WO2017039225A1 - 웨어러블 디바이스 - Google Patents

웨어러블 디바이스 Download PDF

Info

Publication number
WO2017039225A1
WO2017039225A1 PCT/KR2016/009418 KR2016009418W WO2017039225A1 WO 2017039225 A1 WO2017039225 A1 WO 2017039225A1 KR 2016009418 W KR2016009418 W KR 2016009418W WO 2017039225 A1 WO2017039225 A1 WO 2017039225A1
Authority
WO
WIPO (PCT)
Prior art keywords
wearable device
optical signal
user
image
information
Prior art date
Application number
PCT/KR2016/009418
Other languages
English (en)
French (fr)
Inventor
박준호
Original Assignee
박준호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박준호 filed Critical 박준호
Priority to US15/757,121 priority Critical patent/US10401901B2/en
Publication of WO2017039225A1 publication Critical patent/WO2017039225A1/ko
Priority to US16/437,845 priority patent/US10747260B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A61B5/489—Blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6804—Garments; Clothes
    • A61B5/6806—Gloves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
    • G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
    • G06K19/077—Constructional details, e.g. mounting of circuits in the carrier
    • G06K19/07749—Constructional details, e.g. mounting of circuits in the carrier the record carrier being capable of non-contact communication, e.g. constructional details of the antenna of a non-contact smart card
    • G06K19/07758—Constructional details, e.g. mounting of circuits in the carrier the record carrier being capable of non-contact communication, e.g. constructional details of the antenna of a non-contact smart card arrangements for adhering the record carrier to further objects or living beings, functioning as an identification tag
    • G06K19/07762—Constructional details, e.g. mounting of circuits in the carrier the record carrier being capable of non-contact communication, e.g. constructional details of the antenna of a non-contact smart card arrangements for adhering the record carrier to further objects or living beings, functioning as an identification tag the adhering arrangement making the record carrier wearable, e.g. having the form of a ring, watch, glove or bracelet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light

Definitions

  • the present invention relates to a wearable device.
  • an object of the present invention is to enable the user to conveniently input data by using a portable input means.
  • Still another object of the present invention is to enable various types of data input so that the wearable device can replace existing input means such as a keyboard and a mouse.
  • Another object of the present invention is to maintain the accuracy of the input data while maintaining the portability which is an advantage of the wearable device.
  • the wearable device for solving the above technical problem includes an optical signal transmitter for transmitting an optical signal, an optical signal detector for receiving a reflected optical signal, a data processor for processing the reflected optical signal, and three-dimensional coordinates from the processed data. It includes a coordinate generating unit.
  • the user can input data in an improved form through a wearable device that can simultaneously provide portability and convenience.
  • the wearable device can replace input means such as a keyboard and a mouse, various data inputs are possible only by the wearable device without additional input means.
  • FIG. 1 is a block diagram illustrating a configuration of a wearable device according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an operation process of a wearable device according to an exemplary embodiment.
  • FIG. 4 is a diagram illustrating an operation process of a wearable device according to an exemplary embodiment.
  • FIG. 5 is a diagram illustrating an operation process of a wearable device according to an exemplary embodiment.
  • FIG. 6 is a diagram illustrating an operation process of a wearable device according to an exemplary embodiment.
  • FIG. 7 is a diagram illustrating an operation process of a wearable device according to an exemplary embodiment.
  • FIG. 8 is a diagram illustrating an operation process of a wearable device according to an exemplary embodiment.
  • FIG. 9 is a diagram illustrating an operation process of a wearable device according to an exemplary embodiment.
  • FIG. 10 is a diagram illustrating an operation process of a wearable device according to an exemplary embodiment.
  • each component or feature may be considered to be optional unless otherwise stated.
  • Each component or feature may be embodied in a form that is not combined with other components or features.
  • some of the components and / or features may be combined to form an embodiment of the present invention.
  • the order of the operations described in the embodiments of the present invention may be changed. Some components or features of one embodiment may be included in another embodiment, or may be replaced with corresponding components or features of another embodiment.
  • the "user” may be a wearer, a user, or the like of the wearable device, and may also include a technician who repairs the wearable device, but is not limited thereto.
  • the contents of 0061522 are all cited.
  • patent application 10-2014-0108341 an invention for generating a three-dimensional model by scanning a subject by using a wearable device to generate a three-dimensional model and adding a pattern to the three-dimensional model has been proposed.
  • -0139081 and patent application 10-2015-0061522 has been proposed an invention for detecting the movement of the user by analyzing the blood vessel pattern of the user by transmitting and receiving and comparing the optical signal.
  • the wearable device 100 may further include other general-purpose components in addition to the components illustrated in FIG. 1, and may be implemented with fewer components than those illustrated in FIG. 1. That is, the implementation form and the scope of the wearable device 100 are not limited to the contents shown and described in FIG. 1.
  • the wearable device 100 is an input / output means mounted on a part of a user's body (eg, hand, neck, head, etc.).
  • the wearable device 100 detects a user's biometric pattern using various methods and means, and generates data and a signal from a result value of processing the detected result.
  • the generated data and signals may be objects output by the wearable device 100 or may be transmitted to an external device or a server. In other words, the wearable device 100 may operate as an input means and an output means for a user.
  • the wearable device 100 may include an optical signal transmitter 105, an optical signal detector 110, a data processor 115, a coordinate generator 120, a depth sensor 125, and a biometric pattern recognizer. 130, the image processor 135, the image output unit 140, the gyroscope sensor 145, the acceleration sensor 150, the feedback unit 155, the communication unit 160, the storage unit 165, the power supply unit 170 And a controller 175.
  • the illustrated components may be connected to each other by wire or wirelessly to exchange data and signals.
  • the components illustrated in FIG. 1 are merely examples of configuring the wearable device 100, and the wearable device 100 may be implemented to include fewer or more components than the illustrated configuration.
  • the optical signal transmitter 105 generates and transmits an optical signal.
  • the optical signal transmitter 105 may generate an optical signal having a specific wavelength, for example, may generate an optical signal having a wavelength of visible light (about 300 to 700 nm) or infrared light (about 700 to 3000 nm).
  • the wavelength of the optical signal generated by the optical signal transmitter 105 is not limited to this example, and the optical signal transmitter 105 may also generate wavelengths of far-infrared rays having a longer wavelength in addition to visible light, near infrared rays, and infrared rays. Can be.
  • the optical signal transmitter 105 may generate an optical signal having a continuous spectrum instead of generating an optical signal having a wavelength of a specific band. The wavelength of the optical signal generated by the optical signal transmitter 105 will be described in detail later with reference to FIG. 2.
  • the optical signal transmitter 105 transmits the generated optical signal.
  • the optical signal transmitter 105 may transmit the optical signal in the form of a continuous wave, or may transmit the optical signal in the form of a non-continuous pulse.
  • the optical signal transmitter 105 may transmit an optical signal having a pattern.
  • the pattern refers to a predetermined shape and shape that is formed when the transmitted optical signal is projected onto the outer surface.
  • the optical signal transmitter 105 may transmit an optical signal having a stripe pattern.
  • the pattern of the optical signal may be programmed and stored in advance, and may be any pattern that the wearable device 100 can identify.
  • the optical signal transmitter 105 generates and transmits an optical signal in various ways.
  • the optical signal transmitter 105 may generate and transmit the optical signal in various ways by combining the wavelength of the optical signal, the type of the optical signal or the transmission method.
  • the wearable device 100 may include one or more optical signal transmitters 105, which will be described in detail with reference to FIG. 2.
  • the optical signal detector 110 detects an optical signal received from the outside.
  • an external object for example, an object or a part of a body
  • various physical property values such as intensity, wavelength, frequency band, and energy of the optical signal are changed.
  • the optical signal reflected on the outer surface and changed in physical properties is referred to as a reflected optical signal. That is, the optical signal detector 110 detects the reflected optical signal generated by the reflection of the external object.
  • the optical signal detector 110 may detect an optical signal having a wavelength that the optical signal transmitter 105 may transmit. That is, the optical signal detector 110 may detect the optical signal of the visible light wavelength, the optical signal of the near infrared and far infrared wavelengths, and the like, and the wavelength detected by the optical signal detector 110 is limited to the exemplary band. Is not the same as described above.
  • the data processor 115 processes the optical signal received by the optical signal detector 110 to generate received data.
  • the data processing by the data processing unit 115 may include a process of digitizing an optical signal, which is an analog signal received by the optical signal detecting unit 110.
  • the process of generating received data through data processing may be performed at regular intervals or according to a control command from the controller 175 of the wearable device 100.
  • the received data generated by the data processor 115 may include information about blood vessels of the object when the object is a part of the body. That is, as will be described later in detail, the optical signal transmitted by the optical signal transmitter 105 is reflected, scattered, and absorbed by the blood vessel of the object, thereby changing physical property values. Accordingly, the data processor 115 may obtain information about the placement and distribution of blood vessels of the object by processing the reflected optical signal received by the optical signal detector 110.
  • the received data especially when the subject is a blood vessel is referred to as blood vessel data for convenience of explanation.
  • the depth sensor 125 and the biological pattern recognition unit may operate together.
  • the depth sensor 125 may detect a three-dimensional structure, a shape, a position, and the like by sensing the object in three dimensions, and the biometric pattern recognition unit 130 recognizes the color that is identified on the surface of the object. , Visual characteristics such as saturation, brightness, shape, etc. can be detected.
  • Vascular data for blood vessels may be composed of two-dimensional information on the distribution and placement of blood vessels, and blood vessel data obtained by operating the depth sensor 125 and / or the biometric pattern recognition unit 130 together may be three-dimensional. It may also consist of information.
  • the above-described process of generating blood vessel data may be performed in two or three dimensions. That is, the optical signal transmitter 105 and the optical signal detector 110 may recognize the blood vessel of the object in two-dimensional plane or three-dimensional three-dimensional.
  • the blood vessel data is converted into 3D data based on the 3D model of the object generated by the depth sensor 125 which will be described later.
  • This conversion process may be understood as comparing the measured vein pattern of the object with the geometrical model of the object to determine the degree of geometric distortion of the vein pattern to determine the curvature of the actual object.
  • the blood vessel data generated in two dimensions may be converted into three dimensions by comparing the previously stored three-dimensional model of the object with newly measured pattern information.
  • the two-dimensional data is converted to three-dimensional data, it can be combined as a pattern in the generated three-dimensional model.
  • a process of comparing and analyzing the information about the previously stored vein pattern may be performed. That is, by comparing the pre-stored information on the wearable device 100 with the newly measured two-dimensional data, the wearable device 100 may determine how the vein distribution is formed in space. This process may be performed due to the partial conformity of the wearable device 100, and the concept of the partial correspondence will be described later.
  • three-dimensional blood vessel data can be directly coupled as a pattern to a parasitic three-dimensional model. That is, since the three-dimensional blood vessel data has the shape and location information of the vein in three dimensions, the absolute size and shape of the vein can be immediately recognized in the process of combining with the three-dimensional model.
  • the wearable device 100 may specifically recognize the distribution of the vein pattern.
  • This concept may be understood to mean that the wearable device 100 configures a vein map.
  • the wearable device 100 recognizes the vein pattern in three dimensions, so that the spatial coordinates of the vein branching point, the length of each branch, the angle formed by the branches at the branching point, the number of branches, etc. in the vein distribution. You can check all the information.
  • the coordinate generation unit 120 may preferentially compare vein patterns such as the back of the hand and the arm, in which the arrangement of the vein pattern changes relatively less.
  • the coordinate generation unit 120 may also utilize information about the contour or the border of the body composition as information for replacing the vein pattern. Since the information about the contour and the edge is differently detected according to the angle at which the wearable device 100 detects the body configuration, the wearable device 100 may generate three-dimensional coordinates more efficiently by analyzing the information together with the vein pattern information.
  • the coordinate generator 120 generates three-dimensional coordinates of the object by using the data generated by the data processor 115.
  • An object may be a blood vessel, a body part, or an object rather than a body. That is, the coordinate generator 120 generates three-dimensional coordinates of the object in which the reflected optical signal generated by the optical signal detector 110 is generated. For example, if the reflected optical signal is generated from the blood vessel pattern of the user's body, the coordinate generator 120 generates three-dimensional coordinates of the blood vessel pattern of the part of the body in which the reflected optical signal is generated. In this case, the 3D coordinates of the blood vessel pattern may be in the form of a visualized pattern.
  • the coordinate generator 120 when the reflected light signal is generated from a body part (eg, a finger or an arm) of the user, the coordinate generator 120 generates three-dimensional coordinates of a finger or an arm that is a body part from which the reflected light signal is generated. do.
  • the three-dimensional coordinates may be coordinates in space of a finger or an arm.
  • the spatial coordinates of the body tissues and the components may be independently determined. .
  • the coordinate generation unit 120 to grasp the three-dimensional coordinates of the object in a broad sense can be understood to simply grasp the position and angle of the object (for example, the user's arm) in space. In a narrower sense, it may mean that the 3D coordinates of the elements (eg, the upper arm, the lower arm, the back of the hand, the finger joint, etc. of the user) are respectively identified. Therefore, according to the three-dimensional coordinates of the components generated by the coordinate generator 120, the wearable device 100 may recognize and recognize each tissue and the components of the body.
  • the coordinate generator 120 may generate coordinates by dividing body tissue into joint units, and may generate and recognize coordinates by separating body components in a larger unit or a smaller unit, respectively, according to an embodiment. . According to such an embodiment, the wearable device 100 may distinguish and grasp where and how the specific body configuration is located in the space. In the following description, a characteristic in which the wearable device 100 distinguishes and recognizes a body configuration is referred to as partial correspondence.
  • the coordinate generator 120 may determine whether the measured object is a part of a previously stored body configuration. That is, since the wearable device 100 may distinguish each body component, the wearable device 100 first matches which body composition is measured by matching the measured body composition with previously stored information. After the partial matching process is performed, the coordinate generation unit 120 infers the shape and distance of the corresponding configuration in space by comparing the degree and shape of the pre-stored vein pattern with respect to the corresponding body configuration. When the 2D data is scanned, the shape, distance, etc. of the object may be grasped while partial matching is performed through comparison with previously stored information.
  • the wearable device 100 may geometrically determine the degree of distortion to know the distance, curvature, shape, etc. of the object.
  • the shape and distance of the object can be immediately determined.
  • the process of determining the position of each joint through the data on the vein pattern may be performed, or may be omitted. That is, after the position of each joint (eg wrist, finger joint, etc.) is determined from the data for the vein pattern, the position and shape of the entire object (eg hand) may be determined, while The location and shape of the entire object may be determined directly from the data.
  • the wearable device 100 may distinguish and recognize objects that are body tissues and non-body tissues. For example, if the user is holding an object by hand, it is very difficult to distinguish the user's hand from the object by simple 3D scanning. However, according to the above-described method, since the wearable device 100 processes the vascular pattern or the biometric pattern in combination with the three-dimensional model, only the body tissue can be identified and identified, and the body tissue can be accurately recognized. Through such an embodiment, the wearable device 100 enables a user to experience augmented reality (AR) and virtual reality (VR) to be described later.
  • AR augmented reality
  • VR virtual reality
  • the result values according to the series of processes represent data tracking the movement of the object. It may be.
  • the coordinate generator 120 determines the three-dimensional coordinates of the object a predetermined number of times. Can produce as many. By connecting these three-dimensional coordinate values, the coordinate generator 120 recognizes the movement of the object in space.
  • the movement of the object in the space may be a specific gesture or an operation of triggering an input value stored in advance in the wearable device 100.
  • Examples of the operation include a key input operation in which the user presses a predetermined key on the virtual keyboard, a mouse movement operation in which the user moves the cursor of the virtual mouse, a mouse click operation in which the user clicks a button of the virtual mouse, and the like. have. Detailed processing of each operation will be described later.
  • the depth sensor 125 scans the object in three dimensions to generate three-dimensional scan information. That is, the depth sensor 125 transmits various kinds of signals to the object, and detects a change in the signal transmitted from the surface of the object or a signal reflected from the object.
  • the depth sensor 125 may generate 3D scan information about the object by analyzing the detected signal. For example, when the object is the user's hand, the depth sensor 125 may generate 3D scan information about the appearance of the hand by sensing the hand in three dimensions.
  • the depth sensor 125 that scans the object in three dimensions may include various types of sensors or devices.
  • the depth sensor 125 transmits an infrared signal to an object and transmits an ultrasonic signal or an optical signal to the object, and detects a time difference with a signal reflected from the object.
  • ToF time-of-flight
  • the SPIR laser emits pulsed laser light in the air and detects changes in the pattern that reflects coherent light on the surface of an object using a rider (LIDAR, LIght Detection And Ranging) method using the reflector or scatterer.
  • a rider LIDAR, LIght Detection And Ranging
  • a speckle interferometry method, an Infrared Proximity Array (IPA) sensing method using two LEDs, an RGB camera, and the like may also be applied to implement the depth sensor 125.
  • IPA Infrared Proximity Array
  • the depth sensor 125 when the depth sensor 125 generates three-dimensional scan information using the patterned optical signal, the depth sensor 125 may be implemented in the same configuration as the optical signal transmitter 105 described above. That is, the optical signal transmitter 105 may utilize both the patterned optical signal for the purpose of detecting blood vessels and for generating 3D scan information. In this case, in addition to outputting optical signals having different wavelengths, the optical signal transmitter 105 performs a role of the depth sensor 125 or only a role of the depth sensor 125 by outputting a patterned optical signal. can do.
  • the patterned optical signal output by the optical signal transmitter 105 to perform the role of the depth sensor 125 may be any one of wavelengths of optical signals for detecting blood vessels, and optical signals having different wavelengths may be used. May be used.
  • the depth sensor 125 may operate in two ways similarly to the optical signal transmitter 105 to generate scan information. That is, the depth sensor 125 may or may not know in advance the timing and frequency band of the received optical signal in transmitting the optical signal (patterned optical signal) to the object and generating the 3D scan information. . In detail, when the depth sensor 125 knows in advance the time point and wavelength band (or frequency band) of the optical signal transmitted, the depth sensor 125 calculates in advance the time point at which the corresponding optical signal is received, 3D scan information is generated through the optical signal received in the frequency band. In this case, the depth sensor 125 transmits an optical signal for generating three-dimensional scan information in the middle of the optical signal transmitter 105 transmitting an optical signal having a specific wavelength in order to obtain information about blood vessels of the object. can do.
  • the depth sensor 125 may generate three-dimensional scan information when it is provided with means for selectively detecting the received optical signal. That is, the depth sensor 125 may include a filter for detecting a specific wavelength band of the optical signal, and in this case, may selectively detect the received optical signal.
  • the depth sensor 125 for scanning the object in three dimensions is not limited to the above-described examples, and various other configurations may be included in the depth sensor 125.
  • the depth sensor 125 may be implemented in a form in which two or more of the above-described components are combined. When a plurality of configurations of the above-described depth sensor 125 are used, a stereo technique of scanning an object at two or more different locations and analyzing a difference value may be applied.
  • the depth sensor 125 may improve the accuracy of the 3D scan information by using a computer vision technique.
  • Computer vision technology is used to improve the accuracy of depth information in the process of interpreting 2D images, and it is used in depth-from-focus, depth-from-stereo, depth-from-shape, and depth-from-motion methods. Etc. are included.
  • the depth sensor 125 may accurately generate 3D scan information about the object by using the aforementioned various methods.
  • the object is a hand that is a part of the user's body has been described as an example, but is not limited thereto. That is, the object may not only mean a part of the body but also various objects such as an object, a space, and a structure.
  • the object is an object such as a mobile phone, a notebook, a desk, or the like
  • the depth sensor 125 may generate three-dimensional scan information by three-dimensional scanning the mobile phone and the notebook.
  • the depth sensor 125 may scan a space, a three-dimensional object, and a wall surface as an object in the room.
  • the depth sensor 125 may recognize the three-dimensional space by the walls of the room and generate three-dimensional scan information on the walls. In this case, the depth sensor 125 compares the values of the pre-stored three-dimensional objects and the three-dimensional scan information to determine where the wearable device 100 is located in the room, that is, the absolute coordinates of the wearable device 100 within a predetermined space. Able to know.
  • the biometric pattern recognition unit 130 detects patterns that are visually confirmed by scanning the object.
  • patterns that can be visually distinguished, such as palmistry, fingerprints, wrinkles, blood vessels, and bends on the surface of the body, and the biometric pattern recognition unit 130 uses natural light and indoor light or an optical signal of a specific wavelength. Detect these patterns and use them as an index. That is, the biometric pattern recognition unit 130 distinguishes patterns by checking saturation, brightness, color, and the like on the body surface. For example, wrinkles, palms, and the like are darker and darker than other parts of the body surface, and blood vessels appear blue on the body surface. The biometric pattern recognition unit 130 visually detects these body features and generates the detected results as pattern information.
  • the biometric pattern recognition unit 130 may transmit an optical signal having a specific short wavelength to visually check nails, nail lines (nail borders), pores, palms, fingerprints, wrinkle lines, blood vessels, and the like. Multi-spectrum technique using can also be utilized. In the case of the short wavelength, the biometric pattern recognition unit 130 may detect the body features more easily by using the visible or blue visible wavelength range of the body features.
  • the biometric pattern recognition unit 130 may recognize the distribution of body features from a wide perspective. That is, the biometric pattern recognition unit 130 may not only detect one pattern of a specific position but also detect a distribution of a pattern of a specific area of the body surface. For example, when the object is a palm, the biometric pattern recognition unit 130 includes all dark or light portions, more red or white portions of the palm surface, portions where the blood vessels appear blue, and fingerprints and wrinkles. It can be recognized. In addition, when the object is the back of the hand or the arm, the biometric pattern recognition unit 130 may recognize all the portions where the blood vessels show the blue color, the wrinkle lines at the joint positions, the bend of the back surface of the hand, the nail, and the like.
  • the information on the pattern generated by the biometric pattern recognition unit 130 may be coupled to the three-dimensional model of the body parasitic generated by the depth sensor 125 described above. That is, as described in the above-described embodiment of combining blood vessel data with the 3D model, information about the body feature detected by the biometric pattern recognition unit 130 is also used as a means for detecting 3D coordinates and movement of body components. Can be. For example, when the pattern information about each component of the body is combined with the 3D model, the wearable device 100 may classify the body components into joint units by analyzing the detected biometric pattern.
  • the biometric pattern recognition unit 130 may utilize an RGB camera, an infrared camera, a ToF camera, and the like to detect such various types of patterns.
  • the biometric pattern recognition unit 130 may be implemented to include and utilize various types of sensors applied to the depth sensor 125.
  • the biometric pattern recognition unit 130 captures or detects the user's palm surface by using the various types of cameras, sensors, and modules described above, and recognizes portions having different contrast, color, and saturation. This recognition result is generated as pattern information.
  • the biometric pattern recognition unit 130 may also be implemented in a form in which two or more of the above-described components are combined.
  • the information generated using the wavelength of the visible light region in the biometric pattern recognition unit 130 is the data It may be used in the process of generating blood vessel data of the processor 115. That is, the operation of the biometric pattern recognition unit 130 may not only be used to identify body features by itself, but also may be used for generating blood vessel data. In this case, the wavelengths of the visible light and the near infrared region may be alternately transmitted and received, or may be simultaneously transmitted and received when a filter for distinguishing a broad spectrum spectrum is used.
  • the biometric pattern recognition unit 130 detects a user's key input motion, mouse movement motion, and mouse click motion as the body features of the user are scanned. That is, the biometric pattern recognition unit 130 may detect a key input operation, a mouse movement operation, a mouse click operation, and the like similarly to the coordinate generation unit 120 described above by analyzing physical features.
  • the depth sensor 125 and the biometric pattern recognition unit 130 may be implemented in separate configurations.
  • the depth sensor 125 and the biometric pattern recognition unit 130 may be implemented in one configuration. That is, when the depth sensor 125 and the biometric pattern recognition unit 130 are implemented as an infrared camera or an RGB camera, the two components may be single components instead of separate components. That is, the infrared camera or the RGB camera may serve as both the depth sensor 125 and the biometric pattern recognition unit 130.
  • the image processor 135 is connected to the depth sensor 125 to receive and process 3D scan information.
  • the image processor 135 may generate a 3D image using the 3D scan information received from the depth sensor 125 and may generate a 3D model of the object through a 3D rendering process.
  • the image processor 135 may generate a 3D model of the hand as the depth sensor 125 detects the user's hand.
  • the image processor 135 may generate a 3D model of the mobile phone.
  • the three-dimensional model can be represented in black and white or color.
  • the image processor 135 may add a pattern for blood vessels to the three-dimensional model generated using the received data generated by the data processor 115.
  • the data processor 115 processes the optical signal received by the optical signal detector 110 to generate information about blood vessels of the object.
  • the image processor 135 may process the information about the blood vessel and generate the pattern to be visually confirmed, and add the generated pattern to the generated 3D model based on the 3D scan information. That is, the image processor 135 may generate a 3D model in which a pattern of a blood vessel is coated on a 3D model in which only the appearance of the object exists.
  • the wearable device 100 may accumulate and store information on the blood vessel pattern (or the biometric pattern) as a database. That is, the wearable device 100 previously stores most gestures that can be taken by the user's body in units of blood vessel data or bio patterns, and compares newly input blood vessel data or bio patterns with previously stored candidate images. Can be distinguished.
  • This machine learning method has an advantage that the accuracy of the result value increases as the operation is repeated.
  • the image output unit 140 projects an image to the outside.
  • the image output unit 140 may output an image to the outside such as an object or a body part, and the object is not limited.
  • the image output unit 140 may project an image onto a palm, a back of a hand, or an arm of a body, or may project an image on an object such as a desk or a wall.
  • the image projected by the image output unit 140 may include any type of image such as an arbitrary image, a moving image, and a 3D image (stereoscopic image).
  • the image output unit 140 may output an image in the direction of the eyes of the user.
  • the image output unit 140 may provide an augmented reality (AR) or virtual reality (VR) service to a user.
  • AR augmented reality
  • VR virtual reality
  • Wearable AR / VR devices, HMDs, and OHMDs are devices that are mounted on the user's head to allow the user to experience AR / VR.
  • waveguide and virtual retinal display (VRD) technologies may be used. have.
  • HMD head-worn computing
  • OHMD OHMD
  • VRD VR-augmented reality
  • a VR experience to the user in an environment where external light does not enter the eye
  • an AR experience to the user in an environment where external light enters the eye and is combined with a virtual image.
  • waveguide technology may include technologies such as Diffractive waveguide, Holographic waveguide, Polarized waveguide, Reflective waveguide, Clear-Vu reflective waveguide, and Switchable waveguide.
  • a 3D AR service is provided by sending an LED or a laser directly to a user's retina.
  • the image output unit 140 may use information determined by the coordinate generator 120 in the process of projecting the image.
  • the coordinate generator 120 may generate three-dimensional coordinates of the object as described above.
  • the concept of three-dimensional coordinates is a relative concept, it should be understood that the wearable device 100 recognizes the three-dimensional coordinates of the object and simultaneously recognizes the position of the wearable device 100 itself.
  • the image output unit 140 projects the output image at a constant position and size even when the wearable device 100 moves in space by using the result of the coordinate generation unit 120 measuring the coordinates of the object. You can do that.
  • the wearable device 100 calculates a distance and an angle between an external reference point (eg, an object on which an image is projected) and itself by measuring and analyzing a motion on its three-dimensional space. Subsequently, the image output unit 140 may adjust the angle and position at which the image is output so that the image may be uniformly projected in consideration of the calculated distance and angle.
  • an external reference point eg, an object on which an image is projected
  • the image output unit 140 may consider information about the biometric pattern of the user in the process of projecting the image. That is, the image output unit 140 uses the information about the user's body characteristics (wrinkle line, blood vessel, bend, fingerprint, etc.) obtained according to various methods, and the image output unit 140 at a fixed position and angle based on the body characteristics. You can also send.
  • the coordinate generation unit 120 is combined with the embodiment using the information on the blood vessel, the embodiment and the angle and position at which the image output unit 140 outputs an image may be more surely fixed. In other words, by calculating the positions of body components through biometric patterns such as fingers, hands, and arms and blood vessel (vein) pattern information, the image output unit 140 may be combined with the body components to output a fixed image.
  • the wearable device 100 may separately recognize the body components. For example, when the positions of the fingers, hands, and arms are distinguished from each other, the image output unit 140 outputs the image to the corresponding position of the body component so that the user may experience augmented reality (AR) or virtual reality (VR). can do. Accordingly, the image is fixed and output based on the spatial component regardless of the movement of the body component of the user. This method is completely opposite to the conventional method of outputting an image based on the movement of a device. In the proposed embodiment, even when the device and the image output position move, the image can be fixed to a desired position to output the image. .
  • AR augmented reality
  • VR virtual reality
  • the wearable device 100 may previously grasp and manage biometric information such as skin lines of a user in order to consider the above-described information about the biometric pattern. That is, as described in Patent Application No. 10-2014-0108341 cited above, the wearable device 100 detects skin lines of a user through a finger recognition unit including an infrared camera, an RGB camera, a ToF camera, and the like. The detected skin line information is processed as information on the skin line pattern, and stored and managed in the wearable device 100. Subsequently, the wearable device 100 may detect the skin line of the user in the process of projecting an image, and compare / analyze the skin line pattern with information about the previously stored skin line pattern. The wearable device 100 may grasp the position and the movement of a part of the user's body through this process, and output the image at a fixed position and angle as described above.
  • biometric information such as skin lines of a user in order to consider the above-described information about the biometric pattern. That is, as described in Patent Application No. 10-2014-01
  • the optical signal transmitter 105 and the image output unit 140 are illustrated and described as separate components, but the two components may be implemented in the same configuration. That is, the optical signal transmitter 105 may not only transmit optical signals having various wavelengths, but may also transmit images output by the wearable device 100. This process may be alternately performed. That is, the optical signal transmitter 105 implemented to perform the role of the image output unit 140 may periodically or aperiodically alternately output optical signals having different wavelengths. The video can be output. When the optical signal for detecting blood vessels is output while the image is output, the image may be utilized in the process of detecting the optical signal of a specific wavelength as described above.
  • the optical signal of the visible light wavelength output by the image output unit is used as one of the optical signals for detecting blood vessels. Accordingly, when the optical signal transmitter 105 additionally transmits only an optical signal having an infrared wavelength, the optical signal transmitter 105 may obtain the same / similar effect as transmitting two optical signals having different wavelengths.
  • the optical signal transmitter 105 may repeatedly perform the processes of the first optical signal output, the second optical signal output, and the image output, and the process of outputting the optical signal may be performed in comparison with the image output. It can be done at very short time intervals. In this case, the user may not visually sufficiently recognize the optical signal output for a short time and may check only the image.
  • the optical signal transmitter 105 is implemented in the same configuration as the depth sensor 125. That is, when the optical signal transmitter 105 performs both the role of the depth sensor 125 and the role of the image output unit 140, the three components may be implemented in one configuration. In this embodiment, the optical signal transmitter 105 may also perform the role of the depth sensor 125 by transmitting the patterned optical signal in addition to transmitting the optical signal while outputting the image.
  • the gyroscope sensor 145 measures the angular velocity and detects the inclination of the wearable device 100.
  • the type and function of the gyroscope sensor 145 can be naturally understood by those of ordinary skill in the art, and a detailed description thereof will be omitted.
  • the acceleration sensor 150 measures the speed change to detect the acceleration and the slope of the wearable device 100.
  • the acceleration sensor 150 is also well known for its type and function, and thus a detailed description thereof will be omitted.
  • the gyroscope sensor 145 and the acceleration sensor 150 measures the movement of the wearable device 100 in the three-dimensional space. That is, the gyroscope sensor 145 and the acceleration sensor 150 measure the direction, speed, and inclination of the wearable device 100 in three-dimensional space, thereby measuring the motion of the wearable device 100 in its own space. Can be. Accordingly, the wearable device 100 may more accurately measure its 3D coordinates using the measurement values of the gyroscope sensor 145 and the acceleration sensor 150 together with the calculation result of the coordinate generator 120. have.
  • the wearable device 100 may detect a mouse movement by measuring movement in space through the gyroscope sensor 145 and the acceleration sensor 150.
  • the mouse movement operation refers to an input for operating a cursor of a mouse by moving the wearable device 100 in a space while the user wears the wearable device 100.
  • the wearable device 100 calculates a motion in the space of the wearable device 100 by using the measured values detected by the gyroscope sensor 145 and the acceleration sensor 150 and the coordinate values of the coordinate generator 120.
  • a predetermined value matching the mouse movement can be generated. This predetermined value may be represented by the movement of the mouse cursor on the image output by the image output unit 140.
  • the wearable device 100 may operate as a 'space mouse' that transmits a cursor value to the outside to serve as an input device.
  • the wearable device 100 may be implemented to perform a role of a spatial mouse for the body or the external object by generating a 3D model of the body or the external object by using the above-described depth sensor 125.
  • the mouse click operation refers to an input of clicking a left or right button of the mouse by touching two or more fingers while the user performs the mouse movement operation while wearing the wearable device 100.
  • the wearable device 100 recognizes a case where a user contacts a thumb and an index finger as a click of a left mouse button and a case where a user touches a stop finger and a thumb as a mouse click action for a right click. can do.
  • the click operation is generated as a mouse click value and may be transmitted to an external device or a server.
  • the feedback unit 155 is a means for the wearable device 100 to transmit tactile feedback to the user using various means.
  • the tactile feedback may be generated and transmitted to the user in various cases. For example, when the wearable device 100 is located at or passes a specific coordinate in space, the content is played on an external device connected to the wearable device 100.
  • the tactile feedback may be provided to the user in various cases, such as when a signal is received from the user indicating to transmit the tactile feedback.
  • the feedback unit 155 may transmit a variety of means for transmitting the tactile feedback to the user.
  • the feedback unit 155 may include a vibration module to transmit a vibration signal to the user, or the user including the wearable device 100 may include a pressure module to feel the pressure.
  • the feedback unit 155 may provide tactile feedback to the user through a shear stress module or transmit a micro current to the degree that the body of the user is not affected through the current module.
  • the communication unit 160 performs data communication and performs transmission and reception with the outside.
  • the communication unit 160 may be wirelessly connected to an external network to communicate with an external device, a server, and the like, and may include one or more communication modules for performing communication.
  • the communication unit 160 is a module for short-range communication, such as wireless LAN, Wi-Fi, Bluetooth, Zigbee, WFD (Wi-Fi Direct), UWB (ultra wideband), and infrared communication (IrDA). It may include a module for implementing a communication function, such as infrared data association (BLE), Bluetooth low energy (BLE), near field communication (NFC).
  • BLE infrared data association
  • BLE Bluetooth low energy
  • NFC near field communication
  • the communication unit 160 may be a result value generated by the coordinate generation unit 120 using the above-described communication module, for example, a 3D coordinate value, a measurement value corresponding to a key input operation, and a measurement corresponding to a mouse movement operation. Values, measured values corresponding to mouse click actions, etc.) can be transmitted to the outside. In addition, the communication unit 160 may receive information from an external device through the above-described communication modules.
  • the storage unit 165 may store data and information inputted and outputted to the wearable device 100.
  • the storage unit 165 may store the measured values generated by the coordinate generator 120.
  • the storage unit 165 may store various types of program data or algorithm data that the wearable device 100 may execute.
  • the storage unit 165 may include a flash memory type, a multimedia card micro type, a card type memory (for example, SD or XD memory, etc.), and a random access memory (RAM) SRAM. It may include at least one type of storage medium of a static random access memory (ROM), a read-only memory (ROM), an electrically erasable programmable read-only memory (EPEROM), and a programmable read-only memory (PROM).
  • the wearable device 100 may operate a web storage or a cloud server that performs a storage function of the storage unit 165 on the Internet.
  • the power supply unit 170 supplies power for the operation of the wearable device 100.
  • the power supply unit 170 may include various types of power supply means such as a lithium-ion battery, a lithium-polymer battery, and the wearable device 100 may include a plurality of power supply units 170. It may also include.
  • the power supply unit 170 may be connected to other components of the wearable device 100 in a wired manner to supply power, or may be charged with external power wirelessly through a wireless power transfer technology.
  • the power supply unit 170 may include a flexible battery that can be bent or unfolded to a certain degree or more.
  • the controller 175 is connected to the components described above to control the overall operation of the wearable device 100. For example, if the optical signal transmitted by the optical signal transmitter 105 is detected as the reflected optical signal by the optical signal detector 110, the controller 175 processes the reflected optical signal by processing the reflected optical signal. Control to generate received data. In addition, the controller 175 may control the coordinate generator 120 to generate a 3D coordinate value based on the received data. In addition, the controller 175 may control the image output unit 140 to output an image having a fixed size at a fixed position, or may control the image processor 135 to generate a 3D model. That is, the controller 175 may control various functions for the wearable device 100 to operate as an input means or an output means according to a user's operation.
  • the illustrated wearable device is shown as an embodiment implemented in the form of a neck wear mounted on a neck of a user.
  • the wearable device 100 implemented in the form of neck wear may be implemented to be mounted on the neck of the user, and furthermore, the wearable device 100 may be attached to the neck of the user through a separate connection means (for example, a strap or a band). It may be implemented in the form of a hanging necklace.
  • a separate connection means for example, a strap or a band
  • the wearable device 100 may be provided in the form of glasses, cap, helmet, head mount display, gloves, bracelet, clip, in addition to the neckwear. It may be implemented in various forms such as a ring shape. That is, the appearance of the wearable device 100 is not limited to a specific embodiment.
  • the wearable device 100 may be implemented in two or more separate forms. That is, the components described with reference to FIG. 1 may be included in any one or two or more of the two or more separate wearable devices 100, and the two or more separate wearable devices 100 may exchange data with each other to operate. .
  • the wearable device 100 may be implemented in a form including some or all of the components described with reference to FIG. 1, and when the wearable device 100 includes a part, the wearable device 100 operates in conjunction with another wearable device 100 including another part. can do.
  • FIG. 2 is a diagram illustrating an operation process of a wearable device according to an exemplary embodiment.
  • the graph shown in FIG. 2 shows the output of the optical signal transmitted by the wearable device according to the wavelength band.
  • the horizontal axis represents wavelength and the vertical axis represents output of an optical signal.
  • the wearable device may generate and transmit optical signals having various wavelengths.
  • a process of transmitting an optical signal of two different wavelengths by a wearable device according to an exemplary embodiment of the present invention.
  • the wavelengths of the two optical signals are referred to as a first wavelength and a second wavelength, respectively, and the first wavelength means a wavelength within the first frequency band BW1 and the second wavelength means a second frequency band BW2. It can mean a wavelength within.
  • the first frequency band BW1 may be a frequency band of near infrared rays
  • the second frequency band BW2 may be a frequency band of visible light.
  • the wearable device may generate and transmit a first optical signal having a first wavelength of near infrared rays and a second optical signal having a second wavelength of visible light.
  • both the first frequency band BW1 and the second frequency band BW2 may be near-infrared frequency bands. That is, the wearable device may generate and transmit two optical signals having wavelengths of near infrared rays.
  • the wearable device may generate an optical signal having a wavelength of a continuous spectrum, or may generate an optical signal having each wavelength or wavelength band in order to output the first optical signal and the second optical signal.
  • the wearable device may generate the first optical signal and the second optical signal having different wavelengths, respectively, as shown in solid lines in FIG. 2.
  • the wearable device generates an optical signal having a wavelength of a relatively wide continuous spectrum as shown by a dotted line in FIG. 2, and uses a predetermined filter (eg, a band pass filter).
  • Optical signals having a first wavelength and a second wavelength may be output.
  • the wearable device may include only one optical signal emitter for generating two optical signals, or may include two or more optical signal emitters to generate two optical signals having different wavelengths, respectively. Even in the latter case, the wearable device may include one single optical signal transmitter and may be implemented to include two or more optical signal transmitters.
  • FIG. 3 is a diagram illustrating an operation process of a wearable device according to an exemplary embodiment. 3 illustrates a process in which the wearable device transmits an optical signal to the object and detects the reflected optical signal when the object is a body part.
  • the object 300 which is a part of the body, may be, for example, the skin of a hand, and an area shown darkly inside the object 300 may be a blood vessel 310 inside the body.
  • the wearable device generates and transmits an optical signal having two or more different wavelengths.
  • A1 and B1 having a wavelength of ⁇ 1 show a first optical signal transmitted by the wearable device
  • A2 having a wavelength of ⁇ 2 represents a second optical signal which is another optical signal transmitted by the wearable device.
  • the wearable device generates two optical signals having different wavelengths and transmits them to the body skin, which is the object 300.
  • FIG. 3 illustrates an embodiment in which the first optical signal has a wavelength in the near infrared band and the second optical signal has a wavelength in the visible light band.
  • Skin tissue and blood vessels are present in the human body, and each is composed of different components.
  • red blood cells containing hemoglobin are present in the blood vessels, resulting in red color.
  • hemoglobin is divided into oxidized hemoglobin (oxyhemoglobin) and deoxyhemoglobin (deoxyhemoglobin).
  • Oxidized hemoglobin is present in large numbers in arteries and delivers oxygen to body tissues
  • deoxidized hemoglobin is present in large numbers in veins after delivering oxygen to body tissues.
  • arteries and veins have different physical properties due to differences in the types of hemoglobin located in each.
  • the oxidation / deoxidation hemoglobin contained in the vein the absorption rate is changed as the wavelength of light is changed.
  • veins containing oxidized / deoxidized hemoglobin have a relatively high absorption rate for wavelengths (about 700 to 900 nm) in the near-infrared region compared to other tissues in the vicinity, the amount of light signals in the near-infrared region is scattered / reflected in veins and other tissues. It's a big difference.
  • the optical signal in the near infrared region has a high absorption rate of oxidized hemoglobin and deoxidized hemoglobin in blood vessels, but scattering occurs in the surrounding tissues rather than blood vessels.
  • the contrast difference according to the difference in absorption rate between the blood vessel and the surrounding tissue is confirmed, and the difference in contrast may be processed as information about the vein pattern.
  • the wearable device may detect blood vessels of the body by using differences in physical characteristics between the vessels (vein) and other surrounding tissues. That is, the first optical signals A1 and B1 and the second optical signal A2 transmitted by the wearable device have different wavelengths, and the portion A1 of the first optical signals A1 and B1 is the object 300. Most are reflected / scattered by the phosphorus skin, and the remaining portion B1 of the first light signals A1 and B1 passes through the skin, which is the object 300, to reflect / scatter the tissue and blood vessel 310 inside the object 300. do. The latter optical signal B1 reaches the blood vessel 310 and is scattered / reflected by the deoxidized hemoglobin of the vein.
  • the second optical signal A2 is reflected / scattered by the skin, which is the object 300, similarly to some of the optical signals A1 among the first optical signals A1 and B1.
  • the first optical signals A1 and B1 are optical signals having a wavelength that is transparent to the object 300 and pass through the layers of the skin and are reflected / scattered / absorbed for each layer. Since the second optical signal A2 is less transparent, most of the second optical signal A2 is reflected / scattered from the outside of the skin and has characteristics similar to some of the optical signals A1 among the first optical signal A1.
  • the wearable device transmits the first optical signals A1 and B1 and the second optical signal A2 to the object, and then receives the reflected optical signals reflected from the object.
  • the reflected optical signal includes an optical signal A1 + B1 in which the first optical signals A1 and B1 are reflected from the skin, internal body tissues and veins, and an optical signal A2 in which the second optical signal A2 is reflected from the skin. Include all of them.
  • the reflective optical signal A1 + B1 by the first optical signals A1 and B1 is converted into the first reflective optical signal and the reflected optical signal by the second optical signal A2 is reflected by the second reflective optical signal. It is called (A2).
  • the wearable device generates received data through a process of processing the first reflected optical signal A1 + B1, and the received data includes both the skin and the blood vessel of the object.
  • the wearable device retransmits the second optical signal A2, which is an optical signal having a wavelength different from that of the first optical signals A1 and B1, to the object. That is, the newly transmitted second optical signal A2 is an optical signal having a wavelength different from that of the first optical signals A1 and B1 previously transmitted by the wearable device, or a part A1 of the first optical signals A1 and B1. And similarly includes information about the skin surface, which is the information obtained by. That is, the second optical signal A2 is reflected from the skin of the object and received by the wearable device, and the reflected optical signal A2 by the second optical signal is included in the first reflected optical signal A1 + B1. Some similarly.
  • the wearable device generates received data through a process of processing the second reflected optical signal A2, which is different from previously received data of the first reflected optical signal A1 + B1. Include only information.
  • the wearable device compares the received data generated based on the first reflected optical signal A1 + B1 with the received data generated based on the second reflected optical signal A2.
  • the comparison process may include subtracting data of the second reflection light signal A2 from data of the first reflection light signal A1 + B1 by comparing the difference between the two received data. That is, the wearable device removes the influence of the second reflected light signal A2 from the data of the first reflected light signal A1 + B1 to the blood vessel 310 inside the object in the first reflected light signal A1 + B1. Can only obtain information. In other words, the wearable device may remove information about the skin from the first reflected light signal A1 + B1 and obtain only information about blood vessels from a portion B1 of the first reflected light signal A1 + B1. In this way, the data generated by subtracting the data of the two reflected optical signals may be blood vessel data.
  • the wearable device detects a user's key input operation and generates an input value by using information about blood vessels included in blood vessel data. Accordingly, the wearable device should be able to operate to accurately extract only information about blood vessels. As described above, the wearable device transmits optical signals having two different wavelengths and calculates the difference between the two. Thus, the wearable device can efficiently acquire only the information about blood vessels.
  • the wearable device receives the first reflected optical signal and the second reflected optical signal, respectively.
  • a description will be given of how the wearable device separately detects two reflected optical signals having different wavelengths.
  • the method for the wearable device to receive the first reflected optical signal of the first wavelength and the second reflected optical signal of the second wavelength may be divided into three ways.
  • the wearable device may separate and detect the received reflected optical signal according to the wavelength. That is, since the wearable device has different wavelengths from the first reflected optical signal and the second reflected optical signal, the wearable device receives the two reflected optical signals together and processes each reflected optical signal separately. In other words, the wearable device may transmit the optical signals of the two wavelengths together and then process the reflected optical signals by wavelength even if the two reflective optical signals are received together.
  • the wearable device may include a photo detector for each wavelength for discriminating and detecting an optical signal.
  • the wearable device may selectively sense reflected optical signals of different wavelengths. Accordingly, the wearable device transmits the first optical signal of the first wavelength and the second optical signal of the second wavelength alternately, simultaneously, or periodically transmits another optical signal while continuously transmitting one optical signal. Even when the optical signals are transmitted in various ways such as periodic transmission, the reflected optical signals can be distinguished and detected.
  • the wearable device may distinguish and detect reflected optical signals in a time domain or a frequency domain. That is, the wearable device may transmit an optical signal having a different wavelength at a time difference or transmit the signal at different intensities for each wavelength. Unlike the first example, the wearable device knows in advance at what point an optical signal of a wavelength is transmitted, even if the reflected optical signal is not distinguished by wavelength, so the received reflective optical signal is a reflected optical signal of an optical signal of which wavelength. I can guess.
  • the wearable device may alternately transmit a first optical signal having a first wavelength and a second optical signal having a second wavelength.
  • the wearable device since the wearable device knows in advance whether the sequentially received reflection light signal is a reflection light signal of an optical signal of any wavelength, the burden for distinguishing the reflection light signal by wavelength can be reduced.
  • the wearable device may use a method of transmitting two optical signals alternately, continuously transmitting one optical signal and periodically or aperiodically transmitting another optical signal.
  • the wearable device may transmit different light signals with different output intensities, and this embodiment may be applied in combination with the first and second embodiments described above.
  • the wearable device since the difference in intensity of the reflected optical signals is relatively detected, the wearable device may detect the reflected optical signal more efficiently in each time domain or frequency domain.
  • the wearable device transmits the first optical signal and the second optical signal and analyzes the reflected optical signals.
  • the optical signal generated and received by the wearable device may be affected by indoor light and natural light of the surrounding environment in which the wearable device operates.
  • the wearable device when the wearable device generates a second optical signal having a visible light wavelength and transmits the second optical signal to the object, the reflected optical signal of the second optical signal may be mixed with the optical signal generated by the reflection of sunlight on the object to generate noise. . Therefore, a process for removing such noise may be required.
  • the wearable device may operate to exclude external factors such as natural light, indoor light, light by a beam projector, and the like. That is, the wearable device recognizes light detected by the optical signal detector as external light before the optical signal transmitter transmits the optical signal. Subsequently, the wearable device may acquire only the reflected optical signal by the optical signal transmitted by the wearable device by removing the influence of external light from the reflected optical signal sensed after transmitting the optical signal.
  • the wearable device may use external light instead of removing the influence of external light. That is, when the wearable device utilizes an optical signal having a near infrared wavelength as the first optical signal and an optical signal having a visible wavelength as the second optical signal, the wearable device directly generates and transmits the first optical signal and the second optical signal. Instead, it can selectively receive external light. Specifically, the wavelengths of the first optical signal and the second optical signal that the wearable device intends to generate may be generated by external light. In this case, the wearable device may filter the reflected light signal generated by reflecting the external light to the object and select and receive the reflected light signal having a predetermined wavelength.
  • the wearable device may obtain the same or similar result by using external light even if the wearable device does not directly generate an optical signal.
  • the wearable device may supplement the external light by additionally generating and transmitting only the optical signal of the required wavelength by analyzing the received external light. .
  • the wearable device when the wearable device receives the reflected optical signal having a specific wavelength, the wearable device may directly generate the optical signal and transmit the optical signal to the object to obtain a desired result, while selectively receiving external light to obtain the same result. .
  • the first and second optical signals described above may be optical signals in the near infrared region and the visible region, respectively.
  • the present invention is not limited thereto, and the first optical signal and the second optical signal may be optical signals in the near infrared region or the infrared region. That is, as long as the wavelength bands of the two optical signals are different, the wearable device may transmit the two optical signals and receive the reflected optical signal to obtain information about blood vessels. Since the absorption / scattering / reflectance is different in the skin, blood vessels, and surrounding tissues according to the wavelength of the optical signals, different first and second reflected optical signals in the near infrared region or the infrared region include different biometric information. do.
  • the wearable device acquires information on blood vessels by transmitting two or more optical signals, and the frequency band or type of the optical signal is not limited. Therefore, although the near-infrared region and the visible light region are described above and below as examples, the contents may be applied to embodiments in which optical signals of different frequency bands are used.
  • the wearable device may acquire information about blood vessels using only one optical signal instead of using two optical signals. That is, as described above, the optical signal in the near infrared region (700 nm to 900 nm) has different absorption and scattering in blood vessels and surrounding tissues. Different spectra and wavelengths of light signals cause different layers of skin tissue to reflect. The wearable device may compare / analyze / combine this information to check the contrast between blood vessels and surrounding tissues, and may identify patterns of blood vessels. Of course, the wearable device may also apply a method of transmitting and receiving three or more optical signals. In the process of using two or more optical signals, optical signals have different wavelengths, different spectra, different transmission times (times), different reception times (times), different frequencies, or different polarization states. Can be different.
  • the wearable device transmits a plurality of optical signals having different wavelengths in the visible and infrared regions, and receives, reflects, compares, analyzes, and combines the image signals of blood vessels and surrounding tissues by wavelength. Can be obtained.
  • the wearable device may acquire image data of blood vessels and surrounding tissues by transmitting and receiving only one optical signal of a single near infrared region, and thus may know a pattern of blood vessels.
  • the wearable device may transmit and receive one or more optical signals to obtain information about blood vessels.
  • the wearable device may transmit and receive two or more optical signals in a process of acquiring blood vessel data for the first time, and then transmit and receive one optical signal in a process of detecting a user's key input operation. It is possible. On the contrary, the wearable device may generate pattern information about the blood vessel using only one optical signal in the process of acquiring the blood vessel data for the first time, and then use two or more different optical signals in the driving process to identify the movement of the user.
  • FIG. 4 is a diagram illustrating an operation process of a wearable device according to an exemplary embodiment. 4 illustrates various embodiments of an input value of a wearable device.
  • the wearable device measures the 3D coordinate value of the object by sensing the object.
  • the configuration of the optical signal transmitter, the optical signal detector, the depth sensor, the biometric pattern recognition unit, and the like described in FIG. 1 is utilized.
  • a process of dividing a case and measuring 3D coordinate values of an object by elements included in the wearable device will be described.
  • the optical signal transmitting unit and the optical signal detecting unit operate in conjunction with each other, it will be described on the assumption that they are implemented in the same number.
  • the wearable device includes one optical signal transmitter / detector and one depth sensor or one biopattern recognition unit and one depth sensor may be considered.
  • data about the object detected by the optical signal transmitter / detector or the biometric pattern recognition unit is analyzed together with the three-dimensional model of the object detected by the depth sensor, and the wearable device generates three-dimensional coordinates. do.
  • the wearable device may include one optical signal transmitter / detector, one biopattern recognition unit, and one depth sensor.
  • the information about the object measured by the optical signal transmitter / detector and the information about the object measured by the biometric pattern recognition unit may be in a complementary relationship with each other. For example, when the distribution of veins in a finger is minute and it is difficult to generate accurate three-dimensional coordinates only by measuring values of the light signal transmitter / detector, information about an object detected by the biometric pattern recognition unit may be This can improve accuracy (or vice versa).
  • the wearable device may be configured to include only two or more optical signal transmitter / detector sets.
  • each light signal transmitter / detector set scans the object independently, and blood vessel data is also generated separately.
  • a method of measuring different data on an object through two or more same means as in the present embodiment is referred to as 'stereo sensing'.
  • the wearable device may obtain spatial three-dimensional coordinates of the object by analyzing relative positions of two different blood vessel data.
  • the wearable device may include only two or more biometric pattern recognition units. In this example, the result of stereo sensing by each of the two or more biometric pattern recognition units may be separately analyzed to generate three-dimensional coordinates of the object.
  • the wearable device may include a depth sensor in addition to two or more optical signal transmitters / detectors (or two or more biometric pattern recognition units).
  • the information about the 3D model of the object detected by the depth sensor serves to increase the accuracy of the measurement in the process of determining the 3D coordinates of the object.
  • the wearable device may include two or more optical signal transmitters / detectors and one bio pattern recognition unit.
  • two or more blood vessel data are generated as a result of stereo sensing through the optical signal transmitter / detector, and the wearable device generates three-dimensional spatial coordinates by using information of the object detected through the biometric pattern recognizer.
  • the wearable device may or may not utilize a depth sensor. When a wearable device utilizes a depth sensor, there is a gain in accuracy of the resulting value, but a disadvantage in terms of computational complexity, which leads to a trade-off.
  • the wearable device may include two or more biometric pattern recognition units and one optical signal transmitter / detector, and the wearable device may operate similarly to the above-described embodiment.
  • the wearable device may be configured to include two or more optical signal transmitters / detectors and two or more biometric pattern recognition units. As described above, the wearable device may or may not utilize the depth sensor.
  • the wearable device is mounted on the user's body to detect a user's hand, which is the object 410, and acquires information about the blood vessel 400 in the object 410. That is, the wearable device is mounted on a body part or an object of the user and transmits an optical signal to the object 410, and receives the reflected optical signal reflected from the outside or the inside of the object 410 to receive the object 410 and the blood vessel 400. Obtain information about).
  • the wearable device may include two or more configurations for transmitting / receiving an optical signal.
  • the wearable device may detect biometric features (or patterns) visually confirmed on the surface of the object 410 by using an RGB camera, an infrared camera, a ToF camera, and the like. That is, the wearable device may acquire different types of information from the data on the blood vessel 400 by detecting the color, saturation, brightness, shape, and the like of the biometric feature.
  • the wearable device analyzes at least one of two types of information to generate three-dimensional coordinates of the object 400.
  • This process can be understood as the process of analyzing one type of data measured through stereo sensing, or the process of analyzing two different types of data together.
  • FIG. 5 is a diagram illustrating an operation process of a wearable device according to an exemplary embodiment.
  • a process of generating a 3D model of a user's hand by the wearable device will be described.
  • an embodiment in which the wearable device utilizes a depth sensor in addition to the embodiment described with reference to FIG. 4 will be described.
  • the depth sensor of the wearable device detects a user's hand as an object in three dimensions and generates three-dimensional scan information.
  • the user may rotate the hand clockwise or counterclockwise to allow the wearable device to perform the 3D scanning process so that the wearable device can accurately scan the object in 3D.
  • the depth sensor generates 3D scan information of the user's hand and transmits the corresponding information to the image processor.
  • the image processor analyzes and processes the 3D scan information to generate a 3D model 500 of the user's left hand.
  • the 3D model 500 may be a 3D image or may be generated through a 3D rendering process.
  • the three-dimensional model 500 generated using the three-dimensional scan information that is the result of the depth sensor scan may not include enough information about the blood vessels required by the wearable device.
  • the blood vessels faintly appear on the body surface, but not enough to allow the wearable device to detect them and generate input values. That is, the depth sensor can accurately measure the appearance of the user's hand, but may not even detect characteristics of the distribution and placement of blood vessels.
  • a process of adding a pattern to the 3D model 500 is performed as shown on the right side of FIG. 5.
  • the wearable device obtains information on blood vessels of an object using an optical signal transmitter and an optical signal detector, and the obtained information is generated as a pattern 520 for blood vessels.
  • a series of processes in which the wearable device detects blood vessels and generates pattern information may be simultaneously performed or separately from a process in which the depth sensor generates 3D scan information. That is, while the depth sensor recognizes the hand of the object in 3D and generates 3D scan information, the optical signal detector may detect blood vessels and the data processor may generate pattern information. In this case, the 3D scan information and the pattern information about the blood vessel are transmitted together to the image processor, and the image processor sequentially processes the two informations to generate a 3D model. In such an embodiment, the 3D model 510 to which the pattern 520 is added may be generated in one scan process.
  • the depth sensor scans the hand of the object to generate 3D scan information and the image processor generates the 3D model using the 3D scan information
  • the optical signal detector and the data processor generate the pattern information.
  • the process may additionally be performed.
  • the wearable device needs to scan the hand twice as an object. That is, in the former case, both the 3D scan information and the pattern information are generated in one scan process, while in the latter case, the 3D scan information is generated through the first scan and the pattern information is generated through the second scan. Can be.
  • the image processor generates a three-dimensional model in advance and then processes the received pattern information.
  • the pattern information generated by the data processor is transferred to the image processor, and a process of applying the pattern 520 to the 3D model 500 is performed. That is, the image processor may generate the 3D model 510 to which the pattern is added by processing the process of applying the pattern 520 to the 3D model 500 generated by the 3D scan information.
  • the pattern 520 includes information about blood vessels, and the blood vessels (for example, veins) may be viewed as three-dimensional structures having different depths and thicknesses according to body positions such as the back of the hand, the palm and the fingers. Accordingly, the pattern 520 for blood vessels added to the three-dimensional model 500 may have three-dimensional information (depth, thickness, direction, etc.) on the surface of the skin and below the surface.
  • the wearable device may add the physical features generated by the bio pattern recognition unit to detect the color, saturation, brightness, shape, etc. of the object, to the parasitic three-dimensional model 500.
  • the wearable device generates a 3D model in advance and adds data generated by the optical signal transmitter / detector or the biometric pattern recognition unit to the generated 3D model.
  • this embodiment is merely a mere example, and as described above with reference to FIG. 4, the 3D coordinates of the object may be generated without the process of omitting the 3D model using the depth sensor. That is, the 3D model is used to improve the accuracy of the result of measuring the position of the object in the space in which the wearable device generates the 3D coordinates of the object.
  • the wearable device may measure the biometric pattern, the vein pattern, or the three-dimensional coordinates of the object with sufficient accuracy by using a stereo sensing method or two or more different types of object sensing means. In this case, the process of generating the 3D model by the wearable device may be omitted.
  • FIG. 6 is a view illustrating an embodiment of an operation process of a wearable device implemented in the form of a neck wear and a necklace.
  • FIG. 6 (a) shows a wearable device 100a in the form of a neck wear mounted on the neck of the user 600
  • FIG. 6 (b) is mounted on the neck of the user 600 in combination with a predetermined connection means.
  • a wearable device 100b in the form of a necklace is shown.
  • the wearable devices 100a and 100b may scan both the left and right hands of the user 600.
  • the wearable devices 100a and 100b include two or more optical signal transmitters / detectors or two or more biometric pattern recognition units.
  • the wearable devices 100a and 100b include one optical signal transmitter / detector set or one biopattern recognition unit, but change the object measured by the configuration at predetermined time intervals and change the left and right hands to the object. It can also be measured as.
  • FIG. 7 is a diagram illustrating an operation process of a wearable device according to an exemplary embodiment.
  • the x / y / z axis represents a three-dimensional space
  • a line connecting the origin, P1, P2, P3, and P4 represents a skeleton of a wrist and a finger of the user when the object is a user's hand.
  • the origin is the center of the wrist
  • P1 is the joint between the first and second nodes of the palm and fingers
  • P2 is the joint between the first and second nodes of the finger
  • P3 is the joint between the second and third nodes of the finger.
  • P4 represent finger tips, respectively.
  • a wearable device may calculate a 3D position and a bending angle of a joint between a first node and a second node of a user's finger. That is, the wearable device may calculate the three-dimensional position and angle ⁇ 2 of P2 in FIG. 6. Meanwhile, since the wearable device may generate and store a 3D model of the user's hand, calculating the 3D position of P2 means calculating the distance d1 from the center of the wrist to P2.
  • the wearable device may also calculate the three-dimensional position and ⁇ 1 of P1, which is a joint between the palm and the first node.
  • the wearable device may pre-calculate the distance from the center of the wrist to the joint between the palm and the first node, that is, the position of P1 in the process of generating the 3D model.
  • the wearable device may calculate the value of ⁇ 1 by comparing the pattern of blood vessels in a similar manner to ⁇ 2. That is, the wearable device may calculate the position and the bending angle of each joint by comparing the distribution position, the size, and the appearance change of blood vessels in each joint with previously stored patterns.
  • ranges of ⁇ 1, ⁇ 2, and ⁇ 3 may be problematic. That is, ⁇ 1, ⁇ 2, and ⁇ 3 should be measured to be within 180 degrees. When the user raises their finger high, the joint connecting the user's palm and the first node may be measured at 180 degrees or more. However, this angle is far from normal keystroke operation. Accordingly, the wearable device may acquire only a value in which each angle is within 180 degrees in the process of measuring the angles ⁇ 1, ⁇ 2, and ⁇ 3 of the finger joints. The wearable device may be implemented to ignore values when the angles ⁇ 1, ⁇ 2, and ⁇ 3 are measured at 180 degrees or more, or may be separately processed by mapping a case measured at 180 degrees or more to a specific operation.
  • the wearable device may instruct a user to perform an operation for inputting a specific key.
  • the wearable device may detect in advance such a value and determine in advance what value to compensate for in the process of estimating P3, P4 and ⁇ 3. That is, software compensation may be performed in the process of calculating an input value according to a user's key input operation.
  • the wearable device may directly measure the three-dimensional position and ⁇ 3 of P3. That is, the optical signal detector and the data processor compare the blood vessel near the joint connecting the second and third nodes of the finger with the blood vessel pattern of the three-dimensional model, and measure the three-dimensional position and the bent angle of the joint. It may be.
  • the wearable device since the wearable device directly measures P1, P2, P3, ⁇ 1, ⁇ 2, ⁇ 3, and d2, the accuracy in the process of estimating P4 is greatly increased.
  • the software compensation process described above may be performed in combination with a method of directly measuring P3 and ⁇ 3.
  • the wearable device detects a key input operation as the user performs typing, and determines an input key to determine which key the key input operation matches.
  • the input value may be transmitted to an external device or a server connected to the wearable device, and the wearable device operates as an input means.
  • the wearable device should also be able to detect the key input operation of the thumb.
  • the wearable device can estimate the position of the thumb on which it is mounted from the positions of the joints of the other four fingers. That is, the wearable device may estimate the three-dimensional image position of the thumb from the positions P1 and P2 of the other four fingers.
  • P1 or P2 of the four fingers that is, the four position information is used, and the wearable device estimates the position of the thumb using P1 and P2.
  • the position of the thumb is estimated by using the eight position information. That is, since the wearable device has a sufficient number of information for specifying the position of the thumb in the three-dimensional space, the position of the thumb can be estimated from the position information of the other four finger joints.
  • the thumb includes two joints, a joint between the palm and the first node, a joint between the first and second nodes. That is, the wearable device may measure the position of the thumb tip even if only the positions of the two joints of the thumb are acquired. Accordingly, when the wearable device is mounted on another finger instead of the thumb, P3 measured from P1, P2, ⁇ 1, ⁇ 2 with respect to the thumb becomes the position of the fingertip. Accordingly, the wearable device can measure the position of the tip of the thumb with higher accuracy than the other four fingers.
  • the wearable device detects blood vessels of a joint portion of a finger, compares them with previously stored bio patterns and blood vessel patterns, and calculates a three-dimensional position of a finger tip by detecting a user's finger movement.
  • the three-dimensional position of the fingertip is matched to a predetermined three-dimensional coordinate value, and the wearable device may identify what gesture the user's hand takes from the three-dimensional position of the finger. Subsequently, the wearable device may recognize the confirmed gesture and execute or perform an operation or command matched with the gesture.
  • the wearable device may detect the three-dimensional position of the fingertip by detecting blood vessels of the finger joint as well as the finger joint. For example, the wearable device detects the placement and distribution of blood vessels in the first node of the palm and the finger to detect the position and angle (P1, ⁇ 1) of the joint connecting the first node of the palm, the back of the hand and the finger. By detecting the blood vessels of the node and the second node, the position and angle (P2, ⁇ 2) of the joint connecting the two nodes can be detected.
  • the above-described embodiment may be similarly applied to the process of estimating the position of the fingertip by measuring the positions of the two joints.
  • the wearable device may detect the position of a joint even if only one finger node is detected. That is, since the pattern information of the blood vessel added to the 3D model may be 3D information, it may be described above that the blood vessel may include information about the thickness and the slope of the blood vessel, the blood vessel pattern, and the biometric pattern. Accordingly, the wearable device detects blood vessels at a single finger node and compares the blood vessels with previously stored patterns to determine positions of other joints. In relation to this embodiment, as the finger joints are bent, not only the placement and position of blood vessels but also the brightness and saturation of blood vessels also change. That is, as the fingers are bent, the appearance of blood vessels to be confirmed changes, such as overlapping the flesh of the fingers and wrinkles. As a result, the wearable device may determine the position of the fingertip by comprehensively considering transparency, brightness, and saturation of the detected blood vessel.
  • the wearable device has described an embodiment of estimating three-dimensional coordinates of the fingertip from the positions of the hand joints of the user.
  • Such an embodiment may be understood as an example of expanding and estimating a position in space of the entire lower arm of the user.
  • the origin of FIG. 7 represents the center of the user's wrist.
  • the wearable device may measure an angle formed by the user's hand and the lower arm. That is, the wearable device may measure an angle, a degree of rotation of the user's hand and forearm by using a biometric pattern recognition unit or a depth sensor. Considering that the user's palm, back of the hand, and forearm are relatively flat, the wearable device may recognize the straight line from the origin to P5 of FIG. 7 as the user's forearm. Accordingly, the wearable device can recognize not only the three-dimensional coordinates of the user's hand and fingers, but also the angle and position of the lower arm connected to the hand according to the above-described embodiments.
  • the wearable device may measure blood vessel data from the configuration of the optical signal transmitter / detector, and thus, the blood vessel data may be combined with the angle and position of the lower arm to determine the exact position and shape of the user's arm.
  • the wearable device may determine the spatial position and shape of the upper arm connected to the lower arm by measuring the position of the elbow joint, the bent angle, and the degree of rotation in a similar manner to the above-described embodiments.
  • the wearable device can measure all the spatial positions, spatial arrangements, and degree of rotation of a series of body structures connected to the shoulders, elbows, wrists, palm joints, and finger joints. do.
  • FIG. 8 is a diagram illustrating an embodiment in which a wearable device sends an output to the outside.
  • 8A illustrates an embodiment in which the wearable device 100a implemented in the form of neckwear outputs an image to both arms of a user.
  • FIG. 8B illustrates an embodiment in which the wearable device 100b implemented in the form of glasses outputs an image to the eyes of a user.
  • the wearable device may output an image at a fixed angle and a fixed size at a fixed position, as described above with reference to FIG. 1.
  • the wearable device 100 a may measure three-dimensional coordinates of an arm, which is an object, to determine which shape and angle at which coordinate the arm is located in space. Subsequently, the wearable device 100a may fix and output the image to both arms as the object by adjusting the size and angle of outputting the image (800a and 800b). Since the wearable device may continuously measure the 3D coordinates of the arm, the wearable device 100a may continuously output the image at a fixed position and angle even if the user moves the arm.
  • the wearable device may output the image in a fixed manner by newly calculating coordinates (position, angle, shape, etc.) in space of an arm as an object.
  • the wearable device may measure the direction, angle, and speed of the wearable device by using the acceleration sensor and the gyroscope sensor. Therefore, even if the user's body moves slightly in the wearable device implemented in the form of neck wear, the wearable device may adjust the output position and angle of the image by reflecting the measured values of the sensors. That is, the physical measurement values of the movement of the wearable device measured by the acceleration sensor and the gyroscope sensor may be used in the compensation process for the position and angle in the output process of the image.
  • the wearable device may know information about an image output by the wearable device in advance, and may use the same. That is, the wearable device may calculate what size and angle the image output by the wearable device is projected at a predetermined distance, and detect the image actually projected on the object as a visible light reflection light signal and calculate the difference. The wearable device may know a relative position and angle relationship between the object and itself by correcting the difference value.
  • the wearable device may fixedly output an image using the above-described depth sensor instead of detecting the reflected optical signal. That is, the wearable device may utilize the patterned optical signal in two ways in the process of detecting the object using the depth sensor. Specifically, the wearable device may know in advance about the transmission time and the frequency band of the patterned optical signal, and may know in advance about the reception time of the optical signal. In this case, the depth sensor of the wearable device may calculate a distance and an angle from the object from information about a pre-stored time point and information about a frequency band. In contrast, the wearable device may receive the optical signal by using a means for selectively detecting the wavelength band of the patterned optical signal even if the wearable device does not know the information about the optical signal.
  • the wearable device may add and output a predetermined pattern to the edge of the image.
  • This pattern is different from the pattern of blood vessels described above, and simply means a marker or identifiable marker added to the periphery of the image.
  • the wearable device may add and transmit such a pattern to analyze the shape and size of the pattern projected on the object, the degree of inclination, the degree of distortion, and determine a distance, an angle, and a positional relationship between itself and the object.
  • the wearable device may adjust the output image while the image is output to the arm of the user.
  • Such adjustment may include both a color adjustment process for adjusting the hue, saturation, and brightness of the image, and a shape adjustment process for adjusting the enlargement, reduction, rotation, and distortion of the image.
  • the color adjustment process and the shape adjustment process may be performed by considering at least one of the blood vessel pattern and the biological pattern described above.
  • the wearable device may perform a color adjustment process on the output image so that the image output by the wearable device may appear in a constant color, saturation, and brightness regardless of the skin color.
  • the wearable device has previously measured color, saturation, and brightness values through the biometric pattern recognition unit, and thus the color, saturation, and brightness of the image to be output in consideration of the color, saturation, and brightness of the skin where the image is to be output. Can be adjusted. According to this process, the user can check a constant image regardless of the color of the skin.
  • the wearable device may perform a shape adjustment process in order to output the image in a fixed size at a fixed position. For example, when an image is output around the wrist joint, the image is naturally distorted when the wrist joint is bent. In this case, the wearable device may accurately provide the desired image to the user by geometrically adjusting the image in consideration of the degree of bending of the wrist joint. Accordingly, the wearable device may adjust the shape of the output image in consideration of the position, shape, curvature, and degree of rotation of the object in space. For example, the wearable device may enlarge a portion of the image to be output to the concave curved portion and reduce the portion of the image to be output to the convexly protruding portion.
  • the wearable device may adjust the edge of the image along the boundary line of the portion where the image is to be output. For example, if the boundary of the portion where the image is to be output is circular, the wearable device may accurately provide a desired image to the user by adjusting the edge of the image accordingly.
  • FIG. 8B the wearable device 100b outputs an image to the user's eye 810 (820).
  • the user may experience augmented reality (AR) in which an image output by the wearable device 100b is superimposed on an object viewed by the user.
  • AR augmented reality
  • FIG. 8B illustrates a VRD scheme among the wearable AR / VR device, HMD, and OHMD concepts described above with reference to FIG. 1.
  • the wearable device 100b may not directly output an image to the eye 810, but may output an image on the glass of the glasses.
  • the wearable device 100b combines the real object and the virtual image by reflecting the image instead of directly outputting the image to the user's eye 810 (AR).
  • AR directly outputting the image to the user's eye 810
  • the VRD method is representatively described.
  • the wearable device is illustrated in the arm as shown in FIG. Instead of directly outputting the image, the image may be output to the eye of the user, thereby outputting the image to experience the augmented reality of the arm.
  • the wearable device calculates in advance all the three-dimensional coordinates of the arm, the position at which the object is to be output, the angle in space, the degree of rotation, and the like. Subsequently, the wearable device calculates a distance and an angle from the eyes of the user to the position where the object is to be output.
  • the wearable device implemented in the form of glasses is located close to the eyes of the user. Accordingly, the wearable device may obtain a distance and an angle from the user's eyes to the position where the object is to be output through a simple compensation process for the distance and angle from the user to the position where the object is to be output.
  • the wearable device that calculates the distance and angle to the object actually measures the distance and angle to the user's eye where the image is output, and calculates how much compensation should be made when the values calculated above are output to the user's eye. For example, size, angle, degree of distortion, color, etc., which are physical property values of the image, must be adjusted, and the wearable device outputs the image to the eyes of the user according to the adjusted value. Accordingly, the user may feel as if the actual image is output at the corresponding position while looking at his arm.
  • the advantage of this embodiment is that, unlike the actual output of the image to the arm can provide a three-dimensional image to the user.
  • the user may visually confirm immediate feedback on augmented reality by performing various kinds of interactions to be described later.
  • wearable device 100b implemented in the form of glasses may also output an image directly to the user's arm. That is, the wearable device 100b may output an image to the opposite side of the user's eye direction and output the image to the user's arm or the outside.
  • the wearable device may be implemented in the form of a cap or a helmet (or a head mount display).
  • the wearable device may acquire blood vessel data of the face of the user by transmitting an optical signal to the face of the user and detecting the reflected light signal. Accordingly, when the wearable device outputs an image to the eyes of the user, the wearable device may output the image in a fixed size at a fixed position by analyzing blood vessel data of the face. Thus, even when the user walks or jumps, the wearable device may be slightly shaken, and thus the image may be stably output.
  • the wearable device may output an image in a direction opposite to the face of the user such as the user's arm. Also, the wearable device may output an image by fixing the image on a wide part of the face of the user. That is, the wearable AR / VR device or the wearable device implemented with the HMD and the OHMD may not only output an image on the user's gaze, but also output an image on any face of the user. In addition, since the wearable device outputs an image using a vein pattern or a biometric pattern, the wearable device may similarly output an image even when the user moves.
  • FIG. 9 is a diagram for explaining an embodiment in which a wearable device provides an AR service to a user.
  • FIG. 9 embodies a case in which an image output from FIG. 8 (a) is an AR service.
  • FIG. 9A illustrates an example in which the wearable device 100 outputs an image 920 to a user's left arm 910.
  • the image 920 output to the user's left arm 910 includes three-dimensional objects 930. Accordingly, the user may experience an AR in which the 3D objects 930 are coupled to his or her body, and the left arm 910 of the user becomes a user interface in which an image 920 is output.
  • the user's left arm 910 serves as an input interface as well as an output interface.
  • the wearable device 100 may fix the position at which the image 920 is output by continuously scanning the vein pattern and the biometric pattern of the user. That is, the wearable device 100 may identify the positions of the components of the user's body in units of joints, so that the position of the left arm 910 may be continuously tracked despite the movement of the user's left arm 910. Accordingly, the image 920 is output at a fixed position, so that the wearable device 100 can stably provide an AR service to the user.
  • FIG. 9A illustrates an embodiment in which the image 920 is directly output on the surface of the user's left arm 910.
  • FIG. 9B illustrates an embodiment in which an image 960 is output on a virtual space rather than an image on the right arm 950 of the user.
  • the wearable device outputs an image 960 in a gaze direction toward the right arm 950 from the user's eye 940. That is, the image 960 output by the wearable device may be fixed and output like a hologram in a space away from the right arm 950.
  • the image 960 is fixedly output on a space with respect to the right arm, the user may recognize that the 3D object 970 on the image 960 is also floating in the air.
  • FIG. 10 is a diagram illustrating an operation of a wearable device according to a user's movement.
  • FIG. 10 (a) illustrates the concept of a space mouse
  • FIG. 10 (b) illustrates the concept of a light touch.
  • the wearable device 100 outputs an image to the user's left arm (1000). Subsequently, the wearable device 100 may detect that the user's right arm performs a mouse movement operation or a mouse click operation, and may operate as a spatial mouse. In detail, when the output image is content that supports mouse movement or click, the mouse cursor 1010 displayed on the image moves as the user's right hand 1020 moves in space. In this process, the wearable device 100 measures the 3D coordinates of the user's left hand and outputs the image at a fixed size and angle, and the wearable device 100 measures the 3D coordinates of the user's right hand. It can be understood that the operation of tracking the movement of the right hand in space is performed at the same time.
  • the wearable device may track the three-dimensional coordinates and the spatial movement of the right hand 1020 by measuring the blood vessel pattern and the biometric pattern of the right hand 1020, and accordingly output the moving mouse cursor 1010. .
  • the wearable device 100 may measure the blood vessel pattern and the biometric pattern of the right hand by using an optical signal transmitter / detector, a biometric pattern recognizer, and a blood vessel distribution and a biometric feature (features visually confirmed such as wrinkles and palmistry). This may be performed through a process of sensing using a depth sensor.
  • the wearable device 100 detects such a mouse click operation. Subsequently, the wearable device 100 executes a left click or right click command corresponding to a point where the mouse cursor 1010 is located in the output image.
  • the process of measuring the movement of the user's right hand by the wearable device 100 may be achieved by simply tracking the 3D coordinates of the right hand.
  • the wearable device 100 may measure the movement of the right hand from the left hand as a relative value in consideration of the fact that the left hand of the user is somewhat fixedly positioned for the output 1000 of the image. That is, the wearable device 100 may track the movement of the right hand by a relative value by considering the direction and angle at which the user's right hand moves from the left hand (particularly, the point where the image is output). In this case, the complexity of the calculation process for analyzing the mouse movement can be reduced.
  • the wearable device 100 outputs an image 1040 to the user's left arm 1030.
  • the user touches a specific point 1050 on the image 1040 that is output to the right hand 1060.
  • a light touch an embodiment in which the user directly touches a specific portion on the output image is called a light touch, and will be described in detail below.
  • the wearable device 100 may detect an interaction related to the output image 1040 by measuring the position 1050 of the user's right hand 1060. For example, the wearable device 100 may detect a light touch operation in which the user selects one of the output applications while outputting icons related to various applications. When the operation of touching a specific icon is detected, the wearable device 100 may execute an application corresponding to the icon.
  • the wearable device 100 may detect a user's light touch operation in two ways.
  • the wearable device 100 may detect a light touch operation by detecting the right hand 1060 of the user.
  • the wearable device 100 which continuously tracks the user's right hand 1060 performs a light touch when the three-dimensional coordinates of the fingertip performing the light touch on the user's right hand are close to the coordinates of the user's left hand surface. It can be recognized as one. For example, when the three-dimensional coordinates of the fingertip of the user's right hand are closer to the coordinates of the surface of the user's left hand than the threshold, the wearable device 100 may recognize that the light touch operation is performed.
  • the wearable device 100 may easily know which position of the image 1040 the 3D coordinates of the user's right hand finger point indicate. Can be. In other words, the wearable device 100 may recognize a light touch operation corresponding to the touched position by identifying a portion of the image output by the wearable device by the user's light touch operation.
  • the wearable device may calculate three-dimensional coordinates in space according to various operations of the user, and provide an improved service to the user through subsequent processing.
  • the above-described embodiments are not necessarily limited to the wearable device. That is, the above-described configuration and operation process may be implemented as an independent device (ie, a non-wearable device) that is not mounted to the user.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Vascular Medicine (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

광신호를 송출하는 광신호 송출부, 반사 광신호를 수신하는 광신호 감지부, 반사 광신호를 처리하는 테이터 처리부, 및 처리된 테이터로부터 3차원 좌표를 생성하는 좌표 생성부를 포함하는 웨어러블디바이스가 개시된다. 이를 통해 사용자는 개선된 형태로 테이터 입력이 가능하고, 추가적인 입력수단 없이도 다양한 테이터 입력이 가능하며, 휴대성을 유지하면서도 테이터 입력의 정확성을 유지할 수 있는 효과가 있다.

Description

웨어러블 디바이스
본 발명은 웨어러블 디바이스에 관련된 기술이다.
일상 생활에서 전자 기기의 사용이 필수적인 최근의 생활 환경에서 전자 기기들은 각각의 입력 수단을 포함한다. 그러나, 이러한 일반적인 입력 수단들은 키보드, 마우스 등의 2차원 입력 수단에서 큰 개선이 이루어지지 않고 있다. 나아가, 휴대성과 편리성 측면에서도 개선될 필요가 있다.
이에 따라, 휴대성과 편리성을 동시에 충족시킬 수 있는 입력 수단의 등장이 요구된다. 특히, 전자 기기들이 소형화되는 추세에서, 새로운 입력 수단은 휴대성과 편리성뿐 아니라 전자 기기들의 기능을 충분히 활용할 수 있도록 다양한 입력 값들을 처리할 수 있어야 한다.
본 발명은 상기한 바와 같은 기술의 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 휴대 가능한 입력 수단을 활용하여 사용자가 편리하게 데이터 입력을 가능하도록 하는 것이다.
본 발명의 또 다른 목적은 웨어러블 디바이스가 키보드와 마우스등 현존하는 입력 수단을 대체할 수 있도록 다양한 종류의 데이터 입력을 가능케 하는 것이다.
본 발명의 또 다른 목적은 웨어러블 디바이스의 장점인 휴대성을 유지하면서도 입력되는 데이터의 정확도를 유지할 수 있도록 하는 것이다.
본 발명에서 이루고자 하는 기술적 목적들은 이상에서 언급한 사항들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 이하 설명할 본 발명의 실시 예들로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 고려될 수 있다.
상기 기술적 과제를 해결하기 위한 웨어러블 디바이스는 광신호를 송출하는 광신호 송출부, 반사 광신호를 수신하는 광신호 감지부, 반사 광신호를 처리하는 데이터 처리부, 및 처리된 데이터로부터 3차원 좌표를 생성하는 좌표 생성부를 포함한다.
본 발명의 실시 예들에 따르면 다음과 같은 효과를 기대할 수 있다.
첫째로, 사용자는 휴대성과 편리성을 동시에 제공할 수 있는 웨어러블 디바이스를 통해 개선된 형태로 데이터 입력이 가능하다.
둘째로, 웨어러블 디바이스가 키보드와 마우스와 같은 입력 수단들을 대체할 수 있어, 추가적인 입력수단 없이도 웨어러블 디바이스만으로 다양한 데이터 입력이 가능하게 된다.
셋째로, 웨어러블 디바이스의 휴대성을 유지하면서도 데이터 입력의 정확성을 유지할 수 있어, 사용자에게 개선된 형태의 데이터 입력 환경을 제공할 수 있다.
본 발명의 실시 예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 이하의 본 발명의 실시 예들에 대한 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다. 즉, 본 발명을 실시함에 따른 의도하지 않은 효과들 역시 본 발명의 실시 예들로부터 당해 기술분야의 통상의 지식을 가진 자에 의해 도출될 수 있다.
이하에 첨부되는 도면들은 본 발명에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 본 발명에 대한 실시 예들을 제공한다. 다만, 본 발명의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다. 각 도면에서의 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 동작 과정을 설명하는 도면이다.
도 3은 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 동작 과정을 설명하는 도면이다.
도 4는 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 동작 과정을 설명하는 도면이다.
도 5는 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 동작 과정을 설명하는 도면이다.
도 6은 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 동작 과정을 설명하는 도면이다.
도 7은 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 동작 과정을 설명하는 도면이다.
도 8은 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 동작 과정을 설명하는 도면이다.
도 9는 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 동작 과정을 설명하는 도면이다.
도 10은 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 동작 과정을 설명하는 도면이다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
이하의 실시 예들은 본 발명의 구성요소들과 특징들을 소정 형태로 결합한 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려될 수 있다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시 예를 구성할 수도 있다. 본 발명의 실시 예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시 예의 일부 구성이나 특징은 다른 실시 예에 포함될 수 있고, 또는 다른 실시 예의 대응하는 구성 또는 특징과 교체될 수 있다.
도면에 대한 설명에서, 본 발명의 요지를 흐릴 수 있는 절차 또는 단계 등은 기술하지 않았으며, 당업자의 수준에서 이해할 수 있을 정도의 절차 또는 단계는 또한 기술하지 아니하였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떠한 구성이 다른 구성에 "연결"된다고 할 때, 이는 물리적 연결뿐 아니라 전기적 연결 또한 포함할 수 있으며, 나아가 논리적인 연결 관계에 있음을 의미할 수도 있다.
또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
또한, 본 명세서에서 "사용자"는 웨어러블 디바이스의 착용자, 사용자 등이 될 수 있으며 웨어러블 디바이스를 수리하는 기술자 또한 포함할 수 있으나, 이에 한정되는 것은 아니다.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.
또한, 본 발명의 실시 예들에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
이하에서 본 발명의 실시 예들에 대해 설명하기 전에, 본 명세서에서는 본원과 동일한 발명자와 출원인에 의해 기출원된 대한민국 특허출원 10-2014-0108341, 특허출원 10-2014-0139081, 특허출원 10-2015-0061522의 내용이 모두 인용된다. 특허출원 10-2014-0108341에서는 웨어러블 디바이스를 활용하여 대상체를 3차원 스캔하여 3차원 모델을 생성하고, 3차원 모델에 패턴을 추가하여 사용자의 움직임을 감지하는 발명이 제안되었으며, 특허출원 10-2014-0139081와 특허출원 10-2015-0061522에서는 광신호를 송수신하고 비교하여 사용자의 혈관 패턴을 분석함으로써 사용자의 움직임을 감지하는 발명이 제안된 바 있다.
도 1은 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 구성을 도시한 블록도이다. 웨어러블 디바이스(100)는 도 1에 도시된 구성 이외에도 다른 범용적인 구성을 더 포함할 수 있으며, 도 1에 도시된 구성보다 적은 구성으로 구현될 수도 있다. 즉, 웨어러블 디바이스(100)의 구현 형태나 권리범위가 도 1에 도시되고 설명하는 내용에 한정되는 것은 아니다.
웨어러블 디바이스(100)는 사용자의 신체 일부(예를 들어, 손, 목, 머리 등)에 장착되는 입출력 수단이다. 웨어러블 디바이스(100)는 다양한 방식과 수단을 활용하여 사용자의 생체 패턴을 감지하며, 감지한 결과를 처리한 결과 값으로부터 데이터와 신호를 생성한다. 생성된 데이터와 신호는 웨어러블 디바이스(100)가 출력하는 대상이 될 수 있으며, 외부 디바이스나 서버로 전송될 수도 있다. 다시 말해서, 웨어러블 디바이스(100)는 사용자에 대한 입력 수단이자 출력 수단으로 동작할 수 있다.
이하에서는 웨어러블 디바이스(100)가 포함하는 여러 가지 구성들에 대해 각각 설명한다. 일 실시 예에 의한 웨어러블 디바이스(100)는 광신호 송출부(105), 광신호 감지부(110), 데이터 처리부(115), 좌표 생성부(120), 깊이 센서(125), 생체 패턴 인식부(130), 영상 처리부(135), 영상 출력부(140), 자이로스코프 센서(145), 가속도 센서(150), 피드백부(155), 통신부(160), 저장부(165), 전원부(170), 및 제어부(175)를 포함할 수 있다. 도시된 구성들은 서로 유선 또는 무선으로 연결되어 데이터와 신호를 주고 받을 수 있다. 상술한 바와 같이, 도 1에 도시된 구성들은 웨어러블 디바이스(100)를 구성하는 예시에 불과하여, 웨어러블 디바이스(100)는 도시된 구성보다 적거나 많은 구성을 포함하도록 구현될 수 있다.
먼저, 광신호 송출부(105)는 광신호를 생성하고 송출한다. 광신호 송출부(105)는 특정 파장을 갖는 광신호를 생성할 수 있으며, 예를 들어 가시광선(약 300 내지 700nm)이나 적외선(약 700 내지 3000nm)의 파장을 갖는 광신호를 생성할 수 있다. 다만, 광신호 송출부(105)가 생성하는 광신호의 파장은 이러한 예에 한정되지 않으며, 광신호 송출부(105)는 가시광선, 근적외선, 적외선 이외에도 더 긴 파장을 갖는 원적외선의 파장 또한 생성할 수 있다. 또 다른 실시 예에 의하면, 광신호 송출부(105)는 특정 대역의 파장을 갖는 광신호를 생성하는 대신에, 연속적인 스펙트럼의 광신호를 생성할 수도 있다. 광신호 송출부(105)가 생성하는 광신호의 파장에 대한 구체적인 설명은 도 2에서 후술한다.
광신호 송출부(105)는 생성된 광신호를 송출한다. 광신호 송출부(105)는 광신호를 출력함에 있어서 연속적인 웨이브(continuous wave)의 형태로 송출할 수도 있고, 불연속적인 펄스(non-continuous pulse)의 형태로 광신호를 송출할 수도 있다.
또한, 광신호 송출부(105)는 패턴이 형성된 광신호를 송출할 수도 있다. 패턴은 송출되는 광신호가 외부면에 투영되었을 때에 형성되는 기결정된 모양과 형태를 의미한다. 예를 들어, 광신호 송출부(105)는 줄무늬 형태의 패턴을 갖는 광신호를 송출할 수 있다. 또한, 이러한 광신호의 패턴은 프로그램화되어 미리 저장될 수 있으며, 웨어러블 디바이스(100)가 식별할 수 있는 임의의 패턴이 될 수 있다.
상술한 바와 같이, 광신호 송출부(105)는 여러 가지 방식에 따라 광신호를 생성하고 송출한다. 광신호 송출부(105)는 광신호의 파장, 광신호의 종류나 송출 방식 등을 결합하여 다양한 방식으로 광신호를 생성하고 송출할 수 있다. 한편, 웨어러블 디바이스(100)는 광신호 송출부(105)를 하나 이상 포함할 수 있으며, 구체적인 예에 대해서는 도 2에서 설명한다.
광신호 감지부(110)는 외부로부터 수신되는 광신호를 감지한다. 광신호 송출부(105)가 송출한 광신호가 외부의 대상체(예를 들어, 사물이나 신체 일부 등)에 반사되면, 광신호의 세기, 파장, 주파수 대역, 에너지 등 다양한 물리적 특성 값이 변경된다. 이하에서는 이와 같이 외부면에 반사되어 물리적 특성이 변경된 광신호를 반사 광신호라 한다. 즉, 광신호 감지부(110)는 외부의 대상체에 반사되어 생성된 반사 광신호를 감지한다.
광신호 송출부(105)가 다양한 파장의 광신호를 송출함에 따라, 광신호 감지부(110)는 광신호 송출부(105)가 송출할 수 있는 파장의 광신호를 감지할 수 있다. 즉, 광신호 감지부(110)는 가시광선 파장의 광신호, 근적외선 및 원적외선 파장의 광신호 등을 감지할 수 있으며, 광신호 감지부(110)가 검출하는 파장이 이러한 예시 대역에 한정되는 것이 아님은 앞서 설명한 바와 유사하다.
데이터 처리부(115)는 광신호 감지부(110)가 수신한 광신호를 처리하여 수신 데이터를 생성한다. 데이터 처리부(115)에 의한 데이터 처리 과정은 광신호 감지부(110)가 수신한 아날로그 신호인 광신호를 디지털화 하는 과정을 포함할 수 있다. 데이터 처리를 통해 수신 데이터를 생성하는 과정은 일정 주기로 수행되거나 웨어러블 디바이스(100)의 제어부(175)로부터의 제어 명령에 따라 수행될 수 있다.
한편, 데이터 처리부(115)가 생성한 수신 데이터는 대상체가 신체 일부인 경우 대상체의 혈관에 대한 정보를 포함할 수 있다. 즉, 구체적으로는 후술하겠으나 광신호 송출부(105)가 송출한 광신호는 대상체의 혈관에서 반사, 산란, 흡수 되어 물리적 특성 값이 달라진다. 이에 따라, 데이터 처리부(115)는 광신호 감지부(110)가 수신한 반사 광신호를 처리함으로써 대상체의 혈관의 배치 및 분포에 대한 정보를 획득할 수 있다. 상술한 수신 데이터에 있어서, 이하에서는 특히 대상체가 혈관인 경우의 수신 데이터를 설명의 편의상 혈관 데이터라 한다.
상술한 바와 같이 광신호 송출부(105), 광신호 감지부(110) 및 데이터 처리부(115)가 혈관을 감지하고 혈관 데이터를 생성함에 있어서, 후술할 깊이 센서(125)와 생체 패턴 인식부(130) 중 적어도 하나가 함께 동작할 수 있다. 구체적으로는 후술하겠으나 깊이 센서(125)는 대상체를 3차원으로 감지하여 입체적인 구조와 형태, 위치 등을 감지할 수 있고, 생체 패턴 인식부(130)는 대상체의 표면에서 확인되는 패턴들을 인식하여 색상, 채도, 명도, 형태 등의 시각적인 특징 등을 감지할 수 있다. 혈관에 대한 혈관 데이터는 혈관의 분포와 배치에 대한 2차원 정보로 구성될 수 있을뿐 아니라, 깊이 센서(125) 및/또는 생체 패턴 인식부(130)가 함께 동작하여 획득된 혈관 데이터는 3차원 정보로 구성될 수도 있다.
상술한 혈관 데이터를 생성하는 과정은 2차원 또는 3차원으로 수행될 수 있다. 즉, 광신호 송출부(105)와 광신호 감지부(110)는 대상체의 혈관을 평면적인 2차원으로 인식할 수도 있고, 입체적인 3차원으로 인지할 수도 있다. 2차원인 경우, 혈관 데이터는 후술할 깊이 센서(125)에 의해 생성된 대상체의 3차원 모델을 기반으로 3차원 데이터로 변환된다. 이러한 변환 과정은 측정된 대상체의 정맥 패턴을 대상체에 대한 기하학적 모델과 비교함으로써, 정맥 패턴이 기하학적으로 왜곡된 정도를 파악하여 실제 대상체의 굴곡을 파악하는 과정으로 이해될 수 있다. 다시 말해서, 기저장된 대상체의 3차원 모델과 새로 측정된 패턴 정보를 비교하여, 2차원으로 생성된 혈관 데이터는 3차원으로 변환될 수 있다. 2차원 데이터가 3차원 데이터로 변환되면, 기생성된 3차원 모델에 패턴으로써 결합될 수 있다. 이러한 변환 과정에서, 2차원 데이터는 거리에 대한 정보가 없기 때문에, 기저장된 정맥 패턴에 대한 정보들과 비교 분석하는 과정이 수행될 수도 있다. 즉, 웨어러블 디바이스(100)에 기저장된 정보들과 새롭게 측정된 2차원 데이터를 비교함으로써, 웨어러블 디바이스(100)는 정맥의 분포가 공간 상에서 어떻게 이루어진 형태인지 파악할 수 있다. 이러한 과정은 웨어러블 디바이스(100)가 갖는 부분 일치성(partial conformity)에 기인하여 수행될 수 있으며, 부분 일치성 개념에 대해서는 후술한다.
반면에, 대상체의 혈관이 기본적으로 3차원으로 감지된 경우, 이러한 변환 과정은 필요하지 않다. 따라서, 3차원 혈관 데이터는 곧바로 기생성된 3차원 모델에 패턴으로써 결합될 수 있다. 즉, 3차원 혈관 데이터는 정맥에 대한 모양과 위치의 정보를 3차원으로 가지기 때문에, 3차원 모델과 결합하는 과정에서 정맥에 대한 절대적인 크기 및 형태를 곧바로 파악할 수 있다.
이와 같이 2차원 또는 3차원으로 혈관 데이터를 획득한 결과, 웨어러블 디바이스(100)는 정맥 패턴의 분포를 구체적으로 인지할 수 있다. 이러한 개념을 웨어러블 디바이스(100)가 정맥 맵(vein map)을 구성한다는 의미로 이해할 수도 있다. 즉, 웨어러블 디바이스(100)는 정맥 패턴을 3차원으로 인지함으로써, 정맥 분포에 있어서 정맥 분기점의 공간상 좌표, 각 가지(branch)들의 길이, 분기점에서 각 가지들이 형성하는 각도, 가지들의 개수 등에 대한 정보를 모두 확인할 수 있게 된다.
한편, 좌표 생성부(120)는 정맥 패턴을 기저장된 정보들과 비교하는 과정에서, 정맥 패턴의 배치가 상대적으로 덜 변화하는 손등과 팔 등의 정맥 패턴을 우선적으로 비교할 수 있다. 또한, 좌표 생성부(120)는 정맥 패턴을 대체하기 위한 정보로써 신체 구성의 윤곽이나 테두리에 대한 정보도 함께 활용할 수 있다. 웨어러블 디바이스(100)가 신체 구성을 감지하는 각도에 따라 윤곽과 테두리에 대한 정보가 다르게 감지되기 때문에, 이러한 정보를 정맥 패턴 정보과 함께 분석함으로써 3차원 좌표를 더 효율적으로 생성할 수 있게 된다.
좌표 생성부(120)는 데이터 처리부(115)가 생성한 데이터를 이용하여 대상체의 3차원 좌표를 생성한다. '대상체'라 함은 혈관이 될 수도 있고 신체 일부가 될 수도 있으며, 신체가 아닌 사물이 될 수도 있다. 즉, 좌표 생성부(120)는 광신호 감지부(110)가 생성한 반사 광신호가 생성된 대상체의 3차원 좌표를 생성한다. 예를 들어, 반사 광신호가 사용자 신체의 혈관 패턴으로부터 생성되었다면, 좌표 생성부(120)는 반사 광신호가 생성된 신체 일부 영역의 혈관 패턴에 대한 3차원 좌표를 생성한다. 이때, 혈관 패턴에 대한 3차원 좌표는 혈관 패턴을 시각화한 패턴(visualized pattern) 형태가 될 수 있다.
또 다른 실시 예로서, 반사 광신호가 사용자의 신체 일부(예를 들어, 손가락 또는 팔)로부터 생성된 경우, 좌표 생성부(120)는 반사 광신호가 생성된 신체 일부인 손가락 또는 팔의 3차원 좌표를 생성한다. 이때의 3차원 좌표는 손가락 또는 팔의 공간 상의 좌표가 될 수 있다. 구체적으로 설명하면, 감지된 정맥 패턴은 신체 전반에 걸쳐 표면을 덮기 때문에, 신체의 3차원 모델과 정맥 패턴이 결합되어 저장되는 경우, 신체 조직들과 구성들의 공간상 좌표를 각각 독립적으로 파악할 수 있다. 다시 말해서, 좌표 생성부(120)가 대상체의 3차원 좌표를 파악한다는 것은, 넓은 의미로는 단순히 대상체(예를 들어, 사용자의 팔)의 공간상 위치와 각도 등을 파악하는 것으로 이해될 수 있으며, 좁은 의미로는 각 대상체의 구성요소들(예를 들어, 사용자의 위팔, 아래팔, 손등, 손가락 관절 등)의 3차원 좌표를 각각 파악하는 것을 의미할 수 있다. 따라서, 좌표 생성부(120)가 생성한 구성요소들의 3차원 좌표에 따라, 웨어러블 디바이스(100)는 신체의 각 조직과 구성들을 구별하여 인지할 수 있게 된다.
좌표 생성부(120)는 신체 조직을 관절 단위로 구별하여 좌표를 생성할 수 있으며, 구현 예에 따라 더 큰 단위 또는 더 작은 단위로도 신체 구성들을 각각 분리하여 좌표를 생성 및 인지할 수 있게 된다. 이러한 실시 예에 의하면, 웨어러블 디바이스(100)는 특정 신체 구성이 공간 상에서 어디에 어떠한 형태로 위치하는지 모두 구별하여 파악할 수 있다. 이하에서는, 이와 같이 웨어러블 디바이스(100)가 신체 구성을 각각 구별하여 인지할 수 있는 특성을 부분 일치성이라 한다.
부분 일치성과 관련된 내용을 구체적으로 설명한다. 광신호 송출과 수신을 통해 정맥 패턴에 대한 데이터(혈관 데이터)가 생성되면, 좌표 생성부(120)는 측정된 대상체가 기저장된 신체 구성 중 어떠한 부분인지 연관시켜 파악한다. 즉, 웨어러블 디바이스(100)는 신체 각 구성요소들을 구별할 수 있으므로, 측정된 신체 구성을 기저장된 정보와 일치시켜 어떠한 구성이 측정된 것인지 먼저 파악한다. 이러한 부분 일치 과정이 수행되고 나면, 좌표 생성부(120)는 해당 신체 구성에 대하여 기저장된 정맥 패턴이 공간 상에서 왜곡된 형태와 정도를 비교함으로써 공간 상에서 해당 구성의 모양과 거리를 유추한다. 2차원 데이터가 스캔된 경우, 기저장된 정보와의 비교를 통해 부분 일치가 수행되면서 대상체의 모양, 거리 등이 함께 파악될 수 있다. 즉, 비교를 통해 부분 일치성에 따른 유사 부분이 확인되면, 웨어러블 디바이스(100)는 기하학적으로 왜곡 정도를 파악하여 대상체의 거리, 굴곡, 모양 등을 알게 된다. 반면에, 3차원 데이터가 스캔된 경우, 대상체를 스캔하는 과정에서 이미 부분 일치가 이루어지기 때문에, 곧바로 대상체의 모양, 거리가 파악될 수 있다. 이러한 과정에서, 정맥 패턴에 대한 데이터를 통해 각 관절의 위치가 결정하는 과정이 수행될 수도 있고, 생략될 수도 있다. 즉, 정맥 패턴에 대한 데이터로부터 각 관절의 위치(예를 들어, 손목, 손가락 관절 등)가 결정된 이후, 전체 대상체(예를 들어, 손)의 위치와 모양이 결정될 수도 있는 반면, 정맥 패턴에 대한 데이터로부터 전체 대상체의 위치와 모양이 곧바로 결정될 수도 있다.
본 실시 예를 통해서 웨어러블 디바이스(100)는 신체 조직과 비신체 조직인 사물들을 구별하여 인지할 수 있다. 예를 들어, 사용자가 손으로 사물을 쥐고 있는 경우, 단순한 3차원 스캔만으로는 사용자의 손과 사물을 구별해내기 매우 어렵다. 그러나, 상술한 방식에 따라 웨어러블 디바이스(100)는 혈관 패턴 또는 생체 패턴을 3차원 모델과 결합하여 처리하므로 신체 조직만을 구별하여 확인할 수 있고, 신체 조직을 정확히 인지할 수 있다. 이러한 실시 예를 통해서, 웨어러블 디바이스(100)는 사용자에게 후술할 증강현실(AR), 가상현실(VR, Virtual Reality) 을 경험할 수 있게끔 한다.
한편, 좌표 생성부(120)가 대상체의 3차원 좌표를 생성하는 과정이 짧은 간격에 따라 연속적으로 수행되는 경우, 이러한 일련의 과정에 따른 결과 값들은 대상체의 움직임을 추적(tracking)하는 데이터를 나타낼 수도 있다. 다시 말해서, 대상체(사용자의 신체 일부)에 대하여 광신호를 송출하고 반사 광신호를 감지하는 과정이 짧은 간격으로 소정 횟수 반복하여 수행되면, 좌표 생성부(120)는 대상체의 3차원 좌표를 소정 횟수만큼 생성할 수 있다. 이러한 3차원 좌표 값들을 연결함으로써, 좌표 생성부(120)는 대상체의 공간 상에서의 움직임을 인지하게 된다. 대상체의 공간 상에서의 움직임은 특정 제스쳐(gesture)일 수도 있고, 웨어러블 디바이스(100)에 미리 저장된 입력 값을 트리거(trigger)하는 동작일 수도 있다. 동작의 예시로서, 사용자가 가상의 키보드 상의 소정 키를 누르는 키 입력 동작, 사용자가 가상의 마우스의 커서를 이동시키는 마우스 이동 동작, 사용자가 가상의 마우스의 버튼을 클릭하는 마우스 클릭 동작 등을 들 수 있다. 각각의 동작에 대한 구체적인 처리 과정은 후술한다.
이어서, 깊이 센서(125)는 대상체를 3차원으로 스캔하여 3차원 스캔 정보를 생성한다. 즉, 깊이 센서(125)는 대상체로 여러 가지 종류의 신호를 송출하고, 대상체 표면에서 송출한 신호의 변화를 감지하거나 대상체로부터 반사되는 신호를 감지한다. 깊이 센서(125)는 감지한 신호를 분석하여 대상체에 대한 3차원 스캔 정보를 생성할 수 있다. 예를 들어, 깊이 센서(125)는 대상체가 사용자의 손인 경우, 손을 3차원으로 감지하여 손의 외형에 대한 3차원 스캔 정보를 생성할 수 있다.
대상체를 3차원으로 스캔하는 깊이 센서(125)는 여러 가지 종류의 센서나 디바이스를 포함할 수 있다. 예를 들어, 깊이 센서(125)는 적외선 신호를 대상체로 송출하고 대상체 표면에서의 변화를 감지하는 적외선 카메라, 대상체로 초음파 신호나 광신호를 송출하고 대상체로부터 반사되는 신호와의 시간 차이를 측정하는 ToF(Time of Flight) 카메라, 레이저 신호를 대상체로 송출하고 반사되는 신호를 감지하는 레이저 송수신기, 두 위치에서 대상체를 촬영한 차이값을 분석하는 스테레오(stereo) 카메라 등을 포함할 수 있다.
이외에도, 펄스 레이저광을 대기 중에 발사하여 그 반사체나 산란체를 이용하는 라이더(LIDAR, LIght Detection And Ranging) 방식, 대상체의 표면에서 코히어런트(coherent)한 빛이 반사되는 패턴의 변화를 감지하는 스페클 간섭법(speckle interferometry) 방식, 두 개의 LED를 활용하는 적외선 근접 어레이(IPA, Infrared Proximity Array) 감지 방식, RGB 카메라 등 또한 깊이 센서(125)를 구현하기 위해 적용될 수 있다.
한편, 깊이 센서(125)가 패턴화된 특정 파장의 광신호를 이용하여 3차원 스캔 정보를 생성하는 경우, 상술한 광신호 송출부(105)와 동일한 구성으로 구현될 수 있다. 즉, 광신호 송출부(105)는 패턴화된 광신호를 혈관을 감지하기 위한 용도와 3차원 스캔 정보 생성을 위한 용도로 모두 활용할 수 있다. 이러한 경우, 광신호 송출부(105)는 서로 다른 파장의 광신호들을 출력하는 것에 더하여 패턴이 있는 광신호를 출력함으로써 깊이 센서(125)의 역할을 수행하거나, 깊이 센서(125)의 역할만을 수행할 수 있다. 광신호 송출부(105)가 깊이 센서(125)의 역할을 수행하기 위하여 출력하는 패턴화된 광신호는 혈관을 감지하기 위한 광신호의 파장 중 어느 하나가 이용될 수도 있고, 다른 파장의 광신호가 이용될 수도 있다.
또한, 깊이 센서(125)는 광신호 송출부(105)에 대해 설명한 바와 유사하게 두 가지 방식으로 동작하여 스캔 정보를 생성할 수 있다. 즉, 깊이 센서(125)는 대상체로 광신호(패턴화된 광신호)를 송출하고 3차원 스캔 정보를 생성함에 있어서, 수신되는 광신호의 시점과 주파수 대역에 대해 미리 알고 있을 수도 있고 모를 수도 있다. 구체적으로, 깊이 센서(125)가 송출되는 광신호의 시점과 파장 대역(또는, 주파수 대역)을 미리 알고 있는 경우, 깊이 센서(125)는 해당 광신호가 수신될 시점을 미리 계산하며 계산된 시점과 주파수 대역에서 수신되는 광신호를 통해 3차원 스캔 정보를 생성하게 된다. 이러한 경우, 광신호 송출부(105)가 대상체의 혈관에 대한 정보를 획득하기 위하여 특정 파장의 광신호를 송출하는 중간중간에 깊이 센서(125)는 3차원 스캔 정보의 생성을 위한 광신호를 송출할 수 있다.
반대로, 깊이 센서(125)가 수신되는 광신호에 대한 정보를 모르더라도, 수신되는 광신호를 선택적으로 감지하기 위한 수단을 구비하는 경우에는 3차원 스캔 정보를 생성할 수 있다. 즉, 깊이 센서(125)는 광신호의 특정 파장 대역을 검출하기 위한 필터 등을 구비할 수 있으며, 이러한 경우에는 수신 광신호를 선택적으로 감지할 수 있다.
대상체를 3차원으로 스캔하기 위한 깊이 센서(125)는 상술한 구성들의 예시에 한정되는 것은 아니며, 그 이외의 다른 여러 가지 구성들이 깊이 센서(125)에 포함될 수 있다. 또한, 깊이 센서(125)는 상술한 구성들 중 둘 이상이 조합되는 형태로 구현될 수도 있다. 상술한 깊이 센서(125)의 구성들이 복수로 사용되는 경우, 둘 이상의 서로 다른 위치에서 대상체를 스캔하고 차이값을 분석하는 스테레오 기법이 적용될 수 있다.
또한, 깊이 센서(125)가 대상체를 3차원 스캔하는 과정을 수행한 뒤, 컴퓨터 비전 기술(computer vision technique)을 활용하여 3차원 스캔 정보의 정확도를 향상시킬 수도 있다. 컴퓨터 비전 기술은 2D 영상을 해석하는 과정에서 깊이 정보의 정확도를 향상시키는 용도로 활용되며, depth-from-focus 방식, depth-from-stereo 방식, depth-from-shape 방식, depth-from-motion 방식 등이 포함된다. 깊이 센서(125)는 상술한 여러 가지 방식들을 활용하여 대상체에 대한 3차원 스캔 정보를 정확하게 생성할 수 있다.
한편, 이상에서는 대상체가 사용자의 신체 일부인 손인 경우를 예로 들어 설명하였으나, 이에 한정되는 것은 아니다. 즉, 대상체는 신체 일부를 의미할 수 있을뿐 아니라, 물체, 공간, 구조물 등 다양한 대상을 의미할 수 있다. 예를 들어, 대상체가 핸드폰, 노트북, 책상 등과 같은 물체인 경우, 깊이 센서(125)는 핸드폰, 노트북을 3차원 스캔하여 3차원 스캔 정보를 생성할 수 있다. 또한, 웨어러블 디바이스(100)가 방 안에 위치한 경우, 깊이 센서(125)는 방 안의 공간, 3차원 물체, 벽면을 대상체로하여 스캔할 수 있다. 이에 따라, 깊이 센서(125)는 방의 벽면들에 의한 3차원 공간에 대해 인식하고, 벽면에 대한 3차원 스캔 정보를 생성할 수 있다. 이러한 경우, 깊이 센서(125)는 기저장된 3차원 물체와 3차원 스캔 정보의 값을 비교함으로써 웨어러블 디바이스(100)가 방 안에 어디에 위치하는지, 즉 소정 공간 이내에서 웨어러블 디바이스(100)의 절대좌표를 알 수 있다.
생체 패턴 인식부(130)는 대상체가 사용자의 신체 일부인 경우, 대상체를 스캔하여 시각적으로 확인되는 패턴들을 감지한다. 신체 표면에는 손금, 지문, 주름선, 혈관, 굴곡 등 시각적으로 구별이 가능한 다양한 종류의 패턴들이 존재하며, 생체 패턴 인식부(130)는 자연광과 실내광을 이용하거나 특정 파장의 광신호를 이용하여 이러한 패턴들을 감지하여 인덱스(index)로 활용한다. 즉, 생체 패턴 인식부(130)는 신체 표면에서 채도, 명도, 색상 등을 확인함으로써 패턴들을 구별해낸다. 예를 들어, 주름선, 손금 등은 신체 표면의 다른 부분 보다 어둡고 진한 특징이 있으며, 혈관은 신체 표면에서 푸른색으로 나타난다. 생체 패턴 인식부(130)는 이러한 신체 특징들을 시각적으로 감지하고 감지된 결과를 패턴 정보로써 생성한다.
생체 패턴 인식부(130)는 손톱, 손톱선(손톱 테두리), 모공, 손금, 지문, 주름선, 혈관 등을 시각적으로 확인하기 위한 특정 단파장의 광신호를 송출할 수 있으며, 이와는 달리 둘 이상의 파장을 이용하는 멀티 스펙트럼(multi spectrum) 기법 또한 활용할 수 있다. 단파장의 경우, 신체 특징이 잘 드러나는 파란색이나 보라색의 가시광선 파장 영역을 이용함으로써 생체 패턴 인식부(130)는 신체 특징을 더 쉽게 감지해낼 수 있다.
또한, 생체 패턴 인식부(130)는 넓은 관점에서 신체 특징의 분포를 인지할 수도 있다. 즉, 생체 패턴 인식부(130)는 특정 위치의 패턴 하나만을 감지하는 것이 아니라, 신체 표면의 특정 영역에 대한 패턴의 분포 또한 감지할 수 있다. 예를 들어, 생체 패턴 인식부(130)는 대상체가 손바닥인 경우, 손바닥면에서 일부 어둡거나 밝은 부분, 더 빨갛거나 하얗게 나타나는 부분, 혈관이 비쳐 파란색을 띄는 부분, 지문과 주름선의 배치 등을 모두 인지할 수 있다. 또한, 생체 패턴 인식부(130)는 대상체가 손등이나 팔인 경우, 혈관이 비쳐 파란색을 띄는 부분, 관절 위치의 주름선, 손등 표면의 굴곡, 손톱 등을 모두 인지할 수 있다.
한편, 생체 패턴 인식부(130)가 생성한 패턴에 대한 정보는 상술한 깊이 센서(125)에 의해 기생성된 신체의 3차원 모델에 결합될 수 있다. 즉, 앞서 혈관 데이터를 3차원 모델에 결합하는 실시 예에서 설명한 바와 같이, 생체 패턴 인식부(130)가 감지한 신체 특징에 대한 정보도 신체 구성들의 3차원 좌표와 움직임을 감지하기 위한 수단으로 활용될 수 있다. 예를 들어, 신체의 각 구성들에 대한 패턴 정보가 3차원 모델에 결합된 경우, 웨어러블 디바이스(100)는 감지되는 생체 패턴을 분석함으로써 신체 구성들을 관절 단위로 구분해낼 수 있다.
생체 패턴 인식부(130)는 이와 같은 다양한 종류의 패턴들을 감지하기 위해 RGB 카메라, 적외선 카메라, ToF 카메라 등을 활용할 수 있다. 그 외에도, 생체 패턴 인식부(130)는 깊이 센서(125)에 적용된 여러 가지 종류의 센서를 포함하고 활용하도록 구현될 수도 있다. 생체 패턴 인식부(130)는 상술한 여러 가지 종류의 카메라, 센서, 모듈들을 활용하여 사용자 손바닥면을 촬영하거나 감지하여 명암과 색상, 채도가 다른 부분을 인식한다. 이러한 인식 결과가 패턴 정보로 생성된다. 생체 패턴 인식부(130) 또한 깊이 센서(125)와 마찬가지로 상술한 구성들 중 둘 이상이 조합되는 형태로 구현될 수도 있다.
한편, 광신호 감지부(110)와 생체 패턴 인식부(130)의 구성이 매우 인접하여 위치하도록 구현되는 경우, 생체 패턴 인식부(130)에서 가시광선 영역의 파장을 이용하여 생성된 정보는 데이터 처리부(115)의 혈관 데이터의 생성 과정에 활용될 수 있다. 즉, 생체 패턴 인식부(130)의 동작은 그 자체로 신체 특징을 파악하기 위해 이용될 수 있을 뿐 아니라, 혈관 데이터의 생성 과정에도 이용될 수 있다. 이러한 경우, 가시광선과 근적외선 영역의 파장이 번갈아가며 송수신되는 형태로 구현될 수 있으며, 또는 넓은 대역의 스펙트럼을 구분하기 위한 필터가 활용되는 경우에는 동시에 송수신되는 형태도 가능하다.
한편, 생체 패턴 인식부(130)는 사용자의 신체 특징들을 스캔함에 따라 사용자의 키 입력 동작, 마우스 이동 동작, 마우스 클릭 동작 등을 감지한다. 즉, 생체 패턴 인식부(130)는 신체적 특징들을 분석함으로써 앞서 설명한 좌표 생성부(120)와 유사하게 키 입력 동작, 마우스 이동 동작, 마우스 클릭 동작 등을 감지할 수 있다.
도 1에 도시하고 설명한 바와 같이 깊이 센서(125)와 생체 패턴 인식부(130)는 별개의 구성으로 구현될 수 있지만, 이와는 달리 하나의 구성으로 구현될 수도 있다. 즉, 깊이 센서(125)와 생체 패턴 인식부(130)가 적외선 카메라나 RGB 카메라로 구현되는 경우, 두 구성은 각각 별개가 아닌 단일한 구성일 수도 있다. 즉, 적외선 카메라 또는 RGB 카메라가 깊이 센서(125)와 생체 패턴 인식부(130)의 역할을 모두 수행할 수도 있다.
영상 처리부(135)는 깊이 센서(125)와 연결되어 3차원 스캔 정보를 수신하고 처리한다. 구체적으로, 영상 처리부(135)는 깊이 센서(125)로부터 수신되는 3차원 스캔 정보를 이용하여 3차원 영상을 생성하고, 3차원 렌더링 과정을 거쳐 대상체에 대한 3차원 모델을 생성할 수 있다. 예를 들어, 대상체가 사용자의 손인 경우, 영상 처리부(135)는 깊이 센서(125)가 사용자의 손을 감지함에 따라 손에 대한 3차원 모델을 생성할 수 있다. 또 다른 예로 대상체가 핸드폰과 같은 물체인 경우, 영상 처리부(135)는 핸드폰의 3차원 모델을 생성할 수 있다. 3차원 모델은 흑백 또는 컬러로 표현될 수 있다.
또한, 영상 처리부(135)는 데이터 처리부(115)가 생성한 수신 데이터를 이용하여 기생성된 3차원 모델에 혈관에 대한 패턴을 추가할 수 있다. 앞서 설명한 바와 같이, 데이터 처리부(115)는 광신호 감지부(110)가 수신한 광신호를 처리하여 대상체의 혈관에 대한 정보를 생성한다. 영상 처리부(135)는 혈관에 대한 정보를 처리하여 시각적으로 확인할 수 있는 패턴으로 생성하고, 3차원 스캔 정보에 기초하여 생성된 3차원 모델에 생성된 패턴을 추가할 수 있다. 즉, 영상 처리부(135)는 대상체의 외형만 존재하는 3차원 모델에 혈관에 대한 패턴을 입힌 3차원 모델을 생성할 수 있다.
한편, 웨어러블 디바이스(100)는 이와 같이 혈관 패턴(또는 생체 패턴)에 대한 정보를 누적하여 저장하여 데이터베이스(database)로 활용할 수도 있다. 즉, 웨어러블 디바이스(100)는 사용자의 신체가 취할 수 있는 대부분의 제스쳐를 혈관 데이터 또는 생체 패턴 단위로 미리 저장하며, 새롭게 입력되는 혈관 데이터나 생체 패턴을 기저장된 후보 이미지들과 비교함으로써 어떠한 제스쳐인지 구별해낼 수 있다. 이러한 기계학습(machine learning) 방식은 동작을 거듭할수록 결과 값의 정확도가 높아진다는 장점이 있다.
영상 출력부(140)는 외부로 영상을 투사(project)한다. 영상 출력부(140)는 사물이나 신체 일부 등 외부로 영상을 출력할 수 있으며, 이러한 대상은 제한이 없다. 예를 들어, 영상 출력부(140)는 신체 일부인 손바닥, 손등, 팔에 영상을 투사할 수도 있고, 책상, 벽면과 같은 사물에 영상을 투사할 수도 있다. 영상 출력부(140)가 투사하는 영상은 임의의 이미지, 동영상, 3차원 영상(입체 영상) 등 모든 종류의 영상을 포함할 수 있다. 또 다른 예로, 영상 출력부(140)는 사용자의 눈이 바라보는 시선 방향에 영상을 출력할 수도 있다. 이러한 실시 예를 통해, 영상 출력부(140)는 사용자에게 증강 현실(Augmented Reality, AR) 또는 가상 현실(Virtual Reality, VR) 서비스를 제공하게 된다. 다시 말해서, 영상 출력부(140)가 사용자의 시선이 향하는 위치에 직접적으로 영상을 출력함으로써, 사용자에게는 실제 사물에 영상 출력부(140)가 출력한 영상이 겹쳐져서 보이게 된다. 이러한 실시 예에 대해서는 도 8에서 구체적으로 설명한다.
웨어러블 AR/VR 디바이스, 헤드 마운티드 디스플레이(HMD, Head Mounted Display), 광학 헤드 마운티드 디스플레이(OHMD, Optical Head Mounted Display) 개념을 이용하여 눈에 영상을 출력하는 실시 예를 더 설명한다. 웨어러블 AR/VR 디바이스, HMD, OHMD는 사용자의 머리에 장착되어 사용자에게 AR/VR을 경험하게 하는 디바이스를 의미하는데, 이 과정에서 웨이브 가이드(waveguide), VRD(Virtual Retinal Display) 기술들이 이용될 수 있다.
상술한 개념들은 모두 사용자의 머리에 장착된다는 점에 있어서 유사하다. HMD, OHMD, VRD 등은 외부 빛이 눈에 유입되지 못하는 환경에서 사용자에게 VR 경험을 제공하거나, 외부 빛이 눈에 유입되어 가상 이미지에 결합되는 환경에서 사용자에게 AR 경험을 제공한다.
웨이브 가이드의 경우, 빛을 사용자 눈에 직접 송출하지 않고(즉, 사용자의 시야를 가리지 않고), 출력하는 영상을 굴절 또는 반사시켜 사용자의 시선 방향에 가상 이미지를 결합하는 개념이다. 그 구현 방식에 따라서 Diffractive waveguide, Holographic waveguide, Polarized waveguide, Reflective waveguide, Clear-Vu reflective waveguide, Switchable waveguide 등의 기술이 웨이브 가이드 기술에 포함될 수 있다. VRD 기술의 경우, 사용자의 망막에 직접적으로 LED 또는 레이저를 송출함으로써 3D AR 서비스를 제공하는 방식이다.
한편, 영상 출력부(140)는 영상을 투사하는 과정에서 좌표 생성부(120)가 결정한 정보를 활용할 수 있다. 좌표 생성부(120)는 상술한 바와 같이 대상체의 3차원 좌표를 생성할 수 있다. 한편, 3차원 좌표라는 개념은 상대적인 개념이므로, 웨어러블 디바이스(100)가 대상체의 3차원 좌표를 인지한다는 것은 동시에 웨어러블 디바이스(100) 자신의 공간상 위치를 인지한다는 것으로도 이해되어야 한다.
구체적으로 설명하면, 영상 출력부(140)는 좌표 생성부(120)가 대상체의 좌표를 측정한 결과를 이용하여, 웨어러블 디바이스(100)가 공간 상에서 이동하더라도 출력하는 영상이 일정한 위치와 크기에 투영되도록 할 수 있다. 다시 말해서, 웨어러블 디바이스(100)는 자신의 3차원 공간 상의 움직임을 측정하고 분석함으로써 외부의 기준점(예를 들어, 영상이 투사되는 대상체)과 자신과의 거리, 각도를 계산한다. 이어서, 영상 출력부(140)는 계산된 거리와 각도를 고려하여 영상이 일정하게 투영될 수 있도록 영상을 출력하는 각도와 위치를 조절할 수 있다.
또 다른 방식으로, 영상 출력부(140)는 영상을 투사하는 과정에서 사용자의 생체 패턴에 대한 정보를 고려할 수도 있다. 즉, 영상 출력부(140)는 다양한 방식에 따라 획득된 사용자의 신체 특징(주름선, 혈관, 굴곡, 지문 등)에 대한 정보를 이용함으로써, 신체 특징을 기준으로 영상을 고정된 위치와 각도로 송출할 수도 있다. 본 실시 예를 앞서 좌표 생성부(120)가 혈관에 대한 정보를 이용하는 실시 예와 조합하게 되면, 영상 출력부(140)가 영상을 출력하는 각도와 위치는 더 확실하게 고정될 수 있다. 다시 말해서, 손가락, 손, 팔 등의 생체 패턴과 혈관(정맥) 패턴 정보를 통해서 신체 구성요소들의 위치를 각각 계산함으로써, 영상 출력부(140)는 신체 구성요소들과 결합하여 영상을 고정 출력할 수 있다. 이는 웨어러블 디바이스(100)가 신체 구성요소들을 각각 별도로 구별하여 인지할 수 있기 때문이다. 예를 들어, 손가락, 손, 팔의 위치가 각각 구별되면, 영상 출력부(140)는 사용자가 증강현실(AR) 또는 가상현실(VR)을 경험할 수 있도록 영상을 신체 구성요소의 해당 위치에 출력할 수 있다. 이에 따라, 사용자의 신체 구성요소의 움직임에 관계 없이 영상이 해당 신체 구성요소를 공간적 기준으로 고정되어 출력된다. 이러한 방식은, 종래의 디바이스의 움직임을 기준으로 영상을 출력하는 방식과는 완전히 반대되는 개념으로서, 제안하는 실시 예에서는 디바이스와 영상 출력 위치가 움직인다 하더라도 원하는 위치에 고정시켜 영상을 출력할 수 있게 된다.
한편, 웨어러블 디바이스(100)는 상술한 생체 패턴에 대한 정보를 고려하기 위해, 사용자의 피부선과 같은 생체 정보를 미리 파악하여 관리할 수 있다. 즉, 앞서 인용한 특허출원 10-2014-0108341호에 기술된 바와 같이, 웨어러블 디바이스(100)는 적외선 카메라, RGB 카메라, ToF 카메라 등을 포함하는 손가락 인식부를 통해 사용자의 피부선을 감지한다. 감지된 피부선에 대한 정보는 피부선 패턴에 대한 정보로 처리되어 웨어러블 디바이스(100)에 저장 및 관리된다. 이어서, 웨어러블 디바이스(100)는 영상을 투사하는 과정에서 사용자의 피부선을 감지하고, 기저장된 피부선 패턴에 대한 정보와 비교/분석할 수 있다. 웨어러블 디바이스(100)는 이러한 과정을 거쳐 사용자의 신체 일부의 위치와 움직임을 파악할 수 있으며, 상술한 바와 같이 영상을 고정된 위치와 각도로 출력할 수 있게 된다.
이상에서는 광신호 송출부(105)와 영상 출력부(140)가 별도의 구성인 것으로 도시하고 설명하였으나, 두 구성은 동일한 구성으로 구현될 수도 있다. 즉, 광신호 송출부(105)는 여러 가지 파장의 광신호를 송출할 수 있을 뿐 아니라, 웨어러블 디바이스(100)가 출력하는 영상 또한 송출할 수 있다. 이러한 과정은 번갈아가며 이루어질 수 있는데, 즉, 영상 출력부(140)의 역할을 수행하도록 구현되는 광신호 송출부(105)는 서로 다른 파장의 광신호를 번갈아가며 출력하는 사이에 주기적 또는 비주기적으로 영상을 출력할 수 있다. 영상이 출력되는 도중에 혈관을 감지하기 위한 광신호가 출력되는 경우, 앞서 설명한 선택적으로 특정 파장의 광신호를 검출하는 과정에서 영상을 활용할 수 있다. 즉, 영상 출력부를 사용자가 시각적으로 인지할 수 있는 가시광선 파장으로 영상을 출력하게 되므로, 영상 출력부에 의해 출력되는 가시광선 파장의 광신호를 혈관을 감지하기 위한 광신호 중 하나로 활용한다. 이에 따라, 광신호 송출부(105)는 추가적으로 적외선 파장의 광신호만 더 송출하게 되면 서로 다른 파장의 두 광신호를 송출하는 것과 동일/유사한 효과를 얻을 수 있다.
다시 말해서, 광신호 송출부(105)는 제 1 광신호 출력, 제 2 광신호 출력, 영상 출력의 과정을 순차적으로 반복하며 수행할 수도 있으며, 광신호를 출력하는 과정은 영상 출력에 비해 상대적으로 매우 짧은 시간 간격으로 이루어질 수 있다. 이러한 경우, 사용자는 짧은 시간 동안 출력되는 광신호를 시각적으로 충분히 인지할 수 없고 영상만을 확인할 수 있게 된다.
한편, 광신호 송출부(105)가 깊이 센서(125)와 동일한 구성으로 구현됨은 앞서 설명한 바 있다. 즉, 광신호 송출부(105)가 깊이 센서(125)의 역할과 영상 출력부(140)의 역할을 모두 수행하는 경우, 세 구성은 하나의 구성으로 구현될 수도 있다. 이러한 실시 예에서, 광신호 송출부(105)는 영상을 출력하는 도중에 광신호를 송출함에 더하여, 패턴화된 광신호를 송출하여 깊이 센서(125)의 역할도 수행할 수 있다.
자이로스코프 센서(145)는 각속도를 측정하여 웨어러블 디바이스(100)의 기울기를 감지한다. 자이로스코프 센서(145)의 종류와 기능 등에 대해서는 기술분야의 통상의 지식을 가진자라면 당연히 알 수 있어, 구체적인 설명은 생략한다. 가속도 센서(150)는 속도 변화를 측정하여 웨어러블 디바이스(100)의 가속도와 기울기를 감지한다. 가속도 센서(150) 또한 그 종류와 기능에 대해 이미 알려진 바가 많아, 구체적인 설명은 생략한다.
한편, 자이로스코프 센서(145)와 가속도 센서(150)는 웨어러블 디바이스(100)의 3차원 공간 상의 움직임을 측정한다. 즉, 자이로스코프 센서(145)와 가속도 센서(150)는 웨어러블 디바이스(100)가 3차원 공간 상에서 어떠한 방향, 속도, 기울기로 움직이는지를 측정함으로써, 웨어러블 디바이스(100) 자신의 공간 상 움직임을 측정할 수 있다. 따라서, 웨어러블 디바이스(100)는 좌표 생성부(120)의 계산 결과 값과 함께 자이로스코프 센서(145)와 가속도 센서(150)의 측정 값을 이용하여, 자신의 3차원 좌표를 더욱 정확하게 측정할 수 있다.
한편, 웨어러블 디바이스(100)는 자이로스코프 센서(145)와 가속도 센서(150)를 통해 공간 상의 움직임을 측정함으로써, 마우스 이동 동작을 감지할 수 있다. 마우스 이동 동작은 사용자가 웨어러블 디바이스(100)를 장착한 채로 공간 상에서 웨어러블 디바이스(100)를 이동시켜 마우스의 커서를 조작하는 입력을 의미한다. 웨어러블 디바이스(100)는 자이로스코프 센서(145)와 가속도 센서(150)가 감지한 측정 값과 좌표 생성부(120)의 좌표 값을 이용하여 웨어러블 디바이스(100)의 공간 상에서의 움직임을 계산함으로써, 마우스 이동 동작에 매칭되는 소정의 값을 생성할 수 있다. 이러한 소정의 값은 영상 출력부(140)가 출력하는 영상 상에서 마우스 커서의 이동으로 표현될 수 있다.
즉, 웨어러블 디바이스(100)는 커서 값을 외부로 전송하여 입력 디바이스의 역할을 수행하는 '공간 마우스'로 동작할 수 있다. 또한, 웨어러블 디바이스(100)는 상술한 깊이 센서(125)를 활용하여 신체나 외부 대상체의 3차원 모델을 생성함으로써, 신체나 외부 대상체를 대상으로 공간 마우스의 역할을 수행하도록 구현될 수 있다.
또한, 마우스 이동 동작과 관련하여 마우스 클릭 동작을 설명한다. 마우스 클릭 동작은 사용자가 웨어러블 디바이스(100)를 장착한 채로 마우스 이동 동작을 수행하는 도중에, 둘 이상의 손가락을 접촉함으로써 마우스의 왼쪽 또는 오른쪽 버튼을 클릭하는 입력을 의미한다. 예를 들어, 웨어러블 디바이스(100)는 사용자가 엄지 손가락과 검지 손가락을 접촉하는 경우를 마우스 왼쪽 버튼의 클릭, 중지 손가락과 엄지 손가락을 접촉하는 경우를 마우스 오른쪽 버튼의 클릭에 대한 마우스 클릭 동작으로 인식할 수 있다. 한편, 해당 클릭 동작은 마우스 클릭 값으로 생성되며, 외부 디바이스나 서버로 전송될 수 있다.
피드백부(155)는 웨어러블 디바이스(100)가 여러 가지 수단을 이용하여 사용자에게 촉각 피드백을 전송하는 수단이다. 촉각 피드백은 다양한 경우에 생성되고 사용자에게 전송될 수 있는데, 예를 들어 웨어러블 디바이스(100)가 공간 상의 특정 좌표에 위치하거나 해당 좌표를 지나는 경우, 웨어러블 디바이스(100)에 연결된 외부 디바이스에서 재생되는 컨텐츠로부터 사용자에게 촉각 피드백을 전송할 것을 지시하는 신호가 수신되는 경우 등 여러 가지 경우에 있어서 사용자에게 촉각 피드백을 제공할 수 있다.
피드백부(155)가 사용자에게 촉각 피드백을 전송하는 수단은 여러 가지가 될 수 있다. 예를 들어, 피드백부(155)는 진동 모듈을 포함하여 사용자에게 진동 신호를 전달하거나, 압력 모듈을 포함하여 웨어러블 디바이스(100)를 장착한 사용자가 압력을 느끼게 할 수도 있다. 또한, 피드백부(155)는 전단 응력(shear stress) 모듈을 통해 사용자에게 촉각 피드백을 제공하거나 전류 모듈을 통해 사용자의 신체에 영향이 없을 정도의 미세 전류를 전달할 수도 있다.
통신부(160)는 데이터 통신을 수행하며 외부와의 송신 및 수신을 수행한다. 예를 들어, 통신부(160)는 무선으로 외부 네트워크와 연결되어 외부 디바이스, 서버 등과 통신할 수 있으며, 통신을 수행하기 위한 하나 이상의 통신 모듈을 포함할 수 있다.
통신부(160)는 근거리 통신을 위한 모듈로써 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스, 지그비(zigbee), WFD(Wi-Fi Direct), UWB(ultra wideband), 적외선 통신(IrDA, infrared Data Association), BLE(Bluetooth Low Energy), NFC(Near Field Communication) 등의 통신 기능을 구현하기 위한 모듈을 포함할 수 있다.
통신부(160)는 상술한 통신 모듈을 이용하여 좌표 생성부(120)가 생성한 결과 값 등(예를 들어, 3차원 좌표 값, 키 입력 동작에 대응하는 측정 값, 마우스 이동 동작에 대응하는 측정 값, 마우스 클릭 동작에 대응하는 측정 값 등)을 외부로 전송할 수 있다. 또한, 통신부(160)는 상술한 통신 모듈들을 통해 외부 디바이스로부터 정보를 수신할 수도 있다.
저장부(165)는 웨어러블 디바이스(100)로 입출력되는 데이터와 정보를 저장할 수 있다. 예를 들어, 저장부(165)는 좌표 생성부(120)가 생성한 측정 값들을 저장할 수 있다. 또한, 저장부(165)는 웨어러블 디바이스(100)가 실행할 수 있는 여러 가지 종류의 프로그램 데이터나 알고리즘 데이터를 저장할 수도 있다.
저장부(165)는 플래시 메모리 타입(flash memory type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 및 PROM(Programmable Read-Only Memory) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 웨어러블 디바이스(100)는 인터넷 상에서 저장부(165)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.
전원부(170)는 웨어러블 디바이스(100)의 동작을 위한 전원을 공급한다. 전원부(170)는 리튬-이온(Li-ion) 배터리, 리튬-폴리머(Li-polymer) 배터리 등 다양한 종류의 전원 공급 수단을 포함할 수 있으며, 웨어러블 디바이스(100)는 복수의 전원부(170)를 포함할 수도 있다. 전원부(170)는 웨어러블 디바이스(100)의 다른 구성들과 유선으로 연결되어 전원을 공급할 수 있으며, 무선 전력 전달 기술 등을 통해 무선으로 외부 전력을 공급받아 충전할 수도 있다. 또한, 전원부(170)는 일정 이상의 정도로 구부러지거나 펴질 수 있는 플렉서블(flexible) 배터리를 포함할 수도 있다.
제어부(175)는 이상에서 설명한 구성들과 연결되어 웨어러블 디바이스(100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(175)는 광신호 송출부(105)가 송출한 광신호가 광신호 감지부(110)에 의해 반사 광신호로 감지되면, 데이터 처리부(115)로 하여금 반사 광신호를 처리하여 수신 데이터를 생성하도록 제어한다. 또한, 제어부(175)는 수신 데이터에 기초하여 좌표 생성부(120)가 3차원 좌표 값을 생성하도록 제어할 수도 있다. 나아가, 제어부(175)는 영상 출력부(140)가 고정된 위치에 고정된 크기로 영상을 출력하도록 제어하거나, 영상 처리부(135)로 하여금 3차원 모델을 생성하도록 제어할 수도 있다. 즉, 제어부(175)는 웨어러블 디바이스(100)가 사용자의 동작에 따라 입력 수단 또는 출력 수단으로 동작하기 위한 여러 가지 기능을 제어할 수 있다.
이하에서는 웨어러블 디바이스(100)가 사용자 신체의 움직임에 따라 동작하는 실시 예를 설명한다. 이하에서 특별한 설명이 없는 한 도시된 웨어러블 디바이스가 사용자의 목에 장착되는 넥웨어(neck wear)의 형태로 구현된 실시 예를 도시한다. 넥웨어 형태로 구현된 웨어러블 디바이스(100)는 사용자의 목에 장착되도록 구현될 수도 있으며, 나아가 별도의 연결 수단(예를 들어, 스트랩(strap)이나 밴드(band) 등)을 통해 사용자의 목에 걸리는 목걸이 형태로 구현될 수도 있다. 이러한 예시들은 단순한 예시에 불과하며, 웨어러블 디바이스(100)는 이러한 넥웨어 형태 이외에도 안경 형태, 모자(cap) 형태, 헬멧 형태, 헤드 마운트 디스플레이(head mount display) 형태, 장갑 형태, 팔찌 형태, 클립 형태, 링 형태 등 다양한 형태로 구현될 수 있다. 즉, 웨어러블 디바이스(100)의 외형은 특정한 실시 예에 한정되는 것은 아니다.
또한, 웨어러블 디바이스(100)는 둘 이상의 분리된 형태로 구현될 수도 있다. 즉, 도 1에서 설명한 구성들은 둘 이상의 분리된 웨어러블 디바이스(100)의 어느 하나 또는 둘 이상에 모두 포함될 수 있고, 둘 이상의 분리된 웨어러블 디바이스(100)들은 서로 연동하여 데이터를 주고받으며 동작할 수 있다. 다시 말해서, 웨어러블 디바이스(100)는 도 1에서 설명한 구성 중 일부 또는 전부를 포함하는 형태로 구현될 수 있으며, 일부를 포함하는 경우에는 다른 일부를 포함하는 또 다른 웨어러블 디바이스(100)와 연동하여 동작할 수 있다.
도 2는 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 동작 과정을 설명하는 도면이다. 도 2에 도시된 그래프는 웨어러블 디바이스가 송출하는 광신호의 출력을 파장 대역에 따라 도시한다. 도 2에서 가로축은 파장을, 세로축은 광신호의 출력을 나타낸다.
앞서 설명한 바와 같이, 웨어러블 디바이스는 다양한 파장의 광신호를 생성하고 송출할 수 있다. 이하에서는, 본 발명의 실시 예와 관련하여 웨어러블 디바이스가 두 개의 서로 다른 파장의 광신호를 송출하는 과정을 설명한다. 설명의 편의를 위해 두 광신호의 파장을 각각 제 1 파장 및 제 2 파장이라 하며, 제 1 파장은 제 1 주파수 대역(BW1) 내의 파장을 의미하고, 제 2 파장은 제 2 주파수 대역(BW2) 내의 파장을 의미할 수 있다. 예를 들어 설명하면, 제 1 주파수 대역(BW1)은 근적외선의 주파수 대역일 수 있고, 제 2 주파수 대역(BW2)은 가시광선의 주파수 대역일 수 있다. 즉, 웨어러블 디바이스는 근적외선의 제 1 파장을 갖는 제 1 광신호 및 가시광선의 제 2 파장을 갖는 제 2 광신호를 생성하고 송출할 수 있다. 또 다른 예를 들면, 제 1 주파수 대역(BW1)과 제 2 주파수 대역(BW2)은 모두 근적외선의 주파수 대역일 수도 있다. 즉, 웨어러블 디바이스는 근적외선의 파장을 갖는 두 광신호를 생성하고 송출할 수도 있다.
한편, 웨어러블 디바이스는 제 1 광신호 및 제 2 광신호를 출력하기 위하여, 연속적인 스펙트럼의 파장을 갖는 광신호를 생성할 수도 있고, 각각의 파장 또는 파장대를 갖는 광신호를 생성할 수도 있다. 구체적으로 설명하면, 웨어러블 디바이스는 도 2에 실선으로 도시된 바와 같이 서로 다른 파장을 갖는 제 1 광신호 및 제 2 광신호를 각각 생성할 수 있다. 반면에, 웨어러블 디바이스는 도 2에 점선으로 도시된 바와 같이 상대적으로 넓은 연속적인 스펙트럼의 파장을 갖는 광신호를 생성하고, 소정의 필터(예를 들어, 대역통과(band pass) 필터)를 이용하여 제 1 파장 및 제 2 파장을 갖는 광신호들을 출력할 수도 있다.
전자의 경우, 웨어러블 디바이스는 두 광신호를 생성하기 위한 광신호 송출부를 하나만 포함할 수도 있고, 서로 다른 파장의 두 광신호를 각각 생성하도록 둘 이상의 광신호 송출부를 포함할 수도 있다. 후자의 경우에도, 웨어러블 디바이스는 하나의 단일한 광신호 송출부를 포함할 수 있으며, 광신호 송출부를 둘 이상 포함하도록 구현될 수 있다.
도 3은 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 동작 과정을 설명하는 도면이다. 도 3은 대상체가 신체 일부인 경우에 있어서, 웨어러블 디바이스가 대상체로 광신호를 송출하고 반사 광신호를 감지하는 과정을 설명한다. 도 3에서 신체 일부인 대상체(300)는 예를 들어 손의 피부가 될 수 있으며, 대상체(300) 내부에 어둡게 도시된 영역은 신체 내부의 혈관(310)이 될 수 있다.
먼저, 도 2에서 설명한 바와 같이 웨어러블 디바이스는 둘 이상의 서로 다른 파장의 광신호를 생성하고 송출한다. 도 3의 실시 예에서, λ1의 파장을 갖는 A1, B1은 웨어러블 디바이스가 송출하는 제 1 광신호를 도시하며, λ2의 파장을 갖는 A2는 웨어러블 디바이스가 송출하는 또 다른 광신호인 제 2 광신호를 도시한다. 웨어러블 디바이스는 서로 다른 파장의 두 광신호를 생성하고 대상체(300)인 신체 피부로 송출한다. 한편, 도 3에서는 제 1 광신호는 근적외선 대역의 파장을 가지며 제 2 광신호는 가시광선 대역의 파장을 가지는 실시 예를 설명한다.
인체 내부에는 피부 조직과 혈관 등이 존재하며, 각각은 서로 다른 성분으로 구성된다. 특히, 혈관에는 헤모글로빈을 포함하는 적혈구가 존재하여 붉은색을 띄게 된다. 이러한 헤모글로빈은 산화 헤모글로빈(oxyhemoglobin)과 탈산화 헤모글로빈(deoxyhemoglobin)으로 나뉜다. 산화 헤모글로빈은 동맥에 다수 존재하며 신체 조직으로 산소를 전달하며, 탈산화 헤모글로빈은 신체 조직들에 산소를 전달한 뒤인 정맥에 다수 존재한다. 즉, 동맥과 정맥은 각각에 위치하는 헤모글로빈 종류의 차이로 인하여 서로 다른 물리적 특성을 갖는다. 특히, 정맥에 포함되는 산화/탈산화 헤모글로빈은 빛의 파장이 달라짐에 따라 흡수율이 달라진다. 산화/탈산화 헤모글로빈이 포함된 정맥은 주변의 다른 조직에 비해 근적외선 영역의 파장(약 700 내지 900nm)에 대한 흡수율이 상대적으로 높기 때문에, 근적외선 영역의 광신호가 정맥과 다른 조직에서 산란/반사되는 양은 크게 차이나게 된다. 한편, 근적외선 영역의 광신호는 혈관에서 산화 헤모글로빈과 탈산화 헤모글로빈에 대한 흡수율이 높지만 혈관이 아닌 주변 조직에서는 산란이 많이 일어난다. 따라서, 피부에 조사된 근적외선 영역의 광신호가 반사되어 수신되면, 혈관과 주변 조직 간의 흡수율 차이에 따른 명암차가 확인되며, 이러한 명암의 차이는 정맥 패턴에 대한 정보로 처리될 수 있다.
한편, 웨어러블 디바이스는 이러한 혈관(정맥)과 다른 주변 조직과의 물리적 특성 차이를 이용하여 신체의 혈관을 감지할 수 있다. 즉, 웨어러블 디바이스가 송출한 제 1 광신호(A1, B1) 및 제 2 광신호(A2)는 서로 다른 파장을 가지며, 제 1 광신호(A1, B1)의 일부(A1)는 대상체(300)인 피부에서 대부분 반사/산란되고, 제 1 광신호(A1, B1)의 나머지 일부(B1)는 대상체(300)인 피부를 통과하여 대상체(300) 내부의 조직과 혈관(310)에서 반사/산란된다. 후자의 광신호(B1)는 혈관(310)까지 도달하여 정맥의 탈산화 헤모글로빈에 의해 산란/반사된다. 제 2 광신호(A2)는 제 1 광신호(A1, B1) 중에서 일부 광신호(A1)와 유사하게 대상체(300)인 피부에서 반사/산란된다. 다시 말해서, 제 1 광신호(A1, B1)는 대상체(300)에 대한 투과성이 있는 파장의 광신호로, 피부의 층들을 통과하며 층마다 반사/산란/흡수된다. 제 2 광신호(A2)는 투과성이 적어 피부의 겉에서 대부분 반사/산란되며, 제 1 광신호(A1) 중에서 일부 광신호(A1)와 유사한 특성을 갖는다.
웨어러블 디바이스는 제 1 광신호(A1, B1) 및 제 2 광신호(A2)를 대상체로 송출한 뒤, 대상체에서 반사되는 반사 광신호를 각각 수신한다. 이러한 반사 광신호는 제 1 광신호(A1, B1)가 피부, 내부 신체 조직 및 정맥에서 반사되는 광신호(A1+B1)와 제 2 광신호(A2)가 피부에서 반사되는 광신호(A2)를 모두 포함한다. 설명의 편의를 위해, 제 1 광신호(A1, B1)에 의한 반사 광신호(A1+B1)을 제 1 반사 광신호, 제 2 광신호(A2)에 의한 반사 광신호를 제 2 반사 광신호(A2)라 한다.
웨어러블 디바이스는 제 1 반사 광신호(A1+B1)에 대한 처리 과정을 거쳐 수신 데이터를 생성하며, 이러한 수신 데이터는 대상체의 피부와 혈관에 대한 정보를 모두 포함한다.
이어서, 웨어러블 디바이스는 제 1 광신호(A1, B1)와는 다른 파장의 광신호인 제 2 광신호(A2)를 대상체로 재송출한다. 즉, 새롭게 송출되는 제 2 광신호(A2)는 앞서 웨어러블 디바이스가 송출했던 제 1 광신호(A1, B1)와 다른 파장의 광신호이나, 제 1 광신호(A1, B1)의 일부(A1)에 의해 획득되는 정보인 피부 겉면에 대한 정보를 유사하게 포함한다. 즉, 제 2 광신호(A2)는 대상체의 피부에서 반사되어 웨어러블 디바이스에 수신되며, 제 2 광신호에 의한 반사 광신호(A2)는 제 1 반사 광신호(A1+B1)에 포함된 정보 중 일부를 유사하게 포함한다.
웨어러블 디바이스는 제 2 반사 광신호(A2)에 대한 처리 과정을 거쳐 수신 데이터를 생성하며, 이러한 수신 데이터는 앞서 제 1 반사 광신호(A1+B1)에 대한 수신 데이터와는 달리 대상체의 피부에 대한 정보만을 포함한다.
웨어러블 디바이스는 제 1 반사 광신호(A1+B1)에 기초하여 생성했던 수신 데이터와 제 2 반사 광신호(A2)에 기초하여 생성한 수신 데이터를 비교한다. 이러한 비교 과정은 두 수신 데이터의 차이를 비교함으로써 제 1 반사 광신호(A1+B1)의 데이터에서 제 2 반사 광신호(A2)의 데이터를 빼는 과정을 포함할 수 있다. 즉, 웨어러블 디바이스는 제 1 반사 광신호(A1+B1)의 데이터에서 제 2 반사 광신호(A2)의 영향을 제거함으로써 제 1 반사 광신호(A1+B1)에서 대상체 내부의 혈관(310)에 대한 정보만을 획득할 수 있다. 다시 말해서, 웨어러블 디바이스는 제 1 반사 광신호(A1+B1)에서 피부에 대한 정보를 제거하고, 제 1 반사 광신호(A1+B1) 중 일부(B1)로부터 혈관에 대한 정보만을 획득할 수 있게 되며, 이와 같이 두 반사 광신호의 데이터를 뺌으로써 생성되는 데이터가 혈관 데이터가 될 수 있다.
구체적으로는 후술하겠으나, 웨어러블 디바이스는 혈관 데이터에 포함된 혈관에 대한 정보를 활용하여 사용자의 키 입력 동작을 감지하고 입력 값을 생성한다. 이에 따라, 웨어러블 디바이스는 혈관에 대한 정보만을 정확하게 추출하도록 동작할 수 있어야 한다. 웨어러블 디바이스는 상술한 바와 같이 두 개의 서로 다른 파장의 광신호를 송출하고 그 둘 간의 차이를 계산하는 과정을 거쳐 혈관에 대한 정보만을 효율적으로 획득할 수 있게 된다.
한편, 이상에서는 웨어러블 디바이스가 제 1 반사 광신호와 제 2 반사 광신호를 각각 수신한다는 내용을 설명하였다. 이하에서는, 구체적으로 웨어러블 디바이스가 서로 다른 파장의 두 반사 광신호를 어떻게 분리 감지하는지에 대해 설명한다. 웨어러블 디바이스가 제 1 파장의 제 1 반사 광신호와 제 2 파장의 제 2 반사 광신호를 수신하는 방법은 3가지 정도로 나누어 생각해볼 수 있다.
첫째로, 웨어러블 디바이스는 수신되는 반사 광신호를 파장에 따라 분리하여 감지할 수 있다. 즉, 웨어러블 디바이스는 제 1 반사 광신호와 제 2 반사 광신호의 파장이 서로 다르므로, 두 반사 광신호를 함께 수신한 뒤 각각의 반사 광신호를 별도로 처리한다. 다시 말해서, 웨어러블 디바이스는 두 파장의 광신호들을 함께 송출한 뒤 두 반사 광신호가 함께 수신되더라도, 파장 별로 반사 광신호를 구별하여 처리할 수 있다. 예를 들어, 웨어러블 디바이스는 광신호를 구별하여 감지하기 위한 포토 디텍터(photo detector)를 파장 별로 구비할 수 있다.
첫번째 예에서, 웨어러블 디바이스는 서로 다른 파장의 반사 광신호를 선택적으로 감지할 수 있다. 이에 따라, 웨어러블 디바이스는 제 1 파장의 제 1 광신호와 제 2 파장의 제 2 광신호를 번갈아 송출하거나, 동시에 송출하거나, 하나의 광신호를 지속적으로 송출하면서 다른 하나의 광신호를 주기적 또는 비주기적으로 송출하는 등 다양한 방식으로 광신호들을 송출하더라도 반사 광신호들을 구별하여 감지할 수 있게 된다.
둘째로, 웨어러블 디바이스는 반사 광신호들을 시간 영역 또는 주파수 영역으로 구별하여 감지할 수 있다. 즉, 웨어러블 디바이스는 서로 다른 파장의 광신호들을 송출함에 있어서 시간 차이를 두고 송출하거나 파장 마다 세기를 달리하여 송출할 수 있다. 첫번째 예와는 달리 수신되는 반사 광신호를 파장 별로 구별하지 못한다 하더라도, 웨어러블 디바이스는 어떠한 파장의 광신호가 어떠한 시점에 송출되는지 미리 알고 있으므로 수신되는 반사 광신호가 어떠한 파장의 광신호에 의한 반사 광신호인지 추측할 수 있다.
두번째 예에서, 웨어러블 디바이스는 제 1 파장의 제 1 광신호와 제 2 파장의 제 2 광신호를 번갈아가며 송출할 수 있다. 이러한 경우, 웨어러블 디바이스는 순차적으로 수신되는 반사 광신호가 어떠한 파장의 광신호에 의한 반사 광신호인지 미리 알고 있으므로, 반사 광신호를 파장 별로 구별하기 위한 부담을 덜 수 있다. 본 실시 예에서, 웨어러블 디바이스는 두 광신호를 번갈아 송출하거나, 하나의 광신호를 지속적으로 송출하며 다른 하나의 광신호를 주기적 또는 비주기적으로 송출하는 방식을 이용할 수 있다.
셋째로, 광신호들의 세기를 달리하여 송출하는 경우를 생각해볼 수 있다. 웨어러블 디바이스는 서로 다른 광신호들의 출력 세기를 달리하여 송출할 수 있으며, 이러한 실시 예는 상술한 첫번째 실시 예와 두번째 실시 예와 결합되어 적용될 수 있다. 본 실시 예에서, 웨어러블 디바이스는 반사 광신호들의 세기 차이가 상대적으로 크게 감지되기 때문에, 시간 영역 또는 주파수 영역 별로 반사 광신호를 더 효율적으로 검출할 수 있게 된다.
한편, 이상에서는 웨어러블 디바이스가 제 1 광신호와 제 2 광신호를 송출하고 반사 광신호들을 분석하는 실시 예에 대해 설명하였다. 다만, 웨어러블 디바이스가 생성하고 수신하는 광신호는 웨어러블 디바이스가 동작하는 주변 환경의 실내광과 자연광에 의해 영향을 받을 수 있다. 예를 들어, 웨어러블 디바이스가 가시광선 파장의 제 2 광신호를 생성하고 대상체로 송출하는 경우, 제 2 광신호의 반사 광신호는 햇빛이 대상체에 반사됨으로써 생성되는 광신호와 섞여 잡음이 발생할 수 있다. 따라서, 이러한 잡음을 제거하기 위한 과정이 요구될 수 있다.
외부의 빛에 의한 영향을 제거하는 여러 가지 실시 예가 있을 수 있다. 첫째로, 웨어러블 디바이스는 자연광, 실내광, 빔프로젝터에 의한 빛 등의 외부 요인을 배제하도록 동작할 수 있다. 즉, 웨어러블 디바이스는 광신호 송출부가 광신호를 송출하기 전에 광신호 감지부로 감지되는 빛을 외부광으로 인식한다. 이어서, 웨어러블 디바이스는 광신호를 송출한 뒤에 감지되는 반사 광신호에서 외부광에 의한 영향을 제거함으로써 자신이 송출한 광신호에 의한 반사 광신호만을 획득할 수 있다.
둘째로, 웨어러블 디바이스는 외부광에 의한 영향을 제거하는 대신 외부광을 이용할 수도 있다. 즉, 웨어러블 디바이스가 제 1 광신호로서 근적외선 파장의 광신호를, 제 2 광신호로서 가시광선 파장의 광신호를 활용하는 경우, 웨어러블 디바이스는 제 1 광신호와 제 2 광신호를 직접 생성하고 송출하는 대신 외부광을 선택적으로 수신할 수 있다. 구체적으로 설명하면, 웨어러블 디바이스가 생성하고자 하는 제 1 광신호와 제 2 광신호의 파장이 외부광에 의해서도 생성될 수 있다. 이러한 경우, 웨어러블 디바이스는 외부광이 대상체에 반사되어 생성된 반사 광신호를 필터링하여 소정 파장의 반사 광신호를 선택하여 수신할 수 있다. 이에 따라, 웨어러블 디바이스는 자신이 직접 광신호를 생성하지 않더라도 외부광을 활용하여 동일하거나 유사한 결과를 얻을 수 있다. 그러나, 이와 같이 외부광을 활용하는 경우 원하는 파장의 광신호가 충분히 수신되지 않을 수 있으므로, 웨어러블 디바이스는 수신되는 외부광을 분석하여 필요한 파장의 광신호만을 추가적으로 생성하고 송출하여 외부광을 보충할 수도 있다.
결론적으로, 웨어러블 디바이스는 특정 파장의 반사 광신호를 수신함에 있어서, 자신이 직접 광신호를 생성하고 대상체로 송출하여 원하는 결과를 얻을 수도 있는 반면, 외부광을 선택적으로 수신함으로써 동일한 결과를 얻을 수도 있다.
한편, 이상에서는 제 1 광신호, 제 2 광신호, 제 1 반사 광신호, 제 2 반사 광신호 등의 용어를 이용하여 본 발명의 실시 예를 설명하였다. 다만, 이와 같이 '제1', '제2' 등의 명칭은 각각의 개념을 구별하여 설명하기 위한 용어에 불과하며, 발명의 내용이 이러한 용어에 한정되는 것은 아니다.
한편, 앞서 설명한 제 1 광신호와 제 2 광신호는 각각 근적외선 영역과 가시광선 영역의 광신호가 될 수 있다. 그러나, 이러한 실시 예에 한정되는 것은 아니며 제 1 광신호와 제 2 광신호는 모두 근적외선 영역 또는 적외선 영역의 광신호일 수도 있다. 즉, 두 광신호의 파장 대역이 다르기만 하면 웨어러블 디바이스는 두 광신호를 송출하고 반사 광신호를 수신하여 혈관에 대한 정보를 획득할 수 있게 된다. 광신호들의 파장에 따라 피부, 혈관, 주변 조직에서 흡수/산란/반사율이 모두 다르기 때문에, 근적외선 영역 또는 적외선 영역의 서로 다른 제 1 반사 광신호와 제 2 반사 광신호는 서로 다른 생체 정보를 포함하게 된다. 이러한 정보들을 비교/분석/조합함으로써 혈관 패턴에 대한 데이터를 획득할 수 있다. 다시 말해서, 웨어러블 디바이스는 둘 이상의 광신호를 송출함으로써 혈관에 대한 정보를 획득하는 것이며, 광신호의 주파수 대역이나 종류가 한정되는 것은 아니다. 따라서, 이상 및 이하에서 근적외선 영역과 가시광선 영역을 예로 들어 설명하더라도, 그러한 내용들은 다른 주파수 대역의 광신호가 이용되는 실시 예로 적용될 수도 있다.
또 다른 실시 예에 의하면, 웨어러블 디바이스는 두 광신호를 이용하는 것이 아니라 하나의 광신호 만으로도 혈관에 대한 정보를 획득하는 것이 가능하다. 즉, 앞서 설명한 바와 같이 근적외선 영역(700nm~900nm)의 광신호는 혈관과 주변 조직에서의 흡수와 산란이 다르게 일어난다. 광신호의 스펙트럼과 파장이 다름에 따라 피부 조직 층마다 반사율이 달라지게 되기 때문이다. 웨어러블 디바이스는 이러한 정보를 비교/분석/조합하여 혈관과 주변 조직의 명암 차이를 확인할 수 있으며, 혈관에 대한 패턴을 파악할 수도 있다. 물론, 웨어러블 디바이스가 셋 이상의 광신호를 송수신하여 이용하는 방식 또한 적용이 가능하다. 둘 이상의 광신호를 이용하는 과정에서, 광신호들은 파장이 다르거나, 스펙트럼이 다르거나, 송신되는 시간(시점)이 다르거나, 수신되는 시간(시점)이 다르거나, 주파수가 다르거나, 편광 상태가 서로 다를 수 있다.
종합적으로 설명하면, 웨어러블 디바이스는 가시광선 영역과 적외선 영역에서 파장이 서로 다른 복수 개의 광신호들을 송신하고, 반사되는 광신호를 수신하여 파장별로 비교/분석/조합함으로써 혈관과 주변 조직에 대한 이미지 데이터를 획득할 수 있다.
또는, 웨어러블 디바이스는 단일한 근적외선 영역의 광신호를 하나만 송신하고 수신하는 방식으로도 혈관과 주변 조직에 대한 이미지 데이터를 획득하여, 혈관에 대한 패턴을 알 수도 있다. 결론적으로, 웨어러블 디바이스는 하나 이상의 광신호를 송신하고 수신하여 혈관에 대한 정보를 획득할 수 있다.
두 방식을 혼용하는 실시 예로써, 웨어러블 디바이스는 최초로 혈관 데이터를 획득하는 과정에서는 둘 이상의 광신호를 송수신하고, 이어서 사용자의 키 입력 동작을 감지하는 과정에서는 하나의 광신호를 송수신하도록 동작하는 방식 또한 가능하다. 반대로, 웨어러블 디바이스는 최초로 혈관 데이터를 획득하는 과정에서 하나의 광신호만을 사용하여 혈관에 대한 패턴 정보를 생성하고, 이어서 사용자의 움직임을 파악하는 구동 과정에서는 둘 이상의 서로 다른 광신호를 사용할 수도 있다.
도 4는 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 동작 과정을 설명하는 도면이다. 도 4에서는 웨어러블 디바이스의 입력값에 대한 여러 가지 실시 예들을 대해 설명한다.
상술한 바와 같이, 웨어러블 디바이스는 대상체를 감지함으로써 대상체의 3차원 좌표 값을 측정한다. 이러한 과정에서 도 1에서 설명한 광신호 송출부, 광신호 감지부, 깊이 센서, 생체 패턴 인식부 등의 구성이 활용되는데, 웨어러블 디바이스의 동작에 모든 구성들이 동시에 활용될 필요는 없다. 이하에서는, 경우를 나누어 웨어러블 디바이스에 포함된 구성들이 대상체의 3차원 좌표 값을 측정하는 과정을 설명한다. 또한, 광신호 송출부와 광신호 감지부는 서로 연계되어 동작하므로, 동일한 개수로 구현된 경우를 가정하여 설명한다.
먼저, 웨어러블 디바이스가 광신호 송출부/감지부를 1개, 깊이 센서를 1개 포함하는 경우 또는 생체 패턴 인식부를 1개, 깊이 센서를 1개 포함하는 경우를 생각해볼 수 있다. 이러한 실시 예에서, 광신호 송출부/감지부 또는 생체 패턴 인식부에 의해 감지된 대상체에 대한 데이터는 깊이 센서에 의해 감지된 대상체의 3차원 모델과 함께 분석되며, 웨어러블 디바이스는 3차원 좌표를 생성한다.
또 다른 예로, 웨어러블 디바이스는 광신호 송출부/감지부를 1개, 생체 패턴 인식부를 1개, 깊이 센서를 1개 모두 포함할 수도 있다. 이러한 경우, 광신호 송출부/감지부에 의해 측정된 대상체에 대한 정보와 생체 패턴 인식부에 의해 측정된 대상체에 대한 정보는 서로를 보완하는 관계에 있을 수 있다. 예를 들어, 손가락에서 정맥의 분포가 세밀하여 광신호 송출부/감지부의 측정 값만으로 정확한 3차원 좌표 생성이 어려운 경우, 생체 패턴 인식부에 의해 감지된 대상체에 대한 정보가 3차원 좌표 생성 과정의 정확도를 개선해줄 수 있다(또는, 반대의 경우도 마찬가지).
나아가, 웨어러블 디바이스가 둘 이상의 광신호 송출부/감지부 셋(set)만을 포함하도록 구성될 수도 있다. 이러한 경우, 각각의 광신호 송출부/감지부 셋은 독립적으로 대상체를 스캔하며, 혈관 데이터 또한 각각 별도로 생성된다. 이하에서는, 본 실시 예와 같이 둘 이상의 동일한 수단을 통해 대상체에 대한 서로 다른 데이터를 측정하는 방식을 '스테레오 센싱(stereo sensing)' 이라 한다. 웨어러블 디바이스는 두 개의 서로 다른 혈관 데이터의 상대적 위치를 분석함으로써 대상체의 공간상 3차원 좌표를 얻을 수 있다. 반대로, 웨어러블 디바이스는 둘 이상의 생체 패턴 인식부만을 포함할 수도 있으며, 이러한 예시에서도 마찬가지로 둘 이상의 생체 패턴 인식부 각각에 의한 스테레오 센싱의 결과가 별도로 분석되어 대상체의 3차원 좌표가 생성된다.
나아가, 웨어러블 디바이스는 둘 이상의 광신호 송출부/감지부(또는 둘 이상의 생체 패턴 인식부)에 더하여, 깊이 센서를 포함할 수도 있다. 이러한 경우, 깊이 센서를 통해 감지되는 대상체의 3차원 모델에 대한 정보는 대상체의 3차원 좌표를 결정하는 과정에서 측정의 정확도를 높여주는 역할을 한다.
또 다른 실시 예에 의하면, 웨어러블 디바이스는 둘 이상의 광신호 송출부/감지부와 하나의 생체 패턴 인식부를 포함할 수 있다. 이러한 경우 광신호 송출부/감지부를 통해 스테레오 센싱을 수행한 결과로 둘 이상의 혈관 데이터가 생성되며, 이에 더하여 웨어러블 디바이스는 생체 패턴 인식부를 통해 감지된 대상체의 정보 또한 활용하여 3차원 공간 좌표를 생성한다. 웨어러블 디바이스는 깊이 센서를 활용할 수도 있고, 활용하지 않을 수도 있다. 웨어러블 디바이스가 깊이 센서를 활용하는 경우 결과 값의 정확도 측면에서 이득이 있지만, 계산 복잡도 측면에서는 불리한 면이 있어 트레이드-오프(trade-off)가 발생한다. 반대로, 웨어러블 디바이스는 둘 이상의 생체 패턴 인식부와 하나의 광신호 송출부/감지부를 포함할 수도 있으며, 웨어러블 디바이스는 상술한 실시 예와 유사하게 동작하게 된다.
이러한 실시 예를 발전시키면, 웨어러블 디바이스는 둘 이상의 광신호 송출부/감지부와 둘 이상의 생체 패턴 인식부를 포함하도록 구성될 수 있다. 웨어러블 디바이스가 깊이 센서를 활용하거나 활용하지 않을 수 있음은 앞서 설명한 바와 같다.
도 4를 상술한 여러 가지 실시 예들과 관련하여 설명한다. 도 4에서, 웨어러블 디바이스는 사용자의 신체에 장착되어 대상체(410)인 사용자의 손을 감지하며, 대상체(410) 내의 혈관(400)에 대한 정보를 획득한다. 즉, 웨어러블 디바이스는 사용자의 신체 일부 또는 사물에 장착되어 대상체(410)로 광신호를 송출하며, 대상체(410)의 외부 또는 내부에서 반사된 반사 광신호를 수신하여 대상체(410)와 혈관(400)에 대한 정보를 획득한다. 웨어러블 디바이스에 광신호 송출/수신을 위한 구성이 둘 이상 포함될 수 있음은 앞서 설명한 바와 같다.
한편, 웨어러블 디바이스는 RGB 카메라, 적외선 카메라, ToF 카메라 등을 활용하여 대상체(410)의 표면에서 시각적으로 확인되는 생체 특징(또는, 패턴)들을 감지할 수 있다. 즉, 웨어러블 디바이스는 생체 특징의 색상, 채도, 명도, 형태 등을 감지함으로써 혈관(400)에 대한 데이터와는 다른 종류의 정보를 획득할 수 있다.
이어서, 웨어러블 디바이스는 두 가지 종류의 정보 중 적어도 하나를 분석하여 대상체(400)에 대한 3차원 좌표를 생성한다. 이러한 과정은 스테레오 센싱을 통해 측정된 한 가지 종류의 데이터를 분석하는 과정으로 이해될 수도 있으며, 두 가지 종류의 서로 다른 데이터를 함께 분석하는 과정으로 이해될 수도 있다.
도 5는 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 동작 과정을 설명하는 도면이다. 도 5에서는 웨어러블 디바이스가 사용자의 손에 대한 3차원 모델을 생성하는 과정을 설명한다. 도 5에서는, 도 4에서 설명한 실시 예에 더하여 웨어러블 디바이스가 깊이 센서를 활용하는 실시 예를 설명한다.
먼저, 도 5의 좌측에 도시된 실시 예를 설명한다. 웨어러블 디바이스의 깊이 센서는 대상체인 사용자의 손을 3차원으로 감지하여 3차원 스캔 정보를 생성한다. 사용자는 웨어러블 디바이스가 대상체를 3차원으로 정확히 스캔할 수 있도록, 손을 시계방향 또는 반시계방향으로 회전시켜가며 웨어러블 디바이스가 3차원 스캔 과정을 수행하게끔 할 수 있다.
깊이 센서는 사용자의 손에 대한 3차원 스캔 정보를 생성하고, 영상 처리부로 해당 정보를 전송한다. 영상 처리부는 3차원 스캔 정보를 분석하고 처리하여 사용자의 왼손에 대한 3차원 모델(500)을 생성한다. 3차원 모델(500)은 3차원 영상일 수 있으며, 3차원 렌더링 과정을 거쳐 생성될 수도 있다.
한편, 깊이 센서가 스캔한 결과인 3차원 스캔 정보를 이용하여 생성된 3차원 모델(500)은 웨어러블 디바이스가 필요로 하는 혈관에 대한 정보는 충분히 포함하지 못할 수 있다. 즉, 신체 표면에 혈관이 희미하게 나타나기는 하나, 웨어러블 디바이스가 이를 감지하여 입력 값을 생성하기에 충분할 정도로 나타나지는 않는다. 즉, 깊이 센서는 사용자 손의 외형은 정확하게 측정할 수 있지만, 혈관의 분포와 배치에 대한 특징들까지 감지하지는 못할 수도 있다.
이에 따라, 도 5의 우측에 도시된 바와 같이 3차원 모델(500)에 대하여 패턴을 추가하는 과정이 수행된다. 웨어러블 디바이스는 도 2 및 도 3에서 설명한 바와 같이 광신호 송출부와 광신호 감지부를 이용하여 대상체의 혈관에 대한 정보를 획득하며, 획득한 정보는 혈관에 대한 패턴(520)으로 생성된다.
이와 같이 웨어러블 디바이스가 혈관을 감지하여 패턴 정보를 생성하는 일련의 과정은, 깊이 센서가 3차원 스캔 정보를 생성하는 과정과 동시에 이루어지거나 별도로 이루어질 수 있다. 즉, 깊이 센서가 대상체의 손을 3차원으로 인식하여 3차원 스캔 정보를 생성하는 도중에 광신호 감지부는 혈관을 감지하고 데이터 처리부가 패턴 정보를 생성할 수 있다. 이러한 경우, 3차원 스캔 정보와 혈관에 대한 패턴 정보는 함께 영상 처리부로 전달되고, 영상 처리부는 두 정보를 순차적으로 처리하여 3차원 모델을 생성하게 된다. 이러한 실시 예에서는 패턴(520)이 추가된 3차원 모델(510)이 한번의 스캔 과정으로 생성될 수 있다.
이와는 달리, 깊이 센서가 대상체의 손을 스캔하여 3차원 스캔 정보를 생성하고 영상 처리부가 3차원 스캔 정보를 이용하여 3차원 모델을 생성하면, 광신호 감지부와 데이터 처리부가 패턴 정보를 생성하기 위한 과정이 추가적으로 수행될 수 있다. 이러한 경우, 웨어러블 디바이스가 대상체인 손을 스캔하는 과정이 2번 이루어져야 한다. 즉, 전자의 경우에는 1번의 스캔 과정으로 3차원 스캔 정보와 패턴 정보가 모두 생성되는 반면, 후자의 경우에는 1번째 스캔을 통해서 3차원 스캔 정보가 생성되고 2번째 스캔을 통해서 패턴 정보가 생성될 수 있다. 후자의 경우, 영상 처리부는 3차원 모델을 미리 생성해두고, 이어서 수신되는 패턴 정보를 처리하게 된다.
데이터 처리부가 생성한 패턴 정보는 영상 처리부로 전달되며, 3차원 모델(500)에 패턴(520)을 입히는 과정이 수행된다. 즉, 영상 처리부는 3차원 스캔 정보에 의해 생성된 3차원 모델(500)에 패턴(520)을 입히는 과정을 처리함으로써, 패턴이 추가된 3차원 모델(510)을 생성할 수 있다. 한편, 패턴(520)은 혈관에 대한 정보를 포함하는데, 혈관(예를 들어, 정맥)은 손등, 손바닥과 손가락 등 신체 위치에 따라 깊이와 굵기가 달라 3차원 입체 구조물로 볼 수 있다. 이에 따라, 3차원 모델(500)에 추가되는 혈관에 대한 패턴(520)은 피부 표면과 표면 아래에서의 3차원 정보(깊이, 굵기, 방향성 등)를 가질 수 있다.
상술한 과정과 유사하게, 3차원 모델(500)에 생체 패턴 인식부에 의한 신체적 특징들이 패턴으로 추가될 수도 있다. 즉, 웨어러블 디바이스는 생체 패턴 인식부가 대상체의 색상, 채도, 명도, 형태 등을 감지함으로써 생성한 신체적 특징들을 기생성된 3차원 모델(500)에 추가할 수도 있다.
이상에서는 웨어러블 디바이스가 3차원 모델을 미리 생성하고, 광신호 송출부/감지부 또는 생체 패턴 인식부에 의해 생성된 데이터를 기생성된 3차원 모델에 추가하는 실시 예를 설명하였다. 그러나, 이러한 실시 예는 단순한 예시에 불과하며, 앞서 도 4에서 설명한 바와 같이 깊이 센서를 활용한 3차원 모델을 생략하는 과정 없이도 대상체의 3차원 좌표가 생성될 수 있다. 즉, 3차원 모델은 웨어러블 디바이스가 대상체의 3차원 좌표를 생성하는 과정에서 대상체의 공간 상 위치를 측정한 결과의 정확도를 향상시키기 위해 이용되는 것이다. 한편, 웨어러블 디바이스는 스테레오 센싱 방식이나 둘 이상의 서로 다른 종류의 대상체 감지 수단을 활용함으로써 생체 패턴, 정맥 패턴, 또는 대상체의 3차원 좌표를 충분한 정확도로 측정할 수도 있다. 이러한 경우, 웨어러블 디바이스가 3차원 모델을 기생성하는 과정은 생략될 수도 있다.
도 6은 넥웨어 형태와 목걸이 형태로 구현된 웨어러블 디바이스의 동작 과정에 대한 실시 예를 설명하는 도면이다. 도 6(a)는 사용자(600)의 목에 장착되는 넥웨어 형태의 웨어러블 디바이스(100a)를 도시하며, 도 6(b)는 소정의 연결 수단과 결합되어 사용자(600)의 목에 장착되는 목걸이 형태의 웨어러블 디바이스(100b)를 도시한다.
도시된 도 6(a) 및 도 6(b)의 경우 모두에 있어서, 웨어러블 디바이스(100a, 100b)는 사용자(600)의 왼손과 오른손을 모두 스캔할 수 있다. 이는, 웨어러블 디바이스(100a, 100b)가 둘 이상의 광신호 송출부/감지부 셋 또는 둘 이상의 생체 패턴 인식부를 포함함을 의미한다. 또는, 웨어러블 디바이스(100a, 100b)는 하나의 광신호 송출부/감지부 셋 또는 하나의 생체 패턴 인식부를 포함하지만, 해당 구성이 측정하는 대상체를 소정의 시간 간격으로 변경시켜가며 왼손과 오른손을 대상체로서 측정할 수도 있다.
도 7은 본 발명의 일 실시 예에 의한 웨어러블 디바이스의 동작 과정을 설명하는 도면이다. 도 7에서 x/y/z 축은 3차원 공간을 나타내며, 원점, P1, P2, P3, P4를 연결하는 선은 대상체가 사용자의 손인 경우 사용자의 손목과 손가락의 뼈대를 나타낸다. 즉, 원점은 손목의 중심을, P1은 손바닥과 손가락의 첫번째 마디가 연결되는 관절을, P2는 손가락 첫번째 마디와 두번째 마디가 연결되는 관절을, P3는 손가락 두번째 마디와 세번째 마디가 연결되는 관절을, P4는 손가락 끝을 각각 나타낸다.
일 실시 예에 의한 웨어러블 디바이스는 사용자 손가락의 첫번째 마디와 두번째 마디가 연결되는 관절의 3차원 위치와 굽어진 각도를 계산할 수 있다. 즉, 웨어러블 디바이스는 도 6에서 P2의 3차원 위치와 각도 θ2를 계산할 수 있다. 한편, 웨어러블 디바이스는 사용자의 손에 대한 3차원 모델을 생성하고 저장할 수 있으므로, P2의 3차원 위치를 계산한다는 것은 손목의 중심으로부터 P2까지의 거리 d1을 계산한다는 것을 의미한다.
한편, 웨어러블 디바이스는 P2의 경우와 유사하게, 손바닥과 첫 번째 마디가 연결되는 관절인 P1의 3차원 위치와 θ1 또한 계산할 수 있다. 또는, 웨어러블 디바이스는 3차원 모델을 생성하는 과정에서 손목의 중심으로부터 손바닥과 첫번째 마디 사이의 관절 까지의 거리, 즉 P1의 위치를 미리 계산할 수 있다. 이러한 경우, 웨어러블 디바이스는 θ1에 대해서는 θ2와 유사한 방식으로 혈관의 패턴의 비교를 통해 계산할 수 있게 된다. 즉, 웨어러블 디바이스는 각 관절에서의 혈관의 분포 위치와 크기, 외형 변화를 기저장된 패턴과 비교하여 각 관절의 위치와 굽어진 각도를 계산할 수 있다.
한편, 사용자의 손이 자연스러운 동작에 따라 굽어진다고 가정하면, P1의 좌표, P2의 좌표, θ1, θ2에 대해 알 수 있다면 P3의 좌표, θ3, P4의 좌표를 모두 계산할 수 있다. 이러한 과정은 실험적인 방법으로서, 경험에 의한 추정으로 볼 수도 있다. 그러나, 사용자가 손가락 관절들을 의식적으로 비정상적인 각도로 굽히지 않는 한, P1, P2, θ1, θ2의 관계로부터 P3의 좌표 및 θ3에 대해 높은 정확도로 알 수 있으며, 마찬가지로 P1, P2, P3, θ1, θ2, θ3의 관계로부터 P4의 위치 정보 또한 정확하게 추정해낼 수 있다.
상술한 과정에서, θ1, θ2, θ3의 범위가 문제될 수 있다. 즉, θ1, θ2, θ3은 180도 이내가 되도록 측정되어야 한다. 사용자가 손가락을 높게 치켜드는 경우, 사용자의 손바닥과 첫 번째 마디를 연결하는 관절은 180도 이상으로 측정될 수 있다. 그러나, 이러한 각도는 정상적인 키 입력 동작과는 거리가 멀다. 따라서, 웨어러블 디바이스는 손가락 관절들의 각도 θ1, θ2, θ3을 측정하는 과정에서 각 각도가 180도 이내가 되는 값만을 의미 있는 값으로 획득할 수 있다. 웨어러블 디바이스는 각도 θ1, θ2, θ3가 180도 이상으로 측정되는 경우의 값을 무시하도록 구현될 수도 있으며, 반대로 180도 이상으로 측정되는 경우를 특정 동작에 매핑시켜 별도로 처리할 수도 있다.
한편, 이러한 추정 과정의 정확도를 향상시키기 위한 방법은 여러 가지가 있을 수 있다. 예를 들어, 최초로 손의 3차원 모델을 생성하는 과정이 이루어진 뒤 웨어러블 디바이스는 사용자로 하여금 특정 키를 입력하기 위한 동작을 수행하도록 지시할 수 있다. 사용자가 해당 키를 자연스럽게 입력하는 동작을 취하면, 웨어러블 디바이스는 이러한 동작을 감지하여 P3, P4, θ3를 추정하는 과정에서 어떠한 수치를 보상해야 하는지 미리 알 수 있다. 즉, 사용자의 키 입력 동작에 따른 입력 값을 계산하는 과정에서 소프트웨어적인 보상이 이루어질 수 있다.
또 다른 방식으로, 웨어러블 디바이스가 P3의 3차원 위치와 θ3를 직접 측정할 수도 있다. 즉, 광신호 감지부와 데이터 처리부는 손가락의 두 번째 마디와 세 번째 마디를 연결하는 관절 부근의 혈관을 3차원 모델의 혈관 패턴과 비교하여, 해당 관절의 3차원 위치와 굽어진 각도를 측정할 수도 있다. 이러한 경우, 웨어러블 디바이스가 P1, P2, P3, θ1, θ2, θ3, d2를 직접 측정하게 되므로 P4를 추정하는 과정에서의 정확도가 크게 상승하게 된다. 또는, 앞서 설명한 소프트웨어적인 보상 과정이 P3, θ3를 직접 측정하는 방식과 함께 복합적으로 수행될 수도 있다.
결론적으로, 웨어러블 디바이스는 사용자가 타이핑을 수행함에 따라 키 입력 동작을 감지하고, 해당 키 입력 동작이 어떠한 키에 매칭되는지 판단하여 입력 값을 생성한다. 이러한 입력 값은 웨어러블 디바이스에 연결된 외부 디바이스나 서버로 전송될 수 있으며, 웨어러블 디바이스는 입력 수단으로 동작하게 된다.
이상에서는 사용자의 손가락 중 검지, 중지, 약지, 소지에 대한 키 입력 동작을 감지하는 실시 예를 설명하였다. 한편, 웨어러블 디바이스는 엄지 손가락의 키 입력 동작 또한 감지할 수 있어야 한다. 웨어러블 디바이스는 다른 네 손가락의 관절들의 위치로부터 자신이 장착된 엄지의 위치를 추정할 수 있다. 즉, 웨어러블 디바이스는 다른 네 손가락들의 P1, P2 위치로부터 엄지 손가락의 3차원 상 위치를 추정할 수 있다. 웨어러블 디바이스가 P1 또는 P2를 이용하여 엄지 손가락의 위치를 추정하는 경우, 네 손가락의 P1 또는 P2, 즉 네 개의 위치 정보를 활용하게 되며, 웨어러블 디바이스가 P1 및 P2를 이용하여 엄지 손가락의 위치를 추정하는 경우, 여덟 개의 위치 정보를 활용하여 엄지 손가락의 위치를 추정한다. 즉, 웨어러블 디바이스는 3차원 공간 상에서 엄지 손가락의 위치를 특정하기 위한 충분한 수의 정보를 가지고 있으므로, 다른 네 손가락 관절들의 위치 정보로부터 엄지 손가락의 위치를 추정할 수 있다.
한편, 엄지는 다른 네 손가락과는 달리, 손바닥과 첫 번째 마디가 연결되는 관절, 첫 번째 마디와 두 번째 마디가 연결되는 관절 총 2개의 관절을 포함한다. 즉, 웨어러블 디바이스는 엄지의 두 관절의 위치만 획득하더라도 엄지 끝의 위치를 측정할 수 있다. 이에 따라, 웨어러블 디바이스가 엄지 대신 다른 손가락에 장착되는 경우, 엄지에 대한 P1, P2, θ1, θ2로부터 측정되는 P3는 곧 손가락 끝의 위치가 된다. 이에 따라, 웨어러블 디바이스는 다른 네 손가락보다 정확도 높게 엄지 손가락 끝의 위치를 측정할 수 있다.
이상에서는, 웨어러블 디바이스가 손가락의 관절 부분의 혈관을 감지하고 기저장된 생체 패턴, 혈관 패턴과 비교하고, 사용자의 손가락 움직임을 감지하여 손가락 끝의 3차원 위치를 계산하는 실시 예를 설명하였다. 상술한 바와 같이, 손가락 끝의 3차원 위치는 소정의 3차원 좌표값에 매칭되며, 웨어러블 디바이스는 손가락의 3차원 위치로부터 사용자의 손이 어떠한 제스쳐를 취하는지 확인할 수 있다. 이어서, 웨어러블 디바이스는 확인된 제스쳐를 인지하여 제스쳐에 매칭된 동작이나 명령을 실행 또는 수행할 수 있다.
다만, 이하에서는 상술한 내용과는 달리, 웨어러블 디바이스가 손가락의 마디 부근의 혈관을 감지하는 실시 예를 설명한다. 즉, 웨어러블 디바이스는 손가락 관절뿐만 아니라 손가락 마디의 혈관을 감지함으로써 손가락 끝의 3차원 위치를 파악할 수도 있다. 예를 들어, 웨어러블 디바이스는 손바닥과 손가락 첫번째 마디의 혈관의 배치와 분포를 감지하여 손바닥, 손등과 손가락 첫 번째 마디를 연결하는 관절의 위치와 각도(P1, θ1)를 감지할 수 있으며, 첫 번째 마디와 두 번째 마디의 혈관을 감지함으로써 두 마디를 연결하는 관절의 위치와 각도(P2, θ2)를 감지할 수 있다. 두 관절의 위치를 측정함으로써 손가락 끝의 위치를 추정하는 과정은 앞서 설명한 실시 예가 유사하게 적용될 수 있다.
나아가, 웨어러블 디바이스는 단일한 손가락 마디 하나만을 감지하더라도 관절의 위치를 감지할 수 있다. 즉, 3차원 모델에 추가된 혈관의 패턴 정보는 3차원 정보일 수 있으므로, 혈관의 굵기와 기울기, 혈관 패턴, 생체 패턴에 대한 정보를 포함할 수 있음은 앞서 설명할 수 있다. 이에 따라, 웨어러블 디바이스는 단일한 손가락 마디 하나에서 혈관을 감지하여 기저장된 패턴과 비교함으로써 다른 관절의 위치를 알 수 있다. 이러한 실시 예와 관련하여, 손가락 관절이 굽어짐에 따라 혈관의 배치와 위치가 변할 뿐 아니라, 혈관의 명도와 채도 등도 변화한다. 즉, 손가락이 굽어짐에 따라 손가락의 살이 겹치고 주름이 생기는 등, 확인되는 혈관의 외관이 변화하게 된다. 결과적으로, 웨어러블 디바이스는 감지되는 혈관의 투명도와 명도, 채도 등을 종합적으로 고려하여 손가락 끝의 위치를 파악할 수 있다.
이상에서는 도 7과 관련하여 웨어러블 디바이스가 사용자의 손 관절들의 위치로부터 손가락 끝의 3차원 좌표를 추정하는 실시 예를 설명하였다. 이러한 실시 예는 확장되어 사용자의 아래팔(lower arm) 전체의 공간 상 위치를 추정하는 실시 예로도 이해될 수 있다.
구체적으로 설명하면, 도 7의 원점은 사용자의 손목의 중심을 나타낸다. 이때, 웨어러블 디바이스는 사용자의 손과 아래팔이 형성하는 각도를 측정할 수 있다. 즉, 웨어러블 디바이스는 생체 패턴 인식부나 깊이 센서를 이용하여 사용자의 손과 아래팔이 굽어진 각도, 회전한 정도 등을 측정할 수 있다. 사용자의 손바닥, 손등, 아래팔은 상대적으로 평평한 형태라는 점을 고려하면, 웨어러블 디바이스는 도 7의 원점~P5까지의 직선을 사용자의 아래팔로 인지할 수 있다. 따라서, 웨어러블 디바이스는 앞서 설명한 실시 예들에 따라 사용자의 손과 손가락들의 3차원 좌표를 인지할 수 있을 뿐 아니라, 손과 연결되는 아래팔의 각도와 위치 또한 인지할 수 있게 된다. 아울러, 웨어러블 디바이스는 광신호 송출부/감지부의 구성으로부터 혈관 데이터를 측정할 수 있어, 아래팔의 각도와 위치에 혈관 데이터를 합쳐 사용자의 팔의 정확한 위치와 형태를 파악할 수 있게 된다.
나아가, 웨어러블 디바이스는 상술한 실시 예들과 유사한 방식으로 팔꿈치 관절의 위치, 굽어진 각도, 회전한 정도 등을 측정함으로써 아래팔과 연결되는 위팔(upper arm)의 공간상 위치와 형태를 파악할 수도 있다. 상술한 실시 예들을 종합함으로써, 웨어러블 디바이스는 어깨, 팔꿈치, 손목, 손바닥 관절, 손가락 관절들로 연결되는 일련의 신체 구조의 공간상 위치, 공간상 배치 형태, 회전한 정도 등을 모두 측정할 수 있게 된다.
도 8은 웨어러블 디바이스가 외부로 출력을 송출하는 실시 예를 도시하는 도면이다. 도 8(a)는 넥웨어 형태로 구현된 웨어러블 디바이스(100a)가 사용자의 양 팔에 영상을 출력하는 실시 예를 도시한다. 도 8(b)는 안경 형태로 구현된 웨어러블 디바이스(100b)가 사용자의 눈에 영상을 출력하는 실시 예를 도시한다.
먼저, 웨어러블 디바이스가 고정된 위치에 고정된 각도와 고정된 크기로 영상을 출력할 수 있음은 앞서 도 1에서 설명한 바 있다. 예를 들어, 도 8(a)에서 웨어러블 디바이스(100a)는 대상체인 팔의 3차원 좌표를 측정함으로써 팔이 공간 상에서 어떠한 좌표에 어떠한 형태, 어떠한 각도로 위치하는지 알 수 있다. 이어서, 웨어러블 디바이스(100a)는 영상을 출력하는 크기와 각도를 조절함으로써 대상체인 양 팔에 영상을 고정시켜 출력할 수 있다(800a, 800b). 웨어러블 디바이스는 팔의 3차원 좌표를 계속하여 측정할 수 있기 때문에, 사용자가 팔을 움직인다 하더라도 웨어러블 디바이스(100a)는 고정된 위치와 각도로 계속하여 영상을 출력할 수 있다.
예를 들어, 웨어러블 디바이스가 영상을 출력하는 과정에서 사용자의 팔이 움직이면, 대상체로부터 감지되는 혈관의 배치, 분포, 각도 등의 물리적 특성 값들이 달라진다. 이에 따라, 웨어러블 디바이스는 대상체인 팔의 공간 상 좌표(위치, 각도, 형태 등)를 새롭게 계산함으로써 영상을 고정적으로 출력할 수 있다.
또한, 웨어러블 디바이스는 가속도 센서와 자이로스코프 센서를 이용하여 웨어러블 디바이스가 움직이는 방향, 각도, 속도를 측정할 수 있다. 따라서, 넥웨어 형태로 구현된 웨어러블 디바이스에서 사용자 몸이 다소 움직이더라도, 웨어러블 디바이스는 센서들의 측정 값을 반영하여 영상의 출력 위치와 각도를 조절할 수 있다. 즉, 가속도 센서와 자이로스코프 센서가 측정한 웨어러블 디바이스의 이동에 대한 물리적 측정 값들은 영상의 출력 과정에서 위치와 각도에 대한 보상(compensation) 과정에 이용될 수 있다.
또 다른 예를 들면, 웨어러블 디바이스는 자신이 출력하는 영상에 대한 정보를 미리 알고 있으므로, 이를 활용할 수도 있다. 즉, 웨어러블 디바이스는 자신이 출력하는 영상이 소정 거리에서 어떠한 크기와 각도로 투영되는지 계산할 수 있고, 대상체에 실제로 투영되는 영상을 가시광선 반사 광신호로써 감지하여 그 차이를 계산할 수 있다. 웨어러블 디바이스는 이러한 차이 값을 보정함으로써 대상체와 자신 간의 상대적인 위치 및 각도 관계를 알 수 있다.
또 다른 예를 들면, 웨어러블 디바이스는 반사 광신호를 감지하는 대신 상술한 깊이 센서를 활용하여 영상을 고정적으로 출력할 수도 있다. 즉, 웨어러블 디바이스는 깊이 센서를 이용하여 대상체를 감지하는 과정에서 패턴화된 광신호를 두가지 방식으로 활용할 수 있다. 구체적으로, 웨어러블 디바이스는 패턴화된 광신호의 송출 시점과 주파수 대역에 대해 미리 알고 있어, 광신호의 수신 시점에 대해 미리 알고 있을 수도 있다. 이 경우, 웨어러블 디바이스의 깊이 센서는 대상체와의 거리 및 각도를 기저장된 시점에 대한 정보와 주파수 대역에 대한 정보로부터 계산해낼 수 있다. 반대로, 웨어러블 디바이스는 광신호에 대한 정보를 모르더라도, 패턴화된 광신호의 파장 대역을 선택적으로 감지하기 위한 수단을 활용하여 광신호를 수신할 수도 있다.
또 다른 예를 들면, 웨어러블 디바이스는 영상의 테두리에 기결정된 패턴을 추가하여 출력할 수도 있다. 이러한 패턴은 앞서 설명한 혈관의 패턴과는 다르며, 단순히 영상의 주변에 추가되는 마커(marker) 또는 식별 가능한 표식을 의미한다. 웨어러블 디바이스는 이러한 패턴을 추가하여 전송함으로써, 패턴이 대상체에 투영되는 형태과 크기, 기울어진 정도, 왜곡된 정도 등을 분석하여 자신과 대상체 간의 거리 및 각도, 위치 관계 등을 파악할 수도 있다.
한편, 웨어러블 디바이스가 사용자의 팔에 영상을 출력하는 과정에서, 출력되는 영상을 조정할 수 있다. 이러한 조정은 영상의 색상, 채도, 명도를 조정하는 색 조정 과정과 영상의 확대, 축소, 회전, 왜곡 등을 조정하는 형태 조정 과정을 모두 포함할 수 있다. 색 조정 과정과 형태 조정 과정은 앞서 설명한 혈관 패턴과 생체 패턴 중 적어도 하나를 고려함으로써 수행될 수 있다.
구체적으로 설명하면, 웨어러블 디바이스가 사용자의 팔과 같은 피부면에 영상을 출력하는 경우에 있어서, 사용자의 피부 색은 개개인 마다 다르다. 피부 색은 넓게는 흑색, 황색, 백색으로 구별되지만, 더 구체적으로는 개인마다 모두 다른 색상 값을 갖는다. 따라서, 웨어러블 디바이스가 출력하는 영상이 피부색과 관계 없이 일정한 색상, 채도, 명도로 나타나기 위해서, 웨어러블 디바이스는 출력되는 영상에 대해 색 조정 과정을 수행할 수 있다. 예를 들어, 웨어러블 디바이스는 생체 패턴 인식부를 통해 색상, 채도, 명도 값을 미리 측정한 바 있으므로, 영상이 출력될 위치인 피부의 색상, 채도, 명도를 고려하여 출력될 영상의 색상, 채도, 명도를 조정할 수 있다. 이러한 과정에 따라, 피부의 색에 관계 없이 사용자는 일정한 영상을 확인할 수 있게 된다.
또한, 웨어러블 디바이스는 영상을 고정된 위치에 고정된 크기로 출력하기 위해, 형태 조정 과정을 수행할 수도 있다. 예를 들어, 손목 관절 주변에 영상이 출력되는 경우, 손목 관절이 굽어지는 경우 영상은 자연스럽게 왜곡된다. 이러한 경우, 웨어러블 디바이스는 손목 관절의 굽어지는 정도를 감안하여 영상을 기하학적으로(geometrically) 조정해야만 사용자에게 원하는 영상을 정확하게 제공할 수 있게 된다. 따라서, 웨어러블 디바이스는 대상체의 공간 상 위치, 형태, 굴곡, 회전된 정도 등을 고려하여 출력되는 영상의 형태를 조정할 수 있다. 예를 들면, 웨어러블 디바이스는 오목하게 굽어진 부분에 출력될 영상의 부분은 확대하고, 볼록하게 튀어나온 부분에 출력될 영상의 부분은 축소하여 출력할 수 있다. 또한, 웨어러블 디바이스는 영상이 출력될 부분의 경계선을 따라 영상의 테두리를 조절할 수도 있다. 예를 들어, 영상이 출력될 부분의 경계선이 원형이라면, 웨어러블 디바이스는 영상의 테두리를 그에 맞추어 조절함으로써 사용자에게 원하는 영상을 정확하게 제공할 수 있다.
한편, 도 8(b)에서 웨어러블 디바이스(100b)는 사용자의 눈(810)에 영상을 출력한다(820). 이러한 실시 예를 통해서, 사용자는 자신이 바라보는 사물에 웨어러블 디바이스(100b)가 출력된 영상이 겹쳐져서 보이는 증강 현실(AR)을 경험할 수 있게 된다. 즉, 도 8(b)는 앞서 도 1에서 설명한 웨어러블 AR/VR 디바이스, HMD, OHMD 개념 중에서 VRD 방식을 도시한다.
도시된 실시 예에 따라 웨어러블 디바이스(100b)가 직접적으로 눈(810)에 영상을 출력하는 것이 아니라, 안경의 유리 상에 영상을 출력하는 실시 예를 생각해볼 수도 있다. 또한, 웨어러블 디바이스(100b)가 사용자의 눈(810)에 직접적으로 영상을 출력하는 대신 영상을 반사시켜 실제 사물과 가상 이미지를 결합시키는 경우(AR), 웨이브 가이드 기술이 적용되는 실시 예가 된다. 어떠한 경우에 있어서도 사용자의 시선 방향에 영상이 출력되어 사용자가 AR을 경험할 수 있는 실시 예가 되므로, 대표적으로 VRD 방식을 예로 들어 설명한다.구체적으로, 웨어러블 디바이스는 도 8(a)에서와 같이 팔에 영상을 직접 출력하는 대신, 사용자의 눈에 영상을 출력함으로써 사용자가 팔에 대한 증강 현실을 경험하게끔 영상을 출력할 수 있다. 이러한 과정을 위해, 웨어러블 디바이스는 대상체가 출력될 위치인 팔의 3차원 좌표와 공간 상에서의 각도, 회전한 정도 등을 모두 미리 계산한다. 이어서, 웨어러블 디바이스는 사용자의 눈으로부터 대상체가 출력될 위치까지의 거리, 각도를 계산한다. 안경 형태로 구현된 웨어러블 디바이스는 사용자의 눈에 근접하여 위치한다. 따라서, 웨어러블 디바이스는 자신으로부터 대상체가 출력될 위치까지의 거리, 각도에 대해 간단한 보상 과정을 통해서 사용자의 눈으로부터 대상체가 출력될 위치까지의 거리, 각도를 얻어낼 수 있다.
대상체까지의 거리와 각도를 계산한 웨어러블 디바이스는 실제로 영상이 출력되는 사용자 눈까지의 거리와 각도를 측정함으로써, 앞서 계산한 값들이 사용자의 눈에 출력되는 경우 얼마만큼 보상되어야 하는지를 계산한다. 예를 들어, 영상의 물리적 특성 값들인 크기, 각도, 왜곡된 정도, 색상 등이 조절되어야 하며, 웨어러블 디바이스는 조절된 값에 따라 사용자의 눈으로 영상을 출력하게 된다. 이에 따라, 사용자는 자신의 팔을 바라보면서 해당 위치에 실제 영상이 출력되는 것 같은 느낌을 받게 된다.
이러한 실시 예의 장점은, 실제로 팔에 영상을 출력하는 것과는 달리 사용자에게 입체감 있는 영상을 제공할 수 있다는 데에 있다. 사용자는 후술할 다양한 종류의 인터랙션(interaction)을 수행함으로써, 증강 현실에 대한 즉각적인 피드백을 시각적으로 확인할 수 있게 된다.
한편, 도 8(b)의 실시 예와는 달리, 안경 형태로 구현된 웨어러블 디바이스(100b) 또한 사용자의 팔에 직접 영상을 출력할 수도 있다. 즉, 웨어러블 디바이스(100b)는 사용자의 눈 방향의 반대편으로 영상을 출력하여, 사용자의 팔이나 외부로 영상을 출력할 수도 있다.
도시되지는 않으나, 또 다른 실시 예에 의하면 웨어러블 디바이스는 모자(cap) 형태나 헬멧(또는, 헤드 마운트 디스플레이(head mount display)) 형태로 구현될 수도 있다. 이러한 실시 예에서, 웨어러블 디바이스는 사용자의 얼굴에 광신호를 송출하고 반사 광신호를 감지함으로써 사용자 얼굴의 혈관 데이터를 획득할 수 있다. 이에 따라, 웨어러블 디바이스가 사용자의 눈에 영상을 출력하는 경우, 웨어러블 디바이스는 얼굴의 혈관 데이터를 분석함으로써 영상을 고정된 위치에 고정된 크기로 출력할 수 있게 된다. 따라서, 사용자가 걷거나 뛰어서 웨어러블 디바이스가 다소 흔들리더라도, 안정적으로 고정된 위치에 영상을 출력할 수 있게 된다. 또한, 모자 형태나 헬멧 형태에 있어서도 웨어러블 디바이스가 영상을 사용자의 팔 등 사용자의 얼굴의 반대 방향으로 출력할 수 있음은 당연하다. 또한, 웨어러블 디바이스는 사용자의 얼굴 넓은 부위에 영상을 고정시켜 출력할 수도 있다. 즉, 웨어러블 AR/VR 디바이스 또는 HMD, OHMD로 구현되는 웨어러블 디바이스는 사용자의 시선 상에 영상을 출력할 수 있을 뿐 아니라, 사용자의 얼굴 어떠한 면에도 영상을 출력할 수 있다는 장점이 있다. 또한, 웨어러블 디바이스는 정맥 패턴이나 생체 패턴을 이용하여 영상을 출력하기 때문에, 사용자의 움직임에도 고정적으로 영상을 출력할 수 있다는 점은 앞서 설명한 바와 유사하다.
도 9는 웨어러블 디바이스가 사용자에게 AR 서비스를 제공하는 실시 예를 설명하는 도면이다. 도 9는 도 8(a)에서 출력되는 영상이 AR 서비스인 경우를 구체화한다.
먼저, 도 9(a)는 웨어러블 디바이스(100)가 사용자의 왼팔(910)에 영상(920)을 출력하는 실시 예를 도시한다. 도 9(a)에서 사용자의 왼팔(910)에 출력되는 영상(920)은 3차원 객체(930)들을 포함한다. 따라서, 사용자는 자신의 신체에 3차원 객체(930)들이 결합되는 AR을 경험할 수 있게 되며, 이때 사용자의 왼팔(910)은 영상(920)이 출력되는 사용자 인터페이스(user interface)가 된다. 도 10에서 후술할 라이트 터치 방식이 적용되는 경우, 사용자 왼팔(910)은 출력 인터페이스뿐 아니라 입력 인터페이스로도 작용한다.
도 9(a)의 실시 예에서, 웨어러블 디바이스(100)는 사용자의 정맥 패턴과 생체 패턴을 지속적으로 스캔하여 영상(920)을 출력할 위치를 고정시킬 수 있다. 즉, 웨어러블 디바이스(100)는 사용자 신체의 구성요소들을 관절 단위로 구분하여 위치를 파악할 수 있으므로, 사용자의 왼팔(910)의 움직임에도 불구하고 왼팔(910)의 위치를 계속하여 추적할 수 있다. 따라서, 고정된 위치에 영상(920)이 출력되어, 웨어러블 디바이스(100)는 사용자에게 AR 서비스를 안정적으로 제공할 수 있게 된다.
도 9(a)에서는 사용자의 왼팔(910) 표면에 영상(920)이 직접적으로 출력되는 실시 예를 설명하였다. 도 9(b)는 사용자의 오른팔(950)에 영상이 출력되는 것이 아니라, 가상의 공간 상에 영상(960)이 출력되는 실시 예를 도시한다. 도 9(b)에 있어서, 웨어러블 디바이스는 사용자의 눈(940)으로부터 오른팔(950)로 향하는 시선 방향에 영상(960)을 출력한다. 즉, 웨어러블 디바이스가 출력하는 영상(960)은 오른팔(950)에서 떨어진 공간 상에 마치 홀로그램처럼 고정되어 출력될 수도 있다. 영상(960)이 오른팔을 기준으로 한 공간 상에 고정되어 출력되는 경우, 사용자는 영상(960) 상의 3차원 객체(970) 또한 공중에 떠있는 것으로 인지할 수 있게 된다.
도 10은 사용자의 움직임에 따른 웨어러블 디바이스의 동작을 설명하는 도면이다. 도 10(a)는 공간 마우스 개념을 설명하며, 도 10(b)는 라이트 터치(light touch) 개념을 설명하는 도면이다.
먼저, 도 10(a)에서 웨어러블 디바이스(100)는 사용자의 왼팔에 영상을 출력한다(1000). 이어서, 웨어러블 디바이스(100)는 사용자의 오른팔이 마우스 이동 동작 또는 마우스 클릭 동작을 수행함을 감지하고, 공간 마우스로 동작할 수 있다. 구체적으로, 출력 중인 영상이 마우스 이동이나 클릭을 지원하는 컨텐츠인 경우, 사용자의 오른손(1020)이 공간 상에서 움직임에 따라 영상에 출력되는 마우스 커서(1010)가 이동한다. 이러한 과정은 웨어러블 디바이스(100)가 사용자의 왼손의 3차원 좌표를 측정하여 영상을 고정된 크기와 각도로 출력하는 동작을 수행함과 동시에, 웨어러블 디바이스(100)가 사용자의 오른손의 3차원 좌표를 측정하여 오른손의 공간 상 움직임을 추적하는 동작이 동시에 수행되는 것으로 이해될 수 있다. 즉, 웨어러블 디바이스는 오른손(1020)의 혈관 패턴, 생체 패턴을 측정함으로써 오른손(1020)의 3차원 좌표와 공간 상 움직임을 추적할 수 있고, 그에 따라 마우스 커서(1010)를 움직여가며 출력할 수 있다. 웨어러블 디바이스(100)가 오른손의 혈관 패턴과 생체 패턴을 측정하는 과정은 혈관 분포, 생체 특징(주름선, 손금 등 시각적으로 확인되는 특징들)들을 광신호 송출부/감지부, 생체 패턴 인식부, 깊이 센서를 이용하여 감지하는 과정을 통해 수행될 수 있다.
이어서, 사용자가 마우스 이동 동작 중에 검지 또는 중지를 엄지와 맞닿는 마우스 클릭 동작을 취하면, 웨어러블 디바이스(100)는 이러한 마우스 클릭 동작을 감지한다. 이어서, 웨어러블 디바이스(100)는 출력 중인 영상에서 마우스 커서(1010)가 위치한 지점에 대응하는 좌클릭 또는 우클릭 명령을 실행한다.
한편, 웨어러블 디바이스(100)가 사용자의 오른손의 움직임을 측정하는 과정은 단순히 오른손의 3차원 좌표를 지속적으로 추적하는 과정에 의해 달성될 수도 있다. 이와는 달리, 웨어러블 디바이스(100)는 사용자의 왼손이 영상의 출력(1000)을 위해 다소 고정적으로 위치한다는 점을 고려하여, 오른손의 움직임을 왼손으로부터 상대적인 값으로 측정할 수도 있다. 즉, 웨어러블 디바이스(100)는 사용자의 오른손이 왼손(특히, 영상이 출력되는 지점)으로부터 이동하는 방향과 각도 등을 고려함으로써 오른손의 움직임을 상대적인 값으로 추적할 수도 있다. 이러한 경우, 마우스 이동 동작을 분석하기 위한 계산 과정의 복잡도가 줄어들 수 있다.
이어서, 도 10(b)에서 웨어러블 디바이스(100)는 사용자의 왼팔(1030)에 영상(1040)을 출력한다. 이때, 사용자는 오른손(1060)으로 출력되는 영상(1040) 상의 특정 지점(1050)을 터치한다. 이와 같이 사용자가 출력되는 영상 상의 특정 부분을 직접 터치하는 실시 예를 라이트 터치라고 명명하며, 이하에서 구체적으로 설명한다.
웨어러블 디바이스(100)는 사용자의 오른손(1060)이 터치하는 위치(1050)를 측정함으로써, 출력되는 영상(1040)과 관련된 인터랙션을 감지할 수 있다. 예를 들어, 웨어러블 디바이스(100)는 여러 가지 어플리케이션(application)들과 관련된 아이콘들을 출력하는 도중에, 사용자가 출력된 어플리케이션 중 어느 하나를 선택하는 라이트 터치 동작을 감지할 수 있다. 특정 아이콘을 터치하는 동작이 감지되면, 웨어러블 디바이스(100)는 해당 아이콘에 해당하는 어플리케이션을 실행할 수 있게 된다.
이러한 과정은, 웨어러블 디바이스(100)가 사용자의 라이트 터치에 대응되는 위치를 정확하게 판단하는 것이 가장 중요하다. 웨어러블 디바이스(100)는 크게 두 가지 방법을 통해 사용자의 라이트 터치 동작을 감지할 수 있다.
먼저, 웨어러블 디바이스(100)는 사용자의 오른손(1060) 자체를 감지함으로써 라이트 터치 동작을 감지할 수 있다. 다시 말해서, 사용자의 오른손(1060)을 지속적으로 추적하는 웨어러블 디바이스(100)는 사용자의 오른손에서 라이트 터치를 수행하는 손가락 끝의 3차원 좌표가 사용자의 왼손 표면의 좌표에 근접한 경우, 라이트 터치를 수행한 것으로 인식할 수 있다. 예를 들어, 사용자의 오른손 손가락 끝의 3차원 좌표가 사용자 왼손 표면의 좌표와 임계값 미만으로 가까워진 경우, 웨어러블 디바이스(100)는 라이트 터치 동작이 이루어진 것으로 인식할 수 있다.
또 다른 예로, 이미 영상(1040)을 출력하는 과정에서 라이트 터치 동작이 감지되는 것이므로, 웨어러블 디바이스(100)는 사용자의 오른손 손가락 끝의 3차원 좌표가 영상(1040) 중 어떠한 위치를 가리키는 것인지 쉽게 알 수 있다. 다시 말해서, 웨어러블 디바이스(100)는 자신이 출력하는 영상에서 사용자의 라이트 터치 동작에 의해 가려지는 부분을 파악함으로써, 접촉된 위치에 대응하는 라이트 터치 동작을 인지할 수도 있다.
이상에서 설명한 실시 예들에 의하면, 웨어러블 디바이스는 사용자의 다양한 동작에 따라 공간 상에서 3차원 좌표를 계산하고, 이어지는 처리 과정을 통해 사용자에게 개선된 서비스를 제공할 수 있다. 그러나, 상술한 실시 예들은 꼭 웨어러블 디바이스에만 한정되어 적용되는 것은 아니다. 즉, 이상에서 설명한 구성들과 동작 과정은 사용자에게 장착되는 형태가 아닌 독립적인 디바이스(즉, 논-웨어러블 디바이스(non-wearable device))로도 구현될 수 있다.
본원 발명의 실시 예 들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 방법들은 한정적인 관점이 아닌 설명적 관점에서 고려되어야 한다. 본 발명의 범위는 발명의 상세한 설명이 아닌 특허청구 범위에 나타나며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (1)

  1. 웨어러블(wearable) 디바이스에 있어서,
    광신호를 송출하는 광신호 송출부;
    반사 광신호를 수신하는 광신호 감지부;
    상기 반사 광신호를 처리하는 데이터 처리부; 및
    처리된 데이터로부터 3차원 좌표를 생성하는 좌표 생성부를 포함하는, 웨어러블 디바이스.
PCT/KR2016/009418 2015-09-03 2016-08-25 웨어러블 디바이스 WO2017039225A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/757,121 US10401901B2 (en) 2015-09-03 2016-08-25 Wearable device
US16/437,845 US10747260B2 (en) 2015-09-03 2019-06-11 Methods, devices, and systems for processing blood vessel data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0125011 2015-09-03
KR1020150125011A KR20170028130A (ko) 2015-09-03 2015-09-03 웨어러블 디바이스

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/757,121 A-371-Of-International US10401901B2 (en) 2015-09-03 2016-08-25 Wearable device
US16/437,845 Continuation US10747260B2 (en) 2015-09-03 2019-06-11 Methods, devices, and systems for processing blood vessel data

Publications (1)

Publication Number Publication Date
WO2017039225A1 true WO2017039225A1 (ko) 2017-03-09

Family

ID=58187882

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/009418 WO2017039225A1 (ko) 2015-09-03 2016-08-25 웨어러블 디바이스

Country Status (3)

Country Link
US (2) US10401901B2 (ko)
KR (1) KR20170028130A (ko)
WO (1) WO2017039225A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10401901B2 (en) 2015-09-03 2019-09-03 Motionvirtual, Inc. Wearable device
US10474191B2 (en) 2014-10-15 2019-11-12 Motionvirtual, Inc. Wearable device

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101524575B1 (ko) * 2014-08-20 2015-06-03 박준호 웨어러블 디바이스
JP6659498B2 (ja) * 2016-08-30 2020-03-04 京セラ株式会社 生体情報測定装置、生体情報測定システム、生体情報の測定方法
KR102020647B1 (ko) * 2017-07-17 2019-09-11 곽일천 3차원 위치측정장치, 시스템 및 그 방법
US10861223B2 (en) * 2018-11-06 2020-12-08 Facebook Technologies, Llc Passthrough visualization
AU2020308728A1 (en) * 2019-06-24 2022-02-10 Touchmagix Media Pvt. Ltd. Interactive reality activity augmentation
US11422638B2 (en) 2019-07-08 2022-08-23 Apple Inc. Input devices that use self-mixing interferometry to determine movement within an enclosure
US11409365B2 (en) * 2019-09-06 2022-08-09 Apple Inc. Self-mixing interferometry-based gesture input system including a wearable or handheld device
US11419546B2 (en) 2019-09-24 2022-08-23 Apple Inc. Wearable self-mixing interferometry device used to sense physiological conditions
KR102282643B1 (ko) * 2019-10-28 2021-07-29 최은호 정맥 검출 장치 및 방법
CN112286361A (zh) * 2020-11-04 2021-01-29 宜兴市旭航电子有限公司 一种基于红外接收头的手势识别方法、装置及数码显示屏
KR20240006289A (ko) * 2022-07-06 2024-01-15 삼성전자주식회사 공간의 위치 좌표계를 동기화하는 증강 현실 디바이스 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030017924A (ko) * 2001-08-25 2003-03-04 윤덕기 펜형 무선 광마우스
US20100103104A1 (en) * 2008-10-29 2010-04-29 Electronics And Telecommunications Research Institute Apparatus for user interface based on wearable computing environment and method thereof
KR101339644B1 (ko) * 2012-11-29 2013-12-09 한국과학기술연구원 움직이는 객체의 위치인식장치 및 방법
KR101524575B1 (ko) * 2014-08-20 2015-06-03 박준호 웨어러블 디바이스
KR20150083602A (ko) * 2014-01-10 2015-07-20 주식회사 엘지유플러스 필기 데이터 처리/관리 방법 및 이를 수행하는 디지털 디바이스와 서버

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9153074B2 (en) 2011-07-18 2015-10-06 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US20090312817A1 (en) * 2003-11-26 2009-12-17 Wicab, Inc. Systems and methods for altering brain and body functions and for treating conditions and diseases of the same
JP4460367B2 (ja) 2004-06-16 2010-05-12 株式会社日立製作所 個人識別装置
JP2006102110A (ja) 2004-10-05 2006-04-20 Matsushita Electric Ind Co Ltd 血管位置提示装置
US9760214B2 (en) 2005-02-23 2017-09-12 Zienon, Llc Method and apparatus for data entry input
CA2944239C (en) * 2005-10-24 2018-03-20 Marcio Marc Abreu Apparatus and method for measuring biologic parameters
JP2007128304A (ja) 2005-11-04 2007-05-24 Nikon Corp 情報入力装置及びその方法、並びにこれを用いた電子機器
US9814425B2 (en) * 2006-05-12 2017-11-14 Koninklijke Philips N.V. Health monitoring appliance
US7539533B2 (en) * 2006-05-16 2009-05-26 Bao Tran Mesh network monitoring appliance
US9907473B2 (en) * 2015-04-03 2018-03-06 Koninklijke Philips N.V. Personal monitoring system
JP2010537302A (ja) * 2007-08-19 2010-12-02 リングボウ エルティディ． 指に装着される装置とその使用方法
KR20090079019A (ko) 2008-01-16 2009-07-21 엘지이노텍 주식회사 스테레오 카메라를 이용한 마우스 시스템 및 그 제어 방법
KR101284797B1 (ko) 2008-10-29 2013-07-10 한국전자통신연구원 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법
US9367851B2 (en) 2009-09-17 2016-06-14 Information Planning & Management Service, Inc. System and method for managing compliance with retail display regulations across a plurality of jurisdictions
US8570273B1 (en) 2010-05-20 2013-10-29 Lockheed Martin Corporation Input device configured to control a computing device
US20120075173A1 (en) 2010-09-23 2012-03-29 Nokia Corporation Apparatus and method for user input
US9241635B2 (en) * 2010-09-30 2016-01-26 Fitbit, Inc. Portable monitoring devices for processing applications and processing analysis of physiological conditions of a user associated with the portable monitoring device
KR101360149B1 (ko) 2010-11-02 2014-02-11 한국전자통신연구원 센서리스 기반 손가락 모션 트래킹 방법 및 그 장치
US8773512B1 (en) 2011-06-30 2014-07-08 Aquifi, Inc. Portable remote control device enabling three-dimensional user interaction with at least one appliance
KR101335328B1 (ko) 2012-02-13 2013-12-03 인제대학교 산학협력단 생체신호를 기반으로 하는 운동 및 인지 재활 훈련 시스템
US10188325B2 (en) * 2012-03-09 2019-01-29 Rinat O. Esenaliev Wearable, noninvasive glucose sensing methods and systems
US20140039309A1 (en) * 2012-04-26 2014-02-06 Evena Medical, Inc. Vein imaging systems and methods
KR101310464B1 (ko) 2012-05-24 2013-09-24 주식회사 에스원 생체 정보 감시 시스템 및 그 시스템을 이용한 생체 정보 감시 방법
US9599632B2 (en) * 2012-06-22 2017-03-21 Fitbit, Inc. Fitness monitoring device with altimeter
EP2680228B1 (en) 2012-06-25 2014-11-26 Softkinetic Software Improvements in or relating to three dimensional close interactions.
US10234941B2 (en) 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
KR20140062895A (ko) 2012-11-15 2014-05-26 삼성전자주식회사 외부 장치를 제어하기 위한 웨어러블 디바이스 및 그 방법
JP2014140097A (ja) 2013-01-21 2014-07-31 Sony Corp 画像表示装置及び画像表示方法
US9370302B2 (en) * 2014-07-08 2016-06-21 Wesley W. O. Krueger System and method for the measurement of vestibulo-ocular reflex to improve human performance in an occupational environment
US9367651B2 (en) 2013-05-06 2016-06-14 Cherif Algreatly 3D wearable glove scanner
US9554724B2 (en) 2013-12-11 2017-01-31 Samsung Electronics Co., Ltd. Self-aligning sensor array
US20150186708A1 (en) 2013-12-31 2015-07-02 Sagi Katz Biometric identification system
US11103122B2 (en) * 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
CN103995621B (zh) 2014-04-28 2017-02-15 京东方科技集团股份有限公司 一种穿戴式触控装置和穿戴式触控方法
US9594427B2 (en) 2014-05-23 2017-03-14 Microsoft Technology Licensing, Llc Finger tracking
US10039491B2 (en) 2014-06-30 2018-08-07 Verily Life Sciences Llc Methods for reducing noise in optical biological sensors
US9582076B2 (en) 2014-09-17 2017-02-28 Microsoft Technology Licensing, Llc Smart ring
US10474191B2 (en) * 2014-10-15 2019-11-12 Motionvirtual, Inc. Wearable device
NZ773834A (en) * 2015-03-16 2022-07-01 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
KR20170028130A (ko) 2015-09-03 2017-03-13 박준호 웨어러블 디바이스
US20170281026A1 (en) * 2016-04-01 2017-10-05 Daqri, Llc Biometric sensor for determining heart rate using photoplethysmograph
US10046229B2 (en) * 2016-05-02 2018-08-14 Bao Tran Smart device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030017924A (ko) * 2001-08-25 2003-03-04 윤덕기 펜형 무선 광마우스
US20100103104A1 (en) * 2008-10-29 2010-04-29 Electronics And Telecommunications Research Institute Apparatus for user interface based on wearable computing environment and method thereof
KR101339644B1 (ko) * 2012-11-29 2013-12-09 한국과학기술연구원 움직이는 객체의 위치인식장치 및 방법
KR20150083602A (ko) * 2014-01-10 2015-07-20 주식회사 엘지유플러스 필기 데이터 처리/관리 방법 및 이를 수행하는 디지털 디바이스와 서버
KR101524575B1 (ko) * 2014-08-20 2015-06-03 박준호 웨어러블 디바이스

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474191B2 (en) 2014-10-15 2019-11-12 Motionvirtual, Inc. Wearable device
US10908642B2 (en) 2014-10-15 2021-02-02 Motionvirtual, Inc. Movement-based data input device
US10401901B2 (en) 2015-09-03 2019-09-03 Motionvirtual, Inc. Wearable device
US10747260B2 (en) 2015-09-03 2020-08-18 Motionvirtual, Inc. Methods, devices, and systems for processing blood vessel data

Also Published As

Publication number Publication date
KR20170028130A (ko) 2017-03-13
US20190369658A1 (en) 2019-12-05
US10401901B2 (en) 2019-09-03
US20180299922A1 (en) 2018-10-18
US10747260B2 (en) 2020-08-18

Similar Documents

Publication Publication Date Title
WO2017039225A1 (ko) 웨어러블 디바이스
WO2016060461A1 (en) Wearable device
US10585497B2 (en) Wearable device
WO2016148486A1 (ko) 웨어러블 디바이스
US10635179B2 (en) Apparatus, systems, and methods for facilitating user interaction with electronic devices
US10234941B2 (en) Wearable sensor for tracking articulated body-parts
EP3090331B1 (en) Systems with techniques for user interface control
US9734393B2 (en) Gesture-based control system
US20090174578A1 (en) Operating apparatus and operating system
US11782514B2 (en) Wearable device and control method thereof, gesture recognition method, and control system
US20190317608A1 (en) Transmissive head-mounted display apparatus, display control method, and computer program
US10120444B2 (en) Wearable device
JP7135444B2 (ja) 情報処理装置及びプログラム
US11287886B1 (en) Systems for calibrating finger devices
US20190384419A1 (en) Handheld controller, tracking method and system using the same
WO2021047331A1 (zh) 控制方法、电子装置和存储介质
WO2021073743A1 (en) Determining user input based on hand gestures and eye tracking
JP6483514B2 (ja) ウェアラブル装置、制御方法及び制御プログラム
WO2022014445A1 (ja) 検出装置及び検出方法
KR101552134B1 (ko) 웨어러블 디바이스
US20180101277A9 (en) Skin Touchpad
WO2022108001A1 (ko) 카메라 시야(fov) 가장자리에서 움직임을 인식하여 전자 장치를 제어하는 방법 및 그 전자 장치
JP6817350B2 (ja) ウェアラブル装置、制御方法及び制御プログラム
KR20160129406A (ko) 웨어러블 디바이스
KR102674408B1 (ko) 비 접촉식 의료 영상 제어 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16842191

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15757121

Country of ref document: US

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205N DATED 16.7.18)