WO2017099527A1 - 생체 정보에 기반하여 장비를 제어하는 기법 - Google Patents

생체 정보에 기반하여 장비를 제어하는 기법 Download PDF

Info

Publication number
WO2017099527A1
WO2017099527A1 PCT/KR2016/014463 KR2016014463W WO2017099527A1 WO 2017099527 A1 WO2017099527 A1 WO 2017099527A1 KR 2016014463 W KR2016014463 W KR 2016014463W WO 2017099527 A1 WO2017099527 A1 WO 2017099527A1
Authority
WO
WIPO (PCT)
Prior art keywords
biometric information
control
calorific value
user
command
Prior art date
Application number
PCT/KR2016/014463
Other languages
English (en)
French (fr)
Inventor
곽병훈
이창현
정재호
김양욱
이용찬
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to JP2018529147A priority Critical patent/JP7046808B2/ja
Priority to US15/773,358 priority patent/US10466726B2/en
Priority to EP16873392.1A priority patent/EP3376343B1/en
Priority to CN201680070665.7A priority patent/CN108292173B/zh
Publication of WO2017099527A1 publication Critical patent/WO2017099527A1/ko
Priority to US16/598,322 priority patent/US11526183B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D23/00—Control of temperature
    • G05D23/19—Control of temperature characterised by the use of electric means
    • G05D23/1919—Control of temperature characterised by the use of electric means characterised by the type of controller
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/70—Control systems characterised by their outputs; Constructional details thereof
    • F24F11/80—Control systems characterised by their outputs; Constructional details thereof for controlling the temperature of the supplied air
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F11/00—Control or safety arrangements
    • F24F11/50—Control or safety arrangements characterised by user interfaces or communication
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D23/00—Control of temperature
    • G05D23/19—Control of temperature characterised by the use of electric means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24—HEATING; RANGES; VENTILATING
    • F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
    • F24F2110/00—Control inputs relating to air properties
    • F24F2110/10—Temperature
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2614—HVAC, heating, ventillation, climate control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records

Definitions

  • the present disclosure relates to a technique for controlling equipment using a biosignal, and relates to a method and apparatus for controlling a external device based on a biosignal by a control device.
  • the Internet has evolved from a human-centered connection network where humans create and consume information, and an Internet of Things (IoT) network that exchanges and processes information among distributed components such as things.
  • IoT Internet of Things
  • IoE Internet of Everything
  • IoT Internet Technology
  • IoT Internet Technology
  • fields such as smart home, smart building, smart city, smart car or connected car, smart grid, health care, smart home appliance, and advanced medical service through convergence and complex of existing IT technology and various industries. have.
  • the haptic temperature is a value calculated by a kind of formula, whereas the temperature felt by each person is different, so there is no one haptic temperature commonly applied to all people.
  • the direction of the desired temperature change i.e., the temperature increase or the temperature decrease
  • the direction of the desired temperature change may vary depending on the situation (fatigue, excited state, etc.) that the user is in.
  • the user may not actually perform the temperature control in the desired direction. That is, the user's sense of temperature is subjective, and even in the same physical environment, the direction of temperature control desired by the user may be different according to the situation and the physiological state.
  • the present disclosure provides a technique for controlling the equipment by determining whether the situation is actually required to control the equipment based on the biometric information of the user.
  • the present disclosure provides a technique for properly determining a control direction of a device actually desired by a user when the control of the device is required.
  • the present disclosure provides a technique for periodically measuring status information of a user and continuously reflecting the measured status information to equipment control.
  • the present disclosure provides a technique for determining whether a calorific value is required based on a biosignal of a user and determining a direction and a degree of temperature change required when calculating a calorific value to appropriately perform temperature control.
  • the present disclosure provides a technique for properly determining a personalized state according to a physical environment change, a user's state change, or a physiological state change.
  • the present disclosure provides a technique for more accurately determining a desired temperature change by measuring a user's actual calorific value rather than a statistical estimate calculated based on physical activity.
  • the present disclosure provides a technique for periodically measuring status information of a user and continuously reflecting the measured status information in a temperature change.
  • the present disclosure provides a method of generating a command for controlling equipment based on biometric information, the method comprising: obtaining at least one biometric information; Determining whether to calculate a calorific value using the stored biometric information and the obtained biometric information, and calculating the calorific value using the stored biometric information and the obtained biometric information according to the determined result; And generating a command to control the equipment based on the calculated calorific value.
  • the present disclosure provides an apparatus for generating a command for controlling external equipment based on biometric information, the apparatus comprising: a sensor unit obtaining at least one biometric information; And determining whether to calculate a calorific value using the stored biometric information and the obtained biometric information, calculate the calorific value using the stored biometric information and the obtained biometric information, and calculate the calorific value based on the calculated calorific value.
  • An apparatus including a control unit for generating a command to control is proposed.
  • the present disclosure provides an apparatus for generating a command to control external equipment based on biometric information, comprising: a memory configured to store previous biometric information; Communication unit for receiving at least one biometric information from the peripheral sensor; And determining whether to calculate a calorific value using the stored biometric information and the received biometric information, calculate the calorific value using the stored biometric information and the received biometric information, and based on the calculated calorific value, the external device.
  • An apparatus including a control unit for generating a command to control the is proposed.
  • the user device may determine by itself whether the situation is necessary to calculate the calorific value by measuring the user's state, and determine the operation of the external equipment suitable for the user's state.
  • an apparatus for controlling equipment may detect a change in emotion from the user's ecological information, and use the change in emotion to determine whether and how to control the device.
  • the apparatus for controlling the equipment may detect a change in emotion of a user and trigger a calorific value calculation operation through the occurrence of the change, and determine an accurate and proper direction of temperature control based on the actual calorific value of the user. .
  • the present disclosure periodically measures the user's state information, thereby continuously reflecting the user's emotion change in the temperature control operation, and provides a personalized temperature control method.
  • FIG. 1 illustrates a scenario in which equipment control techniques according to the present disclosure are applied
  • 3 illustrates a biosignal measured when a user's emotional state is normal
  • FIG. 4 is a diagram illustrating a biological signal measured when the emotional state of the user is sad
  • 5 is a diagram illustrating a biological signal measured when the emotional state of the user is fear
  • FIG. 6 is a diagram illustrating a biological signal measured when the emotional state of the user is happiness
  • FIG. 7 is a diagram illustrating an emotional state divided into four states
  • FIG. 8 illustrates a method by which a control device according to the present disclosure determines HR 0 ;
  • FIG. 9 is a flowchart illustrating a specific control method when the control device according to the present disclosure is a cloud server;
  • FIG. 11 illustrates a scenario in which the technique according to the present disclosure is implemented in a vehicle
  • control device wearable device or smartphone
  • FIG. 13 is a diagram illustrating an example of a device configuration when the control device according to the present disclosure is a separate device such as a home gateway or a cloud server.
  • Apparatus is a subject that performs an operation to control the equipment (equipment).
  • the apparatus may be referred to as a 'controlling apparatus'.
  • the device may measure biometric information of the user by itself, but may also receive biometric information measured by a wearable device.
  • the device may generate a command for controlling the device by using the biometric information and transmit the command to the device.
  • the device may be a terminal possessed by a user or a wearable device worn by the user, a steering wheel, a seat, a handle, or an indoor camera of an automobile contacted by the user, and an external device (home) that communicates with the wearable device.
  • a gateway or a cloud server Such as a gateway or a cloud server.
  • An equipment is an object controlled by the device.
  • the equipment may include the device, but may be referred to as 'external equipment' or 'controlled apparatus' because it may be implemented as a separate device separate from the device.
  • the equipment means all kinds of devices controlled by the control device.
  • the equipment may be an air conditioner or heater that regulates air temperature, a humidifier or dehumidifier that controls humidity, audio output music, automobiles (including air conditioners, heating wires, ventilation seats, etc.), and various fitness equipment.
  • a device such as a message server that sends messages to the user.
  • Biometric information refers to all kinds of information measured from living beings, and in particular, in the present disclosure, biometric information refers to heart rate (HR) information, electroencephalogram (EGE) information, and galvanic skin response (GSR).
  • HR heart rate
  • EGE electroencephalogram
  • GSR galvanic skin response
  • the information may be at least one of related information, breathing time, or skin temperature.
  • the technique according to the present disclosure includes an operation of measuring biometric information of a user and determining whether to calculate a calorific value (ie, a calorific value) generated by the user based on the measured biometric information, wherein the calculation of the calorific value is required.
  • the method may include measuring the calorific value, determining an operation to be performed by the equipment based on the calorific value, and generating a command.
  • the operation of determining whether to calculate the heat generation amount may include an operation of determining a change in emotion of the user.
  • FIG. 1 is a diagram illustrating a scenario in which an equipment control technique according to the present disclosure is applied.
  • Wearable devices such as arm bands may be worn in contact with the user's skin.
  • the wearable device measures information that can be acquired through a contact sensor, that is, biometric information such as heart rate and galvanic skin response (GSR), brain wave (EEG), skin surface temperature, and breathing time ( Or acquire) and store (100).
  • biometric information such as heart rate and galvanic skin response (GSR), brain wave (EEG), skin surface temperature, and breathing time ( Or acquire) and store (100).
  • non-contact sensors such as cameras, infrared cameras, thermal imaging cameras may be used to obtain biometric information.
  • the camera may be used to analyze a user's facial expression or behavior, and in the case of the infrared camera, the movement of the user's pupil or expansion of the pupil and the degree of opening and closing of the eyelid may be measured.
  • the biometric information measured by the wearable device or various cameras may be used to determine various additional information.
  • the heart rate information may be used to determine the stress state, excitement state, or cardiovascular disease of the user.
  • EEG information can be used to determine brain diseases such as dementia, to measure a user's concentration or to change emotions.
  • Skin conductivity and skin temperature can be used to determine a user's emotional change, stress state, or excited state.
  • the breathing time information may be used to determine whether the user has a cardiovascular disease or to determine a user's excited state.
  • Information about a user's facial expression or pupil movement that may be obtained through a camera may also be used to determine a user's emotional change or an excited state.
  • the everyday biometric information for each user may be different from the everyday biometric information of another user. Therefore, judging a particular value of biometric information as a criterion for equipment control may not satisfy users having different biometric information characteristics. Accordingly, the technique according to the present disclosure detects a user's state change (ie, emotion change) based on the change of the biometric information, and determines whether to control the equipment by the state change.
  • a user's state change ie, emotion change
  • a control device for example, the wearable device
  • the wearable device may determine whether control of the device is necessary using previously stored biometric information and the acquired biometric information (measured in step 100). It may be 110.
  • the control device may determine whether to calculate a calorific value of the user using the stored biometric information and the acquired biometric information. By doing so, the control device can more accurately determine whether the current state of the user is in a state that requires control of the equipment (ie, a changed emotion state).
  • the stored biometric information means biometric information measured and stored before the step 100.
  • the control device may be the arm band (step 100), a hair band, a wearable device such as smart glasses, a camera, an infrared camera, or a thermal imaging camera.
  • the device may be a smart phone possessed by the user, or may be a separate device such as a home gateway or a cloud server that receives the measured biometric information from the wearable device.
  • the biometric information used in the control device may vary depending on the contact position of the sensor or the type of the wearable device.
  • the cancer band may use skin surface temperature, pulse wave, electrocardiogram, skin conductivity, and the like
  • the hair band may use skin surface temperature, pulse wave, electrocardiogram, skin conductivity, brain wave, and the like.
  • Smart glass can use skin surface temperature, pulse wave, electrocardiogram, skin conductivity, brain wave, pupil movement, etc.
  • the smartphone may use voice information collected through the smartphone, or may utilize biometric information measured by another wearable device connected to the smartphone.
  • biometric information measured through a wearable device such as a smart garment or an insertable device (eg, an earphone or an earset) may be used to control the equipment.
  • a separate device such as a home gateway or cloud server
  • the apparatus used for determining the emotional change according to the present disclosure is not limited to the wearable device.
  • the control device may estimate a user's behavior pattern and a change in emotion by using a camera provided in a television (television), an air conditioner, and the like, and the content information that the user is watching on the TV or the music information playing in the home theater.
  • the change of emotion of the user may be estimated based on.
  • the technique according to the present disclosure generates state information (eg, calorific value or sensory temperature) necessary for controlling the equipment using the biometric information, and determines how to control the equipment according to the state information. For example, when it is determined that the control device is to calculate the calorific value, the control device calculates the calorie generated by the user (M; metabolic or metabolic amount) by using the previously stored biometric information and the acquired biometric information, The actual sensory temperature of the user may be calculated based on the calorific value (130).
  • state information eg, calorific value or sensory temperature
  • the haptic temperature may be calculated as a predicted mean vote (PMV) value.
  • the PMV may have a value of -3 to 3, and when the PMV has a value of -0.5 or more and 0.5 or less, the user may be determined to be in a comfortable state that does not require adjustment of the equipment.
  • control device may generate and transmit a command for controlling the operation of the equipment based on the state information.
  • a command for controlling the device may be generated and the command may be transmitted to the device.
  • the control device may transmit a command to change the set temperature, or a command to change the wind strength, to the air conditioner controlling the temperature of the air (140).
  • the control device may determine which control command to issue in consideration of other factors (for example, power amount, number of users, and the like). For example, if the current temperature is sufficiently low compared to the external temperature and the amount of power consumed to make the wind strength stronger than the amount of power consumed to further lower the set temperature, the wind strength may be adjusted.
  • the set temperature may be adjusted instead of the wind strength.
  • control device may be configured to send a message to the user (e.g., baby or patient) or another user (e.g., guardian) to send a notification message that the user's condition is not comfortable. It may also pass to (142).
  • control device may transmit a command to a device, such as audio, to play music suitable for the user's state change (144).
  • a device such as audio
  • FIG. 2 is a diagram illustrating a method of controlling equipment of a control device according to the present disclosure.
  • the control device can measure a user's biosignal (200).
  • the measurement of the biosignal may be performed by another device other than the control device.
  • the bio-signals include heart rate (heart rate; HR), pulse wave transmission time, skin conductivity (GSR), skin temperature, respiration time, or brain waves (frontal lobe brain and parietal lobe). Examples of such biosignals, and measurement sites of biosignals, and examples of measurable sensors are illustrated in the table below.
  • the biosignal is heart rate
  • the heart rate average, heart rate variability (HRV), and standard deviation of the normal to SDNN are determined by skin-attached electrocardiograph (ECG) or photoplethysmogram (PPG) sensors.
  • ECG skin-attached electrocardiograph
  • PPG photoplethysmogram
  • normal interval RMSSD (square root of the mean squared differences of successive normal to normal intervals)
  • NN50 normal to normal interval 50; of intervals where the variation of consecutive Normal to Normal Intervals of total normal to normal intervals is 50 ms or more B), high frequency (HF), or low frequency (LF) may be measured (acquired).
  • the biological signal is skin conductivity (GSR)
  • biometric information such as skin conductivity average or zero crossing rate may be measured (acquired) by a galvanic skin response (GSR) sensor.
  • GSR galvanic skin response
  • EEG patch-type electroencephalogram
  • the brain wave may include a delta ( ⁇ ) wave, theta ( ⁇ ) wave, an alpha ( ⁇ ) wave, a beta ( ⁇ ) wave, or a gamma ( ⁇ ) wave.
  • the control device may analyze the measured biosignal to obtain at least one biometric information (eg, NN50, skin conductivity average) (205).
  • biometric information eg, NN50, skin conductivity average
  • the control device may determine whether the current state of the user requires a calorific value calculation for controlling the equipment by using the obtained biosignal (210). For example, when the rate of change of the value indicated by the acquired biometric information is greater than or equal to the reference value (threshold value), the control device may determine to calculate the calorific value. That is, the technique according to the present disclosure uses that the change of the biometric information reflects the change of emotion of the user with high accuracy.
  • FIG. 3 is a diagram illustrating a biological signal measured when a user's emotional state is normal.
  • the horizontal axis of the biosignal represents time
  • the vertical axis of each of the pulse wave, skin temperature, skin conductivity, and brain wave is voltage [V] and temperature [T; Fahrenheit temperature], voltage [V], and voltage [V].
  • the pulse wave vibrates intermittently, and the amplitude of skin conductivity is not large.
  • FIG. 4 is a diagram illustrating a biological signal measured when the emotional state of the user is sad.
  • the horizontal axis of the biosignal represents time
  • the vertical axis of each of the pulse wave, skin temperature, skin conductivity, and brain wave is voltage [V] and temperature [T; Fahrenheit temperature], voltage [V], and voltage [V]. It can be seen that when relatively sad, the pulse wave vibrates frequently and the amplitude of skin conductivity is not large.
  • 5 is a diagram illustrating a biological signal measured when the emotional state of the user is fear.
  • the horizontal axis of the biosignal represents time
  • the vertical axis of each of the pulse wave, skin temperature, skin conductivity, and brain wave is voltage [V] and temperature [T; Fahrenheit temperature], voltage [V], and voltage [V]. It can be seen that the pulse wave oscillates intermittently and the amplitude of skin conductivity is large when in a relatively fear state.
  • FIG. 6 is a diagram illustrating a biosignal measured when a user's emotional state is happiness.
  • the horizontal axis of the biosignal represents time
  • the vertical axis of each of the pulse wave, skin temperature, skin conductivity, and brain wave is voltage [V] and temperature [T; Fahrenheit temperature], voltage [V], and voltage [V].
  • the pulse wave (Figs. 3 (a), 4 (a), 5 (a), 6 (a)) for four exemplary emotional states (normal, sad, fear, happy), respectively. ),
  • the waveform of the skin temperature (Fig. 3 (b), Fig. 4 (b), Fig. 5 (b), Fig. 6 (b)), the skin conductivity (Fig. 3 (c), Fig. 4 (c), Fig. Waveforms of 5 (c) and 6 (c) and brain waves (Fig. 3 (d), 4 (d), 5 (d) and 6 (d)) are illustrated.
  • the heart rate slows down and the heart rate increases with excitement.
  • the skin conductivity means the degree of activation of the sympathetic nervous system, the amplitude increases when the sensitivity change is large, the degree of activation increases.
  • alpha waves increase in a stable state
  • beta waves increase in an unstable state
  • theta waves increase in a concentrated state
  • gamma waves increase in a nervous state
  • delta waves tend to increase in a sleep state.
  • FIG. 7 is a diagram exemplarily dividing an emotional state into four states.
  • the first quadrant 700 located at the upper right end represents a positive emotional state (eg, happy) of high awakening.
  • the quadrant 730 located at the bottom right represents a positive emotional state (eg, calm) of low awakening.
  • the quadrant 710 located in the upper left represents a high arousal of negative emotional state (eg, fearful).
  • the third quadrant 720 located at the bottom left shows a negative emotional state (eg sad) of low arousal.
  • the emotion states may be determined by a single or a combination of various biometric information. As the accuracy of the measured biometric information increases, the amount of accumulated biometric information increases, or the type (number) of the combined biometric information increases, the accuracy of the emotion determination may be increased.
  • the control device may determine the direction of emotion.
  • the control apparatus changes the state from the positive emotional state to the negative emotional state among the change of the emotional state, that is, the transition from the first quadrant or the fourth quadrant of FIG. 4 to the second quadrant or the third quadrant. Can be judged.
  • the present disclosure proposes a method of using information about heart rate and information about skin conductivity. When the two pieces of information are used, emotion changes can be detected with about 79% accuracy.
  • Table 2 illustrates a change in biometric information indicating an emotional state.
  • the emotional state can be determined. For example, when the change in the current heart rate is 20% or more relative to the prestored heart rate variability, the heart rate variability may be determined to be unstable, and the control device may be in a state of fear or sadness that is a possible emotional state when the heart rate variability is unstable. May be determined as the emotional state. As another example, when the current NN50 value is increased by 10% or more compared to the previously stored NN50, the NN50 may be determined to be high, and the control device determines that the emotional state is a fear state that is a possible emotional state when the NN50 is high. can do.
  • the activation degree of the skin conductivity may be determined to be 'active', and the control device may determine that the activation degree is 'active'.
  • the emotional or happy or fearful state may be determined as the emotional state.
  • the control device may aggregate all the biometric information, determine that the current emotional state is a fear (ie, displeasure) state located in two quadrants, and determine that the state of equipment control is necessary.
  • the control device may determine that the magnitude of the rate of change of the biometric information is proportional to the intensity (strength) of the emotional change.
  • the control device may determine that it is not necessary to determine whether control of the equipment is required. That is, the control device may determine that the user's heat generation calculation is not necessary. In this case, the control device may store the measured control information (235) and may not perform any operation until the next cycle.
  • the control device may determine that it is necessary to determine whether control of the equipment is necessary. That is, the control device may determine that the heat generation amount of the user needs to be calculated.
  • the control device calculates the actual calorific value (M; metabolic or metabolic amount) of the user using the measured biometric information and the pre-stored biometric information (215), and the user's sensed temperature using the calculated calorific value It can be calculated (220).
  • the previously stored biometric information is biometric information in a state where there is little stress of the user, that is, in a base state.
  • Calculation of the actual calorific value 215 using the biometric information may be performed by the following equations.
  • HR is the current heart rate and HR- 0 is the heart rate in the base state and the resting heart rate in a neutral heat environment that is neither hot nor cold.
  • the basic state refers to a stable state with little user movement and no stress.
  • HR max is a maximum heart rate when the user shows a theoretical maximum activity, such as when a user runs, and the HR max may be an estimate.
  • RM represents the rate of increase in heart rate according to activity
  • M represents the calorific value (ie, the amount of activity)
  • M 0 represents the calorific value of the resting state.
  • the M 0 may be substituted with a basal metabolic rate.
  • MWC represents maximum workload
  • P represents weight
  • A represents age.
  • the actual calorific value M of the user is calculated using the difference between the current heart rate (ie, biometric information) and the pre-stored heart rate as shown in the following equation.
  • the haptic temperature 220 that may be calculated using the calorific value may be various.
  • This haptic temperature is calculated by considering the amount of activity and wear, as well as the effective temperature (ET), humidity and wind speed, which consider wind speed, humidity, and radiation temperature, in addition to the conventional haptic temperature calculated by considering air temperature and wind speed.
  • ET effective temperature
  • SET standard new ET
  • the working temperature which considers only air temperature, activity quantity, clothing amount, and wind speed without considering humidity is a kind of haptic temperature.
  • the technique according to the present disclosure as defined in the International Organization for Standardization (ISO) 7730, takes into account the following equation by considering the temperature, air flow (convection), humidity, radiation temperature, activity amount, and wear amount as the sensed temperature. Predicted mean votes (PMVs), which are determined together, can be used.
  • PMVs Predicted mean votes
  • W is a unit of external work, and is set to 0 in most activities.
  • f cl represents the ratio of the body surface area of the user to the body surface area when the user is naked
  • t air represents the air temperature
  • P a represents the partial pressure of water vapor (pascals)
  • t cl represents the surface of the garment.
  • temperature t mrt represents the mean radiant temperature
  • h- c represents the convective heat transfer coefficient.
  • the amount of clothes for calculating the surface ratio of the human body at the time of wearing can be determined assuming an average attire according to the current average temperature and the season.
  • the PMV value determined by Equation 6 may have a value of -3 to 3.
  • the control device may determine how to control the equipment based on the calculated haptic temperature (225).
  • the equipment may be, for example, an air conditioner. When the PMV value is not within a certain range and the PMV value is positive, the control device may generate and transmit a command to lower the set temperature of the air conditioner. In addition, when the PMV value is not within a certain range and the PMV value is negative, the control device may generate and transmit a command to increase the set temperature of the air conditioner.
  • Table 3 illustrates the operation of the control device to control the equipment for temperature control based on the PMV value.
  • the control device controls the operation of the cooling equipment, heating equipment, humidifier, and dehumidifier (airflow temperature, airflow speed, airflow direction, humidity increase and decrease) such that the PMV is between -0.5 and 0.5 based on the calculated PVM value.
  • Generate and pass commands For example, when the current PMV is greater than 0.5, the control device may generate a control command to lower the set temperature of the air conditioner or increase the wind strength to achieve the target PMV 0.3. As another example, if the current PMV is less than -0.5, the control device may generate a control command to increase the set temperature of the air conditioner or decrease the wind strength to achieve the target PMV -0.3. That is, the control device may determine the set temperature and the wind strength alone or in combination in determining the type of the control command.
  • the control device may determine the control operation of the equipment in consideration of external factors (for example, cooling efficiency, power amount, and number of people). For example, when the temperature difference between the outdoor and the indoor is more than a predetermined value, it may be determined that additionally lowering or increasing the set temperature lowers the cooling / heating efficiency, thereby generating a control command for increasing the wind strength. As another example, when there are a plurality of users in the room and the emotional state of the plurality of users indicates discomfort, the control device may generate a control command not to increase the wind strength but to lower the set temperature even if the cooling efficiency drops. Can be.
  • external factors for example, cooling efficiency, power amount, and number of people.
  • a message instructing the user to wear or undress may be delivered.
  • the control device determines whether an emotion change of the plurality of users occurs, and when the number of users that cause an emotion change is greater than or equal to a predetermined value, the user who has caused the emotion change. It may be determined whether the equipment control is necessary in consideration of the heat generation amount or PMV, and if necessary, a command for controlling the equipment may be generated.
  • the control device determines whether the change of emotion of the plurality of users occurs, and the change of emotion occurs only in a few users (less than a certain percentage of all users). In this case, a control command may be generated to adjust the direction of the wind to send the wind to the user having the emotional change.
  • the control device may calculate the PMV for the partial space in the indoor environment by using the external temperature measured by the wearable device of the user, and the direction in which the partial space is located. You can also create a control command to control the direction of the wind.
  • control device may further perform an operation of storing the state determination result (ie, the rate of change) in step 210, and when performing the equipment control operation next (ie, after a predetermined time has elapsed).
  • state determination result ie, the rate of change
  • equipment control operation next ie, after a predetermined time has elapsed.
  • Table 4 exemplifies an operation of receiving the user's emotion change based on the state information and controlling the equipment.
  • the control device displays the currently calculated PMV, measured temperature, airflow speed, and the like.
  • the operation of registering with a preference value of may be further performed and the preference may be used for equipment control.
  • the control device has a PMV value that is ⁇ 0.5 higher than the PMV value currently set as the target.
  • the air conditioner may be further controlled.
  • the control device may change the M 0 value, HR max or RM value to calculate a more appropriate PMV value.
  • the primary control is performed so that the PMV calculated by the control device is -0.8 and becomes 0.3.
  • the received primary feedback shows an increase in discomfort and +0.5 so that the secondary control is performed so that the PMV becomes 0.8.
  • the M 0 value, HR max or RM value may be adjusted (changed) to match the current PMV 0.8 to 0.3.
  • the control device may select and adjust (change) the current value among the M 0 value, HR max or RM value having the smallest difference from the value of the average person reference (corresponding to average status information). .
  • the control device determines that an unpleasant feeling is caused by an external factor, not temperature control, and notifies the user (eg, a notification message). Can be displayed on the screen or an alarm sound can be output to the speaker).
  • FIG. 8 is a diagram illustrating a method for determining HR 0 by a control device according to the present disclosure.
  • the series of operations illustrated in FIG. 8 may be repeatedly performed at regular intervals by the control device.
  • the control device may detect a movement of the control device (ie, a user's movement) by using an acceleration sensor (or a gyro sensor) (800).
  • a movement of the control device ie, a user's movement
  • an acceleration sensor or a gyro sensor
  • the control device may check whether the movement of the control device is equal to or less than a reference value for a predetermined period of time (805). For example, the control device may check whether the value detected by the acceleration sensor is equal to or less than 1 G (still state) for 20 minutes.
  • control device may measure the heart rate of the user (810).
  • the control device obtains biometric information such as HRV or NN50 using the measured heart rate, and checks whether the HRV or pNN50 is equal to or less than a predetermined value (815).
  • the HRV or pNN50 is a value indicating the stress state of the user and may be determined to be a state with little or no stress when the HRV or pNN50 is below a predetermined value. Alternatively, the control device may determine the state that is not stressed by using the user's heart rate or the stress information value inferred from the heart rate.
  • the control device may compare the existing HR 0 with the heart rate measured in step 210 to determine whether it is the minimum (820).
  • control device may store the measured heart rate as an HR 0 value (825).
  • FIG. 9 is a flowchart illustrating a specific control method when the control device according to the present disclosure is a cloud server.
  • the cloud server 904 may request biometric information from the wearable device 900 that can be worn by the user (910), and receive biometric information from the wearable device 900 (912).
  • the cloud server 904 may request (914) and receive (916) various user information as well as biometric information.
  • the cloud server 904 may receive the user's information measured not only from the wearable device 900 but also from the user's indoor environment or the sensor 900 around the user. Examples of the user's information that may be collected from the surrounding sensors include movement and facial expression information of the user, which may be collected from a camera, an amount of carbon dioxide in the air collected from a gas sensor, a motion sensor, and the like. Activity information and activity state estimation information, and sound information that may be collected from a sound sensor (microphone) and the like.
  • the cloud server 904 may determine a change in the emotional state of the user based on the user information (922) or may analyze whether the calorific value is calculated by analyzing the activity of the user (924). For example, the cloud server 904 may use gestures related to temperature such as movement of a user collected from a camera (for example, shaking a hand continuously in the direction of a face, putting on or taking off clothes, using a cold zone, etc.). Or the like) or the changing facial expressions can be inferred. In addition, the cloud server 904 may estimate the state change of the user by calculating the amount of heat generated by the user (that is, the amount of heat generated) based on the change in the amount of carbon dioxide in the air collected from the gas sensor.
  • gestures related to temperature such as movement of a user collected from a camera (for example, shaking a hand continuously in the direction of a face, putting on or taking off clothes, using a cold zone, etc.). Or the like) or the changing facial expressions can be inferred.
  • the cloud server 904 may determine the emotion change of the user and calculate the calorific value based on the activity amount information of the user measured from the motion sensor. As another example, the cloud server 904 may determine the user's emotion change based on the size of the user's voice or the height of the voice tone measured from an acoustic sensor.
  • the cloud server may request the user's personal information from another server (external server) 906 (918), and receive the user's personal information from the external server (906) (920).
  • the user's personal information may be collected from the external server 906 may be a disease history, a prescription record, exercise ability measurement information, basic metabolic rate information, biometric information of the user, and the like received from a hospital server.
  • An example of the external server 906 may be an electronic medical record (EMR) server or a personal health record (PHR) server.
  • EMR electronic medical record
  • PHR personal health record
  • EMR electronic medical record
  • Examples of EMR include hospital-related information such as medical records, disease history, and prescription records.
  • Examples of PHR include exercise ability, basic metabolic rate, user biometric information, maximum heart rate, and minimum heart rate. Since the medical records may indicate the current state of the user (coldness, symptoms of fever, decrease in blood flow rate, etc.), the cloud server 904 may be used for generating a control command or calculating a calorific value based on the state information.
  • the disease history may represent a user's past disease history (operation status, lowered immunity, etc.), and the cloud server 904 may be used to generate a control command or calculate a calorific value based on the history information.
  • the prescription record may indicate medication information, etc. prescribed to the user, and the cloud server 904 may adjust the temperature so as to be suitable for drug prescription based on the prescription record (helping the absorption of the drug or adjusting the absorption not too fast). You can generate control commands for the equipment.
  • the exercise ability information may indicate basic metabolic rate, user biometric information, maximum heart rate, minimum heart rate, and the like.
  • the cloud server 604 may calculate the calorific value of the user by using the exercise ability information as a personalization factor in calculating HR max , M 0 , surface area, and the like.
  • the cloud server may calculate the maximum heart rate of the user based on the exercise ability measurement information of the user and use it to calculate the calorific value.
  • the cloud server may be used as basic information to calculate the correct calorific value of the user based on the basic metabolic amount information of the user.
  • the user's body measurement information may be used as an important index for calculating the body surface area in calculating the calorific value of the user.
  • the technique according to the present disclosure can also be used for infant care in the home.
  • FIG 10 illustrates a scenario in which the technique according to the present disclosure is implemented in-house.
  • FIG. 10 (a) assumes a situation in which an infant wearing a smart band or smart clothing (ie, a control device) kicks a blanket during sleep.
  • the control device may measure the calorific value of the infant and control the temperature control of the cooling / heating equipment. If the condition of the infant does not improve within a certain time, the control device may transmit a command to the message server to send a notification message to the guardian of the infant, or may control additional temperature control.
  • FIG. 10 (b) assumes a situation where an infant and an adult are wearing a smart band or smart clothing (ie, a control device). Even when the adult's condition indicates comfort, when the infant's condition is annoying or stressed, the control device measures the calorific value of the infant and controls temperature to the equipment so that the temperature becomes more suitable for the infant. It may be possible to order a message or send a message to the guardian.
  • a control device measures the calorific value of the infant and controls temperature to the equipment so that the temperature becomes more suitable for the infant. It may be possible to order a message or send a message to the guardian.
  • control device 10 (c) assumes a sick situation in which a smart band or smart clothing is worn (ie, a control device).
  • the control device may control the device to transmit a notification message to the guardian without temperature control through the device.
  • the technique according to the present disclosure may be controlled for the purpose of enhancing the user's comfort or preventing the driver's drowsy driving based on the biometric information of the passenger and driver in the vehicle.
  • FIG 11 illustrates a scenario in which the technique according to the present disclosure is implemented in a vehicle.
  • FIG. 11 (a) is a case where it is possible to detect a state for each user through a wearable device or a camera, and it is assumed that a body temperature of one occupant is increased among a plurality of occupants.
  • the control device may sense the current state of the occupants, calculate the calorific value of the occupant indicating the negative state, and control the set temperature, the wind direction, or the wind intensity of the air conditioner in the vehicle.
  • FIG. 11 (b) assumes a case where a user's state can be detected through a wearable device or a camera, and a driver drowsy.
  • the control device senses the driver's current state (sleepiness), calculates the calorific value of the occupant indicating the negative state, and controls the set temperature, the direction of the wind, or the intensity of the wind in the vehicle, and maintains the driver's alert state. For this purpose, a notification message may be output visually and audibly.
  • FIG. 12 illustrates a configuration diagram of a control device (wearable device or smartphone) according to the present disclosure.
  • the control device 1200 includes a sensor unit 1220 for measuring a biosignal, a controller 1201 for controlling a device using the measured biosignal, and a communication unit 1240 for transmitting a control command to the device. can do.
  • the sensor unit 1220 may include at least one sensor.
  • a skin conductivity sensor 1221 for measuring skin conductivity, a gyro sensor 1222 for measuring a change in azimuth of the control device 1200, and an acceleration sensor for measuring acceleration when a movement of the control device 1200 occurs ( 1223), an electromyography (EGE) sensor 1224 that detects movement through muscle response to nerve stimulation, a fingerprint recognition sensor 1225 that recognizes a user's fingerprint, and a heart rate sensor (PPG or ECG) that measures heart rate ) 1226, a skin temperature sensor 1227, or an EEG sensor 1228 that measures brain waves may be included in the sensor unit 1220.
  • EGE electromyography
  • PPG or ECG heart rate sensor
  • the controller 1201 may include at least one of a central processing unit (CPU) 1205, a graphic processing unit (GPU) 1202, a random access memory (RAM) 1203, and a read only memory (ROM). All operations of the control apparatus described in the present disclosure can be understood to be performed by the controller 1201. Although the control unit 1201 and the communication unit 1240 are shown as separate modules for the convenience of understanding, the control unit 1201 and the communication unit 1240 may be implemented as a single device.
  • CPU central processing unit
  • GPU graphic processing unit
  • RAM random access memory
  • ROM read only memory
  • the communication unit 1240 performs a Wi-Fi chip 1241 to perform WiFi communication, a Bluetooth chip 1242 to perform Bluetooth® communication, a wireless communication chip 1243 to perform cellular communication, and near field communication (NFC) communication. It may include at least one of the NFC chip to perform.
  • control device 1201 may include one of a display unit 1230, a memory 1250, a global positioning system (GPS) chip 1260, a microphone 1270, a camera unit 1280, and a speaker unit 1290. It may further include at least one.
  • GPS global positioning system
  • the display unit 1230 may include a display panel 1232 implemented as a light emitting diode (LED) or a liquid crystal display (LCD).
  • the display unit 1230 may output a visual alarm message to a user under the control of the controller 1201.
  • the memory 1250 may store biometric information obtained by the controller 1201, determined state information, calculated calorific value, generated command, and the like.
  • the microphone 1270 may be used to receive sound information, voice information, and the like.
  • the camera unit 1280 may include an infrared camera or a thermal imaging camera.
  • the camera unit 1280 may be used to measure a subject's movement or external heat.
  • the speaker unit 1290 may output an audio alarm message to the user under the control of the controller 1201.
  • FIG. 13 is a diagram illustrating an example of a device configuration when the control device according to the present disclosure is a separate device such as a home gateway or a cloud server.
  • the control device 1300 does not directly measure a biosignal, but may receive a biosignal from a wearable device or a peripheral sensor worn by a user.
  • the controller 1301 may control the device using the received biosignal, and the communication unit 1320 may receive the biosignal and transmit a control command to the device. It can be understood that all operations of the control apparatus described in the present disclosure are performed by the controller 1301. Although the control unit 1301 and the communication unit 1320 are illustrated as separate modules for the convenience of understanding, the control unit 1301 and the communication unit 1320 may be implemented as a single device.
  • the control device 1300 may further include a memory 1310.
  • the memory may store biometric information received from the communication unit 1320, state information determined by the controller 1401, a calorific value calculated, a generated command, and the like.
  • the controller 1301 controls the communication unit 1320 to request transmission of biometric information or user information to a wearable device or a peripheral sensor, and to receive biometric information or user information from the wearable device or a main surface sensor. Can be.
  • the controller 1301 may receive additional information of an individual (eg, a disease history) from an external server.
  • the controller 1301 may use the received information to determine a user's state change, calculate a heat generation amount, or generate a command to control the equipment.
  • the controller 1301 may control the communication unit 1320 to transmit the command to the device.
  • the above-described operations can be realized by providing a memory device storing the corresponding program code to any component in an entity, a function, a server, a wearable device, or a terminal device of the communication system. That is, the controller of an entity, a function, a server, a wearable device, or a terminal device may execute the above-described operations by reading and executing a program code stored in a memory device by a processor or a central processing unit (CPU).
  • CPU central processing unit
  • the various components, modules, etc. of the entities, functions, servers, wearable devices, or terminal devices described herein are based on hardware circuits, for example, complementary metal oxide semiconductors. It may be operated using hardware circuits such as logic circuits, firmware, and software and / or hardware and a combination of firmware and / or software embedded in a machine-readable medium. As an example, various electrical structures and methods may be implemented using transistors, logic gates, and electrical circuits such as application specific semiconductors.

Abstract

본 개시는 센서 네트워크(Sensor Network), 사물 통신(Machine to Machine, M2M), MTC(Machine Type Communication) 및 사물 인터넷(Internet of Things, IoT)을 위한 기술과 관련된 것이다. 본 개시는 상기 기술을 기반으로 하는 지능형 서비스(스마트 홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 헬스 케어, 디지털 교육, 소매업, 보안 및 안전 관련 서비스 등)에 활용될 수 있다. 본 개시는 생체 정보에 기반하여 장비를 제어하는 명령을 생성하는 방법에 있어서, 적어도 하나의 생체 정보를 획득하는 동작; 저장된 생체 정보 및 상기 획득된 생체 정보를 이용하여 발열량을 계산할지를 판단하고, 상기 판단된 결과에 따라서 상기 저장된 생체 정보 및 상기 획득된 생체 정보를 이용하여 상기 발열량을 계산하는 동작; 및 상기 계산된 발열량에 근거하여 상기 장비를 제어하는 명령을 생성하는 동작을 포함하는 방법을 제공한다.

Description

생체 정보에 기반하여 장비를 제어하는 기법
본 개시는 생체 신호를 이용하여 장비를 제어하는 기법에 관한 것으로써, 제어 장치가 생체 신호에 근거하여 외부 장비를 제어하는 방법 및 장치에 관한 것이다.
인터넷은 인간이 정보를 생성하고 소비하는 인간 중심의 연결 망에서, 사물 등 분산된 구성 요소들 간에 정보를 주고 받아 처리하는 사물인터넷 (Internet of Things, IoT) 망으로 진화하고 있다. IoE (Internet of Everything) 기술은 클라우드 서버 등과의 연결을 통한 빅데이터 (Big data) 처리 기술 등이 IoT 기술에 결합된 하나의 예가 될 수 있다.
IoT를 구현하기 위해서, 센싱 기술, 유무선 통신 및 네트워크 인프라, 서비스 인터페이스 기술, 및 보안 기술 등과 같은 기술 요소 들이 요구되어, 최근에는 사물간의 연결을 위한 센서 네트워크 (sensor network), 사물 통신 (Machine to Machine, M2M), MTC (Machine Type Communication) 등의 기술이 연구되고 있다.
IoT 환경에서는 연결된 사물들에서 생성된 데이터를 수집, 분석하여 인간의 삶에 새로운 가치를 창출하는 지능형 IT (Internet Technology) 서비스가 제공될 수 있다. IoT는 기존의 IT 기술과 다양한 산업 간의 융합 및 복합을 통하여 스마트홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 스마트 그리드, 헬스 케어, 스마트 가전, 첨단의료서비스 등의 분야에 응용될 수 있다.
사용자의 상태 정보에 근거하여 자동적으로 에어컨과 같은 전자 장비(electronic equipment)를 제어하는 방법들이 연구되고 있다.
일 예로써, 체감 온도와 같은 사용자의 상태 정보에 근거하여 온도를 자동적으로 제어하는 방법들이 제안되고 있다. 이러한 방법에서, 에어컨과 같은 장비는 사용자의 체감 온도를 측정하고 상기 측정된 체감 온도에 대해 미리 정해진 룰에 따라 온도 조절을 수행하고 있다.
그러나, 체감 온도라는 것은 일종의 공식에 의해 산출되는 하나의 값인데 반하여, 각각의 사람이 느끼는 온도는 서로 다르므로, 모든 사람에게 공통적으로 적용되는 하나의 체감 온도가 존재할 수는 없다. 또한, 동일한 체감 온도라도, 사용자가 처한 상황(피로도, 흥분 상태 등)에 따라서 원하는 온도 변화의 방향(즉, 온도 증가 또는 온도 감소)은 다를 수 있다.
동일한 체감온도에 대해서 미리 정해진 방법으로만 온도 조절을 수행한다면, 사용자가 실제로 원하는 방향으로 온도 조절을 수행하지 못할 수 있다. 즉, 온도에 대한 사용자의 감각은 주관적이며, 같은 물리적 환경에서도 처한 상황 및 생리 상태에 따라서 사용자가 원하는 온도 조절의 방향은 다를 수 있다.
따라서, 동일한 환경에서도 개인마다 다를 수 있는 상태 정보를 외부 장비의 제어에 이용할 수 있는 기법이 요구된다.
본 개시는 사용자의 생체 정보에 근거하여 실제로 장비의 제어가 요구되는 상황인지를 판단하여 상기 장비를 제어할 수 있는 기법을 제공한다.
본 개시는 장비의 제어가 요구되는 상황인 경우에, 사용자가 실제로 원하는 장비의 제어 방향을 적절히 판단할 수 있는 기법을 제공한다.
본 개시는 사용자의 상태 정보를 주기적으로 측정하고 상기 측정된 상태 정보를 장비 제어에 지속적으로 반영하는 기법을 제공한다.
본 개시는 사용자의 생체 신호에 근거하여 발열량의 계산이 필요한 경우인지 여부를 파악하고, 발열량의 계산이 필요한 경우 요구되는 온도 변화의 방향 및 정도를 적절히 결정하여 온도 조절을 수행하는 기법을 제공한다.
본 개시는 물리적 환경 변화, 사용자의 상태 변화 또는 생리 상태 변화 등에 따라서 개인화된 상태를 적절히 판단할 수 있는 기법을 제공한다.
본 개시는 물리적 활동량 위주로 계산되는 통계적 추정 값이 아니라 사용자의 실제 발열량 계측을 통해 사용자가 원하는 온도 변화를 보다 정확히 결정하는 기법을 제공한다.
본 개시는 사용자의 상태 정보를 주기적으로 측정하고 상기 측정된 상태 정보를 온도 변화에 지속적으로 반영하는 기법을 제공한다.
본 개시는 생체 정보에 기반하여 장비를 제어하는 명령을 생성하는 방법에 있어서, 적어도 하나의 생체 정보를 획득하는 동작; 저장된 생체 정보 및 상기 획득된 생체 정보를 이용하여 발열량을 계산할지를 판단하고, 상기 판단된 결과에 따라서 상기 저장된 생체 정보 및 상기 획득된 생체 정보를 이용하여 상기 발열량을 계산하는 동작; 및 상기 계산된 발열량에 근거하여 상기 장비를 제어하는 명령을 생성하는 동작을 포함하는 방법을 제안한다.
본 개시는 생체 정보에 기반하여 외부 장비를 제어하는 명령을 생성하는 장치에 있어서, 적어도 하나의 생체 정보를 획득하는 센서부; 및 저장된 생체 정보 및 상기 획득된 생체 정보를 이용하여 발열량을 계산할지를 판단하고, 상기 저장된 생체 정보 및 상기 획득된 생체 정보를 이용하여 상기 발열량을 계산하고, 상기 계산된 발열량에 근거하여 상기 외부 장비를 제어하는 명령을 생성하는 제어부를 포함하는 장치를 제안한다.
본 개시는 생체 정보에 기반하여 외부 장비를 제어하는 명령을 생성하는 장치에 있어서, 이전의 생체 정보를 저장하는 메모리; 주변 센서로부터 적어도 하나의 생체 정보를 수신하는 통신부; 및 상기 저장된 생체 정보 및 상기 수신된 생체 정보를 이용하여 발열량을 계산할지를 판단하고, 상기 저장된 생체 정보 및 상기 수신된 생체 정보를 이용하여 상기 발열량을 계산하고, 상기 계산된 발열량에 근거하여 상기 외부 장비를 제어하는 명령을 생성하는 제어부를 포함하는 장치를 제안한다.
본 개시에 따르면 사용자 장치는 사용자의 상태를 측정하여 발열량의 계산이 필요한 상황인지를 스스로 판단할 수 있으며, 사용자의 상태에 적합한 상기 외부 장비의 동작을 결정할 수 있다.
본 개시에 따르면 장비를 제어하는 장치는 사용자의 생태 정보로부터 감정의 변화를 감지하고, 감정의 변화를 상기 기기를 제어를 할 것인지 및 어떻게 제어할 것인지 결정하는데 이용할 수 있다.
본 개시에 따르면, 장비를 제어하는 장치는 사용자의 감정 변화를 감지하고 상기 변화의 발생을 통해 발열량 계산 동작을 트리거링할 수 있으며, 사용자의 실제 발열량에 근거하여 정확하고 적절한 온도 조절 방향을 결정할 수 있다.
본 개시는 사용자의 상태 정보를 주기적으로 측정함으로써, 사용자의 감정 변화를 온도 조절 동작에 지속적으로 반영할 수 있고, 개인화된(personalized) 온도 조절 방안을 제공한다.
도 1은 본 개시에 따른 장비 제어 기법이 적용되는 시나리오를 예시하는 도면;
도 2는 본 개시에 따른 제어 장치의 장비 제어 방법을 예시하는 도면;
도 3은 사용자의 감정 상태가 보통인 경우에 측정된 생체 신호를 예시하는 도면;
도 4는 사용자의 감정 상태가 슬픔인 경우에 측정된 생체 신호를 예시하는 도면;
도 5는 사용자의 감정 상태가 공포인 경우에 측정된 생체 신호를 예시하는 도면;
도 6은 사용자의 감정 상태가 행복인 경우에 측정된 생체 신호를 예시하는 도면;
도 7은 감정 상태를 크게 4가지 상태로 구분하여 예시하는 도면;
도 8은 본 개시에 따른 제어 장치가 HR0를 결정하는 방법을 예시하는 도면;
도 9는 본 개시에 따른 제어 장치가 클라우드 서버인 경우의 구체적 제어 방법을 예시하는 절차도;
도 10은 본 개시에 따른 기법이 댁내에서 구현되는 시나리오 예시도;
도 11은 본 개시에 따른 기법이 차량에서 구현되는 시나리오 예시도;
도 12는 본 개시에 따른 제어 장치(웨어러블 디바이스 또는 스마트폰)의 구성도;
도 13은 본 개시에 따른 제어 장치가 홈 게이트웨이 또는 클라우드 서버와 같은 별도 장치일 경우의 장치 구성 예시도이다.
이하, 첨부된 도면들을 참조하여 본 개시의 실시예를 상세하게 설명한다. 하기에서 본 개시를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로써 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 개시의 자세한 설명에 앞서, 본 명세서에서 사용되는 몇 가지 용어들에 대해 해석 가능한 의미의 예를 제시한다. 하지만, 아래 제시하는 해석 예로 한정되는 것은 아님을 주의하여야 한다.
장치(apparatus)는 장비(equipment)를 제어하는 동작을 수행하는 주체이다. 따라서, 상기 장치는 '제어 장치(controlling apparatus)'로 호칭될 수도 있다. 상기 장치는 스스로 사용자의 생체 정보를 측정할 수도 있지만, 웨어러블 디바이스(wearable device)에 의해 측정된 생체 정보를 전달받을 수도 있다. 상기 장치는 상기 생체 정보를 이용하여 상기 장비를 제어하는 명령을 생성하고, 상기 명령을 상기 장비로 전달할 수 있다. 상기 장치는 사용자에 의해 소지되는 단말이나 착용되는 웨어러블 디바이스가 될 수도 있고, 사용자에 의해 접촉되는 자동차의 운전대, 시트, 손잡이, 또는 실내 카메라가 될 수도 있으며, 상기 웨어러블 디바이스와 통신하는 외부 장치(홈 게이트웨이 또는 클라우드 서버와 같은)가 될 수도 있다.
장비(equipment)는 상기 장치에 의해 제어되는 객체이다. 상기 장비는 상기 장치를 포함할 수도 있지만, 상기 장치와 분리된 별도의 장치로써 구현될 수 있으므로 '외부 장비(external equipment)' 또는 '피제어 장치(controlled apparatus)'로 호칭될 수도 있다. 상기 장비는 상기 제어 장치에 의해 제어되는 모든 종류의 장치를 의미한다. 예를 들어, 상기 장비는 공기 온도를 조절하는 에어컨 또는 난방기, 습도를 조절하는 가습기 또는 제습기, 음악을 출력하는 오디오, 자동차(에어컨, 열선, 통풍시트 등을 포함하는), 각종 피트니스(fitness) 장비 또는 사용자에게 메시지를 발송하는 메시지 서버와 같은 장치가 될 수 있다.
생체 정보는 생명체로부터 측정되는 모든 종류의 정보를 의미하며, 특히 본 개시에서 생체 정보는 심박수(heart rate; HR) 관련 정보, 뇌파(electroencephalogram; EEG) 관련 정보, 피부전도도(galvanic skin response; GSR) 관련 정보, 호흡 시간, 또는 피부 온도 등의 정보 중 적어도 하나가 될 수 있다.
본 개시에 따른 기법은 사용자의 생체 정보를 측정하고 상기 측정된 생체 정보에 근거하여 사용자가 발생시킨 열량(즉, 발열량)을 계산할지 여부를 판단하는 동작을 포함하며, 상기 발열량의 계산이 요구되는 경우 발열량을 측정하고 상기 발열량에 기반하여 상기 장비에 의해 수행될 동작을 결정하고, 명령을 생성하는 동작을 포함할 수 있다. 예로써, 상기 발열량을 계산할지 여부의 판단 동작은, 상기 사용자의 감정 변화를 판단하는 동작을 포함할 수 있다.
도 1은 본 개시에 따른 장비 제어 기법이 적용되는 시나리오를 예시하는 도면이다.
암 밴드(arm band)와 같은 웨어러블 디바이스는 사용자 피부에 접촉하는 형태로 착용될 수 있다. 상기 웨어러블 디바이스는 접촉식 센서를 통하여 획득할 수 있는 정보 즉, 심박수(heart rate) 및 피부전도도(GSR; galvanic skin response), 뇌파(EEG), 피부표면 온도, 호흡 시간과 같은 생체 정보를 측정(또는 획득)하고 저장할 수 있다(100). 대안적으로, 카메라, 적외선 카메라, 열화상 카메라와 같은 비접촉식 센서가 생체 정보 획득에 이용될 수도 있다. 예를 들어, 상기 카메라는 사용자의 표정이나 행동을 분석하는데 이용될 수 있고, 상기 적외선 카메라의 경우 사용자의 동공의 움직임 또는 동공의 확장 상태, 눈꺼풀의 개폐 정도를 측정할 수 있고, 상기 열화상 카메라는 상기 사용자의 실 체온을 측정하는데 사용될 수 있다.
상기 웨어러블 디바이스 또는 각종 카메라를 통해 측정되는 생체 정보는 다양한 추가적 정보의 결정에 사용될 수 있다. 예를 들어, 심박수 정보는 사용자의 스트레스 상태, 흥분 상태, 또는 심혈관계 질병 유무의 판단에 이용될 수 있다. 뇌파 정보는 치매와 같은 뇌질환의 판단, 사용자의 집중력 측정 또는 감정의 변화를 결정하는데 사용될 수 있다. 피부 전도도 및 피부 온도는 사용자의 감정 변화, 스트레스 상태, 또는 흥분 상태의 결정에 이용될 수 있다. 호흡 시간 정보는 사용자의 심혈관계 질병 유무 판단, 또는 사용자의 흥분 상태 결정에 이용될 수 있다. 카메라를 통해 획득될 수 있는 사용자의 표정 또는 동공의 움직임에 관한 정보 역시 사용자의 감정 변화나 흥분 상태 판단에 이용될 수 있다.
사용자마다 평상시 생체 정보는 타 사용자의 평상시 생체 정보와 다를 수 있다. 따라서, 생체 정보의 특정 값을 장비 제어의 기준으로 판단하는 것은 서로 다른 생체 정보 특성을 갖는 사용자를 만족시킬 수 없을 것이다. 이에, 본 개시에 따른 기법은 상기 생체 정보의 변화에 근거하여 사용자의 상태 변화(즉, 감정 변화)를 감지하고 상기 상태 변화에 의해 장비 제어 여부를 판단한다.
예를 들어, 상기 장비를 제어하는 제어 장치(예를 들어, 상기 웨어러블 디바이스)는 미리 저장된 생체 정보와 상기 획득한(100 단계에서 측정한) 생체 정보를 이용하여 상기 장비에 대한 제어가 필요한지 판단할 수 있다(110). 구체적으로, 상기 제어 장치는 상기 저장된 생체 정보와 상기 획득한 생체 정보를 이용하여 사용자의 발열량을 계산할지를 판단할 수 있다. 이렇게 함으로써, 상기 제어 장치는 사용자의 현재 상태가 상기 장비의 제어를 필요로 하는 상태(즉, 감정 변화된 상태)에 있는지를 보다 정확하게 판단할 수 있게 된다. 여기서, 상기 저장된 생체 정보는 상기 100 단계 이전에 측정되고 저장된 생체 정보를 의미한다. 상기 제어 장치는, 상기 암 밴드(100 단계의), 헤어 밴드, 스마트글래스와 같은 웨어러블 디바이스, 카메라, 적외선 카메라, 열화상 카메라가 될 수도 있다. 뿐만 아니라, 상기 장치는 상기 사용자가 소지하고 있는 스마트폰이 될 수도 있고, 상기 측정된 생체 정보를 상기 웨어러블 디바이스로부터 전달받는 홈 게이트웨이 또는 클라우드 서버와 같은 별개의 장치가 될 수도 있다.
이때, 상기 제어 장치에서 사용하는 생체 정보는 센서의 접촉 위치 또는 웨어러블 디바이스의 종류에 따라 다를 수 있다. 예를 들어, 암 밴드는 피부 표면온도, 맥파, 심전도, 피부 전도도 등을 사용할 수 있고, 헤어 밴드는 피부 표면온도, 맥파, 심전도, 피부 전도도, 뇌파 등을 사용할 수 있다. 스마트글래스는 피부 표면온도, 맥파, 심전도, 피부 전도도, 뇌파, 동공의 움직임 등을 사용할 수 있다. 스마트폰은, 상기 스마트폰을 통하여 수집된 음성 정보를 사용할 수 있고, 또는 상기 스마트폰에 연결되어 있는 다른 웨어러블 디바이스에서 측정된 생체 정보들을 활용할 수 있다. 이외에도, 스마트 의류 또는 삽입형 장치(예를 들어, 이어폰, 이어셋)와 같은 웨어러블 디바이스를 통해 측정되는 생체 정보가 장비 제어에 이용될 수 있다. 또한 홈 게이트웨이 또는 클라우드 서버와 같은 별개의 장치는, 사용자의 웨어러블 디바이스, 스마트 폰 또는 실내 환경에 설치되어 있는 다른 센서들로부터 측정된 정보 또는 외부에서 측정된(예를 들어 병원에서 측정된) 생체 정보를 활용할 수도 있다. 본 개시에 따른 감정 변화의 결정에 이용되는 장치는 웨어러블 디바이스에 한정되지 않는다. 예를 들어, 제어 장치는 TV(television), 에어컨 등에 구비되는 카메라를 활용하여 사용자의 행동 패턴 및 감정 변화를 추정할 수 있고, 사용자가 TV에서 시청중인 컨텐트 정보 또는 홈씨어터에서 재생하고 있는 음악 정보에 근거하여 사용자의 감정 변화를 추정할 수도 있다.
상기 장비의 제어가 필요하다고 판단된 경우에도, 사용자가 실제로 필요로 하는 장비 제어의 방향을 판단하지 않고 미리 정해진 룰에 따라서 상기 장비를 제어한다면, 진정으로 사용자가 원하는 장비 제어가 수행될 수 없을 것이다. 이에 본 개시에 따른 기법은 상기 생체 정보를 이용하여 상기 장비 제어에 필요한 상태 정보(예를 들어, 발열량 또는 체감온도)를 생성하고, 상기 상태 정보에 따라서 상기 장비를 어떻게 제어할 것인지 결정한다. 예를 들어, 상기 제어 장치가 발열량을 계산할 것으로 판단한 경우, 상기 제어 장치는 상기 미리 저장된 생체 정보와 상기 획득한 생체 정보를 이용하여 사용자에 의해 발생된 열량(M; metabolic 또는 대사량)을 계산하고, 상기 발열량에 근거하여 상기 사용자의 실제 체감 온도를 계산할 수 있다(130). 예를 들어, 상기 체감 온도는 PMV(predicted mean vote; 예상 온열감) 값으로 계산될 수 있다. 상기 PMV는 -3 내지 3의 값을 가질 수 있는데, 상기 PMV가 -0.5 이상 0.5 이하의 값을 가질 때, 상기 사용자는 상기 장비의 조절을 필요로 하지 않는 쾌적한 상태에 있다고 판단될 수 있다.
따라서, 상기 제어 장치는 상기 상태 정보에 근거하여 상기 장비의 동작을 제어하기 위한 명령을 생성하고 전달할 수 있다.
예를 들어, 상기 계산된 PMV가 -0.5 미만이거나 0.5 초과의 값을 가지면 상기 장비의 제어를 위한 명령어를 생성하고 상기 명령어를 상기 장비에게 전달할 수 있다. 예를 들어, 상기 제어 장치는 공기의 온도를 조절하는 에어컨에게 설정 온도를 변경을 지시하는 명령, 또는 바람 세기를 변경하는 명령을 전달할 수 있다(140). 이때, 상기 제어 장치는 다른 여러 요소들(예를 들어, 전력량, 사용자의 수 등)을 고려하여 어떤 제어 명령을 내릴지 결정할 수 있다. 예를 들어, 현재 온도가 외부 온도에 비해 충분히 낮아 설정 온도를 더 낮추기 위해서 소모되는 전력량보다 바람 세기를 강하게 하는데 소모되는 전력량이 적은 경우 바람 세기를 세게 조절 할 수 있다. 또 다른 예로써, 실내에 다수의 사용자가 존재하고 다수의 사용자가 현재 온도에 대해 불만족 상태에 있다고 판단되는 경우, 바람 세기를 조절하는 대신 설정 온도를 조절할 수도 있을 것이다.
다른 예로써, 상기 제어 장치는 상기 사용자의 상태가 쾌적하지 않은 상태에 있다는 알림 메시지를 상기 사용자(예를 들어, 아기 또는 환자) 또는 타 사용자(예를 들어, 보호자)에게 전송하라는 명령을 메시지 서버에게 전달할 수도 있다(142).
다른 예로써, 상기 제어 장치는 오디오와 같은 장비에게 상기 사용자의 상태 변경에 적합한 음악을 재생하라는 명령을 전달할 수도 있다(144).
도 2는 본 개시에 따른 제어 장치의 장비 제어 방법을 예시하는 도면이다.
제어 장치는 사용자의 생체 신호를 측정할 수 있다(200). 선택적으로, 상기 생체 신호의 측정은 상기 제어 장치가 아닌 타 장치에서 수행될 수도 있다. 상기 생체 신호의 예로는 심박수(심장박동수; HR), 맥파전달시간, 피부전도도(GSR), 피부 온도, 호흡 시간, 또는 뇌파(전두엽 뇌파, 두정엽 뇌파) 등이 있다. 이러한 생체 신호의 예, 그리고 생체 신호의 측정 부위, 측정 가능 센서의 예가 아래 표에 예시된다.
Figure PCTKR2016014463-appb-T000001
예를 들어, 생체 신호가 심박수인 경우, 피부 부착형의 ECG(electrocardiograph) 센서 또는 PPG(photoplethysmogram) 센서에 의해서, 심박수 평균, 심박변이도(heart rate variability; HRV), SDNN(standard deviation of the normal to normal interval), RMSSD(square root of the mean squared differences of successive normal to normal intervals), NN50(normal to normal interval 50; 전체 normal to normal interval들 중 연속된 Normal to Normal Interval들의 변이가 50 ms 이상인 간격들의 비), HF (high frequency), 또는 LF (low frequency)와 같은 생체 정보가 측정(획득)될 수 있다. 다른 예로써, 생체 신호가 피부전도도(GSR)인 경우, GSR(galvanic skin response) 센서에 의해 피부전도도 평균 또는 영교차율과 같은 생체 정보가 측정(획득)될 수 있다. 다른 예로써, 생체 신호가 뇌파인 경우, 패치 형태의 EEG(electroencephalogram) 센서에 의해 전두엽 뇌파 또는 두정엽 뇌파가 측정(획득)될 수 있다. 상기 뇌파에는 델타(δ)파, 세타(θ)파, 알파(α)파, 베타(β)파, 또는 감마(γ)파가 있을 수 있다.
상기 제어 장치는 상기 측정된 생체 신호를 분석하여 적어도 하나의 생체 정보(예를 들어, NN50, 피부전도도 평균과 같은)를 획득할 수 있다(205).
상기 제어 장치는 상기 획득된 생체 신호를 이용하여 사용자의 현재 상태가 장비의 제어를 위한 발열량 계산이 필요한 상태인지 판단할 수 있다(210). 예를 들어, 미리 저장된 생체 정보에 의해 지시되는 값 대비 상기 획득된 생체 정보에 의해 지시되는 값의 변화율이 기준 값(임계 값) 이상인 경우, 상기 제어 장치는 발열량을 계산할 것으로 결정할 수 있다. 즉, 본 개시에 따른 기법은 상기 생체 정보의 변화가 사용자의 감정 변화를 높은 정확도로 반영한다는 것을 이용한다.
도 3은 사용자의 감정 상태가 보통인 경우에 측정된 생체 신호를 예시하는 도면이다.
도 3에서 생체신호의 가로 축은 시간을 나타내고, 맥파, 피부온도, 피부 전도도, 뇌파 각각의 세로축은 각각 전압[V], 온도[T; 화씨온도], 전압 [V], 전압[V]을 나타낸다. 상대적으로 보통 상태일 때, 맥파는 간헐적으로 진동하고, 피부 전도도의 진폭은 크지 않음을 알 수 있다.
도 4는 사용자의 감정 상태가 슬픔인 경우에 측정된 생체 신호를 예시하는 도면이다.
도 4에서 생체신호의 가로 축은 시간을 나타내고, 맥파, 피부온도, 피부 전도도, 뇌파 각각의 세로축은 각각 전압[V], 온도[T; 화씨온도], 전압 [V], 전압[V]을 나타낸다. 상대적으로 슬픔 상태일 때, 맥파는 자주 진동하고, 피부 전도도의 진폭은 크지 않음을 알 수 있다.
도 5는 사용자의 감정 상태가 공포인 경우에 측정된 생체 신호를 예시하는 도면이다.
도 5에서 생체신호의 가로 축은 시간을 나타내고, 맥파, 피부온도, 피부 전도도, 뇌파 각각의 세로축은 각각 전압[V], 온도[T; 화씨온도], 전압 [V], 전압[V]을 나타낸다. 상대적으로 공포 상태일 때, 맥파는 간헐적으로 진동하고, 피부 전도도의 진폭은 큼을 알 수 있다.
도 6은 사용자의 감정 상태가 행복인 경우에 측정된 생체 신호를 예시하는 도면이다.
도 6에서 생체신호의 가로 축은 시간을 나타내고, 맥파, 피부온도, 피부 전도도, 뇌파 각각의 세로축은 각각 전압[V], 온도[T; 화씨온도], 전압 [V], 전압[V]을 나타낸다. 상대적으로 행복 상태일 때, 맥파는 크게 진동하고, 피부 전도도의 진폭은 크지 않음을 알 수 있다.
도 3 내지 도 6에서는 각각 4가지 예시적 감정 상태(보통, 슬픔, 공포, 행복)에 대해 각각 맥파(도 3(a), 도 4(a), 도 5(a), 도 6(a))의 파형, 피부온도(도 3(b), 도 4(b), 도 5(b), 도 6(b))의 파형, 피부전도도(도 3(c), 도 4(c), 도 5(c), 도 6(c))의 파형, 뇌파(도 3(d), 도 4(d), 도 5(d), 도 6(d))의 파형을 예시한다. 일반적으로, 자극이 없을 경우 심박은 느려지고 흥분 시 심박수는 증가한다. 또한, 피부전도도는 교감신경계의 활성화 정도를 의미하며, 감성 변화가 클 때 진폭이 증가하며 상기 활성화 정도가 증가한다. 또한, 알파파는 안정 상태에서 증가하고, 베타파는 불안한 상태에서 증가하며, 세타파는 집중 상태에서 증가하고, 감마파는 초조한 상태에서 증가하며, 델타파는 수면 상태에서 증가하는 경향을 갖는다.
도 7은 감정 상태를 크게 4가지 상태로 구분하여 예시하는 도면이다.
도 7에서 우상단에 위치한 1사분면(700)은 높은 각성의 긍정적 감정 상태(예를 들어, 행복한)를 나타낸다. 우하단에 위치한 4사분면(730)은 낮은 각성의 긍정적 감정 상태(예를 들어, 평온한)를 나타낸다. 좌상단에 위치한 2사분면(710)은 높은 각성의 부정적 감정 상태(예를 들어, 두려운)를 나타낸다. 좌하단에 위치한 3사분면(720)은 낮은 각성의 부정적 감정 상태(예를 들어, 슬픈)를 나타낸다. 상기 감정의 상태들은 여러 생체 정보들의 단일 혹은 조합으로 판단이 가능하다. 측정되는 생체 정보의 정확도가 올라가거나, 축적된 생체 정보량이 많아지거나, 조합되는 생체 정보의 종류(개수)가 증가할수록 상기 감정 판단의 정확도를 높일 수 있다.
본 개시에 따른 제어 장치는 감정의 방향성을 결정할 수 있다. 구체적으로, 상기 제어 장치는 상기 감정 상태의 변화 중 긍정적 감정 상태로부터 부정적 감정 상태로의 변화 즉, 상기 도 4의 1사분면 또는 4사분면으로부터 2사분면 또는 3사분면으로의 천이를 장비 제어가 필요한 상태 변화라고 판단할 수 있다. 상기 감정 상태의 변화를 감지하기 위해서, 본 개시는 심박수에 관한 정보와 피부전도도에 관한 정보를 이용하는 방안을 제안한다. 상기 2개의 정보를 이용하는 경우 약 79%의 정확도로 감정 변화를 감지해 낼 수 있다.
표 2는 감정 상태를 지시하는 생체 정보의 변화를 예시하고 있다.
Figure PCTKR2016014463-appb-T000002
상기 표 2를 참조하여, 감정 상태를 판단할 수 있다. 예를 들어, 미리 저장된 심박변이도 대비 현재의 심박변이도의 변화가 20% 이상인 경우, 심박변이도는 불안정하다고 판단될 수 있고, 상기 제어 장치는 상기 심박변이도가 불안정한 경우의 가능한 감정 상태인 두려움 또는 슬픔 상태를 상기 감정 상태로 판단할 수 있다. 다른 예로써, 현재의 NN50 수치가 미리 저장된 NN50 대비 10% 이상 증가한 경우, 상기 NN50은 높다고 판단될 수 있고, 상기 제어 장치는 상기 NN50이 높은 경우의 가능한 감정 상태인 두려움 상태를 상기 감정 상태로 판단할 수 있다. 다른 예로써, 현재의 피부전도도가 미리 저장된 피부전도도 대비 5% 증가한 경우, 상기 피부전도도의 활성화 정도는 '활성'이라고 판단될 수 있고, 상기 제어 장치는 상기 활성화 정도가 '활성'인 경우의 가능한 감정 상태인 행복 또는 두려움 상태를 상기 감정 상태로 판단할 수 있다. 다른 예로써, 상기 제어 장치는 상기 생체 정보들을 모두 종합하여, 현재 감정 상태는 2사분면에 위치하는 두려움(즉, 불쾌) 상태라고 판단할 수 있고, 장비 제어가 필요한 상태라고 판단할 수 있다. 선택적으로, 상기 제어 장치는 상기 생체 정보의 변화율의 크기를 상기 감정 변화의 강도(세기)에 비례한다고 판단할 수도 있다.
상기 210 단계에서 상기 변화율이 상기 기준 값 미만인 경우, 상기 제어 장치는 상기 장비에 대한 제어가 필요한지 판단할 필요가 없다고 결정할 수 있다. 즉, 상기 제어 장치는 사용자의 발열량 계산이 필요하지 않다고 판단할 수 있다. 이때, 상기 제어 장치는 상기 측정된 제어 정보를 저장하고(235), 다음 주기까지 아무런 동작도 수행하지 않을 수 있다.
상기 210 단계에서 상기 변화율이 상기 기준 값 이상인 경우, 상기 제어 장치는 상기 장비에 대한 제어가 필요한지 판단할 필요가 있다고 결정 할 수 있다. 즉, 상기 제어 장치는 사용자의 발열량 계산이 필요하다고 판단할 수 있다. 이 경우, 상기 제어 장치는 상기 측정된 생체 정보 및 미리 저장된 생체 정보를 이용하여 사용자의 실제 발열량(M; metabolic 또는 대사량)을 계산하고(215), 상기 계산된 발열량을 이용하여 상기 사용자의 체감온도를 계산할 수 있다(220). 바람직하게는, 상기 미리 저장된 생체 정보는 사용자의 스트레스가 거의 없는 상태 즉, 기본(base) 상태에서의 생체 정보이다.
상기 생체 정보를 이용하는 실제 발열량의 계산(215)은 다음의 수학식들에 의해 수행될 수 있다.
Figure PCTKR2016014463-appb-M000001
Figure PCTKR2016014463-appb-M000002
Figure PCTKR2016014463-appb-M000003
Figure PCTKR2016014463-appb-M000004
여기서, HR은 현재의 심박수(heart rate)이고, HR-0은 기본(base) 상태에서의 심박수로써 덥지도 춥지도 않은 중립적 열 환경에서의 휴식 시의 심박수이다. 여기서, 기본 상태란 사용자의 움직임이 적고, 스트레스가 없는 안정되어 있는 상태를 말한다. 예를 들어, HR0는 심박변이도 또는 pNN50(= NN50 / 심박수) 과 같은 상태 정보가 일정 값 이하인 상태에서 측정된 심박수 또는 심박수에서 유추 가능한 스트레스 정보 값이 스트레스를 받지 않는 상태를 지시할 때 측정된 심박수로 정의될 수 있다. 상기 pNN50이 낮은 값을 나타낼수록 사용자는 스트레스를 받지 않는 상태에 있다고 판단될 수 있다. HRmax는 사용자가 달리기를 하는 경우와 같이 이론상 최대치의 활동량을 보이는 경우의 최대 심박수이며, 상기 HRmax는 추정치가 이용될 수 있다.
RM은 활동에 따른 심박수의 증가에 대한 비율를 나타내고, M은 발열량(즉, 활동량)을 나타내고, M0는 상기 휴식 상태의 발열량을 나타낸다. 상기 M0 은 기초 대사량으로 치환 될 수 있다. MWC는 최대 작업량을 나타내고, P는 몸무게, A는 나이를 나타낸다.
상기 수학식들을 정리하면 사용자의 실제 발열량 M은 다음 수학식과 같이 현재의 심박수(즉, 생체 정보)와 미리 저장된 심박수의 차이를 이용하여 계산됨을 알 수 있다.
Figure PCTKR2016014463-appb-M000005
상기 발열량을 이용하여 계산될 수 있는 체감 온도(220)는 다양한 종류가 있을 수 있다. 이러한 체감 온도에는 기온과 풍속을 고려하여 계산되는 종래의 체감 온도 외에도, 풍속, 습도, 복사 온도를 함께 고려하는 유효 온도(effective temperature; ET), 습도 및 풍속뿐만 아니라 활동량과 착의량을 고려하여 계산되는 신 유효온도(standard new ET; SET)가 있다. 또한, 습도는 고려하지 않고, 기온, 활동량, 착의량 및 풍속만을 고려하는 작용온도도 체감 온도의 일종이다. 본 개시에 따른 기법은 ISO(International Organization for Standardization]) 7730에 정의되는 바와 같이, 상기 체감온도로써 기온, 기류(대류로 인한), 습도, 복사온도, 활동량 및 착의량을 고려하여 다음의 수학식과 같이 결정되는 PMV(predicted mean vote)를 이용할 수 있다.
Figure PCTKR2016014463-appb-M000006
여기서, W는 외부 일(external work)의 단위로써, 대부분의 활동에서 0으로 설정된다. fcl은 사용자가 나체일 경우 인체 표면적에 대한 상기 사용자의 착의 시 인체 표면적 비율을 나타내고, tair는 공기 온도를 나타내며, Pa는 수증기 분압(단위: 파스칼)을 나타내고, tcl은 의복의 표면온도를, tmrt는 평균 복사온도(mean radiant temperature)을 나타내고, h-c은 대류 열전달 계수를 나타낸다. 상기 착의 시의 인체 표면적 비율 계산을 위한 의복량은 현재 평균 기온 및 계절감에 따른 평균적인 옷차림을 가정하여 결정될 수 있다. 상기 수학식 6에 의해 결정되는 PMV 값은 -3 내지 3의 값을 가질 수 있다.
상기 제어 장치는 상기 계산된 체감온도에 근거하여 상기 장비를 어떻게 제어할 것인지 결정할 수 있다(225). 예를 들어, 상기 체감온도는 PMV 값으로 계산될 수 있으며, 상기 PMV 값이 일정 범위(예를 들어, -0.5 <= PMV <= 0.5)내에 있지 않은 경우에 상기 장비를 제어할 명령을 생성/전달할 수 있고(230), 상기 PMV 값이 상기 일정 범위 내에 있는 경우 상기 장비를 제어할 명령을 생성/전달하지 않을 수 있다. 상기 장비는 예를 들어, 에어컨이 될 수 있는데, 상기 PMV 값이 일정 범위 내에 있지 않으며 상기 PMV 값이 양인 경우, 상기 제어 장치는 상기 에어컨의 설정 온도를 낮추라는 명령을 생성하여 전달할 수 있다. 또한, 상기 PMV 값이 일정 범위 내에 있지 않으며 상기 PMV 값이 음인 경우, 상기 제어 장치는 상기 에어컨의 설정 온도를 높이라는 명령을 생성하여 전달할 수 있다.
표 3은 상기 제어 장치가 PMV 값에 근거하여 온도 조절을 위해 장비를 제어하는 동작을 예시한다.
Figure PCTKR2016014463-appb-T000003
상기 제어 장치는 상기 계산된 PVM 값에 근거하여 PMV가 -0.5 내지 0.5 사이의 값이 되도록 냉방장비, 난방장비, 가습기, 제습기의 동작(기류 온도, 기류 속도, 기류 방향, 습도 증감)을 제어하는 명령을 생성 전달할 수 있다. 예를 들어, 현재 PMV가 0.5 초과인 경우, 상기 제어 장치는 목표 PMV 0.3을 달성하기 위해 에어컨의 설정온도를 낮추거나 바람 세기를 증가시키는 제어 명령을 생성할 수 있다. 다른 예로써, 현재 PMV가 -0.5 미만인 경우, 상기 제어 장치는 목표 PMV -0.3을 달성하기 위해 에어컨의 설정 온도를 높이거나 바람 세기를 감소시키는 제어 명령을 생성할 수도 있다. 즉, 상기 제어 장치는 제어 명령의 종류를 결정하는데 있어서 설정 온도와 바람 세기를 단독으로 또는 조합하여 결정할 수 있다.
상기 제어 장치는 외부의 요인(예를 들어, 냉방 효율, 전력량, 인원 수)을 고려하여 장비의 제어 동작을 결정할 수도 있다. 예를 들어 실외와 실내의 기온차가 일정 값 이상일 경우 설정 온도를 추가적으로 낮추거나 높이는 것은 냉/난방 효율을 떨어뜨린다고 판단하여, 바람 세기를 증가시키는 제어 명령을 생성할 수 있다. 다른 예로, 실내에 다수의 사용자가 존재하고 다수의 사용자의 감정 상태가 불쾌를 나타내는 경우, 상기 제어 장치는 바람 세기를 증가 시키는 것이 아니라, 냉방 효율이 떨어지더라도 설정 온도를 낮추라는 제어 명령을 생성 할 수 있다.
또 다른 일 예로, 외부 기온에 비해 실내 기온이 충분히 낮아서 더 이상 설정 온도를 조절하는 것이 불가능하거나 사용자에게 만족감을 줄 수 없다고 판단되는 경우, 사용자에게 착의 또는 탈의 등을 지시하는 메시지를 전달할 수도 있다.
다른 예로써, 공간에 다수의 사용자가 있을 경우, 상기 제어 장치는 상기 다수 사용자의 감정 변화가 발생하는지 여부를 확인하고, 감정 변화가 발생하는 사용자의 수가 일정 값 이상일 경우에 상기 감정 변화가 발생한 사용자의 발열량 또는 PMV를 고려하여 장비 제어가 필요한지 판단하고, 필요한 경우 상기 장비를 제어하기 위한 명령을 생성할 수도 있다.
다른 예로써, 공간에 다수의 사용자가 있을 경우, 상기 제어 장치는 상기 다수 사용자의 감정 변화가 발생하는지 여부를 확인하고, 소수의 사용자(전체 사용자들 중 일정 비율 이하의 사용자)에만 감정 변화가 발생하는 경우에 상기 감정 변화가 발생한 사용자에게 바람을 보내주도록 바람의 방향을 조절하도록 제어 명령을 생성할 수도 있다.
다른 예로써, 공간에 다수의 사용자가 있을 경우, 상기 제어 장치는 사용자의 웨어러블 디바이스에서 측정한 외부 온도를 이용하여 실내 환경 내의 부분적인 공간에 대한 PMV를 계산할 수 있고, 상기 부분적인 공간이 위치한 방향으로 바람의 방향을 조절하도록 제어 명령을 생성할 수도 있다.
선택적으로, 상기 제어 장치는 상기 210 단계에서의 상태 판단 결과(즉, 상기 변화율)를 저장해 두는 동작을 더 수행할 수 있으며, 다음에(즉, 일정 시간의 경과 후) 장비 제어 동작을 수행할 경우에, 상태 정보의 변화율의 크기를 상기 저장된 변화율과 비교하여 상기 변화율이 더 증가했는지 여부를 장비 제어 동작에 반영할 수 있다.
표 4는 상태 정보에 근거한 사용자의 감정 변화를 피드백 받아서 장비 제어에 이용하는 동작을 예시한다.
Figure PCTKR2016014463-appb-T000004
예를 들어, 피드백에 의해 지시되는 사용자의 감정 변화가 쾌적감 증가를 나타내는 경우(즉, 상태 정보의 방향성 변화 및 변화량 증가) 상기 제어 장치는 현재 계산된 PMV, 측정 온도, 기류 속도 등을 상기 사용자의 선호 값으로 등록하는 동작을 더 수행하고 상기 선호도를 장비 제어에 이용할 수 있다. 다른 예로써, 상기 피드백에 의해 지시되는 사용자의 감정 변화가 불쾌감 증가를 나타내는 경우(즉, 상태 정보의 방향성 유지 및 변화량 증가) 상기 제어 장치는 현재 목표로 설정된 PMV 값보다 ±0.5 높은 PMV값을 가지도록 에어컨을 추가 제어할 수 있을 것이다.
선택적으로, 피드백에 의한 장비 제어가 수행되고 나서 일정 시간 경과 후에 다시 사용자의 감정 변화를 측정(2차 피드백)하고 상기 측정된 감정 변화를 추가적으로 상기 장비 제어에 이용할 수 있다. 이때, 상기 2차 피드백에 의해 지시되는 사용자 감정 변화가 2차 쾌적감 증가를 나타내는 경우에 상기 제어 장치는 보다 적절한 PMV 값을 산출하기 위해 M0 값, HRmax 또는 RM 값을 변경할 수 있다. 예를 들어, 상기 제어 장치가 계산한 PMV가 -0.8이어서 0.3이 되도록 1차 제어를 하고, 이후 수신한 1차 피드백이 불쾌감 증가를 나타내어 +0.5 하여 PMV가 0.8이 되도록 2차 제어를 하고, 이후 수신한 2차 피드백이 쾌적감 증가를 나타내는 경우, 현재 PMV 0.8을 0.3이 되도록 맞추기 위하여 M0 값, HRmax 또는 RM 값을 조정(변경)할 수 있다. 이때, 상기 제어 장치는 상기 M0 값, HRmax 또는 RM 값 중 현재의 값이 보통 사람 기준 (평균 상태 정보에 상응하는)의 값과 가장 적은 차이를 갖는 것을 선택하여 조정(변경)할 수 있다.
또한, 상기 2차 피드백에 의해 지지되는 사용자 감정 변화가 2차적 불쾌감 증가를 나타내는 경우에 상기 제어 장치는 온도 조절이 아닌 외적인 요인으로 인한 불쾌감이 발생하였다고 판단하고 사용자에게 알림(예를 들어, 알림 메시지를 화면에 출력하거나 알람음을 스피커로 출력)을 지시하는 명령을 생성할 수 있다.
상기 제어 장치가 장비 제어에 이용하는 체감온도를 정확히 결정하기 위해서는 사용자의 실제 발열량을 정확하게 결정하는 것이 중요하다. 따라서, 상기 제어 장치가 적절하게 상기 장비를 제어하는 데는, 상기 발열량 결정에 이용되는 기본 활동량에서의 심박수 즉, HR0를 정확히 결정하는 것이 요구된다.
도 8은 본 개시에 따른 제어 장치가 HR0를 결정하는 방법을 예시하는 도면이다.
도 8에 예시된 일련의 동작들은 제어 장치에 의해 일정 주기마다 반복적으로 수행될 수 있다.
상기 제어 장치는 가속도 센서(또는 자이로 센서)를 이용하여 상기 제어 장치의 움직임(즉, 사용자의 움직임)을 감지할 수 있다(800).
상기 제어 장치는 일정 기간 동안 상기 제어 장치의 움직임이 기준 값 이하인지 체크할 수 있다(805). 예를 들어, 상기 제어 장치는 20분간 상기 가속도 센서가 감지한 값이 1G(: 가만히 있는 상태) 이하인지 체크할 수 있다.
일정 기간 동안 상기 제어 장치의 움직임이 기준 값 이하인 경우, 상기 제어 장치는 사용자의 심박수를 측정할 수 있다(810).
상기 제어 장치는 상기 측정한 심박수를 이용하여 HRV 또는 NN50과 같은 생체 정보를 획득하며, 상기 HRV 또는 pNN50이 일정 값 이하인지 체크할 수 있다(815). 상기 HRV 또는 pNN50는 상기 사용자의 스트레스 상태를 지시하는 값으로써 일정 값 이하인 경우 스트레스가 적거나 없는 상태라고 판단될 수 있다. 대안적으로, 상기 제어 장치는 사용자의 심박수 또는 상기 심박수에서 유추 가능한 스트레스 정보 값을 이용하여 스트레스를 받지 않는 상태를 판단할 수도 있다.
상기 제어 장치는 기존의 HR0를 상기 210 단계에서 측정된 심박수와 비교하여 최소 여부를 판단할 수 있다(820).
상기 210 단계에서 측정한 심박수가 최소인 경우, 상기 제어 장치는 상기 측정한 심박수를 HR0 값으로써 저장할 수 있다(825).
도 9는 본 개시에 따른 제어 장치가 클라우드 서버인 경우의 구체적 제어 방법을 예시하는 절차도이다.
클라우드 서버(904)는 사용자에 의해 착용될 수 있는 웨어러블 디바이스(900)에게 생체 정보를 요청하고(910), 상기 웨어러블 디바이스(900)으로부터 생체 정보를 전달받을 수 있다(912).
선택적으로, 상기 클라우드 서버(904)는 생체 정보 뿐만 아니라 다양한 사용자 정보를 요청하고(914) 전달받을(916) 수도 있다. 구체적으로, 상기 클라우드 서버(904)는 웨어러블 디바이스(900) 뿐만 아니라 상기 사용자의 실내 환경 또는 주변의 센서(900)로부터 측정된 사용자의 정보를 전달받을 수도 있다. 상기 주변의 센서로부터 수집될 수 있는 사용자의 정보의 예로는 카메라 등으로부터 수집될 수 있는 사용자의 움직임 및 표정 정보, 가스 센서 등으로부터 수집되는 공기 중 이산화탄소 량, 모션 센서 등으로부터 수집될 수 있는 사용자의 활동량 및 활동 상태 추정 정보, 음향 센서(마이크) 등으로부터 수집될 수 있는 음향 정보 등이 있다.
이때, 상기 클라우드 서버(904)는 상기 사용자 정보에 근거하여 사용자의 감정 상태의 변화를 판단하거나(922), 사용자의 활동량을 분석하여 발열량 계산이 필요한지 여부를 판단할 수 있다(924). 예를 들어, 상기 클라우드 서버(904)는 카메라로부터 수집되는 사용자의 움직임이 온도와 관련된 몸짓(예를 들어, 손을 지속적으로 얼굴방향으로 흔드는 행위, 옷을 입거나 벗는 행위, 방한대 등을 사용하는 행위 등) 또는 변화하는 얼굴 표정으로부터 상기 사용자의 감정 상태를 유추해 낼 수 있다. 또한 상기 클라우드 서버(904)는 상기 가스 센서로부터 수집되는 공기 중 이산화탄소 량의 변화를 바탕으로 상기 사용자가 발생시키는 열량(즉, 발열량)을 계산하여 사용자의 상태 변화를 추정할 수 있다. 다른 예로써, 상기 클라우드 서버(904)는 모션 센서로부터 측정되는 사용자의 활동량 정보에 근거하여 상기 사용자의 감정 변화를 판단하고 발열량을 계산할 수 있다. 다른 예로써, 상기 클라우드 서버(904)는 음향 센서로부터 측정되는 상기 사용자 음성의 크기 또는 음성 톤의 높낮이 등에 근거하여 사용자의 감정 변화를 판단할 수도 있을 것이다.
선택적으로, 상기 클라우드 서버는 다른 서버(외부 서버)(906)에게 상기 사용자의 개인정보를 요청하고(918), 상기 외부 서버(906)로부터 상기 사용자의 개인 정보를 전달받을 수 있다(920). 상기 외부 서버(906)로부터 수집될 수 있는 상기 사용자의 개인 정보의 예로는 병원 서버에서 전달 받은 질병 이력, 처방 기록, 운동 능력 측정 정보, 기초 대사량 정보, 사용자의 생체 측정 정보 등이 될 수 있다.
상기 외부 서버(906)의 예로는, 의료 정보(EMR; electronic medical record) 서버 또는 개인 건강 정보 (PHR; personal health record) 서버가 있을 수 있다. EMR의 예로는 진료기록, 질병 이력, 처방기록 등 병원과 관련된 정보가 있고, PHR의 예로는 운동능력, 기초대사량, 사용자 생체 측정정보, 최대 심박수, 최저 심박수 등이 있다. 진료 기록은 현재 사용자의 몸 상태(감기, 발열 증상, 혈류 속도 저하 등)를 나타낼 수 있으므로, 상기 클라우드 서버(904)는 이러한 상태 정보를 바탕으로 제어 명령 생성 또는 발열량 계산에 활용할 수 있다. 질병 이력은 사용자의 과거 질병 이력(수술여부, 면역력 저하 등)을 나타낼 수 있고, 상기 클라우드 서버(904)는 상기 이력 정보를 바탕으로 제어 명령 생성 또는 발열량 계산에 활용할 수 있다. 처방 기록은 사용자에게 처방된 약물 정보 등을 나타낼 수 있고, 상기 클라우드 서버(904)는 상기 처방 기록을 바탕으로 약물 처방에 알맞은 온도가 되도록(약물의 흡수를 돕거나, 흡수가 너무 빠르지 않도록 조절) 장비의 제어 명령을 생성할 수 있다. 운동능력 정보는, 기초대사량, 사용자 생체 측정정보, 최대 심박수, 최저 심박수 등을 나타낼 수 있다. 상기 클라우드 서버(604)는 HRmax, M0, 표면적 등을 계산하는데 있어서 상기 운동능력 정보를 개인화 요소로써 이용하여, 사용자의 발열량을 계산할 수 있다.
상기 클라우드 서버(904)는 상기 개인 정보를 이용하여 상기 사용자의 상태 변화를 추정하거나(922), 제어 명령을 생성(926)할 수 있다. 예를 들어, 상기 클라우드 서버는 상기 외부 서버로부터 획득한 사용자의 질병 이력을 바탕으로 장비의 제어 명령을 생성할 수 있다. 즉, 상기 클라우드 서버는 사용자가 감기에 걸렸을 경우 쾌적도의 조절 범위를 평상 시 조절 범위보다 따뜻한 범위(예를 들어, -0.2 <= PMV <= 0.8)로 조절이 되도록 설정할 수 있다. 상기 클라우드 서버는 사용자의 처방 기록을 바탕으로 약물의 흡수를 돕기 위하여 쾌적도의 조절 범위를 평상 시 조절 범위보다 따뜻한 범위로 조절이 되도록 설정할 수 있다. 다른 예로, 상기 클라우드 서버는 사용자의 운동 능력 측정 정보를 바탕으로 사용자의 최대 심박수를 계산하여 발열량 계산에 활용할 수 있다. 또한 상기 클라우드 서버는 사용자의 기초 대사량 정보를 바탕으로 사용자의 정확한 발열량을 계산하는데 기본 정보로써 사용할 수 있다. 사용자의 신체 계측 정보는 사용자의 발열량을 계산하는데 있어서 신체 표면적을 구하는 중요한 지표로 활용 될 수 있다.
본 개시에 따른 기법은 가정 내 유아 돌봄시에도 이용될 수 있다.
도 10은 본 개시에 따른 기법이 댁내에서 구현되는 시나리오를 예시하고 있다.
도 10(a)는 스마트 밴드 또는 스마트 의류를 (즉, 제어 장치) 착용중인 유아가 수면 중 이불을 걷어 차는 상황을 가정한다. 상기 유아의 감정이 짜증이나 스트레스 상태로 변경됨이 감지되는 경우, 상기 제어 장치는 상기 유아의 발열량을 측정하고, 냉/난방 장비의 온도 조절을 제어할 수 있다. 일정 시간 내에 상기 유아의 상태가 호전되지 않는 경우, 상기 제어 장치는 상기 유아의 보호자에게 알림 메시지를 발송하도록 메시지 서버에게 명령을 전달할 수도 있고, 추가적인 온도 조절을 제어할 수도 있을 것이다.
도 10(b)는 스마트 밴드 또는 스마트 의류를 (즉, 제어 장치) 착용중인 유아와 어른이 있는 상황을 가정한다. 상기 어른의 상태가 쾌적을 나타내는 경우라고 할지라도, 상기 유아의 상태가 짜증 또는 스트레스 상태인 경우에, 상기 제어 장치는 상기 유아의 발열량을 측정하고, 상기 유아에게 보다 적합한 온도가 되도록 장비에게 온도 제어를 명령하거나 보호자에게 메시지 발송을 명령할 수도 있을 것이다.
도 10(c)는 스마트 밴드 또는 스마트 의류를 (즉, 제어 장치) 착용중인 유가 아픈 상황을 가정한다. 상기 유아의 감정이 짜증이나 스트레스 상태로 변경됨이 반복적으로 감지되는 경우, 상기 제어 장치는 장비를 통해 온도 제어를 하지 않고, 보호자에게 알림 메시지를 전송하도록 장비를 제어할 수도 있을 것이다.
본 개시에 따른 기법은 차량 내 동승자 및 운전자의 생체 정보에 근거하여 사용자의 편의를 증진시키거나 운전자의 졸음 운전을 방지하는 등의 목적을 위해 제어될 수도 있다.
도 11은 본 개시에 따른 기법이 차량에서 구현되는 시나리오를 예시하고 있다.
도 11(a)는 웨어러블 디바이스 또는 카메라를 통한 사용자 별 상태 감지가 가능하고, 다수의 탑승자 중 일 탑승자의 체온이 올라감을 감지하는 경우를 가정한다. 제어 장치는 탑승자들의 현재 상태를 센싱하고, 부정적 상태를 나타내는 탑승자의 발열량을 계산하여 차량 내 에어컨의 설정 온도, 바람의 방향, 또는 바람의 세기를 제어할 수 있을 것이다.
도 11(b)는 웨어러블 디바이스 또는 카메라를 통한 사용자 별 상태 감지가 가능하고, 운전자가 졸음 운전을 하는 경우를 가정한다. 제어 장치는 운전자의 현재 상태(졸림)를 센싱하고, 부정적 상태를 나타내는 탑승자의 발열량을 계산하여 차량 내 에어컨의 설정 온도, 바람의 방향, 또는 바람의 세기를 제어할 수 있고, 운전자의 각성 상태 유지를 위해 알림 메시지를 시각적/청각적으로 출력할 수도 있을 것이다.
도 12는 본 개시에 따른 제어 장치(웨어러블 디바이스 또는 스마트폰)의 구성도를 예시한다.
상기 제어 장치(1200)는 생체 신호를 측정하는 센서부(1220), 상기 측정된 생체 신호를 이용하여 장비를 제어하는 제어부(1201), 및 상기 장비에게 제어 명령을 송신하는 통신부(1240)을 포함할 수 있다. 상기 센서부(1220)는, 적어도 하나의 센서를 포함할 수 있다. 예를 들어, 피부전도도를 측정하는 피부전도 센서(1221), 상기 제어 장치(1200)의 방위 변화를 측정하는 자이로 센서(1222), 상기 제어 장치(1200)의 움직임 발생시 가속도를 측정하는 가속도 센서(1223), 신경 자극에 대한 근육의 반응을 통해서 움직임을 감지하는 근전도(electromyography, EEG) 센서(1224), 사용자의 지문을 인식하는 지문 인식 센서(1225), 심박을 측정하는 심박수 센서(PPG 또는 ECG)(1226), 피부 온도 센서(1227), 또는 뇌파를 측정하는 뇌파 센서(1228)가 상기 센서부(1220)에 포함될 수 있다.
상기 제어부(1201)는 CPU(central processing unit)(1205), GPU(graphic processing unit)(1202), RAM(random access memory)(1203) 및 ROM(read only memory) 중 적어도 하나를 포함할 수 있다. 본 개시에서 설명된 제어 장치의 모든 동작은 상기 제어부(1201)에 의해 수행되는 것으로 이해될 수 있다. 이해의 편의를 위해 상기 제어부(1201)와 상기 통신부(1240)가 별개의 모듈로 도시되었으나, 상기 제어부(1201)와 상기 통신부(1240)는 하나의 장치로 구현될 수도 있다.
상기 통신부(1240)는 WiFi 통신을 수행하는 와이파이 칩(1241), Bluetooth® 통신을 수행하는 블루투스 칩(1242), 셀룰러 통신을 수행하는 무선통신 칩(1243), 및 NFC(near field communication) 통신을 수행하는 NFC 칩 중 적어도 하나를 포함할 수 있다.
선택적으로, 상기 제어 장치(1201)는 디스플레이부(1230), 메모리(1250), GPS(global positioning system) 칩(1260), 마이크로폰(1270), 카메라부(1280), 및 스피커부(1290) 중 적어도 하나를 더 포함할 수 있다.
상기 디스플레이부(1230)은 LED(light emitting diode) 또는 LCD(liquid crystal display) 등으로 구현되는 표시 패널(1232)를 포함할 수 있다. 상기 디스플레이부(1230)는, 상기 제어부(1201)의 제어에 의해 사용자에게 시각적 알람(alarm) 메시지를 출력할 수 있다.
상기 메모리(1250)는 상기 제어부(1201)에 의해 획득되는 생체 정보, 결정되는 상태 정보, 계산되는 발열량, 생성되는 명령 등을 저장할 수 있다.
상기 마이크로 폰(1270)은 음향 정보, 음성 정보 등을 입력받는데 사용될 수 있다.
상기 카메라부(1280)는 적외선 카메라, 또는 열화상 카메라를 포함할 수 있다. 상기 카메라부(1280)는 피사체의 움직임이나 외부 열을 측정하는데 이용될 수 있다.
상기 스피커부(1290)는 상기 제어부(1201)의 제어에 의해 사용자게게 청각적 알람 메시지를 출력할 수 있다.
도 13은 본 개시에 따른 제어 장치가 홈 게이트웨이 또는 클라우드 서버와 같은 별도 장치일 경우의 장치 구성 예시도이다.
상기 제어 장치(1300)는 직접 생체 신호를 측정하지 않으며, 사용자에 의해 착용된 웨어러블 디바이스 또는 주변 센서로부터 생체 신호를 수신할 수 있다. 상기 수신된 생체 신호를 이용하여 장비를 제어하는 제어부(1301), 및 상기 생체 신호를 수신하고 상기 장비에게 제어 명령을 송신하는 통신부(1320)을 포함할 수 있다. 본 개시에서 설명된 제어 장치의 모든 동작은 상기 제어부(1301)에 의해 수행되는 것으로 이해될 수 있다. 이해의 편의를 위해 상기 제어부(1301)와 상기 통신부(1320)가 별개의 모듈로 도시되었으나, 상기 제어부(1301)와 상기 통신부(1320)는 하나의 장치로 구현될 수도 있다.
상기 제어 장치(1300)는 메모리(1310)을 더 포함할 수 있다. 상기 메모리는 상기 통신부(1320)으로부터 수신되는 생체 정보, 상기 제어부(1401)에 의해 결정되는 상태 정보, 계산되는 발열량, 생성되는 명령 등을 저장할 수 있다.
예를 들어, 상기 제어부(1301)은 상기 통신부(1320)를 제어하여 웨어러블 디바이스 또는 주변 센서에 생체 정보 또는 사용자 정보의 전송을 요청하고, 상기 웨어러블 디바이스 또는 주면 센서로부터 생체 정보 또는 사용자 정보를 수신할 수 있다. 상기 제어부(1301)은 외부 서버로부터 개인의 부가적 정보(예를 들어, 질병 이력 등)을 수신할 수도 있다.
상기 제어부(1301) 상기 수신한 정보들을 이용하여 사용자의 상태 변화를 판단하거나, 발열량을 계산하거나, 장비를 제어하기 위한 명령을 생성할 수 있다. 상기 제어부(1301)는 상기 통신부(1320)을 제어하여 상기 명령을 상기 장비에게 전달할 수 있다.
상기 도 1 내지 도 13이 예시하는 시나리오 예시도, 제어 장치의 제어 방법 에시도, 장치 구성도는 본 개시의 권리범위를 한정하기 위한 의도가 없음을 유의하여야 한다. 즉, 상기 도 1 내지 도 13에 기재된 모든 구성부, 또는 동작의 단계가 본 개시의 실시를 위한 필수구성요소인 것으로 해석되어서는 안되며, 일부 구성요소 만을 포함하여도 본 개시의 본질을 해치지 않는 범위 내에서 구현될 수 있다.
앞서 설명한 동작들은 해당 프로그램 코드를 저장한 메모리 장치를 통신 시스템의 엔터티, 기능(Function), 서버, 웨어러블 디바이스 또는 단말 장치 내의 임의의 구성부에 구비함으로써 실현될 수 있다. 즉, 엔터티, 기능(Function), 서버, 웨어러블 디바이스 또는 단말 장치의 제어부는 메모리 장치 내에 저장된 프로그램 코드를 프로세서 혹은 CPU(Central Processing Unit)에 의해 읽어내어 실행함으로써 앞서 설명한 동작들을 실행할 수 있다.
본 명세서에서 설명되는 엔터티, 기능(Function), 서버, 웨어러블 디바이스 또는 단말 장치의 다양한 구성부들과, 모듈(module)등은 하드웨어(hardware) 회로, 일 예로 상보성 금속 산화막 반도체(complementary metal oxide semiconductor) 기반 논리 회로와, 펌웨어(firmware)와, 소프트웨어(software) 및/혹은 하드웨어와 펌웨어 및/혹은 머신 판독 가능 매체에 삽입된 소프트웨어의 조합과 같은 하드웨어 회로를 사용하여 동작될 수도 있다. 일 예로, 다양한 전기 구조 및 방법들은 트랜지스터(transistor)들과, 논리 게이트(logic gate)들과, 주문형 반도체와 같은 전기 회로들을 사용하여 실시될 수 있다.
한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (15)

  1. 생체 정보에 기반하여 장비를 제어하는 명령을 생성하는 방법에 있어서,
    적어도 하나의 생체 정보를 획득하는 동작;
    저장된 생체 정보 및 상기 획득된 생체 정보를 이용하여 발열량을 계산할지를 판단하고, 상기 판단된 결과에 따라서 상기 저장된 생체 정보 및 상기 획득된 생체 정보를 이용하여 상기 발열량을 계산하는 동작; 및
    상기 계산된 발열량에 근거하여 상기 장비를 제어하는 명령을 생성하는 동작을 포함하는 방법.
  2. 제1항에 있어서,
    상기 계산된 발열량에 근거하여 상기 장비를 제어하는 동작은:
    상기 계산된 발열량을 이용하여 사용자의 체감온도를 계산하는 동작; 및
    상기 체감온도에 근거하여 상기 장비를 제어할 명령을 생성하고, 상기 장비에게 상기 생성된 명령을 전달하는 동작을 포함함을 특징으로 하는 방법.
  3. 제2항에 있어서, 상기 체감온도는 PMV(predicted mean vote)이고,
    상기 체감온도에 근거하여 상기 장비를 제어할 명령을 생성하는 동작은:
    상기 PMV가 일정 범위 내에 있지 않은 경우, 상기 장비를 제어할 명령을 생성하는 동작을 포함함을 특징으로 하는 방법.
  4. 제3항에 있어서,
    상기 생체 정보는, 심박수에 관한 정보 및 피부전도도 중 적어도 하나를 포함함을 특징으로 하는 방법.
  5. 제4항에 있어서,
    상기 미리 저장된 생체 정보는, 심박변이도(heart rate variability; HRV) 또는 pNN50이 일정 값 이하일 때 측정된 생체 정보임을 특징으로 하는 방법.
  6. 제3항에 있어서,
    상기 장비는, 공기의 온도를 조절하는 에어컨, 음악을 출력하는 오디오 및 메시지를 전송하는 서버 중 적어도 하나를 포함함을 특징으로 하는 방법.
  7. 제6항에 있어서,
    상기 PMV가 일정 범위 내에 있지 않은 경우, 상기 장비를 제어할 명령을 생성하는 동작은:
    상기 PMV가 양의 값을 가질 경우, 상기 에어컨이 설정 온도를 낮추도록 제어하는 명령을 생성하는 동작; 및
    상기 PMV가 음의 값을 가질 경우, 상기 에어컨이 설정 온도를 높이도록 제어하는 명령을 생성하는 동작을 포함함을 특징으로 하는 방법.
  8. 제1항에 있어서,
    상기 저장된 생체 정보 및 상기 획득된 생체 정보를 이용하여 상기 발열량을 계산할지를 판단하는 동작은:
    상기 저장된 생체 정보에 의해 지시되는 값에 대한 상기 획득된 생체 정보에 의해 지시되는 값의 변화율이 임계 값 이상일 때 상기 발열량을 계산할 것으로 판단하는 동작을 포함함을 특징으로 하는 방법.
  9. 제8항에 있어서, 상기 생체 정보는 심박수에 관한 정보 및 피부전도도 중 적어도 하나를 포함함을 특징으로 하는 방법.
  10. 제9항에 있어서, 상기 심박수에 관한 정보는 NN50(normal to normal interval 50)이고,
    상기 NN50의 변화율이 10% 이상일 때, 상기 발열량을 계산할 것으로 판단됨을 특징으로 하는 방법.
  11. 제1항에 있어서,
    일정 시간 경과 후 새로운 생체 정보를 획득하는 동작; 및
    상기 일정 시간 경과 전 상기 획득된 생체 정보에 의해 지시되는 값 대비 상기 새로운 생체 정보에 의해 지시되는 값의 변화율을 반영하여 상기 장비를 제어하는 명령을 생성하는 동작을 더 포함하는 방법.
  12. 생체 정보에 기반하여 외부 장비를 제어하는 명령을 생성하는 장치에 있어서,
    적어도 하나의 생체 정보를 획득하는 센서부; 및
    저장된 생체 정보 및 상기 획득된 생체 정보를 이용하여 발열량을 계산할지를 판단하고, 상기 저장된 생체 정보 및 상기 획득된 생체 정보를 이용하여 상기 발열량을 계산하고, 상기 계산된 발열량에 근거하여 상기 외부 장비를 제어하는 명령을 생성하는 제어부를 포함하는 장치.
  13. 제12항에 있어서, 제2항 내지 제11항 중 어느 하나의 방법을 수행하도록 구성되는 장치
  14. 제12항에 있어서,
    상기 장치는, 웨어러블 디바이스(wearable device) 및 스마트폰 중 어느 하나임을 특징으로 하는 장치.
  15. 생체 정보에 기반하여 외부 장비를 제어하는 명령을 생성하는 장치에 있어서,
    이전의 생체 정보를 저장하는 메모리;
    주변 센서로부터 적어도 하나의 생체 정보를 수신하는 통신부; 및
    상기 저장된 생체 정보 및 상기 수신된 생체 정보를 이용하여 발열량을 계산할지를 판단하고, 상기 저장된 생체 정보 및 상기 수신된 생체 정보를 이용하여 상기 발열량을 계산하고, 상기 계산된 발열량에 근거하여 상기 외부 장비를 제어하는 명령을 생성하는 제어부를 포함하는 장치.
PCT/KR2016/014463 2015-12-09 2016-12-09 생체 정보에 기반하여 장비를 제어하는 기법 WO2017099527A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018529147A JP7046808B2 (ja) 2015-12-09 2016-12-09 生体情報に基づいて装備を制御する方法及び装置
US15/773,358 US10466726B2 (en) 2015-12-09 2016-12-09 Technique for controlling equipment based on biometric information
EP16873392.1A EP3376343B1 (en) 2015-12-09 2016-12-09 Technique for controlling equipment based on biometric information
CN201680070665.7A CN108292173B (zh) 2015-12-09 2016-12-09 用于基于生物特征信息控制装备的设备及其方法
US16/598,322 US11526183B2 (en) 2015-12-09 2019-10-10 Technique for controlling equipment based on biometric information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150175124A KR102587452B1 (ko) 2015-12-09 2015-12-09 생체 정보에 기반하여 장비를 제어하는 기법
KR10-2015-0175124 2015-12-09

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/773,358 A-371-Of-International US10466726B2 (en) 2015-12-09 2016-12-09 Technique for controlling equipment based on biometric information
US16/598,322 Continuation US11526183B2 (en) 2015-12-09 2019-10-10 Technique for controlling equipment based on biometric information

Publications (1)

Publication Number Publication Date
WO2017099527A1 true WO2017099527A1 (ko) 2017-06-15

Family

ID=59013487

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/014463 WO2017099527A1 (ko) 2015-12-09 2016-12-09 생체 정보에 기반하여 장비를 제어하는 기법

Country Status (6)

Country Link
US (2) US10466726B2 (ko)
EP (1) EP3376343B1 (ko)
JP (1) JP7046808B2 (ko)
KR (1) KR102587452B1 (ko)
CN (1) CN108292173B (ko)
WO (1) WO2017099527A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108668008A (zh) * 2018-03-30 2018-10-16 广东欧珀移动通信有限公司 电子装置、显示参数调整方法及相关产品
WO2019006536A1 (en) 2017-07-05 2019-01-10 Myant Inc. METHOD FOR DETECTING BIOMETRIC DATA AND USE OF SAID METHOD FOR BIDIRECTIONAL COMMUNICATION WITH NETWORKED DEVICES
WO2019215393A1 (en) * 2018-05-11 2019-11-14 Fira Group Oy Control system and method
JPWO2019234899A1 (ja) * 2018-06-07 2020-12-17 三菱電機株式会社 機器制御システム
EP3660413A4 (en) * 2017-07-26 2021-04-07 Daikin Industries, Ltd. CONTROL DEVICE FOR AN ENVIRONMENTAL DEVICE
CN113569739A (zh) * 2021-07-28 2021-10-29 西安建筑科技大学 辅助按需送风空调系统的室内人员信息识别装置及方法
JP2022506837A (ja) * 2018-11-09 2022-01-17 ヴァレオ システム テルミク 自動車乗員室の熱管理システム

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6090382B2 (ja) * 2015-07-31 2017-03-08 ダイキン工業株式会社 空調制御システム
WO2018100829A1 (ja) * 2016-11-29 2018-06-07 ソニー株式会社 情報処理装置および情報処理方法
US10642256B2 (en) * 2017-06-05 2020-05-05 Ford Global Technologies, Llc Method and apparatus for unified personal climate management
US11357998B2 (en) * 2017-09-30 2022-06-14 Sensor Electronic Technology, Inc. Wearable ultraviolet light phototherapy device
JP6705611B2 (ja) 2018-03-09 2020-06-03 三菱電機株式会社 不快状態判定装置
US10492735B2 (en) * 2018-04-27 2019-12-03 Microsoft Technology Licensing, Llc Intelligent warning system
CN112367910A (zh) * 2018-05-22 2021-02-12 迈恩特公司 用于感测和传送生物特征数据及用于与纺织基传感器平台双向通信的方法
JP6784282B2 (ja) * 2018-07-24 2020-11-11 ダイキン工業株式会社 環境設備制御装置および環境設備制御システム
JP6822453B2 (ja) * 2018-09-10 2021-01-27 ダイキン工業株式会社 空調制御装置および空気調和装置
KR101986956B1 (ko) * 2018-10-04 2019-06-07 주식회사 바디프랜드 불안감 및 우울감의 치유를 돕는 멘탈 마사지를 제공하는 방법 및 마사지 장치
JP6667878B1 (ja) * 2018-12-14 2020-03-18 株式会社ポケモン 着ぐるみ演出支援装置、着ぐるみ演出支援システムおよび着ぐるみ演出支援方法
US10987996B2 (en) * 2019-03-08 2021-04-27 Denso International America, Inc. Baby comfort monitoring system and method
JP7434725B2 (ja) * 2019-05-23 2024-02-21 三菱電機株式会社 空調装置
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
CN110470034B (zh) * 2019-08-06 2021-06-29 青岛海尔空调器有限总公司 用于控制空调的方法、可穿戴设备和空调
CN110470033B (zh) * 2019-08-06 2021-07-23 青岛海尔空调器有限总公司 用于控制空调的方法、装置和空调
JP7296626B2 (ja) * 2019-08-26 2023-06-23 株式会社Agama-X 情報処理装置及びプログラム
CN110658869B (zh) * 2019-10-30 2021-01-26 航宇救生装备有限公司 一种基于心率的液冷服液温自动控制方法
JP7445916B2 (ja) 2020-03-31 2024-03-08 Ｗｉｎヒューマン・レコーダー株式会社 生体情報処理システム及び生体情報処理方法
CN111513710A (zh) * 2020-04-13 2020-08-11 上海骏恺环境工程股份有限公司 一种人居环境智能调节方法及系统
DE102020112538A1 (de) * 2020-05-08 2021-12-02 Netzsch - Gerätebau Gesellschaft mit beschränkter Haftung Verfahren und System zur Analyse von biologischem Material sowie Verwendung eines derartigen Systems
WO2022097696A1 (ja) * 2020-11-04 2022-05-12 ダイキン工業株式会社 体温調整機能の評価装置、空気処理装置、及び体温調整機能の評価方法
CN112696806B (zh) * 2020-12-23 2022-06-07 万翼科技有限公司 一种空调运行方法及装置
KR20220169330A (ko) * 2021-06-18 2022-12-27 삼성전자주식회사 웨어러블 장치 및 그 제어 방법
CN113386641B (zh) * 2021-07-07 2022-09-23 芜湖安道拓云鹤汽车座椅有限公司 一种智能温度调节汽车座椅
CN113907462B (zh) * 2021-07-08 2022-09-06 中国地质大学（北京） 液冷服系统人体温感和目标水温的确定方法
CN113819614B (zh) * 2021-09-13 2023-07-18 青岛海尔空调器有限总公司 用于控制空调的方法、装置及空调
WO2023067789A1 (ja) * 2021-10-22 2023-04-27 日本電信電話株式会社 発熱検知装置、発熱検知方法およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020072683A1 (en) * 1995-12-11 2002-06-13 Schroeppel Edward A. Implantable medical device responsive to heart rate variability analysis
US20100016741A1 (en) * 2008-07-21 2010-01-21 John Mix Heart rate monitor
US20140275852A1 (en) * 2012-06-22 2014-09-18 Fitbit, Inc. Wearable heart rate monitor
US20150177748A1 (en) * 2013-12-19 2015-06-25 Chen-Mei LO Control system and method for energy smart fan
WO2015108805A1 (en) * 2014-01-14 2015-07-23 The Gillette Company Heated shaving razors

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07103544A (ja) * 1993-10-07 1995-04-18 Sharp Corp 空気調和機
JP2001505441A (ja) * 1996-12-12 2001-04-24 サルザー インターメディクス インコーポレーテッド 心拍数変動分析に反応する移植可能な医療器具
EP0944411B1 (en) 1996-12-12 2001-04-25 Intermedics Inc. Implantable medical device responsive to heart rate variability analysis
JP2005128976A (ja) * 2003-09-30 2005-05-19 Toshiba Corp 機器制御装置、機器制御システム及び機器制御方法
KR100646868B1 (ko) 2004-12-29 2006-11-23 삼성전자주식회사 피부전도도와 심박 정보를 이용한 홈 제어시스템 및 그 방법
JP2008232467A (ja) * 2007-03-16 2008-10-02 Toshiba Corp 空調制御システム
US20090150178A1 (en) * 2007-12-05 2009-06-11 Rick Douglas Sutton Method And System For Tracking Physical Metrics In A Social Commerce System
JP5349124B2 (ja) * 2009-04-21 2013-11-20 東芝キヤリア株式会社 暑熱検知装置及び空気調和機
KR20120043848A (ko) * 2010-10-27 2012-05-07 재단법인대구경북과학기술원 유비쿼터스 스마트 실내환경 제어방법
JP5574997B2 (ja) * 2011-02-01 2014-08-20 三菱電機株式会社 空調制御システム
JP5531369B2 (ja) * 2011-05-12 2014-06-25 株式会社日立製作所 生体データ処理システム、及び、生体データ処理方法
CN102904593A (zh) * 2011-07-29 2013-01-30 福建物联天下信息科技有限公司 利用内置集成式通讯模组来实现无线通讯的装置
JP6047346B2 (ja) * 2012-09-05 2016-12-21 セイコーエプソン株式会社 生体情報処理システム、ウェアラブル装置、サーバーシステム及びプログラム
US9722811B2 (en) * 2012-09-10 2017-08-01 Samsung Electronics Co., Ltd. System and method of controlling external apparatus connected with device
KR101978743B1 (ko) * 2012-10-19 2019-08-29 삼성전자주식회사 디스플레이 장치, 상기 디스플레이 장치를 제어하는 원격 제어 장치, 디스플레이 장치 제어 방법, 서버 제어 방법 및 원격 제어 장치 제어 방법
KR20140092634A (ko) 2013-01-16 2014-07-24 삼성전자주식회사 전자장치와 그 제어방법
CN108742559B (zh) * 2013-06-03 2022-01-07 飞比特公司 可佩戴心率监视器
US20150156529A1 (en) * 2013-12-04 2015-06-04 United Video Properties, Inc. Systems and methods for selectively transmitting user interaction information based on biometric information
KR102276108B1 (ko) * 2014-05-26 2021-07-12 삼성전자 주식회사 폴더형 표시부를 가지는 전자 장치 및 이의 운영 방법
US20160339300A1 (en) * 2015-05-21 2016-11-24 Ebay Inc. Controlling user devices based on biometric readings
JP6779305B2 (ja) * 2016-11-07 2020-11-04 シャープ株式会社 生体情報測定装置、生体情報測定装置の制御方法、制御装置、および制御プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020072683A1 (en) * 1995-12-11 2002-06-13 Schroeppel Edward A. Implantable medical device responsive to heart rate variability analysis
US20100016741A1 (en) * 2008-07-21 2010-01-21 John Mix Heart rate monitor
US20140275852A1 (en) * 2012-06-22 2014-09-18 Fitbit, Inc. Wearable heart rate monitor
US20150177748A1 (en) * 2013-12-19 2015-06-25 Chen-Mei LO Control system and method for energy smart fan
WO2015108805A1 (en) * 2014-01-14 2015-07-23 The Gillette Company Heated shaving razors

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019006536A1 (en) 2017-07-05 2019-01-10 Myant Inc. METHOD FOR DETECTING BIOMETRIC DATA AND USE OF SAID METHOD FOR BIDIRECTIONAL COMMUNICATION WITH NETWORKED DEVICES
US11962652B2 (en) 2017-07-05 2024-04-16 Myant Inc. Method for sensing of biometric data and use thereof for bidirectional communication with networked devices
CN111183613A (zh) * 2017-07-05 2020-05-19 迈恩特公司 用于感测生物数据的方法及其在与联网设备的双向通信中的用途
JP2020527065A (ja) * 2017-07-05 2020-09-03 マイアント インコーポレイテッドＭｙａｎｔ Ｉｎｃ． 生体データのセンシング方法およびネットワーク装置との双方向通信のためのその使用
EP3665690A4 (en) * 2017-07-05 2020-11-18 Myant Inc. BIOMETRIC DATA DETECTION PROCESS AND USE OF THE SAID PROCESS FOR TWO-WAY COMMUNICATION WITH NETWORKED DEVICES
JP7228560B2 (ja) 2017-07-05 2023-02-24 マイアント インコーポレイテッド 生体データのセンシング方法およびネットワーク装置との双方向通信のためのその使用
EP3660413A4 (en) * 2017-07-26 2021-04-07 Daikin Industries, Ltd. CONTROL DEVICE FOR AN ENVIRONMENTAL DEVICE
CN108668008B (zh) * 2018-03-30 2021-04-16 Oppo广东移动通信有限公司 电子装置、显示参数调整方法和装置及计算机可读存储介质
CN108668008A (zh) * 2018-03-30 2018-10-16 广东欧珀移动通信有限公司 电子装置、显示参数调整方法及相关产品
WO2019215393A1 (en) * 2018-05-11 2019-11-14 Fira Group Oy Control system and method
JP7034278B2 (ja) 2018-06-07 2022-03-11 三菱電機株式会社 機器制御システム
JPWO2019234899A1 (ja) * 2018-06-07 2020-12-17 三菱電機株式会社 機器制御システム
JP2022506837A (ja) * 2018-11-09 2022-01-17 ヴァレオ システム テルミク 自動車乗員室の熱管理システム
CN113569739A (zh) * 2021-07-28 2021-10-29 西安建筑科技大学 辅助按需送风空调系统的室内人员信息识别装置及方法
US20230030722A1 (en) * 2021-07-28 2023-02-02 Tianjin Chengjian University Indoor personnel information identifying apparatus and method for assisting air conditioning system of on-demand air supply
US11796208B2 (en) * 2021-07-28 2023-10-24 Tianjin Chengjian University Indoor personnel information identifying apparatus and method for assisting air conditioning system of on-demand air supply

Also Published As

Publication number Publication date
EP3376343B1 (en) 2020-10-28
CN108292173A (zh) 2018-07-17
KR102587452B1 (ko) 2023-10-11
CN108292173B (zh) 2021-02-26
US11526183B2 (en) 2022-12-13
US20180321700A1 (en) 2018-11-08
EP3376343A1 (en) 2018-09-19
JP2019509452A (ja) 2019-04-04
JP7046808B2 (ja) 2022-04-04
EP3376343A4 (en) 2018-11-21
US20200057460A1 (en) 2020-02-20
KR20170068205A (ko) 2017-06-19
US10466726B2 (en) 2019-11-05

Similar Documents

Publication Publication Date Title
WO2017099527A1 (ko) 생체 정보에 기반하여 장비를 제어하는 기법
US11744497B2 (en) Method for predicting arousal level and arousal level prediction apparatus
KR101687321B1 (ko) 수면 유도 장치 및 이를 포함하는 수면 관리 시스템
JP6739038B2 (ja) 人状態推定方法、及び、人状態推定システム
WO2016036062A1 (en) Method and device for controlling room temperature and humidity
US11412970B2 (en) Method for predicting arousal level and arousal level prediction apparatus
WO2016108582A1 (ko) 스마트 침대 시스템 및 제어 방법
CN105007808B (zh) 访问持续时间控制系统和方法
JP6937480B2 (ja) 覚醒誘導システム
WO2018211962A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2016140408A1 (ko) 수면 유도 장치 및 이를 포함하는 수면 관리 시스템
JP7262002B2 (ja) 覚醒誘導システム
FI128547B (en) Method, mobile device and system for optimizing a wake-up alarm for two or more people
JP2021033677A (ja) 情報処理装置及びプログラム
JP2021043549A (ja) 情報処理装置及びプログラム
KR20120051122A (ko) 유비쿼터스 센서 네트워크에서 수면환경 제공 시스템 및 그 방법
JP2021148361A (ja) 電子機器、スマートフォン、及びシステム
Body Presentation Learning Objectives
JP2022049953A (ja) 被介護者の状態を判断する情報を提供するためにコンピューターで実行される方法、行動検知装置、および、システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16873392

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15773358

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2018529147

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2016873392

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE