KR20150077684A - 생체 신호 기반 기능 운용 방법 및 이를 지원하는 전자 장치 - Google Patents

생체 신호 기반 기능 운용 방법 및 이를 지원하는 전자 장치 Download PDF

Info

Publication number
KR20150077684A
KR20150077684A KR1020130166422A KR20130166422A KR20150077684A KR 20150077684 A KR20150077684 A KR 20150077684A KR 1020130166422 A KR1020130166422 A KR 1020130166422A KR 20130166422 A KR20130166422 A KR 20130166422A KR 20150077684 A KR20150077684 A KR 20150077684A
Authority
KR
South Korea
Prior art keywords
electronic device
sensor
bio
module
information
Prior art date
Application number
KR1020130166422A
Other languages
English (en)
Inventor
김상헌
김민철
위태환
이은영
이해동
한용길
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130166422A priority Critical patent/KR20150077684A/ko
Priority to US14/571,887 priority patent/US20150182160A1/en
Publication of KR20150077684A publication Critical patent/KR20150077684A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1107—Measuring contraction of parts of the body, e.g. organ, muscle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4519—Muscles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0006—ECG or EEG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/03—Detecting, measuring or recording fluid pressure within the body other than blood pressure, e.g. cerebral pressure; Measuring pressure in body tissues or organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4261—Evaluating exocrine secretion production
    • A61B5/4266—Evaluating exocrine secretion production sweat secretion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Abstract

본 발명은 생체 신호 기반 기능에 관한 것으로, 손목에 배치된 제1 전자 장치가 생체 조직의 상태에 따른 생체 신호를 근전도 센서 및 보조 센서를 이용하여 수집하는 과정, 수집된 생체 신호와 관련된 정보를 상기 제1 전자 장치의 제1 표시 모듈에 출력하는 과정을 포함하는 생체 신호 기반 전자 장치의 기능 운용 방법과 이를 지원하는 전자 장치의 구성을 개시할 수 있다. 여기서 본 발명이 상술한 구성에 한정되는 것은 아니며, 발명의 상세한 설명에 기재된 다양한 실시 예들로서 이해되어야 할 것이다.

Description

생체 신호 기반 기능 운용 방법 및 이를 지원하는 전자 장치{Function Operating Method based on Biological Signals and Electronic Device supporting the same}
본 발명의 다양한 실시 예는 생체 신호 기반 전자 장치 운용에 관한 것이다.
종래 전자 장치는 고정된 형태 예컨대 데스크톱 형태로 제작 및 판매되어 왔다. 이러한 전자 장치는 최근 들어 휴대의 필요성이 요구되면서 휴대형 장치로 진화하고 있으며, 더 나아가 신체에 착용하는 형태까지 발전하고 있는 추세이다. 예컨대, 시계형 전자 장치는 착용자의 일정 신체 부위에 착용되어, 착용자가 전자 장치를 이용하기 희망하는 시점에 보다 용이한 제어를 지원하고 있다.
그런, 종래 착용 형태 전자 장치는 단순히 일부 컴퓨팅 기능을 탑재한 형태여서 활용성이 매우 낮은 문제점이 있었다.
본 발명의 다양한 실시 예들은 손목 착용 형태의 전자 장치를 기반으로 착용자의 생체 신호를 수집하여 다양한 전자 장치 기능을 지원할 수 있는 생체 신호 기반 전자 장치의 기능 운용 방법 및 장치를 제공함에 있다.
본 발명의 다양한 실시 예들에 따른 생체 신호 기반 기능 운용 방법은 손목에 배치된 제1 전자 장치가 생체 조직의 상태에 따른 생체 신호를 근전도 센서 및 보조 센서를 이용하여 수집하는 과정, 수집된 생체 신호와 관련된 정보를 상기 제1 전자 장치의 제1 표시 모듈에 출력하는 과정을 포함할 수 있다.
본 발명의 다양한 실시 예들에 따른 전자 장치는 손목에 배치된 근육의 상태를 감지하는 근전도 센서 및 상기 손목에 배치된 생체 조직의 상태에 대한 생체 신호를 센싱하는 보조 센서를 포함하는 제1 센서 모듈, 상기 제1 센서 모듈이 수집한 생체 신호와 관련한 정보를 출력하는 제1 표시 모듈, 상기 제1 센서 모듈의 제어와 상기 정보 출력을 제어하는 제1 장치 제어 모듈을 포함할 수 있다.
본 발명의 다양한 실시 예들에 따른 전자 장치는 손목에 배치된 생체 조직 상태에 대한 생체 신호를 검출하는 근전도 센서 및 보조 센서를 포함하는 제1 센서 모듈이 수집한 생체 신호를 수신하는 제2 통신 모듈, 상기 수신된 생체 신호와 관련한 서비스 정보 출력을 수행하는 제2 표시 모듈, 상기 생체 신호의 수집과 상기 서비스 정보의 출력을 제어하는 제2 장치 제어 모듈을 포함할 수 있다.
본 발명의 다양한 실시 예들에 따른 생체 신호 기반 전자 장치의 기능 운용 방법 및 전자 장치는 손목 착용 형태로 마련되어 생체신호(근전도 신호, 굴근 신호, 신근 신호, 음향 진동 등)를 수집하고, 이를 기반으로 다양한 전자 장치 기능을 지원할 수 있다.
또한, 본 발명의 일실시 예는 생체 신호와 주변 외부 정보를 기반으로 다양한 서비스 정보를 제공할 수 있을 뿐만 아니라, 다양한 전자 장치 기능 운용을 가능하게 할 수 있다.
또한, 본 발명의 일실시 예는 손목 착용 형태의 전자 장치를 기반으로 손가락, 손, 손목 등의 움직임을 파악하여 입력 메뉴 또는 컨트롤 장치로 사용할 수 있다.
또한, 본 발명의 일실시 예는 손목 착용 형태의 전자 장치의 정보 표시, 진동 발생, 전기 자극 제공 등을 통해 사용자에게 특정 상황에 대해 알려줄 수 있다.
또한, 본 발명의 일실시 예는 산소포화도, 맥박, 스트레스 지수 등의 각종 생체 정보를 파악하여 사용자에게 알려주고 U-헬스 시스템을 구축할 수 있다.
도 1은 본 발명의 일실시 예에 따른 생체 신호 기반 기능 지원 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 다양한 실시 예에 따른 생체 신호 기반 기능 운용을 지원하는 제1 전자 장치의 구성을 나타낸 도면이다.
도 3은 본 발명의 일실시 예에 따른 제1 전자 장치 외관을 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일실시 예에 따른 제1 전자 장치의 다른 형태를 개략적으로 나타낸 도면이다.
도 5는 본 발명의 일실시 예에 따른 제2 전자 장치의 구성을 나타낸 도면이다.
도 6은 본 발명의 일실시 예에 따른 제2 장치 제어 모듈 구성을 나타낸 도면이다.
도 7은 본 발명의 일실시 예에 따른 제2 장치 제어 모듈의 기능 운용 계층을 설명하기 위한 도면이다.
도 8은 본 발명의 일실시 예에 따른 온톨로지 모듈을 설명하기 위한 도면이다.
도 9는 본 발명의 일실시 예에 따른 제1 전자 장치와 제2 전자 장치 간 통신 운용을 설명하기 위한 도면이다.
도 10은 본 발명의 일실시 예에 따른 생체 신호 기반 서비스의 일예를 설명하기 위한 도면이다.
도 11은 본 발명의 일실시 예에 따른 생체 신호 기반 장치 운용의 일예를 설명하기 위한 도면이다.
도 12는 본 발명의 일실시 예에 따른 생체 신호 기반 서비스 운용의 일예를 설명하기 위한 도면이다.
도 13은 본 발명의 일실시 예에 따른 생체 신호 기반 서비스 운용 과정에서 제공될 수 있는 화면 인터페이스의 일예를 설명하기 위한 도면이다.
도 14는 본 발명의 일실시 예에 따른 생체 신호 기반 서비스 운용 과정에서 제공될 수 있는 화면 인터페이스의 다른 일예를 설명하기 위한 도면이다.
도 15는 본 발명의 일실시 예에 따른 생체 신호 기반 서비스 운용 과정에서 제공될 수 있는 화면 인터페이스의 또 다른 일예를 설명하기 위한 도면이다.
도 16은 본 발명의 일실시 예에 따른 제1 전자 장치 운용 방법을 설명하기 위한 도면이다.
도 17은 본 발명의 일실시 예에 따른 제2 전자 장치의 운용 방법을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명(present disclosure)를 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
본 발명 가운데 사용될 수 있는“포함한다” 또는 “포함할 수 있다” 등의 표현은 개시된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명에서 “또는” 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, “A 또는 B”는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.
본 발명 가운데 “제 1,”“제2,”“첫째,”또는“둘째,”등의 표현들이 본 발명의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분 짓기 위해 사용될 수 있다. 예를 들어, 제1 사용자 기기와 제 2 사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 발명에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명에 따른 전자 장치는, 통신 기능이 포함된 장치일 수 있다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smartwatch))중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 통신 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 전자 장치는 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛, 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller’s machine) 또는 상점의 POS(point of sales) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 통신 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 본 발명에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 개세에 따른 전자 장치는 플렉서블 장치일 수 있다. 또한, 본 발명에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
이하, 첨부된 도면을 참조하여 다양한 실시 예에 따른 전자 장치에 대해서 살펴본다. 다양한 실시 예에서 이용되는 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
이하 본 발명의 실시 예에 따른 생체 신호 기반 기능 지원 시스템과 방법 및 이를 지원하는 장치는 제1 전자 장치가 생체 신호를 수집할 수 있는 형태 예컨대 손목 착용형으로 마련될 수 있다. 그리고 제1 전자 장치가 제공하는 생체 신호는 독립적으로 또는 주변 다른 전자 장치와 연계하여 다양한 서비스를 제공할 수 있다.
도 1은 본 발명의 일실시 예에 따른 생체 신호 기반 기능 지원 시스템의 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일실시 예에 따른 생체 신호 기반 기능 지원 시스템(10)은 제1 전자 장치(100), 제2 전자 장치(200), 통신망(300), 서버 장치(400)를 포함할 수 있다.
상술한 본 발명의 일실시 예에 따른 생체 신호 기반 기능 지원 시스템(10)은 제1 전자 장치(100)가 손목에 배치할 수 있는 형태로 마련되어, 착용자의 생체 신호를 수집할 수 있다. 수집된 생체 신호는 제1 전자 장치(100)에서 자체 처리되어 특정 기능을 지원할 수 있다. 또한 수집된 생체 신호는 제2 전자 장치(200)에 전달되어 제1 전자 장치(100)와 연계된 제2 전자 장치(200)의 특정 기능을 지원할 수 있다. 또한 본 발명의 일실시 예에 따른 생체 신호 기반 기능 지원 시스템(10)은 통신망(300)을 통해 서버 장치(400)가 제공하는 생체 신호 관련 서비스 정보를 제1 전자 장치(100) 또는 제2 전자 장치(200)에서 처리하여 특정 서비스 기능을 지원할 수 있다.
제1 전자 장치(100)는 근전도 센서 및 보조 센서를 포함하여, 손목에서 검출되는 생체 신호를 보다 명확하게 검출할 수 있다. 특히 근전도 센서 및 광학 센서, 근전도 센서 및 음향 진동 센서, 또는 근전도 센서 및 가속도 센서를 운용하여 근전도 센서만으로 감지하기 어려운 수지신근이나 소지신근의 움직임 정보에 해당하는 생체 신호를 보다 명확히 검출할 수 있다. 이를 통하여 본 발명의 일실시 예에 따른 제1 전자 장치(100)는 보다 세밀하고 명확한 손동작 관련 생체 신호를 수집하고 이를 기반으로 하는 다양한 기능 지원을 수행할 수 있다. 또한 제1 전자 장치(100)는 손목에 착용되는 과정에서 밀착형으로 제작되어 손동작 관련 생체 신호를 보다 명확하고 세밀하고 검출할 수 있도록 지원할 수 있다.
제2 전자 장치(200)는 제1 전자 장치(100)와 통신 채널을 형성하고, 제1 전자 장치(100)가 수집한 생체 신호를 수신할 수 있다. 제2 전자 장치(200)는 수신된 생체 신호에 대응하여 다양한 기능 지원을 수행할 수 있다. 예컨대, 제2 전자 장치(200)는 수신된 생체 신호 관련 앱을 구동하거나, 생체 신호 관련 서비스 정보를 서버 장치(400)로부터 수집할 수 있다. 제2 전자 장치(200)는 표시부 등을 통해 구동된 앱 화면을 출력하거나 또는 생체 신호 관련 서비스 정보를 출력할 수 있다. 제2 전자 장치(200)는 활성화된 앱 화면 정보 및 생체 신호 관련 서비스 정보 중 적어도 하나를 제1 전자 장치(100)에 전송할 수도 있다. 제2 전자 장치(200)는 생체 신호 관련 서비스 정보 수집과 관련하여 통신망(300)을 통해 서버 장치와 통신 채널을 형성하고, 서버 장치(400)로부터 생체 신호 관련 서비스 정보를 수신할 수 있다.
통신망(300)은 제2 전자 장치(200)와 서버 장치(400) 간의 통신 채널을 형성하는 네트워크 요소를 포함할 수 있다. 통신망(300)은 예컨대 이동통신망, 3G 망, 4G 망 등을 구성하는 다양한 네트워크 중 적어도 하나를 포함할 수 있다. 통신망(300)은 제1 전자 장치(100)에 마련되는 통신 모듈의 특성이나 종류에 따라 제1 전자 장치(100)와 제2 전자 장치(200) 간의 통신 채널 또는 제1 전자 장치(100)와 서버 장치(400) 간의 통신 채널을 형성할 수도 있다. 통신망(300)은 서버 장치(400)가 제공하는 생체 신호 관련 서비스 정보를 제1 전자 장치(100) 또는 제2 전자 장치(200)에 전달할 수 있다. 통신망(300)은 제2 전자 장치(200)에 저장된 생체 신호 관련 서비스 정보 또는 제2 전자 장치(200)에서 운용되는 다양한 기능 정보를 제1 전자 장치(100)에 전달할 수도 있다.
서버 장치(400)는 생체 신호와 관련하여 다양한 생체 신호 관련 서비스 정보를 저장할 수 있다. 서버 장치(400)는 통신망(300)을 통하여 제1 전자 장치(100) 또는 제2 전자 장치(200)에 생체 신호 관련 서비스 정보를 제공할 수 있다. 이 과정에서 서버 장치(400)는 제1 전자 장치(100) 또는 제2 전자 장치(200)로부터 제1 전자 장치(100)가 수신하는 생체 신호를 수신하고, 생체 신호와 관련한 서비스 정보를 제공할 수도 있다.
예컨대 서버 장치(400)는 상황인식 기반의 유헬스 환경 서비스 정보를 제공할 수 있다. 이를 통하여 본 발명의 일실시 예에 따른 생체 신호 기반 기능 지원 시스템(10)은 유헬스 환경 정보 서비스(Caueis:Context-aware based U-Health Environment Information Service)를 지원할 수 있다. 유헬스 환경 정보 서비스는 상황 인식을 통해 사전 정의된 서비스 또는 특정 이벤트 정보 발생에 부합하는 서비스를 적용할 수 있다. 예컨대, 유헬스 환경 정보 서비스는 사용자의 상황을 내부 정보나 외부 정보를 통해 분석하고, 사용자가 거주하고 있는 지역 환경과 관련한 생체 신호 관련 서비스 정보를 토대로 특정 처방을 제공할 수 있다. 상기 상황 인식은 제1 전자 장치(100)가 수집하는 생체 신호에 해당하는 내부 정보, 제1 전자 장치(100)의 외부 환경과 관련한 외부 정보, 서버 장치(400) 등에서 제공된 생체 신호 관련 서비스 정보 중 적어도 하나를 기반으로 사전 설계된 추론엔진의 추론과정을 통해 수행될 수 있다. 이 과정에서 생체 신호 기반 기능 지원 시스템(10)은 단순한 처방이 아닌 사용자에 상황에 맞는 환경 정보 서비스를 추론할 수 있다. 이를 통해 생체 신호 기반 기능 지원 시스템(10)은 단순한 건강 상태의 모니터링이 아닌 여러 가지 상황정보를 이용하여 추론된 결과로부터 의미 있는 서비스를 제공할 수 있다. 생체 신호와 관련한 서비스 정보에 대해서는 후술하는 다양한 예시들을 통하여 설명하기로 한다.
도 2는 본 발명의 다양한 실시 예에 따른 생체 신호 기반 기능 운용을 지원하는 제1 전자 장치의 구성을 나타낸 도면이다.
도 2를 참조하면, 본 발명의 제1 전자 장치(100)는 제1 센서 모듈(110), 제2 센서 모듈(120), 제1 표시 모듈(140), 제1 저장 모듈(150), 제1 오디오 모듈(170), 진동 모듈(180), 제1 통신 모듈(190) 및 제1 장치 제어 모듈(160)을 포함할 수 있다.
이러한 구성의 제1 전자 장치(100)는 제1 센서 모듈(110)에 포함된 근전도 센서(112)와 광학 센서(113), 근전도 센서(112)와 홀 센서(114), 근전도 센서(112)와 가속도 센서(116), 근전도 센서(112)와 음향 진동 센서(111)의 조합을 통해 센싱 민감도를 높일 수 있다. 여기서 음향 진동 센서(111), 광학 센서(113), 홀 센서(114), 가속도 센서(116) 중 적어도 하나는 근전도 센서(112)와 함께 생체 신호를 수집하는 보조 센서 역할을 수행할 수 있다.
제1 센서 모듈(110)은 음향 진동 센서(111), 근전도 센서(112), 광학 센서(113), 홀 센서(114), 압력 센서(115) 또는 가속도 센서(116) 중 적어도 하나를 포함할 수 있다. 제1 센서 모듈(110)이 수집한 다양한 센싱 정보는 제1 장치 제어 모듈(160)에 제공될 수 있다.
음향 진동 센서(111)는 피부 표면에서 진동을 측정하기 위한 센서로 피에조 센서 혹은 마이크로폰, 레이저 거리센서, 가속도계, 근육 진동 센서(mechano-myography, MMG) 등을 포함할 수 있다. 근육진동센서는 근육의 활성화 시 나타나는 근섬유들의 부피 변화로 인한 미세진동을 측정하는 방식으로 비침습적으로 측정할 수 있다. 근육 진동 센서는 근육의 피로도 측정, 움직임 의도 파악 등을 위한 신호 수집을 지원할 수 있다. 근육 진동 센서는 작은 크기로 미세 근육까지 측정 가능할 수 있다. 뼈의 밀도나 근육 두께 등의 차이 때문에 생체 부위에 따라 고유한 소리가 날 수 있다. 근육 진동 센서는 소리들의 차이를 인식하여 예컨대 손가락이 동작하는 위치를 감지할 수 있다. 이러한 근육 진동 센서는 위치에 따른 기계적 진동분석에 의해 반응을 결정할 수 있다. 일실시 예에 따르면, 손가락 등이 특정 물체에 터치를 할 때 인체 내에 미세한 음향 신호가 발생하게 된다. 이 신호는 피부표면과 팔 근육과 뼈를 통해 퍼져 나간 후 부드러운 근육조직과 딱딱한 관절을 지나면서 파장이 각각 달라진다. 근육 진동 센서는 골밀도와 근육질량 등의 차이를 계산해 역추적하여 음향이 처음 발생한 지점을 검출할 수 있다.
일실시 예에 따르면, 근수축과 함께 활동근의 체표면에는 미세한 진동이 발생한다. 진동은 수축근의 근섬유가 측방으로 확대, 변형함으로 발생하는 압력파에 기인할 수 있다. 근육 진동 센서는 미세한 저 주파 대역(100Hz 미만)의 진동을 기록, 분석함으로써 근활동을 평가할 수 있다. 근전도(Electromyogram: EMG) 센서는 활동근의 전기적 상태를 반영하나, 근육 진동 센서는 활동근의 기계적 상태를 반영할 수 있다. 근육 진동 센서는 근섬유의 기계적 수축과 관련하여 생체 신호를 검출하기 때문에 운동 단위 동원(motor unit recruitment) 및 발사 빈도(firing rate)등의 근활동 전략에 관한 기계적 측면의 판단을 지원할 수 있다.
다양한 실시 예에 따르면, 음향 진동 센서(111)는 인체의 체표면상에서 기록되는 진동으로 진전(tremor)을 검출하는 센서를 포함할 수 있다. 진전은 유의적 근활동의 유무에 따라 rest tremor와 action tremor로 구분할 수 있다. 근육 진동과 유사하게 근수축시에 발생하는 진전으로 등척성 진전(forcetremor: FT)이 있으며, 신체의 관성, 신장반사 등과 관련된 3~6Hz와 중추에서 운동 뉴런에의 율동적 입력과 관련된 8~12Hz의 주파수 영역에서 동시에 나타날 수 있다. 따라서, 음향 진동 센서(111)가 센싱하는 신호는 근섬유의 측방 변화에 따른 저주파 진동을 측정하는 MMG파형에 FT파형이 혼입될 수 있다. 등척성 진전 파형은 일종의 생리학적 artifact로서, 근육의 길항작용에 있어 주동근(agonist)보다 길항근(antagonist) 쪽 움직임과 관련한 센싱 신호 검출을 지원한다. 근조직의 진동 특성에 대해 근활동이 증가하면 연조직(soft tissue)의 감쇠계수가 증가하며 공진을 감쇠시킨다. 따라서 활동량이 큰 주동근보다 활동량이 작은 길항근에서 등척성 진전의 영향이 크게 나타날 수 있다.
음향 진동 센서(111)는 콘덴서 마이크로폰(MIC), 가속도 센서(ACC) 등을 더 포함할 수 있다. 콘덴서 마이크로폰은 공기실(air chamber)을 센서에 부착하여 체표면 진동으로 인한 공기실의 공기압 변화를 측정한다. 가속도 센서(116)가 콘덴서 마이크로폰보다 등척성 진전의 영향을 크게 받을 수 있다.피로성 근수축시, 길항근과 주동근을 비교함으로써, 음향 진동 센서(111)는 콘덴서 마이크로폰(MIC)과 가속도 센서(ACC)로 측정한 MMG(각각 MMG MIC, MMG ACC)에 대한 등척성 진전의 영향을 비교하여 피로도 등의 값을 구할 수 있도록 지원한다.
근전도 센서(112)는 증폭기 및 각종 필터와 측정부를 통합한 형태로써, 평행으로 부착된 두 개의 은 전극을 사용하여 표면 근전도를 유도한다. 은 전극은 순도가 높은 예컨대, 99.9%의 순은으로써 피부 표면의 이온 흐름을 최대로 하게 되며, 부착 전 피부에 특별한 처리를 가하지 않아도 정상적인 측정을 가능하게 한다.
근전도 센서(112)는 요골 동맥과, 척골 동맥 주변의 근전도 측정을 수행할 수 있다. 근전도 센서(112)는 전완(foream)신근부로부터 근전도를 획득할 수 있다. 전완신근부의 근전도 센싱을 위하여 근전도 센서(112)의 부착 위치를 손가락 운동에 관여하는 전완신근의 수지신근과 소지신근 사이에 부착하고, 손가락의 움직임에 관여된 신호를 측정할 수 있다. 근전도 센서(112)는 손목의 엄지방향의 굴절이나 소지방향의 굴절에 대한 근전도 측정이 가능하다.
근전도 센서(112)는 근육경도센서(muscle stiffness sensor)를 포함할 수 있다. 근전도 센서(112)는 재활 보조용 외골격 장치 및 근력강화 훈련장치에 적용하기 위한 근육의 활성화도를 측정할 수 있다. 근육경도센서는 다중 압력 센서를 포함하여 근육의 활성화됨에 따라 변화하는 근육의 경도를 측정할 수 있다. 근육 경도 센서는 원형 디스크(disk)와 팁(tip)을 포함할 수 있다. 근육경도센서는 측정 위치에 고정 부재 예컨대 벨트(belt) 등을 이용하여 고정시켜 생체 신호를 측정할 수 있다. 근육경도센서의 팁(tip) 부분을 통하여 측정하는 근육의 압력(FB)과, 디스크(disk) 부분과 접촉되는 주변 근육의 압력(FD) 및 고정 벨트로 가해지는 압력의 차이를 이용하여 제1 장치 제어 모듈(160)은 근육의 경도를 추정할 수 있다. 상기 근육 경도 센서는 측정법이 상대적으로 간단하고, 피부와 직접 접촉할 필요가 없어서 의복이나 기타 착용 부재 위에서도 착용이 가능할 수 있다.
근전도 센서(112)는 근섬유팽창센서(muscle fiber expansion sensor)를 포함할 수 있다. 근섬유팽창센서는 환자 및 노인들의 거동을 돕는 보행보조 외골격 장치(Exoskeleton for patients, EXPOS)를 구동하기 위한 센서일 수 있다. 근섬유팽창센서는 관절의 토크를 계산하는 방식으로 관절이 움직일 시 변화되는 근육의 수축 팽창 현상을 측정하기 위하여 공압센서를 포함할 수 있다. 근섬유팽창센서의 경우 근육경도센서와 마찬가지로 간단한 측정 방식과 의복 위 착용 가능할 수 있다.
광학 센서(113)는 광학적으로 근육 활성화도를 측정한다. 비침습적으로 피부에서 빛을 발광하였을 때, 피부, 피하지방, 근육 등의 피부 조직에서 일부는 투과되고, 일부는 반사하게 된다. 근육을 제외한 피부조직들은 인체 움직임에 따라 광학적 특성이 변하지 않으나, 근육에서의 광학 특성은 위에서 나타낸 원리에 따라서 변하게 되므로, 그 반사된 빛의 양을 이용하여 근육의 활성화 정도를 측정할 수 있다. 이를 보다 상세히 설명하기 위하여 근육의 활성화 과정을 살펴보면, 움직임 관련 정보를 담은 신경신호가 뇌로부터 중추 신경계를 통하여 각 지역으로 뻗어있는 움직임 관련 근육으로 전달되어 자극된다. 자극으로 활성화된 근육은 근섬유 내부에 있는 I-band를 구성하는 actin과 A-band를 구성하는 myosin이 서로 잡아당겨서 근육이 수축하게 되어 전체 근섬유 다발은 짧아지며, 두꺼워지게 된다. 이에 따라서 근섬유의 밀집으로 근육은 더 밀도 있게 되고, 경도가 강해진다. 이러한 형상은 광학적 특성 변화도 동시에 가져오게 되며, 근육의 밀도차이에 의하여, 빛의 반사 및 투과율이 변하게 된다. 또한, 피부 표면에서 발광된 빛은 각 표피, 근육, 혈관 및 뼈 등의 광학적 특성에 따라 일부는 투과되고 흡수되기도 하며, 일부는 각 매질에서 반사하게 된다. 이 중에 각 매질에서 반사된 빛이 발광부 바로 옆에 붙어있는 수광부를 통하여 획득하게 된다. 이때 표피나 뼈와 같은 조직에서는 인체의 움직임에도 광학적 특성이 변하지 않으며, 혈관 조직의 경우 심장 박동에 따라 작은 교류신호를 발생하게 된다. 하지만 위에 언급한 바와 같이 근육조직에서는 움직임으로 인한 밀도변화와 근육의 두께 변화로 인하여 광학적 특성인 반사율이 변하게 되어 수광부에서 얻어지는 빛의 양이 변하게 된다. 이러한 변화로 광학 센서(113)는 근육이 수축하면 센싱하는 신호의 크기 값이 증가하며, 반대로 이완 시에는 센싱하는 신호의 크기 값이 감소하게 된다.
상술한 광학 센서(113)는 근육 움직임, 뼈 움직임, 헤모글로빈 광 투과 또는 반사 등의 특성을 이용하여 센싱 값을 검출한다. 광학 센서(113)는 손가락 힘줄 변화(Finger Flexor Tendons)를 이용한 finger motion을 인식할 수 있도록 지원할 수 있다.
압력 센서(115)는 손목 착용형태의 제1 전자 장치(100) 배치에 따라 압력 변화를 검출하는 센서이다. 검지, 중지, 약지, 소지가 포함되도록 장치를 끼우고 손가락을 움직일 경우, Extensor digitorum, Extensor Digiti minimi 근을 측정하여 동작 인식을 지원할 수 있다. 압력 센서(115)는 엄지의 동작에 대한 센싱을 위하여 별도로 배치되는 센서를 포함할 수 있다.
압력 센서(115)는 손목 근육(손등측: extensor, 손바닥측: flexor)에 대하여 신근(extension) 및 굴근(flextion)의 변화를 감지한다. 손목, 엄지, 소지, 손가락 등의 근육 변화 감지를 위하여 압력 센서(115)는 천지굴근, 심지굴근, 지신근, 시지신근, 소지신근, 장모지굴근, 장모지외전근, 긴엄지평근, 짧은 엄지편근 등에 대한 압력 변화를 감지할 수 있다. 광학 센서(113) 또한 손목이나 손가락 등의 근육 변화 감지를 위하여 위에서 언급한 근육들에 대한 센싱을 수행할 수 있다.
광학 센서(113)는 맥박 센서를 포함할 수 있다. 맥박 센서는 고휘도 LED로 구성될 수 있다. 맥박 센서는 맥박 측정 및 산소포화도 측정을 지원한다. 맥박 센서는 펄스옥시미터(pulse oximeter )센서를 포함한다. 펄스옥시미터 센서는 말초혈류량(Photoelectric lethysmography : PPG)을 이용하여 맥박과 산소포화도 측정을 지원한다. 맥박 센서는 반도체 소자에서 두 개의 다른 파장의 빛을 손끝에 대어서 혈액의 산소 포화도를 비혈관적으로 측정할 수 있도록 지원한다. 혈액 속의 산화 헤모글로빈(oxidised haemoglobin : HbO2)과 헤모글로빈(reduced haemoglobin(Hb))은 500nm에서 1000nm사이의 파장을 가지는 빛을 쏘았을 때 각기 다른 스펙트럼 특징을 가진다. -HbO2와 Hb는 빛의 흡수율에서 다른 양상을 보이며 동맥을 통해 손가락으로 유입되는 혈액량은 심장박동과 함께 변한다. 맥박 센서의 수광부에 배치된 포토다이오드는 혈액량에 비례한 혈액 속의 Hbo2와 Hb의 양에 따라 입사 과정에서 달라지는 빛의 량에 비례하여 변화된 출력 전압을 측정함으로써 맥박을 추정할 수 있도록 지원한다. 또한 맥박 센서는 빛의 량의 변화에 대응하여 산소포화도(SaO2 or SpO2)를 구할 수 있도록 지원한다.
홀 센서(114)는 혈압 및 맥박 측정을 지원할 수 있다. 홀 센서(114)는 손목의 요골 돌출부 또는 척골돌출부(손목 아래쪽에 툭 튀어나온 뼈)에 배치되어 요골동맥의 맥진파를 측정할 수 있다. 홀(Hall) 센서(114)는 인듐안티모나이드(InSb), 인듐아세나이드(InAs), 게르마늄(Ge), 실리콘(Si) 등으로 구성된 반도체를 포함할 수 있다. 홀 센서(114)는 자기장에 의한 홀 기전력을 이용하여 자기장의 세기를 측정할 수 있기 때문에, 자기장이나 미소 부분의 자기장을 측정할 수 있으며 자기장의 변화가 위치 등에 기인할 때 이들 위치의 측정이 가능하다. 홀 센서(114)는 자성 홀소자를 이용하여 요골 동맥에 놓여 있는 영구자석의 위치 변화에 따른 전압의 변화를 전기적 신호로 얻을 수 있다. 전기적 신호는 맥의 파형 신호를 의미하는데 이 신호는 다시 회로의 하드웨어를 통해 신호들을 미분하여 자기장 변화에 따른 신호만 얻을 수 있다.
한편, 혈압을 조절하는 감각신경계 중 하나인 대동맥소체에 위치한 화학수용체가 CO2 증가와 O2 감소를 감지하고 원활한 산소 공급을 위해 혈액량이 증가하게 되면서 혈압이 상승한다. 혈액 공급량을 증가시키기 위해 심박수가 증가하고 이에 따라 맥박수도 증가하여 혈압이 상승하게 된다. 홀 센서(114)는 심장에서 나가는 요골 동맥의 주맥파와 복대 동맥에서 요골동맥으로 반사되는 반사파의 이격 시간차가 발생(고혈압의 경우 같이 합쳐지는 형상을 보임)하는 특성을 이용하여 맥진파의 형태에 의한 구분을 수행할 수 있도록 지원한다. 또한 상술한 특성을 통해 개인의 혈관특성을 알 수 있으며 개괄적인 혈압의 특성을 알 수 있도록 지원한다.
가속도 센서(116)는3축 선형 가속도 센서(중력 제거)를 포함할 수 있다. 가속도 센서(116)는 손목 비틀기, 손동작 등에 대한 동작 측정을 지원한다. 가속도계는 정해진 방향의 가속도를 측정하는 센서로서, 사용자가 디바이스를 움직이는 동작에 따라 해당 가속도 정보를 획득할 수 있다. 특히 3축 가속도 센서는(MEMS-Micro-Electro-Mechanical Systems)칩의 형태로 모바일 기기에 탑재되어 사용자의 제스처나 동작을 인식하는데 사용될 수 있다. 가속도 센서(116)의 센싱 정보는 연속해서 입력이 들어오기 때문에 세그먼테이션 필요할 수 있다. 이를 위하여 가속도 센서(116)의 세그먼테이션 방법으로 슬라이딩 윈도우 (Sliding window) 방법이 이용될 수 있다. 각 윈도우로부터 가속도 평균, 절대평균, 표준편차, 에저지, 공분산, 인접한 점간의 가속도 변화량, 윈도우 시작과 끝점에서의 가속도방향 차이를 계산하여 21개의 특징(3축x7종류) 을 추출한다.
제2 센서 모듈(120)은 미각 센서(121) 또는 후각 센서(123) 중 적어도 하나를 포함할 수 있다. 미각 센서(121)는 제1 전자 장치(100)는 착용자의 손목에 배치된 후, 손목 등에서 발생한 땀 등을 감지할 수 있다. 후각 센서(123)는 공기 중의 특정 가스를 감지하여 정량화 할 수 있다. 제2 센서 모듈(120)이 수집한 센싱 정보는 제1 장치 제어 모듈(160)에 제공될 수 있다.
제1 표시 모듈(140)은 제1 전자 장치(100)와 관련한 다양한 화면을 표시할 수 있다. 예컨대, 제1 표시 모듈(140)은 제1 전자 장치(100)의 대기 화면, 특정 기능 화면 등을 출력할 수 있다. 일실시 예에 따르면, 제1 표시 모듈(140)은 제1 센서 모듈(110) 및 제2 센서 모듈(120) 중 적어도 하나의 센서 활성화에 대응하는 화면을 출력할 수 있다. 제1 표시 모듈(140)은 수집된 센싱 정보와 관련한 다양한 정보를 출력할 수 있다. 제1 표시 모듈(140)은 제2 전자 장치(200)와의 연결 상태, 제2 전자 장치(200)가 제공하는 다양한 정보를 출력할 수 있다. 또한, 제1 표시 모듈(140)은 제2 전자 장치(200)를 통해 서버 장치(400)가 제공한 생체 신호 관련 서비스 정보를 출력할 수 있다.
제1 저장 모듈(150)은 제1 전자 장치(100) 운용에 필요한 데이터를 저장할 수 있다. 예컨대, 제1 저장 모듈(150)은 제1 전자 장치(100)의 운영체제를 포함할 수 있다. 또한, 제1 저장 모듈(150)은 제1 센서 모듈(110) 및 제2 센서 모듈(120)에 포함된 적어도 하나의 센서 운용을 위한 센서 운용 프로그램을 저장할 수 있다. 제1 저장 모듈(150)은 제1 센서 모듈(110) 및 제2 센서 모듈(120)이 수집하는 다양한 센싱 정보 처리와 관련한 프로그램을 저장할 수 있다. 일실시 예에 따르면, 제1 저장 모듈(150)은 근전도 센서(112), 음향 진동 센서(111), 광학 센서(113), 압력 센서(115), 홀 센서(114), 가속도 센서(116) 등을 운용하기 위한 프로그램을 저장할 수 있다. 또한 제1 저장 모듈(150)은 근전도 센싱 정보, 음향 진동 센싱 정보, 광학 센싱 정보, 압력 센싱 정보, 가속도 센싱 정보 등을 복합적으로 운용하여 생체 신호의 정밀성을 개선하기 위한 프로그램을 저장할 수 있다.
제1 오디오 모듈(170)은 제1 전자 장치(100)를 통해 출력되는 오디오 신호의 처리 기능, 오디오 신호의 수집 기능 중 적어도 하나를 지원할 수 있다. 예컨대, 제1 오디오 모듈(170)은 제1 센서 모듈(110) 및 제2 센서 모듈(120)에 포함된 적어도 하나의 센서 활성화와 관련된 오디오 신호, 센서 활성화에 따라 수집된 생체 신호를 안내하는 정보, 생체 신호와 관련된 서비스 정보를 안내하는 정보 등을 출력할 수 있다.
진동 모듈(180)은 제1 전자 장치(100)의 정보 출력의 수단일 수 있다. 예컨대, 진동 모듈(180)은 제1 센서 모듈(110) 및 제2 센서 모듈(120) 중 적어도 하나의 센서 활성화에 대응하는 진동 패턴, 생체 신호 수집과 관련한 진동 패턴, 생체 신호 관련 서비스 정보 출력과 관련한 진동 패턴 등을 출력할 수 있다. 일실시 예에 따르면, 진동 모듈(180)은 음향 진동 센서(111)나 근전도 센서(112)에 의해 생체 신호를 수집하는 과정에서 사전 정의된 일정 패턴의 진동 패턴을 구현할 수 있다. 일실시 예에 따르면, 진동 모듈(180)은 제2 전자 장치(200) 등으로부터 생체 신호 관련 서비스 정보를 수신하는 경우 이를 안내하는 진동 패턴을 출력할 수 있다.
제1 통신 모듈(190)은 제1 전자 장치(100)의 통신 기능을 지원할 수 있다. 제1 통신 모듈(190)은 예컨대, 제2 전자 장치(200)와 통신 채널을 형성할 수 있다. 또는 제1 통신 모듈(190)은 서버 장치(400)와 통신 채널을 형성할 수도 있다. 이 과정에서 제1 통신 모듈(190)은 통신망(300)과 접속할 수 있는 통신 인터페이스를 포함할 수 있다. 제1 통신 모듈(190)은 수집된 생체 신호를 제2 전자 장치(200)에 전달할 수 있다. 제1 통신 모듈(190)은 제2 전자 장치(200)로부터 생체 신호 관련 서비스 정보를 수신할 수 있다.
제1 장치 제어 모듈(160)은 제1 전자 장치(100) 운용과 관련한 다양한 신호의 처리와 전달, 데이터의 전달과 처리를 수행할 수 있다. 예컨대, 제1 장치 제어 모듈(160)은 제1 센서 모듈(110) 및 제2 센서 모듈(120) 중 적어도 하나의 운용을 제어할 수 있다. 제1 장치 제어 모듈(160)은 적어도 하나의 센서 활성화와 관련된 아이콘이나 메뉴 항목의 출력 또는 적어도 하나의 센서를 기반으로 하는 기능 활성화와 관련된 아이콘이나 메뉴 항목의 출력을 지원할 수 있다. 제1 장치 제어 모듈(160)은 특정 센서 활성화 또는 기능 활성화와 관련된 이벤트가 발생하면, 해당 센서를 활성화할 수 있다. 일실시 예에 따르면, 제1 장치 제어 모듈(160)은 근전도 센서(112)와 음향 진동 센서(111), 근전도 센서(112)와 광학 센서(113), 근전도 센서(112)와 홀 센서(114), 근전도 센서(112)와 압력 센서(115) 등을 복합적으로 운용하도록 제어할 수 있다. 제1 장치 제어 모듈(160)은 센싱된 정보들을 복합적으로 운용하여 생체 신호의 정확도를 높일 수 있다. 제1 장치 제어 모듈(160)은 획득된 센싱 정보들을 토대로 특정 생체 신호 관련 서비스 정보 출력을 수행할 수 있다. 이 과정에서 제1 장치 제어 모듈(160)은 제2 전자 장치(200)로부터 생체 신호 관련 서비스 정보를 수신하거나, 제2 전자 장치(200)를 통해 서버 장치(400)로부터 생체 신호 관련 서비스 정보를 수신할 수 있다.
일실시 예에 따르면, 제1 장치 제어 모듈(160)은 표면 근전도 손동작 모델링을 수행할 수 있다. 제1 장치 제어 모듈(160)은 표면 근전도 측정, 전처리를 이용한 노이즈 제거, 손동작을 추출하기 위한 각 행동에 대한 신호 분, 다해상도 분석을 이용하여 detail 계수 분리, Detail 계수의 에너지 평가를 이용한 손동작 패턴 모델 및 신경망 학습을 이용한 손동작 인식 등을 수행할 수 있다. 이 과정에서 제1 장치 제어 모듈(160)은 다해상도 이산 웨이블릿 분석을 이용한 신호 해석을 통하여 손동작 인식을 수행할 수 있다.
측정하고자 하는 신호 신호의 에너지의 변화량 및 암 관측이 가능하고 서로 다른 움직임에 대한 근전도 신호의 차별성이 크게 나타나지 않기 때문에 한 개의 채널의 신호로부터 복수개의 행동 패턴을 구분하기에는 그 정보량이 작아 획득한 신호의 1차원적인 해석을 통해서는 행동들을 구분하기 어렵다. 이에 따라, 제1 장치 제어 모듈(160)은 다해상도 웨이블릿을 이용하여 한 채널의 신호로부터 서로 다른 행동 패턴을 구분하기 위한 정보를 획득한다. 다해상도 웨이블릿에서, 마더 웨이브렛(mother wavelet)은 다우비치 웨이브렛 4(Daubechies Wavelet, db4)을 사용한다. 다우비치 웨이브렛은 다른 웨이브렛 변환보다 더욱 콤팩트 하고 불규칙한 모양의 신호에 대하여 더욱 뛰어난 성능을 보이므로 음향방출 신호를 효율적으로 해석할 수 있다.
상술한 바와 같이 본 발명의 일실시 예에 따른 제1 전자 장치(100)는 생체 신호 수집을 수행하고, 생체 신호와 관련한 다양한 기능을 지원할 수 있다. 예컨대, 제1 전자 장치(100)는 생체 측정 유헬스 기능, 활성산소 측정 기능, 혈압 검색 기능, 저혈압 알림 기능, 뇌출혈, 심근경색 예지신호 감지 경고 기능, 혈관 측정 기능, 맥파 스트레스 측정 기능, 약복용 도우미 기능, 낙상 감지 기능, 활동 감지 기능, 심박수 측정 기능, 독거 노인 모니터링 기능, 코골이 방지 기능, 레시피 제공 기능, 안전운전 도우미 또는 졸음운전 방지 기능, 후각센서를 이용한 환경 이상상태의 감지 기능, 미각 센서를 이용한 몸에서 분비되는 땀이나 습기, 분비물 측정 기능, 명함인식 기능 (PAN), 골전도 전화기 기능, 정전기 방지 기능, 상황인식 기반의 유헬스 환경정보 서비스 기능, 생체인식을 통한 감정인식 서비스 기능, 파킨슨병 진단 기능, 거짓말 탐지기능, 가속도 센서를 이용한 테니스 스윙 인식 기능, Fieldwork 기능, 홈 네트워크 기능, U-Themepark Service 기능, ComMotion 기능, Shopping Assistant 기능, Cyberguide 기능, Conference Assistant 기능, People& Object Pager 기능, Grap으로 모체 기기의 데이터 전달 기능 등의 수행을 지원할 수 있다. 상술한 각 기능들 중 적어도 하나의 기능은 제2 전자 장치(200)와 협업하여 지원될 수도 있다.
생체측정 u-health 기능에는 맥박수, 혈압, 산소포화도, 중량, 체온 정보가 필요하다. 제1 장치 제어 모듈(160)은 제1 센서 모듈(110)에 포함된 적어도 하나의 센서를 이용하여 센싱 정보를 수집하고, 수집된 센싱 정보를 기반으로 생체측정 유헬스 기능을 지원할 수 있다. 제1 장치 제어 모듈(160)은 생체측정 유헬스 기능 수행 중에 수집된 맥박수, 혈압 정보 등을 제2 전자 장치(200)에 전달할 수 있다. 그러면, 제2 전자 장치(200)는 제1 전자 장치(100)로부터 수신된 센싱 정보를 기반으로 생체측정 유헬스 기능을 지원할 수 있다.
활성산소 측정(Active Oxygen) 기능은 체내의 산소 중에서도 산화력이 강한 불안정한 활성 산소를 측정하는 기능이다. 활성산소는 암, 동맥경화증, 당뇨병, 뇌졸중, 심근경색증, 간엽, 신장염, 아토피, 파킨슨병 등을 일으킬 위험이 있다. 이에 따라, 제1 장치 제어 모듈(160)은 제1 센서 모듈(110)에 포함된 적어도 하나의 센서를 이용하여 활성 산소를 측정하고, 측정된 활성 산소와 사전 수집된 정보를 비교하여 활성 산소의 위험도 알림 및 관련 질병에 대한 안내 정보 출력을 수행할 수 있다. 이러한 활성산소 측정 기능은 제2 전자 장치(200)의 통합 앱(251) 기능 수행에 따라 지원될 수도 있다. 예컨대, 제1 장치 제어 모듈(160)은 활성 산소 측정을 제어하고, 활성 산소 측정치를 제2 전자 장치(200)에 제공하여 활성 산소 관련 질병 위험 정보를 출력하도록 지원할 수 있다.
혈압 검색 기능은 혈압을 검색을 수행하는 기능이다. 제1 장치 제어 모듈(160)은 손목에서 피가 흐르는 속도와 혈관의 수축 또는 이완 정도를 심장 관련 근전도 센서(112)와 광학 센서(113)로 측정해 혈압을 계산할 수 있다. 한편 심혈관계 질환은 관상동맥이 좁아지거나 경력에 의한 수축이 일어나거나 콜레스테롤 침착에 의한 협심증, 심근경색이나 심장 마비와 같은 관상동맥질환, 심장 수축기의 최고혈압과 이완기의 최저혈압이 모두 정상혈압보다 높은 질환인 고혈압, 악성 고혈압, 심부전증, 뇌혈관이 터지는 뇌출혈이나 뇌혈관이 막혀서 생기는 뇌경색 등의 뇌졸증을 포함할 수 있다. 본 발명의 제1 장치 제어 모듈(160)은 제1 센서 모듈(110)에 포함된 센서가 수집하는 적어도 하나의 센싱 정보를 기반으로 혈압 검색을 수행하고, 검색 결과를 출력할 수 있다. 이때, 앞서 설명한 혈관계 관련 질병이나 질환에 대한 정보 출력을 수행할 수 있다. 혈압 관련하여 수집된 정보는 제2 전자 장치(200)에 제공될 수 있다. 일실시 예에 따르면, 제1 전자 장치(100)가 수집한 센싱 정보는 제2 전자 장치(200)에 제공될 수 있으며, 이에 따라 혈압 검색 기능은 통합 앱(251) 기능으로서 제2 전자 장치(200)에서 제공될 수 있다.
저혈압 알림 기능은 제1 센서 모듈(110)을 이용하여 혈압을 측정했을 때 수축기 혈압이 90mmHg 이하, 확장기 혈압이 60mmHg 이하일 때 알림을 출력하는 기능일 수 있다. 제1 장치 제어 모듈(160)은 혈압 검색 결과를 출력함과 아울러, 저혈압 알림 기능을 수행하고, 저혈압에 따른 증상 예컨대 피로감, 졸음, 손발 저림, 수족냉증, 어지럼증, 기절, 두통, 무기력증과 같은 증상 정보를 출력할 수 있다. 또한 제1 장치 제어 모듈(160)은 저혈압의 원인 정보로서 증후성 또는 속발성 저혈압(심장 질환이나 내분비질환 등이 있을 때), 본태성 저혈압(특별한 병적인 증상이 없고 명확한 근본 원인이 없을 때), 기립성 저혈압(장시간 눕거나 앉아 있다 갑자기 일어서는 등 자세 변화가 있을 때) 등을 출력할 수 있다.
제1 장치 제어 모듈(160)은 저혈압 예방법을 제공할 수 있다. 예컨대, 제1 장치 제어 모듈(160)은 기립성 저혈압 발생 시 옆으로 누워서 안정을 취하도록 지시하는 정보, 본태성 저혈압 발생 시 적당한 운동과 충분한 수면, 규칙적인 식사 등 자기 관리를 지시하는 정보를 출력할 수 있다. 또한 제1 장치 제어 모듈(160)은 증후성 또는 속발성 저혈압 발생 시 원인 검색을 요청하는 지시를 출력할 수 있다. 혈압 관련 센싱 정보의 수집과, 증상 및 예방법 출력 등의 기능은 제2 전자 장치(200)를 통해서 수행될 수도 있다. 제1 장치 제어 모듈(160)은 혈압 관련 센싱 정보를 수집하고, 해당 정보를 제2 전자 장치(200)에 전달할 수 있다. 제2 전자 장치(200)는 수집된 혈압 관련 센싱 정보를 기반으로 저혈압 알림 기능을 지원할 수 있다. 한편, 제1 장치 제어 모듈(160)은 혈압 관련 센싱 정보를 바탕으로 뇌출혈 및 심근경색 예지신호 감지를 수행하고 그에 따른 경고 기능을 지원할 수도 있다.
제1 장치 제어 모듈(160)은 제1 전자 장치(100) 또는 제2 전자 장치(200) 중 적어도 하나에 설치된 헬스 유지 기능과 연동 기능을 지원할 수 있다. 제1 장치 제어 모듈(160)은 착용자의 건강 상태를 모니터링하는 역할을 수행할 수 있다. 제1 장치 제어 모듈(160)은 지속적인 생체 신호 모니터링을 통하여 지속적인 운동 관리를 가능하도록 지원할 수 있다. 예컨대, 제1 장치 제어 모듈(160)은 심박수, 호흡수, 운동량을 측정하고 이를 기반으로 맞춤형 운동관리를 위한 정보 출력을 지원할 수 있다. 또한, 제1 장치 제어 모듈(160)은 비만관리, 체형유지, 건강유지 등의 목적으로 과다한 운동이나 무리한 운동으로 부작용이 될 수 있는 개인의 신체정보를 기록해 두고 심박수, 칼로리량, 스텝수 등의 생체신호를 읽어 적절한 운동량을 유도하여 운동의 효과를 최대한 높일 수 있도록 도와주는 역할을 수행할 수 있다. 제1 장치 제어 모듈(160)은 심장의 근전도 센서와 관련된 생체신호를 측정하고, 스텝수 및 칼로리량 산출 등을 지원할 수 있다. 이때, 제1 장치 제어 모듈(160)은 동작음 상태를 위한 정보 표시를 수행할 수 있으며, 심박수에 따른 현재 상태 저장 및 부저 알림 기능 예컨대 10초 간격 부저 알림 기능을 수행할 수 있다.
제1 장치 제어 모듈(160)은 근전도 센서와 광학 센서를 이용하여 혈관 측정 기능을 지원할 수 있다. 이를 통해 제1 장치 제어 모듈(160)은 혈관건강도, 혈관타입, 혈관나이, 혈액순환 측정을 수행할 수 있다. 제1 장치 제어 모듈(160)은 심박 변이도(HRV : Heart rate variability)를 측정 할 수 있다. 심박 변이도는 하나의 심장 주기로부터 다음 심장 주기 사이의 미세한 변이를 의미한다. 건강한 사람의 경우는 심박의 변화가 크고 복잡하게 나타나지만, 질병이나 스트레스 상태에서는 복잡도가 현저히 감소하는 특징이 있다. 심장의 정상 동성 박동은 일반적으로 평형상태에서는 매우 불규칙하며, 이는 체내/외부 환경의 변화에 따른 자율신경계의 영향 때문이다.
혈관 건강도는 혈관의 노화 정도와 혈액순환의 정도를 간단하게 조기 진단하여 검출될 수 있다. 혈관 건강지수는 혈관건강도 타입에도 영향이 있지만, 혈액순환과 관련된 생활습관과 밀접환 관계가 있다. 제1 장치 제어 모듈(160)은 혈관 건강 지수를 기준으로 생활 습관 변화를 지시하는 정보를 제공할 수 있다.
제1 장치 제어 모듈(160)은 맥파 기능 스트레스 측정 기능을 지원할 수 있다. 맥박 변화도는 심장박동의 변화를 기록한 그래프로서 변화가 다양할수록 건강함을 의미할 수 있다. 제1 장치 제어 모듈(160)은 맥박 변화도가 성인평균 30-40정도 이상인 경우 정상으로 측정하고, 20이하이면 만성스트레스 상태로 측정할 수 있다. 제1 장치 제어 모듈(160)은 맥파 스트레스 측정 기능을 통하여 25이하인 경우, 스트레스가 거의 없는 상태에 해당하는 정보를 출력하고, 25이상 35이하인 경우 일시적인 스트레스 상태에 해당하는 정보를 출력할 수 있다. 제1 장치 제어 모듈(160)은 35이상 45이하인 경우 초기 스트레스 상태에 해당하는 정보를 출력하고, 45이상 60이하인 경우 일시적인 스트레스가 반복적으로 쌓이며 스트레스 내성이 약해지기 시작하는 시기임에 해당하는 정보를 출력하며, 60이상인 경우 만성 스트레스로 진행되는 상태에 해당하는 정보를 출력할 수 있다.
제1 장치 제어 모듈(160)은 약복용 도우미 기능을 지원할 수 있다. 제1 전자 장치(100)는 지속적인 약복용이 필요한 만성질환자의 약복용 순응률을 높여 증가하고 있는 의료비 부담을 줄여줄 수 있도록 지원한다. 고령자의 경우에는 약복용 사실을 잊고 계속 복용하여 응급 입원하는 경우가 적지 않으므로, 제1 장치 제어 모듈(160)은 약복용 시점을 알려주고 약복용 사실을 운영센터 혹은 의료진에게 알려주는 약복용 도우미 기능을 지원할 수 있다. 제1 장치 제어 모듈(160)은 제2 전자 장치(200)나 기타 외부 장치들 예컨대, 디지털 액자나 스마트 TV 등과 통신 채널을 형성하고, 약을 복용해야 하는 만성질환자 및 고령자의 약복용을 지원할 수 있다. 이때, 제1 장치 제어 모듈(160)은 약복용 스케줄을 등록하고 약을 약상자에 탑재하면 약복용 시간이 되었을 때 약복용에 대한 안내를 음성과 화면으로 안내할 수 있다. 약복용 도우미 기능은 제2 전자 장치(200)를 통해 수행되거나 또는 제2 전자 장치(200)의 통합 앱 기능 수행에 따라 진행될 수 있다. 이에 따라, 사용자는 제2 전자 장치(200)의 터치스크린 등을 활용하여 만성질환자와 고령자의 운동관리, 식이관리, 건강측정관리를 지원할 수 있다. 제1 장치 제어 모듈(160)은 약복용 알리미 기능을 다양한 외부 장치 예컨대, 디지털액자, 무선휴대단말기, 스마트TV등을 통해 수행할 수 있다. 또한, 제1 장치 제어 모듈(160)은 미복용에 대한 문자발송 기능을 지원할 수 있다. 또한, 제1 장치 제어 모듈(160)은 통합 웹사이트의 정보 갱신을 통한 병원, 보호자, 기관 등에서의 약복용에 대한 관리 기능을 지원할 수 있다. 제1 장치 제어 모듈(160)은 약복용 정보보기 기능, 약복용 알림 LED표시, 액정 표시 및 음성지원 기능, 제2 전자 장치(200)를 활용한 식이, 운동, 건강측정관리 기능을 지원할 수 있다.
제1 장치 제어 모듈(160)은 낙상 감지 기능을 지원할 수 있다. 낙상 감지 기능은 노인낙상사고를 가급적 빨리 인지하기 위하여, 낙상 발생을 감지하고 위치기반 조난신호를 보낼 수 있는 기능일 수 있다. 이를 위하여, 제1 장치 제어 모듈(160)은 가속도 센서(116)가 수집한 센싱 정보를 이용하여 낙상 및 위급상황 발생 시, 위치 정보와 함께 운영센터 혹은 가족 등에게 실시간으로 특정 메시지를 통보하도록 제어할 수 있다. 일실시 예에 따르면, 제1 장치 제어 모듈(160)은 3축 가속도 센서를 활용한 낙상감지와 관련된 센싱 정보 수집, 다단계 필터링을 통한 낙상감지 상황에 대한 정확한 판단을 수행할 수 있다. 제1 장치 제어 모듈(160)은 낙상으로 판단되면, 사전 정의한 특정 응급 구호 시설에 마련된 통신 장치를 호출할 수 있는 기능, 제2 전자 장치(200)를 통한 상황 전파, 제2 전자 장치(200)와 연동하여 낙상 환자의 위치 추적 기능을 지원할 수 있다.
낙상 상황 감지와 관련하여 제1 장치 제어 모듈(160)은 활동 감지 및 심박수 측정을 수행할 수 있다. 활동 감지에 대한 정보는 3축 가속도 센서(116)를 이용하여 획득될 수 있다. 활동 감지와 관련하여 가속도 센서의 센싱 변화가 있는 경우를 기준으로 활동의 유무를 판단할 수 있다. 낙상은 짧은 시간 동안에 반복되면서 빠르고 큰 움직임이 일어난다. 반면에 일상생활에서는 악수와 같은 상황에서 빠른 움직임이 생길 수 있으나 신호파형의 변동 폭이 크지 않기 때문에 낙상과 구별될 수 있다. 이에 따라, 제1 장치 제어 모듈(160)은 임의적으로 빠르게 손을 움직일 경우라 하더라도 낙상과 같은 순간적인 움직임과 구별할 수 있다. 예컨대, 제1 장치 제어 모듈(160)은 가속도 센싱 정보의 모델링을 통하여 악수 상태, 팔떨림 상태, 손을 위로 올림 상태, 걷기 상태, 낙상 상태 등을 구분할 수 있다.
제1 장치 제어 모듈(160)은 독거 노인 모니터링 기능을 지원할 수 있다. 이를 기반으로 제1 전자 장치(100)는 독거 노인들의 고독사 방지를 지원할 수 있다. 예컨대, 제1 전자 장치(100)는 독거 노인의 손목에 착용된 상태를 유지될 수 있다. 제1 장치 제어 모듈(160)은 착용자의 패턴 및 심장 박동수를 주기적으로 모니터링을 하면서 갑작스런 센싱 정보 변경이 발생한 경우 이상 발생에 따른 처리 동작을 지원할 수 있다. 예컨대, 제1 장치 제어 모듈(160)은 제2 전자 장치(200)와 연동하여 독거 노인 관리 기능을 자동으로 실행하고, 사전 정의된 특정 구호 시설 호출을 수행하도록 제2 전자 장치(200)에 요청할 수 있다.
제1 장치 제어 모듈(160)은 코골이 방지 기능을 지원할 수 있다. 제1 장치 제어 모듈(160)은 제1 센서 모듈(110)을 이용하여 손목의 산소포화도를 측정하고, 이를 기반으로 맥박의 흐름을 파악할 수 있다. 제1 장치 제어 모듈(160)은 코골이 시 일정 자극을 줌으로써 코골이가 중지되도록 제어할 수 있다. 사람이 잠을 자게 되면 하룻동안 긴장되어 있던 모든 근육이 이완된다. 코를 고는 사람은 특히 목 부위의 이완이 심하게 되어 가벼운 호흡에도 떨림 현상이 발생해 코를 곤다. 이에 따라, 제1 장치 제어 모듈(160)은 손목의 근육을 통해 목구멍의 근육을 항상 긴장하게 유지하도록 제어할 수 있다. 또는 제1 장치 제어 모듈(160)은 진동 모듈(180)을 이용하여 일정 진동을 제공함으로써, 손목의 근육 운동을 제어할 수 있다.
제1 장치 제어 모듈(160)은 레시피 제공 기능을 지원할 수 있다. 제1 장치 제어 모듈(160)은 일정 시간 동안 제1 센서 모듈(110) 및 제2 센서 모듈(120) 중 적어도 하나가 수집한 생체 신호를 수집하고, 일정 시간 경과 후 이를 제2 전자 장치(200)에 전달할 수 있다. 예컨대, 제1 장치 제어 모듈(160)은 심장박동 감지, 혈압, 호흡, 산소포화도 등 다양한 생체 신호를 제2 전자 장치(200)에 전달할 수 있다. 제2 전자 장치(200)는 수집된 생체 신호를 바탕으로 건강상의 이상증후 및 건강상태를 파악하고, 건강 상태에 대응하는 식단 정보를 수집할 수 있다. 수집된 식단 정보는 제1 전자 장치(100) 또는 통신 가능한 스마트 TV 등 외부 전자 장치의 표시 모듈을 통해 출력될 수 있다.
제1 장치 제어 모듈(160)은 유 헬스(U-Health) 접목을 통한 안전운전 도우미 또는 졸음운전 방지 기능을 지원할 수 있다. 제1 장치 제어 모듈(160)은 기존의 가정이나 병원에서 사용자 스스로가 정적인 상태에서 관리하는 건강관리 시스템이 아닌, 차량이라는 특수한 공간 안에 운전자의 동적인 상태에서도 실시간 자동 모니터링을 수행할 수 있다. 제1 장치 제어 모듈(160)은 네비게이션과 연동하여 운전자의 상태를 파악하고, 운전자의 현재 상태(맥박, 체온 등)의 생체 신호를 수집한 후 이를 기반으로 운전 도움 정보를 제공할 수 있다. 예컨대, 제1 장치 제어 모듈(160)은 맥박이 빠르거나, 체온이 높거나 한 상태에 대해 음성으로 알려줌으로써 사용자에게 경고 또는 다음 행동에 대한 알림 기능을 제공할 수 있다. 제1 장치 제어 모듈(160)은 경고 정보를 자동차에 마련된 전자 장치를 통해 출력하거나 제2 전자 장치(200)와 연동하여 생체 정보를 출력할 수 있다. 제1 장치 제어 모듈(160)은 생체 신호와 관련된 다양한 정보 예컨대 맥박, 대기 환경 측정 정보 등의 센싱 정보를 바탕으로 졸음 운전에 대한 판단을 수행하고 그에 따른 경고음이나 경고 진동 출력을 수행할 수 있다.
제1 장치 제어 모듈(160)은 후각 센서(123)를 이용한 환경 이상상태의 감지 기능을 지원할 수 있다. 제1 장치 제어 모듈(160)은 후각 센서(123)를 이용하여 부패한 물질의 감지나 환경 이상상태 감지를 수행할 수 있다. 후각 센서(123)는 공기 중의 특정 가스를 감지하여 정량 할 수 있다.
제1 장치 제어 모듈(160)은 미각 센서(121)를 이용한 몸에서 분비되는 땀이나 습기, 분비물 측정 기능을 지원할 수 있다. 땀을 측정하는 미각 센서(121)는 비침습 상태에서 정보 센싱을 수행할 수 있다. 제1 장치 제어 모듈(160)은 몸에서 분비되는 땀이나 습기, 분비물의 오염으로부터 발생하는 각종 유해세균과 냄새를 측정할 수 있다.
제1 장치 제어 모듈(160)은 명함인식 기능(PAN)을 지원할 수 있다. 인체가 주파수 변화에 따라 전기 신호에 반응하는 특성은 다양하게 나타난다. 인체매질의 특성에 따라 통신에 이용되는 반송주파수가 달라질 수 있다. 제1 장치 제어 모듈(160)은 인체 통신에 가장 적합한 반송주파수를 검출하고 이를 설정할 수 있다. 제1 장치 제어 모듈(160)은 주파수 특성을 측정하기 위해 반송주파수로 50Mhz까지의 신호를 인체를 통해 전송하고 전송되는 감쇠량을 조사하여 방사 특성(radiation effect)을 측정할 수 있다. 인체 통신을 위한 반송주파수가 검출되면, 제1 장치 제어 모듈(160)은 사용자 간 접촉으로 명함 정보를 전송할 수 있다. 명함 정보는 제1 전자 장치(100)의 메모리에 사전 저장될 수 있다. 제1 장치 제어 모듈(160)은 인체 통신을 통하여 특정 물체에 대한 가격 정보를 수집하고 이를 출력할 수도 있다.
제1 장치 제어 모듈(160)은 골전도 전화기 기능을 지원할 수 있다. 이를 위하여 제1 장치 제어 모듈(160)은 오디오 신호에 대응하는 진동을 진동 모듈(180)을 통해 발생시킬 수 있다.
제1 장치 제어 모듈(160)은 정전기 방지 기능을 지원할 수 있다. 제1 전자 장치(100)는 손목 등에 착용되고, 손목을 통해 체내의 정전기를 계속 흡수해 공중으로 방전시키는 역할을 수행할 수 있다.
제1 장치 제어 모듈(160)은 상황인식 기반의 유헬스 환경정보 서비스를 제공할 수 있다. 이를 위하여 제1 장치 제어 모듈(160)은 생체 신호에 해당하는 내부 정보와, 다양한 센서들로 획득되는 외부 정보의 분석과 처리, 제2 전자 장치(200)나 서버 장치(400)가 제공하는 서비스 정보의 출력을 수행할 수 있다.
제1 장치 제어 모듈(160)은 생체인식을 통한 감정인식 서비스 기능을 지원할 수 있다. 제1 장치 제어 모듈(160)은 자율신경계 반응의 일종인 맥파, 사람의 체온과 피부저항, 외부 온도와 습도 그리고 외부 소음에 따른 사람들의 감성 변화를 판별할 수 있다. 이 과정에서 제1 장치 제어 모듈(160)은 제1 센서 모듈(110) 및 제2 센서 모듈(120)에 포함된 적어도 하나의 센서를 이용하여 감성 변화에 영향을 미치는 생체 신호 및 외부 신호를 수집할 수 있다. 제1 장치 제어 모듈(160)은 수집된 생체 신호 및 외부 신호를 제2 전자 장치(200) 또는 서버 장치(400) 등에 제공하고 그에 대응하는 감성 변화 정보를 수신하여 출력할 수 있다. 이러한 감정 인식 서비스 기능은 감성융합 엔터테인먼트 산업, 감성융합 디지털라이프 산업, 감성융합 교육산업, 감성융합 커뮤니티 산업, 감성융합 Commerce 산업, 감성융합 헬스 EOD(Emotion on Demand) 산업 등의 감성융합 신 산업분야에 적용할 수 있다.
제1 장치 제어 모듈(160)은 파킨슨병 진단 기능을 지원할 수 있다. 파킨슨병은 뇌의 흑질(substantia nigra)에 분포하는 도파민의 신경세포가 점차 소실되어 발생하며 안정 떨림, 경직, 운동완만(운동느림) 및 자세 불안정성이 특징적으로 나타나는 신경계의 만성 진행성 퇴행성 질환이다. 제1 장치 제어 모듈(160)은 파킨슨병을 의미하는 4대 주요 증상 및 징후들에 해당하는 생체 신호 정보를 수집할 수 있다. 예컨대, 제1 장치 제어 모듈(160)은 안정 떨림, 경직, 운동 완만 및 자세불안정성 등을 분석할 수 있는 생체 신호를 수집하고, 분석할 수 있다. 제1 장치 제어 모듈(160)은 파킨슨병에서의 떨림과 관련하여 손가락이나 손목 관절과 같은 말단 관절에서 율동적 떨림을 검출하거나 4~6Hz 범위의 주파수 떨림을 검출할 수 있다. 제1 장치 제어 모듈(160)은 생체 신호들의 누적 정보를 토대로 파킨슨병의 발병 여부를 결정할 수 있다. 예컨대, 제1 장치 제어 모듈(160)은 신체의 한쪽에서 떨림이 발생한 후 일정 시간이 경과되면서 신체 양측에서 다리나 턱, 혹은 혀 등에서 떨림이 발생하면 경고 정보 출력을 수행할 수 있다. 제1 장치 제어 모듈(160)은 파킨슨병 진단 모드를 지원하고, 자이로 센서, 가속도 센서, 음향진동 센서 등의 센싱값을 조합하여 각운동을 측정할 수 있다.
제1 장치 제어 모듈(160)은 거짓말 탐지 기능을 지원할 수 있다. 거짓말 탐지기능은 자각증세와 심적 변화에 따른 자율신경계의 각종 반응을 이용하여 피의자 진술의 진위성을 판별하는 장치로, 폴리그래프의 일종이다. 제1 장치 제어 모듈(160)은 고의로 거짓말을 할 때 심리적으로 불안한 상태로 인해 호흡이나 혈압, 맥박과 손의 전기저항변화에 따른 전압의 변화를 측정하고 이를 기준으로 거짓말인지 진실인지를 판단할 수 있다. 여기서 제1 장치 제어 모듈(160)은 맥박신호를 SPO2를 통해 얻어내며, 손의 전기저항 부분은 전압의 변화를 측정한다. 제1 장치 제어 모듈(160)은 사용자의 맥박과 손의 전기저항을 분석하는데 거짓말을 할 때에 맥박이 빨라지는 것과 손의 땀이 분비되면서 전기저항이 감소하는 것을 이용할 수 있다.
제1 장치 제어 모듈(160)은 가속도 센서를 이용한 테니스 스윙 인식 기능을 지원할 수 있다. 제1 전자 장치(100)는 착용자의 손목에 배치된 후 5가지 타입의 테니스 스윙에 대한 모션 인식을 수행할 수 있다. 이때, 제1 장치 제어 모듈(160)은 손목 운동에 따른 가속도 센서 값의 특징을 분석하고, DWT(Discrete WaveletTransform) 기반의 테니스 모션 인식을 할 수 있다. 테니스 스윙은 여러 타입으로 구성되는데, 예컨대 포핸드 스트로크(forehand stroke), 백핸드 스트로크(backhand stroke), 서비스(service), 포핸드 발리(forehand volley), 백핸드 발리(backhand volley)를 포함할 수 있다.
제1 장치 제어 모듈(160)은 테니스 스윙 인식 기능에서 포핸드 스트로크, 백핸드 스트로크, 포핸드 발리, 백핸드 발리 및 서비스 동작에 따라 각축의 가속도 센서로부터 획득한 이산신호 형태를 분석할 수 있다. 모션 단계에서의 각 축의 센서 값을 분석하는 경우 제1 장치 제어 모듈(160)은 스윙이 진행되면서 손목의 위치와 방향이 어떻게 변해가는 지를 판단할 수 있다.예를 들어 제1 장치 제어 모듈(160)은 테니스 공을 타격하기 전에 몸을 반대로 회전시키는 백스윙(backswing) 시 백스윙의 끝 동작에 해당하는 센서 값을 획득하여 테니스 스윙 동작을 분석할 수 있다.
제1 장치 제어 모듈(160)은 필드워크(Fieldwork) 기능을 지원할 수 있다. 제1 장치 제어 모듈(160)은 야생 동물 관찰과 같은 야외작업을 할 때 주변 환경정보를 기록할 수 잇다. 제1 장치 제어 모듈(160)은 전자지도 상에 현재 위치와 시간 등과 같은 정보가 자동으로 입력할 수 있다. 현재 위치 정보 수집을 위하여 제1 전자 장치(100)는 별도의 위치 정보 수집 모듈을 포함하거나, 제2 전자 장치(200)의 위치 정보 수집 모듈을 이용할 수 있다.
제1 장치 제어 모듈(160)은 홈 네트워크 기능을 지원할 수 있다. 제1 장치 제어 모듈(160)은 외부환경 데이터를 다양한 물리적 장비(Sensor, Network, Actuator, Presentation Device)를 통하여 사용자상황, 물리적 환경상황, 컴퓨팅 시스템 상황, 사용자-컴퓨터상호 작용이력, 기타 미 분류 상황 등 여러 가지 상황들에 대한 정보를 수집하고, 그에 대응하는 능동적인 서비스를 제공할 수 있다. 예컨대, 제1 장치 제어 모듈(160)은 능동적인 상황인식 기반 홈 네트워크 환경을 기반으로 획득된 정보를 이용하여 사용자에게 고유 권한을 부여하고, 각각의 권한자에 맞는 서비스를 제공할 수 있다. 즉, 제1 장치 제어 모듈(160)은 부모와 자녀의 TV켜기와 가스레인지 켜기는 차이를 가지도록 조정할 수 있다. 제1 장치 제어 모듈(160)은 부모의 TV켜기, 가스레인지 켜기에 권한을 부여할 수 있지만, 자녀는 TV와 가스레인지에 접근 불가능 권한을 부여할 수 있다. 제1 장치 제어 모듈(160)은 홈 네트워크 환경에서의 상황인식 기능을 사용하여 자녀 교육 및 안전 대책 기능을 지원할 수 있다.
제1 장치 제어 모듈(160)은 사용자의 위치 파악, 파악된 위치 주변의 공연과 놀이 기구 정보를 수집하여 제공하는 U-Themepark 서비스 기능을 제공할 수 있다. 제1 장치 제어 모듈(160)은 특정 전자 장치가 특정 위치에 접근하였을 경우 전송되도록 설정한 위치 기반 메모를 전송하는 ComMotion 기능을 제공할 수 있다. 그리고 특정 전자 장치가 해당 위치에 근접했을 때, 제1 장치 제어 모듈(160)은 자동으로 메모 내용을 전송할 수 있다. 제1 장치 제어 모듈(160)이 해당 메모를 수신하는 경우 수신된 메모의 내용을 음성으로 변환하여 출력할 수 있다.
제1 장치 제어 모듈(160)은 사용자의 위치에 따라 쇼핑 가이드, 상품 상세정보, 상품의 위치검색, 세일 중인 상품의 검색 등의 서비스를 포함하는 Shopping Assistant 기능을 제공할 수 있다. 제1 장치 제어 모듈(160)은 네비게이션 및 위치에 대한 배경 정보, 자동 여행 일지 작성 등의 서비스를 포함하는 Cyberguide 기능을 제공할 수 있다. 제1 장치 제어 모듈(160)은 사용자가 발표장에 들어설 때 자동으로 발표자의 이름과 발표 제목 등과 같은 관련 정보를 디스플레이하고, 가용한 A/V 장치를 검색하여 발표 과정을 자동으로 기록하도록 제어하는 People & Object Pager 기능을 제공할 수 있다.
제1 장치 제어 모듈(160)은 방문자 또는 사물의 위치를 인식하여 가장 가까운 사람에게 메시지를 라우팅할 수 있다. 제1 장치 제어 모듈(160)은 사용자가 변화하는 위치에 따라 관련 정보를 자신의 흥미 및 관심 분야를 바탕으로 제공할 수 있다. 정보제공의 시기를 결정하는 것은 사용자의 현재 위치가 될 수 있다. 움직임에 따른 위치의 변화는 묵시적으로 정보 제공을 위한 입력이 될 수 있다. 한편 가상의 공간 및 현실 공간에서 제공 받는 정보는 사용자의 관심 및 흥미와 관련하여 여과될 수 있다. 예를 들어 제1 전자 장치(100)를 착용한 착용자가 A라는 장소에 도착하였을 때, 제1 전자 장치(100)는 현실 공간의 정보 발생기로부터 정보를 제공받을 수 있지만, 제1 전자 장치(100)는 사용자의 흥미가 A라는 장소에 부합하지 않을 경우 제공되는 정보를 여과하여 출력하지 않도록 제어할 수 있다. 사용자의 흥미(내부상황)는 웹 환경과 같은 가상 정보 공간에서 정보 탐색 등의 행위를 중심으로 지속적으로 모델링 될 수 있다. 사용자의 외부상황은 GPS나 위치 인식을 위한 센서를 통해 인지될 수 있다.
일정과 관련하여 정보를 제공하는 사례에서 정보 제공의 시기를 결정하는 사용자 외부 상황은 시간 정보가 될 수 있다. 제1 장치 제어 모듈(160)은 일정 시간이 도래하면, 해당 시간에 음원 재생 기능을 자동으로 수행할 수 있다. 이때, 제공되는 음악은 사용자의 흥미를 반영하여 다양하게 변화될 수 있다. 제1 장치 제어 모듈(160)은 장치 운용에 대한 이력 정보를 수집하고, 이를 바탕으로 장치 운용 패턴을 추출할 수 있다. 그리고 추출된 장치 운용 패턴에 따라 제1 장치 제어 모듈(160)은 특정 기능 예컨대 음원 재생 기능이나 특정 서비스 정보 수집 기능을 자동으로 수행하도록 지원할 수 있다.
제1 전자 장치(100)가 특정 장소에 위치하고, 해당 장소 주변에서 제공되는 정보 예컨대 디지털 낙서 내용을 수신하는 과정에서, 제1 장치 제어 모듈(160)은 사용자의 인간 관계에 따라 낙서 내용을 여과하여 수신하여 출력할 수 있다. 여기서 사용자의 인간 관계는 전자 메일 주소록이나 가상공간에서의 채팅기록, 메신저 서비스 등을 바탕으로 모델링되어 제공될 수 있다. 제1 장치 제어 모듈(160)은 사용자의 인간 관계의 범위를 자동으로 조정하여 수신되는 정보의 양을 사전 정의된 일정량 이하가 되도록 조절할 수 있다.
제1 장치 제어 모듈(160)은 Grap으로 모체 기기의 데이터를 다른 기기에 전달하는 기능을 지원할 수 있다. 제1 장치 제어 모듈(160)은 제1 전자 장치(100)를 데이터 수신 대기 상태로 유지할 수 있다. 제2 전자 장치(200)에 광학 센서는 제1 전자 장치(100)의 접근을 파악할 수 있다. 제2 전자 장치(200)에 배치된 특정 파일이나 데이터를 선택하는 제스처 동작이 발생하면, 착용자의 손목에 배치된 제1 전자 장치(100)는 사용자의 제스처 동작을 인식할 수 있고, 이를 제2 전자 장치(200)에 전달하여 특정 데이터 전송을 요청할 수 있다.
도 3은 본 발명의 일실시 예에 따른 제1 전자 장치 외관을 개략적으로 나타낸 도면이다.
도 3을 참조하면, 제1 전자 장치(100)는 손목에 밀착될 수 있는 구조일 수 있다. 예컨대, 제1 전자 장치(100)는 표시 바디(103), 표시 바디(103)의 양측에 각각 연결어 손목의 측부 등과 밀착되는 연결 바디(101), 표시 바디(103)와 연결 바디(101)의 적어도 일측에 마련되는 제1 타입 센서 모듈(102-1)을 포함할 수 있다. 제1 타입 센서 모듈(102-1)은 앞서 설명한 제1 센서 모듈(110) 및 제2 센서 모듈(120) 중 적어도 하나를 포함할 수 있다.
표시 바디(103)는 제1 표시 모듈(140)과, 제1 오디오 모듈(170), 제1 통신 모듈(190)과 진동 모듈(180) 등이 내장될 수 있다. 표시 바디(103)의 양측에는 연결 바디(101)와 체결될 수 있는 체결 구조가 마련될 수 있다. 여기서 체결 구조는 후크 구조나 나사 구조 등 다양한 구조를 포함할 수 있다.
연결 바디(101)는 표시 바디(103)의 양측과 각각 연결되는 연결부들과, 연결부들의 끝단에서 연결부들을 연결하되 연결부들이 손목에 밀착될 수 있는 조임부를 포함할 수 있다. 도시된 도면에서 조임부는 접힘 형상으로 도시하였으나, 본 발명의 일실시 예에 따른 제1 전자 장치(100)의 구조가 이에 한정되는 것은 아니다. 예컨대, 조임부는 하나의 연결부에 마련된 적어도 하나의 홀과, 홀에 삽입될 수 있는 버클 구조를 포함할 수 있다.
제1 타입 센서 모듈(102-1)은 연결 바디(101)의 적어도 일측 예컨대 손목과 대면되데 표시 바디(103)와 연결부들의 가장자리 또는 경계 부근, 표시 바디(103)의 바닥면, 조임부 등에 마련될 수 있다. 연결부들의 경계 부근에 배치되는 제1 타입 센서 모듈(102-1)은 손목의 측부들에 밀착되어 손목의 측부에 마련된 요골 동맥 및 그와 관련된 근육들의 변화를 감지할 수 있다. 표시 바디(103)의 바닥면에 배치되는 제1 타입 센서 모듈(102-1)은 손목의 상단부와 밀착 배치되어, 수지 신근 등의 운동 변화를 감지할 수 있다. 조임부에 배치되는 제1 타입 센서 모듈(102-1)은 손 동맥 및 그와 관련된 근육들의 변화를 감지할 수 있다. 제1 타입 센서 모듈(102-1)은 도시된 바와 같이 다수개의 미세모들이 균일하게 배치된 형상으로 마련될 수 있다. 이러한 구조의 제1 타입 센서 모듈(102-1)은 피부에 끈적임을 발생시키지 않으면서도 접착 효과를 제공할 수 있다. 또한 제1 타입 센서 모듈(102-1)은 센싱 과정에서 노이즈 발생을 최소화할 수 있는 구조를 가질 수 있다.
도 4는 본 발명의 일실시 예에 따른 제1 전자 장치의 다른 형태를 개략적으로 나타낸 도면이다.
도 4를 참조하면, 본 발명의 일실시 예에 다른 제1 전자 장치(100)는 표시 바디(103)와, 연결 바디(101)를 포함하고, 연결 바디(101)의 일측에 마련된 제2 타입 센서 모듈(102-2)을 포함할 수 있다. 표시 바디(103)와 연결 바디(101)는 앞서 도 3에서 설명한 표시 바디와 연결 바디와 유사한 형상으로 마련될 수 있다.
제2 타입 센서 모듈(102-2)은 연결 바디(101)의 일측에 마련될 수 있다. 예컨대, 제2 타입 센서 모듈(102-2)은 도시된 바와 같이 표시 바디(103)와 연결되는 연결 바디(101)의 연결 영역 일측에 마련될 수 있다. 제2 타입 센서 모듈(102-2)은 도시된 바와 같이 손목에 밀착되도록 돌출부를 적어도 하나 포함할 수 있다. 돌출부는 연결 바디(101)의 표면으로부터 돌출되어 배치될 수 있다. 제1 전자 장치(100)가 손목에 착용된 상태에서 연결 바디(101)의 조임 동작이 수행되면 제2 타입 센서 모듈(102-2)의 돌출부가 손목의 일정 부분 예컨대 손목의 측부에 접촉될 수 있다. 제2 타입 센서 모듈(102-2)의 돌출부는 도시된 바와 같이 복수개가 마련되어 제1 전자 장치(100)가 손목을 축으로 회전되지 않도록 지지하는 역할을 수행할 수 있다.
다양한 실시 예에 따르면, 본 발명의 제1 전자 장치(100)는 손목에 배치된 근육의 상태를 감지하는 근전도 센서(112) 및 상기 손목에 배치된 생체 조직의 상태에 대한 생체 신호를 센싱하는 보조 센서를 포함하는 제1 센서 모듈(110), 상기 제1 센서 모듈(110)이 수집한 생체 신호와 관련한 정보를 출력하는 제1 표시 모듈(140), 상기 제1 센서 모듈(110)의 제어와 상기 정보 출력을 제어하는 제1 장치 제어 모듈(160)을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 제1 센서 모듈(110)은 상기 손목에 배치된 수지신근 또는 소지신근 중 적어도 하나의 상태를 감지할 수 있다.
다양한 실시 예에 따르면, 상기 제1 센서 모듈(110)은 상기 손목에 배치된 요골 동백 또는 척골 동맥 중 적어도 하나의 상태를 감지할 수 있다.
다양한 실시 예에 따르면, 상기 보조 센서는 상기 손목에 배치된 혈관 또는 근육의 상태를 감지하는 음향 진동 센서(111), 광학 센서(113), 압력 센서(115), 홀 센서(114), 상기 손목 움직임에 따른 신호를 수집하는 가속도 센서(116) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 제1 전자 장치(100)는 착용자의 분비물 검출을 수행하는 미각 센서(121) 또는 착용자 주변 환경의 냄새 정보를 수집하는 후각 센서(123) 중 적어도 하나를 포함하는 제2 센서 모듈(120)을 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 제1 전자 장치(100)는 상기 제1 표시 모듈(140)과 상기 제1 장치 제어 모듈(160)이 포함된 표시 바디(103), 상기 표시 바디(103)의 양측에서 연결된 연결 바디(101)를 포함하고, 상기 제1 센서 모듈(110)은 상기 표시 바디(103)와 연결되는 연결 바디(101)의 가장 자리 중 손목과 대면되는 면에 배치되는 적어도 하나의 센서를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 제1 전자 장치(100)는 상기 수집된 생체 신호를 제2 전자 장치(200)에 전송하기 위한 제1 통신 모듈(190)을 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 제1 통신 모듈(190)은 상기 제2 전자 장치(200)로부터 상기 생체 신호와 관련된 서비스 정보를 수신할 수 있다.
다양한 실시 예에 따르면, 상기 제1 표시 모듈(140)은 상기 생체 신호 중 심전도, 심박수, 혈액의 산소포화도 또는 혈압에 관한 정보, 생체 신호의 맥파 관련 스트레스 지수 관련 정보 중 적어도 하나를 텍스트 또는 이미지 중 적어도 하나로 출력하는 전자 장치.
도 5는 본 발명의 일실시 예에 따른 제2 전자 장치의 구성을 나타낸 도면이다.
도 5를 참조하면, 본 발명의 제2 전자 장치(200)는 입력 모듈(220), 제2 표시 모듈(240), 제2 저장 모듈(250), 제2 오디오 모듈(270), 제2 통신 모듈(290) 및 제2 장치 제어 모듈(260)을 포함할 수 있다.
이와 같은 구성을 가지는 본 발명의 제2 전자 장치(200)는 제1 전자 장치(100)와 통신 채널을 형성하고, 제1 전자 장치(100)로부터 생체 신호를 수신할 수 있다. 제2 전자 장치(200)는 수신된 생체 신호와 관련된 다양한 기능 실행 및 생체 신호 관련 서비스 정보 수집을 수행할 수 있다. 생체 신호 관련 서비스 정보 수집과 관련하여 제2 전자 장치(200)는 서버 장치(400)와 통신 채널을 형성할 수 있다. 제2 전자 장치(200)는 서버 장치(400)로부터 수집된 생체 신호 관련 서비스 정보를 출력하거나 또는 제1 전자 장치(100)에 전달할 수 있다.
입력 모듈(220)은 제2 전자 장치(200) 운용과 관련한 다양한 입력 신호를 생성할 수 있다. 예컨대, 입력 모듈(220)은 키 버튼, 터치 키, 터치 펜과 펜 패널, 음성 인식 기능의 마이크 등을 포함할 수 있다. 또한, 입력 모듈(220)은 제2 표시 모듈(240)이 터치스크린 형태로 마련되는 경우 제2 표시 모듈(240)을 입력 수단으로 포함할 수 있다. 입력 모듈(220)은 예컨대, 제1 전자 장치(100)와 통신 채널을 요청하는 입력 신호, 생체 신호 관련 서비스 정보 수집을 요청하는 입력 신호 등을 생성할 수 있다. 일실시 예에 따르면, 입력 모듈(220)은 제1 전자 장치(100)가 제공하는 생체 신호 기반 통합 앱(251) 운용을 요청하는 입력 신호, 통합 앱(251) 종료를 요청하는 입력 신호 등을 생성할 수 있다. 생성된 입력 신호는 제2 장치 제어 모듈(260)에 전달되어 해당 기능 예컨대 통합 앱(251) 활성화 또는 종료 등을 제어하기 위한 명령어 셋으로 운용될 수 있다.
제2 표시 모듈(240)은 제2 전자 장치(200) 운용과 관련된 다양한 화면을 출력할 수 있다. 예컨대, 제2 표시 모듈(240)은 제2 전자 장치(200)의 대기 화면, 메뉴 화면, 적어도 하나의 아이콘이 배치된 화면, 락 스크린 화면 등을 출력할 수 있다. 일실시 예에 따르면, 제2 표시 모듈(240)은 통합 앱(251) 활성화와 관련된 아이콘이나 메뉴 항목이 배치된 화면을 출력할 수 있다. 통합 앱(251)이 선택되면, 제2 표시 모듈(240)은 제1 전자 장치(100)와 통신 채널을 형성하는 화면, 제1 전자 장치(100)가 제공한 생체 신호와 관련한 화면을 출력할 수 있다. 제2 표시 모듈(240)은 생체 신호 관련 서버 장치(400) 접속을 수행하는 화면, 서버 장치(400)가 제공한 생체 신호 관련 서비스 정보를 포함하는 화면을 출력할 수 있다.
제2 저장 모듈(250)은 제2 전자 장치(200) 운용과 관련한 다양한 프로그램과 데이터를 저장할 수 있다. 예컨대, 제2 저장 모듈(250)은 운영 체제 등을 포함할 수 있다. 제2 저장 모듈(250)은 통합 앱(251)을 저장할 수 있다. 통합 앱(251)은 제1 전자 장치(100)가 제공하는 생체 신호와 관련하여 특정 기능을 수행하거나 생체 신호 관련 서비스 정보를 제공하는 기능일 수 있다. 통합 앱(251)의 종류와 기능 등에 대해서는 후술하는 제2 장치 제어 모듈(260)의 프로세서 운용에 따른 서비스 기능 설명과 함께 추가 설명하기로 한다.
제2 오디오 모듈(270)은 제2 전자 장치(200)의 오디오 관련 기능을 지원할 수 있다. 예컨대, 제2 오디오 모듈(270)은 제2 전자 장치(200)에서 재생된 음원의 출력, 제2 전자 장치(200)가 수신한 오디오 신호의 출력 등을 지원할 수 있다. 또한 제2 오디오 모듈(270)은 제2 전자 장치(200)의 통화 기능 지원 시 음성 신호를 수집하거나 출력할 수 있다. 일실시 예에 따르면, 제2 오디오 모듈(270)은 제1 전자 장치(100)로부터 생체 신호 수신과 관련한 오디오 신호를 출력할 수 있다. 또한 제2 오디오 모듈(270)은 생체 신호의 처리와, 생체 신호 관련 서비스 정보 수집 등과 관련한 오디오 신호를 출력할 수 있다. 여기서 오디오 신호는 안내음이나 사전 정의된 특정 효과음일 수 있다. 제2 오디오 모듈(270)의 안내음 또는 효과음 출력은 사용자 제어에 따라 또는 설계 방식에 따라 생략될 수도 있다.
제2 통신 모듈(290)은 제2 전자 장치(200)의 통신 기능을 수행할 수 있다. 제2 통신 모듈(290)은 제2 전자 장치(200)가 이동통신 기능을 지원하는 경우 이동통신 모듈을 포함할 수 있다. 제2 통신 모듈(290)은 방송 수신 기능과 관련한 통신 모듈, 근거리 통신 기능과 관련한 통신 모듈 등을 포함할 수 있다. 일실시 예에 따르면, 제2 통신 모듈(290)은 제1 전자 장치(100)에 마련된 제1 통신 모듈(190)과 통신 채널을 형성할 수 있다. 제2 통신 모듈(290)은 제1 전자 장치(100)로부터 생체 신호를 수신할 수 있다. 제2 통신 모듈(290)은 생체 신호 관련 통합 앱(251) 운용에 의해 발생된 다양한 정보를 제1 전자 장치(100)로 전송할 수 있다. 또한 제2 통신 모듈(290)은 서버 장치(400)와 통신 채널을 형성하고, 서버 장치(400)로부터 생체 신호 관련 서비스 정보를 수신할 수 있다. 제2 통신 모듈(290)은 수신된 생체 신호 관련 서비스 정보를 제1 전자 장치(100)에 전송할 수 있다.
제2 통신 모듈(290)은 통신망(300)을 통해 서버 장치(400)와 통신 채널을 형성할 수 있는 통신 모듈과, 제1 전자 장치(100)와 통신 채널을 형성할 수 있는 통신 모듈 등을 포함할 수 있다. 이러한 제2 통신 모듈(290)은 하나의 통신 방식을 지원하는 통신 모듈일 수 있으며, 또한 복수의 통신 방식을 지원하는 복수의 통신 모듈을 포함할 수 도 있다. 예컨대, 제2 통신 모듈(290)은 제1 전자 장치(100)와 근거리 통신 채널을 형성하고, 서버 장치(400)와 원거리 통신 채널을 형성할 수 있도록 복수의 통신 모듈을 포함할 수 도 있다.
제2 장치 제어 모듈(260)은 제2 전자 장치(200) 운용과 관련한 신호 처리와 전달, 데이터 처리와 전달 등을 수행할 수 있다. 일실시 예에 따르면, 제2 장치 제어 모듈(260)은 통합 앱(251)은 생체 신호 관련 기능 실행 또는 생체 신호 관련 서비스 정보 출력과 관련된 다양한 프로세싱을 수행할 수 있다. 통합 앱(251)은 생체 신호 관련 다양한 서비스 기능 중 적어도 하나의 기능을 지원할 수 있다. 또는 통합 앱(251)은 생체 신호 관련 복수개의 앱을 포함할 수 있다.
이를 위하여 제2 장치 제어 모듈(260)은 적어도 하나의 프로세서를 포함할 수 있다.
도 6은 본 발명의 일실시 예에 따른 제2 장치 제어 모듈 구성을 나타낸 도면이다.
도 6을 참조하면, 본 발명의 제2 장치 제어 모듈(260)은 서비스 지원 프로세서(261), 신호 처리 프로세서(263), 통신 지원 프로세서(265) 및 정보 출력 프로세서(267)를 포함할 수 있다.
서비스 지원 프로세서(261)는 통합 앱(251)의 운용 및 운용에 따라 발생하는 다양한 데이터의 처리를 지원할 수 있다. 예컨대, 서비스 지원 프로세서(261)는 통합 앱(251) 활성화를 위한 아이콘이나 메뉴 항목 출력을 지원할 수 있다. 서비스 지원 프로세서(261)는 통합 앱(251) 활성화가 요청되면 제1 전자 장치(100)와 통신 채널을 형성하도록 통신 지원 프로세서(265)를 호출할 수 있다.
통신 지원 프로세서(265)는 제1 전자 장치(100)로부터 생체 신호가 수신되면 신호 처리 프로세서(263)에 전달할 수 있다. 통신 지원 프로세서(265)는 생체 신호가 수신되면 사전 정의된 특정 서버 장치(400)에 해당 생체 신호를 전달하고, 해당 서버 장치(400)로부터 생체 신호 관련 서비스 정보를 수신할 수 있다. 수신된 생체 신호 관련 서비스 정보는 정보 출력 프로세서(267)에 전달될 수 있다.
신호 처리 프로세서(263)는 통합 앱(251) 운용 중에 제1 전자 장치(100)로부터 수신한 생체 신호의 처리를 수행할 수 있다. 예컨대, 신호 처리 프로세서(263)는 수신된 생체 신호에 포함된 근전도 센싱 정보와 광학 센싱 정보를 토대로 어떠한 손동작이 수행되는지 판단할 수 있다.
정보 출력 프로세서(267)는 통신 지원 프로세서(265)가 제1 전자 장치(100)로부터 수신한 생체 신호, 서버 장치(400)로부터 수신한 생체 신호 관련 서비스 정보 등을 제2 표시 모듈(240)에 출력할 수 있다. 또한, 정보 출력 프로세서(267)는 관련 정보를 제2 오디오 모듈(270)을 통해 출력할 수 있다.
본 발명의 일실시 예에 따른 제2 장치 제어 모듈(260)은 상술한 다양한 프로세서들(261, 263, 265, 267)을 이용하여 다양한 생체 신호 관련 서비스 기능을 지원할 수 있다. 예컨대, 제2 장치 제어 모듈(260)은 생체 측정 유헬스 지원 기능, 활성산소정보 제공 기능, 혈압정보 제공 기능, 저혈압 알림 기능, 뇌출혈이나 심근경색 예지신호 경고 기능, 혈관 측정정보 제공 기능, 맥파 기반 스트레스 정보 제공 기능, 약복용 도우미 기능, 낙상 감지 기능, 활동 감지 기능, 심박수 정보 제공 기능, 독거 노인 모니터링 기능, 코골이 방지 기능, 레시피 제공 기능, 안전운전 도우미 또는 졸음운전 방지 기능, 후각센서가 수집한 생체 신호 기반의 환경 이상상태 정보 제공 기능, 미각 센서가 수집한 생체 신호 기반의 땀이나 습기 또는 분비물 정보 제공 기능, 명함인식 기능 (PAN), 골전도 전화기 지원 기능, 생체인식을 통한 감정인식 서비스 기능, 파킨슨병 정보 제공 기능, 거짓말 탐지 정보 제공 기능, 가속도 센서를 이용한 테니스 스윙 인식 지원 기능, Fieldwork 지원 기능, 홈 네트워크 지원 기능, U-Themepark Service 지원 기능, ComMotion 지원 기능, Shopping Assistant 지원 기능, Cyberguide 지원 기능, Conference Assistant 지원 기능, People & Object Pager 지원 기능, Grap으로 모체 기기의 데이터 전달 지원 기능 등의 수행을 지원할 수 있다. 상술한 각 기능들 중 적어도 하나의 기능은 앞서 언급한 바와 같이 제1 장치 제어 모듈(160)의 제어에 따라 제1 전자 장치(100)에서 독립적으로 지원될 수도 있다.
도 7은 본 발명의 일실시 예에 따른 제2 장치 제어 모듈의 기능 운용 계층을 설명하기 위한 도면이다.
도 7을 참조하면, 본 발명의 일실시 예에 따른 기능 운용 계층(20)은 컨텍스트 획득 계층(Context acquisition Layer), 컨텍스트 계층(50)(Context Layer), 추정 계층(60) 및 서비스 계층(70)을 포함하며, 추정 룰 모듈(40), 온톨로지 모듈(30)을 포함할 수 있다.
컨텍스트 획득 계층(Context acquisition Layer)은 사용자가 입력 모듈(220)을 이용하여 입력한 정보를 수신하거나, 제1 전자 장치(100)가 전달한 생체 신호를 수신하는 내부 컨텍스트 모듈(201), 서버 장치(400)로부터 제공된 서비스 정보 등을 수신하는 외부 컨텍스트 모듈(202)을 포함할 수 있다.
컨텍스트 계층(50)은 이벤트 생성기(51) 및 트리플 전송기(52)를 포함할 수 있다. 이벤트 생성기(51)는 내부 컨텍스트 모듈(201) 및 외부 컨텍스트 모듈(202)로부터 정보를 수신하고, 수신된 정보에 대한 이벤트를 생성하여 트리플 전송기(52)에 전달한다. 트리플 전송기(52)는 생성된 이벤트를 컨텍스트 매니저(61)에게 전달할 수 있다. 이때, 트리플 전송기(52)는 생성된 이벤트를 온톨로지에 전달할 수 있다.
추정 계층(60)은 컨텍스트 매니저(61), 서비스 매핑부(62) 및 서비스 컨텐츠부(63)를 포함할 수 있다. 컨텍스트 매니저(61)는 트리플 전송기(52)로부터 수신된 이벤트를 서비스 매핑부(62)에 전달한다. 이때, 컨텍스트 매니저(61)는 이벤트에 대응하는 온톨로지 확인을 수행할 수 있다. 서비스 매핑부(62)는 컨텍스트 매니저(61)가 전달한 이벤트에 대응하는 온톨로지 정보를 서비스 컨텐츠부(63)에 저장된 서비스 컨텐츠와 매핑한다. 서비스 매핑 과정에서 서비스 매핑부(62)는 추정 룰 모듈(40)에 저장된 서비스 룰(41), 헬스 정보(43)(Health Knowledge), 환경 정보(44)(Environment Knowledge)를 이용할 수 있다.
서비스 계층(70)은 서비스 매핑부(62)가 매핑한 서비스 컨텐츠 정보를 출력할 수 있다. 온톨로지 모듈(30)는 내부 온톨로지 모듈(31), 외부 온톨로지 모듈(32) 및 서비스 온톨로지 모듈(33)을 포함할 수 있다. 온톨로지 모듈(30)는 하위수준과 상위수준의 정보를 일반화하고 정보들 사이의 관계를 정의하기 위해 사용된다. 온톨로지 모듈(30)는 서비스에 따르는 상황 데이터의 추론을 수행하고 추론에 따른 정보 확장을 수행할 수 있도록 지원한다.
도 8은 본 발명의 일실시 예에 따른 온톨로지 모듈을 설명하기 위한 도면이다.
도 8을 참조하면, 본 발명의 일실시 예에 따른 온톨로지 모듈(30)은 내부 온톨로지 모듈(31), 서비스 온톨로지 모듈(33) 및 외부 온톨로지 모듈(32)을 포함할 수 있다.
내부 온톨로지 모듈(31)은사용자의 상태를 추론하기 위한 형태를 가지고 있으며 상위 클래스는 Personal 클래스와 Medicine 클래스를 포함할 수 있다. Personal 클래스는 사용자의 기본정보를 정의하는 클래스이며 성별(Sex), 나이(Age), BMI, 지역(Location), 키(Height), 몸무게(Weight) 등에 대한정보를 가지고 있다. Medicine클래스는 고혈압(Hypertension), 당뇨(Diabetes), 비만(Obesity), 천식 등의 정보를 가지고 있다. 내부 온톨로지 모듈(31)을 통해 제2 장치 제어 모듈(260)은 사용자의 질병 유무와 함께 5가지의 건강 수준을 추론할 수 있다.
외부 온톨로지 모듈(32)은 Health Weather Index 클래스와 Life Weather Index 클래스를 포함할 수 있다. Health Weather Index 클래스는 도시고온 지수, 뇌졸중 지수, 천식 지수, 꽃가루 농도 지수, 피부질환 지수, 폐질환 지수 등에 대한 정보를 가지고 있으며 각 지수와 지역에 대해 위험도를 추론할 수 있다.
보건기상지수란 기상요소의 일부 또는 집단이 생활에 미치는 영향의 정도를 지수로서 표시하는 것이다. 즉, 비과학적인 표시방법인 정성적 표시방법에서 과학 적인 정량적 표시방법의 지수로서 나타낸 것이다.
천식지수, 뇌졸중지수, 피부질환지수, 폐질환지수, 꽃가루농도지수, 도시고온지수를 제공하기 위해 기상청의 보건기상지수를 활용한다
뇌졸중 지수(Stroke index)는 기온, 기압, 습도 등의 기상조건과 계절별 요인 등의 기상 이외의 요소에 따른 뇌졸중 발생 가능 정도를 지수화한 것이다. 뇌졸중은 심혈관계 및 뇌 혈관계에 영향을 미쳐 간접적인 피해를 일으키기도 한다. 외부기온이 낮아지면 혈관이 수축되어 혈압은 높아지고 체내 혈액의 점성은 증가하여 마찰력이 켜져 혈액의 흐름이 둔화되어 혈전이 생성될 위험이 높아지고 혈관이 막히거나 터지는 원인이 되어 고혈압과 함께 뇌졸중을 일으키기는 원인으로 작용한다.
천식지수(Asthma Index)는 기온, 기압, 습도 등의 기상조건과 계절별 요인 등의 기상 이외의 요소에 따른 천식 발생 가능 정도를 지수화한 것이다. 높은 기온은 오존농도가 높아져 천식과 같은 알레르기성 호흡기 질환에 영향을 미치고 오존은 질소산화물과 같은 대기오염 물질이 자외선과 반응하여 생성되는 2차 오염물질로써, 호흡기를 자극하여 천식 환자들에게 큰 피해를 준다. 천식지수는 주요 악화요인인 꽃가루, 황사, 오존, 감기(기온/습도) 등 지표를 종합하여 산출한 값으로 제시될 수 있다. 천식 지수는 0점부터 100점 사이의 수치로 제시될 수 있다.
피부질환지수(Skin Disease Index)는 기온, 기압, 습도 등의 기상조건과 계절별 요인 등의 기상 이외의 요소에 따른 피부질환 발생 가능 정도를 지수화한 것이다. 폐질환지수(Pulmonary Disease index)는 기온, 기압,습도 등의 기상조건과 계절별 요인 등의 기상 이외의 요소에 따른 폐질환 발생 가능 정도를 지수화한 것이다.꽃가루농도지수(Pollen Concentration Index)는 꽃가루 농도에 따른 알레르기 질환 발생 가능 정도를 지수화한 것이다. 꽃가루농도지수는 지역별 꽃가루 정보를 이용하여 관측 자료의 일평균 데이터로 처리될 수 있다. 도시고온지수(City High Temperature Index)는 기상자료와 보건자료의 연관성을 분석, 모델화함으로써 기상예보에 따른 일별 고온 위험도에 대한 건강피해 예보를 지수로 제공한 것이다.
Life Weather Index 클래스는 불쾌지수, 열지수, 자외선 지수, 체감온도 지수, 동파가능 지수, 식중독 지수로 구성되어 있다. Life Weather Index 클래스는 각 지수와 지역에 대한 위험도를 추론할 수 있다.
서비스 온톨로지 모듈(33)은 내부 온톨로지 모듈(31) 및 외부 온톨로지 모듈(32)을 통해 추론된 각 사용자 건강 수준 정보와 지역 위험도 수준 정보를 이용하여 사용자에게 적합한 서비스 추론을 지원할 수 있다. 서비스 온톨로지 모듈(33)은 응급 상황 대응을 위한 Emergency 클래스, 질병에 따르는 위험지역 표시 GIS 클래스, 운동 및 식단 추천을 위한 Exercise, Food 클래스를 포함할 수 있다.
다양한 실시 예에 따르면, 본 발명의 일실시 예에 따른 제2 전자 장치(200)는 손목에 배치된 생체 조직 상태에 대한 생체 신호를 검출하는 근전도 센서(112) 및 보조 센서를 포함하는 제1 센서 모듈(110)이 수집한 생체 신호를 수신하는 제2 통신 모듈(290), 상기 수신된 생체 신호와 관련한 서비스 정보 출력을 수행하는 제2 표시 모듈(240), 상기 생체 신호의 수집과 상기 서비스 정보의 출력을 제어하는 제2 장치 제어 모듈(260)을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 생체 신호는 상기 손목에 배치된 수지신근 또는 소지신근 중 적어도 하나의 상태에 대한 생체 신호, 상기 손목에 배치된 요골 동백 또는 척골 동맥 중 적어도 하나의 상태에 대한 생체 신호를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 생체 신호는 상기 손목에 배치된 혈관 또는 근육의 상태에 해당하는 음향 진동 센서(111)의 센싱 정보, 광학 센서(113)의 센싱 정보, 압력 센서(115)의 센싱 정보, 홀 센서(114)의 센싱 정보, 상기 손목 움직임에 따른 신호를 수집하는 가속도 센서(116)의 센싱 정보, 착용자의 분비물 검출을 수행하는 미각 센서(121)의 센싱 정보 또는 착용자 주변 환경의 냄새 정보를 수집하는 후각 센서(123)의 센싱 정보 중 적어도 하나를 포함할 수 있다.
도 9는 본 발명의 일실시 예에 따른 제1 전자 장치와 제2 전자 장치 간 통신 운용을 설명하기 위한 도면이다.
도 9를 참조하면, 본 발명의 일실시 예에 따른 전자 장치들 간 통신 운용은 제1 전자 장치(100)와 제2 전자 장치(200) 간에 WBAN 통신을 수행하는 것을 예시한 것이다. 이를 위하여, 901 과정에서 WBAN 게이트웨이(500)와 제2 전자 장치(200)는 통신 연결을 수행할 수 있다. 903 과정에서 WBAN 게이트웨이(500)가 제1 전자 장치(100)에 N/W Info.Req 메시지를 전송한다. 905 과정에서 제1 전자 장치(100)는 N/W Info.Res메시지를 WBAN 게이트웨이(500)에 전송한다. 907 과정에서 WBAN 게이트웨이(500)는 제1 전자 장치(100)에 RTC Info.Req 메시지를 전송한다. 909 과정에서 제1 전자 장치(100)는 WBAN 게이트웨이(500)에 RTC Info.Res 메시지를 전송한다. 911 과정에서 제1 전자 장치(100)는 WBAN 게이트웨이(500)에 Health Check 메시지를 전송한다. 913 과정에서 제1 전자 장치(100)는 WBAN 게이트웨이(500)에 Event Message를 전송한다. 915 과정에서 WBAN 게이트웨이(500)는 제2 전자 장치(200)에 Event Message를 전송한다. 917 과정에서 제2 전자 장치(200)는 WBAN 게이트웨이(500)에 On-Demand Event Req 메시지를 전송한다. 919 과정에서 WBAN 게이트웨이(500)는 제1 전자 장치(100)에 On-Demand Event Req 메시지를 전송한다. 921 과정에서 제1 전자 장치(100)는 WBAN 게이트웨이(500)에 On-Demand Evnet Res 메시지를 전송한다. 923 과정에서 WBAN 게이트웨이(500)는 제2 전자 장치(200)에 On-Demand Event Res 메시지를 전송한다.
상술한 통신 운용을 통하여 제1 전자 장치(100)는 제2 전자 장치(200)에 생체 신호를 전달하고, 제2 전자 장치(200)로부터 생체 신호에 대응하는 서비스 정보를 수신할 수 있다. 상술한 통신 운용은 제2 전자 장치(200)가 제1 전자 장치(100)로부터 전송 받은 생체 신호 데이터를 웹 브라우저에서 손쉽게 활용할 수 있는 구조인 XML 형태와 JSON 형태로 적용할 수 있다. JSON은 경량형 데이터 구조 형태를 나타내고 있는데 값에 대한 표현을 Key와 Value 쌍으로 나타내며 반복적인 동작을 최소하여 데이터를 표현할 수 있는 방법이다. JSON의 경우 데이터가 적은 상황에서는 XML보다 빠른 처리 속도를 제공할 수 있다. 한편, 제2 전자 장치(200)와 제1 전자 장치(100)는 데스크탑 컴퓨터와 같이 일반적인 모니터링 환경이라면 XML 구조를 가지고 통신할 수 있다. 제1 전자 장치(100)로부터 제2 전자 장치(200)에 전송된 생체 신호 값은 클라우드 서버 장치로 전송가능하며, WBAN 게이트웨이(500)는 일반 웹 환경에서도 생체 신호 정보의 사용이 가능하도록 XML과 JSON 구조로 변경할 수 있다. N/W Info. Req는 WBAN 게이트웨이(500)로부터 제1 전자 장치(100) 및 제2 전자 장치(200)에게 네트워크 연결을 요청하는 메시지이다. N/W Info. Res는 제1 전자 장치(100) 및 제2 전자 장치(200)로부터 네트워크를 구성하기 위해서 WBAN 게이트웨이(500)가 받는 응답 메시지이다. RTC Info. Req는 RTC 초기화 및 응답 메시지이다. RTC Info. Res는 RTC 정보를 전달하기 위한 메시지이다. Health Check는 주기적으로 제1 전자 장치(100) 간의 연결 상태를 확인하기 위한 메시지이다. Event Message는 이벤트가 발생할 때마다 제1 전자 장치(100)로부터 수집하는 생체 정보 메시지이다. On-Demand Event Req는 제2 전자 장치(200)로부터 특정 장치에게 생체 정보를 요청하는 메시지이다. On-Demand Event Res는 제1 전자 장치(100)로부터 측정된 생체 정보를 전달하는 메시지이다.
도 10은 본 발명의 일실시 예에 따른 생체 신호 기반 서비스의 일예를 설명하기 위한 도면이다.
도 10을 참조하면, 제1 전자 장치(100) 또는 제2 전자 장치(200)는 생체 신호 인식(PPG, GSR, SKT)을 통한 감정인식을 수행할 수 있다. 생체 신호는 생명체내에서 이온의 이동, 활동전위의 전달 등의 생체항상성 유지과정에서 발생되는 신호일 수 있다. 생체 신호는 전기, 임피던스, 음향, 생체자기(biomagnetic), 역학, 화학, 광학신호 등으로 구분 될 수 있다. 이러한 생체신호는 인체의 어느 곳에서도 검출될 수 있다. 제1 전자 장치(100) 또는 제2 전자 장치(200)는 자율신경계 반응의 일종인 맥파, 사람의 체온과 피부저항, 외부 온도와 습도 그리고 외부 소음에 따른 사람들의 감성 변화를 판별할 수 있다.
맥파(PPG)는 심장의 물리적 특성을 보여 주는 것으로 심장에서 분출되는 혈액이 동맥을 따라 온몸으로 전파할 때 혈관에 미치는 압력 및 파동의 변화를 검출하여 그 파형을 기록한 것이다. 피부저항 (GSR)은 교감신경계의 부교감 신경의 작용에 의하여 피부의 부위에 따라 다른 작용을 하는EDA(Electro Dermal Activity)의 일종으로 이를 통해 EDA의 변화가 ANS(Autonomic Nercous System)의 활성에 연관된 생체전기현상이며 이것을 이용하여 EDA를 ANS활성에 대한 척도로서 사용할 수 있다. 피부저항의 측정 방법에는 통전법과 전위법이 이용될 수 있다. 피부온도 (SKT)는 쾌적성과 감성에 크게 영향을 미치며 몇몇 측정점에서의 피부온도 데이터가 아니라 인체표면에 걸쳐 온도분포를 파악함으로써 보다 광범위한 응용분야에 다양하게 활용될 수 있다. 피부온도는 피부 표면의 온도로서 심부를 둘러싸고 있는 외각부의 온도를 말하며 피부의 혈관운동(vasomotor activity)에 의해 조절된다. 혈관이 확장되면 피부혈류량이 증가하며 혈관이 수축되면 피부혈류량이 감소하여 그 결과 피부 온도는 낮아진다.
제1 전자 장치(100) 또는 제2 전자 장치(200)는 사람의 자율신경계의 활동에 의해 나타나는 생체신호로부터 역으로 인간의 감성을 추론하기 위해 PPG, GSR, SKT 등 신호를 센싱하여 맥박, 피부전도도 및 피부온도 변화 등을 계측하여 종합적으로 분석하고 감성신호를 추출할 수 있다. 이에 따라, 제1 전자 장치(100) 또는 제2 전자 장치(200)는 PPG 센서를 이용한 감성신호 추출 기능, GSR을 이용한 감성신호 추출 기능, SKT를 이용한 감성신호 추출 기능, 속도 신호 계측 움직임 신호 추출 기능, 생체 신호 증폭 및 노이즈 필터링 기능, 감성상태(각성, 중립, 이완) 인지 기능을 기반으로 감성신호 처리 기술을 제공할 수 있다.
제1 전자 장치(100) 또는 제2 전자 장치(200)는 자율신경계 활동에 의해 나타나는 생리신호로부터 1001 그래프 내지 1009 그래프에서와 같이 대기 습도, GSR 변화 속도, 맥파, 피부 온도 및 외부음 주파수에 따라 다양한 값 예컨대 긴장, 긴장 완화, 쾌적, 상쾌, 예민, 우울, 불쾌, 안정 등의 감성 변화 추출을 수행할 수 있다.
도 11은 본 발명의 일실시 예에 따른 생체 신호 기반 장치 운용의 일예를 설명하기 위한 도면이다.
도 11을 참조하면, 본 발명의 제1 전자 장치(100) 또는 제2 전자 장치(200)는 음원 재생과 관련한 다양한 손동작에 따른 제어를 지원할 수 있다. 예컨대, 제1 전자 장치(100)를 착용한 착용자가 1101에서와 같이 엄지와 검지를 우측 방향으로 펴고 나머지 손가락을 접은 상태를 취하는 경우 제1 센서 모듈(110)은 그에 따른 근육 동작을 근전도 센서(112)와 적어도 하나의 보조 센서를 이용하여 검출할 수 있다. 그러면, 제1 전자 장치(100)는 1101 에서와 같은 손동작이 발생한 경우 현재 재생 중인 또는 재생 대기 중인 음원의 앞으로 감기 동작을 수행하도록 제어할 수 있다.
제1 전자 장치(100)를 착용한 착용자가 1103에서와 같이 엄지와 검지를 좌측 방향으로 펴고 나머지 손가락을 접은 상태를 취하는 경우 제1 센서 모듈(110)은 그에 따른 근육 동작을 근전도 센서(112)와 적어도 하나의 보조 센서를 이용하여 검출할 수 있다. 그러면, 제1 전자 장치(100)는 1103 에서와 같은 손동작이 발생한 경우 현재 재생 중인 또는 재생 대기 중인 음원의 뒤로 감기 동작을 수행하도록 제어할 수 있다.
제1 전자 장치(100)를 착용한 착용자가 1105에서와 같이 엄지를 굽히고 나머지 손가락을 펼친 상태를 취하는 경우 제1 센서 모듈(110)은 그에 따른 근육 동작을 근전도 센서(112)와 적어도 하나의 보조 센서를 이용하여 검출할 수 있다. 그러면, 제1 전자 장치(100)는 1105 에서와 같은 손동작이 발생한 경우 현재 재생 중인 음원의 정지 동작을 수행하도록 제어할 수 있다.
제1 전자 장치(100)를 착용한 착용자가 1107에서와 같이 엄지와 검지를 좌측 방향으로 펴고 나머지 손가락을 접은 상태에서 좌에서 우 방향으로 일정 각도만큼 회전 손목 운동을 취하는 경우 제1 센서 모듈(110)은 그에 따른 근육 동작을 근전도 센서(112)와 적어도 하나의 보조 센서를 이용하여 검출할 수 있다. 그러면, 제1 전자 장치(100)는 1107 에서와 같은 손동작이 발생한 경우 다음곡 선택 동작을 수행하도록 제어할 수 있다.
제1 전자 장치(100)를 착용한 착용자가 1109에서와 같이 엄지와 검지를 좌측 방향으로 펴고 나머지 손가락을 접은 상태에서 우에서 좌 방향의 손목 회전 운동을 취하는 경우 제1 센서 모듈(110)은 그에 따른 근육 동작을 근전도 센서(112)와 적어도 하나의 보조 센서를 이용하여 검출할 수 있다. 그러면, 제1 전자 장치(100)는 1109 에서와 같은 손동작이 발생한 경우 현재 이전 곡 선택 동작을 수행하도록 제어할 수 있다.
제1 전자 장치(100)를 착용한 착용자가 1111에서와 같이 주먹을 쥔 상태를 취하는 경우 제1 센서 모듈(110)은 그에 따른 근육 동작을 근전도 센서(112)와 적어도 하나의 보조 센서를 이용하여 검출할 수 있다. 그러면, 제1 전자 장치(100)는 1111 에서와 같은 손동작이 발생한 경우 중지된 또는 대기 중인 음원의 재생 동작을 수행하도록 제어할 수 있다.
제1 전자 장치(100)는 손동작에 대응하는 생체 신호를 제2 전자 장치(200)에 전달하여 상술한 1101 내지 1111에서 설명한 음원 재생 제어 동작을 제2 전자 장치(200)에서 수행하도록 제어할 수도 있다. 상술한 바와 같이 본 발명의 제1 전자 장치(100) 또는 제2 전자 장치(200)는 입력 인터페이스로서 제1 전자 장치(100)를 이용할 수 있다. 예컨대, 제1 전자 장치(100) 또는 제2 전자 장치(200)는 손가락 마디를 이용한 문자나 숫자 입력 기능, 게임 컨트롤러 기능, TV의 리모트 컨트롤 기능, 제스처 동작을 통하여 미디어 플레이어 동작 제어, 비접촉 3차원 멀티포인트(iPointer, ETH: Finger mouse) 입력 기능, 수화 인식 기능 등을 지원할 수 있다.
다양한 실시 예에 따르면, 제1 전자 장치(100)를 착용한 착용자가 특정 동작, 예를 들면 주먹을 3번 빠르게 쥐었단 피고 2번 느리게 쥐었단 핀 후 다시 한 빠르게 쥐었다 피는 동작을 하면, 제1 전자 장치(100)는 제2 전자 장치(200)에게 해당 동작에 대응하는 생체 신호를 전달하면서 제스처 언락(gesture unlock)을 요청할 수 있다. 그러면 제2 전자 장치(200)는 제스처 언락을 수행하여 제스처 처리 대기 상태를 가지고, 이에 대한 응답을 제1 전자 장치(100)에 전달할 수 있다. 제1 전자 장치(100)는 사용자에게 gesture 입력 대기 상태임을 진동이나, 정보 표시 또는 오디오 출력 등을 통해 알릴 수 있다. 제1 전자 장치(100)는 착용자 제스처 입력이 감지되면 그에 대응하는 생체 신호를 제2 전자 장치(200)에 전달하고, 제2 전자 장치(200)는 전달된 생체 신호의 패턴을 확인하여 그에 대응하는 처리를 수행할 수 있다.
제2 전자 장치(200)는 전달된 생체 신호 중 제스처 락 요청에 대응하는 패턴의 생체 신호가 전달되면, 제스처 락 상태를 설정할 수 있다. 제2 전자 장치(200)는 제스처 락 상태 변경을 제1 전자 장치(100)에 통보할 수 있다. 제1 전자 장치(100)는 제스처 락 상태 알림 및 제스처 대기 종료와 관련된 정보를 진동이나 표시 모듈 또는 오디오 모듈을 통해 출력할 수 있다. 다양한 실시 예에 따르면, 제1 전자 장치(100)는 문자나 전화가 왔을 경우, 해당 상태에 대한 진동을 출력할 수 있다.
제1 전자 장치(100)는 손의 동작 상태 인식을 위하여 중력에 의한 가속도를 동작 가속도로부터 분리하고 동작 특징을 증폭시키기 위해 임의의 시점T-1과 임의의 시점으로부터 일정 시간이 경과함 시점T, 두 시점의 윈도우에 해당하는 각 특징의 차이를 계산하여 T 시점 윈도우의 특징 값으로 사용할 수 있다. 사용자가 제1 전자 장치(100)를 가만히 있을 때 T 시점에서의 가속도 평균을 그대로 특징으로 사용할 경우 예컨대 3축의 값은 (x, y, z) = (0, 0, 9.8) 이 되지만, T-1과 T의 차이를 계산하면, (0, 0, 0)이 되어 감지되는 동작이 없을 수 있다.
특징 값을 확률기반 모델의 입력으로 사용하기 위해서 제1 전자 장치(100)는 심볼화(Quantization)를 수행한다. 각 심볼은 확률 네트워크의 입력노드 상태를 나타낸다. 제1 전자 장치(100)는 특징 값을 계산한 후에 비선형 분석방법을 적용하여 각각의 특징 값을 10개의 심볼 중 하나로 변환(Quantization)한다. 비제스처와 제스처는 특징 값의 분포가 다르기 때문에 제1 전자 장치(100)는 비선형적으로 분석하여 심볼화 한다. 제1 전자 장치(100)는 비제스처와 제스처에 해당하는 학습 데이터를 이용하여 각각의 특징 종류별로 최소값, 상위 25%, 상휘 50%, 상위 75%, 최대값에 해당하는 다섯 개의 기준 값을 추출한다. 추출한 기준 값은 비제스처/제스처 두 모델이 겹치는 구간에 집중되게 되어 분별력 있는 심볼을 생성할 수 있다. 다섯 개의 비제스처 기준 값과 다섯 개의 제스처 기준 값(합하여 10개의 기준 값)은 비선형적으로 특징 값을 심볼화 하며, 이렇게 변환된 10종류의 심볼들은 확률기반 모델의 증거 값으로 입력된다. 제1 전자 장치(100)는 제스처인식을 위한 세그먼테이션 모델과 인식모델에 DBN을 적용한다.
도 12는 본 발명의 일실시 예에 따른 생체 신호 기반 서비스 운용의 일예를 설명하기 위한 도면이다.
도 12를 참조하면, 본 발명의 서비스 운용 시스템은 제11 전자 장치(100a), 제21 전자 장치(200a), 제12 전자 장치(100b), 제22 전자 장치(200b)를 포함할 수 있다.
이와 같은 구성을 가지는 서비스 운용 시스템은 손목시계형 생체인식 장치인 제11 전자 장치(100a) 및 제12 전자 장치(100b)를 기반으로 사용자들(100_1, 100_2) 간의 접촉이 있을 경우 그 접촉에 따른 소리를 출력하도록 지원할 수 있다. 만약 제11 전자 장치(100a)를 착용한 제1 사용자(100_1)와 제12 전자 장치(100b)를 착용한 제2 사용자(100_2) 간의 접촉이 발생하면 제11 전자 장치(100a)와 제12 전자 장치(100b)들은 사용자들(100_1, 100_2)의 몸을 통한 전자의 교환을 감지한다. 예컨대, 제11 전자 장치(100a)와 제12 전자 장치(100b)들은 전류를 발생시키는 피부 반응 정도를 측정할 수 있다. 그러면, 제11 전자 장치(100a)와 제12 전자 장치(100b)가 수집한 피부 반응 정도는 제21 전자 장치(200a) 및 제22 전자 장치(200b)의 사운드 소프트웨어에 업로드 될 수 있다. 최종적으로 사운드 소프트웨어에 전달된 정보 즉, 사용자들(100_1, 100_2)의 접촉에 따른 소리가 제21 전자 장치(200a) 또는 제22 전자 장치(200b)에서 출력될 수 있다.
한편 사용자들(100_1, 100_2)의 접촉에 따른 소리 처리를 제11 전자 장치(100a)와 제12 전자 장치(100b)에서 수행되고 제11 전자 장치(100a)와 제12 전자 장치(100b)를 통해 출력될 수도 있다. 이 과정에서 제11 전자 장치(100a)의 표시 바디(140a) 및 제12 전자 장치(100b)의 표시 바디(140b)에는 각각 사용자들(100_1, 100_2) 간의 접촉에 따른 오디오 출력에 대응하는 정보가 표시될 수 있다.
도 13은 본 발명의 일실시 예에 따른 생체 신호 기반 서비스 운용 과정에서 제공될 수 있는 화면 인터페이스의 일예를 설명하기 위한 도면이다.
도 13을 참조하면, 제1 전자 장치(100)는 ECG(Electrocardiography), 혈압, 산소포화도(SpO2) 중 적어도 하나의 생체 신호를 제1 센서 모듈(110)을 이용하여 검출할 수 있다. 그리고 제1 전자 장치(100)는 수집된 생체 신호를 처리하여 그에 따른 화면 인터페이스를 1301 화면, 1303 화면, 1305 화면에서와 같이 제1 표시 모듈(140)에 출력할 수 있다. 여기서 1301 화면은 ECG 검출 결과를 출력한 화면일 수 있다. 1303 화면은 혈압 검출 결과를 출력한 화면일 수 있다. 1305 화면은 산소포화도(SpO2) 검출 결과를 출력한 화면일 수 있다.
한편, 제1 전자 장치(100)는 수집된 생체 신호를 제2 전자 장치(200)에 전달할 수 있다. 이에 따라, 1301 화면, 1303 화면, 1305 화면 등은 제2 전자 장치(200)의 제2 표시 모듈(240)을 통해 출력되는 화면일 수도 있다.
도 14는 본 발명의 일실시 예에 따른 생체 신호 기반 서비스 운용 과정에서 제공될 수 있는 화면 인터페이스의 다른 일예를 설명하기 위한 도면이다.
도 14를 참조하면, 제1 전자 장치(100)는 심박수를 검출과 관련한 생체 신호를 검출할 수 있다. 이때, 제1 전자 장치(100)는 근전도 센서(112)와 광학 센서(113)를 이용하여 요골 동맥 및 요골 동맥에 인접한 근육들의 움직임 검출을 수행할 수 있다. 제1 전자 장치(100)는 검출된 생체 신호를 기반으로 심박수를 검출하고, 검출된 심박수를 1401 화면에서와 같이 그래픽 요소가 주요로 배치된 화면 인터페이스를 제1 표시 모듈(140)에 출력할 수 있다. 또는 제1 전자 장치(100)는 검출된 심박수를 1403 화면에서와 같이 텍스트 요소가 주요로 배치된 화면 인터페이스를 제1 표시 모듈(140)에 출력할 수 있다. 1401 화면 또는 1403 화면 등은 사용자 선택에 따라 조정될 수 있다.
한편, 제1 전자 장치(100)는 심박수 정보를 제2 전자 장치(200)에 전달할 수 있다. 이에 따라, 1401 화면 및 1403 화면은 제2 표시 모듈(240)을 통해 출력될 수도 있다.
도 15는 본 발명의 일실시 예에 따른 생체 신호 기반 서비스 운용 과정에서 제공될 수 있는 화면 인터페이스의 또 다른 일예를 설명하기 위한 도면이다.
도 15를 참조하면, 제1 전자 장치(100) 착용자의 스트레스 지수 정보를 출력하는 화면 인터페이스의 일예를 나타낸 것이다. 예컨대, 1501 화면은 제1 전자 장치(100) 착용자의 검출된 스트레스 지수를 텍스트 위주로 제공하는 화면 인터페이스일 수 있다. 1503 화면은 제1 전자 장치(100) 착용자의 검출된 스트레스 지수를 이미지 위주로 구성한 화면 인터페이스일 수 있다. 제1 전자 장치(100)는 제1 표시 모듈(140)을 통하여 스트레스 지수와 관련한 1501 화면 또는 1503 화면 중 어느 하나의 화면을 출력할 수 있다.
한편, 제1 전자 장치(100)는 제1 센서 모듈(110)을 통해 수집된 생체 신호를 제2 전자 장치(200)에 전달할 수 있다. 이에 따라, 제2 전자 장치(200)는 수신된 생체 신호를 기준으로 제1 전자 장치(100) 착용자의 스트레스 지수를 검출할 수 있다. 이에 따라, 제2 전자 장치(200)는 제1 전자 장치(100) 착용자의 스트레스 지수와 관련한 1501 화면 또는 1503 화면을 제2 표시 모듈(240)을 통해 출력할 수도 있다.
도 16은 본 발명의 일실시 예에 따른 제1 전자 장치 운용 방법을 설명하기 위한 도면이다.
도 16을 참조하면, 본 발명의 제1 전자 장치 운용 방법은 1601 과정에서 제1 전자 장치(100)에 전원 공급이 수행될 수 있다. 1603 과정에서 제1 전자 장치(100)의 제1 장치 제어 모듈(160)은 생체 신호 수집 이벤트가 발생하는지 확인할 수 있다. 제1 장치 제어 모듈(160)은 기 설정된 스케줄 정보에 따라 또는 입력 이벤트 또는 제2 전자 장치(200)의 요청에 대응하여 제1 센서 모듈(110) 및 제2 센서 모듈(120) 중 적어도 하나의 센서를 활성화할 수 있다. 이와 관련하여, 제1 장치 제어 모듈(160)은 생체 신호 수집과 관련한 아이콘이나 메뉴 항목을 출력할 수 있다.
1603 단계에서 생체 신호 수집 이벤트 발생이 없으면 제1 장치 제어 모듈(160)은 1605 과정에서 발생된 이벤트 종류에 따른 특정 기능 수행을 제어할 수 있다. 예컨대, 제1 장치 제어 모듈(160)은 시계 기능, 통화 걸기 기능, 만보기 기능 등 입력된 이벤트에 대응하는 특정 기능을 활성화하도록 제어할 수 있다. 또는 제1 장치 제어 모듈(160)은 이전에 수행 중이던 기능을 유지하도록 제어할 수 있다.
1603 과정에서 생체 신호 수집 이벤트가 발생하면, 제1 장치 제어 모듈(160)은 1607 과정에서 생체 신호 관련 기능을 수행할 수 있다. 일실시 예에 따르면, 제1 장치 제어 모듈(160)은 제1 센서 모듈(110) 또는 제2 센서 모듈(120)로부터 일시적으로 또는 일정 주기에 따라, 또는 실시간으로 생체 신호를 수신할 수 있다. 제1 장치 제어 모듈(160)은 수신된 생체 신호를 분석하고, 분석 결과에 따라 생체 신호 관련 기능을 수행할 수 있다. 예컨대, 제1 장치 제어 모듈(160)은 생체 신호 관련 기능으로서, 활성산소 측정 기능, 혈압 검색 기능, 저혈압 알림 기능, 뇌출혈이나 심근경색 예지신호 감지 경고 기능, 혈관 측정 기능, 맥파 기반 스트레스 측정 기능, 약복용 도우미 기능, 낙상 감지 기능, 활동 감지 기능, 심박수 측정 기능, 독거 노인 모니터링 기능, 코골이 방지 기능, 레시피 제공 기능, 안전운전 도우미 또는 졸음운전 방지 기능, 후각센서를 이용한 환경 이상상태의 감지 기능, 미각 센서를 이용한 몸에서 분비되는 땀이나 습기 또는 분비물 측정 기능, 명함인식 기능 (PAN), 골전도 전화기 기능, 정전기 방지 기능, 생체인식을 통한 감정인식 서비스 기능, 파킨슨병 진단 기능, 거짓말 탐지기능, 가속도 센서를 이용한 테니스 스윙 인식 기능, Fieldwork 기능, 홈 네트워크 기능, U-Themepark Service 기능, ComMotion 기능, Shopping Assistant 기능, Cyberguide 기능, Conference Assistant 기능, People & Object Pager 기능, Grap으로 모체 기기의 데이터 전달 기능 등의 수행을 지원할 수 있다.
한편, 제1 장치 제어 모듈(160)은 생체 신호 관련 기능 지원과 관련하여 수집된 생체 신호를 제2 전자 장치(200)에 전달할 수 있다. 이와 관련하여, 제1 장치 제어 모듈(160)은 제2 전자 장치(200)와 통신 채널을 형성하고, 수집된 생체 신호를 제2 전자 장치(200)에 전송할 수 있다. 제1 장치 제어 모듈(160)은 제2 전자 장치(200)로부터 생체 신호 관련 서비스 정보를 수신하면, 이를 제1 표시 모듈(140)이나 진동 모듈(180) 또는 제1 오디오 모듈(170) 중 적어도 하나를 이용하여 출력할 수 있다.
제1 장치 제어 모듈(160)은 1609 과정에서 기능 종료와 관련한 이벤트 발생이 있는지 확인할 수 있다. 이 과정에서 기능 종료 관련 이벤트 발생이 없으면 제1 장치 제어 모듈(160)은 1603 과정 이전으로 분기하여 이하 과정의 재수행을 지원할 수 있다. 또는 제1 장치 제어 모듈(160)은 1607 과정 이전으로 분기하여 특정 생체 신호 관련 기능 수행을 지원할 수 있다. 한편, 제1 장치 제어 모듈(160)은 1609 과정에서 기능 종료 관련 이벤트가 발생하면 생체 신호 관련 기능을 종료하도록 제어할 수 있다. 그리고 제1 장치 제어 모듈(160)은 생체 신호 관련 기능 수행 이전에 수행되던 기능으로 복귀하도록 제어하거나, 대기 화면 상태로 전환되도록 제어할 수 있다. 일실시 예에 따르면, 제1 장치 제어 모듈(160)은 제1 전자 장치(100)의 기본 기능 예컨대 시계 기능 수행을 지원할 수 있다.
도 17은 본 발명의 일실시 예에 따른 제2 전자 장치의 운용 방법을 설명하기 위한 도면이다.
도 17을 참조하면, 본 발명의 일실시 예에 따른 제2 전자 장치 운용 방법은 1701 과정에서 제2 장치 제어 모듈(260)이 통합 앱(251) 실행과 관련한 이벤트가 발생하는지 확인할 수 있다. 이와 관련하여, 제2 장치 제어 모듈(260)은 통합 앱(251) 실행과 관련 아이콘이나 메뉴 항목을 출력하도록 제어할 수 있다. 또는 제2 장치 제어 모듈(260)은 제1 전자 장치(100)로부터 통합 앱(251) 실행을 요청하는 이벤트를 수신할 수도 있다. 또는 제2 장치 제어 모듈(260)은 사전 정의된 스케줄 이벤트에 대응하여 자동으로 통합 앱(251)을 실행할 수도 있다.
1701 과정에서 발생된 이벤트가 통합 앱(251) 실행과 관련이 없는 경우 제2 장치 제어 모듈(260)은 1703 과정에서 발생된 이벤트에 대응하는 기능 수행을 제어할 수 있다. 예컨대, 제2 장치 제어 모듈(260)은 특정 음원을 재생하는 기능, 방송 수신 기능, 파일 편집 기능 등 발생된 이벤트에 대응하는 기능 수행을 제어할 수 있다. 또는 제2 장치 제어 모듈(260)은 이전 제2 전자 장치(200) 상태를 유지하도록 제어할 수 있다.
1701 과정에서 통합 앱(251) 실행과 관련한 이벤트가 발생하면, 제2 장치 제어 모듈(260)은 1705 과정에서 제1 전자 장치(100)와 통신 채널 형성을 수행할 수 있다. 제2 장치 제어 모듈(260)은 1707 과정에서 제1 전자 장치(100)로부터 생체 신호를 수집할 수 있다. 이 과정에서 제2 장치 제어 모듈(260)은 제1 전자 장치(100)에 특정 생체 신호를 요청할 수 있다. 또는 제2 장치 제어 모듈(260)은 제1 전자 장치(100)가 제공하는 생체 신호를 수집하고, 그에 대응하는 통합 앱(251)을 활성화할 수 있다.
제2 장치 제어 모듈(260)은 수집된 생체 신호를 이용하여 1709 과정에서 수집 신호 기반 서비스 기능 처리를 수행할 수 있다. 예컨대, 제2 장치 제어 모듈(260)은 활성산소정보 제공 기능, 혈압정보 제공 기능, 저혈압 알림 기능, 뇌출혈이나 심근경색 예지신호 경고 기능, 혈관 측정정보 제공 기능, 맥파 기반 스트레스 정보 제공 기능, 약복용 도우미 기능, 낙상 감지 기능, 활동 감지 기능, 심박수 정보 제공 기능, 독거 노인 모니터링 기능, 코골이 방지 기능, 레시피 제공 기능, 안전운전 도우미 또는 졸음운전 방지 기능, 후각센서가 수집한 생체 신호 기반의 환경 이상상태 정보 제공 기능, 미각 센서가 수집한 생체 신호 기반의 땀이나 습기 또는 분비물 정보 제공 기능, 명함인식 기능 (PAN), 골전도 전화기 지원 기능, 생체인식을 통한 감정인식 서비스 기능, 파킨슨병 정보 제공 기능, 거짓말 탐지 정보 제공 기능, 가속도 센서를 이용한 테니스 스윙 인식 지원 기능, Fieldwork 지원 기능, 홈 네트워크 지원 기능, U-Themepark Service 지원 기능, ComMotion 지원 기능, Shopping Assistant 지원 기능, Cyberguide 지원 기능, Conference Assistant 지원 기능, People & Object Pager 지원 기능, Grap으로 모체 기기의 데이터 전달 지원 기능 등의 수행을 지원할 수 있다. 제2 장치 제어 모듈(260)은 생체 신호를 제1 전자 장치(100)로부터 수신하고, 이와 관련된 특정 기능을 통합 앱(251)을 기반으로 지원할 수 있다. 이 과정에서 제2 장치 제어 모듈(260)은 서비스 정보의 수집이 필요한 경우 통신망(300)을 통하여 서버 장치(400) 접속을 수행하고, 서버 장치(400)로부터 특정 서비스 정보를 수집할 수 있다. 제2 장치 제어 모듈(260)은 수집된 서비스 정보를 제1 전자 장치(100)에 전송할 수도 있다.
제2 장치 제어 모듈(260)은 1711 과정에서 기능 종료 관련 이벤트 발생이 있는지 확인할 수 있다. 이 과정에서 제2 장치 제어 모듈(260)은 기능 종료 관련 이벤트 발생이 없으면, 1707 과정 이전으로 분기하여 이하 과정을 재수행하거나 또는 1709 과정 수행을 지원할 수 있다. 제2 장치 제어 모듈(260)은 기능 종료 관련 이벤트 발생이 있으면, 통합 앱 실행을 중지할 수 있다. 그리고 제2 장치 제어 모듈(260)은 제1 전자 장치(100)와 형성된 통신 채널을 해제하도록 제어할 수 있다. 제2 장치 제어 모듈(260)은 제2 전자 장치(200)에서 이전 수행된 특정 기능으로 복귀하도록 제어하거나 대기 화면 상태, 락스크린 화면 상태, 슬립 상태 등으로 천이하도록 제어할 수 있다.
이상에서 설명한 바와 같이 본 발명의 일실시 예에 따른 생체 신호 기반 기능 운용 방법 및 이를 지원하는 전자 장치는 근전도 센서와 보조 센서를 기반으로 손목에서의 생체 신호를 수집할 수 있다. 이에 따라, 제1 전자 장치(100)는 정밀한 생체 신호 수집을 수행할 수 있다. 또한 제1 전자 장치(100)는 손목에 밀착형으로 마련되어 생체 신호 검출을 명확히 할 수 있다. 또한 제1 전자 장치(100)는 다양한 센서들을 마련하고, 복합적인 생체 신호를 수집함으로써, 수집된 생체 신호를 기반으로 하는 다양한 생체 신호 관련 서비스를 지원할 수 있다.
다양한 실시 예에 따르면, 본 발명의 일실시 예에 따른 생체 신호 기반 전자 장치의 기능 운용 방법은 손목에 배치된 제1 전자 장치(100)가 생체 조직의 상태에 따른 생체 신호를 근전도 센서(112) 및 보조 센서를 이용하여 수집하는 과정, 수집된 생체 신호와 관련된 정보를 상기 제1 전자 장치(100)의 제1 표시 모듈(140)에 출력하는 과정을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 수집하는 과정은 상기 제1 전자 장치(100)에 설정된 스케줄 이벤트 또는 입력 이벤트에 대응하여 생체 신호를 수집하는 과정, 상기 제1 전자 장치(100)와 통신 채널을 형성하는 제2 전자 장치(200)로부터 생체 신호 수집 요청을 수신하는 과정 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 수집하는 과정은 상기 손목에 배치된 수지신근 또는 소지신근 중 적어도 하나의 상태를 감지하는 과정, 상기 손목에 배치된 요골 동백 또는 척골 동맥 중 적어도 하나의 상태를 감지하는 과정 중 적어도 하나의 과정을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 수집하는 과정은 상기 근전도 센서(112)의 센싱 정보를 수집하는 과정, 상기 손목에 배치된 혈관 또는 근육의 상태를 감지하는 음향 진동 센서(111)의 센싱 정보, 광학 센서(113)의 센싱 정보, 압력 센서(115)의 센싱 정보, 홀 센서(114)의 센싱 정보, 상기 손목 움직임에 따른 신호를 수집하는 가속도 센서(116)의 센싱 정보 중 적어도 하나를 수집하는 과정을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 방법은 착용자의 분비물 검출을 수행하는 미각 센서(121)의 센싱 정보를 수집하는 과정, 착용자 주변 환경의 냄새 정보를 수집하는 후각 센서(123)의 센싱 정보를 수집하는 과정 중 적어도 하나의 과정을 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 방법은 상기 수집된 생체 신호를 제2 전자 장치(200)에 전송하는 과정, 상기 제2 전자 장치(200)로부터 상기 생체 신호와 관련된 서비스 정보를 수신하는 과정 중 적어도 하나의 과정을 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 생체 신호를 제2 전자 장치(200)가 수신하는 과정, 상기 수신된 생체 신호와 관련한 서비스 정보를 제2 전자 장치(200)의 제2 표시 모듈(240)에 출력하는 과정을 더 포함할 수 있다.
상기 제1 저장 모듈(150) 또는 제2 저장 모듈(250)은 예를 들면, 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비휘발성 메모리(non-volatile Memory, 예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다.
한 실시 예에 따르면, 상기 제1 저장 모듈(150) 또는 제2 저장 모듈(250)은 Solid State Drive(SSD), flash drive, 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 Memory Stick 등을 더 포함할 수 있다. 상기 제2 전자 장치(200)는 하드 드라이브와 같은 저장 장치(또는 저장 매체)를 더 포함할 수 있다.
본 발명에 따른 전자 장치의 전술한 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자장치의 종류에 따라서 달라질 수 있다. 본 발명에 따른 전자 장치는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 본 발명에 따른 전자 장치의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
본 발명에 사용된 용어 “모듈”은, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. “모듈”은 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. “모듈”은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. “모듈”은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. “모듈”은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, 본 발명에 따른 “모듈”은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예들에 따르면, 본 발명에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그래밍 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어는, 하나 이상의 프로세서에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 상기 메모리나 저장 모듈이 될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는, 예를 들면, 상기 프로세서에 의해 구현(implement)(예: 실행)될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 또는 프로세스 등을 포함할 수 있다.
상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령(예: 프로그래밍 모듈)을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
본 발명에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 발명에 따른 모듈, 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
그리고 본 명세서와 도면에 개시된 실시 예들은 본 발명의 내용을 쉽게 설명하고, 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 제1 전자 장치 110 : 제1 센서 모듈
120 : 제2 센서 모듈 140 : 제1 표시 모듈
150 : 제1 저장 모듈 160 : 제1 장치 제어 모듈
170 : 제1 오디오 모듈 180 : 진동 모듈
190 : 제1 통신 모듈 200 : 제2 전자 장치
220 : 입력 모듈 240 : 제2 표시 모듈
250 : 제2 저장 모듈 260 : 제2 장치 제어 모듈
270 : 제2 오디오 모듈 290 : 제2 통신 모듈
300 : 통신망 400 : 서버 장치

Claims (19)

  1. 손목에 배치된 근육의 상태를 감지하는 근전도 센서 및 상기 손목에 배치된 생체 조직의 상태에 대한 생체 신호를 센싱하는 보조 센서를 포함하는 제1 센서 모듈;
    상기 제1 센서 모듈이 수집한 생체 신호와 관련한 정보를 출력하는 제1 표시 모듈;
    상기 제1 센서 모듈의 제어와 상기 정보 출력을 제어하는 제1 장치 제어 모듈;을 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 제1 센서 모듈이
    상기 손목에 배치된 수지신근 또는 소지신근 중 적어도 하나의 상태를 감지하는 전자 장치.
  3. 제1항에 있어서,
    상기 제1 센서 모듈이
    상기 손목에 배치된 요골 동백 또는 척골 동맥 중 적어도 하나의 상태를 감지하는 전자 장치.
  4. 제1항에 있어서,
    상기 보조 센서가
    상기 손목에 배치된 혈관 또는 근육의 상태를 감지하는 음향 진동 센서, 광학 센서, 압력 센서, 홀 센서, 상기 손목 움직임에 따른 신호를 수집하는 가속도 센서 중 적어도 하나를 포함하는 전자 장치.
  5. 제1항에 있어서,
    착용자의 분비물 검출을 수행하는 미각 센서 또는 착용자 주변 환경의 냄새 정보를 수집하는 후각 센서 중 적어도 하나를 포함하는 제2 센서 모듈;을 더 포함하는 전자 장치.
  6. 제1항에 있어서,
    상기 전자 장치가 상기 제1 표시 모듈과 상기 제1 장치 제어 모듈이 포함된 표시 바디와, 상기 표시 바디의 양측에서 연결된 연결 바디;를 포함하고
    상기 제1 센서 모듈이 상기 표시 바디와 연결되는 연결 바디의 가장 자리 중 손목과 대면되는 면에 적어도 하나의 센서가 배치되는 전자 장치.
  7. 제1항에 있어서,
    상기 수집된 생체 신호를 제2 전자 장치에 전송하기 위한 제1 통신 모듈;을 더 포함하는 전자 장치.
  8. 제7항에 있어서,
    상기 제1 통신 모듈이
    상기 제2 전자 장치로부터 상기 생체 신호와 관련된 서비스 정보를 수신하는 전자 장치.
  9. 제1항에 있어서,
    상기 제1 표시 모듈이
    상기 생체 신호 중 심전도, 심박수, 혈액의 산소포화도 또는 혈압에 관한 정보, 생체 신호의 맥파 관련 스트레스 지수 관련 정보 중 적어도 하나를 텍스트 또는 이미지 중 적어도 하나로 출력하는 전자 장치.
  10. 손목에 배치된 생체 조직 상태에 대한 생체 신호를 검출하는 근전도 센서 및 보조 센서를 포함하는 제1 센서 모듈이 수집한 생체 신호를 수신하는 제2 통신 모듈;
    상기 수신된 생체 신호와 관련한 서비스 정보 출력을 수행하는 제2 표시 모듈;
    상기 생체 신호의 수집과 상기 서비스 정보의 출력을 제어하는 제2 장치 제어 모듈;을 포함하는 전자 장치.
  11. 제10항에 있어서,
    상기 생체 신호가
    상기 손목에 배치된 수지신근 또는 소지신근 중 적어도 하나의 상태에 대한 생체 신호, 상기 손목에 배치된 요골 동백 또는 척골 동맥 중 적어도 하나의 상태에 대한 생체 신호를 포함하는 전자 장치.
  12. 제10항에 있어서,
    상기 생체 신호가
    상기 손목에 배치된 혈관 또는 근육의 상태에 해당하는 음향 진동 센서의 센싱 정보, 광학 센서의 센싱 정보, 압력 센서의 센싱 정보, 홀 센서의 센싱 정보, 상기 손목 움직임에 따른 신호를 수집하는 가속도 센서의 센싱 정보, 착용자의 분비물 검출을 수행하는 미각 센서의 센싱 정보 또는 착용자 주변 환경의 냄새 정보를 수집하는 후각 센서의 센싱 정보 중 적어도 하나를 포함하는 전자 장치.
  13. 손목에 배치된 제1 전자 장치가 생체 조직의 상태에 따른 생체 신호를 근전도 센서 및 보조 센서를 이용하여 수집하는 과정;
    수집된 생체 신호와 관련된 정보를 상기 제1 전자 장치의 제1 표시 모듈에 출력하는 과정;을 포함하는 생체 신호 기반 전자 장치의 기능 운용 방법.
  14. 제13항에 있어서,
    상기 수집하는 과정이
    상기 제1 전자 장치에 설정된 스케줄 이벤트 또는 입력 이벤트에 대응하여 생체 신호를 수집하는 과정;
    상기 제1 전자 장치와 통신 채널을 형성하는 제2 전자 장치로부터 생체 신호 수집 요청을 수신하는 과정; 중 적어도 하나의 과정을 포함하는 생체 신호 기반 전자 장치의 기능 운용 방법.
  15. 제13항에 있어서,
    상기 수집하는 과정이
    상기 손목에 배치된 수지신근 또는 소지신근 중 적어도 하나의 상태를 감지하는 과정;
    상기 손목에 배치된 요골 동백 또는 척골 동맥 중 적어도 하나의 상태를 감지하는 과정; 중 적어도 하나의 과정을 포함하는 생체 신호 기반 전자 장치의 기능 운용 방법.
  16. 제13항에 있어서,
    상기 수집하는 과정이
    상기 근전도 센서의 센싱 정보를 수집하는 과정;
    상기 손목에 배치된 혈관 또는 근육의 상태를 감지하는 음향 진동 센서의 센싱 정보, 광학 센서의 센싱 정보, 압력 센서의 센싱 정보, 홀 센서의 센싱 정보, 상기 손목 움직임에 따른 신호를 수집하는 가속도 센서의 센싱 정보 중 적어도 하나를 수집하는 과정;을 포함하는 생체 신호 기반 전자 장치의 기능 운용 방법.
  17. 제13항에 있어서,
    착용자의 분비물 검출을 수행하는 미각 센서의 센싱 정보를 수집하는 과정;
    착용자 주변 환경의 냄새 정보를 수집하는 후각 센서의 센싱 정보를 수집하는 과정; 중 적어도 하나의 과정을 더 포함하는 생체 신호 기반 전자 장치의 기능 운용 방법.
  18. 제13항에 있어서,
    상기 수집된 생체 신호를 제2 전자 장치에 전송하는 과정;
    상기 제2 전자 장치로부터 상기 생체 신호와 관련된 서비스 정보를 수신하는 과정; 중 적어도 하나의 과정을 더 포함하는 생체 신호 기반 전자 장치의 기능 운용 방법.
  19. 제13항에 있어서,
    상기 생체 신호를 제2 전자 장치가 수신하는 과정;
    상기 수신된 생체 신호와 관련한 서비스 정보를 제2 전자 장치의 제2 표시 모듈에 출력하는 과정;을 더 포함하는 생체 신호 기반 전자 장치의 기능 운용 방법.
KR1020130166422A 2013-12-30 2013-12-30 생체 신호 기반 기능 운용 방법 및 이를 지원하는 전자 장치 KR20150077684A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130166422A KR20150077684A (ko) 2013-12-30 2013-12-30 생체 신호 기반 기능 운용 방법 및 이를 지원하는 전자 장치
US14/571,887 US20150182160A1 (en) 2013-12-30 2014-12-16 Function operating method based on biological signals and electronic device supporting the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130166422A KR20150077684A (ko) 2013-12-30 2013-12-30 생체 신호 기반 기능 운용 방법 및 이를 지원하는 전자 장치

Publications (1)

Publication Number Publication Date
KR20150077684A true KR20150077684A (ko) 2015-07-08

Family

ID=53480472

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130166422A KR20150077684A (ko) 2013-12-30 2013-12-30 생체 신호 기반 기능 운용 방법 및 이를 지원하는 전자 장치

Country Status (2)

Country Link
US (1) US20150182160A1 (ko)
KR (1) KR20150077684A (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101722389B1 (ko) * 2015-10-23 2017-04-04 리모트솔루션주식회사 실내 공기 감지 센서가 탑재된 양방향 rf 리모컨
KR20180016466A (ko) * 2015-07-11 2018-02-14 홍선기 운동 선수가 착용하는 보호대와 연동하여 운동 선수의 상태를 관리하는 선수 관리 장치, 선수 관리 시스템 및 이를 이용한 선수 관리 방법
US9977509B2 (en) 2015-11-20 2018-05-22 Samsung Electronics Co., Ltd. Gesture recognition method, apparatus and wearable device
KR101869801B1 (ko) * 2017-07-07 2018-06-21 계명대학교 산학협력단 최적의 야외활동을 위한 생활환경 안전 지수 서비스 제공 시스템 및 방법
US10049183B2 (en) 2016-03-18 2018-08-14 Samsung Electronics Co., Ltd. Method for analyzing health signal to respond to infectious disease and apparatus thereof
KR102179791B1 (ko) 2019-05-14 2020-11-17 영남대학교 산학협력단 이종 네트워크의 공존을 위한 듀티 사이클 조정 장치 및 방법, 그 방법을 수행하기 위한 기록 매체
KR20200134384A (ko) * 2019-05-21 2020-12-02 주식회사 케즈 바이오 센싱을 통한 지능형 위급상황 알림 스마트밴드
KR20200134798A (ko) * 2019-05-23 2020-12-02 (주)에드플러스 부착형 영유아 모니터링 디바이스 및 모니터링 시스템
KR20220001353A (ko) * 2020-06-29 2022-01-05 한전케이디엔주식회사 시맨틱 웹 기반의 헬스 케어 정보 관리 방법
US11696727B2 (en) 2020-06-15 2023-07-11 Samsung Electronics Co., Ltd. Foldable electronic device and method of estimating bio-information using the same
WO2023153604A1 (ko) * 2022-02-11 2023-08-17 (주)돌봄드림 생체 정보에 기반한 심리 상태 케어 방법 및 이를 수행하는 장치

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
WO2015121949A1 (ja) * 2014-02-13 2015-08-20 富士通株式会社 信号処理装置、信号処理方法及び信号処理プログラム
JP6537780B2 (ja) * 2014-04-09 2019-07-03 日立オートモティブシステムズ株式会社 走行制御装置、車載用表示装置、及び走行制御システム
JP6494926B2 (ja) * 2014-05-28 2019-04-03 京セラ株式会社 携帯端末、ジェスチャ制御プログラムおよびジェスチャ制御方法
JP5991498B2 (ja) * 2014-07-08 2016-09-14 パナソニックＩｐマネジメント株式会社 筋電位計測装置及び筋電位計測方法
WO2016077489A1 (en) * 2014-11-11 2016-05-19 Innovaura Corporation Heart rate monitor
CN107111683B (zh) 2014-11-19 2021-07-23 耐克创新有限合伙公司 具有可移除模块的运动带
CN104376100B (zh) * 2014-11-25 2018-12-18 北京智谷睿拓技术服务有限公司 搜索方法及装置
US10009117B2 (en) * 2014-12-26 2018-06-26 Intel Corporation Data storage, input, and output for human body communication
US10362944B2 (en) 2015-01-19 2019-07-30 Samsung Electronics Company, Ltd. Optical detection and analysis of internal body tissues
US20160213560A1 (en) * 2015-01-20 2016-07-28 Renata Sturdivant Automated cardiopulmonary resuscitation (cpr) device
US9338627B1 (en) * 2015-01-28 2016-05-10 Arati P Singh Portable device for indicating emergency events
US10542961B2 (en) 2015-06-15 2020-01-28 The Research Foundation For The State University Of New York System and method for infrasonic cardiac monitoring
KR101939774B1 (ko) * 2015-07-15 2019-01-17 삼성전자주식회사 웨어러블 디바이스 및 웨어러블 디바이스의 동작 방법.
US20180228448A1 (en) * 2015-08-07 2018-08-16 Seiko Epson Corporation Information processing system, information processing device, terminal device, and information processing method
CN105137795A (zh) * 2015-08-31 2015-12-09 成都科创城科技有限公司 采用无线充电手环的智能家居混合能源供电的采集装置
CN106506886B (zh) * 2015-09-08 2020-01-24 阿里巴巴集团控股有限公司 获得服务、操作执行以及信息传输方法、设备及系统
CN105224083B (zh) * 2015-09-25 2018-08-31 联想(北京)有限公司 一种信息处理方法及电子设备
US20170115726A1 (en) * 2015-10-22 2017-04-27 Blue Goji Corp. Incorporating biometric data from multiple sources to augment real-time electronic interaction
US10045096B2 (en) 2015-11-06 2018-08-07 International Business Machines Corporation Social media modification of behavior and mobile screening for impairment
CN106856488B (zh) * 2015-12-08 2020-03-31 阿里巴巴集团控股有限公司 一种场景感知及提供服务的方法及装置
CN108475461A (zh) * 2015-12-30 2018-08-31 3M创新有限公司 电子坠落事件通信系统
US11281301B2 (en) * 2016-02-03 2022-03-22 Flicktek Ltd Wearable controller for wrist
JP2017153875A (ja) * 2016-03-04 2017-09-07 セイコーエプソン株式会社 生体情報測定装置および生体情報測定方法
US9610036B1 (en) * 2016-03-04 2017-04-04 The Boeing Company Quantifying muscle and tendon fatigue during physical exertion
CN106037801A (zh) * 2016-06-27 2016-10-26 麦克思商务咨询(深圳)有限公司 穿戴式超声波诊断设备
WO2018001840A1 (en) 2016-06-29 2018-01-04 Koninklijke Philips N.V. Method and device for health devices and wearable/implantable devices
US10440450B2 (en) * 2016-07-14 2019-10-08 Massachusetts Institute Of Technology System and methods for dynamic power usage and data transfer rate management in a sensor network
CN106060768A (zh) * 2016-07-18 2016-10-26 华南理工大学 一种电子名片自动交互系统及方法
KR20180009979A (ko) 2016-07-20 2018-01-30 삼성전자주식회사 장치간 보안 동기화 및 페이링을 위한 방법 및 이를 지원하는 장치
WO2018022602A1 (en) * 2016-07-25 2018-02-01 Ctrl-Labs Corporation Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
JP6750367B2 (ja) * 2016-07-25 2020-09-02 セイコーエプソン株式会社 血圧測定装置および血圧測定方法
WO2020112986A1 (en) 2018-11-27 2020-06-04 Facebook Technologies, Inc. Methods and apparatus for autocalibration of a wearable electrode sensor system
US20180103906A1 (en) * 2016-10-17 2018-04-19 CU Wellness, Inc. Multifunction buckle for a wearable device
US20180103901A1 (en) * 2016-10-17 2018-04-19 CU Wellness, Inc. Multifunction modular strap for a wearable device
KR102038120B1 (ko) * 2016-12-02 2019-10-30 피손 테크놀로지, 인크. 신체 조직 전기 신호의 검출 및 사용
WO2018111216A1 (en) * 2016-12-12 2018-06-21 Ford Motor Company Anti-vibration driver assist
JP6922313B2 (ja) * 2017-03-24 2021-08-18 富士フイルムビジネスイノベーション株式会社 画像形成装置及びプログラム
WO2018176320A1 (zh) * 2017-03-30 2018-10-04 深圳市欸阿技术有限公司 智能镜架及人机交互控制方法
JP7001709B2 (ja) 2017-04-12 2022-02-04 ナイキ イノベイト シーブイ 取り外し可能なモジュールを有する着用可能な物品
EP3610350A1 (en) * 2017-04-12 2020-02-19 Nike Innovate C.V. Wearable article with removable module
US10595792B2 (en) * 2017-06-11 2020-03-24 Fetal Life Llc Tocodynamometer GPS alert system
CN107566583A (zh) * 2017-09-27 2018-01-09 京东方科技集团股份有限公司 一种用于体征监测的手机支架和体征监测方法
CN112040858A (zh) 2017-10-19 2020-12-04 脸谱科技有限责任公司 用于识别与神经肌肉源信号相关的生物结构的系统和方法
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
CN108309308B (zh) * 2018-02-06 2019-05-28 吉林大学 一种辅导心血管疾病运动康复的装置及系统
EP3563759A1 (en) * 2018-05-01 2019-11-06 Koninklijke Philips N.V. Apparatus for determining a stress and/or pain level
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
CN108766434B (zh) * 2018-05-11 2022-01-04 东北大学 一种手语识别翻译系统及方法
JP6947125B2 (ja) * 2018-06-05 2021-10-13 日本電信電話株式会社 光ファイバ経路探索方法、光ファイバ経路探索システム、信号処理装置およびプログラム
CN109044293A (zh) * 2018-07-24 2018-12-21 上海常仁信息科技有限公司 一种健康数据处理系统
US10802598B2 (en) * 2018-08-05 2020-10-13 Pison Technology, Inc. User interface control of responsive devices
CN109091143A (zh) * 2018-08-09 2018-12-28 江汉大学 一种穿戴设备
US10842407B2 (en) 2018-08-31 2020-11-24 Facebook Technologies, Llc Camera-guided interpretation of neuromuscular signals
CN110870769B (zh) * 2018-09-03 2022-08-09 香港理工大学深圳研究院 一种肌肉疲劳等级的检测方法及设备
US11701293B2 (en) 2018-09-11 2023-07-18 Encora, Inc. Apparatus and method for reduction of neurological movement disorder symptoms using wearable device
US11839583B1 (en) * 2018-09-11 2023-12-12 Encora, Inc. Apparatus and method for reduction of neurological movement disorder symptoms using wearable device
EP3853698A4 (en) 2018-09-20 2021-11-17 Facebook Technologies, LLC NEUROMUSCULAR TEXT ENTRY, WRITING AND DRAWING IN SYSTEMS WITH EXTENDED REALITY
WO2020072098A1 (en) * 2018-10-05 2020-04-09 TacSense, Inc. Wearable footwear sensor arrays for detection of cardiac events, body motion, and muscular actions
CN109259762A (zh) * 2018-11-02 2019-01-25 郑州大学 一种基于多变量数据融合的肌肉疲劳综合测评装置
CN109600285B (zh) * 2018-12-26 2020-05-01 北京蓦然认知科技有限公司 一种智能家居中动态构建环境调节规则列表的方法及装置
WO2020184742A1 (ko) * 2019-03-08 2020-09-17 엘지전자 주식회사 자율주행 차량에 적용되는 맞춤형 추천 서비스 제공 시스템 및 방법
SE543863C2 (en) * 2019-04-24 2021-08-17 Joyvest Ab C/O Tomas Unfors Wearable therapeutic device
CN112807139B (zh) * 2019-11-18 2023-07-14 盐木医疗科技(北京)有限公司 一种人体形变信号处理器及其使用方法
US11465558B2 (en) * 2019-12-02 2022-10-11 Ada Cannon Bailey Added functionality vehicle floor mat
USD1013868S1 (en) 2019-12-09 2024-02-06 Fetal Life, Llc Medical device
CN111166308A (zh) * 2020-01-23 2020-05-19 北京津发科技股份有限公司 一种手指部位多参数生理信号采集方法
WO2021176451A1 (en) * 2020-03-02 2021-09-10 Chanoch Levin A portable automated life-saving system with dynamic adaptation
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
US11635823B1 (en) * 2022-03-15 2023-04-25 Port 6 Oy Detecting user input from multi-modal hand bio-metrics

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006033104A1 (en) * 2004-09-22 2006-03-30 Shalon Ventures Research, Llc Systems and methods for monitoring and modifying behavior
US8182429B2 (en) * 2005-11-23 2012-05-22 Koninklijke Philips Electronics N.V. Enhanced functionality and accuracy for a wrist-based multi-parameter monitor
US20100292545A1 (en) * 2009-05-14 2010-11-18 Advanced Brain Monitoring, Inc. Interactive psychophysiological profiler method and system
WO2012161657A1 (en) * 2011-05-20 2012-11-29 Nanyang Technological University Systems, apparatuses, devices, and processes for synergistic neuro-physiological rehabilitation and/or functional development
US20140180595A1 (en) * 2012-12-26 2014-06-26 Fitbit, Inc. Device state dependent user interface management
US8954135B2 (en) * 2012-06-22 2015-02-10 Fitbit, Inc. Portable biometric monitoring devices and methods of operating same

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180016466A (ko) * 2015-07-11 2018-02-14 홍선기 운동 선수가 착용하는 보호대와 연동하여 운동 선수의 상태를 관리하는 선수 관리 장치, 선수 관리 시스템 및 이를 이용한 선수 관리 방법
US11450429B2 (en) 2015-07-11 2022-09-20 Sun Ki Hong Athlete management apparatus for managing state of athlete in conjunction with protector worn by athlete, athlete management system, and athlete management method using same
KR101722389B1 (ko) * 2015-10-23 2017-04-04 리모트솔루션주식회사 실내 공기 감지 센서가 탑재된 양방향 rf 리모컨
US9977509B2 (en) 2015-11-20 2018-05-22 Samsung Electronics Co., Ltd. Gesture recognition method, apparatus and wearable device
US10049183B2 (en) 2016-03-18 2018-08-14 Samsung Electronics Co., Ltd. Method for analyzing health signal to respond to infectious disease and apparatus thereof
KR101869801B1 (ko) * 2017-07-07 2018-06-21 계명대학교 산학협력단 최적의 야외활동을 위한 생활환경 안전 지수 서비스 제공 시스템 및 방법
KR102179791B1 (ko) 2019-05-14 2020-11-17 영남대학교 산학협력단 이종 네트워크의 공존을 위한 듀티 사이클 조정 장치 및 방법, 그 방법을 수행하기 위한 기록 매체
KR20200134384A (ko) * 2019-05-21 2020-12-02 주식회사 케즈 바이오 센싱을 통한 지능형 위급상황 알림 스마트밴드
KR20200134798A (ko) * 2019-05-23 2020-12-02 (주)에드플러스 부착형 영유아 모니터링 디바이스 및 모니터링 시스템
US11696727B2 (en) 2020-06-15 2023-07-11 Samsung Electronics Co., Ltd. Foldable electronic device and method of estimating bio-information using the same
KR20220001353A (ko) * 2020-06-29 2022-01-05 한전케이디엔주식회사 시맨틱 웹 기반의 헬스 케어 정보 관리 방법
WO2023153604A1 (ko) * 2022-02-11 2023-08-17 (주)돌봄드림 생체 정보에 기반한 심리 상태 케어 방법 및 이를 수행하는 장치

Also Published As

Publication number Publication date
US20150182160A1 (en) 2015-07-02

Similar Documents

Publication Publication Date Title
KR20150077684A (ko) 생체 신호 기반 기능 운용 방법 및 이를 지원하는 전자 장치
US20240108286A1 (en) Wearable Appliance
US11696682B2 (en) Mesh network personal emergency response appliance
Kumari et al. Increasing trend of wearables and multimodal interface for human activity monitoring: A review
US9107586B2 (en) Fitness monitoring
Sanches et al. Mind the body! Designing a mobile stress management application encouraging personal reflection
Nam et al. Biological-signal-based user-interface system for virtual-reality applications for healthcare
Uniyal et al. Pervasive healthcare-a comprehensive survey of tools and techniques
US20240115202A1 (en) Smart watch
US20240130617A1 (en) Personal Monitoring Apparatus
Hair Wear your heart on your sleeve: Visible psychophysiology for contextualized relaxation
Rodrigues Healthcare status and behavior monitoring based on smart tailored environments
Singh et al. Applications Of Sensors To Detect The Behavior Of Human. A Survey Paper
Yumak et al. Survey of sensor-based wellness applications

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid