KR20170001490A - 전자 장치 및 생체 센서를 이용한 전자 장치의 기능 제어 방법 - Google Patents

전자 장치 및 생체 센서를 이용한 전자 장치의 기능 제어 방법 Download PDF

Info

Publication number
KR20170001490A
KR20170001490A KR1020150091566A KR20150091566A KR20170001490A KR 20170001490 A KR20170001490 A KR 20170001490A KR 1020150091566 A KR1020150091566 A KR 1020150091566A KR 20150091566 A KR20150091566 A KR 20150091566A KR 20170001490 A KR20170001490 A KR 20170001490A
Authority
KR
South Korea
Prior art keywords
contact
biometric
electronic device
application
electrode
Prior art date
Application number
KR1020150091566A
Other languages
English (en)
Inventor
정형록
박성민
최재규
박정제
정철호
천재웅
최원석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150091566A priority Critical patent/KR20170001490A/ko
Priority to US15/192,952 priority patent/US10192044B2/en
Publication of KR20170001490A publication Critical patent/KR20170001490A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/332—Portable devices specially adapted therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A61B5/352—Detecting R peaks, e.g. for synchronising diagnostic apparatus; Estimating R-R interval
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1656—Details related to functional adaptations of the enclosure, e.g. to provide protection against EMI, shock, water, or to host detachable peripherals like a mouse or removable expansions units like PCMCIA cards, or to provide access to internal components for maintenance or to removable storage supports like CDs or DVDs, or to mechanically mount accessories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Cardiology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Psychiatry (AREA)
  • Software Systems (AREA)
  • Physiology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Bioethics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

본 발명의 다양한 실시예에 따르면, 적어도 둘 이상의 생체 전극으로부터 접촉 신호를 감지하는 생체 센서와, 상기 생체 센서로부터 수신된 접촉 신호가 생체 특성을 갖는지를 결정하고, 생체 특성을 포함하는 접촉 신호인 경우, 상기 접촉 신호를 생체 입력으로 판단하여 생체 정보 기능을 실행하고, 상기 접촉 신호가 생체 특성을 포함하지 않는 경우, 상기 접촉 신호를 전극 입력으로 판단하여 어플리케이션과 관련된 일반 기능을 실행하도록 제어하는 프로세서;를 포함할 수 있다.

Description

전자 장치 및 생체 센서를 이용한 전자 장치의 기능 제어 방법{The electronic apparatus and method for controlling function in the electronic apparatus using the bio-metric sensor}
본 발명은 전자 장치 및 생체 센서를 이용한 전자 장치의 기능 제어 방법에 관한 것으로, 보다 구체적으로, 전자 장치 및 심전도 센서를 이용한 전자 장치의 기능 제어 방법에 관한 것이다.
전자 장치는 하드웨어 및 소프트웨어 기술의 발달을 기반으로 다양한 기능들을 복합적으로 운용할 수 있도록 지원하고 있다. 최근 건강에 대한 사회적인 인식이 확대되면서 자신의 건강 상태를 측정, 관리하고자 하는 욕구가 많아지고 있다. 이에 대한 반응으로, 자신의 건강 상태를 측정할 수 있는 다양한 생체 센서들이 탑재된 전자 장치와 더불어 건강과 관련된 서비스를 제공하는 시장이 형성되고 있다. 생체 센서는 혈당계, 혈압계, 온도계, 심박 측정 센서(HRM:Heart Rate Monitor), 심전도(ECG: electrocardiogram) 센서, 광 혈류량(PPG: Photoplethysmography) 센서, 지문 인식기, 홍채 인식기 등을 포함할 수 있다.
특히, 심전도 센서는 심장 근육이 수축 이완할 때 발생하는 전위차를 생체 피부와 접촉되는 심전도 전극을 통해 검출할 수 있다. 심장박동에 따라 발생된 활동 전위는 심장으로부터 온몸으로 퍼지는 전류를 일으키고, 이러한 전류는 몸의 상태에 따라 전위차를 발생시키게 된다. 심전도 센서는 심장의 전기적 활동을 감지하여 심장박동의 비율과 일정함을 측정하여 사용자의 심장의 크기 및 심장의 손상 여부를 파악하는데 이용되고 있다. 또한, 심전도 센서는, 심전도 측정 이외에 사용자의 감정 정보를 인식하거나, 유니크한 심전도값을 이용하여 사용자 인증을 수행하기 위한 용도로 다양하게 활용되고 있다.
그러나, 심전도를 측정하기 위해서는 양 팔에 심전도 전극을 부착하거나, 팔 또는 다리와 같이 다른 위치에 심전도 전극을 부착하여 심전도 측정장치와 생체 간 폐루프 상태(closed loop state)를 형성함으로써 심전도 전극의 신호들로부터 의미 있는 심전도 값을 획득할 수 있다. 반대로, 심전도 측정장치와 생체 간 폐루프 상태가 형성되지 않는 경우, 심전도 전극의 신호들은 노이즈(noise) 또는 측정불가로 인식되어 생체학적으로 의미 없는 값이 되어 심전도 전극의 신호들을 활용할 수 없다. 이와 같이 심전도 센서는, 의미 있는 심전도 값을 기반으로 생체 정보로서 활용하므로, 생체 측정을 위한 용도(예, 심전도 측정, 감정 측정, 사용자 인증 등)로 국한되는 한계가 있다.
이에 본 발명의 다양한 실시예는 생체 센서, 특히, 심전도 센서의 활용범위를 생체 정보 측정에 제한하지 않고, 센서 전극의 접촉 신호들을 다양한 입력 신호로 활용할 수 있는 방법 및 장치를 제안하고자 한다.
본 발명의 다양한 실시예는 생체 센서의 전극을 생체 신호 측정 이외의 분야에서 전자 장치의 제어장치로 활용할 수 있는 방법 및 장치를 제안하고자 한다.
다양한 실시 예에 따른 전자 장치는, 적어도 하나의 생체 전극으로부터 접촉 신호를 감지하는 생체 센서와, 그리고 상기 생체 센서로부터 수신된 접촉 신호가 생체 특성을 갖는지를 결정하고, 생체 특성을 포함하는 접촉 신호인 경우, 상기 접촉 신호를 생체 입력으로 판단하여 생체 정보 기능을 실행하고, 상기 접촉 신호가 생체 특성을 포함하지 않는 경우, 상기 접촉 신호를 전극 입력으로 판단하여 어플리케이션과 관련된 일반 기능을 실행하도록 제어하는 프로세서를 포함할 수 있다.
다양한 실시 예에 따른 생체 센서를 이용한 전자 장치의 기능 제어 방법에 있어서, 적어도 하나의 생체 전극으로부터 접촉 신호를 감지하는 과정과 상기 적어도 하나의 생체 전극의 접촉 신호가 생체 특성을 갖는지를 결정하는 과정과, 그리고 생체 특성을 포함하는 접촉 신호인 경우, 상기 접촉 신호를 생체 입력으로 판단하여 생체 정보 기능을 실행하거나, 상기 접촉 신호가 생체 특성을 포함하지 않는 경우, 상기 접촉 신호를 전극 입력으로 판단하여 어플리케이션과 관련된 일반 기능을 실행하도록 제어하는 과정을 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 생체 센서의 적어도 하나의 신호 또는 이들의 조합 신호를 전자 장치의 제어 장치로 활용함으로써, 생체 측정 기능 이외에 다른 기능을 제어하여 생체 센서의 활용성을 높이고, 전자 장치 사용자의 편의성을 증대시킬 수 있다.
본 발명의 다양한 실시예에 따르면, 생체 센서의 전극들로부터 생체 정보를 생성할 수 없는 신호들을 일반 명령 입력으로 인식함으로써, 어플리케이션의 활성화 트리거링 기능, 어플리케이션의 세부 기능을 편리하게 제어할 수 있다.
본 발명의 다양한 실시예에 따르면, 생체 센서의 전극들로부터 생체 정보가 생성된 경우, 생체 정보를 인용하여 자동으로 감정 정보를 분석하거나, 사용자 인증을 수행하여 생체 정보와 관련된 어플리케이션 기능 실행 또는 변경을 편리하게 제어할 수 있다.
도 1은 다양한 실시예에 따른, 전자 장치를 포함하는 네트워크 환경을 도시한다
도 2는 다양한 실시예에 따른 전자 장치의 프로세서 구성을 도시한다.
도 3은 다양한 실시 예에 따른 심전도 센서의 회로도 예시를 도시한다.
도 4는 본 발명의 다양한 실시예에 따른 심전도 센서 전극의 예시를 도시한다.
도 5는 본 발명의 다양한 실시예에 따른, 생체 센서를 이용한 전자 장치의 기능 제어 방법을 도시한다.
도 6은 본 발명의 다양한 실시예에 따른, 생체 센서를 이용한 전자 장치의 기능 제어 방법을 도시한다.
도 7은 다양한 실시예에 따른 생체 입력의 기능 제어 예시를 도시한다.
도 8은 다양한 실시예에 따른 생체 입력의 기능 제어 방법을 도시한다.
도 9는 다양한 실시예에 따른 생체 입력의 기능 제어 방법을 도시한다.
도 10a 내지 도 10d는 실시예에 따른 생체 입력의 기능 제어 예시들을 도시한다.
도 11은 다양한 실시예에 따른 전극 입력의 기능 제어 예시를 도시한다.
도 12은 다양한 실시예에 따른 전극 입력의 기능 제어 예시를 도시한다.
도 13은 다양한 실시예에 따른 전극 입력의 기능 제어 방법을 도시한다.
도 14는 다양한 실시예에 따른 전극 입력의 기능 제어 예시를 도시한다.
도 15는 다양한 실시예에 따른 전극 입력의 기능 제어 예시를 도시한다.
도 16은 다양한 실시예에 따른 전극 입력의 기능 제어 방법을 도시한다.
도 17은 다양한 실시예에 따른 전극 입력의 기능 제어 방법을 도시한다.
도 18은 다양한 실시예에 따른 전극 입력의 기능 제어 예시를 도시한다.
도 19는 다양한 실시예에 따른 전극 입력의 기능 제어 예시를 도시한다.
도 20은 다양한 실시 예에 따른 전자 장치의 블록도를 도시한다.
이하, 본 발명의 다양한 실시예가 첨부된 도면과 연관되어 기재된다. 본 발명의 다양한 실시예는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명의 다양한 실시예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 다양한 실시예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용되었다.
본 발명의 다양한 실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 다양한 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 발명의 다양한 실시예에 따른 전자 장치는, 통신 기능 및 생체 센서가 포함된 장치일 수 있다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smart watch))중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 통신 기능 및 생체 센서가 포함된 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 전자 장치는 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSync ™, 애플TV™, 또는 구글 TV™), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛, 산업용 또는 가정용 로봇, 금융 기관의 ATM(automatic teller?s machine) 또는 상점의 POS(point of sales) 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 통신 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 본 발명의 다양한 실시예에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 발명의 다양한 실시예에 따른 전자 장치는 플렉서블 장치일 수 있다. 또한, 본 발명의 다양한 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
이하, 첨부된 도면을 참조하여 다양한 실시예에 따른 전자 장치에 대해서 살펴본다. 다양한 실시예에서 이용되는 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 다양한 실시예에 따른, 전자 장치 101을 포함하는 네트워크 환경 100를 도시한다.
도 1을 참조하면, 상기 전자 장치 101는 버스 110, 프로세서 120, 메모리 130, 입출력 인터페이스 140, 디스플레이 150, 통신 인터페이스 160 및 생체 센서 170을 포함할 수 있다.
상기 버스 110는 전술한 구성요소들을 서로 연결하고, 전술한 구성요소들 간의 통신(예: 제어 메시지)을 전달하는 회로일 수 있다.
상기 프로세서 120는, 예를 들면, 상기 버스 110를 통해 전술한 다른 구성요소들(예: 상기 메모리 130, 상기 입출력 인터페이스 140, 상기 디스플레이 150, 상기 통신 인터페이스 160, 또는 생체 센서 170등) 로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.
상기 메모리 130는, 상기 프로세서 120 또는 다른 구성요소들(예: 상기 입출력 인터페이스 140, 상기 디스플레이 150, 상기 통신 인터페이스 160, 또는 상기 생체 센서 170등)로부터 수신되거나 상기 프로세서 120 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 상기 메모리 130는, 예를 들면, 커널 131, 미들웨어 132, 어플리케이션 프로그래밍 인터페이스(API: application programming interface) 133 또는 어플리케이션 134 등의 프로그래밍 모듈들을 포함할 수 있다. 전술한 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
상기 커널 131은 나머지 다른 프로그래밍 모듈들, 예를 들면, 상기 미들웨어 132, 상기 API 133 또는 상기 어플리케이션 134에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 상기 버스 110, 상기 프로세서 120 또는 상기 메모리 130 등)을 제어 또는 관리할 수 있다. 또한, 상기 커널 131은 상기 미들웨어 132, 상기 API 133 또는 상기 어플리케이션 134에서 상기 전자 장치 101의 개별 구성요소에 접근하여 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
상기 미들웨어 132는 상기 API 133 또는 상기 어플리케이션 134이 상기 커널 131과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 상기 미들웨어 132는 상기 어플리케이션 134로부터 수신된 작업 요청들과 관련하여, 예를 들면, 상기 어플리케이션 134 중 적어도 하나의 어플리케이션에 상기 전자 장치 101의 시스템 리소스(예: 상기 버스 110, 상기 프로세서 120 또는 상기 메모리 130 등)를 사용할 수 있는 우선 순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 제어(예: 스케쥴링 또는 로드 밸런싱)을 수행할 수 있다.
상기 API 133는 상기 어플리케이션 134이 상기 커널 131 또는 상기 미들웨어 132에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다.
다양한 실시예에 따르면, 상기 어플리케이션 134는 SMS/MMS 어플리케이션, 이메일 어플리케이션, 달력 어플리케이션, 알람 어플리케이션, 건강 관리(health care) 어플리케이션(예: 운동량 또는 혈당 등을 측정하는 어플리케이션) 또는 환경 정보 어플리케이션(예: 기압, 습도 또는 온도 정보 등을 제공하는 어플리케이션) 등을 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 어플리케이션 134은 상기 전자 장치 101와 외부 전자 장치(예: 전자 장치 104) 사이의 정보 교환과 관련된 어플리케이션일 수 있다. 외부 전자 장치가 의료 기기인 경우, 상기 어플리케이션 134는 건강 관리와 관련된 어플리케이션을 포함할 수 있다.
상기 입출력 인터페이스 140은, 입출력 장치(예: 센서, 키보드 또는 터치 스크린)를 통하여 사용자로부터 입력된 명령 또는 데이터를, 예를 들면, 상기 버스 110를 통해 상기 프로세서 120, 상기 메모리 130, 상기 통신 인터페이스 160에 전달할 수 있다.
예를 들면, 상기 입출력 인터페이스 140은 터치 스크린을 통하여 입력된 사용자의 터치에 대한 데이터를 상기 프로세서 120로 제공할 수 있다. 또한, 상기 입출력 인터페이스 140은, 예를 들면, 상기 버스 110을 통해 상기 프로세서 120, 상기 메모리 130, 상기 통신 인터페이스 160, 또는 상기 생체 센서 170로부터 수신된 명령 또는 데이터를 상기 입출력 장치(예: 스피커 또는 디스플레이)를 통하여 출력할 수 있다. 예를 들면, 상기 입출력 인터페이스 140은 상기 프로세서 120를 통하여 처리된 음성 데이터를 스피커를 통하여 사용자에게 출력할 수 있다.
상기 디스플레이 150은 사용자에게 각종 정보(예: 멀티미디어 데이터 또는 텍스트 데이터 등)을 표시할 수 있다.
상기 통신 인터페이스 160은 상기 전자 장치 101와 외부 장치(예: 전자 장치 104 또는 서버 106) 간의 통신을 연결할 수 있다. 예를 들면, 상기 통신 인터페이스 160은 무선 통신 또는 유선 통신을 통해서 네트워크 162에 연결되어 상기 외부 장치와 통신할 수 있다. 상기 무선 통신은, 예를 들어, Wifi(wireless fidelity), BT(Bluetooth), NFC(near field communication), GPS(global positioning system) 또는 cellular 통신(예: LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro 또는 GSM 등) 중 적어도 하나를 포함할 수 있다. 상기 유선 통신은, 예를 들어, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 중 적어도 하나를 포함할 수 있다.
한 실시예에 따르면, 상기 네트워크 162는 통신 네트워크(telecommunications network)일 수 있다. 상기 통신 네트워크 는 컴퓨터 네트워크(computer network), 인터넷(internet), 사물 인터넷(internet of things) 또는 전화망(telephone network) 중 적어도 하나를 포함할 수 있다. 한 실시예에 따르면, 상기 전자 장치 101와 외부 장치 간의 통신을 위한 프로토콜(예: transport layer protocol, data link layer protocol 또는 physical layer protocol))은 어플리케이션 134, 어플리케이션 프로그래밍 인터페이스 133, 상기 미들웨어 132, 커널 131 또는 통신 인터페이스 160 중 적어도 하나에서 지원될 수 있다
한 실시예에 따르면, 상기 서버 106는 상기 전자 장치 101에서 구현되는 동작(또는, 기능)들 중 적어도 하나의 동작을 수행함으로써, 상기 전자 장치 101의 구동을 지원할 수 있다.
상기 생체 센서 170는 적어도 하나 이상의 전극(electrode)를 포함하는 생체 센서일 일 수 있다. 상기 생체 센서 170는 전극을 통해 생체와 접촉하여 생체의 전기적 변화를 수신할 수 있는 센서, 예를 들어, 심박 측정 센서(HRM:Heart Rate Monitor), 심전도(ECG: electrocardiogram) 센서, 광 혈류량(PPG: Photoplethysmography) 센서 등을 포함할 수 있다.
상기 프로세서 120은 상기 생체 센서 170으로부터 전달된 신호 또는 데이터를 처리하고, 이를 기반으로 생체 정보 분석 및 전자 장치의 사용자 기능 또는 어플리케이션의 동작을 제어할 수 있다. 상기 프로세서 120은 상기 생체 센서 170의 각 전극으로부터 수신된 접촉 신호가 생체 입력인지 전극 입력인지를 판단하고, 생체 입력일 경우 생체 정보 기능 또는 생체 정보와 연관된 어플리케이션을 제어하고, 전극 입력일 경우 생체 정보와 별개인 일반 기능(예, 어플리케이션 동작)을 제어할 수 있다.
후술하는 도 2를 통하여 상기 프로세서 120의 기능에 대한 추가적인 정보가 제공된다.
도 2는 다양한 실시예에 따른 전자 장치의 프로세서 구성을 도시한다.
도 2를 참조하면, 상기 프로세서 120은 생체 접촉 조건 판단 모듈 210, 센서 입력 판단 모듈 220, 생체 입력 제어 모듈 230 및 전극 입력 제어 모듈 240을 포함할 수 있다. 이하, 설명의 편의를 위하여, 상기 생체 센서 170가 적어도 둘 이상의 전극을 포함하는 심전도(이하, ECG) 센서인 것으로 설명하나, 꼭 이에 한정하는 것은 아니다. 심전도 센서는 각 전극 사이에서 감지되는 생체 전위 신호(bio-potential signal)를 감지하고, 이를 증폭하여 사용자의 심전도를 측정(또는 기록)할 수 있다.
상기 생체 접촉 조건 판단 모듈 210은 각 전극의 접촉 상태에 따라 변화하는 전압변화를 이용하여 생체(또는 도전체)의 접촉 여부를 판단할 수 있다. 상기 생체 접촉 조건 판단 모듈 210은, 상기 생체 센서의 전극들 중 접촉 신호가 발생된 전극의 위치, 접촉 유지 시간, 접촉 전극 개수, 접촉 및 탈착 상태 중 적어도 하나에 기반하여 접촉 감지 조건을 판단할 수 있다.
일 실시 예에 따르면, 도 3은 심전도 센서의 회로도를 구현한 일 예를 나타낸다. 301에 도시된 바와 같이, 전자 장치에 구성된 적어도 둘 이상의 전극(예 전극 #1, 전극 #2)에 사용자의 생체가 접촉되면, 생체 접촉 신호는 신호 증폭기 310을 통해 ADC(analog-digital converter) 311로 전달되고, ADC 311에 의해 디지털 신호로 변환된 데이터는 프로세서 120으로 전달된다. 심전도 센서를 확대해 보면, 도 302와 같이, 심전도 센서를 구성하는 적어도 둘 이상의 전극(예, 전극 #1, 전극 #2)은 아날로그 전원단(AVDD)과 비교기 320,321과 연결될 수 있다. 예컨대, 사용자의 생체가 전극 (예, 전극 #1, 전극 #2)에 접촉되면, 각 전극으로부터 전달되는 생체의 활동전위차에 AVDD 를 통해 인가된 전원(예, ±2.42V)의 전압 변화가 발생되고, 전압변화가 발생된 신호는, 비교기320,321를 통해 DAC 330신호와 비교하여 생체 접촉을 검출한다.
상기 생체 접촉 조건 판단 모듈은DAC(예: 4비트 DAC) 330와 (+) 비교기 320와 (-) 비교기 321회로 중 하나 이상을 이용한 전압변화(예: 3비트 DAC의한 전압변화 종류 8가지 비교)를 통해 각 전극의 접촉 여부, 생체가 접촉된 전극의 위치를 확인하고, 전압 변화가 발생된 시간을 측정을 하거나, 전압 변화 신호의 상태 변화를 통해 생체 접촉/탈착 상태를 확인할 수 있다.
상기 생체 접촉 조건 판단 모듈 210은 비교기를 통해 출력되는 신호에 전압 변화가 없는 경우, 또는 소정 범위의 전압변화가 아닌 경우에는 전극에 생체(또는 도전체)가 접촉하지 않는 비접촉 상태로 판단할 수도 있다.
일 실시예에 따르면, 생체 접촉 조건 판단 모듈 210은 생체 센서의 전극에 접촉된 물체가 생체인지 비생체인지 여부를 결정할 수도 있다. 예를 들어, 상기 생체 접촉 조건 판단 모듈 210은 전극에 접촉된 물체로 인해 발생된 신호가 생체 특징에 의해 발생되는 소정 범위 (예: ADVO - 300mV)에서 전압변화가 발생된 경우, 생체 접촉인 것으로 판단하고, 소정 범위를 벗어난 경우, 비생체 접촉인 경우로 판단할 수 있다.
상기 센서 입력 판단 모듈 220은 생체 접촉 신호가 생체 특성 또는 생체 정보 생성이 가능한지를 판단할 수 있다.
일 예로, 상기 센서 입력 판단 모듈 220은 생체 접촉 신호가 기본 파형인 P, Q, R, S, T파로 구분할 수 있거나, R파간의 간격, 심박수 등이 인간의 생체신호의 측정 범위인 경우, 또는 전극을 통해 감지되는 전압이나 저항, 캐패시턴스(capacitance)값이 소정 범위내이거나 소정 범위 내의 변화값인 경우에 생체 특성을 갖는 신호로 판단할 수 있다. 다른 예로, 상기 센서 입력 판단 모듈 220은 R파를 추출한 후 QRS폭, ST 기울기 중 하나 이상을 이용하여 각 파들의 특징요소를 판별하여 생체 특성을 갖는 신호인지를 판단할 수 있다.
상기 센서 입력 판단 모듈 2200은 생체 접촉 신호가 생체 특성이거나, 생체 정보 생성이 가능한 경우, 생체 입력으로 판단하고, 생체 접촉 신호가 생체 특성이 아니거나 생체 정보 생성이 불가능한 경우, 전극 입력으로 결정할 수 있다. 여기서, 생체 입력은, 전극의 접촉 신호가 생체 특성을 가지며, 생체 정보를 생성할 수 있는 경우 생체 정보와 관련된 기능 명령을 생성하는 입력을 의미한다. 전극 입력은 전극의 접촉 신호가 생체 정보를 생성할 수 없어 심전도 측정 불가, 생체 정보 인식 불가, 감정 정보 생성 불가능한 경우, 어플리케이션과 관련된 기능 명령을 생성하는 입력을 의미한다.
상기 센서 입력 판단 모듈 220은 전자 장치의 잠금 상태, 전자 장치의 어플리케이션 구동 상태, 구동 어플리케이션 종류, 전자 장치의 파지 상태 중 적어도 하나에 기반하여 전자 장치의 동작 상태를 판단할 수 있다. 상기 센서 입력 판단 모듈 220은 생체 접촉 검출 조건 및 상기 전자 장치의 동작 상태를 확인하고, 생체 입력에 대응하여 명령 또는 전극 명령에 대응하는 명령을 생성할 수 있다. 생체 입력에 대응하여 명령 또는 전극 명령에 대응하는 명령은 생체 접촉 조건 및 전자 장치의 동작 상태 별로 기 설정될 수 있다.
예를 들어, 전자 장치 잠금 상태의 생체 입력에 대응하여, 사용자 인증 실행 동작 및 인증 성공 시 잠금 해제 동작을 수행하는 명령이 설정(또는 생성)되거나, 어플리케이션 실행 상태의 생체 입력에 대응하여 생체 정보를 기반으로 사용자 감정 상태를 확인하여 감정 상태를 반영하여 메신저 어플리케이션 기능을 변경하거나 감정 상태 정보를 제공하는 명령이 설정( 또는 생성) 될 수 있다. 다른 예를 들어, 어플리케이션 실행 상태의 전극 입력에 대응하여 전극 입력의 접촉 위치, 조건 별로 어플리케이션의 제1 동작을 실행하는 명령 또는 어플리케이션의 제2 동작을 실행하는 명령이 설정(또는 생성)될 수 있다.
상기 생체 입력 제어 모듈 230 은 상기 생체 접촉 신호에 기반한 생체 입력에 응답하여 생체 정보와 연관된 어플리케이션(예, 건강 관리 어플리케이션 등)을 자동으로 구동하도록 제어할 수 있다.
상기 생체 입력 제어 모듈 230은, 상기 생체 접촉 신호에 기반한 생체 입력이 응답하여, 상기 생체 접촉 신호에 응답하여 생체 정보를 분석하거나, 생체 특징에 기반하여 생체 정보와 연관된 어플리케이션 기능을 제어할 수 있다.
상기 생체 입력 제어 모듈 230은 상기 생체 접촉 신호가 생체 입력이면, 생체 정보를 분석하여 사용자의 감정 상태를 분석하고, 감정 정보를 생성할 수 있다. 일 예를 들어, 상기 생체 입력 제어 모듈 230 은 생체 접촉 신호( 예, ECG 신호) 중 R파 신호의 수를 통해 측정하여 심박수 또는 심박의 변화 (HRV:Heart Rate Variability이하, HRV)를 분석할 수 있다. 상기 생체 입력 제어 모듈 230 은 R파(peak)들 사이의 시간 간격 (R-R)의 변이를 측정하여 심박 사이의 변화를 감지하여 자율신경의 활동(예, 교감 신경, 부교감 신경과 관련된 스트레스 정보 등) 을 분석하고, 활동 특성을 기반으로 사용자의 감정 상태를 확인 할 수 있다. 상기 생체 입력 제어 모듈 230 은 HRV 분석을 통해 부정맥이나 심장마비 등에 예측정보를 판단하거나 감지할 수도 있다. 상기 생체 입력 제어 모듈 230 은 각 심박의 간격측정을 위해 피크시마다 이벤트 신호를 수신하여 발생시각 간의 차이를 구하거나, 또는 일정 시간 동안 발생한 심박수를 연속적으로 수집하여 R-R 간격을 추정할 수도 있다.
상기 생체 입력 제어 모듈 230 은 HRV를 분석하여 사용자의 감정 상태(예: 기쁨, 슬픔, 놀람, 각성 또는 화남 등)에 따라 감정 정보를 생성할 수 있고, HRV 수치를 통해 상기 사용자의 감정 상태에 해당하는 레벨(예: 감정 단계/감정 최대단계 또는 최대치 대비 비율 등)을 결정할 수 있다.
상기 생체 입력 제어 모듈 230 은 생체 특성을 기반으로 사용자의 감정 정보가 생성된 경우, 실행 중인 어플리케이션과 연동하여 감정 정보를 기반으로 한 기능을 실행하거나, 감정 정보에 따라 어플리케이션의 기능을 변경하도록 제어할 수 있다. 예를 들어, 상기 생체 입력 제어 모듈 230은 카메라가 동작 상태에서, 감정 정보가 생성되면, 촬영 영상에 측정된 감정정보를 태깅(tagging)하는 기능을 수행할 수 있다. 상기 생체 입력 제어 모듈 230은 메시지 작성 상태에서, 감정 정보가 생성되면, 감정 정보를 작성된 메시지와 함께 상대방 전자 장치로 전달하도록 제어할 수 있다. 상기 생체 입력 제어 모듈 230은 상대방과 통화 연결 시 감정 정보가 생성되면, 감정 정보에 따라 전자 장치의 배경 화면을 변경하는 기능을 제어할 수 있다.
상기 생체 입력 제어 모듈 230 은 접촉 신호에 기반한 생체 입력에 응답하여 상기 사용자의 생체 정보(예: ECG 파형)의 특징에 기반하여 사용자 인증을 수행할 수 있다. 예를 들면, 상기 사용자의 생체 신호 중, ECG 파형은 사용자의 심장 위치, 모양과 관련된 특징을 반영한다. 상기 생체 입력 제어 모듈 230 은 생체 접촉 신호로부터 획득한 ECG 파형과 전자 장치에 미리 저장된 사용의 생체 특정(예: ECG파형의 리듬, 패턴, 파형의 peak, 경사도 특징 정보)의 유사도를 비교하여 일정 기준(예: 정합도 90%이상)인 경우, 사용자 인증이 성공하였다고 판단할 수 있다.
상기 생체 입력 제어 모듈 230 은, 전자 장치를 통해 인증이 요구되거나 인증이 필요한 애플리케이션이 구동되는 경우, 생체 입력에 응답하여 ECG 측정을 통한 인증과 연관된 동작을 자동으로 수행하도록 제어할 수 있다.
상기 생체 입력 제어 모듈 230 은, 생체 정보를 이용한 사용자 인증에 기반하여 상기 전자 장치의 기능/어플리케이션 기능의 권한을 허여 하거나 변경하도록 제어할 수 있다. 예를 들어, 상기 생체 입력 제어 모듈 230 은 생체 정보를 이용한 사용자 인증을 성공한 경우 사용자의 권한에 따라 허가된 기능을 실행하고, 인증 실패한 경우, 전자 장치의 기능/ 어플리케이션의 기능을 제한하도록 제어할 수 있다.
일 예를 들어, 상기 생체 입력 제어 모듈 230은 건강 관리 어플리케이션이 실행 상태에서 사용자 인증이 성공되면, 상기 사용자에 제공되는 건강 정보 또는 추천 정보를 실시간으로 변경하도록 제어할 수 있다. 상기 생체 입력 제어 모듈 230 은 사용자 인증이 실패한 경우, 상기 사용자에 제공되는 건강 정보 또는 추천 정보를 변경하지 않거나 제공하지 않도록 제어할 수 있다. 다른 예를 들어, 상기 생체 입력 제어 모듈 230 은 인증 실패된 생체 정보를 서버 혹은 전자 장치에 저장하고, 이와 관련된 정보(예: 인증실패 관련 정보, ECG 관련 정보)를 정당한 사용자의 계정(예: 이메일, SNS, MMS) 등을 통해 인증 실패 알림 정보를 제공할 수 있다.
상기 전극 입력 제어 모듈240은, 상기 생체 접촉 신호에 기반하여 생체 정보를 생성할 수 없는 전극 입력에 응답하여 어플리케션의 동작 (예, 어플리케이션 트리거링, 특정 어플리케이션의 세부 기능)을 제어할 수 있다. 여기서, 전극 입력은, ECG 전극의 신호를 이용하여 키 입력 신호와 같은 형태의 커맨드(command )정보일 수 있다.
상기 전극 입력 제어 모듈240은 생체 접촉 신호에 기반한 전극 입력에 대응하여 생체 접촉 신호의 검출 조건 별로 맵핑된 어플리케이션 활성화를 트리거링할 수 있다.
상기 전극 입력 제어 모듈240은 어플리케이션 실행 상태에서, 생체 접촉 신호에 기반한 전극 입력에 대응하여 생체 접촉 신호의 검출 조건 별로 맵핑된 실행 중인 어플리케이션의 기능을 실행하도록 제어할 수 있다. 예를 들어, 카메라 실행 상태에서, 상기 전극 입력 제어 모듈 240은 전극 입력에 대응하여 카메라의 기능 제어(예: 촬영, 카메라 메뉴 선택, 포커싱 zoom, 타이머 촬영 중 하나 이상)를 수행하도록 제어할 수 있다.
도 4는 본 발명의 다양한 실시예에 따른 심전도 센서 전극의 예시를 도시한다.
도 4를 참조하면, ECG 센서의 ECG 전극들은 전자장치 외부에 노출되어 신체와 직접 접촉될 수 있다. 예를 들어, ECG 전극은 전자 장치의 전면, 베젤, 사이드, 코너, 입력 키(버튼) 중 전자 장치의 다양한 위치들에 전극이 배치될 수 있다.
다른 실시 예에서 상기 ECG 전극들은 전자 장치와 연결되는 외부 전자 장치(예, 웨어러블 장치, 휴대용 의료 기기)에 장착될 수도 있다. 이 경우, 외부 전자 장치는 외부 전자 장치에 장착된 ECG 전극들로부터 측정된 생체의 전기 변화를 상기 전자 장치로 전달할 수 있다.
다른 실시 예에서 상기 ECG 센서(또는 ECG 전극들)는 상기 전자 장치의 케이스에 장착될 수 있다. 이 경우, 전자 장치는 상기 케이스와 접촉하는 전자 장치의 연결부를 통해 상기 케이스에 장착된 ECG 전극들로부터 측정된 생체의 전기 변화를 획득할 수 있다.
각 ECG 전극들은 금속 베젤이나 금속 버튼 형태의 도전체의 일부일 수도 있고, 또는 금속 베젤이나 금속 버튼과 기능적으로 연결될 수도 있다.
각 ECG 전극들은 단락, 합선(shorting) 을 방지하기 위해 분리하여 전자 장치에 배치될 수 있다. 예컨대, 하나의 ECG 전극 (또는 상기 ECG 전극과 연결된 도전체)는 인접한 다른 ECG 전극(또는 이와 연결된 도전체)와 공간적으로 분리되거나 또는 비전도체 재질(예: 플라스틱)를 통해 서로 접촉하지 못하도록 배치될 수 있다. 또는, 하나의 ECG 전극과 다른 ECG 전극 사이에는 전도율이 다른 재질이 배치될 수도 있다. 예를 들어, 각 ECG 전극들이 금속성 베젤이나 금속성 사이드 위에 배치되어 있는 경우, 각 ECG 전극들은 은혼합물이고, 베젤부는 도전율이 상대적으로 낮은 금속이나 알루미늄일 수 있다. 이때, 각 ECG 전극의 사이의 거리가 일정 간격으로 유격되도록 배치되면, 각 ECG 전극간 저항값이 커지므로, ECG 전극간 단락, 합선(shorting)은 발생하지 않을 수 있다.
도 4의 a 내지 h는 각 ECG 전극들의 배치 구성에 대한 다양한 실시예를 나타낸다. ECG 센서는 적어도 2개의 전극을 포함할 수 있으며, 전자 장치의 전면, 베젤, 사이드, 코너, 입력 키(예,버튼부) 등 다양한 부분에 ECG 전극이 배치될 수 있다.
도 4의 a 내지 h에서 각 ECG 전극들은 왼쪽 전극(L), 오른쪽 전극(R), 그라운드 전극(G) 용으로 나타내고 있으나, 각 ECG 전극의 배치 위치는 변경될 수 있다. 여기서, 그라운드 (G) 전극은 생체의 접촉 부위에 제한이 없을 수 있다. 에
도 4의 a는 L전극와 R 전극이 전자 장치의 양 사이드 측면에 배치되는 예시이며, 이 경우, L 전극에 한쪽 손이 접촉되고, R전극에 다른 손이 접촉될 경우, 생체 특성을 갖는 생체 정보를 생성할 수 있으며, 접촉 신호는 생체 입력으로 판단될 수 있다. 반면에, 어느 하나의 전극에만 생체가 접촉되면 생체 측정을 갖는 생체 정보를 생성할 수 없으므로, 생체 접촉 신호는 전극 입력으로 판단될 수 있다. 여기서,
일 실시 예에 따르면, 도 4의 b에 도시된 바와 같이, 전자 장치의 ECG 전극 중 일부는 볼륨 키, 전원 키, 홈 키와 같은 하드웨어적인 버튼장치에 내재되거나 버튼 장치 위에 탑재될 수도 있다. 도 4 b에서 L 전극은 볼륨 키와 결합되고, R 전극은 파워 키와 결합된 형태로 배치되며, G전극은 전자 장치의 코너에 배치될 수 있다. 도 4의 c및 D는 ECG 전극들이 전자 장치의 전면부에 배치되는 예시들이고, 도 4의 e는 ECG 전극들이 전자 장치의 사이드부에 배치되는 예시이다.
일 실시 예에 따르면, 도 4의 f및 g 도시된 바와 같이 전자 장치의 ECG 전극 중 일부는 전자 장치의 전면부에 다른 일부는 전자 장치의 후면부에 배치될 수도 있다. 도 4의 h는 ECG 전극들이 전자 장치의 후면부에 배치되는 예이다.
도 5는 본 발명의 다양한 실시예에 따른, 생체 센서를 이용한 기능 제어 방법을 도시한다.
도 5을 참조하면, 상기 전자 장치의 프로세서는, 510 동작에서, 적어도 하나의 ECG 전극 또는 이들의 조합으로 생체 접촉에 따른 ECG 신호를 수신한다.
520 동작에서, 상기 프로세서는 상기 전자 장치의 동작 상태 및 접촉 검출 조건을 확인한다. 예컨대, 상기 프로세서는 잠금 상태 여부, 어플리케이션 구동 상태, 구동 어플리케이션 종류, 전자 장치의 파지 상태 중 적어도 하나의 상태를 확인할 수 있다. 상기 프로세서는, 생체가 접촉된 ECG 전극의 위치, 생체 접촉 시간, 생체 접촉 및탈착 상태, 생체 접촉된 ECG 전극의 개수 중 적어도 하나를 통해 접촉 검출 조건을 확인할 수 있다.
530 동작에서, 상기 프로세서는, 상기 ECG 신호를 기반으로 상기 ECG 신호가 생체 정보를 생성할 수 있는 생체 특성을 포함하는지를 판단한다. 상기 프로세서는, 상기 ECG 신호로부터 생체 정보(예, 심전도값)를 생성할 수 있으면, 540동작으로 진행하여 생체 입력 명령으로 판단하고, ECG 신호로부터 생체 정보(예, 심전도값)를 생성할 수 없는 경우, 560 동작으로 진행하여 전극 입력 명령으로 판단한다.
일 실시예에서, 520 동작 및 530 동작이 순차적으로 동작하는 것으로 도시되어 있으나, 이에 한정하지 않고, 530 동작을 수행하고, 520 동작을 수행하거나, 520 동작 및 530 동작은 병렬적으로 수행할 수도 있다.
예를 들어, 상기 프로세서는 사용자 신체의 좌측과 우측 부분이 쌍으로 상기 ECG 전극에 접촉되거나, 모든 ECG 전극에서 생체 접촉이 발생되는 경우, 각 ECG 전극의 접촉으로 인해 발생된 전압 변화를 통해 심전도값을 측정할 수 있으므로, ECG 신호에 생체 특성을 포함하는 것으로 판단할 수 있다.
550동작에서, 상기 프로세서는, ECG 신호를 생체 입력으로 판단한 경우, ECG 신호에 대응하여 생체 정보를 활용하는 생체 정보 기능을 수행한다.
여기서, 생체 정보 기능은 생체 특성에 의해 생성된 생체 정보(예, 심전도값)을 활용하는 기능 또는 생체 정보와 연관된 어플리케이션 혹은 이들을 중복하여 제어하는 기능일 수 있다. 예컨대, 생체 정보 기능은 생체 정보를 활용하는 어플리케이션을 자동으로 실행하는 기능, 생체 정보를 통한 사용자 인증과 이와 연관된 어플리케이션을 실행하는 기능, 생체 정보를 기반으로 감정 정보를 측정하고, 감정 정보를 활용하는 어플리케이션의 기능을 제어하는 기능, 생체 인증을 통해 전자 장치의 잠금 해제 또는 보안 기능을 실행하는 기능 중 적어도 하나 이상의 포함할 수 있다. 전자 장치는 전자 장치의 동작 상태에 기반하여 설정된 조건에 따라 다양한 생체 정보 기능을 제어할 수 있다.
일 실시 예에서, 전자 장치가 잠금 상태에서 상기 ECG 신호에 기반한 생체 입력이면, ECG 신호로부터 생성된 생체 정보를 기반으로 사용자 인증을 수행하고, 사용자 인증이 성공하면 전자 장치를 잠금 해제(또는 잠금 해제 및 생체 정보 제공 어플리케이션 활성화)할 수 있다.
일 실시 예에서, 전자 장치에서 특정 어플리케이션이 실행 중이고, 상기 ECG 신호에 기반한 생체 입력이면, 생체 정보를 기반으로 사용자의 감정 정보를 판단하고, 감정 정보를 상기 실행 중인 어플리케이션에 적용하여 어플리케이션의 기능을 변화시키거나 새로운 기능을 제공할 수 있다.
570 동작에서, 상기 프로세서는 전극 입력으로 판단한 경우, ECG 신호에 대응하여 어플리케이션을 제어하는 일반 기능을 수행한다. 여기서, 일반 기능은 ECG 신호에 기반하여 생체 정보를 생성할 수 없으므로, 생체 정보와 상관없이 전자 장치의 동작 상태에 따라 어플리케이션을 제어하는 기능일 수 있다. 예컨대, 일반 기능은, 어플리케이션 상의 메뉴 선택 기능, 별도의 입력 버튼 이외의 추가적인 입력 기능, 어플리케이션 활성화 트리거링 기능을 포함할 수 있다.
일 실시 예에서, 상기 전자 장치가 동작 모드이고, ECG 신호에 기반한 전극 입력이면, ECG 신호의 생체 접촉 조건 별로 맵핑된 어플리케이션을 활성화하도록 제어할 수 있다.
일 실시 예에서, 상기 전자 장치에서 카메라 어플리케이션이 실행 중이고, ECG 신호에 기반한 전극 입력이면, 생체 접촉 조건에 따라 촬영 동작, 카메라 메뉴 선택 동작, 포커싱 줌 동작, 타이머 촬영 선택 동작 중 적어도 하나에 대응하는 기능을 실행하도록 제어할 수 있다.
도 6은 본 발명의 다양한 실시예에 따른, 생체 센서를 이용한 전자 장치의 기능 제어 방법을 도시한다.
도 6을 참조하면, 상기 전자 장치의 프로세서는, 610 동작에서, 생체 센서 활성화 조건을 검출하고, 620 동작에서, 프로세서는, 생체 센서 활성화 조건 검출에 응답하여 생체 센서를 활성화(예, 구동)한다. 생체 센서 활성화 조건은 전자 장치의 동작 상태에 따라 변경될 수 있다. 생체 센서 활성화 조건은, 특정 어플리케이션 구동 시점, 또는 어플리케이션 실행 도중 설정된 특정 동작 수행 시점이 될 수 있으며, 생체 센서 활성화 조건은 기 설정하거나, 설정 조건이 변경될 수 있다. 일 예를 들어, 생체 센서 활성화 조건은, 카메라 기능의 활성화(예: 이미지 센싱 또는 카메라 연관 애플리케이션 구동)되는 조건, 전면이나 후면 카메라 기능이 구동(예: 카메라 앱 구동 혹은 프리뷰 이미지 수신)되는 조건, 프리뷰 영상에 포함된 이미지 중 전자 장치의 사용자의 얼굴이 인식되는 조건, ECG 전극 중 하나 이상에 물체가 접촉되는 조건, 전자기기의 모션센서를 이용한 포즈나 제스처 정보가 획득되는 조건, 전자 장치에 포함된 센서들을 기반으로 특정 신호가 센싱되는 조건, 사용자의 요청 입력이 검출되는 조건 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 상기 프로세서는, 카메라 기능이 구동된 후 특정 조건하에서 ECG 센서를 구동하여 생체 신호를 감지하도록 제어할 수 있다. 예컨대, 카메라(예: 전면 카메라 또는 셀프 카메라)가 동작되고, 디스플레이에 프리뷰 영상으로서 표기될 때, 상기 프로세서는, 해당 카메라로부터 입력된 영상을 분석하여 사용자 얼굴은 인식한 경우, 생체 센서를 구동하도록 제어할 수 있다.
상기 프로세서는, 물체(예: 손가락)가 상기 ECG 전극 중 하나 이상에 접촉하는 조건에 응답하여 생체 센서를 구동하도록 제어할 수 있다
상기 프로세서는 전자기기의 모션센서를 이용한 포즈나 제스처 정보(예: 움직임 혹은 3D 공간상 상하 이동(pitch), 편향(yaw), 회전(roll) 정보)를 기반으로 이용하여 상기 생체 센서의 구동 조건을 판별할 수도 있다. 예컨대, 전자장치가 테이블이나 바닥에 놓인 경우, 동작할 카메라나 생체 센서가 지면방향을 향할 수 있다. 상기 프로세서는 가속도센서(accelerometer)나 자이로 센서를 통해 전자 장치의 포즈를 감지하여, 촬영에 사용할 카메라나 생체 센서가 지면에 수평 혹은 이에 가깝게 위치하거나, 움직임 신호의 크기가 설정된값 이하로 판단되는 경우 중 적어도 하나 이상의 조건을 만족하는 경우 ECG 센서 동작을 수행하지 않도록 제어할 수 있다. 이와 반대로 상기 프로세서는, 전자 장치의 포즈 신호를 분석한 결과 상기 카메라나 생체 센서가 지면에 수평에 가깝지 않거나 움직임 신호가 설정된값 이상 감지된 경우 중 적어도 하나 이상을 만족하는 경우에 생체 센서의 구동하도록 제어할 수 있다.
다양한 실시 예에 따르면, 상기 프로세서는, 상기 생체 센서 구동을 위하여 복수개의 조건을 동시에 만족하는 경우, 우선순위에 의해 순차적으로 생체 센서 활성화 조건을 판단할 수 있다.
일 실시 예에 따르면, 상기 프로세서는 ECG 센서가 활성화되지 않은 경우, 전면 카메라 전환 시 ECG 센서를 자동으로 활성화하도록 제어할 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 카메라 동작 상태에서 프리뷰 이미지의 특정 위치에 터치 입력이 검출되면, 생체 센서를 동작하도록 제어할 수 있다. 또는, 상기 프로세서는, 카메라 동작 상태에서 전자 장치의 사이드, 베젤, 또는 후면부의 하우징에 장착된 하드웨어 버튼이나 터치센서를 통해 사용자 입력이 검출되면, 생체 센서를 동작하도록 제어할 수 있다.
다양한 실시 예에 따르면, 프로세서(예, AP(Application Processor))가 슬립 모드이거나 전원이 오프(off)된 경우, ECG 전극이 내장되거나 탑재된 하드웨어 버튼이나 터치 영역(예: 전원 온 오프(on/off) 기능, 홈 키(home key) 버튼)에서 사용자 입력이 검출되는 경우, 사용자 입력에 응답하여 상기 프로세서가 액티브 상태로 동작하도록 제어하고, 이에 응답하여 생체 센서에 전원을 인가하거나, 생체 센서 구동하도록 제어할 수 있다.
이하, 생체 입력 및 전극 입력에 대응하는 기능 제어에 대해 일례를 들어 설명하기로 하며, 이는 발명의 상세한 설명을 위해 예시한 것일 뿐 이에 한정하지 않는다.
< 생체 입력 실시예 >
도 7은 다양한 실시예에 따른 생체 입력의 기능 제어의 예시를 도시한다.
도 7을 참조하면, 다양한 실시 예에 따르면, 전자 장치는 ECG 신호에 기반한 생체 입력에 응답하여 ECG 기반 생체 정보를 활용하는 어플리케이션(예, 건강이나 의료 관련 어플리케이션)이 활성화되지 않는 경우, ECG 기반 생체 정보를 활용하는 어플리케이션을 자동으로 구동하도록 제어할 수 있다. 예를 들어, 701에 도시된 바와 같이, 사용자는 전자 장치에 배치된 모든 ECG 전극에 생체를 접촉할 수 있다. 전자 장치는 ECG 신호를 생체 특성을 갖는 생체 입력으로 판단하고, 이에 응답하여, 702에 도시된 바와 같이, 생체 정보를 관리하고 측정하는 건강 관리 어 어플리케이션을 자동으로 활성화하고, 이를 표시부에 제공할 수 있다.
도 8은 다양한 실시예에 따른 생체 입력의 기능 제어 방법을 도시한다.
도 8을 참조하면, 다양한 실시 예에 따르면, 전자 장치는, ECG 신호에 기반한 생체 입력에 응답하여 생체 특성을 기반으로 사용자 인증을 수행하고, 사용자 인증 결과에 따라 사용자 기능의 실행 또는 권한을 변경할 수 있다. 또는 전자 장치는 인증 실패에 따라 사용자 기능 또는 보안 기능을 제한할 수 있다.
810동작에서, 전자 장치는, 전자 장치의 동작 상태를 사용자 인증이 요구되는 동작 상태로 판단한다. 사용자 인증이 요구되는 동작 상태는 잠금 상태, 사용자 식별 정보(ID)가 필요한 어플리케이션이 실행된 상태, 사용자 동의가 필요한 어플리케이션이 실행된 상태, 전자 결제 상태, 개인 정보 교환 및 전송이 필요한 상태일 수 있다.
820동작에서, 전자 장치는 ECG 센서를 통해 생체 접촉에 따른 ECG전극 접촉 신호를 수신하고, 825동작에서 전자 장치는 ECG 신호에 근거하여 생체 정보를 생성할 수 있는 생체 입력인지를 판단한다. 예컨대, 심전도 패턴은 사용자 개인 별로 구별될 수 있는 유니크한 특성을 갖는 생체 정보이며, 사용자를 식별할 수 있는 정보로 이용될 수 있다. 전자 장치는 사용자의 ECG 패턴 혹은 ECG 신호의 특징 정보(예: 파형, 파형의 특징점, 심박패턴 등)을 기반으로 특정 사용자를 식별함으로써, 사용자 인증 서비스를 제공할 수 있다.
830동작 에서, 전자 장치는 ECG 신호가 생체 입력인 경우, ECG 신호를 기반에 생체 입력에 응답하여 상기 생체 정보를 생성하고, 이를 기반으로 사용자 인증을 수행한다. 전자 장치는, ECG 신호를 기반으로 생성된 생체 정보를 미리 저장된 사용자의 생체 정보와 비교하고, 비교 결과, 저장된 생체 정보와 일치하는 경우, 사용자 인증에 성공했다고 판단할 수 있다.
850동작에서, 전자 장치는 ECG 신호를 기반으로 사용자 인증이 성공한 경우, 인증 성공에 따라 전자 장치의 기능을 실행하거나 변경하도록 제어한다.
일 실시 예에서, 전자 장치가 잠금 상태에서 ECG 신호를 기반에 생체 입력이 감지되면, 생체 정보를 기반으로 사용자 인증을 수행하여 인증 성공 시 전자 장치의 잠금을 해제할 수 있다. 추가적으로 전자 장치는 ECG 정보 기반 사용자 인증이 성공되면, 설정에 따라 ECG 기반 생체 정보를 활용하는 어플리케이션(예, 건강이나 의료 관련 어플리케이션)을 자동으로 구동하거나, 또는 마지막으로 사용했던 어플리케이션을 자동으로 표시부에 표시할 수 도 있다.
일 실시 예에서, 전자 장치가 개인 정보와 관련하여 사용자의 동의가 필요한 어플리케이션의 동작 상태일 경우, ECG 정보 기반 사용자 인증이 성공된 경우, 사용자 동의 기능을 수행하도록 제어할 수 있다. 예를 들어, 전자 장치는 사용자의 상품 구매를 위해 NFC모듈이 상점의 POS 시스템과 기능적으로 연결된 상태일 수 있다. 전자 장치는 ECG 신호를 통해 생체 정보가 생성되면, 생성된 생체 정보를 이용해 사용자 인증을 수행하고, 사용자 인증이 성공된 경우(예, 미리 저장된 사용자 생체 정보와 일치한 경우)에만 상품 구매를 위한 결제를 허가하도록 제어할 수 있다.
일 실시 예에서, 전자장치는 서로 다른 애플리케이션 사이, 혹은 전자 장치와 서버 사이에서 개인정보 교환이 발생하기 전에 사용자 인증이 요구될 수 있다. 전자 장치는 개인 정보 전송 및 교환을 위한 동의를 구하는 동작 상태 일 경우, ECG 신호를 통해 사용자 인증을 수행하고, 사용자 인증 성공 시 개인 정보 전송 및 교환을 수행하도록 제어할 수 있다.
한편, 835동작에서, 전자 장치는 ECG 전극 접촉 신호가 생체 정보를 생성할 수 없는 전극 입력인 경우, 사용자 인증이 요구되는 상태를 유지하거나 전극 입력에 대응하는 일반 기능을 수행할 수도 있다.
860동작에서, 전자 장치는 ECG 기반 사용자 인증을 실패한 경우, 잠금 해제 상태를 유지하거나, 사용자 기능 또는 보안 기능을 제한한다. 또는, 전자 장치는, 사용자 인증을 실패한 경우 특정 기간에만 일시적으로 전자 장치를 사용하도록 제한하거나, 사용자 인증이 요구되는 보안 기능을 제한하고 사용자 인증과 상관없는 공용 데이터만을 사용하도록 제어할 수 있다.
도 9는 다양한 실시예에 따른 생체 입력의 기능 제어 방법을 도시한다.
도 9를 참조하면, 다양한 실시예에 따르면, 전자 장치는 ECG 신호에 기반한 생체 입력에 응답하여 생체 특성을 이용해 사용자의 감정정보를 분석하고 분석된 감정 정보를 실행 중인 어플리케이션에 적용하여 어플리케이션의 기능을 변화시키거나 감정 정보 기능을 제공하도록 제어할 수 있다.
910동작에서, 상기 프로세서는, 사용자 요청 또는 기 설정된 전극 입력에 응답하여 감정 정보를 활용하는 어플리케이션 및 기능을 구동한다. 예를 들어, 감정 정보를 활용하는 어플리케이션은 메신저, 영상 통화, 이메일, 게임 등을 포함할 수 있으며, 이에 한정하는 것은 아니다.
920동작에서, 상기 프로세서는, 구동 중인 어플리케이션을 모니터링한다. 예를 들어, 상기 프로세서는, 메시지(또는 이메일)에서 사용자의 문맥을 분석하도록 모니터링하거나, 영상 통화(또는 게임) 중 사용자의 표정, 목소리, 음성 톤을 분석하도록 모니터링할 수 있다.
930동작에서, 상기 프로세서는, 어플리케이션 모리터링 시 감정 측정이 필요한지를 판단하고, 940 동작에서, 상기 프로세서는, ECG 기반으로 감정 정보를 생성한다. 예를 들어, 상기 프로세서는, 텍스트 입력 모드에서 사용자가 입력하는 텍스트 중 사람의 감정을 나타내는 텍스트(예, 즐겁다, 즐거워. 재미있다, 기쁘다, 행복하다, 화난다, 우울하다 등)가 입력되거나, 사용자가 전자 장치를 양손으로 파지한 상태에서 텍스트를 입력 하거나, 영상 통화 중 사용자의 표정 변화가 발생됐다고 판단하는 경우, 감정 측정이 필요하다고 판단할 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 감정 측정이 필요하다고 판단한 경우, 생체 선서를 활성화하도록 제어하고, 생체 센서로부터 생체 정보를 수신하여 현재 사용자의 감정 상태를 측정할 수 도 있다.
950동작에서, 상기 프로세서는, 측정된 사용자의 감정 상태를 기반으로 현재 구동 중인 어플리케이션에 현재 감정 상태를 반영하여 기능을 변경하거나, 감정 정보를 제공한다.
일 실시 예에 따르면, 상기 프로세서는 사용자의 감정 상태를 반영하여 메시지 어플리케이션의 환경(예, 배경 화면, 배경 음악 등)을 변경하거나, 감정 상태에 따른 이모티콘을 추천하는 기능을 실행할 수 있다.
일 실시 예에 따르면, 상기 프로세서는 영상 통화 중 사용자의 감정에 따라 화면에 이모티콘 추천, 아바타 표정 변경할 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 이메일 본문 작성 시 사용자의 감정에 따라 화면 배경색 변경, 단어 추천하도록 제어할 수 있다.
추가적으로, 960동작에서, 상기 프로세서는, ECG기반 감정 측정 이외의 감정 정보가 필요한지를 결정한다. 상기 프로세서는, 다른 생체 정보 기반으로 감정 측정이 필요하거나, ECG 정보를 기반으로 감정 측정을 진행할 수 없는 경우, 다른 생체 센서를 구동하여 감정을 측정할 수 있다. 예를 들어, 상기 프로세서는, 카메라를 통해 사용자의 영상을 획득하고, 사용자의 표정, 눈 모양, 입 모양 등에 기반하여 사용자의 감정을 측정하거나, 마이크를 통해 사용자의 음성을 획득하고, 목소리, 억양, 톤, 사용 단어들을 기반으로 사용자의 감정을 측정할 수 있다. 또한, 상기 프로세서는 HR 센서를 활성화하여 심박도(Heart Rate)를 통해 사용자의 감정을 추가적으로 측정할 수도 있다. 이 경우, 상기 전자 장치는ECG기반 감정 측정 이외에 다른 생체 센서를 통해 감정 측정하여 사용자 감정 정보의 정확도를 향상시킬 수 있다.
도 10a 내지 도 10d는 실시예에 따른 생체 입력의 기능 제어 예시들을 도시한다.
도 10a를 참조하면, 다양한 실시예에 따른, 전자 장치는 ECG 기반 생체 입력에 응답하여 사용자의 감정 정보를 판단하고, 사용자의 감정 정보에 따라 배경화면의 색상을 자동으로 변경하도록 제어할 수 있다.사용자는 메신저 어플리케이션을 통해 텍스트 문자를 입력할 수 있다. 이때, 사용자는 전자 장치의 양손 파지 상태에서 텍스트 문자를 입력할 수도 있다. 이 경우, 전자 장치는 전자 장치의 양손 파지에 따라 ECG 센서를 구동하고, 전자 장치의 사이드양쪽에 배치된 ECG 전극 1010으로부터 ECG 신호를 수신하여, ECG 신호로부터 의미 있는 심전도값을 생성할 수 있다.
전자 장치는 전자 장치의 사이드양쪽에 배치된 ECG 전극 1010으로부터 생성된 생체 정보를 기반으로 사용자의 감정을 판단할 수 있다. 예를 들어, 전자 장치는 심전도값을 일정 기준으로 다양한 등급을 가지고 분류하고, 등급에 따른 이미지 색상이 설정될 수 있다.
전자 장치는 텍스트 입력 도중 사용자의 심전도값 변화에 따라 등급을 판단하고 등급에 대응하는 감정에 따라 메시지 어플리 케이션의 배경 화면 1011의 색상(color)이 자동으로 변경하도록 제어할 수 있다. 예를 들어, 텍스트 입력 도중 사용자의 심박도가 증가된 경우, 전자 장치는 심박도를 분석하여 사용자의 감정이 흥분 상태임을 판단하고, 이러한 사용자의 감정 상태를 반영하기 위해 배경 화면을 블루색상에서 레드색상으로 자동으로 변경하도록 제어할 수 있다.
도 10b를 참조하면, 다양한 실시 예에 따른 전자 장치는 ECG 기반 생체 입력에 응답하여 사용자의 감정 정보를 판단하고, 사용자의 감정 정보에 따라 사용자의 감정에 대응하는 이모티콘 추천 기능을 실행할 수 있다. 사용자는 전자 장치에 배치된 ECG 전극 1020에 양손을 접촉한 상태에서 텍스트 입력을 수행할 수 있다.
전자 장치는 사용자의 텍스트 입력 도중 ECG 신호를 기반으로 의미 있는 심전도값이 생성되거나, 사용자의 텍스트를 분석하여 사용자의 감정을 타내는 단어 단어가 입력된 경우, 전자 장치에 배치된 ECG 전극 1020의 생체 접촉 신호를 기반으로 사용자의 감정 상태를 분석할 수 있다. 전자 장치는 분석된 사용자의 감정 상태를 반영하여 사용자의 현재 감정에 대응하는 추천 이모티콘 1021을 사용자에게 제공할 수 있다. 예를 들어, 전자 장치는 심전도값을 기반으로 사용자의 감정 정보가 화난 상태이면, 화난 표정의 이모티콘을 추천하고, 사용자의 감정 정보가 우울한 상태이면, 우울한 표정의 이모티콘을, 놀란 상태이면 놀란 표정의 이모티콘을 메신저 어플리케이션 상에 추천하도록 제어할 수 있다.
도 10를 참조하면, 다양한 실시예에 따른 전자 장치는 영상 통화 시 ECG 기반 생체 입력에 응답하여 사용자의 감정 정보를 판단하고, 사용자의 감정 정보를 반영하여 아바타를 제공하거나 사용자의 감정 정보를 영상 통화 화면에 제공할 수 있다. 예컨대, 전자 장치는 영상 통화 시 개인 프라이버시 등을 위해 사용자의 촬영 영상 이외에 다른 대체 이미지(예, 사이버 공간에서 사용자의 분신처럼 사용되는 가상 그래픽 컨텐츠, 아바타) 1040를 제공하는 기능을 지원할 수 있다. 여기서, 아바타는 영상 통화 시 사용자의 영상을 대체하여 제공될 수 있다. 전자 장치는 사용자의 요청 또는 설정에 따라 영상 통화 시 사용자의 영상 단독으로 제공하거나, 사용자의 영상과 상기 아바타를 동시에 제공할 수도 있다. 전자 장치는 영상 통화 시 사용자의 감정 정보를 판단하고, 사용자의 감정 정보를 기반으로 아바타의 표정을 변경하도록 제어할 수 있다.
일 실시 예에서, 전자 장치는 영상 통화 중 촬영되는 영상에서 사용자의 표정 및 녹음되는 음성에서 사용자의 목소리, 억양, 톤 등을 분석하여 사용자의 감정을 추가적으로 측정하고, 사용자의 현재 감정을 분석하는 경우, 신뢰성을 향상시킬 수 있다.
다른 실시 예에서, 전자 장치는 영상 통화 시 사용자의 감정 정보를 기반으로 영상 통화 화면 1030의 배경 색상을 사용자의 현재 감정 상태에 따라 변경하도록 제어할 수도 있다.
도 10d를 참조하면, 다양한 실시 예에 따른 전자 장치는 ECG 기반 생체 정보가 생성된 경우, 생체정보와 관련한 정보 (예: 심박수, ECG 파형, HRV 기반 감정 정보)를 이미지 혹은 이미지의 태그정보로서 감정 정보를 부가하도록 제어할 수 있다.
전자 장치는 카메라 어플리케이션 구동 상태에서 ECG 전극들로부터 수신된 ECG 신호를 분석하여 생체 정보를 생성하고, 영상(예, 이미지 또는 비디오) 촬영한 경우, 촬영된 이미지 1050에 생성된 생체 정보 1060을 표시할 수 있다. 또는, 전자 장치는 생성된 생체 정보를 촬영된 이미지의 메타데이터 영역(예: JPEG의 exif)에 저장하도록 제어할 수 있다.
일 실시 예에 따르면, 전자장치는 카메라를 통해 촬영된 이미지에 얼굴 인식 기능을 수행하여 사용자 인식을 수행하고, 얼굴 인식된 이미지에 연관하여 생성된 생체 정보를 연관하여 저장할 수 있다. 예를 들면, 전자장치는 셀프 카메라(예, 전면 카메라)로부터 획득된 이미지를 기반으로 얼굴 인식을 수행(예: 전자 장치 혹은 기능적으로 연결된 외부장치를 통해 얼굴 인식 모듈에서 기 저장된 사용자의 얼굴 이미지 관련 정보와 유사도 비교)하여, 전자 장치 사용자를 인식할 수 있다. 전자 장치는 인식된 사용자 얼굴과 생성된 생체 정보를 연관되게 표시하거나, 메타데이터 영역에 사용자 식별 정보와 연관되게 저장할 수 있다.
다른 실시 예에 따르면, 전자 장치는 얼굴 인식을 통한 사용자 정보와 생체 정보 인식을 통해 인식한 사용자가 동일한 사용자인 경우에만 생체정보를 촬영한 이미지의 최소 일부(예: 해당 사용자 영역 식별 정보)와 함께 연관되게 저장할 수 있다.
다른 실시 예에 따르면, 전자 장치는 생체 정보를 통해 해당 사용자의 감정 상태를 인식하고, 촬영된 이미지 내에서 사용자의 얼굴 표정을 변화시키거나, 촬영된 이미지의 속성(예: 밝기, 색조, 해상도)을 변화시킬 수 있다. 예를 들어, 전자 장치는 촬영된 이미지에서 무표정한 사용자 얼굴 표정을 생체 정보에 기반하여 웃는 표정으로 변화시킬 수도 있다. 다른 예로, 전자 장치는 생체 정보에 기반하여 사용자의 감정이 즐거운 상태로 판단되면, 촬영된 어두운 색조의 이미지를 밝은 색조의 이미지로 변경하도록 제어할 수도 있다. 또한 전자 장치는 생체 정보에 기반하여 사진 촬영한 사용자의 감정이 슬픈 상태로 판단되면, 맑은 날의 주간에 찍은 풍경 사진에 비오는 효과나 물맺힘 효과를 부여하도록 제어할 수도 있다.
< 전극 입력 실시예 >
도 11은 다양한 실시예에 따른 전극 입력의 기능 제어 예시를 도시한다.
도 11을 참조하면, 다양한 실시예에 따른 전자 장치는 ECG 센서 중 하나 이상의 전극에서 생체 접촉에 응답하여 기 설정된 어플리케이션 활성화를 실행할 수 있다. 이 경우, 전자 장치는 전극 접촉 조건 및 전자 장치의 동작 상태 별로 기 설정된 어플리케이션 트리거링이 상이할 수 있다.
예컨대, 전자 장치는 생체 접촉으로 인해 발생된 ECG 전극의 신호들이 의미 있는 심전도 값을 획득할 수 없는 경우, 전극 입력으로 판단하고, 생체 접촉 신호의 검출 조건을 확인할 수 있다. 예를 들어, 전자 장치에는 세 개의 ECG 전극이 배치되고, 전극#1 1110은 전자 장치의 배면에, 전극 #2 및 #3 1120, 1130은 전자 장치의 하단 측면에 배치될 수 있다.
도 11의 a에 도시된 바와 같이, 사용자는 전자 장치의 후면에 배치된 전극#1 1110에 접촉할 수 있다. 전자 장치는 전극#1 1110 접촉에 기반한 전극 입력에 대응하여 전극 전극#1 1110 에 맵핑된 제1 어플리케이션( 예, 메신저 어플리케이션)을 실행하도록 제어할 수 있다. 전자 장치는 사용자의 생체가 전극# 2 1120 및 전극#3 1130에 접촉한 경우, 전극 #2 및 #3 1120, 1130의 접촉에 대응하여 맵핑된 제2 어플리케이션( 예, 카메라 어플리케이션)을 실행하도록 제어할 수 있다. 사용자가 한손으로 전극# 2 1120 및 전극#3 1130을 접촉한 경우, 전자 장치는 생체 정보를 생성할 수 없으므로, 접촉 신호를 전극 입력으로 판단할 수 있다. 전자 장치는 사용자의 생체가 전극#3 1130에 접촉한 경우, 전극 #3 1130의 생체 접촉에 대응하여 맵핑된 제3 어플리케이션( 예, 스케쥴 어플리케이션)을 실행하도록 제어할 수 있다.
도 12는 다양한 실시예에 따른 전극 입력의 기능 제어 예시를 도시한다.
도 12를 참조하면, 다양한 실시예에 따르면, 전자 장치는 복수 개의 ECG 전극을 이용하여 전극의 생체 접촉 위치 및 접촉 순서를 혼합하여 보안 기능을 위한 비밀번호 입력 기능을 지원할 수 있다. 전자 장치는 사용자 인증이 요구되는 어플리케이션을 실행한 상태로 동작할 수 있다. 예를 들어, 전자 장치는 표시부에 비밀 번호 입력 화면을 표시할 수 있다. 사용자는 ECG 전극에 생체를 접촉하여 비빌번호를 입력할 수 있다. 먼저 사용자는 전극#2에 접촉/탈착, 전극#2에 접촉/탈착, 전극#1에 접촉/탈착, 전극#3에 접촉/탈착, 전극#2에 접촉/탈착, 전극#1에 접촉/탈착의 순서대로 손가락을 이용하여 전극에 생체를 접촉할 수 있다 그러면, 전자 장치는 생체 접촉 위치 및 접촉 순서에 따라 #2,#2, #1, #3, #2, #1의 순서에 의해 비밀번호가 입력됐다고 판단할 수 있다. 전자 장치는 ECG 전극에 의해 비밀번호가 미리 설정된 비밀 번호의 전극 순서와 일치하는 경우, 전자 장치의 해제, 또는 전자장치의 기능을 해제할 수 있다.
도 13은 다양한 실시예에 따른 전극 입력의 기능 제어 방법을 도시한다.
도 13을 참조하면, 다양한 실시에에 따르면, 상기 전자 장치는 적어도 하나 이상의 ECG 신호를 기반으로 전극 입력에 응답하여 이미지 또는비디오 촬영 및 이와 관련한 카메라 어플리케이션 기능을 제어할 수 있다.
1310동작 에서, 상기 전자 장치의 프로세서는, 카메라 어플리케이션을 구동한다. 1320동작에서 상기 프로세서는 ECG 신호를 수신하고, ECG 신호가 생체 정보를 생성할 수 없는 전극 입력으로 판단한다. 1330동작에서, 전자 장치는 카메라 어플리케이션의 동작 상태 및 ECG 신호의 생체 접촉 조건을 확인한다. 예를 들어, 전자 장치는 ECG 신호가 어느 ECG 전극으로부터 수신됐는지, 몇 개의 ECG 전극으로부터 수신됐는지, 생체 접촉 시간, 카메라 어플리케이션에서 실행 중인 세부 기능, 기능 실행을 위한 추가 입력의 설정 상태 등을 확인할 수 있다.
일 실시예에 따르면, 상기 전자 장치는 ECG 전극을 통해 물체 접촉의 감지가 일어난 경우, 촬영동작을 수행하기 위한 추가 조건이 입력되는지를 판별하는 동작을 추가적으로 수행될 수 있으나, 이하, 1340 및 1345 동작은 생략이 가능하다.
1340동작에서, 상기 프로세서는 기능 실행을 위해 추가 입력 조건이 필요한 지를 결정하고, 1350 동작에서, 추가 입력조건이 필요하지 않는 경우, 상기 프로세서는, ECG 신호에 기반한 전극 입력에 응답하여, 접촉 검출 조건에 매핑된 카메라 어플리케이션의 기능을 확인하고, 확인된 카메라 어플리케이션의 기능을 제어한다.
일 실시예에 따르면, 상기 전자 장치는 생체 정보를 생성할 수 없는 ECG신호가 접촉동작(attach) 또는 탈착동작(detach)으로 판단한 경우, 접촉동작(attach) 또는 탈착동작(detach)에 매핑된 촬영 기능을 수행할 수 있다.
일 실시 예에 따르면, 전자 장치는ECG 신호를 통해 비접촉 상태에서 접촉 상태로 변화하거나, 또는 접촉 상태에서 비접촉 상태로 변화하는 상태 변화를 감지함에 따라 촬영 동작을 수행할 수도 있다. 예를 들어, 전자 장치는 카메라 애플리케이션의 구동 상태에서, ECG 전극 중 적어도 하나가 비접촉 상태에서 접촉 상태로 변경되면, 수신된 ECG 신호의 변화에 기반하여 촬영명령이 수행될 수 있다. 다른 예를 들어 , 전자 장치는 카메라 애플리케이션의 구동 상태이고, ECG 전극을 통해 접촉이 유지된 상태에서 비접촉 상태로 전이가 감지되면 촬영명령이 수행될 수도 있다. 여기서, ECG 신호는 사람의 생체 접촉에 따른 소정의 신호 범위값일 수 있다.
1340동작에서, 상기 프로세서는, 카메라 기능 실행을 위해 추가 입력 조건이 필요한 경우, 1345 동작에서, 상기 프로세서는 추가 입력을 수신한다. 다음에, 상기 프로세서는 추가 입력 수신에 응답하여 상기 1350 단계로 진행한다. 여기서, 1340 동작은 생략이 가능할 수 있다.
이하, 카메라 어플리케의 촬영 명령을 수행하기 위해 다양한 ECG 신호 기반의 전극 입력의 예시를 설명하며, 촬영 명령을 수행하기 위한 접촉 검출 조건에 사용자 설정 또는 제조 시에 다양하게 설정될 수 있다.
일 실시 예에 따르면, ECG 전극이 하드웨어적인 버튼이나 키에 배치되거나 내장된 경우, 상기 전자 장치는 ECG 전극에 생체 접촉이 유지되고, 추가 입력 조건 예컨대, 하드웨어적인 버튼과 관련한 입력(key down 혹은 key up)이 검출된 경우, 촬영 명령을 실행할 수 있다.
다른 실시 예에 따르면, 상기 전자 장치는 어느 하나의 ECG 전극에 접촉동작(attach )이 이루어지고, 추가 입력 조건, 예컨대, 접촉 상태가 일정 시간(예, 1초)이상 유지 되는 조건이 검출되면 촬영 명령을 실행할 수 있다.
다른 실시 예에 따르면, 상기 전자 장치는 ECG 전극에 비접촉 상태에서 접촉상태로 전이가 검출되는 경우, 촬영 동작을 실행할 수도 있다. 이 경우, 전자 장치는, 비접촉 상태가 소정 시간 이상 유지되지 않은 경우 특정 ECG 전극에 대한 접촉이 감지되더라도 촬영동작이 발생하지 않도록 제어할 수 있다.
다른 실시 예에 따르면, 상기 전자 장치는 비접촉 상태에서 화이트 밸런싱(white balancing)이나 오토포커싱(auto focusing)이 완료된 후, 상기 ECG전극에 접촉이 검출되는 조건을 만족하는 경우, 촬영 동작을 실행할 수 있다.
다양한 실시 예에 따르면, 복수 수단(예: 생체 센서 및 제스처(또는포즈) 센서)을 통해 촬영 명령을 수행하도록 설정된 경우 생체 센서의 우선순위에 따라 생체 센서의 전극 입력이 감지되는 경우, 촬영 동작을 실행할 수 있다. 예를 들어, 전자 장치는, ECG 전극 중 하나 이상에서 물체가 접촉되는 순간부터 탈착(detach)될 때까지 제스처나 포즈에 의한 촬영 명령을 무시할 수 있도록 제어할 수 있다.
도 14는 다양한 실시예에 따른 전극 입력의 기능 제어 예시를 도시한다.
도 14를 살펴보면, 전자 장치의 사용자는 전자 장치의 전면 카메라를 이용하여 자신의 영상을 촬영(예, 셀프 촬영)할 수 있다. 사용자는 전면 카메라를 이용하여 자신의 영상을 촬영하고자 할 때, ECG 센서를 이용하여 이미지나 비디오를 촬영할 수 있다.
전자 장치는 ECG 센서가 동작하는 상태에서 1401에 도시된 바와 같이, 카메라 애플리케이션이 구동될 수 있다. 이 경우, 사용자는 전자 장치의 전면 카메라를 활성화하도록 제어할 수 있다. 다음에, 1402에 도시된 바와 같이, 사용자는 자신의 영상을 촬영하기 위해 전자 장치에 배치된 ECG전극들 중 후면에 배치된 ECG 전극 1411에 손가락을 접촉(또는 탈착)할 수 있다.
전자 장치는 ECG전극 1411으로부터 생체 접촉 신호를 감지하고 이를 전극 입력으로 판단하여 1403에 도시된 바와 같이, 전극 입력에 응답하여 촬영 동작(예, 이미지 촬영 또는 비디오 영상 촬영)을 수행할 수 있다. 이에 따라, 사용자는 카메라 촬영을 위해 별도의 촬영 버튼에 대한 입력 없이, 전자 장치에 배치된 ECG전극을 이용하여 한 손으로 촬영을 용이하게 제어할 수 있다.
일 실시 에에 따르면, 전자 장치는 동작(활성화)하는 카메라의 배치 방향과 다르게 배치된 생체 센서의 전극을 이용하여 촬영 시작 동작을 수행하도록 설정될 수 있으나, 카메라 배치 방향과 동일한 방향에 배치된 생체 센서의 전극을 이용하여 영상을 촬영할 수도 있다.
도 15는 다양한 실시예에 따른 전극 입력의 기능 제어 예시를 도시한다.
도 15를 참조하면, 다양한 실시 예에 따르면 전자 장치는 적어도 2개 이상의 생체 센서나 전극이 존재할 경우, 신호가 감지된 생체 센서의 전극이 위치에 따라 카메라 어플리케이션의 기능을 다양하게 제어할 수 있다.
일 실시예에 따르면, 전자 장치는 ECG 전극들 중 접촉 여부가 감지되는 전극의 위치에 따라 서로 다른 카메라가 동작하도록 제어할 수 있다. 예를 들어, 전자 장치는 ECG 센서와 PPG 센서가 내장된 전자 장치에서 생체 접촉 전극에 따라 동작하는 카메라가 달라질 수 있다. 예컨대, ECG 센서의 전극은 1501에 도시된 바와 같이, 전자 장치의 사이드 양측에 배치될 수 있으며, PPG 센서의 전극은 1502에 도시된 바와 같이, 전자 장치의 후면에 배치될 수 있다.
전자 장치는 카메라 어플리케이션이 동작하는 동안, PPG 센서 전극에 기반한 생체 접촉 또는 탈착 동작이 감지되면, 전면 카메라를 동작하도록 제어할 수 있다. 전자 장치는 ECG 센서 전극에 기반한 생체 접촉 또는 탈착 동작으로 감지되면, 후면 카메라를 동작(예: preview 표시 혹은 촬영 동작)하도록 제어할 수 있다.
도 16은 다양한 실시예에 따른 전극 입력의 기능 제어 방법을 도시한다.
도 16을 참조하면, 전자 장치의 프로세서는, 1610 동작에서, 전자 장치의 동작 상태를 어플리케이션 실행 상태로 판단한다. 1620 동작에서, 상기 프로세서는, ECG 전극으로부터 생체 특성을 포함하지 않는ECG 신호(예, 생체 접촉 신호)를 수신한다. 1630 동작에서 상기 프로세서는, ECG 신호를 통해 ECG 전극에 접촉한 물체가 생체(예: 손가락) 접촉인지 판단한다. 예를 들어, 상기 프로세서는, ECG 신호 파형이 사람의 ECG 파형의 특징을 보이는지 여부에 따라 접촉한 물체의 생체 여부를 판단할 수 있다.
1640 동작에서, 상기 프로세서는 ECG 신호가 생체 접촉인 경우, 어플리케이션의 동작 상태 및 생체 접촉 조건을 확인한다. 1650 동작에서, 상기 프로세서는 생체 접촉 조건 별로 맵핑된 어플리케이션의 기능을 제어한다. 예를 들어, 상기 프로세서는 특정 ECG 전극으로부터 수신된 ECG 신호가 생체 접촉 인 경우, 촬영 명령(동작)을 실행할 수 있다.
1660 동작에서, 상기 프로세서는 ECG 신호가 생체 접촉이 아닌 경우, 어플리케이션 종료 기능을 실행한다. 예를 들어, 생체가 아닌 테이블이나 벽과 같은 물체에 ECG 전극에 접촉된 경우, 촬영 동작을 실행하지 않거나, 카메라 어플리케이션 종료( 또는 일시 중단)할 수 있다.
도 17은 다양한 실시예에 따른 전극 입력의 기능 제어 방법을 도시한다.
도 17을 참조하면, 전자 장치의 프로세서는 1710 동작에서, 전자 장치의 동작 상태를 어플리케이션 실행 상태로 판단한다. 상기 프로세서는, ECG 센서를 통해 전극 별 접촉상태를 판단하여1720 동작에서, 프로세서는, ECG 전극으로부터 수신된 ECG 신호(예, 생체 접촉 신호)를 기반으로 생체 접촉 상태를 검출한다. 1730 동작에서, 상기 프로세서는, 생체 접촉 상태에 대응하여 실행 중인 어플리케이션의 제1기능이 수행하도록 제어한다.
730 동작에서, 상기 프로세서는 ECG 신호를 기반으로 생체 접촉 변경 상태를 검출하고, 740 동작에서, 상기 프로세서는 생체 접촉 변경 상태에 대응하여 실행 중인 어플리케이션의 제2 기능을 수행하도록 제어한다. 생체 접촉 변경 상태는, 접촉 상태에서 비접촉 상태로의 변경(예, 탈착), 생체 접촉 상태가 설정된 일정 시간을 경과한 상태(예, 생체 접촉이 1초 이상 유지된 경우, 생체접촉 또는 비접촉 전극의 위치 변경 상태를 포함할 수 있다.
일 실시 예에 따르면, 상기 전자 장치는 카메라 애플리케이션이 동작 중이고 프리뷰 화면이 디스플레이되는 상황에서 ECG 전극에 생체가 접촉되면, 자동 포커싱 기능이나 반셔터 기능을 수행하고, ECG 전극에 생체 접촉 상태에서 비접촉 상태로 변경되면, 촬영 명령을 수행할 수 있다.
일 실시 예에 따르면, 전자장치는 전면, 베젤, 후면, 사이드 중 일부에 ECG 센서의 전극이 배치되거나 ECG 전극이 내장 하드웨어 키나 버튼을 포함하여 구성될 수 있다. 전자 장치는 해당 키나 버튼에 내장된 ECG 전극에 생체 접촉상태로 검출되면, 제 1 기능을 수행하고, 키나 버튼의 입력 동작(down 혹은 up)이 검출되면, 제 2 기능을 수행하고, 키나 버튼이 생체 비접촉 상태로의 변경이 검출되면, 제 3 기능을 수행할 수 있다. 여기서, 제 1 기능은 카메라의 반셔터 기능, 제 2 기능은 촬영기능, 제 3 기능은 카메라 애플리케이션의 메뉴 선택을 활성화하는 기능일 수 있다. 또는, 제 1 기능은 ECG 센서의 ECG 측정기능, 제 2기능은 촬영기능, 제 3기능은 촬영된 이미지를 ECG 정보에 기반하여 편집(예: 합성, 이미지 변형)하는 기능일 수 있다. 또는 제 1 기능은 카메라의 GUI를 이용한 기능 선택 및 초점 위치 이동 기능 중 하나 이상을 제공하고, 제 2 기능은 반셔터 기능(초점 고정 기능, 오토 포커싱 기능 또는 노출 조절 기능 중 하나 이상), 제 3기능은 촬영 기능일 수도 있다.
일 실시 예에 따르면, 전자 장치는, ECG 전극에 접촉(attach)이 감지된 후 접촉 유지시간에 따라 서로 다른 기능을 수행할 수 있다. 예를 들어, 전자 장치는 ECG 전극 접촉시부터 탈착(detach)시까지 측정한 접촉 유지 시간이 제 1 유지시간(예: 0.1 sec) 이하일 경우 제 1 기능을 수행하고, 접촉 유지 시간이 제 1 유지시간을 초과일 경우 제 2 기능을 수행할 수 있다. 이 경우, 접촉 유지 시간에 따른 제 1기능은 스냅사진 촬영 기능을 선택하고, 제 2 기능은 뷰티샵 촬영 기능 을 선택 택일 수 있다. 또한, 전자 장치는 접촉 유지 시간이 제 1 유지시간을 초과하여 증가할 경우, 증가하는 유지시간에 대응(예: 비례, 반비례, 타이머 등)하여 제 3 기능을 수행할 수도 있다. 예컨대, 접촉 유지 시간이 제 1 유지시간을 초과하면, 뷰티샵 기능을 선택하는 기능이 수행되고, 초과 후 유지 시간에 비례하여 제 3 기능(예: 잡티제거, Blur효과, Out of focus등)의 횟수, 범위, 강도 등을 조절하고 프리뷰로 표시하며, 탈착되면 해당 이미지를 메모리에 저장할 수 있다.
다른 실시 예에 따르면, 전자 장치는 소정 시간 이내에 ECG전극에 물체가 접촉 후 탈착 동작이 반복된 횟수를 측정하여 촬영모드를 다르게 적용할 수 있다. 예를 들어, 전자 장치는 ECG 전극에 3초 이내에 생체 접촉상태와 탈착상태가 2번 반복되었을 경우에 HDR 모드로 촬영하도록 제어하고, ECG 전극에 3번 접촉 상태 및 탈착 상태가 반복되었을 경우에 야간 촬영모드로 전환하여 촬영하도록 제어할 수 있다.
도 18은 다양한 실시예에 따른 전극 입력의 기능 제어 예시를 도시한다.
도 18을 참조하면, 전자 장치는 ECG 전극 중 일부에 기반한 전극 명령에 응답하여 카메라 모드 변경 기능을 실행하고, ECG 전극 중 다른 일부에 기반한 전극 명령에 응답하여 카메라 촬영 동작을 실행할 수 있다.
전자 장치는 카메라 애플리케이션이 촬영 모드로 동작 상태이고, ECG 전극 #1810에서 생체가 접촉되면, 촬영 기능을 수행하고, 카메라 어플리케이션이 카메라 모드 선택 동작 상태이고, 전자 장치의 사이드 양 단에 배치된 ECG전극 #1820에서 생체가 접촉되면, 사이드 양 단에 배치된 ECG전극 #1820을 이용하여 카메라 모드를 선택하는 기능을 실행할 수 있다.
이 경우, 사이드 양 단에 배치된 ECG전극 #1820은 생체접촉에 따라 위 또는 아래 방향으로의 조작 입력에 대응하는 입력일 수 있다. 사용자가 ECG전극 #1820을 통해 카메라 모드를 선택한 후, ECG 전극 #1810에서 생체가 접촉하거나, 탈착하는 경우, 선택된 카메라 모드를 기반으로 촬영 기능을 수행할 수 있다.
다른 실시 예에 따르면, ECG 전극 #1810에 생체 접촉한 경우, 촬영 기능을 수행하고, 사이드 양 단에 배치된 ECG전극 #1820에 생체 접촉에서 탈착 상태로 변경되면, 셀프 카메라를 이용한 촬영 기능을 수행할 수도 있다.
도 19는 다양한 실시예에 따른 전극 입력의 기능 제어 예시를 도시한다.
도 19 참조하면, 다양한 실시 예에 따른 전자 장치는 ECG 전극에 기반한 전극 명령에 응답하여 생체 접촉 유지시간에 따라 타이머 촬영을 위한 시간 세팅을 제어할 수 있다.
예를 들어, 1901에서 전자 장치는 카메라 어플리케이션을 구동하여 프리뷰영상을 표시부에 제공할 수 있다. 사용자는 프리뷰 영상이 표시된 상태에서 ECG 전극에 생체 접촉을 유지할 수 있다. 전자 장치는 1910 에서, ECG 신호가 전극 입력이고, 생체 접촉이 1초 이상 유지되는지를 판단하고, 접촉유지 시간이 1초 이내에 탈착 상태로 검출되면, 사진 촬영 동작이 수행되며, 접촉유지 상태가 1초 이상 지속될 경우 타이머 카운트( 시간 )를 접촉 발생 시점부터 초당 1씩 증가하고 최대 n 초(sec)까지 증가가 하도록 설정할 수 있다. 이 상태에서 전자 장치는 ECG 전극의 생체 접촉 상태에서 비접촉 상태로 변경되면, 설정된, 타이머에 의한 촬영 기능이 트리거되며, 설정된 타이머가 만료된 시점에 영상을 촬영한다. 1902및 1903에 도시된 바와 같이, 전자 장치는 ECG 전극에 생체 접촉이 1초 이상 유지되면, 표시부에 타이머 설정 중임을 나타내는 지시자 1920을 제공할 수 있다. 전자 장치는 1904에 도시된 바와 같이, ECG 전극의 생체 접촉 상태에서 비접촉 상태로 변경(예, 릴리즈 ) 되면, 생체 접촉으로 인해 설정된 타이머의 만료를 나타내는 지시자 1930을 제공할 수 있다. 1905에 도시된 바와 같이, 전자 장치는 생체 접촉으로 인해 설정된 타이머가 만료되면, 이에 응답하여 촬영 동작을 실행하고, 이를 저장할 수 있다.
다른 실시 예에 따르면, ECG 전극의 생체 접촉 유지시간에 비례하여 비디오 녹화 시간 또는 음성 녹음될 콘텐트의 시간 길이(due data)를 조절할 수도 있다.
도 20은 다양한 실시 예에 따른 전자 장치의 블록도를 도시한다.
도 20을 참조하면, 다양한 실시 예에 따른 전자 장치 2001은 전원 공급부 2010, 처리부 2030, 신호 입력부 2050, 제1 전극 2071, 제2 전극 2073, 및 제3 전극 2075를 포함할 수 있다.
전원 공급부 2010은 처리부 2030 또는 신호 입력부 2050에 전원을 공급하는 기능을 수행할 수 있다. 전원 공급부 2010은 PMIC(power management integrated circuit) 2011 또는 배터리 2013을 포함할 수 있다. PMIC 2011은 전자 장치 2001의 전원 사용을 관리하는 모듈로서 유선 및/또는 무선 충전 방식을 가질 수 있다. 상기 PMIC는, 예를 들면, 집적회로 또는 SoC 반도체 내에 탑재될 수 있다. 추가적으로, 상기 전원 공급부 2010은 충전 IC(charger integrated circuit)(미도시)를 더 포함할 수 있다. 상기 충전 IC는 배터리를 충전시킬 수 있으며, 충전기로부터의 과전압 또는 과전류 유입을 방지할 수 있다. 한 실시예에 따르면, 상기 충전 IC는 유선 충전 방식 또는 무선 충전 방식 중 적어도 하나를 위한 충전 IC를 포함할 수 있다. 무선 충전 방식으로는, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등이 있으며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로 또는 정류기 등의 회로가 추가될 수 있다.
상기 배터리 2013은 전기를 저장 또는 생성할 수 있고, 그 저장 또는 생성된 전기를 이용하여 상기 전자 장치 801에 전원을 공급할 수 있다. 상기 배터리 2013은, 예를 들면, 충전식 전지(rechargeable battery) 및/또는 태양 전지(solar battery)를 포함할 수 있다.
처리부 2030은 신호 입력부 2050으로부터 수신된 정보를 연산, 저장, 표시, 또는 처리하는 기능을 수행할 수 있다. 처리부 2030은 프로세서 2031, OCTA(on-cell TSP amoled) 2033, 또는 메모리 2035를 포함할 수 있다. 상기 프로세서 2031은 전자 장치 2001의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 프로세서 2031은 CPU, AP(application processor), 또는 CP(communication processor) 중 하나 또는 그 이상을 포함할 수 있다. 다양한 실시 예에 따르면, 프로세서 2031은 신호 입력부 2050으로부터 수신된 생체 정보를 연산, 저장, 표시, 또는 처리하는 기능을 제어할 수 있다. 상기 AP 는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 상기 AP는 GPU(graphic processing unit, 미도시)를 더 포함할 수 있다.
OCTA 2033은 디스플레이와 입력 장치가 혼합된 형태의 장치로서 사용자로부터 입력을 수신할 수 있고 사용자에게 정보를 표시하는 기능을 할 수 있다. OCTA 2033은 프로세서 2031에서 처리된 생체 정보 또는 건강 상태 정보를 표시할 수 있다.
다양한 실시 예에 따르면, OCTA 2033은 입출력 인터페이스 (미도시) 및 디스플레이 (미도시)에 포함되는 다양한 형태의 입력 장치 및 디스플레이 장치로 대체될 수 있다. 이 경우, 입출력 인터페이스는 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치의 다른 구성요소(들)에 전달할 수 있는 인터페이스의 역할을 할 수 있다. 또한, 입출력 인터페이스는 전자 장치의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다. 입출력 인터페이스는 전자장치의 프로세서를 통해 분석된 사용자의 건강 상태 정보에 대응하는 음성 정보를 스피커 또는 이어폰 등의 음성 출력 장치를 통해 출력할 수 있다.
디스플레이는 , 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템(microelectromechanical systems, MEMS) 디스플레이, 또는 전자 종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이는, 예를 들면, 사용자에게 각종 컨텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 또는 심볼 등)를 표시할 수 있다. 디스플레이는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스처, 근접, 또는 호버링(hovering) 입력을 수신할 수 있다. 다양한 실시 예에 따르면, 디스플레이 는 상기 생체 정보 또는 상기 건강 상태 정보를 표시할 수 있다. 예컨대, 디스플레이는 지정된 시간 동안의 건강 상태 정보에 대응하도록 그래프 등의 이미지 객체 등을 표시할 수 있다.
메모리 2035는 프로세서 2031을 통해 처리된 생체 정보 또는 건강 상태 정보를 저장하는 기능을 할 수 있다. 상기 메모리 2035 는 내장 메모리 또는 외장 메모리를 포함할 수 있다. 상기 내장 메모리는, 예를 들면, 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비휘발성 메모리(non-volatile Memory, 예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다.
한 실시예에 따르면, 상기 내장 메모리는 Solid State Drive (SSD)일 수 있다. 상기 외장 메모리는 flash drive, 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 Memory Stick 등을 더 포함할 수 있다. 상기 외장 메모리는 다양한 인터페이스를 통하여 상기 전자 장치 2001과 기능적으로 연결될 수 있다. 한 실시예에 따르면, 상기 전자 장치 2001는 하드 드라이브와 같은 저장 장치(또는 저장 매체)를 더 포함할 수 있다.
신호 입력부 2050은 ECG MCP(electrocardiogram multi-chip package) 2051, 센서 허브(sensor hub) 2053, 또는 트랜스포머(transformer) 2055를 포함할 수 있다. ECG MCP 2051은 심전도 측정과 관련된 복수 개의 회로, 부품, 또는 하드웨어 장치 등을 포함할 수 있다. ECG MCP 2051은 상기 전극들(예: 제1 전극 2071, 제2 전극 2073, 또는 제3 전극 2075)을 통해 수신된 생체 정보(예: 생체 전위 정보)의 증폭, 또는 변환 등의 처리를 수행할 수 있다. 센서 허브 2053은 특정 센서를 제외한 전자 장치 2001에 포함된 복수의 센서들의 정보 수집, 처리, 또는 제어 기능을 수행할 수 있다. 전자 장치 2001은 물리량을 계측하거나 전자 장치 2001의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있는 센서 모듈을 포함할 수 있다. 상기 센서 모듈은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, color 센서 (예: RGB(red, green, blue) 센서), 생체 센서, 온/습도 센서, 조도 센서 또는 UV(ultra violet) 센서 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 센서 모듈 은, 예를 들면, 후각 센서(E-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor), IR(infra red) 센서, 홍채 센서) 또는 지문 센서 등을 포함할 수 있다. 상기 센서 모듈 은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로(미도시) 를 더 포함할 수 있다.
트랜스포머 2055는 처리부 2030과 신호 입력부 2050의 절연 기능을 수행할 수 있다. 한 실시 예에 따르면, 트랜스포머 2055는 트랜스포머 아이솔레이터(transformer isolator)를 이용하여 물리적으로 처리부 2030과 신호 입력부 2050을 따로 연결함으로써 생체 정보(예: 생체 전위 정보) 측정 시 발생할 수 있는 전기 충격을 방지할 수 있다. 예컨대, 생체 정보 측정과 관련하여 접지 전극으로 구성되는 전극은 트랜스포머 2055를 기반으로 접지되는 효과를 가질 수 있다. 다양한 실시 예에 따르면, 신호 입력부 2050의 전체 또는 일부는 생체 센서 에 포함될 수 있다.
상술한 전자 장치 2001을 구성하는 요소들은 심전도를 측정할 수 있는 모듈의 실시 예를 나타낸 것이다. 다양한 실시 예에 따르면, 전자 장치 2001은 복수 개의 전극 예컨대, 제1 전극 2071, 제2 전극 2073, 및 제3 전극 2075를 통해 사용자의 생체 정보 예컨대, 생체 전위 정보를 수신할 수 있다. 수신된 생체 전위 정보는 ECG MCP 2051을 통해 증폭 또는 변환 처리될 수 있다. 이 경우 센서 허브 2053은 ECG MCP 2051 및 상기 복수 개의 전극들의 정보 수집, 처리, 또는 제어 기능을 수행할 수 있다. 센서 허브 2053은 처리된 생체 전위 정보를 프로세서 2031로 전달할 수 있다. 프로세서 2031은 메모리 2035에 저장된 생체 전위 정보를 이용하여 전달된 생체 전위 정보를 분석할 수 있으며, 분석된 생체 전위 정보를 기반으로 사용자의 건강 상태 정보를 생성할 수 있다. 프로세서 2031은 전달된 생체 전위 정보 또는 생성된 건강 상태 정보를 메모리 2035에 저장하도록 제어할 수 있으며 OCTA 2033을 통해 표시하도록 제어할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치의 전술한 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 본 발명의 다양한 실시예에 따른 전자 장치는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 본 발명의 다양한 실시예에 따른 전자 장치의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
다양한 실시예에 따르면, 본 발명의 다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그래밍 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어는, 하나 이상의 프로세서 (예: 상기 프로세서 122)에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 상기 메모리 130가 될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는, 예를 들면, 상기 프로세서210에 의해 구현(implement)(예: 실행)될 수 있다. 상기 프로그래밍 모듈 의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 또는 프로세스 등을 포함할 수 있다.
상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령(예: 프로그래밍 모듈)을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
본 발명의 다양한 실시예에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 발명의 다양한 실시예에 따른 모듈, 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
그리고 본 명세서와 도면에 개시된 실시 예들은 본 발명의 내용을 쉽게 설명하고, 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다
120: 프로세서
130:메모리
140: 입출력 인터페이스
150: 디스플레이
160:통신 인터페이스
170:셍체 센서
210:생체 접촉 조건 판단 모듈
220: 센서 입력 판단 모듈
230: 생체 입력 제어 모듈
240: 전극 입력 제어 모듈

Claims (20)

  1. 적어도 하나의 생체 전극으로부터 접촉 신호를 감지하는 생체 센서; 및
    상기 생체 센서로부터 수신된 접촉 신호가 생체 특성을 갖는지를 결정하고, 생체 특성을 포함하는 접촉 신호인 경우, 상기 접촉 신호를 생체 입력으로 판단하여 생체 정보 기능을 실행하고, 상기 접촉 신호가 생체 특성을 포함하지 않는 경우, 상기 접촉 신호를 전극 입력으로 판단하여 어플리케이션과 관련된 일반 기능을 실행하도록 제어하는 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 생체 센서는 상기 적어도 하나의 생체 전극과 연결되어 전압 변화를 검출하는 비교기 및 상기 접촉 신호를 증폭하는 증폭기를 포함하고,
    상기 프로세서는,
    상기 비교기로부터 출력된 전압 변화를 감지하여 접촉 신호가 발생된 전극의 위치, 접촉 유지 시간, 접촉 전극 개수, 접촉 및 탈착 상태 중 적어도 하나에 기반한 접촉 감지 조건, 및 전자 장치의 잠금 상태, 전자 장치의 어플리케이션 구동 상태, 구동 어플리케이션 종류, 전자 장치의 파지 상태 중 적어도 하나에 기반한 전자 장치의 동작 상태를 판단하고,
    상기 전자 장치의 동작 상태 및 접촉 감지 조건 별로 맵핑된 생체 입력 명령 또는 전극 입력 명령을 생성하는 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 접촉 신호가 생체 접촉 범위에 포함된 신호, 상기 접촉 신호가 심전도 측정이 가능한 생체 특성을 포함하는 신호 중 어느 하나 또는 이들의 조합을 만족하는 경우, 상기 접촉 신호를 상기 생체 입력으로 판단하고,
    상기 접촉 신호가 비생체 접촉 범위에 포함된 신호, 상기 접촉 신호를 기반으로 생체 정보를 생성할 수 없는 신호 중 어느 하나 또는 이들의 조합을 만족하는 경우, 상기 접촉 신호를 상기 전극 입력으로 판단하는 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    전자 장치의 잠금 상태에서 상기 접촉 신호에 기반한 생체 입력에 응답하여, 생체 특성에 따라 생체 정보를 생성하고, 생체 정보를 기반으로 사용자 인증을 수행하고, 사용자 인증 성공 시 잠금 해제 동작 및 생체 정보와 연관된 어플리케이션 실행 기능 중 어느 하나 또는 이들의 조합을 실행하는 전자 장치.
  5. 제2항에 있어서,
    상기 프로세서는,
    어플리케이션과 관련된 사용자 인증이 요구되는 상태에서, 상기 접촉 신호에 기반한 생체 입력에 응답하여, 상기 생체 정보를 기반으로 사용자 인증을 수행하고, 사용자 인증 성공 시 어플리케이션 기능의 권한을 허여하거나 변경하도록 제어하고, 사용자 인증 실패 시 어플리케이션 기능의 권한을 제한하도록 제어하는 전자 장치.
  6. 제2항에 있어서,
    상기 프로세서는,
    어플리케이션 동작 상태에서 감정 정보 측정이 요구되는 조건을 만족하는 경우, 접촉 신호에 기반한 생체 입력에 응답하여 생체 특성을 기반으로 감정 정보를 생성하고, 상기 생성된 감정 정보에 대응하여 상기 동작 어플리케이션의 기능을 변경하거나 상기 감정 정보를 제공하도록 제어하는 전자 장치.
  7. 제2항에 있어서,
    상기 프로세서는,
    상기 접촉 신호에 기반한 전극 입력에 응답하여 생체 접촉 신호의 검출 조건 별로 맵핑된 어플리케이션 활성화를 트리거링하도록 제어하거나, 상기 어플리케이션이 실행된 상태에서 상기 접촉 신호에 기반한 전극 입력에 응답하여 상기 접촉 검출 조건 별로 맵핑된 어플리케이션의 기능을 실행하도록 제어하는 전자 장치.
  8. 제2항에 있어서,
    상기 프로세서는,
    어플리케이션이 실행된 상태에서 상기 접촉 신호가 상기 적어도 하나의 생체 전극의 접촉 상태에 기반한 전극 입력에 응답하여 상기 어플리케이션의 기능 중 제1 기능을 실행하고, 상기 접촉 신호가 상기 접촉 상태 변경에 기반한 전극 입력에 응답하여 상기 어플리케이션의 기능 중 제2 기능을 실행하도록 제어하는 전자 장치.
  9. 제2항에 있어서,
    상기 프로세서는,
    상기 생체 센서의 활성화 구동 조건이 검출되는지를 판단하고, 상기 활성화 구동 조건이 검출되는 경우, 생체 센서를 활성화하도록 제어하고, 상기 생체 센서로부터 수신된 접촉 신호가 생체 접촉이 아닌 경우 비생체 접촉에 대응하여 설정된 제1 기능을 실행하고, 상기 접촉 신호가 생체 접촉 및 생체 특성을 포함하는 경우, 접촉 검출 조건 및 전자 장치의 동작 상태에 따라 생체 입력 명령에 대응하여 설정된 제2 기능을 실행하고, 상기 접촉 신호가 생체 특성을 포함하지 않는 경우, 접촉 검출 조건 및 전자 장치의 동작 상태에 따라 전극 입력 명령에 대응하여 설정된 제3 기능을 실행하도록 제어하는 전자 장치.
  10. 전자 장치의 기능 제어 방법에 있어서,
    적어도 하나의 생체 전극으로부터 접촉 신호를 감지하는 과정;
    상기 적어도 하나의 생체 전극의 접촉 신호가 생체 특성을 갖는지를 결정하는 과정;
    상기 생체 특성을 포함하는 접촉 신호인 경우, 상기 접촉 신호에 기반한 생체 입력에 응답하여 생체 정보 기능을 실행하도록 제어하는 과정;
    상기 접촉 신호가 생체 특성을 포함하지 않는 경우, 상기 접촉 신호에 기반한 전극 입력에 응답하여 어플리케이션과 관련된 일반 기능을 실행하도록 제어하는 과정을 포함하는, 전자 장치의 기능 제어 방법.
  11. 제10항에 있어서,
    상기 접촉 신호가 생체 특성을 갖는지를 결정하는 과정;
    상기 접촉 신호가 생체 접촉 범위에 포함된 신호, 상기 접촉 신호가 심전도 측정이 가능한 생체 특성을 포함하는 신호 중 어느 하나 또는 이들의 조합을 만족하는 경우 상기 생체 특성을 포함하는 것으로 결정하는 전자 장치의 기능 제어 방법.
  12. 제10항에 있어서,
    접촉 신호가 발생된 생체 전극의 위치, 접촉 유지 시간, 접촉신호가 발생된 생체전극 개수, 생체 접촉 및 탈착 상태 중 적어도 하나에 기반한 접촉 감지 조건을 판단하는 과정; 및
    전자 장치의 잠금 상태, 전자 장치의 어플리케이션 구동 상태, 구동 어플리케이션 종류, 전자 장치의 파지 상태 중 적어도 하나에 기반한 전자 장치의 동작 상태를 판단하는 과정; 및
    상기 전자 장치의 동작 상태 및 접촉 감지 조건 별로 맵핑된 생체 입력 명령 또는 전극 입력 명령을 생성하는 과정을 더 포함하는 전자 장치의 기능 제어 방법.
  13. 제10항에 있어서,
    상기 생체 정보 기능을 실행하도록 제어하는 과정은,
    전자 장치 잠금 상태 또는 어플리케이션의 사용자 인증 요구 상태에서 상기 접촉 신호에 기반한 생체 입력이 검출되는 경우, 상기 적어도 하나의 생체 전극의 접촉 신호로부터 생체 특성을 반영한 생체 정보를 생성하는 과정;
    상기 생성된 생체 정보를 기반으로 사용자 인증을 수행하는 과정;
    상기 사용자 인증 성공 시 전자 장치의 잠금 해제 또는 어플리케이션 기능의 권한을 허여하거나 변경하도록 제어하는 과정; 및
    상기 사용자 인증 실패 시 잠금 상태를 유지하거나 어플리케이션 기능의 권한을 제한하도록 제어하는 과정을 포함하는 전자 장치의 기능 제어 방법.
  14. 제10항에 있어서,
    상기 생체 정보 기능을 실행하도록 제어하는 과정은,
    상기 접촉 신호에 기반한 생체 입력이 검출되는 경우, 상기 생체 입력에 기반하여 생체 특성과 연관된 어플리케이션을 자동으로 실행하는 과정을 포함하는 전자 장치의 기능 제어 방법.
  15. 제10항에 있어서,
    상기 생체 정보 기능을 실행하도록 제어하는 과정은,
    어플리케이션 실행 상태에서 상기 접촉 신호에 기반한 생체 입력이 검출되는 경우, 생체 특성을 기반으로 감정 정보를 생성하는 과정; 및
    상기 생성된 감정 정보를 반영하여 상기 감정 정보를 실행 어플리케이션에 반영하도록 변경하거나, 상기 감정 정보를 나타내는 객체를 어플리케이션 실행 화면에 제공하는 과정을 포함하는 전자 장치의 기능 제어 방법.
  16. 제10항에 있어서,
    상기 어플리케이션과 관련된 일반 기능을 실행하도록 제어하는 과정은,
    상기 접촉 신호에 기반한 전극 입력이 검출되는 경우, 접촉 신호가 발생된 생체 전극의 위치, 생체 접촉 조건 별로 기 설정된 어플리케이션의 활성화를 실행하는 과정을 포함하는 전자 장치의 기능 제어 방법.
  17. 제10항에 있어서,
    상기 어플리케이션과 관련된 일반 기능을 실행하도록 제어하는 과정은,
    어플리케이션 실행 상태에서 생체 접촉 조건을 판단하는 과정; 및
    상기 생체 접촉 조건에 따라 맵핑된 실행 어플리케이션의 기능을 실행하는 과정을 포함하는 전자 장치의 기능 제어 방법.
  18. 제10항에 있어서,
    상기 어플리케이션과 관련된 일반 기능을 실행하도록 제어하는 과정은,
    어플리케이션 실행 상태에서 상기 적어도 하나의 생체 전극에 접촉된 접촉 신호가 생체 접촉인 경우, 접촉 신호에 기반한 전극 입력에 응답하여 실행 어플리케이션의 기능을 실행하는 과정; 및
    상기 적어도 하나의 생체 전극에 접촉된 접촉 신호가 생체 접촉이 아닌 경우 비생체 접촉 신호에 기반한 전극 입력에 응답하여 상기 실행 중인 어플리케이션을 종료하는 과정을 포함하는 전자 장치의 기능 제어 방법.
  19. 제10항에 있어서,
    상기 어플리케이션과 관련된 일반 기능을 실행하도록 제어하는 과정은,
    어플리케이션 실행 상태에서 상기 접촉 신호가 상기 적어도 하나의 생체 전극의 접촉 상태에 기반한 전극 입력인 경우, 전극 입력에 응답하여 상기 어플리케이션의 기능 중 제1 기능을 실행하는 과정; 및
    상기 접촉 신호가 상기 접촉 상태 변경에 기반한 전극 입력인 경우, 전극 입력에 응답하여 상기 어플리케이션의 기능 중 제2 기능을 실행하는 과정을 포함하는 전자 장치의 기능 제어 방법.
  20. 전자 장치의 기능 제어 방법을 적어도 하나의 프로세서에 의해 실행시키기 위한 적어도 하나의 명령을 저장하고 있는 저장 매체에 있어서,
    상기 적어도 하나의 명령은,
    적어도 하나의 생체 전극으로부터 접촉 신호를 감지하는 동작;
    상기 적어도 하나의 생체 전극의 접촉 신호가 생체 특성을 갖는지를 결정하는 동작;
    생체 특성을 포함하는 접촉 신호인 경우, 상기 접촉 신호에 기반한 생체 입력에 응답하여 생체 정보 기능을 실행하도록 제어하는 동작; 및
    상기 접촉 신호가 생체 특성을 포함하지 않는 경우, 상기 접촉 신호에 기반한 전극 입력에 응답하여 어플리케이션과 관련된 일반 기능을 실행하도록 제어하는 동작을 처리하기 위한 프로그램을 기록한 저장 매체.
KR1020150091566A 2015-06-26 2015-06-26 전자 장치 및 생체 센서를 이용한 전자 장치의 기능 제어 방법 KR20170001490A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150091566A KR20170001490A (ko) 2015-06-26 2015-06-26 전자 장치 및 생체 센서를 이용한 전자 장치의 기능 제어 방법
US15/192,952 US10192044B2 (en) 2015-06-26 2016-06-24 Electronic apparatus and method for controlling functions in the electronic apparatus using a bio-metric sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150091566A KR20170001490A (ko) 2015-06-26 2015-06-26 전자 장치 및 생체 센서를 이용한 전자 장치의 기능 제어 방법

Publications (1)

Publication Number Publication Date
KR20170001490A true KR20170001490A (ko) 2017-01-04

Family

ID=57601099

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150091566A KR20170001490A (ko) 2015-06-26 2015-06-26 전자 장치 및 생체 센서를 이용한 전자 장치의 기능 제어 방법

Country Status (2)

Country Link
US (1) US10192044B2 (ko)
KR (1) KR20170001490A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102136035B1 (ko) * 2019-12-16 2020-07-21 주식회사 투윈스컴 웨어러블 디바이스, 및 이를 이용한 cctv 관제 시스템
WO2021071224A1 (ko) * 2019-10-07 2021-04-15 주식회사 플랫팜 서브 의사표현 아이템을 포함하는 의사표현 아이템 데이터베이스를 능동적으로 구축하는 메시지 서비스 제공 장치 및 그 방법
WO2021071231A1 (ko) * 2019-10-07 2021-04-15 주식회사 플랫팜 서브 의사표현 아이템을 포함하는 의사표현 아이템 데이터베이스를 능동적으로 구축하는 메시지 서비스 제공 장치 및 그 방법
CN114153973A (zh) * 2021-12-07 2022-03-08 内蒙古工业大学 基于t-m bert预训练模型的蒙古语多模态情感分析方法
WO2023009323A1 (en) * 2021-07-29 2023-02-02 Snap Inc. Emoji recommendation system using user context and biosignals

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10229304B2 (en) * 2015-06-05 2019-03-12 Synaptics Incorporated Finger detection with auto-baseline tracking
US9787676B2 (en) * 2015-09-29 2017-10-10 Anhui Huami Information Technology Co., Ltd. Multi-modal biometric identification
US10467548B2 (en) 2015-09-29 2019-11-05 Huami Inc. Method, apparatus and system for biometric identification
US9824287B2 (en) 2015-09-29 2017-11-21 Huami Inc. Method, apparatus and system for biometric identification
US10402617B2 (en) 2015-09-30 2019-09-03 Apple Inc. Input devices incorporating biometric sensors
US10716478B2 (en) * 2015-12-29 2020-07-21 Motorola Mobility Llc Wearable device heart monitor systems
KR102408649B1 (ko) * 2016-02-19 2022-06-15 삼성전자주식회사 환경 설정 방법 및 장치
CN110199244B (zh) * 2017-01-20 2022-05-24 索尼公司 信息处理设备、信息处理方法以及程序
KR102329765B1 (ko) * 2017-03-27 2021-11-23 삼성전자주식회사 홍채 기반 인증 방법 및 이를 지원하는 전자 장치
US10772551B2 (en) * 2017-05-09 2020-09-15 International Business Machines Corporation Cognitive progress indicator
JP6765657B2 (ja) * 2017-06-27 2020-10-07 公立大学法人会津大学 認証装置、認証方法及びコンピュータプログラム
JP2019053460A (ja) * 2017-09-14 2019-04-04 大日本印刷株式会社 色変更装置及びプログラム
US11723579B2 (en) 2017-09-19 2023-08-15 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement
WO2019061233A1 (zh) * 2017-09-29 2019-04-04 深圳传音通讯有限公司 接听电话的方法与装置
US20190125187A1 (en) * 2017-11-01 2019-05-02 Mediatek Inc. Biosensor configuration which can detect at least two physiological features simultaneously with only two contact positions in mobile device
CN109846496B (zh) * 2017-11-30 2022-06-10 昆山光微电子有限公司 智能可穿戴设备情绪感知功能的硬件实现方法及组合
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
FR3075591B1 (fr) * 2017-12-21 2023-07-21 Seb Sa Procede de commande d’un dispositif electronique et/ou d’un appareil electromenager
US20190196411A1 (en) * 2017-12-27 2019-06-27 Michael M. Yuen Smartwatch assemblies having electrocardiogram sensors, photoplethysmography sensors, and blood pressure monitors and related methods
WO2019133997A1 (en) 2017-12-31 2019-07-04 Neuroenhancement Lab, LLC System and method for neuroenhancement to enhance emotional response
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
CN108830064A (zh) * 2018-06-06 2018-11-16 Oppo（重庆）智能科技有限公司 电子装置以及电子装置的控制方法
EP3849410A4 (en) 2018-09-14 2022-11-02 Neuroenhancement Lab, LLC SLEEP ENHANCEMENT SYSTEM AND METHOD
US10831998B2 (en) * 2018-12-19 2020-11-10 International Business Machines Corporation Visualizing sentiment on an input device
US11385884B2 (en) * 2019-04-29 2022-07-12 Harman International Industries, Incorporated Assessing cognitive reaction to over-the-air updates
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
KR20210073274A (ko) 2019-12-10 2021-06-18 삼성전자주식회사 웨어러블 전자 장치 및 웨어러블 전자 장치에서 생체 접촉 검출 방법
JP7404951B2 (ja) 2020-03-17 2023-12-26 オムロンヘルスケア株式会社 生体情報計測装置、生体情報計測装置の制御方法及びプログラム
CN111680541B (zh) * 2020-04-14 2022-06-21 华中科技大学 一种基于多维度注意力融合网络的多模态情绪分析方法
CN113040771B (zh) * 2021-03-01 2022-12-23 青岛歌尔智能传感器有限公司 情绪识别方法、系统、可穿戴设备及存储介质
US20230041497A1 (en) * 2021-08-03 2023-02-09 Sony Interactive Entertainment Inc. Mood oriented workspace
CN116548940A (zh) * 2022-01-29 2023-08-08 华为技术有限公司 防尘方法、电子设备及可读存储介质
WO2023177910A1 (en) * 2022-03-18 2023-09-21 Hani Esmaeili Virtual assist device

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6470893B1 (en) 2000-05-15 2002-10-29 Peter V. Boesen Wireless biopotential sensing device and method with capability of short-range radio frequency transmission and reception
US20130158368A1 (en) * 2000-06-16 2013-06-20 Bodymedia, Inc. System for monitoring and managing body weight and other physiological conditions including iterative and personalized planning, intervention and reporting capability
KR100680284B1 (ko) 2005-06-07 2007-02-08 주식회사 헬스피아 사용자의 감정 상태에 따라 단말기의 환경설정을 변경하는이동통신 단말기 및 그 변경방법
KR20100109383A (ko) * 2009-03-30 2010-10-08 삼성전자주식회사 바이오 분석 장치를 포함하는 인터넷 폰 장치 및 이를 이용한 원격 의료 서비스 방법
JP5893822B2 (ja) * 2009-10-07 2016-03-23 日本光電工業株式会社 生体情報モニタ装置
CN102934142B (zh) * 2010-04-09 2016-10-05 卓尔医学产品公司 用于ems设备通信接口的系统和方法
US8676230B2 (en) 2011-05-16 2014-03-18 Neurosky, Inc. Bio signal based mobile device applications
EP2713865B1 (en) * 2011-05-23 2017-10-18 SHL Telemedicine International Ltd. An electrocardiographic monitoring system
KR101911086B1 (ko) 2011-11-21 2018-10-24 엘지전자 주식회사 단말기 및 그 제어 방법
CN105813545A (zh) * 2013-11-22 2016-07-27 Mc10股份有限公司 用于感测和分析心搏的适形传感器系统
US20150182130A1 (en) * 2013-12-31 2015-07-02 Aliphcom True resting heart rate
US10179064B2 (en) * 2014-05-09 2019-01-15 Sleepnea Llc WhipFlash [TM]: wearable environmental control system for predicting and cooling hot flashes
US9546898B2 (en) * 2014-06-12 2017-01-17 PhysioWave, Inc. Fitness testing scale
US20170020399A1 (en) * 2015-06-02 2017-01-26 Sportracker Ltd. Methods Circuits Assemblies Devices Systems and Associated Machine Executable Code for Biological Sensing
US20160374578A1 (en) * 2015-06-25 2016-12-29 Intel Corporation Contextual heart health monitoring with integrated ecg (electrocardiogram)
KR101797907B1 (ko) * 2015-07-08 2017-11-15 조선대학교산학협력단 생체 정보 측정 센서 및 이를 포함하는 의류

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021071224A1 (ko) * 2019-10-07 2021-04-15 주식회사 플랫팜 서브 의사표현 아이템을 포함하는 의사표현 아이템 데이터베이스를 능동적으로 구축하는 메시지 서비스 제공 장치 및 그 방법
WO2021071231A1 (ko) * 2019-10-07 2021-04-15 주식회사 플랫팜 서브 의사표현 아이템을 포함하는 의사표현 아이템 데이터베이스를 능동적으로 구축하는 메시지 서비스 제공 장치 및 그 방법
US11366846B2 (en) 2019-10-07 2022-06-21 Platfarm Inc. Apparatus and a method for providing expression item services which constructing digital communication environments
KR102136035B1 (ko) * 2019-12-16 2020-07-21 주식회사 투윈스컴 웨어러블 디바이스, 및 이를 이용한 cctv 관제 시스템
WO2023009323A1 (en) * 2021-07-29 2023-02-02 Snap Inc. Emoji recommendation system using user context and biosignals
US11765115B2 (en) 2021-07-29 2023-09-19 Snap Inc. Emoji recommendation system using user context and biosignals
CN114153973A (zh) * 2021-12-07 2022-03-08 内蒙古工业大学 基于t-m bert预训练模型的蒙古语多模态情感分析方法

Also Published As

Publication number Publication date
US20160378965A1 (en) 2016-12-29
US10192044B2 (en) 2019-01-29

Similar Documents

Publication Publication Date Title
KR20170001490A (ko) 전자 장치 및 생체 센서를 이용한 전자 장치의 기능 제어 방법
US10341554B2 (en) Method for control of camera module based on physiological signal
KR102444585B1 (ko) 생체 신호를 측정하는 전자 장치 및 방법
EP3518129B1 (en) Electronic device and control method thereof
KR102561587B1 (ko) 전자 장치 및 그의 동작 방법
KR102414731B1 (ko) 생체 신호를 측정하는 전자 장치 및 방법
KR102463383B1 (ko) 생체 신호 측정을 위한 방법 및 이를 위한 착용형 전자 장치
CN108388782A (zh) 用于认证生物计量数据的电子设备和系统
KR102354351B1 (ko) 수면 상태를 결정하는 전자 장치 및 그 제어 방법
US20160142407A1 (en) Method and apparatus for displaying user interface in electronic device
US10165978B2 (en) Method for measuring human body information, and electronic device thereof
US20150190062A1 (en) Method and system for measuring heart rate in electronic device using photoplethysmography
KR20150128377A (ko) 지문 처리 방법 및 그 전자 장치
CN105867528A (zh) 用于获取生物识别信息的方法和设备
KR20160100770A (ko) 생체 정보를 측정하는 전자 장치 및 방법
KR20160024627A (ko) 전자 장치 및 전자 장치에서 수면 모니터링 방법
KR20150099430A (ko) 전자 장치
JP6742380B2 (ja) 電子装置
US20160374578A1 (en) Contextual heart health monitoring with integrated ecg (electrocardiogram)
US11596764B2 (en) Electronic device and method for providing information for stress relief by same
KR20170076500A (ko) 생체 신호에 근거하여 기능을 수행하기 위한 방법, 저장 매체 및 전자 장치
JP2019115618A (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
KR102526951B1 (ko) 전자 장치에서 생체 정보 측정 방법 및 장치
KR20210048930A (ko) 심전도 데이터를 이용한 사용자 검증 장치 및 그 방법
WO2018090254A1 (zh) 一种生物测定数据存储方法、电子设备及系统