KR20150039113A - 생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스 - Google Patents

생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스 Download PDF

Info

Publication number
KR20150039113A
KR20150039113A KR20140132012A KR20140132012A KR20150039113A KR 20150039113 A KR20150039113 A KR 20150039113A KR 20140132012 A KR20140132012 A KR 20140132012A KR 20140132012 A KR20140132012 A KR 20140132012A KR 20150039113 A KR20150039113 A KR 20150039113A
Authority
KR
South Korea
Prior art keywords
user
signal
content
bio
display
Prior art date
Application number
KR20140132012A
Other languages
English (en)
Other versions
KR102333704B1 (ko
Inventor
황태호
김미영
황보민수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20150039113A publication Critical patent/KR20150039113A/ko
Application granted granted Critical
Publication of KR102333704B1 publication Critical patent/KR102333704B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B50/00—ICT programming tools or database systems specially adapted for bioinformatics
    • G16B50/30—Data warehousing; Computing architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B50/00—ICT programming tools or database systems specially adapted for bioinformatics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Abstract

생체 신호에 기초하여 컨텐츠를 처리하는 방법에 있어서, 사용자의 생체 신호를 획득하고, 획득된 생체 신호에 기초하여, 출력될 컨텐츠의 종류 또는 특성을 변화시키기 위한 파라미터를 결정하고, 결정된 파라미터에 기초하여, 컨텐츠를 처리하거나 대체하고, 처리 또는 대체된 컨텐츠를 출력하는 방법이 개시된다.

Description

생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스 {Method for processing contents based on biosignals, and thereof device}
본 발명은 생체 신호에 기초하여 컨텐츠를 처리하는 방법 및 장치에 대한 것이다.
웨어러블 장치가 발달되면서, 지문, 홍채, 안면 인식 등의 생체 인식 기술에 의한 입력 또는 인증 방법 및 장치가 개발되고 있다. 생체 인식 기술에 의한 입력 또는 인증은 기존의 비밀번호 또는 패턴 암호 보다 보안성이 높고, 간편하게 입력이 가능하다는 장점이 있다.
특히, 생체 신호 중 뇌파는 사용자의 눈 주변 근육의 움직임뿐 아니라 사용자의 감정 상태 또는 집중도에 따라 변할 수 있다. 따라서, 생체 인식 장치는 측정된 뇌파를 통해 사용자의 집중도나 감정 상태를 파악하고, 파악된 사용자의 상태에 따라 작업을 수행할 수 있다.
사용자는 특정 작업을 수행하기 위한 액션을 취하지 않고도 장치의 뇌파 측정만으로 사용자 입력이 가능하다는 점에서 장치를 사용하는 사용자의 편의성을 높일 수 있다.
본 발명은 생체 신호에 기초하여 컨텐츠를 처리하는 방법 및 장치에 대한 것이다.
구체적으로, 뇌파를 포함하는 생체 신호에 기초하여 컨텐츠를 처리하거나 사용자 인증을 수행하는 방법 및 장치에 대한 것이다.
일 실시 예에 의한 생체 신호에 기초하여 컨텐츠를 처리하는 방법에 있어서, 사용자의 생체 신호를 획득하는 단계; 상기 획득된 생체 신호에 기초하여, 컨텐츠의 특성을 변화시키거나, 출력될 컨텐츠의 종류를 결정하기 위한 파라미터를 결정하는 단계; 상기 결정된 파라미터에 기초하여, 상기 컨텐츠를 처리하거나 출력될 컨텐츠의 종류를 결정하는 단계; 상기 처리된 컨텐츠 또는 상기 결정된 종류의 컨텐츠를 출력하는 단계를 포함한다.
더하여, 상기 파라미터를 결정하는 단계는 상기 획득된 생체 신호에 기초하여, 상기 사용자의 감정 상태, 수면 상태, 스트레스, 워크로드, 집중도 상태 중 적어도 하나를 결정하는 단계; 상기 결정된 사용자의 상태와 대응되는 파라미터를 결정하는 단계를 포함한다.
더하여, 상기 생체 신호는 상기 사용자의 뇌파 신호를 포함하고, 시간 또는 주파수 도메인에서의 상기 뇌파 신호의 특성과 대응되는 사용자의 상태에 기초하여 파라미터가 결정된다.
더하여, 상기 파라미터는 컨텐츠의 볼륨, 음높낮이, 재생 속도, 소리의 풍성함, 깊이, 울림, 굵기, 떨림, 실감 효과, 서라운드 효과, 공간감, 화음, 코드 및 반주, 디스플레이에서의 표시 영역, 디스플레이의 색채, 명암, 대비, 투명도, 초점, 전원, 전력 소모량, 컨텐츠의 종류 중 적어도 하나를 포함한다.
더하여, 상기 사용자의 생체 신호를 획득하는 단계는 상기 사용자에 자극을 제공하기 위한 객체를 적어도 하나 출력하는 단계; 상기 적어도 하나의 객체가 출력되는 동안 또는 출력된 이후 발생된 상기 사용자의 생체 신호를 획득하는 단계를 포함하고, 상기 사용자의 생체 신호의 반응과 대응되는 적어도 하나의 객체를 검출하고, 상기 검출된 객체와 대응되는 작업을 수행하는 단계를 더 포함한다.
더하여, 상기 획득된 생체 신호에 기초하여, 상기 사용자의 집중도를 결정하는 단계; 상기 결정된 사용자의 집중도가 기준점 이하인 경우, 상기 사용자의 집중도가 기준점 이하로 된 시점을 기준으로, 재생 중인 컨텐츠에 관한 정보를 획득하는 단계; 상기 획득된 정보를 상기 사용자에게 제공하는 단계를 더 포함한다.
더하여, 상기 컨텐츠에 관한 정보를 획득하는 단계는 상기 사용자의 집중도가 기준점 이하로 된 시점을 기준으로 상기 컨텐츠의 주요 내용 및 요약 정보 중 적어도 하나를 획득하거나, 재생 중인 방송 컨텐츠를 녹화 및 저장하는 단계를 포함한다.
더하여, 상기 사용자에게 제공하는 단계는 상기 사용자의 집중도가 상기 기준점 이상이 되거나 상기 사용자의 입력에 따라, 상기 획득된 컨텐츠에 관한 정보를 상기 사용자에게 제공하는 단계를 포함한다.
더하여, 상기 컨텐츠에 관한 정보는 외부 서버로부터 획득된 상기 컨텐츠에 대한 빅데이터, 분당 시청률, 상기 컨텐츠에 관한 기본 정보 중 적어도 하나에 기초하여 획득된다.
일 실시 예에 의한 생체 신호에 기초하여 사용자 인증을 수행하는 방법에 있어서, 사용자의 생체 신호를 획득하는 단계; 상기 획득된 생체 신호로부터 사용자 인증을 위한 비교 대상 신호 패턴을 검출하는 단계; 상기 검출된 비교 대상 신호 패턴과, 상기 사용자 인증을 위해 미리 모델링된 신호 패턴을 비교함으로써, 상기 사용자 인증을 수행하는 단계; 상기 사용자 인증이 성공하는 경우, 상기 모델링된 신호 패턴을 상기 검출된 신호 패턴을 이용하여 업데이트하는 단계를 포함한다.
더하여, 인증이 필요한 작업이 수행되는 동안에, 상기 사용자 인증이 반복적으로 수행된다.
일 실시 예에 의한 생체 신호에 기초하여 컨텐츠를 처리하는 디바이스에 있어서, 사용자의 생체 신호를 획득하는 센서부; 상기 획득된 생체 신호에 기초하여, 컨텐츠의 특성을 변화시키거나, 출력될 컨텐츠의 종류를 결정하기 위한 파라미터를 결정하고, 상기 결정된 파라미터에 기초하여, 상기 컨텐츠를 처리하거나 출력될 컨텐츠의 종류를 결정하는 제어부; 및 상기 처리된 컨텐츠 또는 상기 결정된 종류의 컨텐츠를 출력하는 출력부를 포함한다.
더하여, 상기 센서부는 상기 사용자에 자극을 제공하기 위한 적어도 하나의 객체가 출력되는 동안 또는 출력된 이후 발생된 상기 사용자의 생체 신호를 획득하고, 상기 제어부는, 상기 사용자의 생체 신호의 반응과 대응되는 적어도 하나의 객체를 검출하고, 상기 검출된 객체와 대응되는 작업을 수행한다.
더하여, 상기 제어부는 상기 획득된 생체 신호에 기초하여, 상기 사용자의 집중도를 결정하고, 상기 결정된 사용자의 집중도가 기준점 이하인 경우, 상기 사용자의 집중도가 기준점 이하로 된 시점을 기준으로, 재생 중인 컨텐츠에 관한 정보를 획득하고, 상기 출력부는, 상기 획득된 정보를 상기 사용자에게 제공한다.
일 실시 예에 의한 생체 신호에 기초하여 사용자 인증을 수행하는 디바이스에 있어서, 사용자의 생체 신호를 획득하는 센서부; 상기 획득된 생체 신호로부터 사용자 인증을 위한 신호 패턴을 검출하고, 상기 검출된 신호 패턴과, 상기 사용자 인증을 위해 미리 모델링된 신호 패턴을 비교함으로써, 상기 사용자 인증을 수행하고, 상기 사용자 인증이 성공하는 경우, 상기 모델링된 신호 패턴을 상기 검출된 신호 패턴을 이용하여 업데이트하는 제어부; 및 상기 사용자 인증 결과를 출력하는 출력부를 포함한다.
도 1은 일 실시 예에 의한 생체 신호에 기초하여 컨텐츠를 처리하거나 인증을 수행하는 디바이스(100)의 내부 구성을 나타낸 것이다.
도 2는 일 실시 예에 의한 생체 신호에 기초하여 컨텐츠를 처리하는 방법을 나타낸 순서도이다.
도 3은 일 실시 예에 의한 생체 신호에 기초하여 컨텐츠를 처리하는 일 예를 나타낸 예시 도면이다.
도 4는 일 실시 예에 의한 사용자의 생체 신호에 따라 컨텐츠 정보를 제공하는 방법을 나타낸 순서도이다.
도 5는 일 실시 예에 의한 사용자의 생체 신호에 따라 컨텐츠 정보를 제공하는 일 예를 나타낸 예시 도면이다.
도 6은 일 실시 예에 의한 사용자의 생체 신호에 따라 컨텐츠를 표시하는 방법을 나타낸 순서도이다.
도 7은 일 실시 예에 의한 사용자의 생체 신호에 따라 컨텐츠를 표시하는 일 예를 나타낸 예시 도면이다.
도 8은 일 실시 예에 의한 생체 신호 측정 장치의 일 예를 나타낸 예시 도면이다.
도 9는 일 실시 예에 의한 사용자의 생체 신호에 기초하여 디스플레이 상태를 변경하여 표시하는 방법을 나타낸 순서도이다.
도 10은 일 실시 예에 의한 사용자의 생체 신호에 기초하여 디스플레이 상태를 변경하여 표시하는 일 예를 나타낸 예시 도면이다.
도 11은 일 실시 예에 의한 사용자의 생체 신호에 기초하여 작업을 수행하는 방법을 나타낸 순서도이다.
도 12는 일 실시 예에 의한 사용자의 생체 신호에 기초하여 작업을 수행하는 일 예를 나타낸 예시 도면이다.
도 13은 일 실시 예에 의한 사용자의 생체 신호에 기초하여 인증을 수행하는 방법을 나타낸 순서도이다.
도 14는 일 실시 예에 의한 사용자의 생체 신호에 기초하여 사용자 인증을 수행하는 방법을 나타낸 순서도이다.
도 15은 일 실시 예에 의한 사용자의 생체 신호에 기초하여 인증을 수행하는 일 예를 나타낸 예시 도면이다.
도 16은 일 실시 예에 의한 사용자의 생체 신호에 기초하여 컨텐츠를 처리하거나 사용자 인증을 수행하는 디바이스의 내부 구성을 나타낸 블록도이다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 일 실시 예에 의한 생체 신호에 기초하여 컨텐츠를 처리하거나 인증을 수행하는 디바이스(100)의 내부 구성을 나타낸 것이다.
일 실시 예에 의한 디바이스(100)는 사용자의 생체 신호를 측정하고 측정된 생체 신호에 기초하여 사용자의 상태를 파악할 수 있다. 그리고, 디바이스(100)는 파악된 사용자의 상태에 따라 컨텐츠를 처리하거나 다른 종류의 컨텐츠로 대체하기 위한 파라미터를 결정하고, 결정된 재생 파라미터를 이용하여 컨텐츠를 처리할 수 있다.
예를 들면, 디바이스(100)는 사용자의 뇌파 신호를 측정하고, 측정된 뇌파 신호로부터 사용자의 심리 및 정신 상태, 수면 상태 등을 판단하고, 사용자의 상태에 따라 컨텐츠를 처리하거나 다른 종류의 컨텐츠로 대체할 수 있다. 디바이스(100)는 사용자의 상태에 따라 컨텐츠를 처리하여 출력함으로써 사용자의 심리 및 정신상태 향상에 도움을 줄 수 있다. 또한, 디바이스(100)는 사용자의 상태에 따라 오디오, 비디오, 진동 등의 컨텐츠 종류 중 적어도 하나를 결정하고, 결정된 컨텐츠 종류가 출력되도록 제어할 수 있다.
뇌파는 인간의 뇌의 활동 상태를 보여주는 생체 신호이다. 뇌가 활동을 하면 뇌 신경 사이에서 세포막을 투과하면 지나가는 이온들, 예를 들면, 나트륨 이온, 칼륨 이온 등에 의해 전위차가 발생된다. 이 전위차로 인하여 발생된 약한 전기의 흐름이 상술된 뇌파이다. 뇌 조직은 전도성 매질로 둘러싸여 있기 때문에 뉴런에서 발생한 전류가 머리 표면까지 전달될 수 있으므로, 두피에 부착된 전극을 통해 뇌파가 측정될 수 있다. 일 실시 예에 의한 디바이스(100)는 개인의 의식과 행동 변화에 상응하여 변할 수 있는 뇌파를 측정함으로써 사용자의 상태를 파악하고, 사용자 상태에 따라 컨텐츠를 처리하여 출력할 수 있다.
디바이스(100)에 의해 측정될 수 있는 생체 신호는 여러가지가 존재하나, 이하 설명에서는 뇌파 신호에 기초하여 작업을 수행하는 것을 기준으로 설명하기로 한다.
또한, 일 실시 예에 의한 디바이스(100)는 사용자의 생체 신호를 측정하고 측정된 생체 신호를 이용하여 인증을 수행할 수 있다. 구체적으로, 디바이스(100)는 생체 신호로부터 사용자 인증을 위한 신호 패턴을 검출하고, 검출된 신호 패턴과 미리 모델링된 신호 패턴을 비교함으로써 사용자 인증을 수행할 수 있다.
디바이스(100)는 예를 들어, 휴대폰, 태블릿 PC, PDA, MP3 플레이어, 키오스크, 전자 액자, 네비게이션 장치, 디지털 TV, 손목 시계(Wrist watch), 스마트 글라스(smart glass), 고글형 가상 현실 디스플레이(virtual reality goggles) 또는 HMD(Head-Mounted Display)와 같은 웨어러블 기기(Wearable device) 등의 다양한 유형의 장치일 수 있다.
도 1을 참조하면, 디바이스(100)는 센서부(110), 제어부(120) 및 출력부(130)를 포함한다. 도면들과 후술되어 있는 실시예에서, 디바이스(100)에 포함되어 있는 개개의 구성 요소는 물리적 형태 또는 논리적 형태로 분산되어 배치될 수도 있고, 통합될 수도 있다.
센서부(110)는 사용자로부터 생체 신호를 획득할 수 있다. 센서부(110)에 의해 획득될 수 있는 생체 신호는 뇌파, 맥박, 심전도 등을 포함할 수 있다. 센서부(110)는 뇌파 신호의 경우, EEG(electroencephalogram), EOG(electrooculogram), ECG(electrocardiogram), EMG(electromyogram), EKG(Electrokardiogramm) 신호 중 적어도 하나를 획득할 수 있다. 센서부(110)는 사용자의 몸과 밀착됨으로써 생체 신호를 획득할 수 있으며, 예를 들면, 헤드셋, 이어폰, 팔찌 등의 형태로 구성될 수 있다.
제어부(120)는 센서부(110)에 의해 획득된 생체 신호를 이용하여 작업을 수행할 수 있다. 구체적으로, 제어부(120)는 생체 신호에 기초하여 사용자의 감정, 수면, 집중도 상태 중 적어도 하나를 결정하고, 결정된 사용자의 상태와 대응되는 파라미터를 결정할 수 있다. 파라미터는 컨텐츠를 처리하거나 컨텐츠 종류를 결정하기 위한 재생 파라미터 또는 음향 신호를 처리하기 위한 출력 파라미터를 포함할 수 있다. 그리고, 제어부(120)는 결정된 재생 파라미터를 이용하여 컨텐츠를 처리하거나 컨텐츠 종류를 결정할 수 있다. 보청기와 같이 외부로부터 수집된 음향(sound) 신호를 증폭하여 출력하는 경우, 제어부(120)는 결정된 출력 파라미터에 기초하여 음향 신호를 처리할 수 있다.
제어부(120)는 현재 재생 중인 컨텐츠 또는 출력 중인 음향 신호를 생체 신호에 따라 처리함으로써, 사용자의 상태 변화에 따라 실시간으로 처리된 컨텐츠 또는 음향 신호가 출력될 수 있다. 사용자의 상태 변화에 따라 실시간으로 처리된 컨텐츠또는 음향 신호가 출력됨에 따라 사용자의 상태는 긍정적으로 변화될 수 있다. 제어부(120)에 의해 처리될 수 있는 컨텐츠는 오디오 또는 비디오 데이터를 포함할 수 있다. 음향 신호는 외부 환경으로부터 수집된 오디오, 음성 신호 등을 포함할 수 있다.출력부(130)는 제어부(120)에 의해 처리된 컨텐츠, 즉, 오디오 또는 비디오 데이터 또는 음향 신호를 디스플레이나 스피커를 통해 출력할 수 있다.
생체 신호에 기초하여 컨텐츠를 처리하는 방법의 구체적인 실시 예에 관하여, 이하 도 2 내지 도 12를 참조하여 더 자세히 설명하기로 한다.
도 2는 일 실시 예에 의한 생체 신호에 기초하여 컨텐츠를 처리하는 방법을 나타낸 순서도이다.
도 2를 참조하면, 단계 S201에서, 디바이스(100)는 사용자의 생체 신호를 센서부(110)를 통해 획득할 수 있다. 센서부(110)에 의해 획득될 수 있는 생체 신호는 뇌파, 뇌혈류 산소량, 맥박 등과 같이 사용자의 상태를 파악할 수 있는 시그널일 수 있다.
단계 S203에서, 디바이스(100)는 단계 S201에서 획득된 생체 신호에 기초하여, 컨텐츠 또는 음향 신호의 특성을 변화시키기 위한 파라미터를 결정할 수 있다. 구체적으로, 디바이스(100)는 생체 신호에 기초하여 사용자의 상태를 결정하고, 사용자의 상태와 대응되는 파라미터를 결정할 수 있다. 더하여, 디바이스(100)는 단계 S201에서 획득된 생체 신호에 기초하여, 출력될 컨텐츠의 종류를 결정하기 위한 재생 파라미터를 결정할 수 있다.
단계 S205에서, 디바이스(100)는 단계 S203에서 결정된 파라미터를 이용하여 컨텐츠 또는 음향 신호를 처리할 수 있다. 예를 들면, 디바이스(100)는 재생 파라미터에 따라 컨텐츠의 음질, 음량, 음높낮이, 재생 속도, 소리 또는 색채의 풍성함, 깊이, 울림, 굵기, 떨림, 질감효과, 서라운드 효과 및 이들을 포함한 이퀄라이저(equalizer), 공간감, 채도, 명도, 선명도, 투명도 등을 변화시킬 수 있다. 더하여, 디바이스(100)는 재생 파라미터를 이용하여 출력될 컨텐츠의 종류를 결정할 수 있다. 또한, 음향 신호를 처리하기 위한 출력 파라미터는 재생 파라미터와 동일하게 음향 신호의 음질, 음량, 음높낮이 등을 처리하기 위한 정보를 포함할 수 있다.
일 실시 예에 의한, 외부로부터 수집되어 증폭된 후, 출력될 수 있는 음향 신호는 컨텐츠와 같이 사용자의 생체 신호에 기초하여 처리될 수 있다. 그리고, 음향 신호에 적용되는 출력 파라미터도 재생 파라미터와 동일한 정보를 포함할 수 있다. 따라서, 일 실시 예에 있어, 컨텐츠를 처리하는 방법은, 음향 신호를 처리하는 방법에도 동일하게 적용될 수 있다. 컨텐츠를 처리하는 것에 음향 신호를 처리하는 것도 포함되는 것으로 보고, 이하 설명에서는 설명 편의상 컨텐츠를 처리하는 것을 기준으로 설명하기로 한다.
단계 S207에서, 디바이스(100)는 단계 S205에서 처리된 컨텐츠 또는 결정된 종류의 컨텐츠를 스피커나 디스플레이 등의 출력 장치를 통해 출력할 수 있다.
도 3은 일 실시 예에 의한 생체 신호에 기초하여 컨텐츠를 처리하는 일 예를 나타낸 예시 도면이다.
도 3을 참조하면, 디바이스(100)는 사용자가 현재 스트레스 상태일 때의 생체 신호인 뇌파 신호를 획득하고, 획득된 뇌파 신호에 기초하여 현재 사용자의 상태를 파악할 수 있다. 디바이스(100)에 의해 파악될 수 있는 사용자의 상태는 스트레스, 워크로드, 집중력, 감정 상태 등을 포함할 수 있다.
집중력이란, 사용자의 뇌파 신호를 통해 판단될 수 있는 사용자의 몰입 정도, 몰입의 유형 및 대상을 포함한다. 디바이스(100)가 청각 기기인 경우, 사용자의 머리를 중심으로, 소정 방향으로부터 오는 오디오 또는 음성 신호에 대해 사용자의 생체 신호에 기초하여 사용자가 상대적으로 집중하고 있는 방향을 검출할 수 있다. 구체적으로, 디바이스(100)는 사용자의 뇌파 신호에 대하여 뇌의 좌우 반구 중 특정 뇌 위치에 치우친 비대칭적 뇌파 특성을 파악할 수 있다. 디바이스(100)는 뇌파 신호의 위치 별 특성에 기초하여 사용자가 몰입 혹은 집중하는 정도와 집중하고 있는 방향 정보를 검출할 수 있다. 디바이스(100)는 사용자의 몰입 정도가 기준치 이상이거나, 몰입 정도에 따른 우선 순위가 높은 방향 정보를 사용자가 집중하고 있는 방향 정보로써 검출할 수 있다. 외부로부터 수신될 수 있는 오디오 또는 음성 신호는 사용자의 머리를 중심으로 상, 하, 전, 후, 좌, 우 또는 이들의 조합으로 표현될 수 있는 하나 이상의 공간적 방향으로부터 디바이스(100)로 수신될 수 있다.
디바이스(100)는 사용자가 상대적으로 집중하고 있는 방향으로부터 수신되는 오디오 및 음성 신호를 강화하고, 나머지 방향으로부터 수신되는 오디오 또는 음성 신호는 노이즈로 간주하여 약화시켜 출력할 수 있다. 디바이스(100)는 노이즈 캔슬링 등의 방법으로 노이즈로 간주된 오디오 및 음성 신호를 약화시키고, 사용자의 생체 신호에 기초하여 상대적으로 강화된 특정 방향의 오디오 및 음성 신호를 출력할 수 있다.
더하여, 디바이스(100)는 사용자의 생체 신호에 기초하여, 오디오 및 음성 신호를 포함하는 음향 신호를 처리하기 위한 출력 파라미터를 결정할 수 있다. 그리고, 디바이스(100)는 결정된 출력 파라미터를 이용하여 강화된 특정 방향의 오디오 및 음성 신호를 처리하여 출력할 수 있다.
워크로드란, 사용자 뇌파 신호를 통해 판단될 수 있는 뇌의 사용량을 의미한다. 사용자의 감정 상태는 흥분, 호감, 비호감, 안정 등의 감정 상태를 포함할 수 있다. 디바이스(100)는 파악된 사용자의 상태에 기초하여, 사용자의 심리 및 정신 건강을 유지하거나 긍정적인 방향으로 향상시키도록 컨텐츠를 처리할 수 있다. 예를 들면, 디바이스(100)는 일반적으로 긍정적으로 평가되거나 사용자가 긍정적이라고 생각하는 방향으로 사용자의 심리 및 정신 건강을 향상시키도록 컨텐츠를 처리할 수 있다.
일반적으로, 뇌파 신호는 자율 신경계에 의해 조절될 수 있는 점에서, 개인의 의지로 조절될 수 없으나, 뉴로 피드백(neurofeedback)의 원리에 의하면, 개인의 의지에 따라 뇌파 신호가 변화될 수 있다. 뉴로 피드백이란, 원하는 뇌파의 활성도를 조절하는 기술을 의미하는 것으로, 뇌파의 진동수는 유지하고 진폭을 변화시킬 수 있는 기술이다. 뉴로 피드백의 원리에 의하면, 사용자의 뇌파를 측정하여, 사용자에 특정 뇌파가 발생하였다고 인지시켜주면, 사용자의 뇌는 자동으로 인지된 특정 뇌파를 강화시킬 수 있다. 예를 들어, 사용자로부터 측정된 뇌파에서 알파파가 나올 때 마다 스피커에서 소리가 나도록 하는 경우, 스피커에서 소리가 날 때마다 자동적으로 알파파가 점점 강해질 수 있다. 즉, 사용자에게 알파파가 측정될 때마다 알파파가 측정되었음을 인지시켜 주는 경우, 알파파가 측정되었음을 사용자에게 알려줄 때마다 알파파가 점점 강해질 수 있다. 뉴로 피드백의 원리는 개에게 먹이를 주면서 종을 치면 나중에는 종만 쳐도 침을 흘리는 조건 반사 현상과 비슷하다. 디바이스(100)는 뉴로 피드백의 원리를 이용하여 현재 사용자의 상태를 인지 가능하도록 처리된 컨텐츠를 출력함으로써, 사용자 마음의 상태를 사전에 정의된 긍정적인 방향으로 변화시킬 수 있다.
디바이스(100)는 뇌파의 한 종류로 EEG를 측정할 수 있다. EEG 측정 장비는 헤드셋, 이어폰, 보청기, 골전도 헤드폰 등의 청음 장치와 일체형이거나 청음 장치, 디바이스(100)에 유무선으로 연결된 두부 부착형 센서 또는 머리 이외의 다른 신체 부위에 부착하는 형태의 센서로 구성될 수 있다. 청음 장치와 일체형인 EEG 측정 장비의 경우, 귀속에 삽입되는 형태로 구성될 수도 있다. 뇌파는 EEG 이외에도 ECG, EOG, EMG, EKG 등으로도 측정될 수 있다.
한편, 디바이스(100)는 이어폰 형태로 음악, 오디오 등의 컨텐츠나 전화 통화를 위한 음성을 출력하는 기능 또는 보청기와 같이 외부로부터 감지된 오디오 및 음성 신호를 증폭함으로써 사용자의 청취 능력을 향상시킬 수 있는 기능을 수행할 수 있다. 디바이스(100)는 사용자의 생체 신호에 기초하여 결정된 재생 파라미터를 이용하여 컨텐츠, 외부로부터 감지된 오디오 및 음성 신호 또는 전화 통화를 위한 오디오 및 음성 신호를 처리할 수 있다.
상술된 디바이스(100)의 기능들의 전환은 사용자의 의지에 따른 수동 조작, 디바이스(100)에서 감지된 사용자의 액티비티 또는 사용자의 생체 신호에 기초하여 자동으로 이루어질 수 있다. 즉, 디바이스(100)는 사용자의 의지를 나타내는 입력 신호 또는 생체 신호에 기초하여 자동으로 기능을 전환할 수 있다.
디바이스(100)는 뇌파를 변화시키기 위한 특정한 소리 또는 영상을 출력하는 대신에 현재 재생 중이거나 사용자에 의해 선택된 컨텐츠를 사용자 상태에 따라 처리함으로써 사용자의 감정 상태와 뇌파의 상태를 변화시킬 수 있다. 디바이스(100)에 의해 처리될 수 있는 컨텐츠는 오디오, 비디오, 사용자 UI(user interface) 화면, 그래픽 화면, 가상 현실(virtual reality) 등 다양한 형태의 데이터를 포함할 수 있다.
디바이스(100)는 측정된 뇌파 신호로부터 시간 도메인의 진폭(amplitude), 주파수 도메인의 파워(power) 또는 시간별 파워 등의 값을 획득하고, 이로부터 사용자의 상태를 판단할 수 있다.
그리고, 디바이스(100)는 사용자의 상태와 대응되는 재생 파라미터를 결정하여, 결정된 재생 파라미터에 따라 컨텐츠를 처리하여 출력할 수 있다.
재생 파라미터는 컨텐츠의 볼륨, 음높낮이, 재생 속도, 소리의 풍성함, 깊이, 울림, 굵기, 떨림, 실감 효과, 서라운드 효과, 공간감, 화음, 코드 및 반주 등 이퀄라이저(equalizer) 내 음장 효과와 유사한 속성들을 포함할 수 있다. 또한, 재생 파라미터는 컨텐츠에 오버레이됨으로써 처리될 수 있는 음, 코드 반주, 악기 소리 등을 더 포함할 수 있다.
디바이스(100)는 사용자의 심리 및 정신 건강을 유지, 향상시키기 위하여, 사용자의 부정적인 상태에 있는 경우, 현재 재생 중인 컨텐츠의 소리 또는 영상이 사람들이 일반적으로 좋아하지 않는 특성을 띄도록 처리하는 것이 바람직하다. 예를 들면, 부정적인 상태는 스트레스 또는 워크로드가 높거나, 집중력이 낮은 상태 또는 감정 상태가 비호감인 경우를 포함할 수 있다. 뉴로 피드백 원리에 따라서, 사용자는 디바이스(100)에 의해 처리된 컨텐츠로부터 현재 자신의 상태가 부정적임을 인지할 수 있다. 현재 자신의 상태가 부정적임을 인지한 사용자는 무의식 또는 의식적으로 뇌파를 조절함으로써 자신의 마음 상태를 긍정적인 상태로 변화시킬 수 있다. 초기에 사용자는 의식적으로 뇌파를 변화시키려고 노력할 수 있으나, 반복적인 트레이닝을 통해 사용자가 부정적인 컨텐츠를 듣거나 보게 되면 무의식적으로 뇌파가 긍정적인 상태로 변화될 수 있다.
사용자의 상태는 최소 두 단계 이상으로 세분화되고, 하나 이상의 상태의 조합으로 결정될 수 있다. 디바이스(100)는 사용자의 상태에 따라 컨텐츠를 처리하고 출력할 수 있다.
도 3을 참조하면, 디바이스(100)는 320에서 사용자의 뇌파를 측정하고 현재 사용자의 상태(310)가 스트레스가 높은 상태임을 판단할 수 있다. 디바이스(100)는 스트레스가 높은 상태임을 사용자가 인지할 수 있도록 현재 재생 중인 음악을 가는(thin) 소리(370)로 처리하여 출력할 수 있다. 디바이스(100)는 현재 재생 중인 음악 특성을 사용자 상태에 맞게 변화시킴으로써 사용자는 현재 재생 중인 음악을 들으면서 자신의 상태를 인지할 수 있다.
디바이스(100)는 사용자에 의해 설정되거나 소정 알고리즘에 따라 결정된 조절 민감도에 따라서, 1초 내지 5초 등의 짧은 시간 마다 뇌파 신호를 측정하고, 컨텐츠를 뇌파 신호에 따라 처리할 수 있다. 즉, 330 내지 350에서도 320과 마찬가지로 디바이스(100)는 뇌파 측정을 통해 사용자의 상태를 판단하고, 현재 재생 중인 음악을 처리하여 출력(380, 390)할 수 있다.
사용자는 디바이스(100)에 의해 처리된 컨텐츠를 인지함에 따라 의식적 또는 무의식적으로 자신의 상태를 스트레스 해소(360) 상태로 점차 변화시킬 수 있다. 디바이스(100)는 사용자의 상태가 스트레스 해소(360) 상태로 변해감에 따라 현재 재생 중인 음악을 풍부한(rich) 소리(390)로 처리하여 출력할 수 있다.
디바이스(100)는 컨텐츠 자체를 변경하는 대신 재생 파라미터에 따라 현재 재생 중인 컨텐츠에 코드 반주, 악기 소리, 특정 음 등의 소리를 오버레이함으로써 컨텐츠를 처리할 수도 있다.
이하 도 4 내지 도 5를 참조하여, 사용자의 생체 신호에 따라 컨텐츠 정보를 제공하는 방법에 대해 상세히 설명하기로 한다.
도 4는 일 실시 예에 의한 사용자의 생체 신호에 따라 컨텐츠 정보를 제공하는 방법을 나타낸 순서도이다.
도 4를 참조하면, 단계 S401에서, 디바이스(100)는 사용자의 생체 신호를 획득할 수 있다. 단계 S401에서 획득될 수 있는 사용자의 생체 신호는 뇌파, 맥박 등과 같이 사용자의 상태를 파악할 수 있는 시그널일 수 있다.
단계 S403에서, 디바이스(100)는 단계 S401에서 획득된 생체 신호로부터 사용자의 상태를 결정하여, 단계 S405에서, 사용자의 집중도가 기준점 이하로 하락하거나 사용자가 수면 상태에 있는지 판단할 수 있다. 상술된 기준점은 사용자에 의해 설정되거나 프로그램의 기본 설정에 따라 자동으로 설정될 수 있다. 디바이스(100)는 소정 시간 동안 연속적으로 사용자의 집중도가 기준점 이하이거나 사용자의 수면 상태가 지속될 때, 사용자가 졸음 상태 또는 집중력 저하 상태에 있는 것으로 판단하여, 컨텐츠 정보 획득을 시작할 수 있다.
디바이스(100)는 단계 S405에서, 사용자의 집중도가 기준점 이상이거나 수면 상태에 있지 않은 것으로 판단한 경우, 단계 S401에서 사용자의 생체 신호를 반복적으로 측정할 수 있다. 디바이스(100)는 주기적으로 또는 반복적으로 사용자의 생체 신호를 측정하고, 사용자 상태를 판단할 수 있다.
디바이스(100)는 사용자의 집중도가 기준점보다 떨어지거나 사용자가 수면 상태에 있는 것으로 판단한 경우, 단계 S407에서, 사용자의 집중도가 기준점보다 떨어지거나 수면 상태로 변화된 시점을 기준으로 재생 중인 컨텐츠 정보를 획득할 수 있다.
구체적으로, 디바이스(100)는 사용자의 집중도가 기준점보다 떨어지거나 사용자의 상태가 수면 상태로 변화된 시점부터, 현재 재생 중인 컨텐츠 정보를 획득하기 위한 다양한 컨텐츠 기록(recording)을 수행할 수 있다.
예를 들면, 디바이스(100)는 사용자의 집중도가 기준점보다 떨어지거나 사용자의 상태가 수면 상태로 변화된 시점 이후의 컨텐츠 내용을 기록할 수 있다. 디바이스(100)는 방송 컨텐츠의 경우, 상술된 시점 이후에 재생된 방송 컨텐츠를 녹화 및 저장함으로써 컨텐츠 내용을 기록할 수 있다. 디바이스(100)는 기록 매체에 저장된 컨텐츠가 재생 중에 사용자의 집중도가 기준점보다 떨어지거나 사용자의 상태가 수면 상태로 변화된 경우, 상술된 시점과 대응되는 컨텐츠 위치를 기록해 둠으로써 컨텐츠 내용을 기록할 수 있다.
또 다른 예로, 디바이스(100)는 컨텐츠와 관련된 빅 데이터로부터 획득된 컨텐츠의 주요 하이라이트 장면 및 컨텐츠의 기본 정보를 포함하는 컨텐츠 요약본을 생성함으로써 컨텐츠 내용을 기록할 수 있다. 빅 데이터는 SNS(social network service)나 웹 페이지, 블로그, 인터넷 뉴스 기사 등 인터넷에 떠돌아 다니는 정보들 중 현재 재생 중인 컨텐츠와 관련된 정보를 포함할 수 있다. 디바이스(100)는 분당 시청률이 높거나 빅 데이터에서 태그된 횟수가 많은 장면을 주요 하이라이트 장면으로 선택할 수 있다. 주요 하이라이트 장면은 사용자의 집중도가 기준점보다 떨어지거나 수면 상태로 변화된 시점 이후에 재생된 컨텐츠의 장면들을 포함할 수 있다. 컨텐츠에 관한 빅 데이터, 분당 시청률, 기본 정보는 외부 서버로부터 획득될 수 있다.
단계 S409에서, 디바이스(100)는 사용자 집중도가 상승하거나 수면 상태에서 벗어난 것으로 판단된 경우 또는 사용자 입력에 따라서, 컨텐츠 기록을 중지하고, 사용자에게 단계 S407에서 획득된 컨텐츠 정보를 제공할 수 있다. 구체적으로, 디바이스(100)는 기록된 콘텐츠 내용, 즉, 녹화 및 저장된 방송 컨텐츠를 출력하거나, 저장 매체에 저장된 컨텐츠를 로딩하여 기록된 위치에서부터 컨텐츠를 출력할 수 있다. 또한, 디바이스(100)는 주요 하이라이트 장면 또는 컨텐츠의 간략한 내용 설명을 포함하는 컨텐츠 요약본을 출력할 수 있다.
더하여, 디바이스(100)는 사용자의 집중도가 기준점보다 떨어지거나 사용자의 상태가 수면 상태로 변화한 것으로 판단한 경우, 디스플레이 장치의 절전모드가 실시되도록 디스플레이 장치를 제어할 수 있다. 절전 모드가 실시되면, 디스플레이 장치가 오프(off)되거나 화면 밝기가 어두워질 수 있다. 또한, 절전 모드뿐만 아니라 디바이스(100)는 사용자의 집중도가 기준점보다 떨어지거나 사용자의 상태가 수면 상태로 변화한 것으로 판단한 경우, 디스플레이 장치의 전원을 끄거나, 영상 또는 음향의 특성을 변화시킬 수 있다. 예를 들면, 디바이스(100)는 영상 밝기를 어둡게 하거나 소리 크기를 줄일 수 있다.
도 5는 일 실시 예에 의한 사용자의 생체 신호에 따라 컨텐츠 정보를 제공하는 일 예를 나타낸 예시 도면이다.
도 5를 참조하면, 510에서, 디바이스(100)는 사용자의 생체 신호를 획득하기 위하여 실시간으로 사용자의 상태를 모니터링할 수 있다. 디바이스(100)는 510에 도시된 바와 같이 컨텐츠가 재생 중인 경우에, 사용자의 생체 신호를 주기적으로 획득함으로써 사용자의 상태를 모니터링할 수 있다.
520에서, 디바이스(100)는 사용자의 생체 신호에 기초하여 판단된 사용자의 집중도가 하락하거나 사용자가 수면 상태에 있는 것으로 판단된 경우, 530 내지 540와 같이 컨텐츠 기록을 시작할 수 있다. 520을 참조하면, 디바이스(100)는 사용자의 집중도가 하락하거나 사용자의 상태가 수면 상태로 돌입한 시점을 기준으로 컨텐츠 기록을 수행할 수 있다.
디바이스(100)는 530과 같이 사용자의 집중도가 하락하거나 수면 상태로 돌입한 시점 이후의 방송 컨텐츠를 녹화 및 저장할 수 있다. 또한, 디바이스(100)는 컨텐츠가 기록 매체에 저장되어 있는 경우, 사용자의 집중도가 하락하거나 수면 상태로 돌입한 시점에서 컨텐츠의 재생 위치를 기록해 둘 수 있다.
더하여, 디바이스(100)는 540과 같이 사용자의 집중도가 하락하거나 수면 상태로 돌입한 시점 이후에 재생된 컨텐츠의 주요 장면을 기록해 둘 수 있다. 주요 장면은 짤막한 동영상인 클립(clip) 형태 또는 하나의 영상 프레임을 포함하는 이미지 형태로 기록될 수 있다.
이하 도 6 내지 도 7을 참조하여, 사용자의 생체 신호에 따라 컨텐츠의 표시 영역을 변경하여 표시하는 방법에 대해 상세히 설명하기로 한다.
도 6은 일 실시 예에 의한 사용자의 생체 신호에 따라 컨텐츠를 표시하는 방법을 나타낸 순서도이다.
도 6을 참조하면, 단계 S601에서, 디바이스(100)는 복수의 사용자의 생체 신호를 획득할 수 있다. 단계 S601에서 획득될 수 있는 사용자의 생체 신호는 뇌파, 맥박 등과 같이 사용자의 상태를 파악할 수 있는 시그널일 수 있다. 일 예로, 뇌파는 EEG, EOG, ECG 등의 뇌파 신호를 추출함으로써 획득될 수 있다. 단계 S601에서 생체 신호가 획득될 수 있는 복수의 사용자들은 재생 중인 컨텐츠를 시청하고 있는 상태일 수 있다. 도 6 내지 도 7에서 표시될 수 있는 컨텐츠는 동영상 또는 오디오 데이터뿐만 아니라 사용자 인터페이스 화면, 그래픽 화면 등을 포함할 수 있다.
단계 S603에서, 디바이스(100)는 단계 S601에서 획득된 생체 신호로부터 각 사용자의 상태를 획득할 수 있다. 구체적으로, 디바이스(100)는 생체 신호로부터 각 사용자의 집중도 레벨을 획득할 수 있다. 각 사용자의 집중도 레벨은 수치화되어 비교 분석이 가능한 형태로 획득될 수 있다.
단계 S605에서, 디바이스(100)는 각 사용자의 집중도에 따라 사용자와 대응되는 디스플레이 영역의 크기를 변경하여 표시할 수 있다. 구체적으로, 디바이스(100)는 각 사용자에 대하여 집중도에 따른 우선순위를 결정할 수 있다. 그리고, 디바이스(100)는 각 사용자에 대하여 우선순위에 따라 디스플레이 영역의 크기 및 위치를 결정할 수 있다. 디스플레이 영역의 크기는 우선 순위에 따라 상대적인 크기로 결정될 수 있다. 그리고, 디바이스(100)는 각 사용자의 집중도에 따라 결정된 디스플레이 영역에 각 사용자와 대응되는 컨텐츠를 표시할 수 있다. 따라서, 집중도 레벨에 따른 우선순위가 높은 사용자의 컨텐츠는 디스플레이 장치에서 가장 큰 영역을 차지하며 표시될 수 있다.
도 7은 일 실시 예에 의한 사용자의 생체 신호에 따라 컨텐츠를 표시하는 일 예를 나타낸 예시 도면이다.
도 7을 참조하면, 디바이스(700)는 집중도 레벨이 가장 높은 사용자(710)와 대응되는 컨텐츠가 가장 크게 표시되도록 디스플레이 장치를 제어할 수 있다. 또한, 디바이스(100)는 집중도 레벨이 가장 낮은 사용자(720)와 대응되는 컨텐츠가 가장 작게 표시되도록 디스플레이 장치를 제어할 수 있다.
사용자의 집중도에 따라 결정된 컨텐츠 표시 영역의 크기는 실시간으로 사용자의 생체 신호가 획득됨에 따라 그 크기가 변경될 수 있다. 또한, 다른 사용자의 집중도에 비례하는 크기를 가지는 컨텐츠가 함께 디스플레이되어 각 사용자의 집중도 레벨이 비교될 수 있다.
예시 도면에서와 같이 4인 가족이 동시에 대형 TV(television)를 시청하고 있는 경우, 각 사용자들의 집중도 레벨에 따라 4개의 서로 다른 컨텐츠가 각각 다른 크기로 표시될 수 있다. 또한, 사용자의 집중도 레벨의 변화에 따라 실시간으로 컨텐츠 표시 영역의 크기가 변경될 수 있다.
더하여, 4인 가족이 함께 대형 디스플레이를 통해 게임을 하고 있는 경우, 각 사용자의 집중도 레벨에 따라 서로 다른 게임 화면이 각각 다른 크기로 표시될 수 있다. 각 가족 구성원은 자신이 보고 있는 게임 화면이나 컨텐츠에 대한 소리를 헤드셋, 이이폰 등의 서로 분리된 음성 출력 장치를 통해 들을 수 있다.
도 8은 일 실시 예에 의한 생체 신호 측정 장치의 일 예를 나타낸 예시 도면이다. 도 8에 도시된 생체 신호 측정 장치들은 뇌파 신호인 EEG를 측정할 수 있는 장치의 일 예를 나타낸 것이다.
일 실시 예에 있어서, 뇌파를 측정할 수 있는 장치는 이어폰(410), 글래스(420), 헤어 밴드(430), 헤드셋(440) 형태로 구성될 수 있다. 각각의 뇌파 측정 장치는 음향 시스템을 지원하여, 사용자는 뇌파를 측정할 수 있는 장치를 통하여 컨텐츠의 소리를 청취할 수 있다.
도 8에 도시된 뇌파 측정 장치의 형태는 일 예에 불과하며, 일 실시 예에 따라 생체 신호를 측정할 수 있는 디바이스(100)는 다양한 형태로 구성될 수 있다.
이하 도 9 내지 도 12를 참조하여, 사용자의 생체 신호에 기초하여 디바이스를 제어하는 방법에 대하여 상세히 설명하기로 한다. 도 9 내지 도 12의 디바이스는 스마트 글라스와 같은 웨어러블 장치일 수 있다. 웨어러블 장치는 크기가 제한적이어서 사용자 입력이 용이하지 않으나, 일 실시 예에 의하면, 사용자는 사용자의 의지에 따라 변화될 수 있는 사용자의 생체 신호를 이용하여 웨어러블 장치를 쉽게 제어할 수 있다.
도 9는 일 실시 예에 의한 사용자의 생체 신호에 기초하여 디스플레이 상태를 변경하여 표시하는 방법을 나타낸 순서도이다.
도 9를 참조하면, 단계 S901에서, 디바이스(100)는 사용자의 생체 신호를 획득할 수 있다. 단계 S901에서 획득될 수 있는 사용자의 생체 신호는 뇌파, 맥박 등과 같이 사용자의 상태를 파악할 수 있는 시그널일 수 있다. 일 예로, 뇌파는 EEG 신호를 추출함으로써 획득될 수 있다.
디바이스(100)가 웨어러블 장치인 경우, 사용자 인체에 장착되어 사용될 수 있는 점에서, 생체 신호를 측정하기 위한 구성 요소를 함께 포함할 수 있다. 디바이스(100)가 스마트 글라스인 경우, 안경 형태의 디바이스(100)는 머리 부위에 장착되어 뇌파 신호를 측정할 수 있다.
뇌파 신호를 측정하기 위한 장치는 디바이스(100)와 일체형일 수 있으나, 이에 한하지 않고, 두부 부착형 센서, 귓속 삽입형 인이어 센서로 디바이스(100)와 유무선으로 연결된 형태일 수 있다. 또는, 디바이스(100)가 안경 형태인 경우에, 디바이스(100)는 윗 안경테 부위에 탈착 가능한 뇌파를 측정할 수 있는 센서를 포함할 수 있다.
뇌파 측정 장치로부터 얻어진 사용자의 EEG 신호는 시간 도메인의 진폭, 주파수 도메인의 파워, 주파수 도메인의 시간별 파워 등의 값으로 변환될 수 있다. 디바이스(100)는 사용자 설정 또는 디폴트로 설정된 값에 따라서, 매 1초 내지 5초 등의 짧은 시간 마다 사용자의 뇌파 신호를 측정할 수 있다.
디바이스(100)는 측정된 사용자의 생체 신호에 포함된 노이즈를 제거하기 위하여 특정 주파수 대를 제거하는 대역 필터링(bandpass filtering)를 수행할 수 있다. 또한, 생체 신호가 다수의 채널에서 측정된 경우, 디바이스(100)는 생체 신호의 채널간 측정치를 이용하여 공간적으로 노이즈 제거를 위한 필터링을 수행할 수 있다.
단계 S903에서, 디바이스(100)는 단계 S901에서 측정된 사용자의 생체 신호로부터 사용자의 현재 상태를 결정할 수 있다. 디바이스(100)에 의해 결정될 수 있는 사용자의 현재 상태는 사용자가 어디에 집중하려고 하는지 또는 사용자가 디스플레이를 사용하고자 하는지 여부에 관한 정보를 포함할 수 있다.
구체적으로, 디바이스(100)는 사용자가 스마트 글래스의 투명한 디스플레이를 보고자 하는지 또는 현실 뷰(view)를 보려고 하는지 여부를 사용자의 생체 신호에 기초하여 판단할 수 있다. 예를 들면, 디바이스(100)는 EEG 신호로부터 사용자의 집중도 레벨이 기준값 이상으로 소정 시간 이상 유지되었는지 여부를 기초로 사용자의 상태를 판단할 수 있다. 또는, 디바이스(100)는 사용자의 뇌파 신호를 분석하여, 사용자의 스트레스, 사용자의 보려고 하는 의지에 의해 발생되는 워크로드 수준이 기준값 이상이면, 사용자 디스플레이를 보려고 하는 것으로 판단할 수 있다.
또 다른 예로, 디스플레이의 전원이 꺼져 있거나 절전 상태에 있을 때, 사건 관련 전위(ERP; event-related potential)가 발생되었는지 여부를 기초로 사용자의 상태를 판단할 수 있다. 사건 관련 전위(ERP)란, 임의의 자극에 대하여, 대뇌의 전기적 반응을 두피 부위에서 기록한 뇌파 기록이다. 사용자에게 시각, 청각, 후각, 촉각 등의 자극이 발생함에 따라 ERP 신호가 검출될 수 있다. 디바이스(100)는 기준 크기 이상의 ERP 신호가 검출된 경우, 사용자가 바라보고 있는 방향에 놓인 현실 객체에 관심이 있고 추가적인 정보를 필요로 하는 것이라고 판단하여, 디스플레이를 온(on)할 수 있다.
또 다른 예로, 디바이스(100)는 사용자의 EEG 신호로부터 초점이 근초점 또는 원초점으로 변경되었는지 여부를 기초로 사용자의 상태를 판단할 수 있다. 초점이 원초점에서 근초점으로 변경된 경우, 디바이스(100)는 사용자가 안경 형태의 디스플레이를 보려고 하는 것으로 판단하여, 디스플레이를 온(on)할 수 있다. 반면, 초점이 근초점에서 원초점으로 변경된 경우, 디바이스(100)는 사용자가 현실 뷰를 보려고 하는 것으로 판단하여, 디스플레이를 오프(off)할 수 있다.
또 다른 예로, 디바이스(100)는 안경 형태의 투명 디스플레이에 불특정한 주파수로 깜박이는 도트점을 표시하고, 이 도트점을 이용하여 사용자의 상태를 판단할 수 있다. 구체적으로, 디바이스(100)는 사용자가 깜박이는 도트점을 응시하는 경우, 뇌파 신호로부터 도트점과 대응되는 유발 뇌파(EP;evoked potential)를 검출할 수 있다. 더하여, 디바이스(100)는 사용자의 비주얼 워크로드(visual workload) 또는 스트레스 수준을 기준으로, 사용자가 디스플레이 상의 컨텐츠를 보려고 노력하는지 여부를 판단할 수 있다. 사용자의 비주얼 워크로드(visual workload) 또는 스트레스 수준은 EEG 신호 또는 이외 다른 종류의 뇌파 신호로부터 획득될 수 있다. 디바이스(100)는 깜박이는 도트점과 대응되는 EP를 검출함으로써 사용자가 디스플레이를 보려고 하는 의사를 파악하고, 디스플레이를 온(on)할 수 있다.
단계 S905에서, 디바이스(100)는 단계 S903에서 결정된 사용자의 상태에 기초하여 디스플레이의 상태를 변경하여 표시할 수 있다. 구체적으로, 디바이스(100)는 사용자의 상태에 기초하여 디스플레이를 온오프하거나 절전 상태가 되도록 제어할 수 있다.
더하여, 디바이스(100)는 사용자 시선 방향의 객체 분석 결과, 광량, 광원에 관한 정보를 더 이용하여 디스플레이의 상태를 제어할 수 있다. 예를 들면, 디바이스(100)는 사용자 시선 방향의 객체가 가려지지 않도록 디스플레이의 컨텐츠 표시 영역 또는 크기, 종류를 결정할 수 있다. 예를 들면, 디바이스(100)는 사용자 시선 방향의 객체에 따라 텍스트 또는 이미지를 표시할지 여부를 결정할 수 있다. 일 예로, 채도가 높은 객체의 경우, 디바이스(100)는 텍스트를 표시하도록 제어할 수 있다. 또는, 디바이스(100)는 광량 또는 광원에 관한 정보에 기초하여 최적으로 디스플레이가 표시될 수 있는 디스플레이 재생 파라미터를 결정하고, 결정된 디스플레이 재생 파라미터에 따라 디스플레이를 표시할 수 있다. 디스플레이 재생 파라미터는 예를 들면, 디스플레이의 색채, 명암, 대비, 투명도, 초점, 전원, 전력 소모량 등을 포함할 수 있으며, 도 1 내지 도 3과 관련된 설명에서 상술된 재생 파라미터와 대응될 수 있다.
더하여, 디스플레이 재생 파라미터는 디스플레이되는 컨텐츠의 종류를 더 포함할 수 있다. 즉, 디스플레이 재생 파라미터는 컨텐츠의 종류를 결정하기 위한 재생 파라미터를 포함할 수 있다. 예를 들면, 사용자의 생체 신호로부터 판단된 사용자의 디스플레이에 대한 집중도에 따라서, 디바이스(100)는 다른 종류의 컨텐츠를 출력하도록 제어할 수 있다. 사용자가 디스플레이에 집중하는 경우, 디바이스(100)는 디스플레이를 통해 시각적인 컨텐츠를 출력할 수 있다. 사용자가 디스플레이에 집중하지 않는 경우, 디바이스(100)는 디스플레이 대신 오디오, 음성 신호나 진동 신호를 출력할 수 있는 디스플레이 이외의 장치를 통해 컨텐츠를 출력할 수 있다. 디스플레이 이외의 장치를 통해 출력될 수 있는 컨텐츠는 시각적인 컨텐츠 외에 다른 종류의 컨텐츠, 오디오 컨텐츠 또는 진동 컨텐츠 등을 포함할 수 있다.
도 10은 일 실시 예에 의한 사용자의 생체 신호에 기초하여 디스플레이 상태를 변경하여 표시하는 일 예를 나타낸 예시 도면이다.
도 10을 참조하면, 1010에서, 디바이스(100)는 사용자의 뇌파 신호로부터 사용자가 일상적인 상태, 즉, 현실 뷰를 보고 있는 것으로 판단한 경우, 디스플레이를 오프할 수 있다. 또는 디바이스(100)는 디스플레이를 통한 현실뷰가 잘 보일 수 있도록 디스플레이의 투명도를 높일 수 있다. 디바이스(100)는 디스플레이를 제어함으로써 사용자가 현실뷰를 더 잘 볼 수 있도록 할 수 있다.
1020에서, 디바이스(100)는 사용자의 뇌파 신호로부터 사용자가 높은 집중도와 몰입도를 가지는 것으로 판단한 경우, 사용자가 디스플레이를 보고자 하는 것으로 판단할 수 있다. 디바이스(100)는 디스플레이를 온 하여 현실뷰보다 디스플레이가 더 잘 보일 수 있도록 제어함으로써 사용자가 현실뷰보다 디스플레이를 더 잘 볼 수 있게 할 수 있다.
도 11은 일 실시 예에 의한 사용자의 생체 신호에 기초하여 작업을 수행하는 방법을 나타낸 순서도이다. 구체적으로, 도 11의 방법을 수행하는 디바이스(100)는 사용자의 생체 신호 중 뇌파 신호에 기초하여, 사용자가 수행하고자 하는 작업을 선택하고, 선택된 작업을 수행할 수 있다. 디바이스(100)는 임의의 자극에 따라 발생될 수 있는 ERP를 검출하고, ERP 신호의 크기에 따라 사용자가 수행하고자 하는 작업을 선택할 수 있다. 이하, 도 11을 참조하여 더 상세히 설명하기로 한다.
도 11을 참조하면, 단계 S1101에서, 디바이스(100)는 사용자에게 자극을 주기 위한 객체를 적어도 하나를 출력할 수 있다. 예를 들면, 디바이스(100)는 자극을 주기 위한 객체를 디스플레이하거나 오디오 및 음성 신호 또는 진동 신호로 객체를 출력할 수 있다.
디바이스(100)는 사용자에게 시각 자극을 주기 위하여 불특정한 주파수로 깜박이는 적어도 하나의 도트를 디스플레이할 수 있다. 사용자가 선택할 수 있는 작업 수에 따라 적어도 하나의 도트가 디스플레이될 수 있다. 사용자는 선택하고자 하는 도트점에 집중하면서 응시함으로써 다른 도트점과 대응되는 ERP 보다, 집중 응시한 도트점에 대해 더 큰 값의 ERP가 검출될 수 있다. 각각의 도트는 랜덤한 순서로 깜박일 수 있으며, 디바이스(100)는 ERP 의 크기가 상대적으로 클 때의 시점과 대응되는 도트점을 선택함으로써 사용자가 수행하고자 하는 작업을 선택할 수 있다.
또 다른 예로, 디바이스(100)는 사용자에게 청각 자극 또는 촉각 자극을 주기 위하여, 적어도 하나의 객체를 오디오 및 음성 신호 또는 진동 신호로 출력할 수 있다. 각각의 객체는 사용자에 의해 구별될 수 있는 오디오 및 음성 또는 진동 신호로 출력될 수 있다. 사용자가 수행하고자 하는 작업과 대응되는 객체가 출력될 때, 뇌파 신호의 집중도 또는 흥분도는 상승될 수 있다. 따라서, 사용자가 수행하고자 하는 작업과 대응되는 객체가 출력되었을 때, 다른 객체가 출력되었을 때보다 상대적으로 큰 값의 ERP가 검출될 수 있다. 디바이스(100)는 ERP의 크기가 상대적으로 클 때의 시점과 대응되는 객체를 선택함으로써, 사용자가 수행하고자 하는 작업을 선택할 수 있다.
상술된 객체는 청각, 촉각, 시각적인 자극을 주기 위한 신호에 한하지 않고, 이외 종류의 자극을 주기 위한 다양한 방법으로 출력될 수 있다. 디바이스(100)는 ERP의 크기가 상대적으로 클 때 출력된 객체를 선택함으로써, 사용자가 수행하고자 하는 작업을 선택할 수 있다.
단계 S1103에서, 디바이스(100)는 사용자의 생체 신호를 획득할 수 있다. 단계 S1101에서 획득될 수 있는 사용자의 생체 신호는 뇌파, 맥박 등과 같이 사용자의 상태를 파악할 수 있는 시그널일 수 있다. 일 예로, 뇌파는 EEG 신호를 추출함으로써 획득될 수 있다.
단계 S1105에서, 디바이스(100)는 단계 S1103에서 획득된 사용자의 생체 신호 즉, 뇌파 신호로부터 검출된 반응과 대응되는 객체를 검출할 수 있다.
사용자가 디스플레이 상에 표시된 하나의 도트점에 대해 응시하는 경우, 해당 도트점이 다른 도트점과 구별되게 표시된 시구간에서 더 큰 크기의 ERP가 검출될 수 있다. 예를 들면, 각각의 도트점은 불특정하거나 특정한 주파수로 랜덤한 순서로 깜박이거나 색상이 변경됨으로써 한 시점 구간에서 하나의 도트점만 구별되도록 표시될 수 있다. 디바이스(100)는 더 큰 ERP 신호가 검출된 시점에서 표시된 도트점을 결정함으로써 사용자의 뇌파 신호의 반응과 대응되는 객체를 검출할 수 있다.
디바이스(100)는 시각적인 자극을 주기 위한 객체를 디스플레이하는 데에 한하지 않고, 상술한 예와 같이, 다양한 방법으로 사용자에게 자극을 주기 위한 객체를 출력할 수 있다. 디바이스(100)는 ERP의 크기가 상대적으로 클 때 출력된 객체를 선택함으로써, 사용자가 수행하고자 하는 작업을 선택할 수 있다.
단계 S1107에서, 디바이스(100)는 단계 S1105에서 검출된 객체와 대응되는 작업을 수행할 수 있다. 디스플레이 상에 표시된 각각의 도트점은 현재 수행 가능한 작업과 대응될 수 있다. 디바이스(100)는 ERP 크기에 따라 결정된 도트점과 대응되는 작업을 수행함으로써, 디바이스(100)는 사용자의 버튼 또는 터치 입력을 수신할 필요 없이 사용자 의지에 따라 변화하는 생체 신호의 검출만으로 사용자가 원하는 작업을 수행할 수 있다.
도 12는 일 실시 예에 의한 사용자의 생체 신호에 기초하여 작업을 수행하는 일 예를 나타낸 예시 도면이다.
도 12를 참조하면, 1210 및 1220은 각각 디바이스(100)의 디스플레이 화면의 일 예를 나타낸 도면이다. 디스플레이가 안경 형태의 웨어러블 장치에 구비된 경우, 디스플레이는 웨어러블 장치의 카메라를 통해 촬영된 화면에 더하여 디스플레이에 표시된 객체들의 추가 정보를 더 표시함으로써 증강 현실 화면을 표시할 수 있다. 1210 및 1220은 증강 현실 화면에 더하여, 각 화면에 보이는 객체들의 추가 정보들을 표시한 일 예를 나타낸 것이다. 구체적으로, 1210은 사용자에 의해 선택될 수 있는 각 건물과 대응되는 도트점을 포함하는 예시 화면이다. 1220은 사용자 선택에 따라 선택된 건물에 대한 추가 정보를 나타내는 예시 화면이다.
1210을 참조하면, 증강 현실 화면에 나타난 대상들과 대응되는 도트점들(1211 내지 1215)이 디스플레이될 수 있다. 각각의 도트점들(1211 내지 1215)은 상호간 최대한으로 떨어진 형태로 배치됨으로써, 사용자 집중도에 따른 ERP 신호의 차이가 커질 수 있다. 각 도트점들(1211 내지 1215)은 도 11에서 상술한 바와 같이 불특정하거나 특정한 주파수로 랜덤한 순서로 깜박이거나 색상이 변경됨으로써 한 시점 구간에서 하나의 도트점만 구별되게 표시될 수 있다. 예를 들면, 각 도트점들(1211 내지 1215)은 약 4Hz 정도의 주기로 깜박이거나 색상이 변경되어 표시될 수 있다. 주기는 랜덤하게 변경될 수 있다.
사용자의 뇌파 신호(1216 내지 1219)는 각 도트점과 대응되는 뇌파 신호를 나타낸 것이다. 사용자가 도트점들 중 하나의 도트점(1215)만 집중하여 응시하는 경우, 도트점(1215)이 도 12에 도시된 바와 같이 다른 도트점들과 구별되도록 특정색상으로 표시되는 동안에, 사용자의 뇌파 신호로부터 상대적으로 크기가 큰 ERP 신호(1219)가 검출될 수 있다. 디바이스(100)는 크기가 큰 ERP 신호(1219)와 대응되는 도트점을 선택하고, 1220에서, 선택된 도트점과 대응되는 대상에 관한 추가 정보를 표시할 수 있다.
이하, 도 13 내지 도 15에서, 사용자의 생체 신호에 기초하여 인증을 수행하는 방법에 대하여 상세히 설명하기로 한다.
도 13은 일 실시 예에 의한 사용자의 생체 신호에 기초하여 인증을 수행하는 방법을 나타낸 순서도이다.
도 13을 참조하면, 단계 S1301에서, 디바이스(100)는 사용자의 생체 신호를 획득할 수 있다. 단계 S1301에서 획득될 수 있는 사용자의 생체 신호는 뇌파, 맥박 등과 같이 사용자의 상태를 파악할 수 있는 시그널일 수 있다. 일 예로, 뇌파는 EEG 신호를 추출함으로써 획득될 수 있다.
단계 S1303에서, 디바이스(100)는 단계 S1301에서 획득된 생체 신호로부터 모델링된 신호 패턴과 비교하기 위한 비교 대상 신호 패턴을 검출할 수 있다. 뇌파 신호의 경우, 소정 범위에서 사람에 따라 고유한 신호 패턴을 가질 수 있다. 따라서, 디바이스(100)는 사용자 뇌파 신호 중 사람에 따라 고유한 신호 패턴을 가질 수 있는 범위에서 비교 대상 신호 패턴을 검출하여, 미리 저장된 모델링된 뇌파 신호 패턴과 비교함으로써 사용자 인증을 수행할 수 있다.
단계 S1305에서, 디바이스(100)는 단계 S1303에서 검출된 비교 대상 신호 패턴과 모델링된 신호 패턴을 비교함으로써 사용자 인증을 수행할 수 있다. 뇌파 신호는 사용자의 상태에 따라 변화될 수 있는 점에서, 사용자가 동일하더라도 비교 대상 신호 패턴과 모델링된 신호 패턴은 조금씩 차이가 존재할 수 있다. 따라서, 디바이스(100)는 비교 대상 신호 패턴이 모델링된 신호 패턴을 기준으로 미리 설정된 오차 범위 내에 속하는지 여부에 기초하여 사용자 인증을 수행할 수 있다.
단계 S1307에서, 디바이스(100)는 사용자 인증이 성공하는 경우, 단계 S1309에서, 단계 S1303에서 검출된 비교 대상 신호 패턴을 이용하여 모델링된 신호 패턴을 업데이트할 수 있다. 또한, 인증 성공에 따라 디바이스(100)는 사용자 인증이 필요하였던 작업을 지속적으로 수행할 수 있다.
반면, 단계 S1307에서, 사용자 인증이 실패하는 경우, 디바이스(100)는 사용자 인증이 필요한 작업을 중단하거나 다른 인증 수단을 이용하여 사용자 인증을 수행할 수 있다.
뇌파 신호는 사용자의 상태나 사용자의 주변 환경에 따라 가변적이므로, 사용자 인증을 위한 모델링된 뇌파 신호는 주기적인 업데이트가 필요하다. 따라서, 사용자 인증이 필요한 작업이 수행되고 있지 않는 경우에도, 사용자 인증을 위한 모델링된 뇌파 신호의 업데이트를 위해서, 지속적으로 뇌파 신호를 측정할 수 있다. 그리고, 디바이스(100)는 측정된 뇌파 신호가 모델링된 뇌파 신호를 기준으로 오차 범위 내에 속하는지 여부에 따라 측정된 뇌파 신호를 이용하여 업데이트를 수행할 수 있다. 또는, 디바이스(100)는 뇌파 신호를 이용한 인증 방법 이외의 다른 인증 방법을 통해 사용자 인증이 이미 완료된 경우, 상술된 오차 범위 내에 속하는지 여부의 판단 없이 측정된 뇌파 신호를 이용하여 모델링된 뇌파 신호의 업데이트를 수행할 수 있다.
디바이스(100)는 뇌파 신호 측정 시의 사용자 주변 환경 정보 및 사용자의 상태 등 뇌파가 변화될 수 있는 다양한 요인들을 고려하여 인증을 위한 모델링된 뇌파 신호를 업데이트 할 수 있다. 구체적으로, 디바이스(100)는 모델링된 뇌파 신호에 뇌파 신호 측정 시의 사용자 주변 환경 정보 및 사용자의 상태 등 뇌파가 변화될 수 있는 다양한 요인들을 함께 저장해 둘 수 있다. 따라서, 디바이스(100)는 뇌파 신호뿐만 아니라 상술된 요인들을 함께 고려하여 사용자 인증을 수행할 수 있다.
디바이스(100)는 사용자 인증이 필요한 작업이 수행되고 있는 동안, 일 실시 예에 의한 사용자 인증을 반복적으로 수행할 수 있다. 예를 들어, 사용자가 뇌파 측정을 위한 센서가 구비된 스마트 글래스, 고글 장비 또는 청각 중심의 웨어러블 장치를 착용하고 있던 중, 은행 어플리케이션을 통해 계좌 이체를 하고자 하는 경우, 디바이스(100)는 사용자의 뇌파 신호를 반복적으로 측정하고 인증을 수행할 수 있다. 즉, 디바이스(100)는 은행 어플리케이션이 구동되는 동안 사용자 인증을 반복적으로 수행함으로써, 최초에 은행 어플리케이션에 진입한 사용자와 현재 은행 어플리케이션을 사용 중인 사용자가 동일 인물인지 지속적으로 확인할 수 있다.
도 14는 일 실시 예에 의한 사용자의 생체 신호에 기초하여 사용자 인증을 수행하는 방법을 나타낸 순서도이다. 도 14의 단계 S1405 내지 S1413은 도 13의 S1301 내지 S1309와 대응된다.
도 14를 참조하면, 단계 S1401에서 디바이스(100)는 다수의 시점에서, 모델링된 신호 패턴을 구축하기 위하여 사용자의 생체 신호를 획득할 수 있다. 디바이스(100)는 사용자 인증을 위한 모델링된 뇌파 신호의 구축을 위하여 사용자 인증이 필요한 상태가 아닌 경우에도, 지속적으로 뇌파 신호를 측정할 수 있다.
단계 S1405에서, 디바이스(100)는 단계 S1401에서 측정된 사용자의 생체 신호에 기초하여 사용자 인증을 위한 신호 패턴을 모델링할 수 있다. 디바이스(100)는 뇌파 신호 중 사용자 별로 고유한 패턴을 가지는 뇌파 신호 부분을 검출하여 사용자 인증을 위한 뇌파 신호 패턴을 모델링할 수 있다.
단계 S1405에서, 디바이스(100)는 사용자 인증이 필요한 상태가 되면, 인증하고자 하는 사용자의 생체 신호를 획득할 수 있다. 단계 S1401에서 획득될 수 있는 사용자의 생체 신호는 뇌파, 맥박 등과 같이 사용자의 상태를 파악할 수 있는 시그널일 수 있다. 일 예로, 뇌파는 EEG 신호를 추출함으로써 획득될 수 있다.
단계 S1407에서, 디바이스(100)는 단계 S1405에서 획득된 생체 신호로부터 모델링된 신호 패턴과 비교하기 위한 비교 대상 신호 패턴을 검출할 수 있다. 디바이스(100)는 사용자 뇌파 신호 중 비교 대상 신호 패턴을 검출하여, 기존 데이터 베이스화된 모델링된 뇌파 신호 패턴과 비교함으로써 사용자 인증을 수행할 수 있다.
단계 S1409에서, 디바이스(100)는 단계 S1407에서 검출된 비교 대상 신호 패턴과 모델링된 신호 패턴을 비교함으로써 사용자 인증을 수행할 수 있다. 디바이스(100)는 비교 대상 신호 패턴이 모델링된 신호 패턴을 기준으로 미리 설정된 오차 범위 내에 속하는지 여부에 기초하여 사용자 인증을 수행할 수 있다.
단계 S1411에서, 디바이스(100)는 디바이스(100)는 사용자 인증이 성공하는 경우, 단계 S1413에서, 단계 S1407에서 검출된 비교 대상 신호 패턴을 이용하여 모델링된 신호 패턴을 갱신할 수 있다. 또한, 인증 성공에 따라 디바이스(100)는 사용자 인증이 필요하였던 작업을 지속적으로 수행할 수 있다.
반면, 단계 S1411에서, 사용자 인증이 실패하는 경우, 디바이스(100)는 사용자 인증이 필요한 작업을 중단하거나 단계 S1417에서, 다른 인증 수단을 이용하여 사용자 인증을 수행할 수 있다. 예를 들면, 디바이스(100)는 뇌파 신호를 이용한 사용자 인증이 실패하는 경우, 지문 인식, 홍채 인식, 비밀 번호 입력, 패턴 입력 등 다양한 방법을 통해 사용자 인증을 수행할 수 있다.
단계 S1415에서, 디바이스(100)는 사용자 인증이 필요한 작업이 수행 중인지 여부에 따라서, 사용자 인증 프로세스를 주기적으로 반복할 지 여부를 결정할 수 있다. 예를 들면, 디바이스(100)는 사용자 인증이 필요한 카드 결제나 계좌 이체를 위한 프로그램이 구동 중일 때, 단계 S1405 내지 단계 S1417을 반복 수행할 수 있다. 사용자는 물리적 입력 없이 가만히만 있어도 지속적으로 사용자 인증을 수행할 수 있으므로, 일 실시 예에 따른 디바이스(100)에 의하면 사용자 편의성 및 보안성이 증대될 수 있다.
디바이스(100)는 사용자가 아무런 생각이나 행동을 하지 않는 휴식 상태를 유지하는 동안 측정된 뇌파 신호와 모델링된 뇌파 신호를 비교함으로써 인증을 수행할 수 있다. 모델링된 뇌파 신호는 인증 수행 전에, 사용자의 휴식 상태에서 측정된 뇌파 신호로부터 미리 모델링된 것일 수 있다.
도 15는 일 실시 예에 의한 사용자의 생체 신호에 기초하여 인증을 수행하는 일 예를 나타낸 예시 도면이다.
도 15를 참조하면, 1510 내지 1530은 사용자 인증을 수행함으로써 스마트폰의 잠금을 해제하는 일 예를 나타낸 것이다.
일 실시 예에 의한 디바이스(100)는 특정 자극을 준 상태에 대응한 사용자의 생체 신호를 구하고, 미리 구축된 모델링된 신호 패턴과 비교함으로써 사용자 인증을 수행할 수 있다. 모델링된 신호 패턴은 특정 자극을 준 상태에 대응한 사용자의 생체 신호로부터 고유 특성을 나타내는 신호 부분을 모델링함으로써 구축될 수 있다.
1510 및 1520에서, 디바이스(100)는 사용자에게 특정 자극을 주어 모델링된 신호 패턴과 비교하기 위한 생체 신호를 측정할 수 있다. 구체적으로, 디바이스(100)는 1510에서, 사용자에게 잠금 해제를 위하여 디스플레이된 사진을 응시하도록 안내하고, 사진이 디스플레이되는 동안 사용자의 뇌파 신호(1511)를 측정할 수 있다. 사용자 뇌파 신호(1511)와 비교될 수 있는 모델링된 신호 패턴은, 이전에 동일한 사진을 디스플레이하는 동안 측정된 사용자의 뇌파 신호로부터 고유한 특성을 검출함으로써 구축될 수 있다.
또한, 디바이스(100)는 1520에서, 미리 지정된 음악을 마음속으로 생각하도록 안내하고, 안내문이 디스플레이되는 동안 사용자의 뇌파 신호(1521)를 측정할 수 있다. 사용자 뇌파 신호(1521)와 비교될 수 있는 모델링된 신호 패턴은, 이전에 동일한 음악을 생각하라는 안내문이 디스플레이되는 동안 측정된 사용자의 뇌파 신호로부터 고유한 특성을 검출함으로써 구축될 수 있다.
디바이스(100)는 측정된 사용자의 뇌파 신호와 모델링된 신호 패턴을 비교함으로써 인증이 성공하면, 1530에서 잠금을 해제할 수 있다.
이하 도 16을 참조하여, 디바이스의 내부 구성 요소에 대해 자세히 설명하기로 한다.
도 16은 일 실시 예에 의한 사용자의 생체 신호에 기초하여 컨텐츠를 처리하거나 사용자 인증을 수행하는 디바이스의 내부 구성을 나타낸 블록도이다. 도 16의 디바이스(1600)는 도 1의 디바이스(100)와 대응될 수 있다.
도 16에 도시된 바와 같이, 일 실시예에 따른 디바이스(1600)는, 수신부(1630), 제어부(1670), 스피커(1660), 메모리(1620), GPS 칩(1625), 통신부(1630), 비디오 프로세서(1635), 오디오 프로세서(1640), 사용자 입력부(1645), 마이크부(1650), 촬상부(1655) 및 움직임 감지부(1665)를 포함할 수 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
디스플레이부(1610)는 표시패널(1611) 및 표시 패널(1611)을 제어하는 컨트롤러(미도시)를 포함할 수 있다. 표시패널(1611)에는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 표시패널(1611)은 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 디스플레이부(1610)는 사용자 입력부(1645)의 터치 패널(1647)과 결합되어 터치 스크린으로 제공될 수 있다. 예를 들어, 터치 스크린은 표시 패널(1611)과 터치 패널(1647)이 적층 구조로 결합된 일체형의 모듈을 포함할 수 있다.
일부 실시 예에 의한 디스플레이부(1610)는 제어부(1670)의 제어에 따라 스피커부(2460)에 의해 출력되는 오디오 신호와 대응되는 영상을 표시할 수 있다. 디스플레이부(1610)에 의해 표시될 수 있는 영상은 평면 영상뿐만 아니라 3차원 입체 영상도 포함할 수 있다.
메모리(1620)는 내장 메모리(Internal Memory)(미도시) 및 외장 메모리(External Memory)(미도시) 중 적어도 하나를 포함할 수 있다.
내장 메모리는, 예를 들어, 휘발성 메모리(예를 들면, DRAM(Dynamic RAM), SRAM(Static RAM), SDRAM(Synchronous Dynamic RAM) 등), 비휘발성 메모리(예를 들면, OTPROM(One Time Programmable ROM), PROM(Programmable ROM), EPROM(Erasable and Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), Mask ROM, Flash ROM 등), 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 제어부(1670)는 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 제어부(1670)는 다른 구성요소로부터 수신하거나 생성된 데이터를 비휘발성 메모리에 보존할 수 있다.
외장 메모리는, 예를 들면, CF(Compact Flash), SD(Secure Digital), Micro-SD(Micro Secure Digital), Mini-SD(Mini Secure Digital), xD(extreme Digital) 및 Memory Stick 중 적어도 하나를 포함할 수 있다.
메모리(1620)는 디바이스(1600)의 동작에 사용되는 각종 프로그램 및 데이터를 저장할 수 있다. 일 실시 예에 의한, 메모리(1620)에는 영상, 영상과 대응되는 오디오 신호 및 3차원 영상 정보 중 적어도 하나를 임시 또는 반영구적으로 저장할 수 있다.
제어부(1670)는 메모리(1620)에 저장된 정보의 일부가 디스플레이부(1610)에 표시되도록 디스플레이부(1610)를 제어할 수 있다. 다시 말하자면, 제어부(1670)는 메모리(1620)에 저장된 영상을 디스플레이부(1610)에 표시할 수 있다. 또는, 제어부(1670)는 디스플레이부(1610)의 일 영역에서 사용자 제스처가 이루어지면, 사용자의 제스처에 대응되는 제어 동작을 수행할 수 있다.
제어부(1670)는 RAM(1671), ROM(1672), CPU(1673), GPU(Graphic Processing Unit)(1674) 및 버스(1675) 중 적어도 하나를 포함 할 수 있다. RAM(1671), ROM(1672), CPU(1673) 및 GPU(1674) 등은 버스(1675)를 통해 서로 연결될 수 있다.
CPU(1673)는 메모리(1620)에 액세스하여, 메모리(1620)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메모리(1620)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(1672)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 예로, 디바이스(1600)는 턴온 명령이 입력되어 전원이 공급되면, CPU(1673)가 ROM(1672)에 저장된 명령어에 따라 메모리(1620)에 저장된 O/S를 RAM(1671)에 복사하고, O/S를 실행시켜 시스템을 부팅시킬 수 있다. 부팅이 완료되면, CPU(1673)는 메모리(1620)에 저장된 각종 프로그램을 RAM(1671)에 복사하고, RAM(1671)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다.
GPU(1674)는 디바이스(1600)의 부팅이 완료되면, 디스플레이부(1610)의 영역에 UI 화면을 디스플레이한다. 구체적으로는, GPU(1674)는 컨텐츠, 아이콘, 메뉴 등과 같은 다양한 객체를 포함하는 UI 화면을 생성할 수 있다. 일 실시 예에 의한 UI 화면은, 영상과 오디오 신호를 출력하는데 이용될 수 있는 UI 화면일 수 있다. GPU(1674)는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성 값을 연산한다. 그리고, GPU(1674)는 연산된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성할 수 있다. GPU(1674)에서 생성된 화면은 디스플레이부(1610)로 제공되어, 디스플레이부(1610)의 각 영역에 각각 표시될 수 있다.
GPS 칩(1625)은 GPS(Grobal Positioning System) 위성으로부터 GPS 신호를 수신하여, 디바이스(1600)의 현재 위치를 산출할 수 있다. 제어부(1670)는 네비게이션 프로그램을 이용할 때나 그 밖에 사용자의 현재 위치가 필요할 경우에, GPS 칩(1625)을 이용하여 사용자 위치를 산출할 수 있다. 일 실시 예에 의하면, GPS 칩(1625)은 사용자 위치에 기초하여, 사용자 시선 방향의 객체가 어느 것인지 구분할 수 있다. 따라서, 제어부(1670)는 사용자 시선 방향의 객체를 분석함으로써 디스플레이 재생 파라미터를 결정하고, 디스플레이 재생 파라미터에 따라 디스플레이를 표시할 수 있다.
통신부(1630)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행할 수 있다. 통신부(1630)는 와이파이칩(1631), 블루투스 칩(1632), 무선 통신 칩(1633), NFC 칩(1634) 중 적어도 하나를 포함할 수 있다. 제어부(1670)는 통신부(1630)를 이용하여 각종 외부 기기와 통신을 수행할 수 있다. 예를 들면, 제어부(1670)는 통신부(1630)를 이용하여 디스플레이부(1610)에 표시할 영상과 오디오 신호를 수신할 수 있다.
와이파이 칩(1631), 블루투스 칩(1632)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행할 수 있다. 와이파이 칩(1631)이나 블루투스 칩(1632)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(1633)은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩(1634)은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
비디오 프로세서(1635)는 통신부(1630)를 통해 수신된 영상 데이터 또는, 메모리(1620)에 저장된 영상 데이터를 처리할 수 있다. 비디오 프로세서(1635)에서는 영상 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다. 그리고, 디스플레이부(1610)는 비디오 프로세서(1635)에 의해 처리된 영상 데이터를 표시할 수 있다.
오디오 프로세서(1640)는 통신부(1630)를 통해 수신된 오디오 데이터 또는, 메모리(1620)에 저장된 오디오 데이터를 처리할 수 있다. 오디오 프로세서(1640)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 예를 들면, 오디오 프로세서(1640)는 디스플레이부(1610)에 표시된 영상과 대응되는 오디오 데이터를 처리할 수 있다. 더하여, 오디오 프로세서(1640) 및 비디오 프로세서(1635)는 사용자 생체 신호에 기초하여 결정된 재생 파라미터에 따라서 오디오 데이터 또는 비디오 데이터를 처리할 수 있다.
제어부(1670)는 멀티미디어 컨텐츠에 대한 재생 프로그램이 실행되면 비디오 프로세서(1635) 및 오디오 프로세서(1640)를 구동시켜, 해당 컨텐츠를 재생할 수 있다. 스피커부(1660)는 오디오 프로세서(1640)에서 생성한 오디오 데이터를 출력할 수 있다. 예를 들면, 제어부(1670)는 디스플레이부(1610)에 표시된 멀티미디어 컨텐츠를 비디오 프로세서(1635) 및 오디오 프로세서(1640)를 이용하여 처리할 수 있다.
사용자 입력부(1645)는 사용자로부터 다양한 명령어를 입력 받을 수 있다. 사용자 입력부(1645)는 키(1646), 터치 패널(1647) 및 펜 인식 패널(1648) 중 적어도 하나를 포함할 수 있다. 디바이스(1600)는 키(1646), 터치 패널(1647) 및 펜 인식 패널(1648) 중 적어도 하나로부터 수신된 사용자 입력에 따라서 영상과 오디오 신호를 출력할 수 있다.
키(1646)는 디바이스(1600)의 본체 외관의 전면부나 측면부, 배면부 등의 다양한 영역에 형성된 기계적 버튼, 휠 등과 같은 다양한 유형의 키를 포함할 수 있다.
터치 패널(1647)은 사용자의 터치 입력을 감지하고, 감지된 터치 신호에 해당하는 터치 이벤트 값을 출력할 수 있다. 터치 패널(1647)이 표시 패널(1611)과 결합하여 터치 스크린(미도시)을 구성한 경우, 터치 스크린은 정전식이나, 감압식, 압전식 등과 같은 다양한 유형의 터치 센서로 구현될 수 있다. 정전식은 터치 스크린 표면에 코팅된 유전체를 이용하여, 사용자의 신체 일부가 터치 스크린 표면에 터치되었을 때 사용자의 인체로 야기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 터치 스크린에 내장된 두 개의 전극 판을 포함하여, 사용자가 화면을 터치하였을 경우, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다. 터치 스크린에서 발생하는 터치 이벤트는 주로 사람의 손가락에 의하여 생성될 수 있으나, 정전 용량 변화를 가할 수 있는 전도성 재질의 물체에 의해서도 생성될 수 있다.
펜 인식 패널(1648)은 사용자의 터치용 펜(예컨대, 스타일러스 펜(stylus pen), 디지타이저 펜(digitizer pen))의 운용에 따른 펜의 근접 입력 또는 터치 입력을 감지하고 감지된 펜 근접 이벤트 또는 펜 터치 이벤트를 출력할 수 있다. 펜 인식 패널(1648)은, 예로, EMR 방식으로 구현될 수 있으며, 펜의 근접 또는 터치에 의한 전자기장의 세기 변화에 따라 터치 또는 근접 입력을 감지할 수 있다. 상세하게는 펜 인식 패널(1648)은 그리드 구조를 가지는 전자 유도 코일 센서(미도시)와 전자 유도 코일 센서의 각 루프 코일에 순차적으로 소정의 주파수를 가지는 교류 신호를 제공하는 전자 신호 처리부(미도시)를 포함하여 구성될 수 있다. 이러한 펜 인식 패널(1648)의 루프 코일 근방에 공진회로를 내장하는 펜이 존재하면, 해당 루프 코일로부터 송신되는 자계가 펜 내의 공진회로에 상호 전자 유도에 기초한 전류를 발생시킨다. 이 전류를 기초로 하여, 펜 내의 공진 회로를 구성하는 코일로부터 유도 자계가 발생하게 되고, 펜 인식 패널(1648)은 이 유도 자계를 신호 수신 상태에 있는 루프 코일에서 검출하게 되어 펜의 접근 위치 또는 터치 위치가 감지될 수 있다. 펜 인식 패널(1648)은 표시 패널(1611)의 하부에 일정 면적, 예를 들어, 표시 패널(1611)의 표시 영역을 커버할 수 있는 면적을 가지고 마련될 수 있다.
더하여, 일 실시 예에 의한, 사용자 입력부(1645)는 사용자의 생체 신호를 측정함으로써 사용자 입력을 수신할 수 있다. 예를 들어, 사용자의 뇌파 신호 중 ERP의 크기는 사용자 의지에 따라 변할 수 있으므로, 사용자 입력부(1645)는 ERP 의 크기에 기초하여 사용자 입력을 수신할 수 있다. 구체적으로, 사용자 입력부(1645)는 ERP 크기가 상대적으로 큰 시점에서 출력된 객체를 선택함으로써 작업을 수행할 수 있다.
마이크부(1650)는 사용자 음성이나 기타 소리를 입력 받아 오디오 데이터로 변환할 수 있다. 제어부(1670)는 마이크 부(1650)를 통해 입력되는 사용자 음성을 통화 동작에서 이용하거나, 오디오 데이터로 변환하여 메모리(1620)에 저장할 수 있다.
촬상부(1655)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상할 수 있다. 촬상부(1655)는 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수도 있다. 일 실시 예에 의한 제어부(1670)는 촬상부(1655)에 의해 촬영된 영상으로부터 사용자의 외부 환경 정보를 획득할 수 있다. 제어부(1670)는 외부 환경 정보에 기초하여 최적의 상태로 디스플레이될 수 있도록 하는 파라미터를 결정할 수 있다.
촬상부(1655) 및 마이크부(1650)가 마련된 경우, 제어부(1670)는 마이크부(1650)를 통해 입력되는 사용자 음성이나 촬상부(1655)에 의해 인식되는 사용자 모션에 따라 제어 동작을 수행할 수도 있다. 예컨대, 디바이스(1600)는 모션 제어 모드나 음성 제어 모드로 동작할 수 있다. 모션 제어 모드로 동작하는 경우, 제어부(1670)는 촬상부(1655)를 활성화시켜 사용자를 촬상하고, 사용자의 모션 변화를 추적하여 그에 대응되는 제어 동작을 수행할 수 있다. 예를 들면, 제어부(1670)는 촬상부(1655)에 의해 감지된 사용자의 모션 입력에 따라 영상과 오디오 신호를 출력할 수 있다. 음성 제어 모드로 동작하는 경우 제어부(1670)는 마이크부(1650)를 통해 입력된 사용자 음성을 분석하고, 분석된 사용자 음성에 따라 제어 동작을 수행하는 음성 인식 모드로 동작할 수 있다.
움직임 감지부(1665)는 디바이스(1600)의 본체 움직임을 감지할 수 있다. 디바이스(1600)는 다양한 방향으로 회전되거나 기울어질 수 있다. 이 때, 움직임 감지부(1665)는 지자기 센서, 자이로 센서, 가속도 센서 등과 같은 다양한 센서들 중 적어도 하나를 이용하여 회전 방향 및 각도, 기울기 등과 같은 움직임 특성을 감지할 수 있다. 예를 들면, 움직임 감지부(1665)는 디바이스(1600)의 본체 움직임을 감지함으로써 사용자 입력을 수신하고, 수신된 입력에 따라 영상과 오디오 신호를 출력할 수 있다.
그 밖에, 도 16에 도시하지는 않았으나, 실시예에는, 디바이스(1600) 내에 USB 커넥터가 연결될 수 있는 USB 포트나, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩, 다양한 센서 등을 더 포함할 수 있다.
전술한 디바이스(1600)의 구성 요소들의 명칭은 달라질 수 있다. 또한, 본 개시에 따른 디바이스(1600)는 전술한 구성요소들 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다.
일 실시 예에 의하면, 사용자의 뇌파 신호로부터 획득된 사용자 상태에 따라 현재 재생 중인 컨텐츠의 특성을 변화시킴으로써, 사용자가 자신의 상태를 인지하고 긍정적인 방향으로 자신의 상태를 변화시킬 수 있다.
일 실시 예에 의하면, 사용자의 뇌파 신호를 이용하여 물리적 접촉 없이 사용자 입력이 가능하므로 사용자의 조작 편의성이 향상될 수 있다.
일 실시 예에 의하면, 사용자의 뇌파 신호를 이용함에 따라 물리적 접촉 없이 사용자 인증이 가능하므로, 보안성이 높고 편리하게 사용자 인증을 수행할 수 있다.
일 실시 예에 의한 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장 장치 등이 있다.
비록 상기 설명이 다양한 실시예들에 적용되는 본 발명의 신규한 특징들에 초점을 맞추어 설명되었지만, 본 기술 분야에 숙달된 기술을 가진 사람은 본 발명의 범위를 벗어나지 않으면서도 상기 설명된 장치 및 방법의 형태 및 세부 사항에서 다양한 삭제, 대체, 및 변경이 가능함을 이해할 것이다. 따라서, 본 발명의 범위는 상기 설명에서보다는 첨부된 특허청구범위에 의해 정의된다. 특허청구범위의 균등 범위 안의 모든 변형은 본 발명의 범위에 포섭된다.

Claims (15)

  1. 생체 신호에 기초하여 컨텐츠를 처리하는 방법에 있어서,
    사용자의 생체 신호를 획득하는 단계;
    상기 획득된 생체 신호에 기초하여, 컨텐츠의 특성을 변화시키거나, 출력될 컨텐츠의 종류를 결정하기 위한 파라미터를 결정하는 단계;
    상기 결정된 파라미터에 기초하여, 상기 컨텐츠를 처리하거나 출력될 컨텐츠의 종류를 결정하는 단계;
    상기 처리된 컨텐츠 또는 상기 결정된 종류의 컨텐츠를 출력하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 파라미터를 결정하는 단계는
    상기 획득된 생체 신호에 기초하여, 상기 사용자의 감정 상태, 수면 상태, 스트레스, 워크로드, 집중도 상태 중 적어도 하나를 결정하는 단계;
    상기 결정된 사용자의 상태와 대응되는 파라미터를 결정하는 단계를 포함하는, 방법.
  3. 제1항에 있어서, 상기 생체 신호는
    상기 사용자의 뇌파 신호를 포함하고,
    시간 또는 주파수 도메인에서의 상기 뇌파 신호의 특성과 대응되는 사용자의 상태에 기초하여 파라미터가 결정되는, 방법.
  4. 제1항에 있어서, 상기 파라미터는
    컨텐츠의 볼륨, 음높낮이, 재생 속도, 소리의 풍성함, 깊이, 울림, 굵기, 떨림, 실감 효과, 서라운드 효과, 공간감, 화음, 코드 및 반주, 디스플레이에서의 표시 영역, 디스플레이의 색채, 명암, 대비, 투명도, 초점, 전원, 전력 소모량, 컨텐츠의 종류 중 적어도 하나를 포함하는, 방법.
  5. 제1항에 있어서, 상기 사용자의 생체 신호를 획득하는 단계는
    상기 사용자에 자극을 제공하기 위한 객체를 적어도 하나 출력하는 단계;
    상기 적어도 하나의 객체가 출력되는 동안 또는 출력된 이후 발생된 상기 사용자의 생체 신호를 획득하는 단계를 포함하고,
    상기 사용자의 생체 신호의 반응과 대응되는 적어도 하나의 객체를 검출하고, 상기 검출된 객체와 대응되는 작업을 수행하는 단계를 더 포함하는, 방법.
  6. 제1항에 있어서,
    상기 획득된 생체 신호에 기초하여, 상기 사용자의 집중도를 결정하는 단계;
    상기 결정된 사용자의 집중도가 기준점 이하인 경우, 상기 사용자의 집중도가 기준점 이하로 된 시점을 기준으로, 재생 중인 컨텐츠에 관한 정보를 획득하는 단계;
    상기 획득된 정보를 상기 사용자에게 제공하는 단계를 더 포함하는, 방법.
  7. 제6항에 있어서, 상기 컨텐츠에 관한 정보를 획득하는 단계는
    상기 사용자의 집중도가 기준점 이하로 된 시점을 기준으로 상기 컨텐츠의 주요 내용 및 요약 정보 중 적어도 하나를 획득하거나, 재생 중인 방송 컨텐츠를 녹화 및 저장하는 단계를 포함하는, 방법.
  8. 제6항에 있어서, 상기 사용자에게 제공하는 단계는
    상기 사용자의 집중도가 상기 기준점 이상이 되거나 상기 사용자의 입력에 따라, 상기 획득된 컨텐츠에 관한 정보를 상기 사용자에게 제공하는 단계를 포함하는, 방법.
  9. 제6항에 있어서, 상기 컨텐츠에 관한 정보는
    외부 서버로부터 획득된 상기 컨텐츠에 대한 빅데이터, 분당 시청률, 상기 컨텐츠에 관한 기본 정보 중 적어도 하나에 기초하여 획득되는, 방법.
  10. 생체 신호에 기초하여 사용자 인증을 수행하는 방법에 있어서,
    사용자의 생체 신호를 획득하는 단계;
    상기 획득된 생체 신호로부터 사용자 인증을 위한 비교 대상 신호 패턴을 검출하는 단계;
    상기 검출된 비교 대상 신호 패턴과, 상기 사용자 인증을 위해 미리 모델링된 신호 패턴을 비교함으로써, 상기 사용자 인증을 수행하는 단계;
    상기 사용자 인증이 성공하는 경우, 상기 모델링된 신호 패턴을 상기 검출된 신호 패턴을 이용하여 업데이트하는 단계를 포함하는, 방법.
  11. 제8항에 있어서, 상기 방법은
    인증이 필요한 작업이 수행되는 동안에, 상기 사용자 인증이 반복적으로 수행되는, 방법.
  12. 생체 신호에 기초하여 컨텐츠를 처리하는 디바이스에 있어서,
    사용자의 생체 신호를 획득하는 센서부;
    상기 획득된 생체 신호에 기초하여, 컨텐츠의 특성을 변화시키거나 출력될 컨텐츠의 종류를 결정하기 위한 파라미터를 결정하고, 상기 결정된 파라미터에 기초하여, 상기 컨텐츠를 처리하거나 출력될 컨텐츠의 종류를 결정하는 제어부; 및
    상기 처리된 컨텐츠 또는 상기 결정된 종류의 컨텐츠를 출력하는 출력부를 포함하는 디바이스.
  13. 제12항에 있어서, 상기 센서부는
    상기 사용자에 자극을 제공하기 위한 적어도 하나의 객체가 출력되는 동안 또는 출력된 이후 발생된 상기 사용자의 생체 신호를 획득하고,
    상기 제어부는,
    상기 사용자의 생체 신호의 반응과 대응되는 적어도 하나의 객체를 검출하고, 상기 검출된 객체와 대응되는 작업을 수행하는, 디바이스.
  14. 제12항에 있어서, 상기 제어부는
    상기 획득된 생체 신호에 기초하여, 상기 사용자의 집중도를 결정하고, 상기 결정된 사용자의 집중도가 기준점 이하인 경우, 상기 사용자의 집중도가 기준점 이하로 된 시점을 기준으로, 재생 중인 컨텐츠에 관한 정보를 획득하고,
    상기 출력부는,
    상기 획득된 정보를 상기 사용자에게 제공하는, 디바이스.
  15. 생체 신호에 기초하여 사용자 인증을 수행하는 디바이스에 있어서,
    사용자의 생체 신호를 획득하는 센서부;
    상기 획득된 생체 신호로부터 사용자 인증을 위한 신호 패턴을 검출하고, 상기 검출된 신호 패턴과, 상기 사용자 인증을 위해 미리 모델링된 신호 패턴을 비교함으로써, 상기 사용자 인증을 수행하고, 상기 사용자 인증이 성공하는 경우, 상기 모델링된 신호 패턴을 상기 검출된 신호 패턴을 이용하여 업데이트하는 제어부; 및
    상기 사용자 인증 결과를 출력하는 출력부를 포함하는, 디바이스.
KR1020140132012A 2013-09-30 2014-09-30 생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스 KR102333704B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361884296P 2013-09-30 2013-09-30
US61/884,296 2013-09-30

Publications (2)

Publication Number Publication Date
KR20150039113A true KR20150039113A (ko) 2015-04-09
KR102333704B1 KR102333704B1 (ko) 2021-12-01

Family

ID=52744032

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140132012A KR102333704B1 (ko) 2013-09-30 2014-09-30 생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스

Country Status (3)

Country Link
US (1) US10366778B2 (ko)
KR (1) KR102333704B1 (ko)
WO (1) WO2015047032A1 (ko)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160133307A (ko) * 2015-05-12 2016-11-22 삼성전자주식회사 콘텐트를 제공하는 방법 및 디바이스
KR20170014050A (ko) * 2015-07-28 2017-02-08 재단법인대구경북과학기술원 가상 현실 기반의 개인 맞춤용 캡슐형 힐링 장치
KR20170019040A (ko) * 2015-08-11 2017-02-21 삼성전자주식회사 생체 상태 정보 제공 방법 및 이를 지원하는 전자 장치
WO2017078205A1 (ko) * 2015-11-04 2017-05-11 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US20180206796A1 (en) * 2017-01-23 2018-07-26 Bong Jae JEON System for presenting changes in pulses by means of pulse analysis application
KR20190105519A (ko) * 2018-03-05 2019-09-17 하만인터내셔날인더스트리스인코포레이티드 포커스 레벨에 기초한 인지 주변음 제어
KR102023024B1 (ko) * 2018-11-09 2019-11-04 가천대학교 산학협력단 사용자의 상태정보에 따라 피드백을 제공하는 사용자의 정서 증진 및 심리파악을 위한 가상현실 시스템
WO2020159093A1 (ko) * 2019-01-28 2020-08-06 주식회사 룩시드랩스 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치
KR20200113615A (ko) * 2019-03-26 2020-10-07 재단법인 철원플라즈마 산업기술연구원 뇌파를 이용한 사용자 맞춤형 학습제공 시스템 및 방법
KR102290092B1 (ko) * 2020-11-11 2021-08-17 주식회사 바토너스 정보 표시 방법 및 장치
US11093776B2 (en) 2017-01-06 2021-08-17 Samsung Electronics Co., Ltd. Method and apparatus for processing distortion of fingerprint image
KR102437583B1 (ko) * 2022-03-21 2022-08-29 가천대학교 산학협력단 생체신호를 활용한 선호 색상에 대한 사용자 맞춤형 색상콘텐츠를 제공하는 시스템 및 방법
KR102486687B1 (ko) * 2022-11-01 2023-01-11 주식회사 디지털뉴트리션 사용자의 건강 설문과 뇌파 신호를 기반으로, 사용자 맞춤형 건강 관리 컨텐츠를 생성하기 위한 장치 및 방법
KR102486690B1 (ko) * 2022-11-01 2023-01-12 주식회사 디지털뉴트리션 사용자 맞춤형으로 건강 관리 음악을 제공하기 위한 장치, 방법, 및 시스템
KR102503477B1 (ko) * 2022-01-19 2023-02-24 (주)감성미학발전소 체험자의 성향에 기초하여 색상 정보를 변경하는 vr 체험 시스템
WO2023136571A1 (ko) * 2022-01-13 2023-07-20 엘지전자 주식회사 휴대용 오디오 출력 장치 및 모바일 디바이스를 포함하는 시스템의 제어 방법
KR102602144B1 (ko) * 2022-10-25 2023-11-16 주식회사 프레임 사용자의 뇌파를 분석하여 분석결과를 기초로 컨텐츠를 제공하는 장치 및 방법

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD778450S1 (en) * 2015-12-09 2017-02-07 Soso Co., Ltd. Wireless brain wave measuring device
US9712736B2 (en) 2015-12-15 2017-07-18 Intel Coprporation Electroencephalography (EEG) camera control
US10481683B2 (en) 2015-12-17 2019-11-19 Looxid Labs Inc. Eye-brain interface (EBI) system and method for controlling same
US10169560B2 (en) * 2016-02-04 2019-01-01 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Stimuli-based authentication
CA3038822A1 (en) 2016-09-29 2018-04-05 Mindset Innovation, Inc. Biosignal headphones
CN106453903A (zh) * 2016-10-18 2017-02-22 珠海格力电器股份有限公司 移动终端、移动终端自动解锁或点亮屏幕的方法及系统
WO2018112713A1 (en) * 2016-12-19 2018-06-28 Arris Enterprises Llc System and method for mobile device to automatically disable fingerpring unlock when user is sleeping
WO2018117753A1 (en) * 2016-12-23 2018-06-28 Samsung Electronics Co., Ltd. Electronic device and method of controlling the same
KR102396794B1 (ko) * 2016-12-23 2022-05-13 삼성전자주식회사 전자 장치 및 이의 제어 방법
DE102017001577A1 (de) 2017-02-17 2018-08-23 Kuka Roboter Gmbh Betreiben einer beweglichen Maschine, insbesondere eines Roboters
CN110582811A (zh) * 2017-03-03 2019-12-17 贝赫维尔有限责任公司 用于影响行为改变的动态多感官模拟系统
US10893356B2 (en) * 2017-03-17 2021-01-12 Telefonaktiebolaget Lm Ericsson (Publ) Method and appartus for adaptive audio signal alteration
US10482227B2 (en) * 2017-03-28 2019-11-19 International Business Machines Corporation Electroencephalography (EEG) based authentication
US10917423B2 (en) 2017-05-15 2021-02-09 Forcepoint, LLC Intelligently differentiating between different types of states and attributes when using an adaptive trust profile
US10999296B2 (en) 2017-05-15 2021-05-04 Forcepoint, LLC Generating adaptive trust profiles using information derived from similarly situated organizations
US9882918B1 (en) 2017-05-15 2018-01-30 Forcepoint, LLC User behavior profile in a blockchain
US10129269B1 (en) 2017-05-15 2018-11-13 Forcepoint, LLC Managing blockchain access to user profile information
US10623431B2 (en) 2017-05-15 2020-04-14 Forcepoint Llc Discerning psychological state from correlated user behavior and contextual information
US10862927B2 (en) 2017-05-15 2020-12-08 Forcepoint, LLC Dividing events into sessions during adaptive trust profile operations
US10999297B2 (en) 2017-05-15 2021-05-04 Forcepoint, LLC Using expected behavior of an entity when prepopulating an adaptive trust profile
US10447718B2 (en) 2017-05-15 2019-10-15 Forcepoint Llc User profile definition and management
US10915644B2 (en) 2017-05-15 2021-02-09 Forcepoint, LLC Collecting data for centralized use in an adaptive trust profile event via an endpoint
GB2578386B (en) 2017-06-27 2021-12-01 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201713697D0 (en) 2017-06-28 2017-10-11 Cirrus Logic Int Semiconductor Ltd Magnetic detection of replay attack
GB2563953A (en) 2017-06-28 2019-01-02 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201801526D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for authentication
GB201801532D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for audio playback
GB201801527D0 (en) * 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Method, apparatus and systems for biometric processes
GB201801528D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Method, apparatus and systems for biometric processes
GB201801530D0 (en) 2017-07-07 2018-03-14 Cirrus Logic Int Semiconductor Ltd Methods, apparatus and systems for authentication
GB201804843D0 (en) 2017-11-14 2018-05-09 Cirrus Logic Int Semiconductor Ltd Detection of replay attack
GB201801874D0 (en) 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Improving robustness of speech processing system against ultrasound and dolphin attacks
GB2567503A (en) 2017-10-13 2019-04-17 Cirrus Logic Int Semiconductor Ltd Analysing speech signals
GB201801663D0 (en) 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of liveness
GB201801664D0 (en) 2017-10-13 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of liveness
GB201801659D0 (en) 2017-11-14 2018-03-21 Cirrus Logic Int Semiconductor Ltd Detection of loudspeaker playback
CN108108603A (zh) * 2017-12-04 2018-06-01 阿里巴巴集团控股有限公司 登录方法及装置和电子设备
US11264037B2 (en) 2018-01-23 2022-03-01 Cirrus Logic, Inc. Speaker identification
US11475899B2 (en) 2018-01-23 2022-10-18 Cirrus Logic, Inc. Speaker identification
US11735189B2 (en) 2018-01-23 2023-08-22 Cirrus Logic, Inc. Speaker identification
JP7163035B2 (ja) * 2018-02-19 2022-10-31 株式会社東芝 音響出力システム、音響出力方法及びプログラム
CN108491699B (zh) * 2018-03-01 2020-09-22 Oppo广东移动通信有限公司 电子装置、脑电波解锁方法及相关产品
CN108449757B (zh) * 2018-03-13 2021-06-01 Oppo广东移动通信有限公司 网络连接控制方法及相关产品
US10810291B2 (en) * 2018-03-21 2020-10-20 Cirrus Logic, Inc. Ear proximity detection
US10692490B2 (en) 2018-07-31 2020-06-23 Cirrus Logic, Inc. Detection of replay attack
US10915614B2 (en) 2018-08-31 2021-02-09 Cirrus Logic, Inc. Biometric authentication
EP3641344B1 (en) * 2018-10-16 2023-12-06 Sivantos Pte. Ltd. A method for operating a hearing instrument and a hearing system comprising a hearing instrument
CN114879840A (zh) * 2018-11-23 2022-08-09 华为技术有限公司 根据眼球焦点控制显示屏的方法和头戴电子设备
US10997295B2 (en) 2019-04-26 2021-05-04 Forcepoint, LLC Adaptive trust profile reference architecture
US20210244909A1 (en) * 2019-05-21 2021-08-12 Roshan Narayan Sriram Neurofeedback based system and method for training mindfulness
US11636188B2 (en) * 2019-08-26 2023-04-25 Microsoft Technology Licensing, Llc Combining biometrics, hidden knowledge and intent to authenticate
JP2021090136A (ja) * 2019-12-03 2021-06-10 富士フイルムビジネスイノベーション株式会社 情報処理システム及びプログラム
CN114761918A (zh) * 2019-12-04 2022-07-15 惠普发展公司， 有限责任合伙企业 用于头戴式装置中的生物特征管理的接口和处理
US11925433B2 (en) * 2020-07-17 2024-03-12 Daniel Hertz S.A. System and method for improving and adjusting PMC digital signals to provide health benefits to listeners
US20220276509A1 (en) * 2021-02-26 2022-09-01 Hi Llc Optical Measurement System Integrated into a Wearable Glasses Assembly
US11595749B2 (en) * 2021-05-28 2023-02-28 Gmeci, Llc Systems and methods for dynamic noise reduction

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003111106A (ja) * 2001-09-28 2003-04-11 Toshiba Corp 集中度取得装置並びに集中度を利用した装置及びシステム
JP2005056205A (ja) * 2003-08-05 2005-03-03 Sony Corp コンテンツ再生装置及びコンテンツ再生方法
KR100747446B1 (ko) * 2005-03-07 2007-08-09 엘지전자 주식회사 휴대단말기의 지문인식 장치 및 방법
KR20130082839A (ko) * 2011-12-20 2013-07-22 두산동아 주식회사 사용자 맞춤형 콘텐츠 제공 장치 및 그 방법

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4037332A (en) * 1975-08-04 1977-07-26 Petrusinsky Vyacheslav Vyaches Information conversion system for accelerated instruction
US5052401A (en) * 1986-08-06 1991-10-01 Westinghouse Electric Corp. Product detector for a steady visual evoked potential stimulator and product detector
US4883067A (en) * 1987-05-15 1989-11-28 Neurosonics, Inc. Method and apparatus for translating the EEG into music to induce and control various psychological and physiological states and to control a musical instrument
JP3381074B2 (ja) * 1992-09-21 2003-02-24 ソニー株式会社 音響構成装置
US5667470A (en) * 1994-02-08 1997-09-16 Jiri Janata Apparatus and method for using listener feedback to determine the nature of sound stimuli presented to the listener
RU2096990C1 (ru) 1996-11-01 1997-11-27 Яков Иосифович Левин Способ воздействия на организм
US6904408B1 (en) * 2000-10-19 2005-06-07 Mccarthy John Bionet method, system and personalized web content manager responsive to browser viewers' psychological preferences, behavioral responses and physiological stress indicators
KR100600537B1 (ko) * 2003-12-29 2006-07-13 전자부품연구원 타게팅 컨텐츠 및 광고 서비스 방법 및 그 시스템
KR20050108258A (ko) 2004-05-12 2005-11-16 엘지전자 주식회사 수면감지장치 및 그 제어방법
JP2006072606A (ja) * 2004-09-01 2006-03-16 National Institute Of Information & Communication Technology インターフェイス装置、インターフェイス方法及びその装置を用いた制御訓練装置
US7486988B2 (en) * 2004-12-03 2009-02-03 Searete Llc Method and system for adaptive vision modification
IL165586A0 (en) * 2004-12-06 2006-01-15 Daphna Palti Wasserman Multivariate dynamic biometrics system
JP2007104331A (ja) 2005-10-04 2007-04-19 Sharp Corp 記録装置及び記録再生装置
JP2007207153A (ja) * 2006-02-06 2007-08-16 Sony Corp 通信端末装置、情報提供システム、サーバ装置、情報提供方法および情報提供プログラム
EP1892674A1 (de) * 2006-08-23 2008-02-27 Siemens Aktiengesellschaft Gehirnmusterbasiertes Zugangskontrollsystem
JP5228305B2 (ja) * 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
KR101435680B1 (ko) * 2007-09-11 2014-09-02 삼성전자주식회사 다중 측정된 생체신호를 기반으로한 스트레스 분석방법
WO2009094050A1 (en) * 2008-01-25 2009-07-30 Medtronic, Inc. Sleep stage detection
CN101504696A (zh) * 2008-02-05 2009-08-12 周常安 互动式生理分析方法
US9313585B2 (en) * 2008-12-22 2016-04-12 Oticon A/S Method of operating a hearing instrument based on an estimation of present cognitive load of a user and a hearing aid system
KR101647048B1 (ko) * 2009-01-14 2016-08-09 삼성전자주식회사 생체 정보를 표시하는 방법 및 장치
JP2011005176A (ja) * 2009-06-29 2011-01-13 Sony Corp 耳介装着具及び生体信号測定装置
KR100969233B1 (ko) 2009-09-03 2010-07-09 엔디에스솔루션 주식회사 네트워크를 이용한 다중 정보 다중 분할 디스플레이 시스템 및 방법
DE102009060093B4 (de) * 2009-12-22 2011-11-17 Siemens Medical Instruments Pte. Ltd. Verfahren und Anordnung zum Einstellen eines Hörgeräts durch Erfassung der Höranstrengung
US8487760B2 (en) * 2010-07-09 2013-07-16 Nokia Corporation Providing a user alert
US11471091B2 (en) * 2010-07-29 2022-10-18 Kulangara Sivadas Mind strength trainer
CA2835460C (en) * 2011-05-10 2018-05-29 Foteini AGRAFIOTI System and method for enabling continuous or instantaneous identity recognition based on physiological biometric signals
KR20130050039A (ko) * 2011-11-07 2013-05-15 주식회사 스마트로 생체 정보 인증을 이용한 신용카드 결제 방법 및 시스템
US9763592B2 (en) * 2012-05-25 2017-09-19 Emotiv, Inc. System and method for instructing a behavior change in a user
WO2013177592A2 (en) * 2012-05-25 2013-11-28 Emotiv Lifesciences, Inc. System and method for providing and aggregating biosignals and action data
JP2014030621A (ja) * 2012-08-03 2014-02-20 Sony Corp 情報処理装置、プログラム及び生体信号測定セット
US9983670B2 (en) * 2012-09-14 2018-05-29 Interaxon Inc. Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data
EP3025270A1 (en) * 2013-07-25 2016-06-01 Nymi inc. Preauthorized wearable biometric device, system and method for use thereof
KR102136836B1 (ko) * 2013-09-09 2020-08-13 삼성전자주식회사 생체 신호들을 이용하여 사용자 인증을 수행하는 착용형 기기 및 그 착용형 기기의 인증 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003111106A (ja) * 2001-09-28 2003-04-11 Toshiba Corp 集中度取得装置並びに集中度を利用した装置及びシステム
JP2005056205A (ja) * 2003-08-05 2005-03-03 Sony Corp コンテンツ再生装置及びコンテンツ再生方法
KR100747446B1 (ko) * 2005-03-07 2007-08-09 엘지전자 주식회사 휴대단말기의 지문인식 장치 및 방법
KR20130082839A (ko) * 2011-12-20 2013-07-22 두산동아 주식회사 사용자 맞춤형 콘텐츠 제공 장치 및 그 방법

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160133307A (ko) * 2015-05-12 2016-11-22 삼성전자주식회사 콘텐트를 제공하는 방법 및 디바이스
KR20170014050A (ko) * 2015-07-28 2017-02-08 재단법인대구경북과학기술원 가상 현실 기반의 개인 맞춤용 캡슐형 힐링 장치
KR20170019040A (ko) * 2015-08-11 2017-02-21 삼성전자주식회사 생체 상태 정보 제공 방법 및 이를 지원하는 전자 장치
WO2017078205A1 (ko) * 2015-11-04 2017-05-11 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US11093776B2 (en) 2017-01-06 2021-08-17 Samsung Electronics Co., Ltd. Method and apparatus for processing distortion of fingerprint image
US20180206796A1 (en) * 2017-01-23 2018-07-26 Bong Jae JEON System for presenting changes in pulses by means of pulse analysis application
KR20190105519A (ko) * 2018-03-05 2019-09-17 하만인터내셔날인더스트리스인코포레이티드 포커스 레벨에 기초한 인지 주변음 제어
KR102023024B1 (ko) * 2018-11-09 2019-11-04 가천대학교 산학협력단 사용자의 상태정보에 따라 피드백을 제공하는 사용자의 정서 증진 및 심리파악을 위한 가상현실 시스템
WO2020159093A1 (ko) * 2019-01-28 2020-08-06 주식회사 룩시드랩스 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치
KR20200113615A (ko) * 2019-03-26 2020-10-07 재단법인 철원플라즈마 산업기술연구원 뇌파를 이용한 사용자 맞춤형 학습제공 시스템 및 방법
KR102290092B1 (ko) * 2020-11-11 2021-08-17 주식회사 바토너스 정보 표시 방법 및 장치
WO2023136571A1 (ko) * 2022-01-13 2023-07-20 엘지전자 주식회사 휴대용 오디오 출력 장치 및 모바일 디바이스를 포함하는 시스템의 제어 방법
KR102503477B1 (ko) * 2022-01-19 2023-02-24 (주)감성미학발전소 체험자의 성향에 기초하여 색상 정보를 변경하는 vr 체험 시스템
KR102437583B1 (ko) * 2022-03-21 2022-08-29 가천대학교 산학협력단 생체신호를 활용한 선호 색상에 대한 사용자 맞춤형 색상콘텐츠를 제공하는 시스템 및 방법
KR102602144B1 (ko) * 2022-10-25 2023-11-16 주식회사 프레임 사용자의 뇌파를 분석하여 분석결과를 기초로 컨텐츠를 제공하는 장치 및 방법
KR102486687B1 (ko) * 2022-11-01 2023-01-11 주식회사 디지털뉴트리션 사용자의 건강 설문과 뇌파 신호를 기반으로, 사용자 맞춤형 건강 관리 컨텐츠를 생성하기 위한 장치 및 방법
KR102486690B1 (ko) * 2022-11-01 2023-01-12 주식회사 디지털뉴트리션 사용자 맞춤형으로 건강 관리 음악을 제공하기 위한 장치, 방법, 및 시스템

Also Published As

Publication number Publication date
WO2015047032A1 (ko) 2015-04-02
KR102333704B1 (ko) 2021-12-01
US10366778B2 (en) 2019-07-30
US20160210407A1 (en) 2016-07-21

Similar Documents

Publication Publication Date Title
KR102333704B1 (ko) 생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스
US11435826B2 (en) Electronic device and control method thereof
US11144124B2 (en) Electronic device and control method thereof
EP3133471B1 (en) Play control method, apparatus, terminal, and recording medium
Cernea et al. A survey of technologies on the rise for emotion-enhanced interaction
JP6939797B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR102254705B1 (ko) 단말 장치 및 그 제어방법
CN109637098A (zh) 可穿戴设备及其控制方法
JP2021504853A (ja) 脳活動の迅速な復号と連携したインタラクティブ電子コンテンツ送付
CN108379713A (zh) 一个基于虚拟现实的交互冥想系统
JP7207468B2 (ja) 出力制御装置、出力制御方法およびプログラム
CN108837271B (zh) 电子装置、提示信息的输出方法及相关产品
KR102410998B1 (ko) 전자 장치 및 그 제어 방법
KR102191966B1 (ko) 디스플레이 장치 제어 방법 및 장치
CN115397331A (zh) 控制装置和控制方法
CN114730214A (zh) 人机接口设备
Matthies Reflexive interaction-extending peripheral interaction by augmenting humans
US20230359275A1 (en) Brain-computer interface
WO2021215267A1 (ja) 制御装置、及び制御方法
US10771881B2 (en) Earpiece with audio 3D menu
KR20230046168A (ko) 획득된 데이터에 기반하여 화면을 표시하기 위한 전자 장치 및 방법
CN117332256A (zh) 意图识别方法、装置、计算机设备及存储介质
CN114902161A (zh) 人机接口系统
US20180135001A1 (en) Electronic device, wearable device, and method of providing content-based somatic senses using ultrasound
CN117355353A (zh) 根据睡眠状态提供用户接口的电子装置及其操作方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)