KR20170082571A - 스마트 오디오 헤드폰 시스템 - Google Patents

스마트 오디오 헤드폰 시스템 Download PDF

Info

Publication number
KR20170082571A
KR20170082571A KR1020177015200A KR20177015200A KR20170082571A KR 20170082571 A KR20170082571 A KR 20170082571A KR 1020177015200 A KR1020177015200 A KR 1020177015200A KR 20177015200 A KR20177015200 A KR 20177015200A KR 20170082571 A KR20170082571 A KR 20170082571A
Authority
KR
South Korea
Prior art keywords
user
music
preferences
emotions
moods
Prior art date
Application number
KR1020177015200A
Other languages
English (en)
Inventor
레빈 김
Original Assignee
엔고글 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔고글 인크. filed Critical 엔고글 인크.
Publication of KR20170082571A publication Critical patent/KR20170082571A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • A61B5/0478—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A61B5/6815—Ear
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6822—Neck
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1008—Earpieces of the supra-aural or circum-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/105—Earpiece supports, e.g. ear hooks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change

Abstract

본 발명은 스마트 헤드폰들에 관한 것이다. 더 구체적으로, 본 발명은 사용자의 선호사항들, 특히 그들의 마음 및/또는 감정들의 상태에 맞추는 개인 플레이리스트들을 조정하도록 적응된 스마트 오디오 헤드폰 시스템에 관한 것이다.

Description

스마트 오디오 헤드폰 시스템{SMART AUDIO HEADPHONE SYSTEM}
본 발명은 스마트 헤드폰들에 관한 것이다. 더 구체적으로, 본 발명은 사용자의 선호사항들, 특히 그들의 마음 및/또는 감정들의 상태에 맞추어 개인 플레이리스트들을 조정하도록 적응된 스마트 오디오 헤드폰 시스템에 관한 것이다.
젠 튠즈(ZEN TUNES)는, 음악을 청취할 때 방출되는 뇌파들을 분석하고, 청취자들의 "이완" 및 "집중" 상태에 기초하여 음악 차트를 생성하는 아이폰 앱이다. 젠 튠즈는, 청취자의 뇌파들을 청취자들이 청취하는 음악에 태깅(tag)함으로써 "인식(awareness)"을 제공한다.
이의 확장이 미코(Mico) 헤드폰에서 보여지며, 이는 청취자의 이마 상에 단일 EEG 센서를 적용한다. 미코 헤드폰은 이마 상의 센서를 통해 뇌파들을 검출한다. 그런 다음, 미코 앱(젠 튠즈)은 사용자의 뇌의 상태를 분석하며, 미코 음악 데이터 베이스로부터 매칭되는 음악을 검색하고, 사용자의 상태에 맞는 선택을 플레이한다.
"Method And System For Analysing Sound", 미국 특허 출원 제20140307878호.
본 발명은 오디오(예를 들어, 음악) 트랙들을 분석하기 위한 방법 및 시스템에 관한 것이다. 뇌 내의 인간의 하부 피질, 변연계 및 피질하 영역들 중 하나 이상에 의해 사운드들에 대하여 응답하고 기능하는 신경-생리학의 예측 모델이 설명된다. 사운드들은, 그 청취자의 신경-생리학적 각성을 자극하고 및/또는 조작하기 위하여 적절한 사운드들이 선택되고 청취자에게 플레이될 수 있도록 분석된다. 방법 및 시스템은 특히 생체피드백 자원을 이용하는 애플리케이션들에 적용할 수 있다.
"Audio headset with bio-signal sensors", 미국 특허 제8781570호
Ruo-Nan Duan, Xiao-Wei Wang, Bao-Liang Lu. EEG-Based Emotion Recognition in Listening Music by Using Support Vector Machine and Linear Dynamic System. Neural Information Processing: Lecture Notes in Computer Science Volume 7666, 2012, pp 468-475.
본 발명은, 사용자에게 플레이되고 있는 음악과의 관계에 있어서 사용자의 감정들, 무드들, 및/또는 선호사항들(user's emotions, moods and/or preferences; EMP)을 검출하고 학습할 수 있는, 하나 이상의 생체신호 센서들 및 하나 이상의 오디오 스피커들을 갖는 오디오 헤드폰을 포함하는 시스템, 사용자 청취자 및 노래 명칭에 의해 카탈로그화되는 시간에 걸쳐 수집되는 생체-신호들의 수집 및 분석의 방법, 특정 무드들 및/또는 감정들에 대하여 한 곡의 음악의 속성들을 식별하고 관련시키는 방법, 및 특정 사용자의 학습된 감정들, 무드들, 및/또는 선호사항들에 기초하여 음악을 적응적으로 그리고 자동으로 선택하기 위한 방법으로서 설명된다.
본 개시의 실시예들은 도면들을 참조함으로써 더 양호하게 이해될 것이다.
도 1은 스마트 오디오 헤드폰 시스템의 예시이다.
도 2는 스마트 오디오 헤드폰 시스템의 예시이다.
도 3은 스마트 오디오 헤드폰 시스템의 예시이다.
도 4는 헤드밴드 상에 위치된 센서들을 갖는 스마트 오디오 이어폰 시스템의 예시이다.
도 5는 헤드밴드 상에 위치된 무접촉 센서들을 갖는 스마트 오디오 이어폰 시스템의 예시이다.
도 6은 스마트 인-이어(in-ear) 헤드폰 유닛의 예시이다.
도 7은 사용자의 목을 둘러싸는(circumvent) 생체-센서들을 갖는 스마트 오디오 이어폰 시스템의 예시이다.
도 8은 EEG 및 ECG 생체-신호들을 수집하는 스마트 오디오 헤드폰의 예시이다.
도 9는 감정들, 무드들, 및/또는 선호사항들(EMP)을 학습하기 위한 순서도를 도시한다.
도 10은, 선택적인 생리학적 신호들을 적절한 음악에 매칭시키고 학습하기 위하여 기계 분류기를 이용하는, 자동으로 그리고 적응적으로 음악을 선택하기 위한 프로세스에 대한 순서도를 도시한다.
도 11은 사용자에 대한 EMP를 학습하기 위하여 시스템의 트레이닝을 개시하기 위한 프로세스를 도시한다.
도 12는 사용자의 EMP와 연관된 음악의 속성들을 학습하기 위한 프로세스에 대한 순서도를 도시한다.
도 13은 시스템에 의해 액세스되는 데이터 저장부들을 도시한다.
도 14는 도 8 내지 도 10의 방법들을 수행할 수 있는 컴퓨터 시스템을 예시하는 블록도이다.
도 15는 음악 데이터베이스들에 액세스하는 디바이스들 및 컴퓨터 시스템들을 예시하는 개략적인 도면이다.
도 16은 감정 차트이다.
이하에서 본 발명의 하나 이상의 실시예들의 상세한 설명이 본 발명의 원리들을 예시하는 첨부된 도면들과 함께 제공된다. 본 발명이 이러한 실시예들과 관련하여 설명되지만, 그러나 본 발명이 어떠한 실시예에도 한정되지 않으며, 다수의 대안예들, 수정예들 및 등가물들을 포괄한다. 다음의 설명에 있어서, 다수의 특정 세부사항들이 본 발명의 완전한 이해를 제공하기 위하여 기술된다. 이러한 세부사항들은 예시적인 목적을 위하여 제공되며, 본 발명은 이러한 특정 세부사항들 중 일부 또는 전부 없이 청구항들에 따라 실시될 수 있다. 명료성을 위하여, 본 발명이 불필요하게 모호해지지 않도록 본 발명은 관련된 당업계에서 공지된 기술적 재료는 상세하게 설명하지 않는다.
따라서, 본 명세서 전체에 걸쳐 "하나의 실시예", "일 실시예", "특정 실시예, 또는 유사한 용어에 대한 언급은, 실시예와 관련하여 설명된 특정 특징, 구조, 또는 특성이 본 발명의 적어도 하나의 실시예 또는 계획에 포함된다는 것을 의미하지만, 명백히 모든 실시예들에 있어서 그러하다는 것을 의미하지는 않는다. 따라서, 본 명세서 전체에 걸쳐 문구들 "하나의 실시예에 있어서", "일 실시예에 있어서", 및 유사한 용어의 출현은, 필수적이지는 않지만, 모두 동일한 실시예들 언급할 수도 있으며, 그러나 명백히 달리 명시되지 않는 한 "모든 실시예들이 아니라 하나 이상의 실시예들"을 의미한다. 이에 더하여, 본 발명의 다양한 실시예들은 다양한 모듈식 특징부들을 가지고 설명된다. 설명되는 특징부들은 모듈식이고, 임의의 실시예에서 사용될 수 있으며, 필수적이지는 않지만 특히 설명되는 실시예에서 사용될 수 있거나 또는 전혀 사용되지 않을 수도 있다. 용어들 "포함하는", "구성하는", "갖는" 및 이들의 변형어들은 명백히 달리 명시되지 않는 한 "비제한적으로 포함하는"을 의미한다. 아이템들의 열거되는 목록은 명백히 달리 명시되지 않는 한 아이템들 중 전부 또는 임의의 아이템이 상호 배타적이라는 것을 의미하지 않는다. 용어들 "일" 및 "상기"는 또한 명백히 달리 명시되지 않는 한 "하나 이상"을 지칭한다.
당업자에 의해 이해될 바와 같이, 본 발명의 측면들은 시스템, 디바이스, 장치, 방법, 또는 컴퓨터 프로그램 제품으로서 구현될 수 있다. 따라서, 본 발명의 측면들은 전적으로 하드웨어 실시예, 전적으로 (펌웨어, 상주 소프트웨어, 마이크로-코드 등을 포함하는) 소프트웨어 실시예 또는, 그 모두가 본원에서 전반적으로 "회로", "모듈" 또는 "시스템"으로 지칭될 수 있는 하드웨어 및 소프트웨어 측면들을 조합하는 실시예의 형태를 취할 수 있다. 더욱이, 본 발명의 특정 측면들은, 클라이언트 디바이스들 상에 및/또는 그 위에 구현된 컴퓨터 판독가능 프로그램 코드를 갖는 하나 이상의 컴퓨터 판독가능 매체(들) 내에 구현된 컴퓨터 프로그램 제품을 그 안에 갖는 전자 디바이스의 형태를 취할 수 있다.
또한, 실시예들의 설명되는 특징들, 구조들, 또는 특성들이 임의의 적절한 방식으로 조합될 수 있다. 다음의 설명에 있어서, 프로그래밍, 소프트웨어 모듈들, 사용자 선택들, 네트워크 트랜잭션들, 데이터베이스 쿼리들, 데이터베이스 구조들, 하드웨어 모듈들, 하드웨어 회로들, 하드웨어 칩들, 디바이스들, 장치들 등의 예들과 같은 다수의 특정 세부사항들이 실시예들의 완전한 이해를 제공하기 위하여 제공된다. 그러나, 당업자는 실시예들이 이러한 특정 세부사항들 중 하나 이상이 없는 상태로 또는 다른 방법들, 컴포넌트들, 재료들 등과 함께 실시될 수 있다는 것을 인식할 것이다. 다른 사례들에 있어, 잘-알려진 구조들, 재료들 또는 동작들은 실시예의 측면들을 모호하게 하는 것을 방지하게 위하여 상세하게 도시되지 않거나 또는 설명되지 않는다.
본 발명의 일 실시예에 있어서, 본원에서 설명되는 본 발명은 학습된 사용자의 감정들, 무드들 및/또는 선호사항들(EMP)에 기초하여 적응적으로 그리고 자동으로 음악을 선택하고 이를 청취하기 위한 스마트 오디오 헤드폰 시스템에 특히 적용이 가능하다. 시스템은, (소위 헤드셋, 헤드폰, 이어버드(earbud), 이어폰들, 또는 이어캔즈(earcans)로서도 지칭되는) 하나 이상의 오디오 스피커들 및 하나 이상의 생체-신호 센서들을 갖는 오디오 헤드폰(예를 들어, EEG 센서들(예를 들어, 전극들)을 갖는 오버-디-이어(over-the-ear) 또는 이어버드 헤드폰)을 포함하고, 이는 사용자의 감정들, 무드들, 및/또는 선호사항들을 학습하고 사용자의 감정, 무드 및/또는 선호사항과 매칭되는 음악을 선택하기 위하여 하나 이상의 생체-신호를 적응적으로 추출하고 분류하며, 이는 디바이스의 맥락에서 설명될 것이다. 음악은 리듬, 멜로디, 또는 화음을 포함하거나 또는 포함하지 않을 수 있는 음성, 악기, 또는 기계적 사운드들(예를 들어, 튠(tune), 징글(jingle), 노래, 노이즈 뮤직(noise music), 등)을 지칭하며, 이들은 전체 작품 또는 이의 부분들을 포함할 수 있다. 이러한 용어들, 예를 들어, 노래, 튠, 악곡, 작품의 특정한 사용은, 이러한 용어들이 상호교환적으로 사용되며 광범위한 개념의 오디오 사운드들의 예로서 사용되기 때문에, 본 발명을 제한하는 것으로서 해석되지 않아야만 한다.
대안적인 또는 추가적인 실시예에 있어서, 오디오 헤드폰 시스템은 하나 또는 복수의 사용자의 선호사항들, 무드들 및/또는 감정들에 기초하여 음악의 속성들을 분류하기 위한 학습 메커니즘을 포함한다. 예를 들어, 음악은, 개인의 음악에 대한 개인적인 선호사항들, 감정, 또는 무드에 기초하여, 또는 개인의 개인적인 분류(예를 들어, 장르, 활동, 의도된 용도, 등)에 기초하여 자동으로 분류되고 라벨링될 수 있다.
본원에서 설명되는 바와 같이, 감정들, 무드들 및/또는 선호사항들은 감정들, 무드들 및/또는 선호사항들의 생리학적 또는 행동적 표현들에 기초한다. 이러한 혁신의 목적들을 위하여, 감정, 무드 또는 선호사항 정의들 및 계층들의 임의의 세트가 사용될 수 있으며, 이는, 예술/엔터테인먼트, 마케팅, 심리학의 분야에서 설명되는 것들 또는 본원에서 본 발명에 의해 새롭게 도출되는 것들을 포함하는 적어도 인간 감정 또는 선호사항 엘리먼트를 캡처(capture)함으로써 인식된다. 예를 들어, 선호사항들은 개인적인 호 불호 및 무관심과 같이 단순할 수 있거나; 또는, 예를 들어, 감정에 대한 인간-기계 상호작용 네트워크(Human-Machine Interaction Network on Emotion; HUMAINE)에 의해 제안되는 감정 주석 및 표현 언어(emotion annotation and representation language; EARL)와 같이 훨씬 더 복잡할 수 있다:
부정적이고 강력한(예를 들어, 분노, 곤혹, 경멸, 혐오, 짜증), 부정적이고 제어되지 않는(예를 들어, 불안, 당혹, 공포, 난감, 무기력, 걱정), 부정적인 생각들(예를 들어, 의심, 질투, 불만, 죄책감, 수치심), 부정적이고 수동적인(예를 들어, 지루함, 절망, 실망, 상심, 슬픔), 불안(예를 들어, 스트레스, 쇼크, 긴장), 긍정적이고 활기찬(예를 들어, 재미, 기쁨, 의기양양, 흥분, 행복, 즐거움, 쾌감), 배려(예를 들어, 애정, 공감, 친근감, 사랑), 긍정적인 생각들(예를 들어, 용기, 희망, 긍지, 만족, 신뢰), 조용하고 긍정적인(예를 들어, 평온, 만족, 이완, 안심, 침착), 반응적인(예를 들어, 흥미, 공손함, 놀람).
다른 시스템들은, 로버트 플루칙에 의해 정의된 8개의 주요 감정들: 분노, 공포, 슬픔, 혐오, 놀람, 희망, 신뢰, 및 기쁨[Plutchik, R.: Emotions and life: perspectives from psychology, biology, and evolution. American Psychological Association, Washington, DC, 1st edn. (2003)]; 또는 재미, 경멸, 만족, 당혹, 흥분, 죄책감, 달성에 있어서의 긍지, 안심, 만족, 감각적 쾌감, 및 수치심으로 확장될 수 있는 폴 에크만의 기본 정서들: 분노, 공포, 슬픔, 행복, 혐오 및 놀람의 리스트[Ekman, P.: Basic emotions. In: Dalgleish, T., Power, M. (eds.) Handbook of Cognition and Emotion. Wiley, New York (1999)]를 포함한다. 다른 감정 시스템들이 또한 고려된다: 예를 들어, 도 16을 참조하라. 특히 유용한 감정 세트들은, 엔터테인먼트, 마케팅 또는 구매 행동에 대해 사용되는 것들을 포함한다(예를 들어, Shrum LJ (ed). The Psychology of Entertainment Media: Blurring the Lines between Entertainment and Persuasion. (Lawrence Erlbaum Associates, 2004); Bryant & Vorderer (eds). Psychology of Entertainment. (Routledge, 2006); Deutsch D (ed). The Psychology of Music, Third Edition (Cognition and Perception). (Academic Press, 2012)를 참조하라).
본 개시의 실시예들이 도 1 내지 도 16에 예시된다.
일 실시예에 있어서, 본 개시는 뇌의 전기적 활동을 측정하기 위한 스마트 오디오 뇌파도(electroencephalogram; EEG) 헤드폰에 관한 것으로서, 이는 뇌파도(EEG) 신호들을 획득하고 모니터링하기 위한 구성의 복수의 전극들을 지원하기 위한 오디오 헤드폰을 포함한다. 도 1은 스마트 오디오 헤드폰 시스템에 대한 시스템(100)의 일 실시예를 도시한다. 도시된 실시예에 있어서, 시스템(100)은, 예컨대 전극 또는 센서(110)를 통해서 하나 이상의 EEG 신호들을 획득하도록 구성된 오디오 헤드폰 모듈(100)을 포함한다. 전극들(110)은, 예를 들어, 사용자의 귀를 둘러싸거나 또는 귀 둘레의 또는 목 상의 헤어라인을 따라 귀를 둘러싸는 귀 상의 피부와 같은 사용자의 피부로부터 EEG 신호를 판독하도록 위치될 수 있다. 대안적인 또는 추가적인 실시예에 있어서, 도 2에 도시된 바와 같이, 하나 이상의 센서들(210)은, 예를 들어, 피부에 도달하기 위하여 머리카락을 관통해 돌출하는 전극 티쓰(teeth)를 통해 두피로부터 EEG 신호들을 획득하고 모니터링하기 위하여 헤드폰의 헤드밴드(220)를 따라 위치될 수 있다. 헤드폰은 소비자 경향에 맞도록 장식되거나 또는 단순하거나, 또는 설계될 수 있다.
각각의 전극은, 전극들로부터 신호들을 수신하고 프로세서로 출력을 제공하도록 구성될 수 있는 전자 회로부에 전기적으로 연결될 수 있다. 전자 회로부는 전극들로부터 수신된 신호들의 적어도 일부 프로세싱을 수행하도록 구성될 수 있다. 일부 구현예들에 있어서, 전자 회로부는 헤드폰 상에 장착되거나 또는 그 내부에 하우징될 수 있다. 일 실시예에 있어서, EEG 신호 획득 회로부는 프로세서, 아날로그 신호 프로세싱 유닛, 및 A/D(아날로그/디지털) 컨버터를 포함하며, 비제한적으로, 예를 들어, 필터 및 증폭기가 또한 그 내부에 포함될 수 있다. 대안적인 또는 추가적인 실시예에 있어서, 신호들의 일부 프로세싱은, PC 또는 모바일 디바이스와 같은 별개의 클라이언트 디바이스 또는 네트워크를 통한 웹 서버 상의 별개의 컴퓨터 상에 존재할 수 있는 본 발명의 별개의 디바이스 상의 원격 수신기 내의 프로세서들에 의해 수행될 수 있다. 일 실시예에 있어서, 전자 회로부는, 프로그래밍 수정들을 가능하게 하기 위하여 소프트웨어를 수정하거나 또는 업그레이드하기 위한 컴포넌트들, 예를 들어, 유선 또는 무선 컴포넌트들을 포함할 수 있다. 전자 회로부는 또한 외부 인터페이스들, 예컨대 전자 인터페이스들(예를 들어, 포트들), 사용자 인터페이스들(예를 들어, 터치 또는 무-터치 제어기, 상태 인터페이스 예컨대 LED 또는 유사한 스크린/조명들), 및 유사한 것을 포함한다.
디바이스, 예를 들어, 오디오 헤드폰은, 다른 유형들의 생체-신호 센서들 및/또는 다른 유형의 멀티미디어 성능들을 포함하는 다른 유형들의 센서들, 예컨대 오디오/청각 골 전도, 모션 센서들 예컨대 자이로스코프들 및 가속도계들, 헤드폰 비디오 머리 착용형 디스플레이(예를 들어, 오디오 스피커들을 갖는 비디오 안경) 및/또는 3D 입체경(stereoscopic)과 함께 사용될 수 있다. 이러한 생체-신호들은, 심전도(electrocardiogram; ECG/EKG), 피부 전도도(skin conductance; SC) 또는 갈바닉 피부 응답(galvanic skin response; GSR), 근전도검사(electromyography; EMG), 호흡, 맥박, 전기 안구도 기록(electrooculography; EOG), 동공 확장, 안구 추적, 안면 감정 인코딩, 및 반응 시간 디바이스들, 등등과 같은 것들을 포함한다. 전기적 생체-센서는, 예컨대 피부에 부착된 2개의 전극들 사이의 차이(예를 들어, EEG, ECG, EOG 및/또는 EMG) 및/또는 전기 저항을 측정하는 차동 증폭기와 같이 복수의 측정들을 위하여 중복적으로 사용될 수 있다. 도 8은 EEG 및 ECG 둘 모두를 측정하는 스마트 오디오 헤드폰을 도시한다. 센서들은 헤드밴드 상에, 또는 헤드폰의 이어피스(earpiece)들 상에 또는 그 내부에 위치될 수 있거나(및/또는 달리 헤드폰에 연결될 수 있거나), 또는 달리 희망되는 정보를 측정하는데 도움이 되도록 위치될 수 있다.
도 1은 스피커 헤드셋의 일 실시예를 도시하지만, 일부 실시예들에 있어서, 헤드폰은 그 안에 2개의 이어피스들 대신에 오로지 하나의 이어피스만이 존재하는 모노-헤드셋이다. 헤드셋(100)은, 헤드밴드(130) 내에 케이싱된(encased) 전기적 컴포넌트들 및 구조들(미도시), 및 사용자의 머리의 표면으로부터의 전기적 신호들을 측정하는 동안 전기적 컴포넌트들을 보호하고 편안한 착용감을 제공하기 위한 이어피스(120)를 포함한다. 헤드밴드(130)는 전자기기들(미도시) 예컨대 각각의 전극(110)에 대한 와이어들 또는 리드(lead)들을 갖는 배터리 및 다른 전자 컴포넌트들(무선 송신기, 프로세서, 등)을 하우징할 수 있다. 전력은 디바이스 내의 배터리들로부터 생산될 수 있거나, 또는 배선을 통해 외부 디바이스로부터 전력이 공급될 수 있다. 일 실시예에 있어서, 헤드셋(100)은 착용자의 머리에 대하여, 예를 들어, 정수리(crown of the head)를 따라 위치되도록 적응되고 구성된다. 이어피스(120)는 오디오 스피커들(105) 및 EEG 센서들(110) 둘 모두를 포함한다. EEG 센서들(110)은 귀 상의 또는 귀를 둘러싸는 피부와의 직접 접촉을 제공하기 위하여 이어피스(120) 상에 위치될 수 있다. 이어패드(earpad)들(115)은 전극들(110)의 배치를 지원하기 위하여 사용될 수 있다. 일 실시예에 있어서, 이어패드들(115)은 탄성중합체 또는 가요성 재료(예를 들어, 폼(foam), 플라스틱, 또는 다른 폴리머, 직물, 또는 실리콘과 같은 탄성 또는 유연한 재료)로 만들어질 수 있으며, 상이한 사용자들의 머리 및 귀 형상 및 크기들을 수용하고, 편안한 착용감을 제공하며, 동시에 적절한 접촉을 보장하기 위하여 피부에 대하여 전극들을 배치하고 충분한 압력을 제공하도록 성형될 수 있다. 일 실시예에 있어서, 전극들은 귀에 대하여 이어패드를 제 위치에 홀딩하는 헤드밴드의 정확한 형상에 의해 위치된다.
도 2는, 사용자의 두피와의 접촉 또는 근처 접촉(near contact)을 제공하기 위하여 하나 또는 복수의 전극 티쓰 또는 연장기들(210)을 포함하는 헤드밴드를 갖는 스마트 오디오 헤드셋을 갖는 일 실시예를 도시한다. 티쓰는, 예를 들어, 귀로부터 귀까지 머리의 상단을 가로질러 EEG 신호들을 기록하기 위하여 헤드밴드를 일주할 수 있다. 복수의 헤드밴드들(310 및 320)이 머리의 상이한 단면들을 측정하기 위하여 사용될 수 있다(예를 들어, 도 3을 참조). 티쓰는 헤드밴드에 영구적으로 부착될 수 있거나, 또는, 착탈가능/대체가능한, 예를 들어, 플러그-인 소켓들 또는 암놈/수놈 소켓들일 수 있다. 각각의 투쓰(tooth)는 두피에 도달하기에 충분한 길이일 수 있거나, 두피와의 접촉 시에 "굽도록(give)" 스프링-장전형이거나 또는 유연한/가요성일 수 있거나, 또는 물리적인 접촉 없이 EEG 신호들을 캡처하기 위한 무접촉식일 수 있다. 티쓰(210)는 사용자의 머리에 상처를 입히는 것을 회피하기 위하여 라운드된 외부 표면들을 가질 수 있으며, 보다 더 바람직하게는 두피와의 안전하고 지속적인 접촉을 보장하기 위하여 플랜지형(flanged) 팁들을 가질 수 있다. 티쓰(210)는 개구 주위에 배열될 수 있거나, 또는, 대안적으로, 헤드밴드를 따라 이격된 관계로 제공되는 하나 이상의 선형적인 로우(row)들로 배열될 수 있다. 티쓰(210)는, 접촉부들(230)을 사용자의 두피에 대하여 제 위치에 위치시키는 것을 보조하기 위하여 헤드밴드(210)에 추가적인 구조, 강성, 또는 가요성을 제공할 수 있는 직물, 폴리머, 또는 금속 재료들로 만들어질 수 있다. 본 발명은, 예를 들어, 도 5에 도시된 바와 같은 상이한 위치 배치를 위한 전극들을 추가로 고려하며, 티쓰 또는 연장부들은 헤드밴드 상에 부착가능한 또는 부착된 빗 또는 머리핀(520) 상의 티쓰로서 제공될 수 있다. 예를 들어, 머리의 상단에 대한 전극들이 머리카락과 접할 수 있다. 따라서, "티스"의 단부들 상의 전극들, 클립들 또는 스프링들이 머리카락을 관통해 머리의 두피에 도달하기 위하여 사용될 수 있다. 이러한 실시예들의 예들뿐만 아니라 헤어밴드들 상의 다른 유사한 전극들이 본원에 참조로서 통합된 EEG Hair Band라는 명칭의 미국 특허출원 제13/899,515호에서 논의된다.
EEG와 함께 사용하기 위한 공지된 다양한 전극들 중 임의의 전극이 본 디바이스와 함께 사용될 수 있다. 일 실시예에 있어서, 이어피스는 하나의 전극 또는 복수의 전극들을 포함할 수 있다. 일 실시예에 있어서, 이어피스는 전체적으로 전도성일 수 있다. 또 다른 실시예에 있어서, 본 디바이스와 함께 사용하기 위한 하나 이상의 전극들은 전도성 전극 유닛을 둘러싸는 비-전도성 재료로 만들어진 이어패드의 표면 상에 또는 그 내부에 내장되거나 또는 둘러싸일 수 있다. 또 다른 실시예에 있어서, 전극들은 반-전도성 또는 비-전도성 표면 상으로 에칭되거나 프린팅될 수 있다. (합성, 자연, 반-합성 및 동물 가죽을 포함하는) 직물과 같은 비-전도성 재료는, 각각의 전극을 분리/이격시키기 위하여 사용될 수 있거나, 또는 하나 이상이 존재하는 경우, 생체-신호를 접촉 지점으로 국부화하기 위하여 사용될 수 있다. 본 발명에서 사용되는 전극 센서들은 전체적으로 전도성이거나, 비-전도성 또는 반-전도성 재료와 또는 그 내부에 혼합되거나 또는 연관되거나, 또는 전극들의 팁들 상에서와 같이 부분적으로 전도성일 수 있다. 예를 들어, 특정 실시예들에 있어서, 전도성 전극들은, 전극의 가요성 및 안락함을 증가시키기 위하여 비-전도성 재료와 함께 또는 비-전도성 재료 없이 직물, 네트, 또는 메시-형 재료로 직조되거나, 또는 다른 수단에 의해 또는 헤드 스트랩(head strap)의 다른 기체(substrate) 또는 직물 내에 내장되거나 또는 봉재된다. 일 실시예에 있어서, EEG 센서들은 건식 전극들 또는 반-건식 전극들이다. 전극 센서 재료는, 전기적인 신호를 획득하기 위하여 금속, 예컨대 스테인리스 강 또는 구리, 예컨대 불활성 금속들, 유사한 것, 금, 은(은/은 클로라이드), 주석, 텅스텐, 이리듐 옥사이드, 팔라듐, 및 백금, 또는 탄소(예를 들어, 그래핀), 또는 다른 전도성 재료, 또는 이들의 조합들일 수 있다. 전도성 재료는, 최종 전극을 야기하기 위하여, 추가로 코팅되거나 또는 전극 내에 통합될 수 있으며, 예를 들어, 다른 재료들, 예를 들어, 그래핀 또는 고무 또는 실리콘 또는 폴리머들과 혼합된 금속과 혼합될 수 있다. 전극들은 또한 착탈가능할 수 있으며, 예를 들어, 일회용 전도성 폴리머 또는 폼 전극을 포함할 수 있다. 전극은 가요성이거나, 사전 성형되거나 또는 강성일 수 있거나, 또는 더 큰 가요성의 이어피스 내에서 강성일 수 있으며, 임의의 형상, 예를 들어, 시트, 직사각형, 원형, 또는 착용자의 피부와 접촉하게 만드는데 도움이 되는 이러한 다른 형상일 수 있다. 예를 들어, 전극은 피부와 접촉하기 위한 외향(outfacing) 전도성 층 및 본 발명의 전자 컴포넌트들에 연결하기 위한 (이어피스의 표면 아래의) 내부 연결부를 가질 수 있다. 일부 실시예들에 있어서, 전극들은 다수의 전극들을 가요성 기체 상에 어레이 구성으로 배치하기 위하여 미세제조 기술을 사용하여 구성될 수 있다. 다양한 실시예들에 있어서, 자극 어레이들은 가요성 재료 상에 배치된 하나 이상의 생체적합성 금속들(예를 들어, 금, 백금, 크롬, 티타늄, 이리듐, 텅스텐, 및/또는 이들의 산화물들 및/또는 합금들)을 포함한다.
도 4에 예시된 일 예는, 디바이스의 이어피스 상에 중복적으로 배치된 전극 티쓰(410/411)를 도시한다. 전극 티쓰 또는 전극 범퍼(bumper)들(410/411)은, 가장 강력한 신호를 획득하고 및/또는 잡음을 감소시키기 위한, 특히 머리카락의 간섭을 최소화하기 위한, 다양한 크기들(예를 들어, 폭들 및 길이들), 형상들(예를 들어, 사일로(silo), 선형적인 물결들 또는 리지(ridge)들, 피라미드), 재료, 밀도, 폼-팩터들 등일 수 있다. 도 4는, 전도성이거나 또는 전도성이 아닐 수 있는 독립적인 범퍼들(411)의 어레이(411)에 의해 둘러싸인 하나의 전극 내에 전도성 중복 범퍼들을 포함하는 몇몇 독립적인 전극들(410)을 예시한다. 독립적인 범퍼는 하나의 큰 전극으로서 사용될 수 있다. 도 5는 헤어라인 근처의 범퍼 전극들(510) 및, 이들이 더 적은 머리카락을 접할 수 있는 이어피스의 하부 부분 상의 비-범퍼 전극들(512)의 분리 배치를 예시한다. 일 실시예에 있어서, 전극들은, 사용자의 피부에 염증을 일으킬 가능성이 없이 강건한 개별적인 연결들을 생성하기 위하여 전도성 팁들 또는 전도성 섬유를 갖는 폼 또는 유사한 가요성 재료로 만들어 진다. 비제한적으로, 참조 및 더 양호한 이해로서, 이러한 재료 및 설계는 다리를 지지하기 위하여 범퍼들을 사용하는 특정 "마사지" 샌들들에서 발견될 수 있다. 범퍼 전극들의 설계는, 연결을 최대화하고(예를 들어, 두피에 도달하기 위하여 머리카락을 가르도록 설계된 유선형의 압축된 접촉부), 잡음을 감소시키며, 내구성을 증가시키고, 불편함을 완화시키며, 및/또는 편안함 및 인체공학을 증가시키는 등의 인자들을 통합할 수 있다. 예를 들어, 전극 범퍼들은, 전극들의 불편함을 최소화하고 및/또는 내구성을 최대화하기 위하여 더 가요성인 재료를 사용할 수 있거나, 또는 어레이로 존재할 수 있는 전도성 범퍼들을 보호하기 위한 내구성 있는 재료로 만들어진 비-전도성 범퍼들에 의해 둘러싸일 수 있다.
본 발명은 사용될 전극들 및 전극 어셈블리들의 상이한 조합들 및 숫자를 고려한다. 전극들과 관련하여, 전극들의 양 및 배열 둘 모두가, 허용가능한 공간, 비용, 효용 및 애플리케이션을 포함하는 상이한 요구들에 대응하여 변화될 수 있다. 따라서, 어떠한 제한도 존재하지 않는다. 전극 어셈블리는 전형적으로 하나보다 더 많은 전극들, 예를 들어, 각각이 별개의 전극 리드들에 대응하는 몇 개 이상의 전극들을 가질 것이지만, 예를 들어, 각각의 이어피스 당 2 - 300개 이상의 전극들의 범위의 상이한 수의 전극들이 용이하게 지원된다. 하나 이상의 전극들은, 하나의 중복 어레이된 전극으로서 하나의 리드에 의해 연결될 수 있거나, 상이한 신호들(예를 들어, 채널들)을 기록하기 위하여 각각의 그룹에 대해 그룹화된 복수의 전극들에 대한 각각의 리드를 갖는 몇몇 리드들에 의해 연결될 수 있거나, 또는 별개의 신호들 또는 채널들의 어레이를 생성하기 위하여 다른 전극들에 독립적이며 이와 별개일 수 있는 각각의 전극에 대한 단일 리드에 의해 연결될 수 있다.
이어폰 내의 전극들의 크기는, 국한된 공간 내에 몇몇 전극들을 설치하기 위한 능력과 면적에 비례하는 전극의 커패시턴스 사이의 트레이드(trade)일 수 있지만, 배선 및 센서의 컨덕턴스가 또한 전극들의 전체 감도에 기여할 수 있다. 귀 삽입부는 상이한 형상들을 가질 수 있지만, 모든 형성들의 공통 목표는, 사용자의 피부와 밀접하게 설치되며 착용하기에 편안한 귀 삽입부를 갖는 것이며, 이는 가능한 한 최소한으로 귀를 막아야만 한다. 예를 들어, 도 6은, 오디오 스피커(605) 및 하나 이상의 전극들(610)을 갖는 인-이어 이어플러그(earplug)를 포함하는 (이어버드들로서도 알려진) 이어폰들(600)로서의 본 발명의 일 실시예를 도시한다. 예시적인 이어폰들(600)은 귀의 외이에 또는 외이도 내에 위치된다. 전극들(610)은, 외이도의 벽들 또는 외이(귀의 외이의 중심 또는 외부 벽들)의 피부와 직접 접촉하기 위하여 이어폰(600)의 원주부 또는 이어폰(600)의 중심에 위치될 수 있다. 도 7은 인-이어 헤드셋을 도시하며, 여기에서 전극들은 귀 내부에 위치되고, 접지 전극은 사용자의 목 또는 귀의 외측 부분(예를 들어, 귓바퀴) 및 목의 목덜미 또는 다른 부분을 둘러쌀 수 있는 밴드에 부착되며, 여기에서 추가적인 생체-센서들이 밴드 상에 위치될 수 있다.
하나 이상의 전극들이 디바이스의 접지 평면에 대한 연결을 위한 (신체의 일 부분, 예컨대, 귀, 귓불, 목, 안면, 두피, 이마, 또는 대안적으로 신체의 다른 부분들, 예컨대, 예를 들어, 가슴에 부착될 수 있는) 접지 또는 기준 단자로서 사용될 것임이 예상된다. 접지 및/또는 기준 전극은 하나의 전극, 또는 복수의 전극들에 대해 전용될 수 있거나 또는 상이한 전극들 사이에서 교번(alternate)(예를 들어, 전극이 접지와 기록 전극 사이에서 교번할 수 있음)할 수 있다.
일 실시예에 있어서, 하나 이상의 전극들은, 예를 들어, 미국 특허 출원 제2015/0231396호에서 설명되는 전극 어레이들과 같이, 신경 자극을 위해 대상체에 약한 전압/전류를 인가할 수 있다.
일 실시예에 있어서, 본 발명은, 하나 이상의 리드들에 의해 연결된 하나 이상의 전극 어레이들, 및 신경 자극기 디바이스를 포함하는 어레이를 포함한다. 예시의 용이성을 위하여, 하나 이상의 전극 어레이들은 단일 전극 어레이를 포함하는 것으로서 설명될 수 있다. 그러나, 본 교시들에 대한 당업자의 애플리케이션에도 불구하고, 실시예들은 동시 EEG 신호들을 기록하기 위하여 서로 독립적인 2개 이상의 전극 어레이들을 포함하도록 구성될 수 있다. 예를 들어, 실시예들은, 2개, 3개, 4개, 5개, 6개, 7개, 8개, 9개, 10개, 11개, 12개, 13개, 14개, 15개, 16개, 17개, 18개, 19개, 20개, 또는 그 이상의 전극 어레이들을 포함할 수 있다. 일부 실시예들에 있어, 어레이들은 유선 또는 무선일 수 있다. 또한, 각각의 전극은, 어레이 당 1개, 2개, 3개, 4개, 5개, 6개, 7개, 8개, 9개, 10개, 11개, 12개, 13개, 14개, 15개, 16개, 17개, 18개, 19개, 20개, 25개, 30개, 50개, 100개 또는 그 이상의 전극들을 포함할 수 있다. 일부 실시예들에 있어서, 센서들은 유선 또는 무선일 수 있다.
생체-신호 데이터는 외부 디바이스 또는 시스템으로 임의의 적절한 방식으로 송신(및 이에 의해 제어)될 수 있다. 본 발명의 예시적인 일 실시예에 있어서, 디바이스 데이터는, 유선 연결, 예컨대 RS-232 직렬 케이블, USB 커넥터, 파이어와이어 또는 라이트닝(Lightning) 커넥터, 또는 하나 이상의 신호들을 송신하기 위한 다른 적절한 유선 연결을 사용하여 중간 디바이스(예를 들어, 컴퓨터 또는 모바일 디바이스와 같은 클라이언트 디바이스)로 송신된다. 표준 케이블링을 사용하는 것이 고려되지만, 복수의 병렬 와이어들을 이용한 사유 배선이 또한 고려된다. 데이터는, 원시 또는 프로세싱된 상태로 병렬로 또는 시퀀스로 송신될 수 있다. 생체-신호 데이터는 또한 무선 송신기, 예를 들어, RF 모듈을 사용하여 무선으로 중간 디바이스로 송신될 수 있다. 블루투스 연결, 적외선 방사, 지그비 프로토콜, 와이브리 프로토콜, IEEE 802.15 프로토콜, IEEE 802.11 프로토콜, IEEE 802.16 프로토콜, 및/또는 초-광대역(ultra-wideband; UWB) 프로토콜과 같은 무선 통신의 임의의 적절한 방법이 의료 디바이스 데이터를 송신하기 위하여 사용될 수 있다. 메시지는 또한 임의의 적절한 무선 시스템, 예컨대, 무선 모바일 전화 네트워크, GPRS(General Packet Radio Service) 네트워크, WLAN(wireless Local Area) 네트워크, GSM(Global System for Mobile Communications) 네트워크, EDGE(Enhanced Data rates for GSM Evolution) 네트워크, PCS(Personal Communication Service) 네트워크, AMPS(Advanced Mobile Phone System) 네트워크, CDMA(Code Division Multiple Access) 네트워크, W-CDMA(Wideband CDMA) 네트워크, TD-SCDMA(Time Division-Synchronous CDMA) 네트워크, UMTS(Universal Mobile Telecommunications System) 네트워크, TDMA(Time Division Multiple Access) 네트워크, 및/또는 위성 통신 네트워크를 사용하여 무선으로 송신될 수 있다. 희망되는 경우, 스마트 오디오 헤드폰은, 예컨대, 예를 들어, 통신의 중복 수단을 제공하기 위하여, 유선 및 무선 연결 둘 모두를 사용하여 중간 디바이스로 송신될 수 있다. 각각의 컴포넌트들은 그 자체적인 전원 공급장치를 가질 수 있거나, 또는 중앙 전원이 디바이스의 컴포넌트들 중 하나 이상에 전력을 공급할 수 있다.
본 발명의 다양한 실시예들에 있어서, 본 발명은 포괄적인 오디오 헤드폰 시스템의 부분으로서 구현될 수 있으며, 이는 서버 유닛과 독립적인 또는 이와 연결된 중간 디바이스와 통신하는 본 발명의 헤드폰을 포함한다. 여기에서, 스마트 오디오 헤드폰과 외부 장치 사이의 회로 배열(전기적 컴포넌트들 및/또는 모듈들)에 대한 어떠한 제한도 없다는 것을 주의해야만 하며, 이는 스마트 오디오 헤드폰에 의해 제공되는 기능들이 유연하다는 것, 예를 들어, 획득된 생체-신호들이 디지털화 이후 외부 장치로 바로 송신될 수 있거나, 또는, 송신 전에 프로세싱될 수 있거나, 등의 다양한 상황들이 가능하다는 것을 의미한다. 그러나, 송신 전의 본 발명의 디바이스 상에서의 프로세싱이 동시에 송신될 필요가 있는 독립적인 생체-신호들을 수를 감소시킬 수 있다. 당업자들은 정보의 손실 없이 대역폭을 감소시키기 위하여 다른 분야들에서 적용되는 기술들을 적용할 수 있다. 송신 이전의 프로세싱은 복수의 병렬 와이어들에 대한 필요성을 감소시키며, 이는 취급하기 힘든 케이블들 및 비용을 감소시킨다.
일 실시예에 있어서, 본 발명의 헤드폰에는 본 발명의 프로세스들, 전체 모니터링 프로세스 중 획득된 생체-신호들, 음악 및 그것의 속성들, 및 유사한 것을 저장하기 위한 메모리가 구비될 수 있거나; 또는 메모리는, 사용자가 외부 장치의 수신 범위를 벗어날 때 사용자가 다시 수신 범위 내로 돌아올 때의 장래의 송신을 위하여 신호들이 계속해서 일시적으로 저장될 수 있도록 무선 송신 동안 버퍼로서 사용될 수 있거나; 또는 메모리는 무선 송신의 열악한 신호 품질의 경우에 백업을 저장하기 위하여 사용될 수 있다. 메모리는 데이터 저장을 위하여 본 발명의 헤드폰 내에 포함될 수 있으며, 일 실시예에 있어서, 메모리는, 사용자가 전체 디바이스가 아니라 메모리를 취할 수 있도록 외부 액세스를 위한 착탈가능 메모리로서 구현될 수 있다.
이에 더하여, 현재의 본 발명은, 필수적으로 요구하지는 않더라도, 전극들의 효율성을 증가시키기 위한 기술들 및 메커니즘들을 고려한다. 예를 들어, 단일의 더 큰 전극이 아티팩트(artifact) 및/또는 잡음을 감소시키기 위하여 몇몇 중복적인 더 작은 전극들에 의해 대체될 수 있다. 이에 더하여, 고 입력 임피던스 증폭기 클립들 및 능동 전극 접근방식들이 접촉 임피던스의 의존성을 감소시킨다. 저 전력 소모, 고 이득 및 저 주파수 응답을 위한 다른 방법들이 고려된다. 전극 설계에 대한 추가적인 고려사항들은, 전극 생체적합성을 증가시키는 것, 전극 임피던스를 감소시키는 것, 또는, 예를 들어, 소 전압 펄스들의 인가를 통해 전극 인터페이스 속성들을 개선하는 것을 포함한다. 본 발명은 추가로, 뇌 기능의 섬세한 변동들을 측정하기 위한 능력의 계속된 개선을 약속하는 신호들의 동기화 및 복잡성을 계산하기 위한 새로운 소스 국부화 알고리즘들 및 방법들과 함께, 개선된 해상도(resolution)를 갖는 신규한 EEG 센서들을 통합하는 것을 고려한다.
도면들 내의 개략적인 순서도 및/또는 개략적인 블록도들이 본 발명의 다양한 실시예들에 따른 장치들, 시스템들, 방법들, 및 컴퓨터 프로그램 제품들의 가능한 구현예들의 아키텍처, 기능성, 및 동작을 예시한다. 이러한 점에 있어서, 개략적인 순서도 및/또는 개략적인 블록도들 내의 각각의 블록이 명시된 논리적 기능(들)을 구현하기 위한 프로그램 코드의 하나 이상의 실행가능한 명령어들을 포함하는 명령어들의 모듈, 세그먼트, 또는 부분을 나타낼 수 있다.
일부 대안적인 구현예들에 있어서, 블록 내에 표시된 기능들이 도면들에 표시된 것과 상이한 순서로 일어날 수 있다는 것을 또한 주의해야 한다. 수반되는 기능성에 따라, 예를 들어, 연속적으로 도시된 2개의 블록들이, 실제로는, 실질적으로 동시에 실행될 수 있거나, 또는, 블록들이 때때로 역순으로 실행될 수도 있다. 다른 단계들 및 방법들이 예시된 도면들의 하나 이상의 블록들, 또는 그 부분들에 기능적으로, 논리적으로, 또는 효과적으로 균등한 것으로서 여겨질 수 있다.
다양한 화살표 유형들 및 라인 유형들이 순서도들 및/또는 블록도들에서 이용될 수 있지만, 이들은 대응하는 실시예들의 범위를 제한하지 않는 것으로 이해되어야 한다. 실제로, 일부 화살표들 또는 다른 연결들은 오로지 도시된 실시예의 논리적인 흐름을 나타내기 위하여만 사용될 수 있다. 예를 들어, 화살표는 도시된 실시예의 열거된 단계들 사이의 지정되지 않은 지속기간의 대기 또는 모니터링 기간을 나타낼 수 있다. 블록도들 및/또는 순서도들의 각각의 블록, 및 블록도들 및/또는 순서도들 예시 내의 블록들의 조합들이 특수 목적 하드웨어 및 컴퓨터 판독가능 프로그램 코드의 지정된 기능들, 역할들, 또는 이의 조합들을 수행하는 특수 목적 하드웨어-기반 시스템들에 의해 구현될 수 있다는 것을 또한 주목되어야 할 것이다.
도 9는, 대응하는 음악(960)에 대하여 선택적인 생리학적 신호들(920)을 학습하고 매칭하기 위한, 도 11에 도시된 것과 같은 기계 분류기(940)를 이용하는 자동으로 그리고 적응적으로 음악을 선택하기 위한 예시적이고 비제한적인 시스템을 예시한다. 노래 또는 다른 유형의 음악과 같은 자극(910)의 제공 시에 사용자(901)에 대한 특징 세트로서 생체-신호들이 획득된다(920). 시스템은, 기존의 분류된 특징 세트들로부터 도출된 파라미터 값들, 특히 이것이 사용자 입력에 적용됨에 따른 사용자 응답, 또는 데이터를 트레이닝하기 위한 이러한 다른 방법들에 기초하여 생체-신호들을 하나 이상의 감정들, 무드들, 및/또는 선호사항들과 같은 특정 거동으로서 특징화하도록 트레이닝될 수 있다(930). 이에 더하여, 특징 추출 및 선택 기술들(1101)과 같은 정보를 감소시키기 위한 기계 학습 또는 패턴 인식 기술들이 적용될 수 있다. 그런 다음, 스마트 오디오 헤드폰으로부터 획득된 사용자 생체-신호 특징 세트는, 무드, 감정 및/또는 선호사항과 연관되는 결정된 특징 세트 내의 패턴들을 찾기 위하여 기계 분류기(1102), 패턴 분류기, 및/또는 어떤 다른 적절한 기술을 사용하여 분석될 수 있다. 그런 다음, 정보는 사용자의 마음 상태에 기초하여 사용자의 플레이리스트를 자동으로 생성하고 연속적으로 적응시키기 위하여 시스템에 의해 사용될 수 있다. 본 발명의 일 실시예에 있어서, 특징 세트는 사용자의 감정, 무드 및/또는 선호사항을 반영하는 EEG 데이터 세트이다. 사용자의 거동의 평가는, 본원에서 설명되는 본 발명의 일부 실시예들에 따라 사용자에 대한 EEG 기록들이 수집되고 분석될 때마다 (예를 들어, 거동 데이터베이스 내에) 계속적으로 업데이트될 수 있다. 트레이닝은 처음에, 주기적으로 또는 연속적으로 적용될 수 있다. 이러한 정보는 추가적인 사용을 위하여 거동 데이터베이스(감정/무드/선호사항 데이터베이스) 내에 저장될 수 있거나, 또는 추가적인 기능 또는 분석을 위하여 또는 연속적으로 시스템을 적응/진화시키기 위하여 클라이언트 디바이스로 송신될 수 있다. 일부 실시예들에 있어서, EEG 기록들 및 후속 분석이 상이한 사용자들에 대하여 수행될 수 있으며, 분석들의 각각으로부터의 특징 출력이 사용자들의 그룹에 대하여 완전한 특징 세트로 결합될 수 있다.
생체-신호들은 당업계에서 공지된 기술들 및 방법들을 사용하여 획득되고 수집될 수 있다. 특정한 일 실시예에 있어서, 생체-신호들은 연속적으로, 랜덤으로, 또는 주기적으로, 예를 들어, 몇 초마다, 몇 분마다, 몇 시간마다 및/또는 몇 일마다, 또는 노래의 상이한 부분들(예를 들어, 시작 및/또는 종료)에서 수집된다. 획득은 눈에 띄거나 또는 눈에 띄지 않을 수 있으며, 사용자에 대해 신중할 수 있다. 일 실시예에 있어서, EEG 신호들은 연속적으로, 간헐적으로 또는 주기적으로 획득된다. 특정 실시예들에 있어서, 특정 사건 관련 전위(event related potential; ERP) 분석들 및/또는 사건 관련 (파워) 스펙트럼 동요(event related (power) spectral perturbation; ERSP)들이, 사용자가 자극에 노출되기 이전에, 노출되는 동안에 및/또는 노출된 이후에, 또는 사용자가 자극에 노출되기 이전에 그리고 노출될 때마다 뇌의 상이한 영역들에 대하여 평가된다. 예를 들어, 자극-전 및 자극-후 차이뿐만 아니라 뇌의 다수의 영역들에서의 ERP 시간 영역 컴포넌트들의 목표 및 차이 측정치들이 결정된다. 동시에, 예를 들어, 심장박동 또는 갈바닉 응답과 같은 다른 생리학적 측정치들이 획득되고, 뇌로부터의 측정치들과 상관될 수 있다.
비제한적으로 (EEG 측정치들) 세타, 알파, 베타, 감마 및 고 감마(high gamma)를 포함하는 복수의 주파수 대역들 및 위치들에 걸친 집중(attention), 감정 및 기억 유지를 평가하기 하기 위하여 차이 응답에 대한 사건 관련 시간, 주파수 및/또는 진폭 분석이 평가될 수 있다. 일 실시예에 있어서, 비대칭적인 인덱스들은, 예를 들어, 파워(power) 차감(subtraction) 또는 나누기(division) 중 하나에 의해 이러한 대칭적인 전극 쌍들의 사용자 스펙트럼을 포함하는 정보를 조작함으로써 계산될 수 있다.
시스템은 또한, 결합/관계 패턴들이 비-결합 상호작용(non-coupled interaction)들을 갖는 세그먼트들과 비교하여 최신인 경우, 세그먼트들 동안의 EEG 측정치들의 시간-주파수 분석 및 차이 청각 관련 신경 시그니처(signature)를 포함하는 신경-생리학적 측정치들에 기초하여, 집중, 감정적 맞물림 및 기억 유지를 합성하는 엔티티/관계, 세그먼트 유효성 측정들에 관한 자극들의 세그먼트들의 뇌 영역 동시성(coherence) 측정들을 사용하여 관계 평가들을 통합할 수 있다.
일 실시예에 있어서, 다양한 자극들, 예컨대 음악, 사운드, 공연들, 시각적 경험들, 텍스트, 이미지들, 비디오, 감각적 경험들 등이 생리학적 응답을 도출하기 위하여 사용될 수 있다. 신경-응답 데이터 또는 뇌 활동은, 특히 EEG는 시간, 공간, 및 스펙트럼 정보에 관하여 측정될 수 있다. 이에 더하여, 본 발명의 기술들 및 메커니즘들은, 신경 영역들 사이의 상호작용들이 조정된(orchestrated) 및 조직된(organized) 거동을 지원한다는 것을 인식한다. 집중, 감정, 선호사항, 무드, 기억, 및 다른 능력들은, 프로세싱된 스펙트럼 데이터를 포함하는 공간적, 시간적, 파워, 주파수 및 다른 관련된 신호들에 기초할 수 있지만, 또한 이러한 신호들 사이의 네트워크 상호작용들에 의존할 수 있다.
본 발명의 기술들 및 메커니즘들은, 상이한 주파수 대역들이 캡처될 수 있다는 것을 추가로 인식한다. 이에 더하여, 가치들이 각각의 사용자에 대하여 계산될 수 있으며 및/또는 사용자들에 걸쳐 동기화될 수 있다. 특정 실시예들에 있어서, 템플릿(template)들이 자극 전후의 차이들을 측정하기 위한 기준선을 생성하기 위하여 사용자들에 대해 생성된다. 다양한 실시예들에 따르면, 자극 생성기들은 지능형(intelligent)이며, 분석되고 있는 각각의 사용자에 대한 노출 길이 및 지속기간과 같은 특정 파라미터들을 적응적으로 수정한다.
특정 실시예들에 있어서, 생체-신호 수집은 사건 또는 시간과, 예를 들어, 자극 표현, 디바이스의 사용자의 사용과 또는 24-시간 클럭 상에서 동기화될 수 있다. 특정 실시예들에 있어서, 신호 수집부는 또한, 사용자의 상태, 자극들, 수집되는 신호들 및 데이터 수집 기구들을 계속적으로 모니터링하는 상태 모니터링 및 컴포넌트들, 자동 트리거(trigger)들, 및 경고들을 제공하는 상태 평가 서브시스템을 포함한다. 상태 평가 서브시스템은 또한 시각적인 경고들을 제공하며, 자동으로 치료 액션들을 트리거한다. 다양한 실시예들에 따르면, 본 발명은 자극 재료들에 대한 사용자 신경-응답을 모니터링하기 위한 데이터 수집 메커니즘들을 포함할 수 있을 뿐만 아니라, 자극 재료들을 식별하고 모니터링하기 위한 메커니즘들을 포함할 수 있다. 예를 들어, 데이터 수집 프로세스는 플레이되는 음악을 모니터링하기 위하여 음악 플레이어와 동기화될 수 있다. 다른 예들에 있어서, 데이터 수집부는 사용자가 더 이상 자극 재료에 집중하지 않을 때를 모니터링하기 위하여 방향적으로(directionally) 동기화될 수 있다. 또 다른 예들에 있어서, 데이터 수집부는, 자극이 노래, 튠, 프로그램, 상용 프린트된 또는 디지털 재료, 경험, 오디오 재료 및 유사한 것인지와 무관하게, 일반적으로 사용자에 의해 제공되는 자극 재료를 수신하고 저장할 수 있다. 수집된 데이터는, 단순한 사용자 오락(distraction)들이 아니라, 신경-응답 정보의 분석 및 실제 자극 재료에 대한 정보의 상관을 가능하게 한다.
도 9에 예시된 바와 같은 학습 시스템은 인간의 개입을 갖는 또는 갖지 않는 자동화 시스템들을 포함할 수 있다. 예를 들어, 도 10에 도시된 바와 같이, 사용자(1001)는 시스템의 트레이닝(930)을 개시하기 위하여 행복 또는 조심과 같은 감정, 또는 특정 음악의 호/불호와 같은 선호사항들의 표시와 같은 트레이닝 가이드라인들(1050)을 제공할 수 있다. 이에 더하여, 시스템은, 특정 음악의 장르 또는 아티스트 또는 특성들(예를 들어, 락, 재즈, 팝, 클래식)과 같은 유사한 속성들이 신경-생리학적 신호들 및/또는 다른 생리학적 신호들의 분류를 가능하게 하도록 하기 위하여 미리 정의된 음악 특성들을 사용할 수 있다. 추가적인 미리-정의된 특성들 또는 속성들은, 예컨대 운동(workout) 음악 또는 공부 음악 및 유사한 것과 같이 사용자에 의해 제공될 수 있다. 이러한 생체-신호들의 트레이닝(930)은 또한 패턴 인식 및 대상 식별 기술들을 포함할 수 있다. 이러한 서브-시스템들은 하드웨어 구현예 및/또는 소프트웨어 구현예들을 포함할 수 있다. 예를 들어, 일 실시예에 있어서, 분류기(1040)는 입력으로서 획득된 생체-신호들의 완전한 특징 세트(1020) 및 트레이닝 데이터의 데이터베이스(1050)를 수신한다. 데이터베이스(1050)는, 비제한적으로, 알려진 EEG 측정치들, 사용자 입력, 자극에 관한 기존 정보, 및 대응하는 전문가 평가 및 진단을 포함하는, 분류 프로세스를 가능하게 하기 위한 임의의 적절한 정보를 포함할 수 있다.
또 다른 실시예에 있어서, 도 8에 도시된 바와 같이, EEG(도시됨), GSR, ECG/EKG(도시됨), 동공 확장, EOG, 안구 추적, 안면 감정 인코딩, 반응 시간, 등을 포함하는 하나 이상의 또는 다양한 모달러티(modality)들이 사용될 수 있다. EEG와 같은 사용자 모달러티들은 신경 영역 통신 경로들을 지능적으로 인식함으로써 강화된다. 교차 모달러티 분석은, 중추 신경계, 자율 신경계, 효과기 시그니처(effector signature)들의 합성 및 분석적 블렌딩(blending)을 사용하여 강화될 수 있다. 시간 및 위상 시프팅, 동기화, 상관, 및 인트라-모달(intra-modal) 결정들의 검증과 같은 메커니즘들에 의한 합성 및 분석은, 소비자 경험 평가를 효율적으로 수행하기 위한 다양한 데이터 응답들의 중요성을 특징화하는 복합 출력의 생성을 가능하게 한다.
특히 현실 상황들에서 사용자의 변화하는 감정들, 무드들 및/또는 선호사항들에 자동으로 맞추기 위한 시스템과 관련하여 개시된 측면들은, 본원의 다양한 실시예들을 수행하기 위한 기법들에 기초하는 다양한 A.I.(인공 지능으로도 알려짐)를 이용할 수 있다. 예를 들어, 생체-신호들을 상관시키기 위한 프로세스는, 이들이 하루 전체에 걸쳐 발생하는 매일의 감정들, 무드들 및/또는 선호사항들과 관련됨에 따라 스윙(swing)하거나; 및/또는 이들이 특정 선호사항, 무드 및/또는 감정 등과 관련됨에 따라 특정 음악의 특성들을 분류하고 카탈로그화하기 위한 프로세스가 본 발명의 자동 분류기 시스템 및 프로세스를 가지고 가능하게 될 수 있다. 다른 예에 있어서, 이들이 특정 음악과 관련됨에 따라, 음악의 플레이리스트 및/또는 다른 활동을 예측적으로 생성하기 위하여 EEG 신호들을 카탈로그화하고 특정 선호사항, 무드 및/또는 감정을 분류하기 위한 프로세스는, 특히, 예를 들어, 이들이 스마트 오디오 헤드폰과 관련됨에 따라 본 발명의 자동 분류기 시스템 및 프로세스를 가지고 가능하게 될 수 있다.
도 11은 학습 컴포넌트를 이용하는 예시적이고 비제한적인 시스템을 예시하며, 이는 개시된 측면들에 따른 하나 이상의 프로세스들의 자동화를 가능하게 할 수 있다. 메모리(미도시), 프로세서(미도시), 및 특징 분류 컴포넌트(1102)뿐만 아니라 다른 컴포넌트들(미도시)은, 예를 들어, 이전의 도면들과 관련하여 본원에서 더 완전하게 설명되는 바와 같은 기능을 포함할 수 있다. 임의의 데이터 분류 및 클러스터링(clustering)을 수행하기 이전에, 고려되는 랜덤 변수들의 수를 감소시키는 특징 추출 컴포넌트(1101), 및/또는 특징 선택 컴포넌트(1101)가 사용될 수 있지만, 필수적이지는 않다. 특징 추출의 목적은 입력 데이터를 더 작은 차원(dimension)들의 특징들의 세트로 변환하는 것이다. 특징 선택의 목적은, 중복적인 특징들을 제거하고 정보를 주는 특징들을 유지함으로써 계산 효율성을 개선하기 위하여 특징들의 서브세트를 추출하는 것이다.
분류기(1102)는 임의의 적절한 기계 학습 또는 분류 기술을 구현할 수 있다. 일 실시예에 있어서, 분류 모델들은, 데이터의 몸체(body)들을 데이터 내에 존재하는 목적 파라미터들에 기초하여 클래스들로 분리하는 것을 시도하는 임의의 적절한 통계적인 분류 또는 기계 학습 방법을 사용하여 형성될 수 있다. 기계 학습 알고리즘들은 알고리즘의 희망되는 결과 또는 기계의 학습 동안 이용가능한 입력의 유형에 기초하여 분류법으로 조직될 수 있다. 지도 학습 알고리즘들은 라벨링된 예들, 즉, 희망되는 출력이 알려진 입력에 대하여 트레이닝된다. 지도 학습 알고리즘은 입력들로부터 출력들로의 매핑 또는 기능을 일반화하는 것을 시도하며, 이는 그 후 이전에 본 적이 없는 입력들에 대한 출력을 생성하기 위하여 추론적으로 사용될 수 있다. 비지도 학습 알고리즘들은 라벨링되지 않은 예들, 즉, 희망되는 출력이 알려지지 않은 입력에 대하여 동작한다. 여기에서, 목적은 입력들로부터 출력들로의 매칭을 일반화하는 것이 아니라 (예를 들어, 클러스터 분석을 통해) 데이터 내의 구조를 발견하는 것이다. 준-지도 학습은 적절한 기능 또는 분류기를 생성하기 위하여 라벨링된 예들 및 라벨링되지 않은 예들 둘 모두를 결합한다. 형질도입(transduction) 또는 사고 추론(transductive inference)은 관찰된 특정 (트레이닝) 경우들로부터 특정하고 고정된 (테스트) 경우들에 대한 새로운 출력들을 예측하려고 시도한다. 강화 학습은, 지능형 에이전트들이 어떤 보상의 개념을 최대화하기 위하여 환경 내에서 역할해야만 하는 방법과 관련된다. 에이전트는, 환경의 관찰가능 상태가 변화하게끔 하는 액션들을 실행한다. 액션들의 시퀀스를 통해, 에이전트는 그것의 액션들에 대하여 환경이 어떻게 응답하는지에 관한 지식을 수집하려고 시도하며, 누적적인 보상을 최대화하는 액션들의 시퀀스를 합성하려고 시도한다. 학습방법의 학습(Learning to learn)은 이전의 경험에 기초하여 그 자체의 귀납적 편향(bias)을 학습한다. 로봇 학습을 위하여 정교하게 만들어진 발달 학습은, 인간 교사들과의 소셜 상호작용 및 자동 자기-탐구를 통해 신규한 스킬들의 레퍼토리들을 점증적으로 획득하기 위하여 상황들을 학습하는 자체적인 시퀀스들(커리큘럼으로도 지칭됨)을 생성하며, 능동 학습, 성숙, 모터 시너지들, 및 모방과 같은 안내 메커니즘들을 사용한다. 기계 학습 알고리즘들은 또한 생성 모델(generative model)들 및 식별 모델(discriminative model)들로 그룹화될 수 있다.
본 발명의 일 실시예에 있어서, 분류 방법들은 지도 분류(supervised classification)이고, 여기에서 알려진 카테고리들의 예들을 포함하는 트레이닝 데이터가 학습 메커니즘으로 제공되며, 이는 알려진 클래스들의 각각을 정의하는 관계들의 하나 이상의 세트들을 학습한다. 그런 다음 새로운 데이터가 학습 메커니즘에 적용될 수 있으며, 그러면 이는 학습된 관계들을 사용하여 새로운 데이터를 분류한다. 지도 학습 접근방식들에 있어서, 디바이스로의 신경 임펄스들의 제어기 또는 컨버터는 적응을 위한 저-레벨 피드백을 계산하기 위하여 희망되는 응답의 상세한 카피를 필요로 한다. 예를 들어, 하나 이상의 생체-신호 마커들을 분류하는 경우에 있어서, 희망되는 응답은 미리 정의된 감정, 무드 및/또는 선호사항일 수 있거나, 또는 락 또는 클래식 또는 재즈와 같은 음악의 특정 유형일 수 있다.
지도 분류 프로세스들의 예들은, 선형 회귀 프로세스들(예를 들어, 다중 선형 회귀(multiple linear regression; MLR), 부분 최소 자승(partial least squares; PLS) 회귀 및 주요 성분 회귀(principal components regression; PCR)), 이진 의사결정 트리들(예를 들어, CART와 같은 재귀적 파티셔닝(partitioning) 프로세스들), 역 전파 네트워크들과 같은 인공 신경 네트워크들, 판별 분석들(예를 들어, 베이지안 분류기 또는 피셔 분석), 로지틱스 분류기(logistic classifier)들, 및 지지 벡터 분류기들(지지 벡터 머신들)을 포함한다. 다른 지도 분류 방법은 재귀적 파티셔닝 프로세스이다.
지도 학습 알고리즘들의 추가적인 예들은, 평균 1-의존성 추정기들(averaged one-dependence estimators; AODE), 인공 신경 네트워크(예를 들어, 역전파, 자동인코더들, 홉필드 네트워크들, 볼츠만 기계들 및 제한형 볼츠만 기계들, 스파이킹 신경 네트워크들), 베이지안 통계학(예를 들어, 베이지안 분류기), 케이스-기반 추론, 의사결정 트리들, 귀납 로직 프로그래밍, 가우시안 프로세스 회귀, 유전자 표현 프로그래밍, 데이터 핸들링의 그룹 방법(group method of data handling; GMDH), 학습 오토마타(automata), 학습 벡터 양자화, 로지틱스 모델 트리, 최소 메시지 길이(의사결정 트리들, 결정 그래프들, 등), 나태 학습, 인스턴스-기반 학습(예를 들어, 최인접 이웃 알고리즘, 유추적 모델링), 확률 근사 교정(probably approximately correct; PAC) 학습, 리플 다운(ripple down) 규칙들, 지식 획득 방법론, 심볼적 기계 학습 알고리즘들, 지지 벡터 머신들, 랜덤 포레스트(random forest)들, 의사결정 트리 앙상블들(예를 들어, 배깅(bagging), 부스팅), 오디널 분류(ordinal classification), 정보 퍼지 네트워크들(information fuzzy networks; IFN), 조건적 랜덤 필드, ANOVA, 선형적 분류기들(예를 들어, 피셔의 선형적 판별식, 로지틱스 회귀, 다항 로지틱스 회귀, 나이브 베이스 분류기, 퍼셉트론(perceptron)), 2차 분류기들, k-최인접 이웃, 의사결정 트리들, 및 은닉 마르코프 모델들을 포함한다.
다른 실시예들에 있어서, 생성되는 분류 모델들은 비지도 학습 방법들을 사용하여 형성될 수 있다. 비지도 학습은 대안적이며, 이는 외부 교습 신호에 대한 어떠한 필요성도 없이 신경 디코딩에 적절한 데이터 구동 접근방식(data driven approach)을 사용한다. 비지도 분류는, 이로부터 트레이닝 데이터 세트가 도출된 스펙트럼을 미리 분류하지 않고 트레이닝 데이터 세트 내의 유사도들에 기초하여 분류들을 학습하려고 시도할 수 있다.
비지도 학습에 대한 접근방식들은 다음을 포함한다:
· 클러스터링(예를 들어, k-평균, 혼합 모델들, 계층적 클러스터링), (Hastie,Trevor,Robert Tibshirani, Friedman,Jerome (2009). The Elements of Statistical Learning: Data mining,Inference,and Prediction. New York: Springer. pp. 485-586)
· 은닉 마르코프 모델들,
· 차원 감소를 위해 특정 추출 기술들을 사용하는 블라인드(blind) 신호 분리(예를 들어, 주요 성분 분석, 독립 성분 분석, 비-네거티브 매트릭스 인수분해, 단일 값 분해)(Acharyya, Ranjan (2008); A New Approach for Blind Source Separation of Convolutive Sources, ISBN 978-3-639-07797-1 (이러한 서적은 블라인드 소스 분리를 이용한 비지도 학습에 초점을 맞춘다)).
신경 네트워크 모델들 중에서, 자기-조직화 지도(self-organizing map; SOM) 및 적응적 공명 이론(ART)이 흔히 사용되는 비지도 학습 알고리즘들이다. SOM은, 그 내부에서 지도 내의 인접 위치들이 유사한 속성들을 갖는 입력들을 나타내는 토포그래픽 조직화(topographic organization)이다. ART 모델은 클러스터들의 수가 문제 크기에 따라 변화하는 것을 허용하며, 사용자가 경계 파라미터로 지칭되는 사용자-정의형 상수를 사용하여 동일한 클러스터들의 멤버들 사이의 유사도의 정도를 제어하게끔 한다. ART 네트워크들은 또한, 자동 목표 인식 및 탄성파 신호 프로세싱과 같은 다수의 패턴 인식 태스크들을 위하여 사용된다. ART의 첫 번째 버전은 카펜터 및 그로스버그에 의해 개발된 "ART1"이다(1988)(Carpenter, G.A. and Grossberg, S. (1988). "The ART of adaptive pattern recognition by a self-organizing neural network". Computer 21: 77-88).
일 실시예에 있어서, 지지 벡터 머신(SVM)이 이용될 수 있는 분류기의 일 예이다. SVM은 가능한 입력들의 공간 내에서 초곡면(hypersurface)을 찾음으로써 동작할 수 있으며, 이러한 초곡면은 비-트리거링 사건들로부터 트리거링 기준을 분리하는 것을 시도한다. 직관적으로, 이는 트레이닝 데이터와 가깝지만 동일하지는 않은 데이터를 테스트하기 위한 분류를 정확하게 만든다. 다른 지향형 및 비지향형 모델 분류 접근방식들은, 예를 들어, 나이브 베이즈, 베이지안 네트워크들, 의사결정 트리들, 신경 네트워크들, 퍼지 로직 모델들, 및 확률론적 분류 모델들을 포함하며, 이는 이용될 수 있는 독립적인 상이한 패턴들을 제공한다. 본원에서 사용되는 바와 같은 분류는 또한, 우선순위의 모델들을 개발하기 위하여 사용되는 통계적 회귀를 포함할 수 있다.
개시되는 측면들은, (예를 들어, 사용자 개입 또는 피드백, 알려진 감정들/무드들/선호사항들과 같은 미리 조정된 자극들(910), 기존의 플레이리스트 및 음악적 선호사항들, 및 유사한 것을 통해) 명시적으로 트레이닝되는 분류기뿐만 아니라 (예를 들어, 특정 사용자에 대한 시간에 걸친 음악 선택의 관찰, 사용 패턴(예를 들어, 공부, 운동, 등)의 관찰, 외부 정보의 수신, 등을 통해) 암시적으로 트레이닝되는 분류기 또는 이들의 조합들을 이용할 수 있다. 예를 들어, SVM들은 특징 분류기 구성기(constructor) 및 특징 선택 모듈 내의 학습 또는 트레이닝 페이즈(phase)를 통해 구성될 수 있다. 따라서, 분류기(들)는, 비제한적으로, 특정 감정들, 무드들 및/또는 선호사항들에 대하여 생체-신호들을 학습하는 것, 특정 음악과 연관된 생체-신호들(예를 들어, EEG)를 학습하는 것, 아티팩트 잡음을 포함하는 잡음을 제거하는 것, 노래의 속성들에 기초하여 각각의 사용자에 대하여 음악을 자동으로 카테고리화하는 것, 개인적인 감정들, 무드들 및/또는 선호사항들과 연관된 노래의 속성들을 식별하는 것, 등을 포함하는 복수의 기능들을 자동으로 학습하고 수행하기 위하여 사용될 수 있다. 기준은, 비제한적으로, EEG 충실도(fidelity), 잡음 아티팩트들, 디바이스의 환경, 디바이스의 애플리케이션, 각각의 음악 작품에 대하여 이용가능한 기존의 정보, 노래 충실도, 서비스 제공자 선호사항들 및/또는 정책들, 등을 포함할 수 있다.
예를 들어, 도 10에 도시된 바와 같이, 본 발명의 일 실시예에 있어서, 스마트 오디오 헤드폰 시스템은 시스템의 트레이닝을 개시하기 위하여 사용자의 개입을 사용한다. 사용자(1001)는 노래들을 (사전)선택함으로써 또는 음악의 유형에 대한 선호사항들 및 가이드라인들 또는 이러한 다른 속성을 제공함으로써, 예를 들어, 사용자가 선호하는 음악의 장르, 또는 아티스트 또는 악기, 또는 노래의 특징; 또는 ""락" 노래가 존재한다는 것"과 같은 음악에 대하여 미리-수립된 분류들(예를 들어, 사전-분류)을 제공함으로써, 시스템을 시작할 수 있다. 유사하게, 사용자는 노래들을 사전 선택할 수 있으며, 이는, 예를 들어, 운동, 공부, 집중, 또는 배경 음악과 같은 희망되는 용도 및/또는 애플리케이션에 기초하여 상이한 가이드라인들 및 선호사항들을 식별한다. 음악이 사용자를 위하여 플레이됨에 따라, 사용자는 각각의 노래 또는 노래의 부분에 대한 선호 상태("호" 또는 "불호"), 노래 또는 노래의 부분에 기인하는 감정(예를 들어, "행복한" 노래, 또는 "사랑" 노래, "집중" 노래, 또는 등등)을 수동으로 식별할 수 있거나, 또는 노래를 스킵하거나 또는 반복할 수 있거나, 또는 사용자의 개입과 함께 획득되고 수집되는 생체-신호들로부터 본 발명의 시스템이 트레이닝되는 것을 가능하게 하기 위한 이러한 다른 개입을 할 수 있다. 이러한 시스템은, 사용자의 선호사항들, 무드 및/또는 감정을 더 정확하게 예측하거나 또는 이를 가지고 진화하기 위하여 시스템을 추가로 트레이닝하고 적응시키기 위한 피드백 루프를 생성할 수 있다.
다양한 실시예들에 따르면, 본 발명의 시스템은 또한 선택적으로 사전 프로세싱 단계를 포함한다. 사전 프로세싱은 생체-신호 특징 세트의 복잡도 또는 차원을 감소시키기 위한 단계들을 포함할 수 있다. 예를 들어, 도 11은 특징 추출 및/또는 특징 선택 프로세스들을 사용하는 선택적인 단계들을 도시한다. 기존의 또는 인식된 생체-신호들을 활용하는 특징 추출 기술이 프로세싱을 감소시키기 위하여 적용될 수 있지만, 또한 일반적인 차원 감소 기술들이, 예컨대 주요 또는 독립 성분 분석, 반한정(semidefinite) 임베딩(embedding), 다인자 차원 감소, 다중선형 부분공간 학습, 비선형 차원 감소, 아이소맵(isomap), 잠재 의미 분석, 부분 최소 자승 분석, 자동인코더, 및 유사한 것을 도울 수 있다. 이에 더하여, 특징 선택 단계(903)는, 중복 및 무관한 특징들을 제거하기 위하여, 예를 들어, 생체-신호 특징 세트로부터 하나 이상의 생체-신호들을 감소시킴으로써, 또는 음악 속성 특징 세트로부터 하나 이상의 음악 속성들을 감소시킴으로써, 또는 감정들/무드들/선호사항들 특징 세트로부터 하나 이상의 감정들/무드들/선호사항들을 감소시킴으로써, 더 큰 특징 세트로부터 관련 특징들의 서브세트를 선택하기 위하여 사용될 수 있다. 각각의 샘플에 대한 결과적인 강도 값들은, 데이터의 고유 속성들을 살펴봄으로써 특징들의 관련성을 평가할 수 있는 필터 기술들; 모델 가설을 특징 서브세트 탐색 내에 내장하는 래퍼(wrapper) 방법들; 및/또는 그 안에서 특징들의 최적 세트에 대한 탐색이 분류기 알고리즘 내에 내장되는 내장형 기술들을 포함하는 특징 선택 기술들에 의해 분석될 수 있다.
특정 실시예들에 있어서, 본 발명은 필터들을 더 포함하며, 이는 고정 및 적응적 필터링, 가중 평균, (PCA, ICA와 같은) 진보된 성분 추출, 벡터 및 성분 분리 방법 등을 사용하여 수집된 데이터에 대하여 잡음, 아티팩트들, 및 다른 무관하거나 또는 중복된 데이터를 제거하기 위한 특징 추출/선택 프로세스의 부분일 수 있거나 또는 아닐 수 있다. 이러한 필터는, 외인성 잡음(소스가 사용자의 생리기능 외부에 존재하는 경우, 예를 들어, 사용자가 비디오를 보고 있는 동안의 RF 신호들, 전화 벨) 및 내인성 아티팩트들(소스가 신경생리학적일 수 있는 경우, 예를 들어, 심장 아티팩트들, 근육 움직임들, 눈 깜빡임들, 등) 둘 모두를 제거함으로써 데이터를 깨끗하게 만든다. 아티팩트 제거 서브시스템은, 응답 데이터를 선택적으로 분리하고 리뷰(review)하며, 라인 주파수, 눈 깜빡임들, 및 근육 움직임들과 같은 아티팩트들에 대응하는 시간 영역 및/또는 주파수 영역 속성들을 갖는 중요사건(epoch)들을 식별하기 위한 메커니즘들을 포함한다. 그런 다음, 아티팩트 제거 서브시스템은 다른 깨끗한 데이터(예를 들어, EEG 최인접 이웃 가중 평균 접근방식)에 기초한 추정치를 가지고 이러한 중요사건 데이터를 대체하거나 또는 이러한 중요사건들을 생략함으로써 아티팩트들을 깨끗하게 만든다.
다양한 실시예들에 따르면, 사전 프로세싱은 하드웨어, 펌웨어, 및/또는 소프트웨어를 사용하여 구현된다. 사전 프로세싱은 특징 분류 이전에 사용될 수 있다. 사전 프로세싱과 유사한 다른 컴포넌트들이 시스템 구현예에 기초하여 변화하는 위치 및 기능을 가질 수 있다는 것이 주목되어야만 한다. 예를 들어, 일부 시스템들은 무엇이든 간에 어떠한 자동화 프로세싱 단계들도 전혀 사용하지 않을 수 있으며, 반면 다른 시스템들에 있어서, 이는 사용자 디바이스들 내에, 사용자 클라이언트 디바이스들(컴퓨터 또는 모바일 디바이스) 상에, 또는 "클라우드로" 집성된 프로세싱 시스템 상에 통합될 수도 있다.
도 9에 추가로 도시된 바와 같이, 본 발명의 본 실시예는, EEG 신호들과 같은 선택된 생체 신호들에 의해 표현되는 분류된 감정들/무드들/선호사항들에 노래들 또는 다른 음악을 매칭시키고 선택하는 음악-선택 단계를 더 포함한다. 음악의 플레이리스트는 음악에 대한 사용자의 매뉴얼, 의식, 잠재의식 또는 감정적 선택과 동조되어 시스템에 의해 자동으로 생성될 수 있다. 음악은 디바이스 상의, 독립형 컴퓨팅 또는 모바일 디바이스 상의, 더 큰 네트워크 또는 그리드 컴퓨팅 시스템의 부분으로서의 클라이언트 디바이스 상의 음악 데이터베이스 내에 저장될 수 있다. 식별자, 예를 들어, 특정 감정, 무드 또는 선호사항으로서 표현되는 식별자는 사용자로부터 수집된 생체-신호들에 기초하여 각각의 노래(또는 이의 부분들)와 연관될 수 있다. 식별자들은 또한 복수의 사용자들(예를 들어, 집단), 음악 속성 데이터베이스들, 집단 라이브러리들 등의 감정들/무드들/선호사항들을 나타낼 수 있지만, 일 실시예에 있어서, 식별자들은 사용자의 즉각적이거나 또는 실시간 감정, 무드 및/또는 선호사항을 측정하기 위하여 사용자에 대하여 고유하다. 식별자들은 또한, 시스템을 강화하기 위하여, 시스템을 추가적으로 트레이닝시키기 위하여, 메타데이터로서 사용하기 위하여, 또는 다른 이러한 목적들을 위하여, 예를 들어, 시스템 내의 또는 외부적인 하나 이상의 데이터베이스들 내에 수집되고 집성될 수 있다. 식별자는 일시적으로 또는 영구적으로 음악과 연관될 수 있거나, 또는 사용자의 선호사항들의 변화와 함께 발전할 수 있다. 예를 들어, 사용자는 음악의 선택을 무효화하거나 또는 확인할 수 있으며, 이러한 선택이 시스템을 추가적으로 트레이닝시키기 위하여 사용될 수 있다. 이에 더하여, 시스템이 각각의 노래에 대해 상이한 감정들, 무드들 및/또는 선호사항들을 연관시키는 것을 학습함에 따라, 식별자들이 수정될 수 있거나 또는 복수의 식별자들이 각각의 노래(또는 그 부분)와 연관될 수 있다. 예를 들어, 복수 회 플레이되며 따라서 식별자 내의 변경 또는 복수의 식별자들의 첨부를 필요로 하는 경우, "행복한" 노래는 특정한 시점에 그 사용자에 대한 행복한 노래로서 시스템에 의해 명시(manifest)되지 않을 수 있다. 따라서, 시스템은 또한 감정, 무드 및/또는 선호사항의 강도를 특정한 노래 또는 음악에 연관시킬 수 있거나, 또는 시간 또는 활동/환경 종속적인 감정들/무드들/선호사항들에 연관시킬 수 있다. 이에 더하여 또는 대안적으로, 이상에서 설명된 바와 같이, 플레이리스트는 노래의 속성들에 기초하여 생성될 수 있다. 예를 들어, 일단 노래들에 대한 사용자의 선호사항이 식별되며, 시스템은 음악의 신규한 플레이리스트들을 발견하고 생성하기 위하여, 음악의 속성들과 같은 그들이 어떠한 엘리먼트들을 공통적으로 갖는지를 발견하기 위하여 사용될 수 있다.
본 발명의 추가적인 실시예, 또는 대안적인/독립적인 실시예에 있어서, 도 12에 도시된 바와 같은 시스템은 사용자의 특정한 무드, 감정 및/또는 선호사항과 연관된 음악의 속성들을 학습하기 위한 오디오 속성 분류 시스템을 포함한다. 일 실시예에 있어서, (예를 들어, 시스템에 의해 또는 사용자에 의해) 감정, 무드 및/또는 선호사항에 대하여 분류된 음악이 시스템을 트레이닝시키기 위하여 사용될 수 있으며, 분류된 속성들의 패턴은 유사한 분류된 음악에 기초하여 생성될 수 있다. 본원에서 설명되는 바와 같은 속성 분류 방법은 유사한 음악(예를 들어, 유사하게 분류된 속성들을 갖는 음악)의 플레이리스트들을 생성하기 위하여 사용될 수 있다. 본 발명은, 적절한 감정, 무드 및/또는 선호사항과 매칭되는 플레이리스트 상의 그리고 플레이되는 음악을 계속적으로 확인하는 적응적 컴포넌트를 더 포함할 수 있다. 분류기는 매칭뿐만 아니라 비-매칭 음악 둘 모두로부터 학습할 수 있으며, 특히 음악을 구성하는 속성들을 학습할 수 있다.
일 실시예에 있어서, 음악 작품의 엘리먼트들 또는 특성들을 포함하는 속성들에 기초하여 선택되는 음악이 시스템을 트레이닝시키기 위하여 사용될 수 있다(그리고, 이하에서 추가적으로 설명되는 바와 같이, 음악을 음악 데이터베이스 내에 카테고리화하고/분류하기 위하여 및/또는 연관된 음악을 식별하기 위하여 시스템에 의해 사용될 수 있다). 이러한 속성들은, 피치(pitch), 반음계 내의 음표들, 시간 시그니처, 리듬, 페달, 발성(attack), 서스테인(sustain) 및 템포를 포함하는 지속기간에 기초하는 음표 및 엘리먼트들의 지속기간, 반음계의 음표들 사이에 놓인 피치들, 몇 분의 몇 초의 시간 간격들 및 고 해상도로 샘플링된 피치들에 기초하는 라우드니스 또는 볼륨 및 엘리먼트들, 화성 키, 음악 작품 또는 공연의 비-음악적 사운드 부분, 다른 음표들과 동시에 발생하는 음성 또는 일련의 사용자 음표들, 퍼커션, 팀버(timber), 명료도, 스크래치니스(scratchiness) 및 전자적 왜곡을 포함하는 사운드 품질들, 음표들의 테마 또는 멜로디 시퀀스들, 순차적인 화성 롤(harmonic role)들을 갖는 음표들, 바른, 약한, 아멘 및 플랫-식스(flatted-sixth) 마침(cadence)들을 포함하는 마침의 유형, 마침의 스테이지들, 코드의 유형, 코드의 메이저/마이너 상태, 코드 내의 음표들, 부분들, 프레이즈(phrase)들 및 불협화음을 포함한다. 속성들은 또한 노래의 특징들, 예를 들어, 장르(예를 들어, 락, 클래식, 재즈, 등), 노래의 무드, 노래가 레코딩된 시기, 아티스트와 가장 많이 연관된 태생 또는 지역, 아티스트 유형, 가수(들)의 성별, 왜곡의 정도(전자 기타), 및 유사한 것을 포함한다. 속성들의 라이브러리들, 예를 들어, Gracenote(www.gracenote.com), 이전에 CDDB(Compact Disc Data Base), FreeDB(http://www.freedb.org), MusicBrainz (http://musicbrainz.org), 및 (미국 특허 제7,003,515호 "Music Genome Project"에서 설명되며) Pandora에 의해 사용되는 시스템이 사용될 수 있다. 공통 속성들이 노래들을 그룹화하거나 또는 클러스터링하기 위하여, 및/또는 각각의 노래에 대한 연관된 감정들, 무드들 또는 선호사항들을 식별/라벨링하기 위하여 사용될 수 있다.
특정 실시예에 있어서, 플레이리스트들은 한 작품 보다 더 많이 반복되는 패턴들에 기초할 수 있으며, 이는 사용자의 선호되는 스타일의 본질로서 구성될 수 있다. 스타일은 상이한 음악들 사이의 관계들의 반복적인 패턴들에서 고유하다. 이러한 패턴들의 주요 구성 요소들은 음악 데이터베이스 플레이리스트들 내에 캡처되는 표현되는 수량들 및 품질들, 예를 들어, 작품 내의 시간적 위치, 피치, 및 지속기간이지만, 다른 인자들 예컨대 강약법(dynamics) 및 음색이 작용하게 될 수 있다. 패턴들은, 화음과 같이 수직적이고 동시적인 관계들로, 멜로디와 같이 수평적이고 시간-기반의 관계들로, 뿐만 아니라 진폭-기반 관계들(강약들) 및 음색적인 관계들로 식별될 수 있다. 패턴들은 동일하거나, 거의 동일하거나, 동일하지만 역전되거나, 동일하지만 반전되거나, 동일하지 않지만 유사하거나, 등등일 수 있다. 이러한 프로세스의 본질은, 음악의 상이한 부분들의 패턴을 반복적으로 선택하고, 데이터베이스 내의 어딘가의 동일하거나, 또는 유사한 패턴들의 다른 경우들을 찾는 것이며, 매칭되는 음악의 카탈로그들을 컴파일링하고, 이들을 발생 빈도, 유형 및 유사도의 정도에 의해 랭크하는 것이다. 이러한 탐색의 목적은, 패턴-매칭 네트(net)가 타이트하게 또는 광범위하게 던져지는 지와 무관하게, 사용자의 감정, 무드 및/또는 선호사항에 고유한 음악 데이터베이스 내의 음악의 몸체들의 공통성들 또는 "스타일"을 특징짓는 패턴들을 검출하는 것이다.
가끔, 본 발명은 본원에서 예시적인 환경들과 관련하여 설명된다. 이러한 환경들에 관한 설명은, 본 발명의 다양한 특징들 및 실시예들이 예시적인 애플리케이션의 맥락에서 표현되는 것을 가능하게 하기 위하여 제공된다. 본원에 개시된 실시예들에 대해 다양한 수정들이 이루어질 수 있다는 것이 이해될 것이다. 따라서, 이상의 설명은 제한적이 아니라 단지 선호되는 실시예들의 예시로서 해석되어야만 한다. 당업자들은 본 발명의 사상 및 범위 내의 다른 수정예들을 구상할 것이다. 이러한 수정예들 및 변형예들이 다음의 청구항들의 범위 내에 속하도록 의도된다.
예를 들어, 본 발명을 제한하지 않으면서, 스마트 오디오 헤드폰 시스템은, 사용자에 대한 개인화된 플레이리스트들을 자동으로 그리고 적응적으로 생성하는 것을 포함하는 다양한 애플리케이션들에 대하여 사용될 수 있다. 이에 더하여, 디바이스는, 사용자의 실시간 감정/무드/선호사항에 기초하여 상이한 노래들 및 다른 유형들의 음악을 플레이할 뿐만 아니라 애플리케이션에 의존하여 노래 및/또는 음악을 조작하는 상이한 환경들에서 사용될 수 있다. 예를 들어, 운동을 하고 있는 사람이 사용자의 생리학적 상태에 기초하여 노래의 템포를 증가시킬 수 있다. 일 실시예에 있어서, 디바이스는 기계 학습을 사용하여 학생(또는 작업자) 참여(student engagement) 및/또는 비-참여(dis-engagement)를 결정할 수 있으며, 학생 참여를 수정하거나 또는 강화할 수 있다. 각성을 증가시키는 음악이 학생의 정신적인 상태를 수정하기 위하여 플레이될 수 있다. 도시된 실시예에 있어서, 학생 참여 모듈은, 학생들에게 전자 학습 출판사들 및/또는 학습 기관들에 의해 제공되는 전자 학습 재료에 관해 학생들의 참여를 결정하기 위하여 한 명 이상의 학생들, 하나 이상의 전자 학습 출판사들, 하나 이상의 학습 기관들 또는 유사한 것과 통신할 수 있다. 유사하게, 우울하거나 또는 스트레스를 받거나 또는 정신 질환에 걸리기 쉽거나, 두통들 또는 편두통들과 같은 심리적인 또는 생리적인 이상들에 걸리기 쉬운 사람이 이러한 상태들을 완화시키거나 또는 경감시키기 위하여 디바이스를 사용할 수 있다. 다른 실시예들에 있어서, (비-음악적인) 다른 액션들이 시스템에 의해 개시될 수 있으며, 예를 들어, 본 발명의 디바이스는 다른 디바이스들 또는 다른 기계들(예를 들어, 조명 컬러 및 밝기)를 조작하기 위하여 인터넷("사물 인터넷)을 통해 액세스되는 물리적인 물체들의 네트워크에 연결될 수 있다. 다른 애플리케이션들은 신경학습, 지각 학습/트레이닝, 신경피드백, 신경자극 및 예를 들어, 오디오 자극을 사용할 수 있는 것들을 포함하는 다른 애플리케이션들을 포함한다.
이제 도 13을 참조하면, 거동의 라이브러리, 감정들, 무드들 및/또는 선호사항들의 라이브러리; 카탈로그화된 음악 및/또는 그것의 속성들의 라이브러리; 사용자 데이터베이스, 및 다수의 사용자들의 집합적인 데이터베이스를 포함하는 본 발명에서 사용되는 예시적인 데이터 저장부들을 예시하는 개략적인 도면이 제공된다. 감정, 무드 또는 선호사항 라이브러리는 감정들, 무드들 또는 선호사항들과 연관된 생체-신호들을 포함할 수 있으며, 예를 들어, 특정 사용자에 대하여 본 발명의 시스템에 의해 수집되고 분류된 기존의 라이브러리들 및/또는 생체-신호들을 포함할 수 있다. 음악 라이브러리는 사용자에 의해 또는 더 큰 라이브러리로부터 수집된 음악의 카탈로그, 각각의 노래 또는 음악과 연관된 사용자의 무드, 감정 또는 선호사항을 포함하는 각각의 노래 또는 음악과 연관된 속성들을 포함할 수 있다. 음악 라이브러리는 디바이스 상에, 또는 디바이스 상에 외부적으로 또는 서비스를 통해 저장될 수 있다. 일부 실시예들에 있어서, 서버는 사용자 데이터베이스를 포함할 수 있다. 사용자 데이터베이스는, 동일한 라이브러리 또는 별개의 집합적인 데이터베이스 내에 복수의 사용자들에 대하여 집합적으로 저장될 수 있는, 일반적으로 사용자 레코드들로서 지칭되는 사용자들의 레코드들 또는 식별정보(identification)를 저장하기 위한 데이터베이스, 계층적 트리, 데이터 파일 또는 다른 데이터 구조를 포함할 수 있다.
특정 실시예에 있어서, 본 발명의 디바이스 시스템은 오디오 파일들을 포함하는 하나 이상의 라이브러리를 제공하거나 또는 사용자가 이를 제공하는 것을 허용하도록 구성될 수 있다. 본원에서 사용되는 바와 같은 음악 라이브러리는 복수의 오디오-기반 파일들의 집합체를 지칭한다. 일 실시예에 있어서, 본 발명은 디바이스 상에 저장된 모든 오디오 파일들을 포함하는 전체적인 또는 1차적인 라이브러리를 제공하도록 구성된다. 본 발명은 또한, 사용자가 2개 이상의 오디오 파일들을 포함하는 서브세트들 생성하는 것을 허용하거나 또는 이를 제공하도록 구성된다. 라이브러리 서브세트는 임의의 수의 오디오 파일들을 포함할 수 있지만, 라이브러리 상에 저장된 모든 오디오 파일보다는 더 적게 포함한다. 용어 "음악 라이브러리"는, 전자 디바이스 상에 저장된 모든 오디오-기반 파일들을 포함하는 1차 라이브러리, 및 전자 디바이스들 상에 저장된 오디오 파일들의 서브세트들을 포함하는 라이브러리 서브세트들을 포괄한다. 라이브러리 서브세트는 또한 단순하게 '음악 라이브러리'로서 지칭될 수 있으며, 이는 라이브러리의 컨텐츠를 정의하거나 또는 라벨링하기 위하여 다른 용어에 의해 수정되거나 또는 수정되지 않을 수 있으며, 또는 라이브러리 서브세트가 또한 플레이리스트로서 지칭될 수도 있다. 1차 음악 라이브러리는 특정 오디오-기반 파일의 전체 집합체를 지칭할 수 있다. 예를 들어, 1차 라이브러리는 사용자의 저장된 음악 또는 노래 파일들의 전부를 포함하는 1차 음악 라이브러리일 수 있다. 라이브러리 서브세트들은 사용자에 의해 생성되거나 또는 라이브러리 애플리케이션에 의해 생성될 수 있다. 본 발명은 오디오 파일과 연관된 학습된 감정들, 무드들 및/또는 선호사항들에 기초하여 라이브러리 서브세트들을 생성할 수 있다. 예를 들어, 노래 파일은 장르, 아티스트 이름, 앨범 명칭, 및 유사한 것과 같은 속성들을 포함할 수 있다. 본 발명은 또한, 예를 들어, 라이브러리 명칭, 생성 날짜, 라이브러리를 생성한 사람, 오디오 파일들의 순서, 라이브러리가 편집된 날짜, 라이브러리 내의 오디오 파일들이 플레이되는 순서(및/또는 평균 순서), 오디오 파일이 라이브러리 내에서 플레이되는 횟수 및/또는 평균 횟수, 및 본원에서 설명된 이러한 다른 속성들 등과 같은 라이브러리와 연관된 다양한 특징들 또는 데이터를 결정하도록 구성될 수 있다.
실시예들의 특정 측면들이 본 발명의 실시예들에 따른 방법들, 장치들, 시스템들, 및 컴퓨터 프로그램 제품들의 개략적인 순서도들 및/또는 개략적인 블록도들을 참조하여 본원에서 설명된다. 개략적인 순서도들 및/또는 개략적인 블록도들의 각각의 블록, 및 개략적인 순서도들 및/또는 개략적인 블록도들 내의 블록들의 조합들이 컴퓨터 판독가능 프로그램 코드에 의해 구현될 수 있다는 것이 이해될 것이다. 이러한 컴퓨터 판독가능 프로그램 코드는 범용 컴퓨터, 전용 컴퓨터, 시퀀서, 또는 머신을 생성하기 위한 다른 프로그램 가능 데이터 프로세싱 장치의 프로세서에 제공될 수 있으며, 그 결과 컴퓨터 또는 다른 프로그램가능 데이터 프로세싱 장치를 통해 실행되는 명령어들이 개략적인 순서도들 및/또는 개략적인 블록도들의 블록 또는 블록들 내에 명시된 기능들/행위들 중 하나 이상을 구현하기 위한 수단을 생성한다.
이제, 도 9 내지 도 12의 방법들을 수행할 수 있는 프로세싱 시스템(1300)을 예시하는 블록도인 도 14에 대한 참조가 이루어진다. 도 14는 오로지 이의 일부 또는 전부가 적절하게 이용될 수 있는 다양한 컴포넌트들의 일반화된 예시를 제공하는 것을 의미한다는 것을 주의해야만 한다. 따라서, 도 14는 상대적으로 독립적인 또는 상대적으로 더 통합된 방식으로 사용자 시스템 엘리먼트들이 구현될 수 있는 방법을 광범위하게 예시한다.
본 명세서에서 설명되는 다수의 기능적 유닛들은 그들의 구현 독립성을 더 구체적으로 강조하기 위하여 모듈들로서 라벨링되었다. 예를 들어, 모듈은 커스텀 VLSI 회로들 또는 게이트 어레이들, 기성품 반도체들 예컨대 로직 칩들, 트랜지스터들, 또는 다른 이산 컴포넌트들을 포함하는 하드웨어로서 구현될 수 있다. 모듈은 또한, 필드 프로그램가능 게이트 어레이들, 프로그램가능 어레이 로직, 프로그램가능 로직 디바이스들 또는 유사한 것과 같은 프로그램가능 하드웨어 디바이스들의 마이크로코드, 펌웨어, 또는 유사한 것으로 구현될 수 있다.
모듈들은 또한 다양한 유형들의 프로세서들에 의한 실행을 위한 소프트웨어로 구현될 수 있다. 컴퓨터 판독가능 프로그램 코드의 식별된 모듈은, 예를 들어, 객체, 절차, 또는 기능으로서 조직될 수 있는, 예를 들어, 컴퓨터 명령어들의 하나 이상의 물리적인 또는 논리적인 블록들을 포함할 수 있다. 그럼에도 불구하고, 식별된 모듈의 실행 파일(executable)들이 물리적으로 함께 위치되어야 할 필요는 없으며, 논리적으로 함께 결합될 때 모듈을 포함하며 모듈에 대한 언급된 목적을 달성하는 상이한 위치들에 저장된 이종 명령어들을 포함할 수 있다. 본 명세서에 있어서, 이러한 구현예들 또는 본 발명이 취할 수 있는 임의의 다른 형태는 기술들, 단계들 또는 프로세스들로서 지칭될 수 있다.
실제로, 컴퓨터 판독가능 프로그램 코드의 모듈은 단일 명령어, 또는 다수의 명령어들일 수 있으며, 심지어 상이한 프로그램들 사이에서 그리고 몇몇 메모리 디바이스들에 걸친 몇몇 상이한 코드 세그먼트들에 걸쳐 분산될 수도 있다. 유사하게, 동작 데이터가 모듈들 내에서 식별되고 본원에 예시될 수 있으며, 임의의 적절한 형태로 구현되고 임의의 적절한 유형의 데이터 구조 내에 조직될 수 있다. 동작 데이터는 단일 데이터 세트로서 수집될 수 있거나, 또는 상이한 저장 디바이스들을 걸치는 것을 포함하여 상이한 위치들에 걸쳐 분산될 수 있으며, 적어도 부분적으로 단지 시스템 또는 네트워크 상의 전자 신호들로서 존재할 수도 있다. 모듈 또는 모듈의 부분들이 소프트웨어로 구현되는 경우, 컴퓨터 판독가능 프로그램 코드가 하나 이상의 컴퓨터 판독가능 매체(들) 내에 저장되거나 및/또는 전파될 수 있다.
컴퓨터 판독가능 매체는 컴퓨터 판독가능 프로그램 코드를 저장하는 유형적인 컴퓨터 판독가능 저장 매체일 수 있다. 하나 이상의 컴퓨터 판독가능 매체의 임의의 조합이 사용될 수 있다. 컴퓨터 판독가능 저장 매체는, 예를 들어, 비제한적으로, 전자, 자기, 광, 전자기, 적외선, 또는 반도체 시스템, 장치, 또는 디바이스, 또는 전술한 것들의 임의의 적절한 조합일 수 있다.
컴퓨터 판독가능 저장 매체의 더 구체적인 예(철저하지 않은 목록)는 비제한적으로, 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독-전용 메모리(ROM), 소거가능 프로그램가능 판독-전용 메모리(EPROM 또는 플래시 메모리), 휴대용 콤팩트 디스크 판독-전용 메모리(CD-ROM), 디지털 다기능 디스크(DVD), 블루레이 디스크(BD), 광 저장 디바이스, 자기 저장 디바이스, 홀로그래픽 저장 매체, 마이크로기계 저장 디바이스, 또는 전술한 것들의 임의의 적절한 조합을 포함할 수 있다. 본 문서의 맥락에서, 컴퓨터 판독가능 저장 매체는, 명령어 실행 시스템, 장치, 또는 디바이스에 의해 또는 이와 관련한 사용을 위한 컴퓨터 판독가능 프로그램 코드를 포함하거나 또는 저장하는 임의의 유형적인 매체일 수 있다.
컴퓨터 판독가능 매체는 또한 컴퓨터 판독가능 신호 매체일 수 있다. 컴퓨터 판독가능 신호 매체는, 예를 들어, 반송파의 부분으로서 또는 기저대역 내에, 그 안에 구현된 컴퓨터 판독가능 프로그램 코드를 갖는 전파되는 데이터 신호를 포함할 수 있다. 이러한 전파되는 신호는, 비제한적으로 전기, 전기-자기, 광, 또는 이들의 임의의 적절한 조합을 포함하는 다양한 형태들 중 임의의 형태를 취할 수 있다. 컴퓨터 판독가능 신호 매체는, 명령어 실행 시스템, 장치, 또는 디바이스에 의한 또는 이와 관련된 사용을 위한 컴퓨터 판독가능 프로그램 코드를 통신, 전파, 또는 전달할 수 있지만 컴퓨터 판독가능 저장 매체는 아닌 임의의 컴퓨터 판독가능 매체일 수 있다. 컴퓨터 판독가능 신호 매체 상에 구현된 컴퓨터 판독가능 프로그램 코드는, 비제한적으로 유선, 광 섬유 케이블, 라디오주파수(RF), 또는 유사한 것 또는 전술한 것들의 임의의 적절한 조합을 포함하는 임의의 적절한 매체를 사용하여 송신될 수 있다.
일 실시예에 있어서, 컴퓨터 판독가능 매체는 하나 이상의 컴퓨터 판독가능 저장 매체들 및 하나 이상의 컴퓨터 판독가능 신호 매체들의 조합을 포함할 수 있다. 예를 들어, 컴퓨터 판독가능 프로그램 코드는 프로세서에 의한 실행을 위하여 광 섬유 케이블을 통해 전기-자기 신호로서 전파되고 프로세서에 의한 실행을 위하여 RAM 저장 디바이스 상에 저장될 수 있다.
본 발명의 측면들에 대한 동작들을 수행하기 위한 컴퓨터 판독가능 프로그램 코드는, 객체 지향형 프로그래밍 언어, 예컨대 자바, 파이썬(Python), 루비(Ruby), PHP, C++ 또는 유사한 것 및 통상적인 절차적 프로그래밍 언어, 예컨대 "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어들을 포함하는 하나 이상의 프로그래밍 언어들의 임의의 조합으로 작성될 수 있다. 컴퓨터 판독가능 프로그램 코드는, 전적으로 사용자의 컴퓨터 상에서, 부분적으로 사용자의 컴퓨터 상에서, 독립형 소프트웨어 패키지로서, 부분적으로 사용자의 컴퓨터 상에서 그리고 부분적으로 원격 컴퓨터 상에서, 또는 전적으로 원격 컴퓨터 또는 서버 상에서 실행될 수 있다. 후자의 시나리오에 있어, 원격 컴퓨터가 근거리 네트워크(LAN) 또는 광역 네트워크(WAN)를 포함하는 임의의 유형의 네트워크를 통해 사용자의 컴퓨터에 연결될 수 있거나, 또는 연결이 (예를 들어, 인터넷 서비스 제공자를 통해) 외부 컴퓨터에 대해 이루어질 수 있다.
컴퓨터 판독가능 프로그램 코드는 또한, 컴퓨터, 다른 프로그램가능 데이터 프로세싱 장치, 또는 다른 디바이스가 특정한 방식으로 기능하게끔 명령할 수 있는 컴퓨터-판독가능 매체 내에 저장될 수 있으며, 그 결과 컴퓨터-판독가능 매체 내에 저장된 명령어들이, 개략적인 순서도들 및/또는 개략적인 블록도들의 블록 또는 블록들에 명시된 기능/행위를 구현하는 명령어들을 포함하는 제조 물품을 생성한다.
컴퓨터 판독가능 프로그램 코드는 또한, 컴퓨터 또는 다른 프로그램가능 장치 상에서 실행되는 프로그램 코드가 순서도 및/또는 블록도의 블록 또는 블록들에 명시된 기능들/행위들을 구현하기 위한 프로세스들을 제공할 수 있도록, 컴퓨터 구현형 프로세스를 생성하기 위하여 일련의 동작 단계들이 컴퓨터, 다른 프로그램가능 장치 또는 다른 디바이스들 상에서 수행되게끔 하기 위하여 컴퓨터, 태블릿 또는 전화기와 같은 다른 프로그램가능 데이터 프로세싱 장치, 또는 다른 디바이스들 상에 로딩될 수 있다.
도 15에 도시된 바와 같이, 본 발명의 특정 실시예들은 네트워크를 포함할 수 있는 네트워크화된 환경에서 동작한다. 네트워크는, 비제한적으로 TCP/IP, SNA, IPX, 애플 토크(AppleTalk) 및 유사한 것을 포함하는 다양한 상용적으로 이용가능한 프로토콜들 중 임의의 프로토콜을 사용하는 데이터 통신을 지원할 수 있는 당업자들에게 익숙한 임의의 유형의 네트워크일 수 있다. 단지 예로서, 네트워크는, 비제한적으로 이더넷 네트워크, 토큰-링(Token-Ring) 네트워크 및/또는 유사한 것을 포함하는 근거리 네트워크("LAN"); 비제한적으로 가상 사설 네트워크(virtual private network; VPN)를 포함하는 가상 네트워크; 인터넷; 인트라넷; 엑스트라넷; 공중 교환 전화 네트워크(public switched telephone network; "PSTN"); 적외선 네트워크; 비제한적으로 당업계에서 공지된 IEEE 802.11 프로토콜들의 묶음(suite), Bluetooth™ 프로토콜, 및/또는 임의의 다른 무선 프로토콜 중 임의의 것 하에서 동작하는 네트워크를 포함하는 무선 네트워크; 및/또는 이들 및/또는 다른 네트워크들의 임의의 조합일 수 있다.
본 발명의 실시예들은, 헤드폰 또는 클라이언트 내에 함께-위치될 수 있거나 또는, 예를 들어, "클라우드"로 원격적으로 위치될 수 있는 하나 이상의 서버 컴퓨터들을 포함할 수 있다. 서버 컴퓨터들의 각각은, 비제한적으로 임의의 상용적으로 (또는 무료로) 이용가능한 서버 운영 시스템들뿐만 아니라 이상에서 논의된 것들 중 임의의 것을 포함하는 운영 시스템을 가지고 구성될 수 있다. 서버들의 각각은 또한, 스마트 오디오 헤드폰으로 직접적으로, 하나 이상의 중간 클라이언트들로, 및/또는 다른 서버들로 서비스들을 제공하도록 구성될 수 있는 하나 이상의 애플리케이션들 및 데이터베이스들을 실행하고 있을 수 있다.
달리 정의되지 않는 한, 본원에서 사용되는 모든 기술적 및 과학적 용어들은 본 발명이 속하는 기술분야의 당업자에 의해 일반적으로 이해되는 바와 동일한 의미를 갖는다. 본원에서 참조되는 모든 특허들, 출원들, 공개된 출원들 및 다른 공개문헌들은 그 전체가 참조로서 통합된다. 이러한 섹션에 기술되는 정의 세트는 본원에 참조로서 통합된 출원들, 공개된 출원들 및 다른 공개문헌들에 기술된 정의 세트와 반대되거나 또는 달리 일치하지 않는 경우, 본 문서에서 기술된 정의 세트가 본원에 참조로서 통합된 정의를 뛰어 넘는다.

Claims (20)

  1. 사용자의 학습된 감정들, 무드들 및/또는 선호사항들에 기초하여 음악을 적응적으로 그리고 자동으로 선택하고 청취하기 위한 스마트 오디오 헤드폰으로서, 사용자의 감정들, 무드들 및/또는 선호사항들을 학습하기 위하여 하나 이상의 생체-신호를 적응적으로 획득하고 분류하며, 상기 사용자의 상기 선호사항, 무드 및/또는 감정에 매칭되는 음악을 선택하는, 하나 이상의 스피커들 및 하나 이상의 생체-신호 센서들을 갖는 오디오 헤드폰을 포함하는, 스마트 오디오 헤드폰 시스템.
  2. 청구항 1에 있어서,
    생리학적 신호들을 획득하고 이를 대응하는 감정들, 무드들 및/또는 선호사항들로 분류하기 위한 기계 분류기를 더 포함하는, 오디오 헤드폰 시스템.
  3. 청구항 2에 있어서,
    생리학적 신호들은 상기 사용자에 의한 최초 사용시에, 또는 간헐적으로, 또는 주기적으로, 또는 연속적으로 획득되는, 오디오 헤드폰 시스템.
  4. 청구항 2에 있어서,
    생리학적 신호들은 음악과 상관되는, 오디오 헤드폰 시스템.
  5. 청구항 1에 있어서,
    상기 생체-신호 센서들을 전극들인, 오디오 헤드폰 시스템.
  6. 청구항 4에 있어서,
    전극들은, 상기 사용자의 귀를 둘러싸거나 또는 상기 사용자의 상기 귀 둘레의 또는 목 상의 헤어라인을 따라 상기 사용자의 귀 상의 피부로부터 EEG 신호를 판독하도록 위치되는, 오디오 헤드폰 시스템.
  7. 청구항 4에 있어서,
    헤드폰은 2개 이상의 전극들을 포함하며, 적어도 하나의 전극은 기준 전극인, 오디오 헤드폰 시스템.
  8. 청구항 4에 있어서,
    상기 스피커들 및 상기 전극들을 지지하는 하나 이상의 이어피스(earpiece)들을 더 포함하는, 오디오 헤드폰 시스템.
  9. 청구항 4에 있어서,
    각기 스피커 및 하나 이상의 전극들을 지지하는 2개의 이어피스들을 더 포함하는, 오디오 헤드폰 시스템.
  10. 청구항 6에 있어서,
    상기 이어피스는 상기 전극을 지지하기 위한 이어패드(earpad)를 포함하는, 오디오 헤드폰 시스템.
  11. 청구항 1에 있어서,
    상기 오디오 헤드폰은 상기 스피커들 및 센서들을 지지하는 헤드밴드(headband)를 더 포함하는, 오디오 헤드폰 시스템.
  12. 청구항 6에 있어서,
    상기 헤드밴드는 하나 이상의 EEG 센서들을 포함하는, 오디오 헤드폰 시스템.
  13. 청구항 1에 있어서,
    배터리 및 프로세서를 더 포함하는, 오디오 헤드폰 시스템.
  14. 청구항 1에 있어서,
    상기 생체-신호들을 저장하고 프로세싱하기 위한 외부 중간 디바이스를 더 포함하는, 오디오 헤드폰 시스템.
  15. 청구항 1에 있어서,
    상기 사용자는 사용자의 선호사항, 무드 및/또는 감정을 가지고 상기 시스템을 트레이닝시키는, 오디오 헤드폰 시스템.
  16. 청구항 2에 있어서,
    음악은 음악에 대한 상기 사용자의 개인적인 선호사항들, 무드, 또는 감정에 기초하여 자동으로 분류되고 라벨링되는, 오디오 헤드폰 시스템.
  17. 청구항 1에 있어서,
    사용자의 선호사항들, 무드들 및/또는 감정들에 기초하여 음악의 속성들을 분류하기 위한 학습 메커니즘을 더 포함하는, 오디오 헤드폰 시스템.
  18. 청구항 1에 있어서,
    음악의 라이브러리들이 사용자의 선호사항들, 무드들 및/또는 감정들에 기초하여 생성되는, 오디오 헤드폰 시스템.
  19. 사용자의 감정들, 무드들 및/또는 선호사항들에 기초하여 음악의 속성들을 분류하기 위한 학습 메커니즘을 포함하는 음악 선호사항 학습 시스템.
  20. 하나 이상의 전기 접촉 센서 및 하나 이상의 스피커들을 포함하는 오디오 헤드폰 시스템으로부터 EEG 신호들을 획득하는 방법으로서,
    a. 음악과 같은 제 1 오디오 자극을 사용자에게 제공하는 단계,
    b. 사용자의 머리로부터 EEG 신호들을 획득하는 단계,
    c. 상기 사용자들의 감정들, 무드들 및/또는 선호사항들 및 음악의 유형 또는 속성 사이의 하나 이상의 연관성들을 결정하기 위하여 상기 EEG 신호를 상기 오디오 자극에 대한 사용자의 선호사항들, 무드들 및/또는 감정들로 분류하는 단계,
    d. 그 이후에 상기 제 1 오디오 자극과 유사하거나 또는 상이한 추가적인 오디오 자극을 제공하는 단계를 포함하는, 방법.
KR1020177015200A 2014-11-02 2015-11-02 스마트 오디오 헤드폰 시스템 KR20170082571A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462074042P 2014-11-02 2014-11-02
US62/074,042 2014-11-02
PCT/US2015/058647 WO2016070188A1 (en) 2014-11-02 2015-11-02 Smart audio headphone system

Publications (1)

Publication Number Publication Date
KR20170082571A true KR20170082571A (ko) 2017-07-14

Family

ID=55858456

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177015200A KR20170082571A (ko) 2014-11-02 2015-11-02 스마트 오디오 헤드폰 시스템

Country Status (6)

Country Link
US (1) US20170339484A1 (ko)
EP (1) EP3212073A4 (ko)
JP (1) JP2018504719A (ko)
KR (1) KR20170082571A (ko)
CN (1) CN107106063A (ko)
WO (1) WO2016070188A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019146866A1 (ko) * 2018-01-29 2019-08-01 삼성전자주식회사 사용자 행동을 바탕으로 반응하는 로봇 및 그의 제어 방법
KR20210034459A (ko) * 2019-09-20 2021-03-30 고려대학교 산학협력단 뇌파 기반 음악 검색방법 및 그를 위한 직관적 뇌-컴퓨터 인터페이스 장치
KR20210035704A (ko) * 2019-09-24 2021-04-01 주식회사 이엠텍 이어버드 장치를 이용한 음향 시스템

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200238097A1 (en) * 2014-01-28 2020-07-30 Medibotics Llc Head-Worn Mobile Neurostimulation Device
US10321842B2 (en) 2014-04-22 2019-06-18 Interaxon Inc. System and method for associating music with brain-state data
GB2527157B (en) * 2014-11-19 2016-07-13 Kokoon Tech Ltd A headphone
US20160157777A1 (en) * 2014-12-08 2016-06-09 Mybrain Technologies Headset for bio-signals acquisition
US10108264B2 (en) 2015-03-02 2018-10-23 Emotiv, Inc. System and method for embedded cognitive state metric system
CN113397472A (zh) 2015-03-16 2021-09-17 奇跃公司 穿戴式增强现实装置和穿戴式虚拟现实装置
KR102320815B1 (ko) * 2015-06-12 2021-11-02 삼성전자주식회사 전자 장치 및 그 제어 방법
US10143397B2 (en) * 2015-06-15 2018-12-04 Edward Lafe Altshuler Electrode holding device
NZ747005A (en) 2016-04-08 2020-04-24 Magic Leap Inc Augmented reality systems and methods with variable focus lens elements
GB2550550A (en) * 2016-05-11 2017-11-29 Alexander Lang Gordon Inner ear transducer with EEG feedback
US10698477B2 (en) * 2016-09-01 2020-06-30 Motorola Mobility Llc Employing headset motion data to determine audio selection preferences
US10852829B2 (en) * 2016-09-13 2020-12-01 Bragi GmbH Measurement of facial muscle EMG potentials for predictive analysis using a smart wearable system and method
CA3038822A1 (en) * 2016-09-29 2018-04-05 Mindset Innovation, Inc. Biosignal headphones
FR3058628B1 (fr) 2016-11-15 2021-07-30 Cosciens Dispositif de mesure et/ou de stimulation de l'activite cerebrale
DE102017000835B4 (de) 2017-01-31 2019-03-21 Michael Pieper Massagegerät für den Kopf eines Menschen
IL307602A (en) 2017-02-23 2023-12-01 Magic Leap Inc Variable focus virtual imagers based on polarization conversion
US10918325B2 (en) * 2017-03-23 2021-02-16 Fuji Xerox Co., Ltd. Brain wave measuring device and brain wave measuring system
US10291976B2 (en) * 2017-03-31 2019-05-14 Apple Inc. Electronic devices with configurable capacitive proximity sensors
JP6839818B2 (ja) * 2017-05-17 2021-03-10 パナソニックＩｐマネジメント株式会社 コンテンツ提供方法、コンテンツ提供装置及びコンテンツ提供プログラム
US11150694B2 (en) 2017-05-23 2021-10-19 Microsoft Technology Licensing, Llc Fit system using collapsible beams for wearable articles
JP2019024758A (ja) * 2017-07-27 2019-02-21 富士ゼロックス株式会社 電極及び脳波測定装置
JP7336755B2 (ja) 2017-07-28 2023-09-01 パナソニックＩｐマネジメント株式会社 データ生成装置、生体データ計測システム、識別器生成装置、データ生成方法、識別器生成方法及びプログラム
US11547333B2 (en) * 2017-08-27 2023-01-10 Aseeyah Shahid Physiological parameter sensing device
EP3713531A4 (en) * 2017-11-21 2021-10-06 3M Innovative Properties Company PADDING FOR EAR PROTECTION OR AN AUDIO HEADSET
WO2019101931A1 (en) * 2017-11-24 2019-05-31 Thought Beanie Limited System with wearable sensor for detecting eeg response
CN108200491B (zh) * 2017-12-18 2019-06-14 温州大学瓯江学院 一种无线交互式头戴语音设备
US11568236B2 (en) 2018-01-25 2023-01-31 The Research Foundation For The State University Of New York Framework and methods of diverse exploration for fast and safe policy improvement
US10524040B2 (en) * 2018-01-29 2019-12-31 Apple Inc. Headphones with orientation sensors
US10857360B2 (en) 2018-02-08 2020-12-08 Innovative Neurological Devices Llc Cranial electrotherapy stimulator
FR3078249A1 (fr) 2018-02-28 2019-08-30 Dotsify Systeme interactif de diffusion de contenu multimedia
JP6705611B2 (ja) * 2018-03-09 2020-06-03 三菱電機株式会社 不快状態判定装置
JP7296618B2 (ja) * 2018-05-08 2023-06-23 株式会社Agama-X 情報処理システム、情報処理装置及びプログラム
AU2019276948A1 (en) * 2018-05-26 2020-12-17 Sens.Ai Inc. Method and apparatus for wearable device with EEG and biometric sensors
EP3576019A1 (en) 2018-05-29 2019-12-04 Nokia Technologies Oy Artificial neural networks
CN109002492B (zh) * 2018-06-27 2021-09-03 淮阴工学院 一种基于LightGBM的绩点预测方法
USD866507S1 (en) * 2018-07-13 2019-11-12 Shenzhen Fushike Electronic Co., Ltd. Wireless headset
US11272288B1 (en) * 2018-07-19 2022-03-08 Scaeva Technologies, Inc. System and method for selective activation of an audio reproduction device
JP7217602B2 (ja) * 2018-09-06 2023-02-03 株式会社フジ医療器 マッサージ機
WO2020061546A1 (en) 2018-09-21 2020-03-26 MacuLogix, Inc. Methods, apparatus, and systems for ophthalmic testing and measurement
US10878796B2 (en) 2018-10-10 2020-12-29 Samsung Electronics Co., Ltd. Mobile platform based active noise cancellation (ANC)
CN110602589B (zh) * 2018-10-27 2020-11-27 杭州鐵三角科技有限公司 一种电脑耳机及其使用方法
CN109350051B (zh) * 2018-11-28 2023-12-29 华南理工大学 用于精神状态评估与调节的头部可穿戴设备及其工作方法
CN109663196A (zh) * 2019-01-24 2019-04-23 聊城大学 一种音乐指挥及音乐治疗系统
JP6923573B2 (ja) * 2019-01-30 2021-08-18 ファナック株式会社 制御パラメータ調整装置
US11205414B2 (en) 2019-02-15 2021-12-21 Brainfm, Inc. Noninvasive neural stimulation through audio
RU2718662C1 (ru) * 2019-04-23 2020-04-13 Общество с ограниченной ответственностью "ЭЭГНОЗИС" Бесконтактный датчик и устройство регистрации биоэлектрической активности головного мозга
CN110049396B (zh) * 2019-04-28 2024-03-12 成都法兰特科技有限公司 多功能按摩模组及自适应佩戴头戴式耳机
US11445282B2 (en) * 2019-06-13 2022-09-13 Google Llc Capacitive on-body detection
US11809488B2 (en) 2019-07-08 2023-11-07 Mybrain Technologies Method and system for generating a personalized playlist of sounds
WO2021015733A1 (en) * 2019-07-22 2021-01-28 Hewlett-Packard Development Company, L.P. Headphones
CN110795127B (zh) * 2019-10-29 2023-09-22 歌尔科技有限公司 一种无线耳机及其升级方法及装置
CN110947076B (zh) * 2019-11-27 2021-07-16 华南理工大学 一种可进行精神状态调节的智能脑波音乐可穿戴设备
CN110841169B (zh) * 2019-11-28 2020-09-25 中国科学院深圳先进技术研究院 一种用于睡眠调节的深度学习声音刺激系统和方法
EP4093265A1 (en) * 2020-01-22 2022-11-30 Dolby Laboratories Licensing Corp. Electrooculogram measurement and eye-tracking
US11615772B2 (en) * 2020-01-31 2023-03-28 Obeebo Labs Ltd. Systems, devices, and methods for musical catalog amplification services
CN111528837B (zh) * 2020-05-11 2021-04-06 清华大学 可穿戴脑电信号检测装置及其制造方法
US20220361789A1 (en) * 2020-06-15 2022-11-17 Georgia Tech Research Corporation Fully Stretchable, Wireless, Skin-Conformal Bioelectronics for Continuous Stress Monitoring in Daily Life
CN112130118B (zh) * 2020-08-19 2023-11-17 复旦大学无锡研究院 基于snn的超宽带雷达信号处理系统及处理方法
CN112118485B (zh) * 2020-09-22 2022-07-08 英华达（上海）科技有限公司 音量自适应调整方法、系统、设备及存储介质
CN112351360B (zh) * 2020-10-28 2023-06-27 深圳市捌爪鱼科技有限公司 一种智能耳机及基于智能耳机的情绪监控方法
US20220157434A1 (en) * 2020-11-16 2022-05-19 Starkey Laboratories, Inc. Ear-wearable device systems and methods for monitoring emotional state
US11609633B2 (en) * 2020-12-15 2023-03-21 Neurable, Inc. Monitoring of biometric data to determine mental states and input commands
GB2602791A (en) * 2020-12-31 2022-07-20 Brainpatch Ltd Wearable electrode arrangement
FR3119990A1 (fr) * 2021-02-23 2022-08-26 Athénaïs OSLATI Dispositif et procédé de modification d’un état émotionnel d’un utilisateur
EP4059410A1 (en) * 2021-03-17 2022-09-21 Sonova AG Arrangement and method for measuring an electrical property of a body
WO2022208905A1 (ja) * 2021-03-30 2022-10-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
CN113397482B (zh) * 2021-05-19 2023-01-06 中国航天科工集团第二研究院 一种人类行为分析方法及系统
US11957467B2 (en) * 2021-07-02 2024-04-16 Brainfm, Inc. Neural stimulation through audio with dynamic modulation characteristics
US11966661B2 (en) 2021-10-19 2024-04-23 Brainfm, Inc. Audio content serving and creation based on modulation characteristics
US11392345B1 (en) 2021-12-20 2022-07-19 Brainfm, Inc. Extending audio tracks while avoiding audio discontinuities
CN114931706B (zh) * 2021-10-19 2023-01-31 慧创科仪(北京)科技有限公司 一种拨发组件、拨发装置及经颅光调控设备
GB2613869A (en) * 2021-12-17 2023-06-21 Kouo Ltd Sensing apparatus and method of manufacture
WO2023187660A1 (en) * 2022-03-28 2023-10-05 Escapist Technologies Pty Ltd Meditation systems and methods
WO2023190592A1 (ja) * 2022-03-31 2023-10-05 Ｖｉｅ Ｓｔｙｌｅ株式会社 ヘッドセット
EP4304197A1 (en) * 2022-07-05 2024-01-10 GN Audio A/S Headset with capacitive sensor
US20240070045A1 (en) * 2022-08-29 2024-02-29 Microsoft Technology Licensing, Llc Correcting application behavior using user signals providing biological feedback
JP7297342B1 (ja) * 2022-09-26 2023-06-26 株式会社Creator’s NEXT 脳情報の分析によるレコメンデーション
USD1005982S1 (en) * 2023-09-13 2023-11-28 Shenzhen Yinzhuo Technology Co., Ltd Headphone

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5740812A (en) * 1996-01-25 1998-04-21 Mindwaves, Ltd. Apparatus for and method of providing brainwave biofeedback
US6623427B2 (en) * 2001-09-25 2003-09-23 Hewlett-Packard Development Company, L.P. Biofeedback based personal entertainment system
WO2005113099A2 (en) * 2003-05-30 2005-12-01 America Online, Inc. Personalizing content
WO2009102430A1 (en) * 2008-02-13 2009-08-20 Neurosky, Inc. Audio headset with bio-signal sensors
WO2010113103A1 (en) * 2009-04-02 2010-10-07 Koninklijke Philips Electronics N.V. Method and system for selecting items using physiological parameters
CN102446533A (zh) * 2010-10-15 2012-05-09 盛乐信息技术（上海）有限公司 音乐播放器
GB201109731D0 (en) * 2011-06-10 2011-07-27 System Ltd X Method and system for analysing audio tracks
SG11201502063RA (en) * 2012-09-17 2015-10-29 Agency Science Tech & Res System and method for developing a model indicative of a subject's emotional state when listening to musical pieces
CN103412646B (zh) * 2013-08-07 2016-03-30 南京师范大学 基于脑机交互的音乐情绪化推荐方法
US10321842B2 (en) * 2014-04-22 2019-06-18 Interaxon Inc. System and method for associating music with brain-state data

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019146866A1 (ko) * 2018-01-29 2019-08-01 삼성전자주식회사 사용자 행동을 바탕으로 반응하는 로봇 및 그의 제어 방법
KR20190098781A (ko) * 2018-01-29 2019-08-23 삼성전자주식회사 사용자 행동을 바탕으로 반응하는 로봇 및 그의 제어 방법
KR20210034459A (ko) * 2019-09-20 2021-03-30 고려대학교 산학협력단 뇌파 기반 음악 검색방법 및 그를 위한 직관적 뇌-컴퓨터 인터페이스 장치
KR20210035704A (ko) * 2019-09-24 2021-04-01 주식회사 이엠텍 이어버드 장치를 이용한 음향 시스템

Also Published As

Publication number Publication date
EP3212073A4 (en) 2018-05-16
EP3212073A1 (en) 2017-09-06
JP2018504719A (ja) 2018-02-15
CN107106063A (zh) 2017-08-29
WO2016070188A1 (en) 2016-05-06
US20170339484A1 (en) 2017-11-23

Similar Documents

Publication Publication Date Title
KR20170082571A (ko) 스마트 오디오 헤드폰 시스템
Houssein et al. Human emotion recognition from EEG-based brain–computer interface using machine learning: a comprehensive review
US20230221801A1 (en) Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data
US20200218350A1 (en) Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data
US10291977B2 (en) Method and system for collecting and processing bioelectrical and audio signals
Bhatti et al. Human emotion recognition and analysis in response to audio music using brain signals
US20200201435A1 (en) End-To-End Deep Neural Network For Auditory Attention Decoding
Teo et al. Classification of affective states via EEG and deep learning
Rahman et al. Brain melody informatics: analysing effects of music on brainwave patterns
Wang et al. Unsupervised decoding of long-term, naturalistic human neural recordings with automated video and audio annotations
Tiwari et al. Classification of physiological signals for emotion recognition using IoT
Yıldırım et al. A research on estimation of emotion using EEG signals and brain computer interfaces
Mai et al. Real-Time On-Chip Machine-Learning-Based Wearable Behind-The-Ear Electroencephalogram Device for Emotion Recognition
US20230377543A1 (en) Method for generating music with biofeedback adaptation
Lan et al. Stable feature selection for EEG-based emotion recognition
Pal et al. Study of neuromarketing with eeg signals and machine learning techniques
Knierim et al. Detecting Daytime Bruxism Through Convenient and Wearable Around-the-Ear Electrodes
Hassib Mental task classification using single-electrode brain computer interfaces
WO2024009944A1 (ja) 情報処理方法、記録媒体、及び情報処理装置
Shin et al. Brainwave-based mood classification using regularized common spatial pattern filter
Kanaga et al. A Pilot Investigation on the Performance of Auditory Stimuli based on EEG Signals Classification for BCI Applications
Romani Music-Emotion: towards automated real-time recognition of affective states with a wearable Brain-Computer Interface
Wang Brains in the Wild: Machine learning for naturalistic, long-term neural and video recordings
Geda et al. A Neuromarketing Framework Based on Human Computer Interaction (HCI) and Machine Learning for the Classification of Customers' Emotional States
Thammasan Practical Emotion Recognition using Wearable