KR102039848B1 - 기억과 의사 결정력 향상을 위한, 개인 감정-기반의 인지 보조 시스템, 개인 감정-기반의 인지 보조 제공 방법 및 비-일시적 컴퓨터 판독 가능 매체 - Google Patents

기억과 의사 결정력 향상을 위한, 개인 감정-기반의 인지 보조 시스템, 개인 감정-기반의 인지 보조 제공 방법 및 비-일시적 컴퓨터 판독 가능 매체 Download PDF

Info

Publication number
KR102039848B1
KR102039848B1 KR1020187029527A KR20187029527A KR102039848B1 KR 102039848 B1 KR102039848 B1 KR 102039848B1 KR 1020187029527 A KR1020187029527 A KR 1020187029527A KR 20187029527 A KR20187029527 A KR 20187029527A KR 102039848 B1 KR102039848 B1 KR 102039848B1
Authority
KR
South Korea
Prior art keywords
memory
user
emotion
cognitive
information
Prior art date
Application number
KR1020187029527A
Other languages
English (en)
Other versions
KR20180137490A (ko
Inventor
푸-빈 늑유옌
Original Assignee
푸비 코그니티브 네트웍 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 푸비 코그니티브 네트웍 코퍼레이션 filed Critical 푸비 코그니티브 네트웍 코퍼레이션
Publication of KR20180137490A publication Critical patent/KR20180137490A/ko
Application granted granted Critical
Publication of KR102039848B1 publication Critical patent/KR102039848B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A61B5/04012—
    • A61B5/04842—
    • A61B5/04845—
    • A61B5/04847—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/38—Acoustic or auditory stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/381—Olfactory or gustatory stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0475—Special features of memory means, e.g. removable memory cards
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0204—Acoustic sensors
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Educational Administration (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)

Abstract

개인 감정-기반의 인지 보조 시스템은 사용자가 착용할 수 있는 하나 이상의 구성요소와, 사용자의 감정 상태를 캡쳐하도록 구성된 적어도 하나 이상의 센서와, 상기 캡쳐된 감정 상태에 기초하여 상기 사용자의 환경의 개인적 의미를 식별하도록 구성된 프로세서와, 상기 식별된 개인적 의미에 기초하여 메모리의 상이한 영역에 환경에 관한 데이터와 함께 식별된 개인화된 의미를 저장하도록 구성된 메모리를 포함한다.

Description

기억과 의사 결정력 향상을 위한, 개인 감정-기반의 인지 보조 시스템, 개인 감정-기반의 인지 보조 제공 방법 및 비-일시적 컴퓨터 판독 가능 매체
본 출원은 2016년 3월 14일자로 미국 특허청에 출원된 미국 가출원 제 62/308,202호의 우선권을 주장하며, 그 개시 내용은 본 명세서에 참고로 포함된다.
예시적인 실시례와 일치하는 장치, 방법, 시스템 및 컴퓨터 판독 가능 매체는 인지 기술에 광범위하게 관련되며, 특히 감정-기반의 인지 메모리 및 인지 통찰을 제공하는 것에 관한 것이다.
소규모 장치, 빠른 처리 및 더 많은 저장 기능을 비롯한 수많은 기술 발전으로 인해 사용자의 일상 활동 및 다양한 기타 기능을 용이하게 활용할 수 있다. 요즘 컴퓨팅 장비는 식당에서 주문을 받아 부엌으로 전송하여 구현할 수 있다. 컴퓨팅 장치에는 예를 들어 시리 (Siri), 구글 나우 (Google Now) 등 기기에 내장된 자동 개인 보조 소프트웨어가 있을 수 있다. 이러한 자동화된 개인 비서는 사용자와 대화를 하고 요청된 정보를 제공 할 수 있다.
사용자 경험을 향상시키기 위해, 개인 비서 (personal assistants)는 예를 들어 미국 특허 제6,190,314호를 참조하면 상황 및 전후 사정 (context)을 인식할 수 있다. 또한, 개인 비서는 예를 들어, 미국 특허 제9,171,092호를 참조하여, 이전의 사용자 상호 작용에 기초하여 전후 사정 데이터베이스를 구축할 수 있다.
또한 개인 비서가 개발되어 사용자에게 정보를 제공할 뿐만 아니라 기본적인 작업을 수행할 수도 있다. 관련 기술에서, 가상 개인 비서는 사용자의 말 및/또는 쓰여진 입력을 이해하고, 사용자가 하는 가상 게임에서 주사위를 굴리는 것과 같은 작업을 수행하고, 시간 경과에 따른 사용자 선호에 적응할 수 있다. 예를 들어, 미국 특허 공개 제20130152092호를 보라.
또한, 일부 개인 비서는 사용자와의 장치 상호 작용에 기초하여 조정될 수 있는 성격 파라미터 (personality parameter)를 가질 수 있다. 예를 들어, 미국 특허 공개 제20020029203호 및 EP 제2531912호를 보라.
관련 기술에서, 일반적으로 컴퓨터와의 음성 통신 또는 서면 또는 터치 입력을 통해 수행되는 사용자 입력은 개인 보조 (personal assistance)를 구동한다. 또한, 개인 보조는 이 입력에 기초하여, 그리고 시간 경과 또는 일종의 전후 사정 인식에 따라 달라질 수 있는, 적용된 사용자 선호도에 기초하여 정보를 제공하고 및/또는 기본 작업을 수행한다.
관련 기술에서 개인 보조는 매우 제한적이며 인간의 마음에 대한 이해를 설명하지 않는다. 예를 들어, 미국 특허 제9,101,279호 및 미국 특허 제9,177,257호를 참조하면, 인지 통찰은 인간의 뇌에만 존재하며, 기존의 컴퓨터는 이 통찰에 액세스하여 이 통찰을 사용할 수는 없다.
따라서, 당 업계에는 인간의 감정 및 마음과 유사한 복잡성에 기초하여 개인화 될 인지 통찰을 제공할 필요가 있다. 컴퓨터에서 개인의 두뇌를 모방하여 사용자가 일상적으로 학습하고 암기하며 사고하고 자신의 개인적 통찰을 토대로 결정을 내리는 것을 돕는 것이 당 업계에 필요하다.
인간의 생각에는 종종 감정적인 요소가 있다. 관련 기술의 시스템은 인간의 생각과 통찰의 이러한 감정적 구성 요소를 설명하지 못한다. 개별 감정적 구성 요소를 개별적인 또는 개인화된 통찰을 위한 인지 구성 요소와 결합시킬 필요가 있다.
관련 기술의 시스템은 이미지 및 음성과 같은 전후 사정의 의미를 해석하고 이를 복잡한 알고리즘을 사용하여 프로필, 그래프 등에 저장하는 데 중점을 둔다. 그러나 전후 사정 또는 전후 사정적인 정보의 의미는 사람마다 다르다. 즉, 전후 사정의 해석은 사람마다 다를 수 있다. 정서적 구성 요소의 형태로 일어나는 상황의 개인의 의미를 인지적 구성 요소와 결합시켜 개인적 또는 개인화된 통찰을 생성할 필요가 있다.
예시적인 비 제한적인 실시례에 따르면, 인지 보조 시스템은 감정적인 정보와 실시간으로 또는 실시간으로 동기화되는 시각 (visual) 및 청각 (auditory) 데이터와 같은 감각 정보 (sensory information)를 구현하는 인지 모듈 (cognitive module)에 기초하여 제공된다.
예시적인 비 제한적인 실시례에 따르면, 감정 정보는 사용자의 본능 통찰 및 발전된 통찰에 대한 시각 및 청각 감각 정보의 서로 다른 상관 의미를 구현하는 다중 감정 신호에 기초한다.
예시적인 비 제한적인 실시례에 따르면, 시스템은 사용자의 개별적인 감정 상태와 결합된 감각 데이터에 기초하여 미 인증된 인지 감각 메모리를 생성할 수 있다.
예시적인 비 제한적인 실시례에 따르면, 시스템은 사용자가 표시되는 인지 감각 모듈을 검토, 통합, 리허설할 때 사용자의 개인화된 감정 상태와 결합된 검증된 인지 감각 메모리에 기초하여 개인화된 통찰 또는 장기 메모리를 생성할 수 있다.
예시적인 비 제한적인 실시례에 따르면, 시스템은 발전된 인지 통찰로부터 회상되는(retrieved) 인지 모듈에 대한 프로세스에 기초하여 개인화된 생각을 생성하고, 생각 (또는 장기 메모리) 또는 인지 통찰을 구축할 수 있다.
예시적이고 비 제한적인 실시례들은 선행 기술에서 상기 언급된 단점들 및 문제점들을 극복할 수 있고, 또한 상술되지 않은 다른 단점들 및 문제점들에 대한 해결책을 제공하기 위해 개발될 수 있다. 그러나, 본 개시의 가르침에 따라 동작하는 방법, 장치, 시스템 및 컴퓨터 판독 가능 매체는 반드시 상술한 특정 문제 또는 단점을 극복할 필요는 없다. 하나 이상의 예시적인 실시례는 전술 한 단점을 극복하기 위해 요구되지 않으며, 상술한 문제점 중 임의의 것을 극복하지 못할 수도 있음을 이해해야 한다.
예시적인 실시례의 일 실시 양태에 따르면, 사용자의 감정 상태를 캡쳐하도록 구성된 적어도 하나의 센서와, 상기 캡쳐된 감정 상태에 기초하여 상기 사용자의 환경의 개인적 의미를 식별하도록 구성된 프로세서와, 상기 식별된 개인적 의미에 기초하여 메모리의 상이한 영역에 환경에 관한 데이터와 함께 식별된 개인화된 의미를 저장하도록 구성된 메모리;를 포함하는 개인 감정-기반의 인지 보조 시스템을 제공한다.
예시적인 실시례의 또 다른 양태에 따르면, 적어도 하나의 센서에 의해 사용자의 감정 상태를 캡쳐하는 단계; 상기 캡쳐된 감정 상태에 기초하여 상기 사용자의 환경에 대한 개인적 의미를 프로세서에 의해 식별하는 단계; 식별된 개인적 의미를 메모리의 상이한 영역에 환경에 관한 데이터와 함께 저장하는 단계; 및 상기 데이터의 개인적 의미에 기초하여 결과를 출력하는 단계;를 포함하는 개인 감정-기반의 인지 보조 제공 방법을 제공한다.
예시적인 실시례의 또 다른 양태에 따르면, 프로세서에 의해 실행될 때 상기 프로세서로 하여금 여러 동작들을 실행하게 하는 명령들을 저장하도록 구성된 비-일시적 컴퓨터 판독 가능 매체 (non-transitory computer readable medium)를 제공한다. 여러 동작들은, 적어도 하나의 센서에 의해 캡쳐된 사용자의 감정 상태를 수신하는 단계; 상기 수신된 감정 상태에 기초하여 상기 사용자의 환경에 대한 개인적 의미를 식별하는 단계; 상기 식별된 개인적 의미를 메모리의 상이한 영역에 환경에 관한 데이터와 함께 저장하는 단계; 및 디스플레이 상에 상기 데이터의 개인적 의미에 기초한 결과를 출력하는 단계를 포함한다.
다양한 예시적인 실시례에 따르면, 사용자는 공부할 때 더 주의를 기울여야 하는 항목, 구매할 항목 등을 쉽게 알 수 있다. 다양한 예시적인 실시례에 따르면, 개인화된 생각은 사용자에 의해 관찰된 환경에 기초하여 형성된다. 이러한 개인화된 생각은 사용자의 생각을 모방하고 다양한 종류의 결정을 내리는데 도움이 되도록 출력된다. 결과물은 제안, 경고, 내용 목록, 학습 중 특정 데이터 반복 등 다양한 형태로 나타날 수 있다.
본 명세서에 통합되어 그 일부를 구성하는 첨부 도면은 예시적인 실시례를 예시하고, 설명과 함께 예시적인 실시례를 설명하고 예시하는 역할을 한다. 구체적으로:
도 1은 본 발명의 일 실시례에 따른 감각 및 감정 데이터를 캡쳐하는 장치를 도시한 도면이다.
도 2a 내지 도 2d는 본 발명의 일 실시례에 따른 감정 정보를 검출하기 위한 감정 센서를 도시 한 도면이다.
도 3은 본 발명의 일 실시례에 따른 인지 모듈의 구성 요소를 도시한 도면이다.
도 4는 본 발명의 일 실시례에 따른 사용자의 인지 통찰에 대한 환경 정보 입력에 대한 사용자의 감정적인 상관 관계를 반영한 감정 신호를 다양한 감정으로 분류하기 위한 다이어그램 테이블을 도시한 도면이다.
도 5a 및 도 5b는 각각 예시적인 실시례에 따른 인지 기억 장치에 인지 모듈을 저장하는 것을 도시하는 흐름도이다.
도 6은 예시적인 실시례에 따른 인지 감각 생성기를 예시하는 블록도이다.
도 7은 예시적인 실시례에 따른 인지 통찰 생성기를 도시하는 블록도이다.
도 8은 본 발명의 일 실시례에 따라 사용자의 인지적 작업 정보와 사용자의 인지적 통찰의 감정적인 상관 관계를 반영하여 감정 신호를 다양한 감정으로 분류하기 위한 다이어그램 테이블을 나타낸 도면이다.
도 9는 예시적인 실시례에 따른 인지 모듈을 처리하는 방법을 나타내는 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시례에 대하여 상세히 설명한다. 예시적인 실시례들은 많은 다른 형태로 구현될 수 있으며 여기에 설명된 예시적인 실시례들에 한정되는 것으로 해석되어서는 안될 것이다. 오히려, 예시적인 실시례들은 본 개시가 철저하고 완전해질 수 있도록 제공되며, 당업자에게 예시적인 개념을 완전히 전달할 것이다. 또한, 공지된 기능 또는 구성은 예시적인 실시례에 대한 명확하고 간결한 설명을 제공하기 위해 생략될 수 있다. 청구 범위와 그 균등물은 발명 개념의 진정한 범위를 확인하기 위해 고려되어야 할 것이다.
인간의 마음은 시각적 및 청각적 형태로 뇌의 작업 메모리와 중심적 집행에 대한 작업을 할 수 있는 선언적 정보 (declarative information)를 구체화하는 복잡한 지적 시설이다. 선언적 정보는 에피소드 메모리 (episodic memory), 의미론적 메모리 (semantic memory) 및 사고 메모리 (thoughts memory)의 형태로 인간의 통찰 (human's insights)에서 장기 메모리 (long-term memory)로부터 회상된다. 인간의 통찰은 공리 본능 통찰 (axiomatic instinct insight)의 핵심에 세워져 있다. 인간 본능은, 통찰에 자연스럽게 기반하는 것, 인간이 숨을 쉬거나 빨거나 울기 위한 본능과 같이 태어난 것이다. 인간 본능은 시간이 지남에 따라 점차적으로 축적된다. 예를 들어, 인간이 발달함에 따라 어머니와 아버지가 가장 가까운 사람이라는 것을 알게 되고, 그 후 손가락, 사과, 숫자, 덧셈 등을 배우게 된다. 새로운 통찰 요소는 이전 통찰 요소에 기초합니다. 인간의 초기 본능은 사랑, 생존 및 탐험이다. 인간의 장기는 감정 신호를 생성하여 개인들에게 객체에 대한 의미를 식별하는 것을 돕는다. 객체가 알려지고 의미가 있는 경우 "좋아 (like)", "사랑 (love)", "두려움 (fear)"과 같은 감정 신호가 생성될 수 있다. 객체가 알려지지 않았지만 사람의 시선을 끌면 호기심, 인상적, 세심함과 같은 "탐험적인 본능 (explosive instinct)"에 속한 감정이 생성될 수 있다. 인간의 통찰은 통찰 구축 프로세스를 제어하는 감정적 신호를 발생시킨다.
통찰 구축 프로세스는 인간의 오감으로 시작된다. 인간은 시각적 (visual), 청각적 (auditory), 후각적 (olfactory), 운동감각적 (kinesthetic) 및 미각 (gustatory) 정보를 포함한 감각 정보를 통해 주변 환경을 감지한다. 그러나 인간의 뇌의 특정 위치에서 발생하는 의미 있는 정보만이 그 값이 임계치보다 큰 감정적 신호를 생성한다. 마음에서, 합성 시각, 청각 및 동기된 복합 감정과 결합된 기타 감각 입력은 개인의 인지적 통찰을 구축하는 두뇌의 다른 기억 영역으로 분류되고 저장되는 인지 모듈 (cognitive modules)이 된다. 인지적 통찰 (cognitive insights)은 생각하고, 의사를 결정하며, 행동을 취하는 것과 같은 모든 인지적 작업 (cognitive operation)을 위해 준비된 개인적이고 의미 있고 잘 조직 된 데이터베이스이다.
현재까지 이러한 인지적 통찰은 기존 컴퓨터가 액세스하고 사용할 수 없는 신경 세포, 호르몬 및 신경 전달 물질의 복잡한 기관 아래 인간의 두뇌에만 존재한다. 기존의 컴퓨터는 빠른 속도로 대용량의 저장 용량을 제공하지만 일상적인 개인 인지 작업에서 사용자를 지원할 수는 없다. 관련 기술에서, 컴퓨터는 인간 사용자와 동일한 입력을 수신하는 것에 응답하여 큰 쇼핑몰을 통해 이벤트 또는 사용자의 쇼핑 투어를 통해 주목할만한 요소 및 관찰을 요약하여 표시한다. 관련 기술은 감정 신호를 설명할 수 없고 종종 상기 이벤트에 대한 인간의 관찰에 통합된 감정 신호를 합성한다. 객관적인 정보 데이터베이스가 형성될 수 있지만, 그것은 사용자의 개별화된 통찰이 없다.
예시적인 실시례에서, 컴퓨터 시스템은 인간 마음의 동작을 모방하고 일상적 학습, 암기, 사고 및 결정에서 사용자를 돕기 위해 사용자의 마음에 있는 것과 같은 개인화된 데이터베이스를 포함한다. 관련 기술에서, 객관적인 정보 데이터베이스는 2+3=5와 같은 정보를 포함할 수 있지만, 이 정보에 대해서는 사용자의 신뢰 수준이 없다. 예시적인 실시례에서, 시스템은 그 2+3=5를 저장할 뿐만 아니라 사용자가 이 방정식을 푸는 것에 얼마나 안락하고 자신감이 있는지도 포함할 것이다.
예시적인 실시례에서, 아래에서 설명되는 바와 같이, "2"는 2 개의 손가락, 2 개의 사과, 아버지와 어머니가 함께 2와 같이, 숫자 2에 대한 사용자의 개별 이력에 따라 감정적인 사진들 및 이야기들로서 저장되는 의미론적 모듈 (semantic module)이다. 주제의 배경에 있는 모든 인지 요소가 알려지면 사용자는 자신감을 얻는다. 이 예에서 주제는 추가될 수 있고, 의미론 (semantics)은 숫자 2, 3, 5 등이다. 한 손에 손가락 두 개 및/또는 한 손에 두 개의 사과와 세 개의 손가락 및/또는 한 손에 모두 다섯 개의 손가락과 함께 세 개의 사과 또는 그릇에 다섯 개의 사과와 같이, 모든 인지 요소의 상관 관계가 경험되면 사용자는 자신감을 느끼거나 사용자의 신뢰 수준이 높다. "추가" 학습 과정이 완료되고 인간은 그의 통찰에 새로운 의미론적 모듈을 구축한다. 새로운 의미론적 통찰은 사용자의 두뇌와 시스템에 내장되어 저장된다. 이 시스템은 사용자의 감정에 의한 운전자이다. 이 시스템은 인간과 달리 통찰에서 구원받은 것을 잊지 않으며 사람들이 암기 능력을 향상시키는 것을 돕는다.
또한, 예시적인 실시례에서, 사용자는 더하기 및 빼기와 같은 동작에 대해 상이한 감정을 가질 수 있고, 시스템은 이러한 차이를 설명할 것이다. 관련 기술에서 컴퓨터는 "더하기 (add)" 및 "빼기 (substract)", "얻다 (gain)" 및 "풀어주다 (loose)"를 같은 방식으로 취급하지만 동일한 인지적 의미를 제공한다. 예시적인 실시례에서, 시스템은 사용자가 획득하기를 좋아하고 지기를 좋아하지 않음을 관찰할 수 있다. 사용자는 더 많은 초콜릿, 더 많은 장난감 등을 좋아한다. 반면에 사용자는 장난감이나 사탕 등등을 잃어버리는 것을 좋아하지 않을 수도 있다. 따라서, 예시적인 실시례에서, 시스템은 이러한 차이를 설명하고 인간의 마음과 유사할 것이므로, 동작 "더하기", "빼기", "얻다"및 "풀어주다"는 다르게 취급될 것이다. 예시적인 실시례에서, 시스템은 사용자의 결정을 얻고 잃는 것을 피하는 경향이 있는 통찰로부터 회상된 처리된 감정-기반의 정보를 제공할 수 있다.
예시적인 실시례에서, 인지 통찰은 인지 감각 메모리를 사용자로부터 수신된 감정 신호를 검증하는 것과 결합함으로써 형성된다. 따라서, 사용자가 시험을 위해 공부하는 경우, 시스템은 사용자가 추가 학습이 필요한 개념 또는 사용자가 어려움을 겪고 있는 개념을 결정하는 데 도움을 줄 수 있다. 사용자가 쇼핑몰에서 쇼핑을 하는 경우, 시스템은 사용자가 투어를 통해 좋아했던 사진 항목을 캡쳐한 다음 끝에 표시하고, 가장 흥미로운 것들을 검토하고 선택하도록 자동으로 돕는다.
예시적인 실시례에서, 감정-기반의 인지 시스템은 시각 정보 (VI: visual information), 청각 정보 (AI: auditory information) 및 감정적 정보 (EI: emotional information)를 구현하는 인지 정보 모듈을 구축하고 처리하기 위한 운영 시스템 및 장치를 포함한다. 예시적인 실시례에 따른 시스템은, 사용자가 동시에 보고 듣는 이미지, 비디오, 음성 및 사운드를 캡쳐하기 위한 적어도 하나의 카메라 및 하나의 마이크로폰과, 적어도 하나의 센서 그리고 바람직하게는 더 많은 센서를 포함하여, 아래에서 더욱 상세하게 설명되는 바와 같이, 사랑, 좋아함, 호기심, 세심, 자신감 및 시각과 청각 입력에 대응하는 다른 유형의 감정 신호와 같은 사용자의 뇌로부터 발생하는 감정 신호를 캡쳐할 수 있다. 이 시스템은 환경 감각 감정 신호의 임계치를 사용하여 환경 링크에서 내부로의 의미있는 시각 정보 및 청각 정보를 가능하게 하는 필터링 프로세스를 제어한다. 예시적인 실시례에서, 시스템은 사용자가 그의 (또는 그녀)의 마음을 작업 메모리로 바꿀 때 생성된 사려 깊은 감정 신호를 캡쳐하고, 사려 깊은 감정 신호를 사용하여 환경 정보 입력을 스위치 오프하는데, 예를 들어 시각 및 청각이 카메라 및 마이크로폰으로부터의 동기화되지 않거나 부적절하게 동기화되는 구성을 피하게 한다. 이 경우 감정은, 감정 수치가 임계치보다 높더라도, 사용자의 마음에 대한 최근 생각과 관련이 있으며 사용자가 보고 듣는 것과 관련이 없다. 시스템이 이러한 유형의 입력을 허용하면 잘못된 구성으로 이어진다.
예시적인 실시례에서, 시스템은 환경 필터링된 감각 시각과 청각 정보 및 동기화된 감정적 정보를 구현하는 인지 정보 모듈을 구성하도록 구성된 처리 장치를 포함할 수 있다. 예시적인 실시례에서, 시스템은 인지 감각 메모리를 구축하는 인지 감각 정보 모듈을 저장하기 위한 비-일시적 컴퓨터 판독 가능 저장 매체(non-transitory computer readable storage medium)를 포함할 수 있다.
예시적인 실시례에서, 인지 통찰을 생성하도록 구성된 인지 처리 시스템은 중앙 처리 장치 (CPU), 인지 작업 프로세서, 장기 메모리, 및 감정 정보 생성기, 및 인지 작업 디스플레이를 포함한다. 예시적인 실시례에 따른 장기 메모리는, 에피소드 메모리 (episodic memory), 의미론적 메모리 (semantic memory) 및 생각 메모리 (thoughts memory)를 포함할 수 있다. 인지 작업 프로세서는 인지 작업 센터 (cognitive working center), 버퍼와 같은 등록 메모리 (registering memory), 미완료 작업 메모리 (uncompleted working memory) 및 예정된 메모리 (scheduled memory)를 포함하며, 이들은 이하에서 더 상세히 설명된다. 또한, 예시적인 실시례에서, 감정-기반 작동 명령은 이하에서 더 상세히 설명되는 바와 같이 인간의 본능 통찰에 기초하여 생성될 수 있다.
도 1은 본 발명의 일 실시례에 따른 감각 및 감정 데이터를 캡쳐하는 장치를 도시한 도면이다.
도 1에 도시된 바와 같이, 카메라 (carmera)(11)는 예시적인 실시례에 따라 헤드셋 (1) 상에 제공 될 수 있다. 즉, 예시적인 실시례에 따라 시각 데이터를 캡쳐하기 위해 좌측 카메라, 중앙 카메라 및 우측 카메라 (도시되지 않음)가 제공될 수 있다. 이는 제한 사항이 아닌 예로서 제공된다. 당업자는 사용자의 개인 정보 단말기 또는 셀룰러 전화기와 같은 개인 장치로 시각 데이터가 캡쳐될 수 있음을 쉽게 이해할 것이다. 또한, 당업자는 임의의 수의 카메라가 사용될 수 있고 시각 데이터가 단일 카메라 또는 복수의 카메라에 의해 제공될 수 있음을 용이하게 이해할 것이다. 캡쳐 된 시각 데이터 (VI)는 프로세서 (도시되지 않음)와 결합된 적어도 하나의 메모리를 포함하는 전자 보드 (electronic board)(10)로 전송될 수 있다.
예시적인 실시례에서, 전자 보드 (10)는 감각 정보 및 감정 정보를 처리하여 인지 감각 메모리를 생성할 수 있으며, 이는 도 4와 관련하여 이하에서 상세히 기술된다. 또 다른 예시적인 실시례에서, 생성된 인지 감각 정보는 헤드셋 (1)에 제공된 통신 인터페이스 (도시되지 않음)를 통해 저장, 모니터링 또는 추가 처리를 위해 다른 원격 장치로 전송될 수 있다. 예를 들어, 헤드셋 (1)은 통신 인터페이스 (예를 들어, 네트워크 카드, 안테나, 및 당업자에게 알려지거나 나중에 개발될 인터페이스)를 포함하여 데이터를 무선으로, 예를 들면 블루투스, 적외선, WiFi 및/또는 셀룰러 네트워크로, 추가 저장, 처리 또는 모니터링 및 공동-감독 (co-supervising)을 위해, 원격 서버나 클라우드에 전송한다. 예를 들어 경찰관은 조사 중에 헤드셋 (1)을 착용할 수 있으며 감독자는 헤드셋 (1)이 경찰관의 인지적 통찰을 감독자에게 전송함으로써 사무실에서의 작업을 검토할 수 있다.
또한, 헤드셋 (1)은 하나 이상의 마이크로폰 (microphone)(12) 및 배터리 (미도시)를 포함할 수 있다. 마이크로폰 (12)은 일례로서 좌측 귀 마이크, 우측 귀 마이크 및 중앙 마이크로폰을 포함할 수 있으며, 제한적인 것이 아니다. 당업자는 청각 정보가 단일 마이크로폰 또는 복수의 마이크로폰을 통해 포착될 수 있다는 것을 쉽게 이해할 것이다.
예시적인 실시례에서, 하나 이상의 감정 센서 (emotion sensors)(13)가 헤드셋 (1)에 더 제공된다. 도 1은 4개의 감정 센서를 도시하며, 이는 제한을 위한 것이 아니라 예로서 제공된다. 당업자는 감정 정보를 포착하기 위해 단일 감정 센서, 그러나 바람직하게는 다수의 감정 센서가 제공된다는 것을 용이하게 이해할 것이다. 감정 센서 (13)는 감정 정보 (EI)를 검출한다. 즉, 예시적인 실시례에서, 감정 정보 (EI)는 뇌의 여러 부분에서의 활동을 검출함으로써 다수의 센서 (13)로부터 얻어진다. 즉, EEG 주파수 및 진폭은 사용자의 감정적인 수준에 따라 달라진다. 예시적인 실시례에서, 비활성은 모든 뇌파 성분의 주파수 및 진폭이 소정의 임계치 미만임을 의미한다. 뇌파는 제한이 아닌 예로서 제공된다.
예를 들어, 인간의 두뇌는 사용자가 편안하고 집중하지 않는 동안 낮은 활동 신호를 출력한다. 즉, 활동도가 낮은 신호는 사용자가 자신의 감각 환경에 주의를 기울이거나 관심이 없거나 인상적이지 않다는 것을 나타낸다. 사용자가 관찰되고 있는 것 (예를 들어, 들리고 볼 수 있는 것)에 관심이 있거나 주의를 기울이는 경우, 감정 신호의 빈도 및 진폭은 이에 따라 변한다. 변화가 미리 결정된 임계치를 초과하면, 인지 감각 모듈을 처리/합성/생성하기 위해 전자 보드 (10)에 구현되는 프로세서 (및/또는 마이크로프로세서)로의 VI, AI 및 EI 입력을 가능하게 하는 게이트를 트리거할 것이다. 이는 제한 사항이 아닌 예로서 제공된다. 감정 센서들 (13)은 도 1 및 도 2를 참조하여 보다 상세하게 설명된다. 도 2a 내지도 2d를 참조하면, 수집된 시각 정보 (VI)와 오디오 정보 (Al) 및 감정 정보는 서로 동기화되거나 링크되어 전자 보드 (10)의 메모리에 저장된다.
도 2a 내지 도 2d는 본 발명의 일 실시례에 따른 감정 정보를 검출하기 위한 감정 센서를 도시 한 도면이다.
도 2a, 2c, 2b, 2d에 도시 된 바와 같이, 감정 정보 (EI)는 센서들 (S1 S16)로부터의 출력에 기초하여 얻어질 수 있고, 여기서 적어도 하나의 센서가 기준 센서 일 수 있다. 예시적인 실시례에서, S1 S16는 다수 채널의 대역 데이터 신호를 각각 생성하는 EEG 센서이다. 즉, S1 S16은 도 3과 관련하여 아래에 설명된 바와 같이 각각의 채널 신호들 ET01 - ET12로 해석되는 EEG 신호를 검출한다. 도 2a 2d는 센서 S1 S16의 위치를 도시한다. 예를 들어, 센서 S1 S10은 사용자의 뇌의 좌측 및 우측 측두엽 주위에 배치되며, 아래에서 보다 상세히 설명되는 바와 같이 상관적인 감정 (correlative emotion)과 관련되며, 센서 S11 - S16은 전두엽 주위에 배치되어 집행 감정 (executive emotion)과 관련된다. 예시적인 실시례에서, S1 - S16에 의해 검출된 신호는 분석하고, 멀티웨이브렛 변환 (multiwavelet transform)에 기초해서 처리하여 인간의 감정을 분류하고, 특정 타입의 감정 신호를 생성하는 뇌 내부에 공간적으로 위치한 다수의 특정 포인트로부터의 신호를 추론하는데 사용될 수 있다.
도 3은 본 발명의 일 실시례에 따른 시각 정보, 청각 정보 및 감정 정보를 포함하는 인지 모듈의 구성 요소를 도시한 도면이다. 도 3에 도시된 바와 같이, 여러 구성요소 ET01 내지 ET12의 다양한 조합을 구현할 수 있는 감정 정보가 상이한 감성적 의미를 사용자의 개인적인 관점으로 해석된다. 예시적인 실시례에서, ET01 내지 ET12는 센서 S1 내지 S16로부터 출력된 신호를 처리함으로써 생성될 수 있다. 도 3에 도시 된 바와 같이, 인지 정보 모듈 (cognitive information module)(3)은 VI 정보 (31), AI 정보 (32), 및 EI 정보 (33)를 포함한다. EI 정보 (33)는 센서 S1 - S16의 출력을 처리하고 분석함으로써 얻어진 생성된 감정 ET01 ET12 값을 포함한다. 이는 제한 사항이 아닌, 예로서 제공된 것이다.
예시적인 실시례에서, 도 3은 사용자가 그의 사랑하는 사람을 만났을 때 해석된 감정 신호를 도시한다. 예를 들어, ET01은 높은 (high) 것으로 표시되는 연애 감정 (love emotion) 도메인을 나타낼 수 있고, ET09는 높은 자신감 감정 (confident emotion) 도메인을 나타낼 수 있으며 ET10은 분명한 감정 (evident emotion) 도메인에 할당될 수 있고 또한 높다. ET01 - ET08 중 하나가 하이 (high)일 때, ET09 및/또는 ET10은 또한 높을 것이다. 왜냐하면 사용자는 그것이 알려지지 않았고 사용자가 이 아이템에 대해 자신감이 부족하다고 느끼면 무엇인가를 좋아할 수 없기 때문이다. 사용자가 새 레스토랑에서 자신이 좋아하는 피자를 보았을 때, 그는 그것을 좋아할 것이다 (ET03은 높고 ET10도 마찬가지일 것이다). 또한, 그가 가장 좋아하는 음식이기 때문에, 그는 분명하게 (evident) 느낀다. 그러나 사용자는 이 피자가 이 새 레스토랑에서 좋은지 자신할 수 없으며 그의ET09는, 이번에 그것이 좋았다면 이 식당에서 피자를 보는 다음 번에 높을 수도 있다.
도 4는 감정 신호를, 본 발명의 일 실시례에 따른 사용자의 인지적 통찰에 대한, 환경 정보 입력의 사용자의 감정적인 상관 관계를 반영한 다양한 감정으로 분류하기 위한 테이블을 도시한 도면이다. 도 4에 도시 된 바와 같이, ET01은 사람이 무언가를 보는 것 및/또는 듣는 것이 이 영역과 관련이 있을 때, 예를 들어 변연계 (측두엽 내부)의 특정 포인트 01이 성행위를 유도하는 호르몬을 생성할 때 생식(reproduction)과 관련된다. 인간 두뇌의 이 특정한 위치에서 오는 감정적 신호는 사람이 보는 것에 따라 특정 주파수와 진폭으로 생성된다. 16개(예시일 뿐이고 제한이 아님)의 모든 센서가 신호를 캡쳐한 다음 프로세서가 신호를 분석하고 {지원 벡터 머신 방법 (support vector machine method)으로 사용자 머리의 16개 센서의 정의된 위치를 기반하여} 일례로 포인트 01로부터의 신호와 도 3에 보여진 본래의 형태를 계산하고 정의한다. 또한 프로세서는 ET09와 ET10이 전두엽의 포인트 09와 포인트 10에 해당한다고 결정할 수 있다.
도 5a는 예시적인 실시례에 따른 인지 감각 메모리를 구현하는 것을 도시하는 흐름도이다. 도 5a에서, 시각 정보 (VI: visual information), 오디오 정보 (AI: audio information) 및 감정 정보 (EI: emotional information)는 각각 카메라 (cameras)(524), 마이크로폰 (microphones)(526) 및 감정 센서 (emotion sensors)(520)로부터 수신된다. VI와 AI는 감정적인 활동을 감지하는 지연 시간에 해당할 만큼 충분히 오랫동안 버퍼되는 연속 스트림 (continuous streams)이다. 예를 들어, 아이는 알림이나 경고를 받기 전에 그의 어머니가 5 초라고 말한 것을 기억할 수 있다. 센서들 (520)로부터의 감정 정보에 기초하여, 전자 보드 (10) 내의 프로세서와 같은 프로세서 및/또는 마이크로프로세서 상에 구현되는 감정 합성 해석기 (emotion composite interpreter)(530)에서 감정 (505)이 획득, 분석, 변환 및 합성된다. 감정은 상술한 바와 같은 감정 센서에 의해 검출된 신호의 수에 기초하여 얻어지는 복합 감정 정보일 수 있다. 멀티웨이블릿 (multiwavelet) 감정 신호는 상술한 바와 같이 여러 유형의 감정으로 분해되고 구성 될 수 있다. 즉, 예시적인 실시례에서, 감정 신호는 분해 프로세스를 거친다. 복합 감정의 컴포넌트들 중 적어도 하나가 임계치를 초과하면, 예를 들어 사용자가 주의를 기울이고 및/또는 보거나 듣는 것에 관심을 보이면 스위치 (532)가 켜지고 버퍼 메모리 (buffer memory)(528)에 저장된 시각 정보 및 오디오 정보는, 인지 모듈 작성기 (cognitive module composer)(534)에서, 감정 합성 해석기 (530)에 의해 제공되는 복합 감정과 결합되고, 프로세서 또는 마이크로프로세서 상에서 구현되고 인지 감각 메모리 (cognitive sensory memory)(540)에 인지 감각 모듈로서 저장된다. 예시적인 실시례에서, 인지 감각 모듈은 인지 감각 메모리 (540)에 형성된 VI, AI 및 EI를 포함한다.
도 5b는 예시적인 실시례에 따른 인지 감각 메모리 또는 모듈을 구축하는 방법을 도시하는 흐름도이다. 도 5b에 보인 바와 같이, 인지 시스템은 예를 들어 도 1을 참조하여 상술한 헤드셋 (1)을 사용하여, 5001 단계에서 시각, 음성 및 감정적 데이터를 수신한다 ("Receiving Visual, Auditory and Emotional Data"). 5002 단계에서, 감정 페이지 스페이스 재구성 (PSR: phase space reconstruction)은 감정 센서로부터 수신된 감정 데이터에 기초하여 일어난다 ("Phase Space Reconstruction PSR"). 5003 단계에서 SVM (Support Vector Machine)을 이용하여 감정을 분류한다 ("Emotion Classification Using SVM"). 즉, 예시적인 실시례에서, 감정 데이터는 신호들 ET01 - ET12을 생성하도록 처리된다. 5004 단계에서, 감정 합성 해석은 생성된 신호 ET01 - ET12의 성분의 값을 결정한다 ("Emotion Composite Interpreting"). 5005 단계에서, 세심한 감정 수치(attentive emotion value)는 임계치(TH: threshold value)와 비교되고 ("Attentive Emotion > TH?"), 세심한 감정 수치가 임계치를 초과하지 않으면 5008 단계에서 입력 데이터는 무시된다 ("Ignore Input Data"). 그렇지 않은 경우, 단계 5006에서 인지 감각 모듈 또는 메모리가 입력 데이터를 포함하여 구성되고 ("Composing Cognitive Sensory Module"), 5007 단계에서 구성된 복합 인지 감각 모듈이 인지 감각 메모리에 저장된다 ("Save Module in Cognitive Sensory Memory").
도 6은 본 발명의 일 실시례에 따른 인지 감각 생성기를 나타낸 블록도이다.
예시적인 실시례 및 도 6에 보인 바에 따르면, 사용자 (user)(601)는 환경 (environment)(602)과 상호 작용한다. 환경 (602)과의 상호 작용은 운동 감각 (kinaesthetic) 입력 (612), 미각 (gustatory) 입력 (610), 후각 (olfactory) 입력 (608), 청각 (auditory) 입력 (606) 및 시각 (visual) 입력 (604)을 사용자 (601)에게 제공할 수 있다. 예를 들어, 사용자는 레스토랑의 테이블에 앉아서, 그의 마음은 하나 이상의 다양한 입력을 받을 수 있다. 예를 들어, 사용자는 웨이터가 스파게티로 가득 찬 맛있는 접시를 들고 다가와서 그 앞의 식탁에 놓는 것을 관찰할 수 있다. 웨이터가 "너의 스파게티, 선생님!"이라고 말할 것이다. 이것은 단지 일례일 뿐이며 제한으로 제공되지는 않는다. 그의 접시 위의 음식이 맛있다 (미각 입력)거나 냄새가 좋다 (후각 입력)는 것을 포함하는 사용자가 취할 수 있는 많은 다른 감각 정보를 얻을 수 있으며, 사용자는 접시가 더러운지 (시각 입력)나 접시 및/또는 음식물이 뜨거운지 (운동 감각 입력)를 추가로 관찰할 수 있으며, 사용자는 접시로부터 나오는 지글거리는 소리 (청각 입력)를 추가로 인지할 수도 있다. 환언하면, 예시적인 실시례에서, 환경 (602)과의 상호 작용은 실시간으로 그의 마음에 의해 처리되는 다양한 감각 입력을 사용자 (601)에게 제공한다. 사용자의 두뇌에 제공되는 다양한 감각 입력은 감정 신호를 생성한다. 예를 들어, 사용자는 그가 그 음식을 좋아한다고 느낄 수 있다. 센서는 증가된 EEG 활동을 검출할 것이며, 조성물 감정 (ET03)은 도 6에 도시된 바와 같이 감정 발생기로 매우 높은 값을 가질 수 있다. 이렇게 높은 감정 신호는 시스템이 위에서 설명한 대로 모든 실시간 시각, 청각 및 감정 정보를 그 감각 메모리에 기록할 수 있게 한다. 나중에, 도 7을 참조하여 아래에서 보다 상세하게 설명되는 바와 같이, 감각 메모리 또는 모듈은 사용자의 의미론적 "스파게티" 도메인에 검증되고 저장되도록 통찰 생성기로 전달될 것이다. 따라서 사용자의 통찰에서 의미론적 "스파게티"는 근본적으로 개인화되어 있으며 이 정보는 "스파게티"와 관련된 주제, 생각 등을 회상할 때 사용자에게 매우 의미가 있다.
예시적인 실시례에서, 사용자는 도 1에 도시된 헤드셋 (1)과 같은 장치를 착용하고 있을 수 있고,이 장치는 예시적인 인지 감각 생성기 (cognitive sensory producer)(600)일 수 있다.
또 다른 예시적인 실시례에서, 인지 감각 생성기는 컴퓨터, 개인 보조 장치, 셀룰러 전화기와 같은 이동 장치에 인지 정보를 제공할 수 있다. 이들은 예시로서 제공되며 제한적인 것이 아니다. 예시적인 실시례가 사용자에 의해 착용되는 인지 감각 생성기 (600)를 설명하지만, 이는 일례로써 제공된다. 당업자는 인지 감각 생성기가 외부 마이크로폰 및 외부 카메라와 같은 다양한 장치 및 사용자를 관찰하는 원격 감정 센서 등의 조합일 수 있음을 쉽게 인식할 것이다.
예시적인 실시례에 따르면, 인지 감각 생성기 (600)는 하드웨어 메모리 및 선택적으로 통신 인터페이스 (communication interface)(638) 상에 구현되는 적어도 하나의 프로세서 (636) 및 버퍼 메모리 (buffer memory)(628)를 포함한다.
예시적인 실시례에서, 인지 감각 생성기 (600)는, 하드웨어 메모리, 하드웨어 프로세서, 마이크로폰, 카메라, 압력 센서 등과 같은, 다수의 하드웨어 구성 요소 및 소프트웨어 구성 요소를 포함한다.
본 발명의 일 실시례에 따르면, 관련 기술의 개인 비서와는 다르게, 인지 보조는 적어도 세 가지 감각 입력, 즉 사용자의 환경에서 획득된 시각 정보, 오디오 정보 및 사용자로부터 획득된 감정 정보에 대해 동작한다. 예시적인 실시례에서, 사용자의 인지적 세계는 그의 감정적인 세계와 통합되어있다. 메모리들에는 또한 인지 데이터에 관한 사용자의 개인적인 감정이 포함된다.
도 6에 도시된 바와 같이, 인지 감각 생성기 (600)는 예를 들어, 칠판에 교수에 의해 쓰여진 텍스트, 상점 창에 표시된 T 셔츠 등과 같은 사용자의 관찰을 캡쳐하는 카메라 (624)를 포함할 수 있다. 인지 감각 생성기 (600)는 관찰된 타겟으로부터의 음성과 같은 사용자 발화(utterance) 또는 오디오 입력을 캡쳐하기 위한 마이크로폰 (626)을 더 포함할 수 있다. 예를 들어 교수가 칠판에 그래프를 그리거나 화면에 묘사된 개념을 설명하는 동안의 교수의 목소리나 상점 창에서 광고 음악 등등.
예시적인 실시례에서, 인지 감각 생성기 (600)는 카메라 (624)를 통해 시각 정보 (VI)를, 마이크로폰 (626)을 통해 오디오 정보 (AI)를 캡쳐하고 버퍼 메모리 (628)에 캡쳐된 정보를 저장한다. 버퍼 메모리 (628)은 인간 마음의 감각 레지스터로 고려될 수 있다. 예를 들어, 버퍼 메모리 (628)의 시각적 감각 레지스터는 약 1 초의 VI를 저장할 수 있고, 청각 감각 레지스터는 약 5 초의 AI를 저장할 수 있다. 이 감각 데이터 또는 정보는 사용자가 반드시 주의를 기울이지 않을지라도 버퍼 메모리 (628)의 다양한 센서 레지스터에 저장된다. 그것은 단순히 사용자의 마지막 관찰 일 뿐이다. 환언하면, 감정 신호가 얻어지기 전에 소정의 시간 (예를 들어, 몇 초)에 일어났던 것이다. 예시적인 실시례에서, 수신된 감정 정보 이전의 1초의 시각 정보 및 5초의 오디오 정보가 사용된다. 예시적인 실시례에서, 이것은 1초의 시각 데이터 및 5초의 오디오에 응답하는 인간의 두뇌를 모방한다. 이는 제한 사항이 아닌 일례로서 제공된다. 변형으로서, 감정 신호가 수신되기 전에 얻어진 감각 데이터의 양은 예를 들어 연령에 따라 달라질 수 있다. 새로운 데이터가 카메라 (624) 및 마이크로폰 (626)으로부터 얻어지면, 버퍼 (628)에 현재 저장된 감각 데이터를 덮어 쓴다.
감정 센서 (620)에서 얻어진 감정 정보 또는 데이터 (EI)는 인지 모듈 프로세서 (cognitive module processor)(636)로 입력된다. 인지 모듈 프로세서 (636)에서는 감정 센서 (620)로부터 수신된 감정 데이터가 먼저 처리되어 감정 합성 해석기 (630)에 의해 감정 정보를 발생시킨다. 예시적인 실시례에서, 다양한 센서로부터 수신된 감정 데이터는 감정 정보의 유형을 획득하기 위해 기준값과 비교되고, 다양한 유형의 감정을 포함하는 합성 감정이 그 대응 값으로 생성된다. 다음으로, 각 감정 유형에 대한 주파수의 피크 또는 진폭의 폭 또는 이들의 조합이 임계치와 비교된다. 예시적인 실시례에서, EI는 감정 임계 필터 (emotion threshold filter)(632)에 의해 임계치와 비교되어 두뇌 활동 또는 사용자의 감정을 검출한다. 예시적인 실시례에서, 높은 감정은 사용자에게 의미 있는 정보를 나타내며, 이는 저장되어야 한다. 따라서, 예시적인 실시례에서, 감정 임계 필터 (632)는 사용자에게 특정한 의미 있는 정보 입력을 검출한다. 예를 들어, 사용자가 관찰되는 대상에 관한 정보에 관심이 있고, 관심을 가졌으며, 좋아한다면, 이는 인지 감각 메모리 (cognitive sensory memory)(640)에 저장될 것이고, 통신 인터페이스 (communication interface)(638)에 의해 출력될 수 있다. 이와 같이, 검출된 감정 신호는 트리거로서 작용하여 버퍼 메모리 내의 감각 데이터를 처리하여 사용자에게 의미 있는 인지 감각 모듈을 만들어낸다.
인지 감각 모듈은 예를 들어 통신 인터페이스 (638)를 통해 메모리 용량이 가득 차고 삭제될 필요가 있을 때까지 인지 감각 메모리 (640)에 저장되거나 별도의 장치에 백업된다. 통신 인터페이스 (638)가 인지 모듈 프로세서 (636)의 일부로서 도시되었지만, 당업자라면 통신 인터페이스 (638)가 예시적인 실시례에 따라, 개별 구성요소이거나 네트워크 카드와 같은 하드웨어 및 소프트웨어의 조합일 수 있다는 것을 쉽게 인식할 것이다. 예시적인 실시례에서, 버퍼 메모리 (628) 및인지 모듈 프로세서 (636)는 전자 보드 (650) 상에 구현된다.
중요 정보는, 도 7과 관련하여 보다 상세하게 기술되는 바와 같이, 사용자의 마음의 장기 메모리에 투입될 수 있다. 장기 메모리에 정보를 투입하기 위하여, 사용자는 그것을 연습하고, 강요하고, 감각 데이터를 외워서 장기 메모리에 저장해야 한다. 단순히 감각 데이터에 주의를 기울이는 것만으로는 충분하지 않을 수도 있지만 사용자가 뇌의 장기 메모리에 정보를 저장하기 위해 추가 노력이나 작업이 필요하다. 예시적인 실시례에서, 단기 메모리는 그들이 검증된 경우, 예를 들어, 관심 또는 이해 수준이 재측정되는 경우, 장기 메모리에 투입된다. 즉, 메모리의 단기 영역에 저장된 인지 감각 메모리는 새로운 메모리를 받으면 변화할 수 있다. 이러한 인지 감각 메모리는 다음과 같이 장기 메모리에 저장될 수 있다.
예시적인 실시례에서, 센서 S1 - S12에 의해 출력된 값에 기초하여, 사용자가 정보를 기억하고 인간의 마음과 유사하게 추가 노력을 하고 있다고 결정될 수 있고, 정보는 도 7과 관련하여 설명되는 바와 같이 장기 메모리에 투입될 수 있다.
도 7은 예시적인 실시례에 따른 인지 통찰을 생성하도록 구성된 인지 통찰 생성기 (cognitive insights producer)(700)를 도시하는 블록도이다. 인지 통찰 생성기는 CPU (722), 인지 작업 프로세서 (cognitive working processor)(711), 장기 메모리 (long-term memory)(730), 감정 정보 생성기 (emotion information generator)(70) 및 인지 작업 디스플레이 (cognitive working display)(707)를 포함한다. 예시적인 실시례에 따른 장기 메모리 (long-term memory)(730)는 에피소드 (episodic) 메모리 (724), 의미론적 (semantic) 메모리 (726) 및 생각 (thoughts) 메모리 (728)을 포함할 수 있다. 인지 작업 프로세서 (711)는 인지 작업 센터 (cognitive working center)(716), 등록 메모리 (registering memory)(712), 미완료 작업 메모리 (uncompleted working memory)(714) 및 예정된 메모리 (scheduled memory)(720)를 포함한다. 인지 통찰 생성기 (700)는 감정 정보 생성기 (70)를 포함해서, 사용자 (7)로부터 감정 입력 (emotional input)(705)을 수신한다.
예시적인 실시례에서, 인지 통찰 생성기 (700)는 카메라 및 마이크로폰으로부터의 시각 및 오디오 데이터와 함께 동작하지 않고 대신에 시스템에 제공된 기존의 시각 및 오디오 정보와 함께 동작하여 인지 작업 디스플레이 (707) 상에 표시된다. 감정 정보 (EI)는 감각 생성기 (600)가 하는 것과 동일한 방식으로, EI 생성기 (70)에 의해 생성된다. 도 6에 도시된 감각 생성기 (600)를 사용할 때, 사용자는 환경으로부터 VI 및 AI를 수신하여 EI를 생성하고, 생성기 (700)에서 사용자는 스크린을 보고 스피커를 경청하여 EI를 생성한다. 인지 작업 디스플레이 (707)는 인지 작업 메모리 (718)로부터의 데이터를 표시한다.
구체적으로, 예시적인 실시례에서, 사용자 (7)는 사용자 (7)에게 시각 데이터 (704) 및 청각 데이터 (706)를 제공하는 인지 작업 디스플레이 (707)를 본다. 환경에 대한 사용자의 관찰에 기초하여, 감정 생성기 (emotion generator)(G7)는 감정 (705)을 생성한다. 인지 통찰 생성기는 감정 정보 생성 기 (emotion information generator) (70)에 의해 감정 데이터 (705)를 수신하여 감정 정보 (EI)를 생성한다.
예시적인 실시례에 따르면, 감정 정보 생성기 (70)는 사용자의 감정을 감지하는 감정 센서 (emotion sensors)(72)를 포함한다. 당업자는 이것이 예로서 제공되고 제한이 아니라는 것을 용이하게 이해할 것이다. 감정 센서 (72)는 인지 통찰 생성기 (700)의 외부에 있을 수 있다. 다음으로, 감정 정보 생성기 (70)는 감정 센서 (72)에 의해 출력된 신호를 처리하고 다양한 유형의 감정 정보를 생성하는 감정 합성 해석기 (emotion composite interpreter)(73)를 더 포함한다.
도 8은 본 발명의 일 실시례에 따라 감정 신호를, 인지 작업 정보와 사용자의 인지 통찰의 감정적인 상관 관계를 반영한 다양한 감정으로 분류하기 위한 다이어그램 테이블을 나타낸 도면이다. 도 8에 도시된 바와 같이, 사용자 (8)의 감정 생성기 (emotion generators)(G8)는 {감정 센서 (72)와 유사하게} 감정 센서 (emotion sensors)(820)에 의해 감지되는 상관적인 감정 및 집행 감정과 같은 다양한 감정을 생성한다. 감정 합성 해석기 (73) {도 8의 감정 합성 해석기 (830)로 도시됨}는 센서로부터의 입력을 분석하고 일례로서 대응하는 값을 갖는 ET01 … ET12를 포함하는 감정 정보 (EI) (83)를 생성한다.
도 7에 도시된 바와 같이, 감정 정보 생성기 (70)는 생성된 감정 정보 (EI, 83)를 입출력 인터페이스 (710)로 전달하는 한편 생성된 감정 정보 (EI, 83)를 인지 작업 프로세서 (711)로 제공하는 통신 인터페이스 (78)를 갖는다. 생성된 감정 정보는 등록 메모리 (712)에 저장될 수 있다.
도 7에 도시된 바와 같이, 인지 감각 모듈 (EI와 결합된 시각 및 청각 정보를 포함할 수 있음)은 등록 메모리 (712)에 등록된 후, 후술하는 바와 같이 인지 작업 디스플레이(705) 상에 표시되는 사용자의 감정 및 장기 메모리의 그 상관 정보에 기초하여 인지 작업 센터 (716) 내의 인지 작업 메모리 (718)에 의해 검증되거나 재분류될 수 있다.
인간의 뇌에는 작업 메모리가 포함되어, 눈과 귀에서 직접 받은 단기 기억을, 장기 메모리에서 회상되는 관련 정보와 함께 보관하다가, 필요한 경우 정신 작동을 수행한다. 예를 들어, 2+3의 연산을 수행하기 위해, 인간의 두뇌는 2와 3과 +의 시각 정보를 칠판으로부터 작업 메모리로 직접 얻는다. 2, 3 및 +의 의미론적 의미는 텍스트 "2", 2 개의 손가락, 2 개의 사과, 텍스트 "3", 3 개의 손가락, 3 개의 사과, 텍스트 "더하기", 아버지 및 어머니, 함께, 등등은 장기 메모리로부터 시각적으로 회상되어야 한다. 예를 들어, 5 세 소년의 인간 마음은 이러한 모든 의미론을 인지 작업 디스플레이로 종이에 그릴 수 있다. 그런 다음, 의미론 5는 그의 작업 메모리에서 회상되고 그는 종이에 답 5를 쓸 수 있다.
예시적인 실시례에서, 인간의 마음을 모방하기 위해, (하드웨어 프로세서에 의해 실행되는) 인지 작업 센터 (716)가 제공되며, 이는 등록 메모리 (710)에 등록된 메모리를 획득한 다음, 그것들을 인지 작업 디스플레이 (707)에 표시하고 그것들을 후술하는 바와 같이, 장기 메모리의 다양한 메모리로부터 얻어진 업데이트된 상관 관계로 수집된 업데이트된 감정 정보에 기초하여 검증한다.
인식 작업 디스플레이 (707)와 함께 인지 작업 센터 (716)는 인간의 마음 속에 있는 안쪽 목소리 (inner voice) 및 안쪽 눈 (inner eye)으로 생각될 수 있다. 인지 작업 센터 (716)는 의식적인 통찰 및/또는 생각을 계획하고 생성하고 나중에 회상하고 미래의 생각을 처리하기 위해 장기 메모리 (730)에 저장한다. 또한, 소셜 미디어, 인터넷 등을 통해 네트워크 (702)를 통해 다른 친구들과 의식적 통찰 및/또는 생각을 공유할 수 있다.
도 7에 도시된 바와 같이, 인지 작업 센터 (716)는 생성된 인지 감각 메모리 또는 모듈을 수신하여 인지 작업 디스플레이 (707) 상에 표시되도록 보낸다. 사용자는 인지 작동 디스플레이 (707) 상에 표시된 인지 모듈을 검토하여 감정을 생성하고, 이것이 다음에 감정 정보 생성기 (70)에 의해 감정 정보 (EI)로 처리된다. 감정 작업 센터 (716)는 감정 정보 (EI)를 분석하여, 도 8에 보인 바와 같이 수신된 감각 정보 (VI 및 AI)에 응답하여 사용자에 의해 경험되는 다양한 유형의 감정을 결정한다.
일례로, 인식 작업 센터 (716)는 당 업계에 공지되거나 나중에 개발될, 객체를 시각 정보로 추출하는 이미지 인식 기술을 사용하고, 당 업계에 공지되거나 나중에 개발될 음성-텍스트 변환 기술을 사용하여, VI 및 AI에서 구현되는 객체의 보다 상세한 사양을 추출할 수 있다. 인지 작업 센터 (716)는 그 후 분류된 VI 및 AI 및 EI를 결정된 유형의 감정 신호와 함께 장기 메모리의 영역 중 하나에 저장한다. 예를 들어, 인식 작업 센터 (716)가, EI가 ET01, ET02, ET09 및 ET10에서 높은 값을 가지면서 ET01이 가장 높은 것으로 결정하면, 인지 감각 모듈 (VI, AI 및 E)이 (도 8에 도시한 바와 같이) 카테고리 LOVE 아래에 있는 장기 메모리 (MD1)에 의미론적 도메인 (726) MD01로 저장된다.
도 7에 도시된 바와 같이, 장기 메모리 (730) (도 8의 MD1)는 VI 및 AI 정보에 응답하여 사용자에 의해 호출된 대응하는 감정을 포함하는 에피소드 메모리를 저장하는 에피소드 영역 (724)을 포함 할 수 있다. 에피소드 영역 (724)은 사용자를 위해 호출된 감정을 포함하여 이벤트 및 개인 경험을 저장한다. 즉, 예시적인 실시례에서, 에피소드 메모리는 모든 메모리 (의미 영역에도 저장될 수있는 것들)를 포함하지만, 이들 메모리는 시간 순으로 저장된다. 예를 들어, 사용자는 이 에피소드 영역 (724)으로부터 작년 연례 회의에 관한 정보를 회상할 수 있다.
예시적인 실시례에서, 인지 작업 디스플레이 (707)는 일례로서 인지 감각 메모리 (740)로부터 또는 등록 메모리 (712)로부터 회상된 VI 및 AI를 표시한다. 그러나, 디스플레이 (707) 상에 표시된 정보는 클래스에서 보고 듣고 있었던 정보와는 다를 수 있다. 가정에서, 사용자는 디스플레이 (707) 상의 클래스에서 획득된 동일한 VI 및 AI를 리뷰할 수 있고, 의미론 또는 토픽을 검토함으로써, 깊은 이해 및/또는 높은 자신감 레벨과 같은, 사용자의 통찰과의 더 많은 상관 관계를 구축할 수 있다. 예시적인 실시례에서, 적어도 자신감 감정이 높은 상태에 있음으로써, 인지 작업 센터 (716)는 시스템이 인지 감각 모듈을 장기 메모리에 저장할 수 있게 할 수 있다. 만일 센터 (716)가 다른 긴급 태스크와 함께 동작해야 하는 동안 자신감과 명백한 감정이 낮으면, 작업 메모리가 긴급 태스크를 완료할 때 추가 회상 및 처리를 위해 인지 정보가 미완료 작업 메모리 (714)에 저장된다.
또 다른 예로, 도 8에 보인 바와 같은, 경찰 (MD02-사람), 피자 (MD03-음식), 차 (MD04-물건), 코끼리 (MD05-동물), 나무 (MD06-식물), 비 (MD07-현상), 먹는 (MD08-프로세스) 등의 도메인 MD01 → MD06을 사용하여 간단한 의미론을 연구하면, 학습된 의미론은 각각의 도메인에 저장되며, 가장 높은 선호도 (가장 좋아하는 항목)는 해당 도메인의 최상위에 위치한다. 사용자가 도메인 (장기 메모리)을 회상하면, MD01 → MD08에 대한 8 개의 아이콘을 갖는 메뉴 스크린이 디스플레이 (707)를 통해 사용자에게 제공된다. 그가 음식에 대해 생각하면 아이콘 MD03을 선택하고 초콜릿의 의미 (초콜릿을 가장 좋아하는 경우)가 나타난다. 이것은 단지 일례일 뿐이며 제한으로 제공되지는 않는다. 예시적인 실시례에서, 사용자는 장기 메모리의 다양한 영역으로부터 자신이 가장 좋아하는 음식, 사람 등을 회상할 수 있다.
다른 예로서, 사용자가 복잡한 의미를 연구하는 경우. 그것은 생각으로 간주되며 그 중요성이나 이점에 대한 감정과 관련된다. 예를 들어, 사용자가 새로운 프로세스 또는 새로운 비즈니스 계획의 디자인을 완료하면 모든 ET09 (자신감), ET10 (명백한) 및 ET11 (원하는)이 높은 수준에 있는 복잡한 완성된 생각이 된다. 그러나 디자인 (또는 계획)을 사용자가 최근 시장에서 유망하게 유용한 것으로 매우 바람직하게 느꼈다면, 사용자의 감정 ET11은 ET9, ET10과 비교할 때 가장 높은 값을 갖고 (그는 디자인 (또는 계획)에 대해 매우 자신 있고 분명하지만 그의 욕망의 감정, 그의 희망은 위의 감정의 3가지 유형에서 가장 높은 레벨에 있음), 이 생각은 MD11 도메인 - 욕망의 생각의 도메인에 저장될 수 있다. 일반적으로 이러한 유형의 생각은 개인의 "희망", "신념" 및 "욕망"으로 명명된다. 그들은 보통 우리 마음의 꼭대기에 있다.
탐험 감정은 인간의 본능으로부터 유래한다. 예시적인 실시례에서, 학생이 10 개의 개념을 연구하면, 인지 작업 센터 (716)는 이러한 개념을 생각 영역 (728)에 저장할 수 있으며, 사용자는 가장 잘 아는 개념을 MD09의 최상부에 갖고, 가장 어렵고 가장 지루한 개념과, 시험에서 떨어지는 가장 높은 위험도를 가진 개념을 도메인 MD12의 최상부에 갖는다. 개념은 센서 S1 S16와 같은 센서에 의해 측정된 사용자의 감정 상태에 기초하여 분류된다. 생각 영역 (728)은 사용자의 다양한 생각을 정의한다.
장기 메모리 (730)의 의미론적 영역 (726)은 사람 MD02, 음식 MD03, 물건 MD04 등을 정의할 수 있다. 예를 들어 MD04에 대한 의미론적 메모리 영역은 의류, 주택 등과 같은 많은 하위 영역으로 나눌 수 있다. 각 도메인에서 사용자가 도메인을 회상할 때 즐겨 찾는 하위 도메인이 가장 위에 있다. 예를 들어, 사용자가 메뉴에서 "MD04" 아이콘을 선택하면, 메뉴 화면에 자동차, 주택, 골프 아이콘이 나타난다.
장기 메모리 (730)는 일례로써 및 제한이 아닌 것으로, 다양한 영역으로 논리적으로 분할될 수 있다. 부분 분할은 물리적인 것이거나 별도의 메모리가 사용되어 인간의 마음 속에 있는 다양한 영역의 메모리를 모방하는 것일 수도 있다.
인지 작업 프로세서 (711)는 또한 예정된 메모리 (720)를 포함한다. 예정된 메모리 (720)는 미리 결정된 시간에 인지 작업 센터 (716)에 의해 실행되도록 완료된 특정 토픽을 저장할 수 있다. 예를 들어, 사용자는 예정된 메모리 (720)에 오전 8시, 월요일 회의 준비 또는 오전 10시 화요일 판매 계약 제출을 저장할 수 있다. 미리 결정된 시간에 실행된 후, 이들 주제는 정상적으로 완료된 주제처럼 장기 메모리 (730)에 저장될 것이다. 따라서, 예시적인 실시례에서, 인지 작업 메모리 (718)에서 완료된 토픽 또는 생각은 그것이 한 세트의 스케줄 노트로 구현된다면 장기 메모리 (730) 대신에 예정된 메모리 (720)로 이동될 수 있다.
도 9는 예시적인 실시례에 따른 인지 통찰을 생성하는 방법을 도시하는 흐름도이다.
예시적인 실시례에서, 사용자는 단계 9001에서 주제를 선택할 수 있다 ("Input Topic"). 단계 9002에서 인지 동작 디스플레이에 의해 주제가 표시될 수 있다 ("Display Topic"). 사용자는 단계 9003에서 주제 배경을 검토하고 상관 관계가 정의된다 ("Review Topic Background/Define Correlations"). 상관 관계는, 입력된 주제가 2라면, 2 개의 손가락, 2 개의 부모를 포함할 수 있다. 단계 9004에서, 상관된 통찰이 장기 메모리로부터 회상되고 회상된 상관 통찰이 표시된다 ("Retrieving Correlated Insights"). 사용자가 표시된 토픽을 검토하는 동안, 감정 정보가, 예를 들어, 자신감, 분명함, 관심, 욕망, 호기심 등과 같은 사용자의 감정 상태에 기초하여 생성된다. 획득된 감정 정보 (EI)는 기준 상태와 비교된다. 일례로서, 단계 9006에서 획득된 ET09 및/또는 ET10과 기준 샘플 간의 구별이 사전 설정된 임계치 TH 이상인 경우 ("ET09, ET10 > TH"), 시스템은 단계 9007에서 인지 모듈 내용에 스케줄이 설정되는지 여부를 더 검사한다 ("Schedule is Set"). 스케줄이 설정되지 않으면, 정보는 나중에 회상하기 위해 단계 9010에서 장기 메모리에 저장된다 ("Save Information in Long-term Memory"). 스케줄이 설정되면, 정보는 설정된 시간에 처리를 위해 단계 9008에서 예정된 메모리에 저장된다 ("Save Information in Scheduled Memory").
다음으로, ET09와 ET10 및 기준 샘플들 사이의 구별이 둘 다 임계치 이하인 경우, 예를 들어, 사용자는 주제를 아직 이해하지 못했고, 더 생각할 시간이 필요하고, 더 많은 상관 관계를 얻어야 하고, 보다 신뢰성 있는 증거가 필요하다면, 예를 들어, 주제가 더 많은 처리를 필요로 한다면, 시스템은 단계 9009에서 작업 메모리가 이용 가능한지를 검사한다 ("Working Memory Availability"). 단계 9009에서 작업 메모리가 이용 가능한 경우, 시스템은 주제가 이해되고 완료될 때까지 표시 및 추가 처리를 위해 단계 9002로 미완료 주제를 리턴한다. 한편, 단계 9009에서 작업 메모리가 이용 가능하지 않은 경우, ET11 및 ET12 값은 중요한 레벨에 대해 정의되고, 이후 처리를 위해 미완료 메모리에 저장된다 ("Save Information in Uncompleted Memory").
다른 예로서, 사용자는 자신이 좋아하는 모든 쇼핑 아이템을 회상함으로써 자신의 쇼핑 경험을 검토하도록 요청할 수 있다. 사용자는 도 7에 도시된 인지 통찰 생성기 (700)와 같은 인지 통찰 생성기 (CIP)에게 감각 기억을 전달할 수 있다. CIP는 수신된 센서 메모리를 시간 순서대로 등록 메모리에 저장한다. 그러면 프로세서 (711)는 ET04 값 순서로 재목록화할 수 있다. 사용자는 감정 ET04의 값에 따라 가장 좋아하는 것부터 가장 덜 좋아하는 것까지 가장 좋아하는 항목이 목록 위에 표시되는 감독된 목록을 갖게 된다.
다양한 예시적인 실시례에 따르면, 인지 모듈 프로세서는 개량되고 개인적인 인간의 마음으로 기능할 수 있다. 대응하는 감정 정보와 함께 장기 메모리에 저장된 기준 메모리에 기초하여, 인지 모듈 프로세서는 "이것을 먹지 마라, 너는 브로콜리를 좋아하지 않는다"와 같은 경보를 출력하거나 또는 다음과 같은 사용자에 대한 인지 통찰을 출력할 수 있다: "나는 존이야, 너는 스포츠 카페 A에서 존과 농구를 보고 싶어". 또한, 인지 모듈 프로세서는 수신된 감각 데이터에 기초하여 소정의 동작을 실행할 수 있다. 예를 들어, 인지 모듈 프로세서는 사용자가 교통 사고를 당했다고 (높은 공포 감정 레벨로) 판정하면 911로 전화하라고 신호를 보낼 수 있다. 인지 모듈 프로세서는 사용자가 앤을 그리워한다는 것을 결정하면 앤에게 텍스트 메시지를 생성할 수 있는 등이다.
다양한 예시적인 실시례에 대한 설명은 설명의 목적으로 제시되었지만, 개시된 실시례에 국한하거나 제한하려는 목적은 아니다.
기술된 실시례의 범위 및 사상을 벗어나지 않으면서 당업자에게 많은 변화가 명백할 수 있다. 본 명세서에서 사용된 용어는 실시례들의 원리, 시장에서 발견된 기술에 대한 실용적인 적용 또는 기술적 개선을 가장 잘 설명하거나 당업자가 본 명세서에 개시된 실시례들을 이해할 수 있도록 선택되었다.
예시적인 실시례에서, 인지 모듈 프로세서는 유형의 (tangible) 컴퓨터 판독가능 매체 상에 구현 될 수 있다. 본 명세서에 사용된 용어 "컴퓨터-판독가능 매체"는 실행을 위해 프로세서에 명령을 제공하는데 참여하는 임의의 매체를 지칭한다. 컴퓨터 판독가능 매체는 예를 들어, 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 장치, 또는 전술한 것의 임의의 적합한 조합일 수 있지만, 이에 한정되는 것은 아니다. 컴퓨터 판독가능 매체의 보다 구체적인 예 (비-한정적인리스트)는 다음을 포함한다: 2 개 이상의 와이어를 갖는 전기적 접속, 플로피 디스크 또는 플렉시블 디스크와 같은 휴대용 컴퓨터 디스켓, 자기 테이프 또는 임의의 다른 자기 매체, 하드 디스크, 랜덤 액세스 메모리 (random access memory: RAM), 리드-온리 메모리 (read-only memory: ROM), 이레이저블 프로그래머블 리드-온리 메모리 (erasable programmable read-only memory EPROM 또는 플래시 메모리 - Flash memory), 메모리 카드, 임의의 다른 메모리 칩 또는 카트리지, 광섬유, 휴대용 컴팩트 디스크 리드-온리 메모리 (portable compact disc read-only memory: CD-ROM), 임의의 다른 광학 매체, 펀치 카드 (punchcards), 페이퍼테이프 (papertape), 구멍의 패턴을 갖는 임의의 다른 물리적 매체, 또는 컴퓨터가 판독할 수 있는 임의의 다른 매체 또는 상기한 것의 적절한 조합.
이 문서의 문맥에서, 컴퓨터 판독가능 매체는, 명령 실행 시스템, 장치 또는 소자에 의해 또는 그와 관련하여 사용하기 위한 프로그램을 포함하거나 저장할 수 있는, 임의의 유형의 비일시적인 매체일 수 있다.
다른 형태는 신호 매체이고, 예를 들어 기저 대역 또는 반송파의 일부로서 컴퓨터 판독가능 프로그램 코드가 내장된 전파된(propagated) 데이터 신호를 포함할 수 있다. 이러한 전파된 신호는 전자기, 광학 또는 이들의 임의의 적절한 조합을 포함하지만 이에 제한되지 않는 다양한 형태 중 임의의 것을 취할 수 있다. 신호 매체는 데이터 버스를 포함하는 와이어를 포함하는 동축 케이블, 구리 와이어 및 광섬유를 포함할 수 있다. 신호 매체는 컴퓨터 판독가능 저장 매체가 아니며 명령어 실행 시스템, 장치 또는 소자에 의해 또는 관련하여 사용하기 위해 프로그램을 전달, 전파 또는 전송할 수 있는 임의의 매체일 수 있다.
컴퓨터 판독가능 매체 상에 구현된 프로그램 코드는 무선, 유선, 광섬유 케이블, RF 등 또는 임의의 적절한 조합을 포함하는 임의의 적절한 매체를 사용하여 전송될 수 있다.
예시적인 실시례의 양태들에 대한 동작들을 수행하기 위한 컴퓨터 프로그램 코드는 자바, 스몰 토크(Smalltalk), C++, .Net 등과 같은 객체 지향 프로그래밍 언어 및 종래의 절차형 프로그래밍 언어들 (procedural programming language)을 포함하는 하나 이상의 프로그래밍 언어들 중 하나 이상으로 작성될 수 있다. 프로그램 코드는 전체적으로 사용자의 컴퓨터에서, 부분적으로 사용자의 컴퓨터에서 독립 실행형 소프트웨어 패키지 (stand-alone software package)로, 부분적으로 사용자 컴퓨터에서 부분적으로 원격 컴퓨터에서 또는 전체적으로 원격 컴퓨터 또는 서버에서 실행될 수 있다. 원격 컴퓨터는 LAN (Local Area Network) 또는 WAN (Wide Area Network)을 포함하여 모든 종류의 네트워크를 통해 사용자의 컴퓨터에 연결되거나 (일례로 인터넷 서비스 제공자를 이용하여 인터넷을 통해) 외부 컴퓨터와 연결될 수 있다.
컴퓨터 판독가능 매체는 본 명세서에 설명된 방법 및/또는 기술 중 임의의 것을 구현하기 위한 명령을 전달할 수 있는 기계 판독 가능 매체의 일례에 불과하다. 이러한 매체는 비휘발성 매체 및 휘발성 매체를 포함하지만 이에 한정되지 않는 많은 형태를 취할 수 있다. 비휘발성 매체는 예를 들어 광학 또는 자기 디스크를 포함한다. 휘발성 매체에는 동적 메모리가 포함된다.
컴퓨터 판독가능 매체의 다양한 형태는 실행을 위해 CPU와 같은 프로세서에 하나 이상의 명령의 하나 이상의 시퀀스를 전달하는 것과 관련될 수 있다. 예를 들어, 명령은 초기에 원격 컴퓨터로부터 자기 디스크 상에 운반될 수 있다. 또는 원격 컴퓨터가 동적 메모리에 명령을 로드(load)하고 모뎀을 사용하여 전화선을 통해 명령을 보낼 수 있다. 컴퓨터 시스템의 로컬 모뎀은 전화선에서 데이터를 수신하고 적외선 송신기를 사용하여 데이터를 적외선 신호로 변환할 수 있다. 적외선 탐지기는 적외선 신호로 전송된 데이터를 수신할 수 있으며 적절한 회로가 데이터 버스에 데이터를 배치할 수 있다. 버스는 데이터를 휘발성 스토리지로 운반하며, 프로세서는 이를 통해 명령어를 회상하고 실행한다. 휘발성 메모리에 의해 수신된 명령은 선택적으로 프로세서에 의한 실행 전후에 영구 저장 장치 상에 저장될 수 있다. 명령어는 또한 당 업계에 공지된 다양한 네트워크 데이터 통신 프로토콜을 사용하여 인터넷을 통해 컴퓨터 플랫폼으로 다운로드될 수 있다.
도면의 흐름도 및 블록도는 다양한 예시적인 실시례에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 가능한 구현의 구조, 기능 및 동작을 도시한다. 이와 관련하여, 흐름도 또는 블록도의 각 블록은 특정 논리 기능을 구현하기 위한 하나 이상의 실행 가능 명령어를 포함하는 모듈, 세그먼트 또는 코드 부분을 나타낼 수 있다. 또한, 일부 대체 구현 예에서, 블록에서 언급된 기능들은 도면들에서 언급된 순서를 벗어나 발생할 수 있음에 유의해야 한다. 예를 들어, 연속적으로 도시된 2 개의 블록은 사실상 실질적으로 동시에 실행될 수 있거나, 관련된 기능에 따라 때때로 2 개의 블록이 역순으로 실행될 수 있다. 또한, 블록도 및/또는 흐름도의 각 블록, 및 블록도 및/또는 흐름도의 블록의 조합은 특정 기능 또는 동작을 수행하는 특수 목적 하드웨어 기반 시스템에 의해 구현될 수 있으며, 또는 특수 목적 하드웨어 및 컴퓨터 명령의 조합을 포함할 수 있다.
본 명세서에서 사용된 용어는 특정 실시 양태 만을 설명하기 위한 것이며 제한하려는 것은 아니다. 여기에서 사용된 단수 형태 "a", "an" 및 "the"는 문맥상 다르게 지시하지 않는 한 복수 형태를 포함하고자 한다. 본 명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"이라는 용어는 명시된 특징 (features), 완전체 (integers), 단계 (steps), 동작 (operations), 요소 (elements) 및/또는 구성 요소 (components)의 존재를 나타내지만, 하나 이상의 다른 특징, 완전체, 단계, 동작, 요소, 구성 요소 및/또는 이들의 그룹을 배제하지 않는다.
아래의 청구 범위에서 모든 수단 또는 단계와 기능 요소의 대응하는 구조, 재료, 작용 및 균등물은 구체적으로 청구된 다른 청구된 요소와 조합하여 기능을 수행하기 위한 임의의 구조, 재료 또는 행위를 포함한다.
예시적인 실시례의 설명은 예시 및 설명의 목적으로 제시되었지만, 어떤 형태로든 그에 국한하려거나 제한하려는 것은 아니다. 본 발명의 범위 및 사상을 벗어나지 않으면서 당업자에게 많은 변형 및 변화가 명백할 것이다. 예시적인 실시례는 동작 및 그 실제 응용을 설명하고 당업자가 고려된 특정 용도에 적합한 다양한 변형예를 갖는 다양한 실시례를 이해할 수 있도록 선택 및 설명되었다. 즉, 이들 실시례들에 대한 다양한 수정들이 당업자에게 용이하게 명백할 것이며, 본 명세서에서 정의된 일반적인 원리들 및 특정 예시들은 발명하려는 노력을 사용하지 않고 다른 실시례들에 적용될 수 있다. 예를 들어, 상술한 상이한 실시례의 특징의 일부 또는 전부는 단일 실시례로 결합될 수 있다. 반대로, 상술한 단일 실시례의 특징 중 일부는 실시례에서 삭제 될 수 있다. 따라서, 본 명세서는 본 명세서에 설명된 예시적인 실시례들에 한정되는 것이 아니라, 청구 범위 및 그 등가물의 특징들에 의해 정의된 가장 넓은 범위에 따른다.

Claims (22)

  1. 사용자에 의해 관찰된, 동기화된 시각 및 오디오 정보를 포함하는, 환경에 관한 데이터를, 실시간으로 캡쳐하도록 구성된 적어도 하나의 메카니즘과;
    캡쳐된 동기화된 시각 및 오디오 정보에 대응하는, 사용자의 감정 상태를 캡쳐하도록 구성된 적어도 하나의 센서와;
    상기 캡쳐된 감정 상태에 기초하여 상기 사용자의 환경의 개인적인 의미(personal meaning)를 식별하도록 구성된 프로세서와;
    식별된 개인적인 의미에 기초할 수 있도록, 메모리의 상이한 영역에 환경에 관한 데이터와 함께 식별된 개인화된 의미(personalized meaning)를 저장하도록 구성된 메모리;를 포함하고,
    여기서, 상기 프로세서에 의해 환경의 개인적인 의미를 식별하는 것은,
    사용자의 캡쳐된 감정 상태와 데이터베이스에 저장된 기준 신호에 근거하여, 저장된 캡쳐된 동기화된 시각 및 오디오 정보로부터 사용자의 감정 신호를, 필터, 감지 및 식별하고,
    식별된 대응하는 감정 신호에 기초한 감정 코드인, 환경의 개인적인 의미를 식별하되, 식별된 대응하는 감정 코드는 식별된 대응하는 감정 신호의 구성요소와 기준 신호 사이에서 식별된 구별을 구현하고,
    식별된 대응하는 감정 코드와 대응하는 저장된 캡쳐된 동기화된 시각 및 오디오 정보를 합성하도록 인지 모듈(cognitive module)을 생성시키는 것을 포함하며,
    여기서, 메모리의 상이한 영역은, 상이한 영역이 기준 신호에 대응해서 인간 본능 메모리(human instinct memory)의 도메인을 대표할 수 있도록, 논리적으로 구분되어 있는 개인 감정-기반의 인지 보조 시스템.
  2. 제1항에 있어서,
    상기 개인화된 의미(personalized meaning)의 데이터에 기초하여 결과를 출력하도록 구성된 출력부를 더 포함하되,
    출력부는,
    결과를 저장하는 작업 메모리와,
    작업 메모리에 저장된 결과를 시각 및 오디오 정보의 형태로 적어도 하나의 디스플레이 스크린 및 오디오 스피커를 통해 출력하도록 구성된 디스플레이를 포함하되,
    여기서, 출력부에 의해 디스플레이되는 시각 및 오디오 정보는, 사용자에 의해 관찰된 시각 및 오디오 정보가 대응하는 감정 신호로 동기화된 것이고,
    여기서, 데이터의 개인화된 의미는, 식별된 대응하는 감정 신호에 기초하여 식별된 감정 코드이고,
    여기서, 작업 메모리에서의 결과는 적어도 통찰 메모리로부터 회상된 대응하는 인지 모듈(cognitive module)을 포함하고,
    여기서, 인간 본능 메모리(human instinct memory)의 도메인은 생식 도메인, 생존 도메인, 탐험 도메인을 포함하고,
    여기서, 새롭게 캡쳐된 정보에 대하여 다른 대응하는 감정 코드를 사용자가 식별하는 것에 대응하여, 프로세서는, 이러한 다른 대응하는 감정 코드에 대응하는 메모리에서의 저장된 인지 모듈을 재생하고 이렇게 새롭게 캡쳐된 정보를 작업 메모리에 저장하도록 구성되는 것을 특징으로 하는 개인 감정-기반의 인지 보조 시스템.
  3. 제1항에 있어서,
    여기서, 실시간으로 사용자에 의해 관찰된 동기화된 시각 및 오디오 정보를 캡쳐하도록 구성된, 적어도 하나의 메카니즘은 적어도 하나의 카메라와 적어도 하나의 마이크로폰을 포함하고,
    여기서, 기준 신호는 탐험 본능 기준 신호이고,
    여기서, 생성된 인지 모듈(cognitive module)은 메모리의 감각 영역(sensory areas)에 저장되는 것을 특징으로 하는 개인 감정-기반의 인지 보조 시스템.
  4. 제2항에 있어서,
    스피커 및 디스플레이를 통해 작업 시각 및 오디오 정보를 출력하도록 구성된 출력 메카니즘을 더 포함하고,
    여기서, 사용자에 의해 관찰된 동기화된 시각 및 오디오 정보는 작업 시각 및 오디오 정보이고,
    여기서, 실시간으로 사용자에 의해 관찰된 동기화된 시각 및 오디오 정보를 캡쳐하도록 구성된, 적어도 하나의 메카니즘은, 출력 메카니즘 상에 디스플레이 되는 작업 시각 및 오디오 정보를 저장하는 작업 메모리인 것을 특징으로 하는 개인 감정-기반의 인지 보조 시스템.
  5. 제1항에 있어서,
    상기 적어도 하나의 센서는 복수의 뇌파 신호를 출력하기 위해 사용자의 머리에서의 활동을 측정하는 복수의 센서를 포함하고,
    상기 프로세서는 기준 신호에 근거하여, 복수의 뇌파 신호로부터 감정 정보를 필터, 감지 및 식별하고, 복합 감정 정보를 생성하고, 생성된 복합 감정 정보를 기준 신호와 비교하고, 비교에 기초하여 데이터를 저장하도록 메모리를 제어하는 것을 특징으로 하는 개인 감정-기반의 인지 보조 시스템.
  6. 제3항에 있어서, 여기서,
    상기 적어도 하나의 센서는 상기 사용자의 다중 감정 신호를 감지하도록 구성된 복수의 센서를 포함하고,
    상기 프로세서는 감정 정보를 생성하기 위해 상기 다중 감정 신호를 처리하고 생성된 감정 정보가, 사용자가 캡쳐된 시각 및 오디오 데이터에 대해 주의를 기울이는지를 가리키는, 임계치를 초과하는지 여부를 결정하도록 추가로 구성되며,
    상기 감정 정보와 임계치를 초과하는 것을 결정하는 것에 응답하여, 생성된 인지 모듈(cognitive module)을 메모리에 형성시키고 저장하며,
    여기서, 인지 모듈은 메모리의 상이한 영역들 중에서 감각 메모리 영역에 저장되는 것을 특징으로 하는 개인 감정-기반의 인지 보조 시스템.
  7. 제6항에 있어서,
    상기 캡쳐된 동기화된 시각 및 오디오 정보를, 감정 코드를 발행하는 인간 두뇌에 앞서, 일정 기간 동안, 저장하도록 구성된 버퍼;를 추가로 포함하는 것을 특징으로 하는 개인 감정-기반의 인지 보조 시스템.
  8. 제3항에 있어서,
    상기 시스템은, 사용자가 동기화된 시각 및 오디오 정보를 관찰할 때 감각 인지 메모리를 제공하고 사용자가 출력 메카니즘의 디스플레이를 관찰할 때 시스템을 위한 감정 신호를 제공하는, 사용자가 착용하는 헤드셋인 것을 특징으로 하는 개인 감정-기반의 인지 보조 시스템.
  9. 제4항에 있어서,
    프로세서는, 캡쳐된 감정 상태가, 출력 메카니즘 상에 디스플레이되는 작업 시각 및 오디오 정보에 대해 사용자가 자신감이 있거나 분명한지를 가리키는, 다른 임계치를 초과하는지를 결정하도록 추가로 구성되고,
    상기 프로세서가 캡쳐된 감정 상태와 상기 다른 임계치를 초과하는지를 결정하는 것에 대응하여, 캡쳐된 감정 상태에 근거하여 그에 대응하는 디스플레이된 작업 시각 및 오디오 정보와 함께 발생된 감정 코드를 포함하는 인지 모듈(cognitive module)을 형성하고 이렇게 형성된 인지 모듈을 메모리의 영역들 중에서 장기 메모리 영역에 저장하는 것을 특징으로 하는 개인 감정-기반의 인지 보조 시스템.
  10. 제9항에 있어서,
    장기 메모리 영역은 복수의 하부-영역을 포함하고,
    장기 메모리 영역의 복수의 하부-영역은 에피소드 하부-영역, 의미론적 하부-영역, 사고 하부-영역 및 본능 하부-영역을 포함하고,
    프로세서는 추가로, 사용자의 캡쳐된 감정 상태에 기초하여, 복수의 하부-영역 중 적어도 하나를 결정하여 그렇게 생성된 인지 모듈을 저장하도록 구성된 것을 특징으로 하는 개인 감정-기반의 인지 보조 시스템.
  11. 제4항에 있어서,
    상기 적어도 하나의 센서는, 사용자의 상이한 위치에 배치되는 복수의 센서를 포함하고,
    복수의 센서는 사용자의 생식 본능을 감지하기 위한 목적의 제1센서와, 사용자의 생존 본능을 감지하기 위한 목적의 제2센서와, 사용자의 탐색 본능을 감지하기 위한 목적의 제3센서를 포함하는 개인 감정-기반의 인지 보조 시스템.
  12. 제11항에 있어서,
    프로세서는, 영역들 중에서 하나의 영역이 복수의 센서들의 출력으로부터 생성되는 복합 감정에 기초하여 식별될 수 있도록, 복수의 센서에 의해 캡쳐된 복수의 상이한 유형의 감정을, 생식 본능, 생존 본능 및 탐색 본능 중 적어도 하나로 분류할 수 있도록 구성되는 것을 특징으로 하는 개인 감정-기반의 인지 보조 시스템.
  13. 삭제
  14. 제12항에 있어서,
    상기 디스플레이는 그래픽 사용자 인터페이스 요소 중 사운드, 툴바, 위치, 및 컬러 코딩 중 적어도 하나를 포함하는 상이한 형태로 복수의 작업 인지 모듈의 감정 정보 성분을 출력하도록 추가로 구성되는 개인 감정-기반의 인지 보조 시스템.
  15. 제14항에 있어서,
    상기 메모리는 추가로 영역들로 구분될 수 있으며, 이것은 인터페이스 메모리를 저장하는 등록 메모리 영역 (registering memory area), 인간 마음의 사고를 흉내내는 작업 메모리 영역 (working memory area), 해결되지 않은 문제를 저장하는 미완료 작업 메모리 영역 (uncompleted working memory area), 미래에 시간으로 정의되는 계획을 저장하는 예정된 메모리 영역 (scheduled memory area) 및 인간 마음의 장기 메모리에 대응하는 장기 메모리 영역 (long-term memory area)를 포함하는 개인 감정-기반의 인지 보조 시스템.
  16. 제15항에 있어서,
    상기 작업 메모리는 상기 출력 메카니즘 상에서 검증, 수정, 추가, 결합, 편집 및 생성되는 과정에서 정보를 저장하고, 상기 등록 메모리는 작업 메모리에 의해 처리 대기 중인 입력 정보 중 적어도 하나를 저장하고, 상기 미완료 작업 메모리는 작업 메모리가 사용 중일 때 인터럽트된 작업 정보 모듈을 중요도가 더 높은 인지 모듈(cognitive module)로 저장하고, 상기 예정된 메모리는 특정 예정된 노트를 구현하는 인지 정보 모듈을 저장하는 개인 감정-기반의 인지 보조 시스템.
  17. 제16항에 있어서,
    상기 장기 메모리는,
    검증된 인지 정보 모듈들을 시간 순으로 저장하는 에피소드 메모리 (episodic memory),
    감정 코딩 시스템의 도메인을 나타내는, 카테고리 별로 조직화된 검증된 인지 정보 모듈을 저장하는 의미론적 메모리 (semantic memory),
    완료된 인지 작업 정보 모듈을 중요도 순으로 저장하는 사고 메모리 (thoughts memory) 및
    기준 신호를 저장하는 개인적인 본능 기준 메모리 (personal instinct referenced memory)를 포함하는 개인 감정-기반의 인지 보조 시스템.
  18. 제8항에 있어서,
    시각 및 오디오 데이터를 출력하는 디스플레이를 추가로 포함하고,
    상기 프로세서는 또한 상기 디스플레이된 시각 및 오디오 데이터의 개인적인 의미(personal meaning)를 식별하고 이렇게 식별된 개인적인 의미에 응답하여 상기 메모리로부터 상관된 인지 정보를 회상하도록 구성되며,
    상기 디스플레이는 회상된 상관된 인지 정보를 디스플레이하도록 추가로 구성되고,
    상기 프로세서는 상기 디스플레이된 출력 인지 정보를 수집, 검증 및 처리하고, 상기 인지 정보가 검증되는 것에 응답하여, 그 검증 처리된 결과를 복수의 메모리 영역 중 하나에 저장하도록 상기 메모리를 제어하도록 추가로 구성되는 개인 감정-기반의 인지 보조 시스템.
  19. 실시간으로, 적어도 하나의 메카니즘에 의해, 사용자에 의해 관찰된 동기화된 시각 및 오디오 정보를 포함하는, 환경에 관한 데이터를 캡쳐하는 단계;
    적어도 하나의 센서에 의해, 캡쳐된 동기화된 시각 및 오디오 정보에 대응하는, 사용자의 감정 상태를 캡쳐하는 단계;
    상기 캡쳐된 감정 상태에 기초하여 상기 사용자의 환경에 대한 개인적 의미(personal meaning)를 프로세서에 의해 식별하는 단계;
    메모리에서, 식별된 개인적인 의미에 기초할 수 있도록, 식별된 개인화된 의미(personalized meaning)를, 메모리의 상이한 영역들에 환경에 관한 데이터와 함께 저장하는 단계;를 포함하되,
    프로세서에 의해 환경의 개인적인 의미를 식별하는 것은,
    사용자의 캡쳐된 감정 상태와 데이터베이스에 저장된 기준 신호에 근거하여, 저장된 캡쳐된 동기화된 시각 및 오디오 정보로부터 사용자의 감정 신호를, 필터, 감지 및 식별하고,
    식별된 대응하는 본능적 감정 신호에 기초한 본능적 감정 코드인, 환경의 개인적 의미를 식별하되, 식별된 대응하는 본능적 감정 코드는 식별된 대응하는 본능적 감정 신호의 구성요소와 특유의 본능적 기준 신호 사이에서 특유의 식별된 구별을 구현하고,
    식별된 대응하는 감정 코드와 대응하는 저장된 캡쳐된 동기화된 시각 및 오디오 정보를 합성하도록 인지 모듈(cognitive module)을 생성시키는 것을 포함하며,
    여기서, 메모리의 상이한 영역은, 상이한 영역이 기준 신호에 대응해서 인간 본능 메모리(human instinct memory)의 도메인을 대표할 수 있도록, 논리적으로 구분되어 있는 개인 감정-기반의 인지 보조 제공 방법.
  20. 제19항에 있어서,
    디스플레이 상에, 사용자의 안락 수준을 나타내는 상기 생성된 인지 모듈(cognitive module) 및 메시지를, 캡쳐된 시각 및 오디오 데이터에 관해 디스플레이하는 단계를 추가로 포함하는 개인 감정-기반의 인지 보조 제공 방법.
  21. 삭제
  22. 사용자에 의해 관찰된 동기화된 시각 및 오디오 정보를 포함하는 환경에 관한 데이터를 실시간으로 수신하는 단계;
    캡쳐된 동기화된 시각 및 오디오 정보에 대응하는, 적어도 하나의 센서에 의해 캡쳐된, 사용자의 감정 상태를 수신하는 단계;
    상기 캡쳐된 감정 상태에 기초하여 상기 사용자의 환경에 대한 개인적인 의미(personal meaning)를 식별하는 단계;
    식별된 개인적인 의미에 기초할 수 있도록, 식별된 개인화된 의미(personalized meaning)를 메모리의 상이한 영역들에, 환경에 관한 데이터와 함께 저장하는 단계;를 포함하고,
    환경의 개인적인 의미를 식별하는 것은,
    사용자의 캡쳐된 감정 상태와 데이터베이스에 저장된 기준 신호에 근거하여, 저장된 캡쳐된 동기화된 시각 및 오디오 정보로부터 사용자의 감정 신호를, 필터, 감지 및 식별하고,
    식별된 대응하는 감정 신호에 기초한 감정 코드인, 환경의 개인적인 의미를 식별하되, 식별된 대응하는 감정 코드는 식별된 대응하는 감정 신호의 구성요소와 기준 신호 사이에서 식별된 구별을 구현하고,
    식별된 대응하는 감정 코드와 대응하는 저장된 캡쳐된 동기화된 시각 및 오디오 정보를 합성하도록 인지 모듈(cognitive module)을 생성시키는 것을 포함하며,
    여기서, 메모리의 상이한 영역은, 상이한 영역이 기준 신호에 대응해서 인간 본능 메모리(human instinct memory)의 도메인을 대표할 수 있도록, 논리적으로 구분되어 있는,
    프로세서에 의해 실행될 때 상기 프로세서로 하여금 이상의 단계를 실행하게 하는 명령들을 저장하도록 구성된 비-일시적 컴퓨터 판독 가능 매체 (non-transitory computer readable medium).
KR1020187029527A 2016-03-14 2016-05-25 기억과 의사 결정력 향상을 위한, 개인 감정-기반의 인지 보조 시스템, 개인 감정-기반의 인지 보조 제공 방법 및 비-일시적 컴퓨터 판독 가능 매체 KR102039848B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662308202P 2016-03-14 2016-03-14
US62/308,202 2016-03-14
US15/156,883 2016-05-17
US15/156,883 US9711056B1 (en) 2016-03-14 2016-05-17 Apparatus, method, and system of building and processing personal emotion-based computer readable cognitive sensory memory and cognitive insights for enhancing memorization and decision making skills
PCT/US2016/034043 WO2017160331A1 (en) 2016-03-14 2016-05-25 Personal emotion-based computer readable cognitive sensory memory and cognitive insights for enhancing memorization and decision making

Publications (2)

Publication Number Publication Date
KR20180137490A KR20180137490A (ko) 2018-12-27
KR102039848B1 true KR102039848B1 (ko) 2019-11-27

Family

ID=59296283

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187029527A KR102039848B1 (ko) 2016-03-14 2016-05-25 기억과 의사 결정력 향상을 위한, 개인 감정-기반의 인지 보조 시스템, 개인 감정-기반의 인지 보조 제공 방법 및 비-일시적 컴퓨터 판독 가능 매체

Country Status (11)

Country Link
US (1) US9711056B1 (ko)
EP (1) EP3430489A4 (ko)
JP (1) JP6621941B2 (ko)
KR (1) KR102039848B1 (ko)
CN (1) CN109074117B (ko)
AU (2) AU2016397945A1 (ko)
CA (1) CA3016771C (ko)
HK (1) HK1258986A1 (ko)
MY (1) MY192414A (ko)
SG (1) SG11201806777SA (ko)
WO (1) WO2017160331A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11410682B2 (en) * 2016-07-13 2022-08-09 Sentio Solutions, Inc. Method for detecting and recognizing an emotional state of a user
US10839712B2 (en) * 2016-09-09 2020-11-17 International Business Machines Corporation Monitoring learning performance using neurofeedback
KR102295808B1 (ko) * 2016-10-26 2021-09-01 텔레폰악티에볼라겟엘엠에릭슨(펍) 개인의 작업 메모리 부하에 영향을 미치는 센스 입력들의 식별
US20180240015A1 (en) * 2017-02-21 2018-08-23 Scriyb LLC Artificial cognitive declarative-based memory model to dynamically store, retrieve, and recall data derived from aggregate datasets
US10394324B2 (en) * 2017-03-13 2019-08-27 Disney Enterprises, Inc. Configuration for adjusting a user experience based on a biological response
US11361266B2 (en) * 2017-03-20 2022-06-14 Microsoft Technology Licensing, Llc User objective assistance technologies
US10127825B1 (en) 2017-06-13 2018-11-13 Fuvi Cognitive Network Corp. Apparatus, method, and system of insight-based cognitive assistant for enhancing user's expertise in learning, review, rehearsal, and memorization
JP7073640B2 (ja) * 2017-06-23 2022-05-24 カシオ計算機株式会社 電子機器、感情情報取得システム、プログラム及び感情情報取得方法
US11182565B2 (en) * 2018-02-23 2021-11-23 Samsung Electronics Co., Ltd. Method to learn personalized intents
WO2019200001A1 (en) * 2018-04-10 2019-10-17 Cerenetex, Inc. Systems and methods for the identification of medical conditions, and determination of appropriate therapies, by passively detecting acoustic signals
US12004846B2 (en) 2018-04-10 2024-06-11 Cerenetex, Inc. Non-invasive systems and methods for the improved evaluation of patients suffering from undiagnosed headaches
US10367931B1 (en) * 2018-05-09 2019-07-30 Fuvi Cognitive Network Corp. Apparatus, method, and system of cognitive communication assistant for enhancing ability and efficiency of users communicating comprehension
US11314940B2 (en) 2018-05-22 2022-04-26 Samsung Electronics Co., Ltd. Cross domain personalized vocabulary learning in intelligent assistants
JP2021529382A (ja) 2018-06-19 2021-10-28 エリプシス・ヘルス・インコーポレイテッド 精神的健康評価のためのシステム及び方法
US20190385711A1 (en) 2018-06-19 2019-12-19 Ellipsis Health, Inc. Systems and methods for mental health assessment
US11133099B2 (en) * 2018-07-13 2021-09-28 International Business Machines Corporation Memory recall assistance for memory loss
US11816551B2 (en) 2018-11-05 2023-11-14 International Business Machines Corporation Outcome-based skill qualification in cognitive interfaces for text-based and media-based interaction
US10664489B1 (en) 2018-11-16 2020-05-26 Fuvi Cognitive Network Corp. Apparatus, method, and system of cognitive data blocks and links for personalization, comprehension, retention, and recall of cognitive contents of a user
TWI742376B (zh) * 2019-05-22 2021-10-11 劉子珩 聲味覺轉換裝置
CN110367934B (zh) * 2019-07-25 2023-02-03 深圳大学 一种基于非语音身体声音的健康监测方法及监测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070066916A1 (en) 2005-09-16 2007-03-22 Imotions Emotion Technology Aps System and method for determining human emotion by analyzing eye properties
US20140347265A1 (en) 2013-03-15 2014-11-27 Interaxon Inc. Wearable computing apparatus and method
US20150004576A1 (en) 2013-06-26 2015-01-01 Electronics And Telecommunications Research Institute Apparatus and method for personalized sensory media play based on the inferred relationship between sensory effects and user's emotional responses
US20160077547A1 (en) 2014-09-11 2016-03-17 Interaxon Inc. System and method for enhanced training using a virtual reality environment and bio-signal data

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7089218B1 (en) 2004-01-06 2006-08-08 Neuric Technologies, Llc Method for inclusion of psychological temperament in an electronic emulation of the human brain
US6190314B1 (en) * 1998-07-15 2001-02-20 International Business Machines Corporation Computer input device with biosensors for sensing user emotions
US6513046B1 (en) * 1999-12-15 2003-01-28 Tangis Corporation Storing and recalling information to augment human memories
JP4395908B2 (ja) * 1999-03-29 2010-01-13 ソニー株式会社 信号処理装置および信号処理方法
US20020029203A1 (en) 2000-09-01 2002-03-07 Pelland David M. Electronic personal assistant with personality adaptation
JP3514236B2 (ja) * 2000-12-28 2004-03-31 健一郎 石島 映像音声自動編集装置、方法及び記憶媒体
US20130211238A1 (en) * 2001-01-30 2013-08-15 R. Christopher deCharms Methods for physiological monitoring, training, exercise and regulation
JP2005044120A (ja) * 2003-07-22 2005-02-17 Sony Corp 情報蓄積装置、情報検索装置、情報蓄積方法、情報検索方法、情報蓄積システム、情報検索システム、クライアント装置およびサーバ装置
JP4407198B2 (ja) * 2003-08-11 2010-02-03 ソニー株式会社 記録再生装置、再生装置、記録再生方法および再生方法
JP2005128884A (ja) * 2003-10-24 2005-05-19 Sony Corp 情報コンテンツの編集装置及び編集方法
JP2005260892A (ja) * 2004-03-15 2005-09-22 Nec Corp 心象風景記録機
JP4641389B2 (ja) * 2004-06-03 2011-03-02 キヤノン株式会社 情報処理方法、情報処理装置
WO2006089136A2 (en) 2005-02-15 2006-08-24 Celf Corporation Conversational user interface
JP2009522684A (ja) 2006-01-05 2009-06-11 ヴィゼル、トーマス・エイ 人間の脳の電子的なエミュレーションに心理学的な気質を取り入れるための方法
US9101279B2 (en) * 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
US20100100546A1 (en) * 2008-02-08 2010-04-22 Steven Forrest Kohler Context-aware semantic virtual community for communication, information and knowledge management
US8600100B2 (en) * 2009-04-16 2013-12-03 Sensory Logic, Inc. Method of assessing people's self-presentation and actions to evaluate personality type, behavioral tendencies, credibility, motivations and other insights through facial muscle activity and expressions
CA2794542A1 (en) 2010-02-02 2011-08-11 4D Retail Technology Corporation Systems and methods for human intelligence personal assistance
US10111611B2 (en) * 2010-06-07 2018-10-30 Affectiva, Inc. Personal emotional profile generation
US9355110B1 (en) * 2011-07-14 2016-05-31 Google Inc. Dynamic presentation of data items based on prioritized associations
KR101901417B1 (ko) 2011-08-29 2018-09-27 한국전자통신연구원 감성기반 안전운전 자동차 서비스 시스템, 안전운전 서비스를 위한 감성인지 처리 장치 및 안전운전 서비스 장치, 감성기반 차량용 안전운전 서비스 방법
US9082402B2 (en) 2011-12-08 2015-07-14 Sri International Generic virtual personal assistant platform
US9560094B2 (en) * 2012-02-02 2017-01-31 Tata Consultancy Services Limited System and method for identifying and analyzing personal context of a user
JP2013180076A (ja) * 2012-03-02 2013-09-12 Dainippon Printing Co Ltd 分析支援装置、プログラム
US9349100B2 (en) * 2012-08-30 2016-05-24 International Business Machines Corporation Method for providing a prompt for real-time cognitive assistance
US9886493B2 (en) * 2012-09-28 2018-02-06 The Regents Of The University Of California Systems and methods for sensory and cognitive profiling
WO2014088588A1 (en) 2012-12-07 2014-06-12 Empire Technology Development Llc Personal assistant context building
KR20150000921A (ko) * 2013-06-25 2015-01-06 아주대학교산학협력단 라이프 스타일 서비스 디자인 시스템 및 방법
CN109871259A (zh) * 2013-08-16 2019-06-11 运软网络科技(上海)有限公司 一种仿脑计算虚拟化的方法和系统
JP2015104078A (ja) * 2013-11-27 2015-06-04 オリンパス株式会社 撮像装置、撮像システム、サーバ、撮像方法、及び撮像プログラム
US9943698B2 (en) * 2014-04-22 2018-04-17 Lockheed Martin Corporation Cognitive enhancement using feedback
US10321842B2 (en) * 2014-04-22 2019-06-18 Interaxon Inc. System and method for associating music with brain-state data
JP2015229040A (ja) * 2014-06-06 2015-12-21 株式会社電通サイエンスジャム 感情分析システム、感情分析方法および感情分析プログラム
US10325205B2 (en) 2014-06-09 2019-06-18 Cognitive Scale, Inc. Cognitive information processing system environment
US20160042648A1 (en) * 2014-08-07 2016-02-11 Ravikanth V. Kothuri Emotion feedback based training and personalization system for aiding user performance in interactive presentations
CN105094315B (zh) * 2015-06-25 2018-03-06 百度在线网络技术（北京）有限公司 基于人工智能的人机智能聊天的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070066916A1 (en) 2005-09-16 2007-03-22 Imotions Emotion Technology Aps System and method for determining human emotion by analyzing eye properties
US20140347265A1 (en) 2013-03-15 2014-11-27 Interaxon Inc. Wearable computing apparatus and method
US20150004576A1 (en) 2013-06-26 2015-01-01 Electronics And Telecommunications Research Institute Apparatus and method for personalized sensory media play based on the inferred relationship between sensory effects and user's emotional responses
US20160077547A1 (en) 2014-09-11 2016-03-17 Interaxon Inc. System and method for enhanced training using a virtual reality environment and bio-signal data

Also Published As

Publication number Publication date
CA3016771C (en) 2019-04-02
CN109074117A (zh) 2018-12-21
MY192414A (en) 2022-08-19
AU2019226267A1 (en) 2019-09-26
JP6621941B2 (ja) 2019-12-25
SG11201806777SA (en) 2018-09-27
CN109074117B (zh) 2020-08-04
KR20180137490A (ko) 2018-12-27
US9711056B1 (en) 2017-07-18
JP2019512822A (ja) 2019-05-16
EP3430489A4 (en) 2019-08-28
WO2017160331A1 (en) 2017-09-21
AU2016397945A1 (en) 2018-08-30
EP3430489A1 (en) 2019-01-23
CA3016771A1 (en) 2017-09-21
HK1258986A1 (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
KR102039848B1 (ko) 기억과 의사 결정력 향상을 위한, 개인 감정-기반의 인지 보조 시스템, 개인 감정-기반의 인지 보조 제공 방법 및 비-일시적 컴퓨터 판독 가능 매체
US10944708B2 (en) Conversation agent
JP6742545B1 (ja) 学習、レビュー、リハーサル、および記憶におけるユーザエクスペリエンスを強化するための洞察に基づく認知支援を行う装置、方法、およびシステム
CN113553449B (zh) 机器智能预测通信和控制系统
EP2972678B1 (en) Wearable computing apparatus and method
US11602287B2 (en) Automatically aiding individuals with developing auditory attention abilities
US11250875B2 (en) Behavior support system, behavior support apparatus, behavior support method, and storage medium storing program thereof
WO2019086856A1 (en) Systems and methods for combining and analysing human states
JP2016177483A (ja) コミュニケーション支援装置、コミュニケーション支援方法及びプログラム
KR102100418B1 (ko) 감정 상태를 개선시키는 방법 및 그 장치
US10157342B1 (en) Systems and methods for transforming sensory input into actions by a machine having self-awareness
JP6115976B1 (ja) 情報処理機器、プログラム
US20200301398A1 (en) Information processing device, information processing method, and program
JP2019212263A (ja) 情報処理装置及びプログラム
Varsani et al. Sensorial computing
El Kaliouby et al. iSET: interactive social-emotional toolkit for autism spectrum disorder
KR20200135431A (ko) 처리 장치, 처리 방법, 데이터 처리 장치, 데이터 처리 시스템, 데이터 처리 방법 및 프로그램
US11935329B2 (en) Video analysis program
Turabee et al. The Use of Explainable Sensor Systems in Classroom Settings-Teacher, Student and Parent Voices on the Value of Sensor Systems
JP6824146B2 (ja) 評価装置、方法およびプログラム
Niforatos The role of context in human memory augmentation
Zou Guidelines for Designing Inclusive Wearable Devices for the Aging Population
Barcari et al. Recording First-person Experiences to Build a New Type of Foundation Model

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant