KR20210093281A - 정서 장애의 검사 및 치료를 위한 얼굴 표정 검출 - Google Patents
정서 장애의 검사 및 치료를 위한 얼굴 표정 검출 Download PDFInfo
- Publication number
- KR20210093281A KR20210093281A KR1020217017434A KR20217017434A KR20210093281A KR 20210093281 A KR20210093281 A KR 20210093281A KR 1020217017434 A KR1020217017434 A KR 1020217017434A KR 20217017434 A KR20217017434 A KR 20217017434A KR 20210093281 A KR20210093281 A KR 20210093281A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- emotional
- expression
- facial
- interaction
- Prior art date
Links
- 230000008921 facial expression Effects 0.000 title claims description 75
- 238000011282 treatment Methods 0.000 title description 13
- 238000001514 detection method Methods 0.000 title description 6
- 208000027534 Emotional disease Diseases 0.000 title description 2
- 230000002996 emotional effect Effects 0.000 claims abstract description 121
- 238000000034 method Methods 0.000 claims abstract description 118
- 230000001149 cognitive effect Effects 0.000 claims abstract description 77
- 230000003993 interaction Effects 0.000 claims abstract description 76
- 230000001815 facial effect Effects 0.000 claims abstract description 50
- 230000004048 modification Effects 0.000 claims abstract description 18
- 238000012986 modification Methods 0.000 claims abstract description 18
- 238000002560 therapeutic procedure Methods 0.000 claims abstract description 11
- 230000014509 gene expression Effects 0.000 claims description 87
- 238000012545 processing Methods 0.000 claims description 75
- 230000004044 response Effects 0.000 claims description 42
- 230000037007 arousal Effects 0.000 claims description 18
- 230000009471 action Effects 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 11
- 238000009877 rendering Methods 0.000 claims description 8
- 230000008451 emotion Effects 0.000 abstract description 72
- 238000012549 training Methods 0.000 abstract description 43
- 230000019771 cognition Effects 0.000 abstract description 12
- 230000008909 emotion recognition Effects 0.000 abstract description 12
- 238000012360 testing method Methods 0.000 abstract description 12
- 230000008685 targeting Effects 0.000 abstract description 8
- 230000036992 cognitive tasks Effects 0.000 abstract 1
- 230000015654 memory Effects 0.000 description 27
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 16
- 230000000670 limiting effect Effects 0.000 description 15
- 238000005259 measurement Methods 0.000 description 14
- 230000003278 mimic effect Effects 0.000 description 13
- 238000012544 monitoring process Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 210000004556 brain Anatomy 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 208000035475 disorder Diseases 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 230000001629 suppression Effects 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 5
- 230000000638 stimulation Effects 0.000 description 5
- 208000019901 Anxiety disease Diseases 0.000 description 4
- 230000036506 anxiety Effects 0.000 description 4
- 230000006735 deficit Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000036961 partial effect Effects 0.000 description 4
- 238000002600 positron emission tomography Methods 0.000 description 4
- 238000011867 re-evaluation Methods 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- 206010003805 Autism Diseases 0.000 description 3
- 208000020706 Autistic disease Diseases 0.000 description 3
- 230000036770 blood supply Effects 0.000 description 3
- 208000010877 cognitive disease Diseases 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006397 emotional response Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000004060 metabolic process Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 239000000700 radioactive tracer Substances 0.000 description 3
- 201000000980 schizophrenia Diseases 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 208000000094 Chronic Pain Diseases 0.000 description 2
- 238000004497 NIR spectroscopy Methods 0.000 description 2
- 208000002193 Pain Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000003935 attention Effects 0.000 description 2
- 208000029560 autism spectrum disease Diseases 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000004064 dysfunction Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 208000027061 mild cognitive impairment Diseases 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000031893 sensory processing Effects 0.000 description 2
- 231100000430 skin reaction Toxicity 0.000 description 2
- 230000003997 social interaction Effects 0.000 description 2
- 201000009032 substance abuse Diseases 0.000 description 2
- 231100000736 substance abuse Toxicity 0.000 description 2
- 208000011117 substance-related disease Diseases 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000001225 therapeutic effect Effects 0.000 description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 208000006096 Attention Deficit Disorder with Hyperactivity Diseases 0.000 description 1
- 208000005145 Cerebral amyloid angiopathy Diseases 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 206010012289 Dementia Diseases 0.000 description 1
- 206010012374 Depressed mood Diseases 0.000 description 1
- 206010070246 Executive dysfunction Diseases 0.000 description 1
- 208000034846 Familial Amyloid Neuropathies Diseases 0.000 description 1
- 208000023105 Huntington disease Diseases 0.000 description 1
- 208000018737 Parkinson disease Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000009530 blood pressure measurement Methods 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000003931 cognitive performance Effects 0.000 description 1
- 238000009226 cognitive therapy Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000007831 electrophysiology Effects 0.000 description 1
- 238000002001 electrophysiology Methods 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000000004 hemodynamic effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 201000006417 multiple sclerosis Diseases 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000000626 neurodegenerative effect Effects 0.000 description 1
- 230000001123 neurodevelopmental effect Effects 0.000 description 1
- 230000008555 neuronal activation Effects 0.000 description 1
- 238000006213 oxygenation reaction Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 230000010344 pupil dilation Effects 0.000 description 1
- 230000001179 pupillary effect Effects 0.000 description 1
- 230000003989 repetitive behavior Effects 0.000 description 1
- 208000013406 repetitive behavior Diseases 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000010332 selective attention Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
-
- G06K9/00315—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
- A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
-
- G06K9/66—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Business, Economics & Management (AREA)
- Psychiatry (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Physiology (AREA)
- Neurology (AREA)
- Cardiology (AREA)
- Social Psychology (AREA)
- Educational Technology (AREA)
- General Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Game Theory and Decision Science (AREA)
Abstract
본 개시내용의 실시형태들은 인지 및 감정 공감을 훈련하기 위해 얼굴 인식 및 모방 워크플로우 사용하기 위한 시스템 및 방법을 제공한다. 시스템 및 방법은, 사용자 정서를 검출하고, 하나 이상의 인식 검사 도구들을 수정하여 사용자 정서를 추가로 증진시키기 위해 얼굴 인식과 조합하여 생리학적 측량들(예를 들어, EEG 등)의 사용을 포함한다. 하나 이상의 특정 부정적인 인지 편향과 연관된 하나 이상의 특정 감정들은 정서에 영향을 주는 것으로 표적화된다. 하나 이상의 특정 정신병리는 전산화된 인지-편향 수정 요법 내에서 감정 인식 훈련 컴포넌트를 사용하여 치료될 수 있다. 이 요법은, 감정의 식별, 표적화 및 수정을 포함할 수 있고, 전산화된 플랫폼 또는 플랫폼-제품 내에서 하나 이상의 전산화된 자극 또는 상호작용들의 하나 이상의 속성들을 적응가능하게 수정하기 위해 하나 이상의 얼굴 입력들, 인지 작업들, 얼굴 인식 및 얼굴 모방 프로토콜들을 활용할 수 있다.
Description
관련 출원의 교차 참조
본 출원은 2018년 11월 9일자로 출원된 미국 임시 출원 제62/758,461호의 우선권을 주장하며, 그 전체가 본원에 적어도 원용되어 포함된다.
기술분야
본 개시내용은 컴퓨터-지원 치료적 치료(computer-assisted therapeutic treatments) 분야에 관한 것이며; 특히, 인지(cognition) 및 정서(affect)를 수반하는 특정 정신병리 검사(screening) 및 치료를 위한 얼굴 이미지 프로세싱 시스템 및 방법에 관한 것이다.
스트레스, 불안 및 다른 종류의 감정은 선택적 주의(selective attention), 작업 기억(working memory), 및 인지 제어(cognitive control)를 포함하는 인지의 핵심 요소에 크게 영향을 줄 수 있다. 정서는, 느낌(feeling) 또는 감정(emotion)의 경험을 설명하기 위해 심리학에서 사용되는 개념이다. 정서는 유기체의 자극과의 상호작용을 중재한다. 정서는 종종 얼굴, 음성 또는 제스처 행동인 정서 디스플레이 또는 표시자로서 지칭된다. 특정 관점에서, 인지는 정서의 일부로서 고려될 수 있거나, 또는 그 반대일 수 있다. 다수의 가장 흔한 정신병리; 우울증(depression), 정신분열증(schizophrenia), 물질 남용(substance abuse), 만성 통증(chronic pain), 및 자폐증(autism)은 인지 및 감정의 현저한 장애를 수반한다. 예를 들어, 자폐증-스펙트럼 상태의 핵심 결핍은 부족한 인지 공감능력(decreased cognitive empathy)이다. 이러한 신경발달 상태는, 사회적 소통 및 상호작용에서의 장애뿐만 아니라 한정된 관심사 및 반복적 행동을 특징으로 할 수 있다.
적응 편향(adaptive bias)은, 인간의 뇌가 진실하거나 심지어 합리적이라기 보다는 적응적으로 추론하기 위해 진화했다는 아이디어이다. 인지 편향(cognitive bias)은 불확실성의 조건 하에서 의사 결정에 직면할 때 인지 오류의 수를 감소시키기 보다는 인지 오류들의 전체 비용을 감소시키기 위한 메커니즘으로서 진화했을 수 있다. 인지 편향 수정(CBM; cognitive-bias modification) 기술은 우울증 및 사회적 불안과 같은 다수의 정신병리의 인지 편향 특성을 수정하도록 설계된다. 이들 편향들이 이들 장애들의 유지관리에 수반되는 것으로 생각되기 때문에, CBM 기술은 부적응형 인지 편향(maladaptive cognitive biases)을 수정하거나 적응 편향을 유도하도록 시도한다. 주의 선택성(attentional selectivity)을 변화시키도록 설계된 CBM은 감정 기능장애와 연관된 주의 편향들을 수정할 수 있는 것으로 입증되었다. 해석 선택성(interpretive selectivity)을 변화시키도록 설계된 CBM은 감정 기능장애의 특징인 부정적인 방식으로 모호성을 해소하려는 경향을 수정할 수 있는 것으로 입증되었다.
감정 인식 훈련(ERT: emotion recognition training)은 많은 장애의 특징인 중립적이거나 모호한 얼굴의 편향된 지각을 부정적인 것으로부터 더욱 긍정적인 것으로 시프트하는 데 사용되는 CBM 작업이다. ERT는 좋지 않은 기분(low mood)으로 고통받는 개인의 정서를 개선시키는 가능성을 보여주었다. 그러나, ERT는 단순히 일반적인 긍정 편향을 유도하지 않는다. CBM이 가장 효과적이기 위해서는, 특정 감정의 정확한 식별 및 표적화가 정신 질환의 유지관리에 있어서 요구된다.
인지 공감(cognitive empathy)은 다른 사람들의 정신 상태를 추론하는 사람의 능력을 설명하는 반면, 감정 공감(emotional empathy)은 다른 개인의 감정 상태에 대한 관찰자의 감정 반응으로서 정의된다. 인지 공감 감정 인식과 개념적으로 연결된다. 인간은 종종 자발적인 모방으로 타인의 감정 표현에 반응한다. 상대방의 표현된 감정과 일치하는 얼굴 표정은 "얼굴 모방(facial mimicry)"으로 라벨링되었고, 사회적 상호작용을 위해 중요한 것으로 간주된다. 연구는, 사람들이 이산적인 감정(discrete emotion)보다는 감정의 발렌스(valence)를 모방하는 경향이 있다고 나타냈다. 이와 관련해서 발렌스는, 이벤트, 객체, 또는 상황의 본질적인 좋아함(attractiveness) 또는 싫어함(averseness)을 광범위하게 지칭한다. 다른 사람들의 얼굴 감정 표현을 모방하는 것은 관찰자에게 공유된 감정 상태를 조성(foster)시키는 것으로 나타났다. 모방이 주로 사회적 상호작용에서 감정 신호에 대한 친밀 반응이라는 관점을 지원하기 위한 임상적 발견이 증가하고 있다.
인지-편향 수정 개입들에서 정확성 및 특이성을 가지고 감정을 표적화함으로써 정서를 훈련시키는 더욱 효과적인 수단에 대한 필요성이 존재한다. 적용된 노력, 독창성 및 혁신을 통해, 본 출원인은 인지 및 감정의 장애에 대한 치료 및 개입을 향한 기존의 접근법들의 결함들을 식별하고, 본 발명에 의해 구현되는 해결책을 개발하였으며, 이는 하기에 상세하게 설명된다.
다음은 본 발명의 기본적인 이해를 제공하기 위해 본 발명의 일부 실시형태들의 간략화된 요약을 제시한다. 이 요약은 본 발명의 광범위한 개요는 아니다. 이는 본 발명의 핵심/중요 요소들을 식별하거나 본 발명의 범위를 기술하도록 의도되지 않는다. 그 유일한 목적은 이하에 제시되는 보다 상세한 설명에 대한 서두로서 간략화된 형태로 본 발명의 일부 실시형태들을 제시하기 위함이다.
본 개시내용의 특정 양태들은 얼굴 이미지 프로세싱을 위한 컴퓨터-구현 방법을 제공하며, 이 방법은 사용자 인터페이스를 포함하는 컴퓨팅 디바이스를 통해 감정 표현 프롬프트를 포함하는 전산화된 자극 또는 상호작용의 인스턴스를 제공하는 단계; 컴퓨팅 디바이스와 작동 가능하게 맞물린 카메라를 통해, 전산화된 자극 또는 상호작용에 응답하여 사용자의 얼굴 표정의 디지털 이미지를 수신하는 단계; 적어도 하나의 프로세서를 통해, 감정 표현에 대응하는 발렌스 입력 및 강도 또는 각성(arousal) 입력을 결정하기 위해 디지털 이미지를 프로세싱하는 단계; 적어도 하나의 프로세서를 통해, 그 발렌스 입력 및 강도 또는 각성 입력을 감정 표현 프롬프트와 연관된 미리 결정된 발렌스 및 강도/각성 범위와 비교하는 단계; 및 적어도 하나의 프로세서를 통해, 사용자의 얼굴 표정과 감정 표현 프롬프트 사이의 일치(concordance)의 척도를 결정하는 단계를 포함한다.
얼굴 이미지 프로세싱을 위한 컴퓨터-구현 방법의 특정 실시형태들이 더 구성될 수 있으며, 여기서 감정 표현 프롬프트는 감정 표현을 나타내는 이미지 또는 아이콘을 제시하는 것 및 사용자가 감정 표현을 모방하도록 프롬프트하는 것을 포함한다.
얼굴 이미지 프로세싱을 위한 컴퓨터-구현 방법의 특정 실시형태들은, 프로세서를 통해, 사용자의 얼굴 표정과 감정 표현 프롬프트 사이의 일치의 척도에 따라 사용자의 인지 편향 또는 정서 상태의 척도를 결정하는 단계를 더 포함할 수 있다.
얼굴 이미지 프로세싱을 위한 컴퓨터-구현 방법의 특정 실시형태들은, 적어도 하나의 생리학적 센서를 통해, 감정 표현 프롬프트에 응답하여 사용자의 얼굴 표정의 디지털 이미지를 수신하는 것에 부수하여 적어도 하나의 생리학적 입력을 측정하는 단계를 더 포함할 수 있다.
얼굴 이미지 프로세싱을 위한 컴퓨터-구현 방법의 특정 실시형태들은, 컴퓨팅 디바이스를 통해, 사용자의 얼굴 표정과 감정 표현 프롬프트 사이의 일치의 척도에 따라 전산화된 자극 또는 상호작용의 제2 또는 후속 인스턴스를 제공하는 단계를 더 포함할 수 있다. 특정 실시형태들에서, 전산화된 자극 또는 상호작용은 전산화된 인지-편향 수정 요법과 연관된다.
얼굴 이미지 프로세싱을 위한 컴퓨터-구현 방법의 특정 실시형태들은, 프로세싱 디바이스를 통해, 사용자의 인지 편향 또는 정서 상태에 따라 전산화된 자극 또는 상호작용의 제2 또는 후속 인스턴스를 수정하는 단계를 더 포함할 수 있다.
얼굴 이미지 프로세싱을 위한 컴퓨터-구현 방법의 특정 실시형태들은, 프로세싱 디바이스를 통해, 적어도 하나의 생리학적 입력에 따라 사용자의 정서 상태를 결정하는 단계를 더 포함할 수 있다.
얼굴 이미지 프로세싱을 위한 컴퓨터-구현 방법의 특정 실시형태들은, 프로세싱 디바이스를 통해, 사용자의 정서 상태에 따라 전산화된 자극 또는 상호작용의 제2 또는 후속 인스턴스를 수정하는 단계를 더 포함할 수 있다.
얼굴 이미지 프로세싱을 위한 컴퓨터-구현 방법의 특정 실시형태들은, 프로세싱 디바이스를 통해, 전산화된 자극 또는 상호작용의 제2 또는 후속 인스턴스에 응답하여 사용자의 인지 편향 또는 정서 상태의 변화의 척도를 결정하는 단계를 더 포함할 수 있다.
본 개시내용의 특정 양태들은 얼굴 이미지 프로세싱을 위한 시스템을 제공하고, 이 시스템은, 실시간으로 사용자의 얼굴 표정의 디지털 이미지를 수신하도록 구성된 카메라를 포함하는 컴퓨팅 디바이스; 컴퓨팅 디바이스와 통신가능하게 맞물린 통합 또는 원격 프로세서; 및 실행될 때 프로세서로 하여금 하나 이상의 동작들을 수행하게 하는 명령어들이 저장된 비일시적 컴퓨터 판독가능 매체를 포함하고, 상기 하나 이상의 동작들은, 컴퓨팅 디바이스에 감정 표현 프롬프트를 포함하는 전산화된 자극 또는 상호작용의 인스턴스를 렌더링하는 것; 전산화된 자극 또는 상호작용에 응답하여 사용자의 얼굴 표정의 실시간 디지털 이미지를 수신하는 것; 감정 표현에 대응하는 발렌스 입력 및 강도 입력을 결정하기 위해 디지털 이미지를 프로세싱하는 것; 그 발렌스 입력 및 강도 입력을 감정 표현 프롬프트와 연관된 미리 결정된 발렌스 및 강도 범위와 비교하는 것; 및 사용자의 얼굴 표정과 감정 표현 프롬프트 사이의 일치의 척도를 결정하는 것을 포함한다.
얼굴 이미지 프로세싱을 위한 컴퓨터-구현 시스템의 특정 실시형태들은, 전산화된 자극 또는 상호작용에 응답하여 적어도 하나의 생리학적 센서 입력을 측정하기 위해 프로세서와 작동 가능하게 맞물린 적어도 하나의 생리학적 센서를 더 포함할 수 있다.
얼굴 이미지 프로세싱을 위한 컴퓨터-구현 시스템의 특정 실시형태들이 더 구성될 수 있으며, 여기서 감정 표현 프롬프트는 감정 표현을 나타내는 이미지 또는 아이콘을 렌더링하는 것 및 사용자가 감정 표현을 모방하도록 프롬프트하는 것을 포함한다.
얼굴 이미지 프로세싱을 위한 컴퓨터-구현 시스템의 특정 실시형태들이 더 구성될 수 있는데, 여기서 하나 이상의 동작들은 사용자의 얼굴 표정과 감정 표현 프롬프트 사이의 일치의 척도에 따라 사용자의 인지 편향 또는 정서 상태의 척도를 결정하는 것을 더 포함한다.
얼굴 이미지 프로세싱을 위한 컴퓨터-구현 시스템의 특정 실시형태들이 더 구성될 수 있는데, 여기서 이상의 동작들은 사용자의 얼굴 표정과 감정 표현 프롬프트 사이의 일치의 척도에 따라 전산화된 자극 또는 상호작용의 제2 또는 후속 인스턴스를 렌더링하는 것을 더 포함한다.
얼굴 이미지 프로세싱을 위한 컴퓨터-구현 시스템의 특정 실시형태들이 더 구성될 수 있는데, 여기서 하나 이상의 동작들은 사용자의 인지 편향 또는 정서 상태에 따라 전산화된 자극 또는 상호작용의 제2 또는 후속 인스턴스를 수정하는 것을 더 포함한다.
얼굴 이미지 프로세싱을 위한 컴퓨터-구현 시스템의 특정 실시형태들이 더 구성될 수 있는데, 여기서 하나 이상의 동작들은 적어도 하나의 생리학적 센서 입력에 따라 전산화된 자극 또는 상호작용의 제2 또는 후속 인스턴스를 수정하는 것을 더 포함한다.
얼굴 이미지 프로세싱을 위한 컴퓨터-구현 시스템의 특정 실시형태들이 더 구성될 수 있는데, 여기서 하나 이상의 동작들은 사용자의 얼굴 표정과 감정 표현 프롬프트 사이의 일치의 척도에 따라 전산화된 자극 또는 상호작용의 제2 또는 후속 인스턴스를 수정하는 것을 더 포함한다.
얼굴 이미지 프로세싱을 위한 컴퓨터-구현 시스템의 특정 실시형태들이 더 구성될 수 있는데, 여기서 하나 이상의 동작들은 전산화된 자극 또는 상호작용의 제2 또는 후속 인스턴스에 응답하여 사용자의 인지 편향 또는 정서 상태의 변화의 척도를 결정하는 것을 더 포함한다.
본 개시내용의 또 다른 양태들은 하나 이상의 프로세서에게 얼굴 이미지 프로세싱을 위한 방법의 동작들을 수행하게 하는 명령을 내리기 위한 명령어들로 인코딩된 비일시적 컴퓨터-판독가능 매체를 제공하는데, 상기 동작들은, 감정 표현 프롬프트를 포함하는 전산화된 자극 또는 상호작용의 제1 인스턴스를 출력 디바이스에 제공하는 것; 감정 표현 프롬프트에 응답하여 사용자의 얼굴 표정의 디지털 이미지를 수신하는 것; 얼굴 표정에 대응하는 발렌스 입력 및 강도 입력을 결정하기 위해 디지털 이미지를 프로세싱하는 것; 그 발렌스 입력 및 강도 입력을 얼굴 표정 프롬프트와 연관된 미리 결정된 발렌스 및 강도 범위와 비교하는 것; 및 사용자의 얼굴 표정과 감정 표현 프롬프트 사이의 일치의 척도를 결정하는 것을 포함한다.
전술한 내용은, 후속하는 본 발명의 상세한 설명이 더 잘 이해될 수 있도록 그리고 본 기술분야에 대한 본 발명의 기여가 더욱 완전하게 이해될 수 있도록, 본 발명의 더욱 적절하고 중요한 특징들을 다소 광범위하게 요약하였다. 본 발명의 청구범위의 요지를 형성하는 본 발명의 부가적인 특징들이 이하에 설명될 것이다. 개념 및 개시된 특정 방법들 및 구조들이 본 발명의 동일한 목적들을 수행하기 위한 다른 구조들을 수정 또는 설계하기 위한 기초로서 용이하게 활용될 수 있다는 것이 당업자들에 의해 이해되어야 한다. 이러한 등가의 구조들이 첨부된 청구범위에 설명된 바와 같이 본 발명의 사상 및 범위로부터 벗어나지 않는다는 것이 당업자들에 의해 인식되어야 한다.
본 개시내용의 상기 목적, 특징, 및 이점 그리고 다른 목적, 특징, 및 이점은, 첨부 도면과 함께 취해진 이하의 상세한 설명으로부터 더욱 명백해질 것이다.
도 1은 본 개시내용의 하나 이상의 양태들이 구현될 수 있는 예시적인 컴퓨팅 디바이스의 기능 블록도이다.
도 2는 본 개시내용의 하나 이상의 양태들이 구현될 수 있는 시스템 아키텍처의 기능 블록도이다.
도 3은, 일 실시형태에 따른, 얼굴 표정 프롬프트, 이미지 캡쳐 및 사용자 발렌스 간의 관계를 도시하는 도면이다.
도 4는, 일 실시형태에 따라 하나 이상의 특정 감정을 식별, 표적화 또는 수정하기 위해 생리학적 센서를 통합하는 감정 표현 훈련 플랫폼의 도면이다.
도 5는 일 실시형태에 따라 인지 편향과 연관된 감정을 표적화하기 위한 컴퓨터-구현 방법의 프로세스 흐름도이다.
도 6은 일 실시형태에 따라 특정 정신병리와 연관된 인지 편향을 식별하고 표적화하기 위한 컴퓨터-구현 방법의 프로세스 흐름도이다.
도 7은 일 실시형태에 따라 컴퓨터 애플리케이션의 세션 동안 사용자 정서를 최적화하기 위한 컴퓨터-구현 방법의 프로세스 흐름도이다.
도 8은 일 실시형태에 따라 얼굴 모방 프롬프트를 포함하는 CSI의 그래픽 사용자 인터페이스 예시이다.
도 9는 일 실시형태에 따라 부분적인 표현 충돌(partial expression conflict)을 갖는 얼굴 모방 프롬프트를 포함하는 CSI의 그래픽 사용자 인터페이스 예시이다.
도 10은 일 실시형태에 따라 다수의 표현 충돌(multiple expression conflict)을 갖는 얼굴 모방 프롬프트를 포함하는 CSI의 그래픽 사용자 인터페이스 예시이다.
도 11은 일 실시형태에 따라 감정 억제 명령(emotional suppression instruction)을 갖는 감정 자극을 포함하는 CSI의 그래픽 사용자 인터페이스 예시이다.
도 12는 일 실시형태에 따라 감정 재평가 명령(emotional reappraisal instruction)을 갖는 감정 자극을 포함하는 CSI의 그래픽 사용자 인터페이스 예시이다.
도 1은 본 개시내용의 하나 이상의 양태들이 구현될 수 있는 예시적인 컴퓨팅 디바이스의 기능 블록도이다.
도 2는 본 개시내용의 하나 이상의 양태들이 구현될 수 있는 시스템 아키텍처의 기능 블록도이다.
도 3은, 일 실시형태에 따른, 얼굴 표정 프롬프트, 이미지 캡쳐 및 사용자 발렌스 간의 관계를 도시하는 도면이다.
도 4는, 일 실시형태에 따라 하나 이상의 특정 감정을 식별, 표적화 또는 수정하기 위해 생리학적 센서를 통합하는 감정 표현 훈련 플랫폼의 도면이다.
도 5는 일 실시형태에 따라 인지 편향과 연관된 감정을 표적화하기 위한 컴퓨터-구현 방법의 프로세스 흐름도이다.
도 6은 일 실시형태에 따라 특정 정신병리와 연관된 인지 편향을 식별하고 표적화하기 위한 컴퓨터-구현 방법의 프로세스 흐름도이다.
도 7은 일 실시형태에 따라 컴퓨터 애플리케이션의 세션 동안 사용자 정서를 최적화하기 위한 컴퓨터-구현 방법의 프로세스 흐름도이다.
도 8은 일 실시형태에 따라 얼굴 모방 프롬프트를 포함하는 CSI의 그래픽 사용자 인터페이스 예시이다.
도 9는 일 실시형태에 따라 부분적인 표현 충돌(partial expression conflict)을 갖는 얼굴 모방 프롬프트를 포함하는 CSI의 그래픽 사용자 인터페이스 예시이다.
도 10은 일 실시형태에 따라 다수의 표현 충돌(multiple expression conflict)을 갖는 얼굴 모방 프롬프트를 포함하는 CSI의 그래픽 사용자 인터페이스 예시이다.
도 11은 일 실시형태에 따라 감정 억제 명령(emotional suppression instruction)을 갖는 감정 자극을 포함하는 CSI의 그래픽 사용자 인터페이스 예시이다.
도 12는 일 실시형태에 따라 감정 재평가 명령(emotional reappraisal instruction)을 갖는 감정 자극을 포함하는 CSI의 그래픽 사용자 인터페이스 예시이다.
본 개시내용의 양태들은 인지 및 감정 공감을 훈련하기 위한 얼굴 인식 및 모방 워크플로우를 포함하는 시스템 및 방법을 제공한다. 다양한 실시형태들에서, 시스템은, 컴퓨팅 디바이스 및 적어도 하나의 카메라를 더 포함하는 얼굴 이미지 프로세서를 포함하며, 여기서 적어도 하나의 카메라는 사용자의 적어도 하나의 얼굴 표정의 하나 이상의 디지털 이미지를 바람직하게는 실시간으로 수신하도록 구성된다. 일 실시형태에서, 컴퓨팅 디바이스는, 프로세서, 마이크로프로세서 등을 포함하지만 이에 제한되지 않는 통합 컴퓨팅 프로세서를 포함한다. 대안적인 실시형태에서, 컴퓨팅 디바이스는 원격의 컴퓨팅 프로세서, 마이크로프로세서 등과 통신가능하게 맞물린다. 다양한 실시형태들에서, 얼굴 이미지 프로세서는 프로세서로 하여금 하나 이상의 동작들을 수행하게 하기 위한 명령어들이 저장된 비일시적 컴퓨터 판독가능 매체를 포함한다. 다양한 실시형태들에서, 동작들은, 하나 이상의 얼굴 표정 프롬프트, 이미지, 아이콘 등을 포함하는 전산화된 자극 또는 상호작용(CSI: computerized stimuli or interaction)의 하나 이상의 제1, 제2, 또는 후속 인스턴스를 컴퓨팅 디바이스에 렌더링하는 것, 전산화된 자극 또는 상호작용에 응답하여 사용자의 얼굴 표정의 하나 이상의 디지털 이미지들을 바람직하게는 실시간으로 수신하는 것, 얼굴 표정에 대응하는 발렌스 입력 및 강도 입력을 결정하기 위해 디지털 이미지를 프로세싱하는 것, 그 발렌스 입력 및 강도 입력을 얼굴 표현 프롬프트와 연관된 미리 결정된 발렌스 및 강도 범위와 비교하는 것, 및 사용자의 얼굴 표정과 얼굴 표정 프롬프트 사이의 일치의 척도를 결정하는 것을 포함한다.
본 개시내용의 양태들은, 전산화된 자극 또는 상호작용에 응답하여 적어도 하나의 생리학적 센서 입력을 측정하기 위해 적어도 하나의 생리학적 센서(예를 들어, EEG)를 포함하는 시스템 및 방법을 제공한다. 다양한 실시형태들에서, 하나 이상의 동작들은 사용자의 얼굴 표정과 얼굴 표정 프롬프트 사이의 일치의 척도에 따라 사용자의 인지 편향 또는 정서 상태의 척도를 결정하는 것을 더 포함한다. 다양한 실시형태들에서, 방법은, 정확성 및 특이성을 가지고, 사용자의 하나 이상의 감정 또는 정서 상태를 검출하기 위해 생리학 측량(예를 들어, EEG, fMRI 등) 및/또는 얼굴 인식 기술의 사용을 포함한다. 다양한 실시형태들에서, 하나 이상의 CSI들은 하나 이상의 특정 감정 또는 인지 편향을 추가로 표적화하고 사용자의 정서 상태를 수정 또는 최적화하도록 적응된다.
본 개시내용의 양태들은 또한, 사용자의 정서를 개선, 최적화 또는 다른 방식으로 영향을 미치게 하기 위한 시스템 및 방법을 추가로 제공하는데, 이는 특정한 부정적인 인지 편향과 연관된 특정 감정을 표적화하기 위한 컴퓨터-구현 방법을 포함한다. 다양한 실시형태들에서, 특정 부정적인 인지 편향은 특정 정신병리와 연관된다. 다양한 실시형태들에서, 컴퓨터-구현 방법은 얼굴 이미지 프로세싱 엔진과 작동 가능하게 맞물린 디지털 카메라를 포함한다. 특정 실시형태들은, 감정 표현 프롬프트의 하나 이상의 인스턴스들을 제공하도록 구성된 사용자 인터페이스를 갖는 컴퓨팅 디바이스를 더 포함할 수 있다. 특정 실시형태들에서, 감정 표현 프롬프트의 인스턴스는 전산화된 상호작용으로 구현된다. 다양한 실시형태들에서, 컴퓨터-구현 방법은, 전산화된 자극 또는 상호작용에 응답하여, 적어도 하나의 카메라를 통해 사용자의 얼굴 표정의 하나 이상의 디지털 이미지를 수신하는 것을 포함한다. 다양한 실시형태들에서, 방법은, 사용자의 얼굴 표정에 대응하는 하나 이상의 발렌스 입력 및/또는 하나 이상의 강도 또는 각성 입력을 결정하기 위해 상기 디지털 이미지를 프로세싱하기 위한 단계들을 포함한다. 다양한 실시형태들에서, 방법은, 그 발렌스 및/또는 강도 입력을 얼굴 표정 이미지, 아이콘, 또는 프롬프트와 연관된 미리 결정된 발렌스 또는 강도 값 범위와 비교하는 단계, 및 사용자의 얼굴 표정과 얼굴 표정 이미지, 아이콘, 또는 프롬프트 사이의 일치의 척도를 결정하는 단계를 포함한다. 다양한 실시형태들에서, 방법은 사용자의 인지 편향 또는 정서 상태의 척도를 결정하기 위한 단계를 포함한다. 다양한 실시형태들에서, 방법은, 얼굴 이미지, 아이콘, 또는 얼굴 표정 프롬프트에 응답하여, 사용자의 디지털 이미지, 아이콘, 또는 얼굴 표정에 부수하여 적어도 하나의 생리학적 측량(예를 들어, EEG, fMRI 등)으로 측정하기 위한 단계를 포함한다. 일 실시형태에서, 하나 이상의 생리학적 측량은 사용자의 정서 상태의 결정을 가능하게 한다. 다양한 실시형태들에서, 방법은, 하나 이상의 얼굴 표정 프롬프트, 이미지, 아이콘 등을 포함하는 전산화된 자극 또는 상호작용의 하나 이상의 제1, 제2, 또는 후속 인스턴스를 제공하는 단계를 포함한다. 일 실시형태에서, 전산화된 자극 또는 상호작용은 전산화된 인지-편향 수정 요법을 포함한다. 다양한 실시형태들에서, 방법은, 프로세싱 디바이스를 통해, 인지 편향, 정서 상태, 및/또는 사용자의 인지 편향 또는 정서 상태의 변화의 척도에 따라, 전산화된 자극 또는 상호작용의 하나 이상의 제1, 제2, 또는 후속 인스턴스를 수정하는 단계들을 포함한다.
(이러한 개념들이 상호 모순되지 않는다면) 이하에 더욱 상세하게 논의되는 개념들의 모든 조합들은 본원에 개시된 발명의 요지의 일부인 것으로 고려된다는 것이 이해되어야 한다. 또한, 참조에 의해 통합된 임의의 개시내용에서 나타날 수 있는 본원에 명시적으로 사용된 전문용어는 본원에 개시된 특정 개념들과 가장 일치하는 의미로 부여되어야 한다는 것이 이해되어야 한다.
이하는, 하나 이상의 다른 유형들의 측량 컴포넌트들(예를 들어, EEG, fMRI 등)과 커플링하기 위해, 그리고 인지, 감정 모방 공감 인식 및 훈련 플랫폼과의 사용자 상호작용으로부터 및/또는 하나 이상의 다른 유형들의 컴포넌트들의 적어도 하나의 측량으로부터 수집된 데이터를 분석하기 위해 구성된 인지, 감정 모방 공감 인식 및 훈련 플랫폼 및/또는 플랫폼 제품을 포함하는 본 발명의 방법, 장치 및 시스템, 그리고 이들의 실시형태들에 관련된 다양한 개념들의 더욱 상세한 설명들이다. 제한하지 않는 예로서, 정서 수정 또는 감정 인식 훈련 플랫폼 및/또는 플랫폼 제품은 인지 및 감정 훈련, 치료, 임상 또는 개입 목적을 위해 구성될 수 있다.
예시적인 구현예에서, 정서 수정 또는 감정 인식 훈련 플랫폼은 하나 이상의 생리학적 또는 모니터링 컴포넌트들 및/또는 인지 테스팅 컴포넌트들과 통합될 수 있다.
다른 예시적인 구현예에서, 정서 수정 또는 감정 인식 훈련 플랫폼은, 하나 이상의 생리학적 또는 모니터링 컴포넌트들 및/또는 인지 테스팅 컴포넌트들과 별개일 수 있고, 이들과 커플링하도록 구성될 수 있다.
본원의 임의의 예에서, 정서 수정 또는 감정 인식 훈련 플랫폼 시스템 및 방법은, 인지 또는 감정 평가(검사 및/또는 모니터링을 포함함)를 통지하는 전산화된 작업 및 플랫폼 상호작용을 제시하거나 또는 치료, 테라피, 또는 개입을 전달하도록 구성될 수 있다.
위에 소개되고 아래에 더욱 상세하게 논의되는 다양한 개념들은 임의의 특정 구현 방식으로 제한되지 않기 때문에 다수의 방식들 중 임의의 방식으로 구현될 수 있다는 것이 이해되어야 한다. 특정 구현들 및 애플리케이션들의 예들은 주로 예시적인 목적으로 제공된다. 인지, 감정 모방 공감 인식 및 훈련 플랫폼 또는 플랫폼 제품을 포함하는 예시적인 방법, 장치 및 시스템은, 개인의 평가를 위해 사용될 수 있는 데이터를 제공하기 위해 임상의, 의사 및/또는 다른 의료 또는 건강관리 종사자의 개인에 의해 사용될 수 있다.
제한하지 않는 예에서, 정서 수정 또는 감정 인식 훈련 플랫폼 또는 플랫폼 제품을 포함하는 방법, 장치 및 시스템은, 인지와 감정의 차이를 검출하고, 정상 개인, 인지 및 감정의 장애를 갖는 개인, 또는 우울증, 정신분열증, 물질 남용, 만성 통증, 자폐증, 치매, 파킨슨 질환, 대뇌 아밀로이드 혈관병증(cerebral amyloid angiopathy), 가족성 아밀로이드 신경병증(familial amyloid neuropathy), 헌팅턴 질환(Huntington's disease), 또는 다른 신경퇴행성 상태, 자폐 스펙트럼 장애(ASD; autism spectrum disorder), 16p11.2 중복의 존재, 및/또는 실행 기능 장애(예를 들어, 주의력 결핍 과잉행동 장애(ADHD; attention deficit hyperactivity disorder), 감각-처리 장애(SPD; sensory-processing disorder), 경증 인지 장애(MCI; mild cognitive impairment), 알츠하이머 질환, 다발성 경화증, 정신분열증, 우울증 또는 불안을 포함하지만 이에 제한되지 않음)를 포함하지만 이에 제한되지 않는 일반적인 신경정신 장애로 진단된 개인의 훈련, 치료 또는 개입을 위한 모니터링 툴로서 구성될 수 있다.
본원에 사용되는 바와 같이, 용어 "포함하다(includes)"는 포함하지만 이에 제한되지 않는다는 것을 의미하고, 용어 "포함하는(including)"은 포함하지만 이에 제한되지 않음을 의미한다. 용어"기초하다(based on)"는 적어도 부분적으로 기초함을 의미한다.
본 개시내용은 또한, 하나 이상의 생리학적 또는 모니터링 컴포넌트 및/또는 인지 테스팅 컴포넌트와 커플링하도록 구성된 플랫폼 제품 및 인지 및 감정 훈련 플랫폼을 포함하는 예시적인 시스템에 관한 것이다. 일부 예들에서, 시스템은 하나 이상의 다른 생리학적 또는 모니터링 컴포넌트 및/또는 인지 테스팅 컴포넌트와 통합되는 플랫폼 제품들 및 인지 플랫폼들을 포함한다. 다른 예들에서, 시스템은, 이러한 하나 이상의 컴포넌트들을 사용하여 행해진 측량들을 나타내는 데이터를 수신하기 위해, 하나 이상의 생리학적 또는 모니터링 컴포넌트 및/또는 인지 테스팅 컴포넌트와는 별개로 하우징되고 이들과 통신하도록 구성된 플랫폼 제품들 및 인지 플랫폼들을 포함한다.
본원의 임의의 예에서, 하나 이상의 생리학적 컴포넌트들은, 데이터 또는 생리학적 입력을 제공하기 위해, 전기적 활동, 심박수, 혈류 및 산소화 레벨을 포함하는 신체 및 신경계의 물리적 특성을 측정하는 임의의 수단을 포함할 수 있다. 이는, 생리학적 입력을 제공하기 위해, 카메라-기반 심박수 검출, 갈바닉 피부반응의 측량, 혈압 측량, 뇌전도, 심전도, 자기 공명 영상, 근적외선 분광법, 초음파 및/또는 동공 확장 측정을 포함할 수 있다.
생리학적 입력을 제공하기 위한 생리학적 측량의 다른 예들은, 체온, 심장, 또는 심전도(ECG; electrocardiograph)를 사용하는 다른 심장-관련 기능, 뇌전도(EEG; electroencephalogram)를 사용하는 전기적 활동, 이벤트-관련 전위(ERP; event-related potential), 기능적 자기 공명 영상(fMRI; functional magnetic resonance imaging), 혈압, 피부의 일부에서의 전위, 갈바닉 피부 반응(GSR; galvanic skin response), 뇌자기(MEG; magneto-encephalogram), 눈-추적 디바이스 또는 동공 확장의 정도를 결정하도록 프로그래밍된 프로세싱 유닛들을 포함하는 다른 광학 검출 디바이스, 기능적 근적외선 분광법(fNIRS; functional near-infrared spectroscopy), 및/또는 양전자 방출 단층촬영(PET; positron emission tomography) 스캐너의 측량을 포함하지만, 이에 제한되지 않는다. EEG-fMRI 또는 MEG-fMRI 측량은 전기생리학(EEG/MEG) 데이터 및 혈류역학(fMRI) 데이터의 동시 획득을 허용한다.
fMRI는 또한, 뇌로의 산소화된 혈액 공급의 자기적 특성 대 탈산소화된 혈액 공급의 자기적 특성의 차이에 기초하여, 신경세포 활성화를 나타내는 특정 데이터를 제공하는 데 사용될 수 있다. fMRI는 신경세포 활동과 뇌 대사 사이의 긍정적인 상관에 기초하여 혈액 공급의 부위별(regional) 변화를 측정함으로써 신경세포 활동의 간접 측정을 제공할 수 있다.
PET 스캐너는 양전자-방출 방사성핵종(추적자(tracer))에 의해 간접적으로 방출된 감마선의 검출을 통해 신체의 신진대사 프로세스 및 다른 생리학적 척도들을 관찰하기 위한 기능적 이미징을 수행하는 데 사용될 수 있다. 추적자는 생물학적 활성 분자를 사용하여 사용자의 신체에 도입될 수 있다. 신체의 신진대사 프로세스들의 지표들 및 다른 생리학적 척도들은 스캔들로부터 추적자 농도의 데이터로부터의 2차원 및 3차원 이미지의 컴퓨터 재구성을 포함하는 스캔들로부터 유도될 수 있다. 데이터는 추적자 농도 및/또는 PET 이미지(예를 들어, 2차원 또는 3차원 이미지)의 척도들을 포함할 수 있다.
본원에 사용되는 바와 같이, 용어 "전산화된 자극 또는 상호작용" 또는 "CSI"는 사용자의 자극과의 상호작용 또는 다른 상호작용을 용이하게 하기 위해 사용자에게 제시되는 전산화된 엘리먼트를 지칭한다. 제한하지 않는 예로서, 컴퓨팅 디바이스는 청각 자극을 제시하거나 사용자와의 다른 청각-기반 상호작용을 개시하도록, 및/또는 진동 자극을 제시하거나 사용자와의 다른 진동 기반 상호작용을 개시하도록, 및/또는 촉각 자극을 제시하거나 사용자와의 다른 촉각 기반 상호작용을 개시하도록, 및/또는 시각 자극, 이미지, 아이콘을 제시하거나 사용자와의 다른 시각 기반 상호작용을 개시하도록 구성될 수 있다.
본원의 원리들에 따른 임의의 작업이, 컴퓨팅 디바이스, 액츄에이팅 컴포넌트, 또는 하나 이상의 자극 또는 다른 상호작용 엘리먼트를 구현하는 데 사용되는 다른 디바이스를 통해 사용자에게 제시될 수 있다. 예를 들어, 작업은, 전산화된 자극 또는 상호작용(CSI) 또는 다른 상호작용 엘리먼트들을 제시하기 위해 그래픽 사용자 인터페이스를 렌더링함으로써 사용자에게 제시될 수 있다. 다른 예들에서, 작업은, 액츄에이팅 컴포넌트를 사용하는 청각, 촉각, 또는 진동 전산화된 엘리먼트들(CSI들을 포함함)로서 사용자에게 제시될 수 있다. 본원의 다양한 예들에서 하나 이상의 CSI들의 사용(및 이들로부터의 데이터의 분석)의 설명은 또한 이러한 예들에서 하나 이상의 CSI들을 포함하는 작업들의 사용(및 이들로부터의 데이터의 분석)을 포함한다.
일 예에서, 정서 수정 또는 감정 인식 훈련 플랫폼 및/또는 플랫폼 제품은 적어도 하나의 프로세싱 유닛을 포함하는 프로세서-구현 시스템, 방법 또는 장치로서 구성될 수 있다. 일 예에서, 적어도 하나의 프로세싱 유닛은, 전산화된 자극 또는 상호작용(CSI) 또는 다른 상호작용 엘리먼트들을 상호작용을 위해 사용자에게 제시하기 위해 적어도 하나의 그래픽 사용자 인터페이스를 렌더링하도록 프로그래밍될 수 있다. 다른 예들에서, 적어도 하나의 프로세싱 유닛은, 플랫폼 제품의 액츄에이팅 컴포넌트로 하여금 청각, 촉각, 또는 진동 전산화된 엘리먼트들(CSI들을 포함함)에 영향을 미치도록 하여 사용자와의 자극 또는 다른 상호작용에 정서적 충격을 가하도록(affect) 프로그래밍될 수 있다. 적어도 하나의 프로세싱 유닛은, 프로그램 제품의 컴포넌트로 하여금, CSI 또는 다른 상호작용 엘리먼트와의 사용자 상호작용에 기반하여 적어도 하나의 사용자 응답(입력 디바이스를 사용하여 제공되는 응답들을 포함함)을 나타내는 데이터를 수신하게 하도록 프로그래밍될 수 있다. 적어도 하나의 그래픽 사용자 인터페이스가 전산화된 자극 또는 상호작용(CSI) 또는 다른 상호작용 엘리먼트를 사용자에게 제시하도록 렌더링되는 예에서, 적어도 하나의 프로세싱 유닛은 그래픽 사용자 인터페이스로 하여금 적어도 하나의 사용자 응답을 나타내는 데이터를 수신하게 하도록 프로그래밍될 수 있다.
다른 예들에서, 플랫폼 제품은 디스플레이 컴포넌트, 입력 디바이스, 및 적어도 하나의 프로세싱 유닛을 포함하는 프로세서-구현 시스템, 방법 또는 장치로서 구성될 수 있다. 적어도 하나의 프로세싱 유닛은, 전산화된 자극 또는 상호작용(CSI) 또는 다른 상호작용 엘리먼트들을 상호작용을 위해 사용자에게 제시하기 위해, 디스플레이 컴포넌트에서의 디스플레이를 위해 적어도 하나의 그래픽 사용자 인터페이스를 렌더링하도록 프로그래밍될 수 있다. 다른 예들에서, 적어도 하나의 프로세싱 유닛은, 플랫폼 제품의 액츄에이팅 컴포넌트로 하여금 청각, 촉각, 또는 진동 전산화된 엘리먼트들(CSI들을 포함함)에 영향을 미치도록 하여 사용자와의 자극 또는 다른 상호작용에 정서적 충격을 가하도록 프로그래밍될 수 있다.
입력 디바이스의 비-제한적 예들은, 터치스크린, 또는 다른 압력-감지 또는 터치-감지 표면, 모션 센서, 포지션 센서, 압력 센서, 조이스틱, 운동 장비, 및/또는 이미지 캡쳐 디바이스(예를 들어, 카메라, 그러나 이에 제한되지 않음)를 포함한다.
본원의 원리들에 따르면, 용어 "인지(cognition)" 또는 "인지의(cognitive)"는 사고, 경험, 및 감각을 통해 지식 및 이해를 획득하는 정신적인 작용 또는 프로세스를 지칭한다. 이는, 실행기능, 메모리, 지각, 주의력, 감정, 운동 제어 및 간섭 프로세싱과 같은 심리적 개념/도메인을 포함하지만, 이에 제한되지 않는다. 본원의 원리들에 따른 예시적인 컴퓨터-구현 디바이스는, 플랫폼 제품과의 사용자 상호작용을 나타내는 데이터를 수집하고, 사용자 수행능력을 정량화하는 메트릭들을 계산하도록 구성될 수 있다. 사용자 수행능력의 정량자(quantifier)는, (인지 평가를 위해) 인지의 척도를 제공하거나 또는 인지 치료의 상태 또는 진행의 척도를 제공하는 데 사용될 수 있다.
본원의 원리들에 따르면, 용어 "치료(treatment)" 또는 "치료하다(treat)"는, 인지, 사용자의 기분, 감정 상태, 및/또는 인지, 감정 모방 공감 인식 및 훈련 플랫폼에 대한 관여(engagement) 또는 주의(attention)의 수준에 관련된 개선과 같은, 그러나 이에 제한되지 않는, 사용자의 측정가능한 개선을 초래하는 플랫폼 제품에서의 CSI의 임의의 조작을 지칭한다. 개선의 정도 또는 수준은, 본원에 설명하는 바와 같이 사용자 인지 편향 또는 정서 상태 척도에 기초하여 정량화될 수 있다. 일 예에서, 용어 "치료"는 또한 요법(therapy)을 지칭할 수 있다.
본원의 원리들에 따르면, 용어 "정서(affect)"는, 느낌 또는 감정의 경험을 설명하기 위해 심리학에서 사용되는 개념을 지칭한다. 단어"정서"는 또한 정서 디스플레이를 지칭하며, 이 정서 디스플레이는 정서의 지표로서 기능하는 얼굴, 음성 또는 제스처 행동이다.
본원의 원리들에 따르면, 용어 "발렌스(valence)"는 이벤트, 객체, 또는 상황의 본질적인 좋아함/"좋은" 정도(긍정적인 발렌스) 또는 싫어함/"싫은"정도(부정적인 발렌스)를 지칭한다. 용어는 또한 특정 감정들을 특징화하고 분류한다. 예를 들어, 분노 및 공포와 같은 "부정적"으로 지칭되는 감정은 부정적인 발렌스를 갖는다. 기쁨은 긍정적인 발렌스를 갖는다. 긍정적으로 발렌싱된 감정은 긍정적으로 발렌싱된 이벤트, 객체, 또는 상황들에 의해 유발된다. 이 용어는 또한 느낌, 정서, 특정 행동들(예를 들어, 접근 및 회피), 목표 달성 또는 비달성, 및 사회적 규범에 대한 적합성 또는 위반의 쾌락적 톤(hedonic tone)을 설명하는 데 사용된다.
전술한 바와 같이, 본원의 원리들에 따른 예시적인 시스템, 방법, 및 장치는, 정서 수정 또는 감정 인식 훈련 플랫폼 및/또는 플랫폼 제품(이하, "감정 표현 훈련 플랫폼(Emotional Expression Training platform)")을 제공하기 위해, 프로그래밍된 컴퓨팅 디바이스의 적어도 하나의 프로세싱 유닛을 사용하여 구현될 수 있다. 도 1은, 본 개시내용에 설명된 시스템 및 방법을 포함하는 감정 표현 훈련 플랫폼 및/또는 플랫폼 제품을 구현하는 데 사용될 수 있는, 본원의 원리들에 따른 예시적인 장치(100)를 도시한다. 예시적인 장치(100)는 적어도 하나의 메모리(102) 및 적어도 하나의 프로세싱 유닛(104)을 포함한다. 적어도 하나의 프로세싱 유닛(104)은 적어도 하나의 메모리(102)에 통신가능하게 커플링된다.
예시적인 메모리(102)는, 하드웨어 메모리, 비일시적 유형의 매체, 자기 저장 디스크, 광 디스크, 플래시 드라이브, 계산 디바이스 메모리, 랜덤 액세스 메모리(예를 들어, DRAM, SRAM, EDO RAM), 임의의 다른 유형의 메모리, 또는 이들의 조합을 포함할 수 있지만, 이에 제한되지 않는다. 예시의 프로세싱 유닛(104)은 마이크로칩, 프로세서, 마이크로프로세서, 특수 목적 프로세서, 주문형 집적 회로, 마이크로컨트롤러, 필드 프로그래밍가능 게이트 어레이, 임의의 다른 적합한 프로세서, 또는 이들의 조합을 포함할 수 있지만, 이에 제한되지 않는다.
적어도 하나의 메모리(102)는 프로세서-실행가능 명령어들(106) 및 컴퓨팅 컴포넌트(108)를 저장하도록 구성된다. 제한하지 않는 예에서, 컴퓨팅 컴포넌트(108)는 본원에 설명된 바와 같이 하나 이상의 생리학적 또는 모니터링 컴포넌트들 및/또는 인지 테스팅 컴포넌트와 커플링된 인지 플랫폼 및/또는 플랫폼 제품으로부터 수신된 cData 및/또는 nData를 분석하는 데 사용될 수 있다. 도 1에 도시된 바와 같이, 메모리(102)는 또한, 카메라로부터의 얼굴 이미지 데이터, 생리학적 데이터(pData)(112)(하나 이상의 생리학적 또는 모니터링 컴포넌트들 및/또는 인지 테스팅 컴포넌트들을 사용하는 측량(들)으로부터의 계산 측량 데이터를 포함함), 및/또는 (장치(100)의 그래픽 사용자 인터페이스에서 렌더링된 작업들 및/또는 장치(100)에 커플링되거나 장치(100)와 통합된 액츄에이팅 컴포넌트로부터의 청각, 촉각, 또는 진동 신호를 사용하여 생성된 작업들에 대한 응답들을 포함하는) 하나 이상의 작업들에 대한 개인의 반응을 나타내는 데이터를 포함하는 데이터(110)를 저장하는 데 사용될 수 있지만, 이에 제한되지 않는다. 데이터(110)는 장치(100)에 커플링되거나 장치(100)와 통합된 하나 이상의 생리학적 또는 모니터링 컴포넌트들 및/또는 인지 테스팅 컴포넌트들로부터 수신될 수 있다.
제한하지 않는 예에서, 적어도 하나의 프로세싱 유닛(104)은 컴퓨팅 컴포넌트(108)를 사용하여 본원에 설명된 바와 같이 하나 이상의 생리학적 또는 모니터링 컴포넌트들 및/또는 인지 테스팅 컴포넌트들과 커플링된 감정 표현 훈련 플랫폼 및/또는 플랫폼 제품으로부터 수신된 pData 및/또는 카메라로부터의 디지털 이미지 데이터를 적어도 분석하기 위해 메모리(102)에 저장된 프로세서-실행가능 명령어들(106)을 실행한다. 적어도 하나의 프로세싱 유닛(104)은 또한 사용자 발렌스 또는 강도/각성 또는 정서를 나타내는 계산 결과들을 생성하기 위해 메모리(102)에 저장된 프로세서-실행가능 명령어들(106)을 실행하도록 구성될 수 있다. 적어도 하나의 프로세싱 유닛(104)은 또한, 본원에 설명된 바와 같이 하나 이상의 생리학적 또는 모니터링 컴포넌트들 및/또는 인지 테스팅 컴포넌트들과 커플링된 감정 표현 훈련 플랫폼 및/또는 플랫폼 제품으로부터 수신된 분석을 나타내는 값들을 송신하기 위해 송신 유닛을 제어하기 위한 프로세서-실행가능 명령어들(106)을 실행하고/실행하거나, 분석을 나타내는 값들을 저장하도록 메모리(102)를 제어한다.
도 2는 본원의 원리들에 따른 컴퓨팅 컴포넌트로서 사용될 수 있는 예시적인 컴퓨팅 디바이스(200)의 블록도이다. 본원의 임의의 예에서, 컴퓨팅 디바이스(200)는 컴퓨팅 컴포넌트를 구현하기 위해 사용자 입력을 수신하는 콘솔로서 구성될 수 있다. 명료함을 위해, 도 2는 또한 도 1의 예시적인 시스템의 다양한 엘리먼트들을 다시 참조하고 이들에 관한 더 상세한 설명을 제공한다. 컴퓨팅 디바이스(200)는 예들을 구현하기 위한 하나 이상의 컴퓨터-실행가능 명령어들 또는 소프트웨어를 저장하기 위한 하나 이상의 비일시적 컴퓨터-판독가능 매체를 포함할 수 있다. 비일시적 컴퓨터-판독가능 매체는, 하나 이상의 유형들의 하드웨어 메모리, 비일시적 유형의 매체(non-transitory tangible media)(예를 들어, 하나 이상의 자기 저장 디스크들, 하나 이상의 광학 디스크들, 하나 이상의 플래시 드라이브들) 등을 포함할 수 있지만, 이에 제한되지 않는다. 예를 들어, 컴퓨팅 디바이스(200)에 포함된 메모리(502)는 본원에 개시된 동작들을 수행하기 위한 컴퓨터-판독가능 및 컴퓨터-실행가능 명령어들 또는 소프트웨어를 저장할 수 있다. 예를 들어, 메모리(502)는 개시된 동작들(예를 들어, 플랫폼 및/또는 플랫폼 제품 측량 데이터 및 응답 데이터, 얼굴 인식, 감정 인식을 분석하고, 계산을 수행)의 다양한 조합을 수행하도록 구성된 소프트웨어 애플리케이션(640)을 저장할 수 있다. 컴퓨팅 디바이스(200)는 또한, 메모리(502)에 저장된 컴퓨터-판독가능 및 컴퓨터-실행가능 명령어들 또는 소프트웨어 및 시스템 하드웨어를 제어하기 위한 다른 프로그램들을 실행시키기 위해, 구성가능한 및/또는 프로그래밍가능한 프로세서(504) 및 연관 코어(614)를 포함하고, 선택적으로는 하나 이상의 부가적인 구성가능한 및/또는 프로그래밍가능한 프로세싱 디바이스들, 예를 들어, 프로세서(들)(612') 및 연관 코어(들)(614')(예를 들어, 다수의 프로세서들/코어들을 갖는 계산 디바이스들의 경우)를 포함한다. 프로세서(504) 및 프로세서(들)(612')는 각각 단일 코어 프로세서 또는 다수의 코어(614 및 614') 프로세서일 수 있다.
콘솔 내 인프라스트럭처 및 리소스들이 동적으로 공유될 수 있도록, 가상화(virtualization)가 컴퓨팅 디바이스(200)에 채용될 수 있다. 가상 머신(624)은, 프로세스가 다수의 컴퓨팅 리소스들 보다는 오직 하나의 컴퓨팅 리소스를 이용하는 것으로 나타나도록, 다수의 프로세서들 상에서 구동하는 프로세스를 처리하도록 제공될 수 있다. 다수의 가상 머신들이 또한 하나의 프로세서와 함께 사용될 수 있다.
메모리(502)는 계산 디바이스 메모리 또는 랜덤-액세스 메모리(예를 들어, DRAM, SRAM, EDO RAM, 그러나 이에 제한되지 않음)를 포함할 수 있다. 메모리(502)는 비-휘발성 메모리(예를 들어, 하드-디스크 또는 플래시 메모리, 그러나 이에 제한되지 않음)를 포함할 수 있다. 메모리(502)는 또한 다른 유형의 메모리 또는 이들의 조합을 포함할 수 있다.
제한하지 않는 예에서, 메모리(502) 및 적어도 하나의 프로세싱 유닛(504)은 동글(어댑터를 포함함) 또는 다른 주변 하드웨어와 같은 주변 디바이스의 컴포넌트들일 수 있지만, 이에 제한되지 않는다. 예시적인 주변 디바이스는, 임의의 예시적인 인지 플랫폼 및/또는 플랫폼 제품의 기능을 제공하고, 예시적인 분류기 모델을 적용하고, 본원에 설명된 임의의 예시적인 분석(연관 계산을 포함함)을 구현하기 위해, 주 컴퓨팅 디바이스와 통신하거나 그렇지 않으면 주 컴퓨팅 디바이스에 커플링되도록 프로그래밍될 수 있다. 일부 예들에서, 주변 디바이스는, 주 컴퓨팅 디바이스(예를 들어, USB 또는 HDMI 입력을 통해, 그러나 이에 제한되지 않음)와 직접 통신하거나 또는 그렇지 않으면 이에 커플링하고, 또는 케이블(동축 케이블을 포함함), 구리 배선(PSTN, ISDN, 및 DSL을 포함하지만, 이에 제한되지 않음), 광섬유, 또는 다른 커넥터 또는 어댑터를 통해 간접적으로 통신하거나 또는 그렇지 않으면 이에 커플링할 수 있다. 다른 예에서, 주변 디바이스는 주 컴퓨팅 디바이스와 무선으로(예를 들어, Wi-Fi 또는 Bluetooth®, 그러나 이에 제한되지 않음) 통신하도록 프로그래밍될 수 있다. 예시적인 주 컴퓨팅 디바이스는, 스마트폰(예를 들어, iPhone®, BlackBerry®, 또는 Android™-기반 스마트폰, 그러나 이에 제한되지 않음), 텔레비전, 워크스테이션, 데스크탑 컴퓨터, 랩탑, 태블릿, 슬레이트, 전자-판독기(e-판독기), 디지털 어시스턴트, 또는 다른 전자 판독기 또는 핸드-헬드, 휴대용 또는 웨어러블 컴퓨팅 디바이스, 또는 임의의 다른 등가 디바이스, Xbox®, Wii®, 또는 다른 등가 형태의 컴퓨팅 디바이스일 수 있다.
사용자는 예시적인 시스템들 및 방법들에 따라 제공될 수 있는 하나 이상의 사용자 인터페이스들(630)을 디스플레이할 수 있는 컴퓨터 모니터와 같은 시각적 디스플레이 유닛(628)을 통해 컴퓨팅 디바이스(200)와 상호작용할 수 있다. 컴퓨팅 디바이스(200)는 사용자로부터 입력을 수신하기 위한 다른 I/O 디바이스들, 예를 들어, 키보드 또는 임의의 적합한 멀티-포인트 터치 인터페이스(618), 카메라 디바이스(620), 마우스, 마이크 또는 기타 녹음 디바이스, 가속도계, 자이로스코프, 촉각, 진동, 또는 청각 신호를 위한 센서, 및/또는 적어도 하나의 액츄에이터를 포함할 수 있다. 키보드(618) 및 카메라 디바이스(620)는 시각적 디스플레이 유닛(628)에 커플링될 수 있다. 컴퓨팅 디바이스(200)는 다른 적합한 종래의 I/O 주변기기들을 포함할 수 있다.
컴퓨팅 디바이스(200)는 또한, 본원에 개시된 동작들을 수행하는 데이터 및 컴퓨터-판독가능 명령어들 및/또는 소프트웨어를 저장하기 위한 하드-드라이브, CD-ROM, 또는 다른 컴퓨터 판독가능 매체와 같은 하나 이상의 저장 디바이스들(634)(단일 코어 프로세서 또는 다중 코어 프로세서(636)를 포함함)을 포함할 수 있다. 예시적인 저장 디바이스(634)(단일 코어 프로세서 또는 다중 코어 프로세서(636)를 포함함)는 또한 예시적인 시스템 및 방법을 구현하도록 요구되는 임의의 적합한 정보를 저장하기 위한 하나 이상의 데이터베이스들을 저장할 수 있다. 데이터베이스들은 데이터베이스들 내에서 하나 이상의 아이템들을 부가, 삭제 및/또는 업데이트하기 위해 임의의 적합한 시간에 수동으로 또는 자동으로 업데이트될 수 있다.
컴퓨팅 디바이스(200)는, 예를 들어, 표준 전화 회선들, 로컬 영역 네트워크(LAN; Local Area Network), 또는 광역 네트워크(WAN; Wide Area Network) 링크들(예를 들어, 802.11, T1, T3, 56kb, X.25), 광대역 접속들(예를 들어, ISDN, 프레임 릴레이, ATM), 무선 접속들, 제어기 영역 네트워크(CAN; controller area network), 또는 전술한 것들 중 임의의 것 또는 모두의 일부 조합을 포함하지만 이에 제한되지 않는 다양한 접속들을 통해, 하나 이상의 네트워크들, 예를 들어, LAN, 도시 영역 네트워크(MAN; metropolitan area network), WAN 또는 인터넷과 하나 이상의 네트워크 디바이스들(632)을 통해 인터페이싱하도록 구성된 네트워크 인터페이스(622)를 포함할 수 있다. 네트워크 인터페이스(622)는, 컴퓨팅 디바이스(200)를 통신할 수 있는 임의의 유형의 네트워크에 인터페이싱하고 본원에 설명된 동작들을 수행하게 하기에 적합한, 내장형(built-in) 네트워크 어댑터, 네트워크 인터페이스 카드, PCMCIA 네트워크 카드, 카드 버스 네트워크 어댑터, 무선 네트워크 어댑터, USB 네트워크 어댑터, 모뎀 또는 임의의 다른 디바이스를 포함할 수 있다. 또한, 컴퓨팅 디바이스(200)는, 스마트폰(예를 들어, iPhone®, BlackBerry®, 또는 Android™-기반 스마트폰, 그러나 이에 제한되지 않음), 텔레비전, 워크스테이션, 데스크탑 컴퓨터, 서버, 랩탑, 태블릿, 슬레이트, 전자-판독기(e-판독기), 디지털 어시스턴트, 또는 다른 전자 판독기 또는 핸드-헬드, 휴대용 또는 웨어러블 컴퓨팅 디바이스, 또는 임의의 다른 등가 디바이스, Xbox®, Wii®, 또는 통신할 수 있고 본원에 설명된 동작들을 수행하기 위해 충분한 프로세서 전력 및 메모리 용량을 갖거나 이에 커플링된 다른 등의 형태의 컴퓨팅 또는 텔레커뮤니케이션 디바이스일 수 있다. 하나 이상의 네트워크 디바이스들(632)은, 상이한 유형의 프로토콜들, 예를 들어, 무선 응용 프로토콜(WAP; Wireless Application Protocol), 송신 제어 프로토콜(TCP/IP; Transmission Control Protocol/Internet Protocol), WAP; NetBEUI 확장 사용자 인터페이스(NetBIOS Extended User Interface), 또는 인터넷워크 패킷 교환/시퀀스 패킷 교환(IPX/SPX; Internetwork Packet Exchange/Sequenced Packet Exchange)을 사용하여 통신할 수 있지만, 이에 제한되지 않는다.
컴퓨팅 디바이스(200)는 임의의 버전의 Microsoft® Windows® 운영 체제, iOS® 운영 체제, Android™ 운영 체제, 상이한 릴리즈의 Unix 및 Linux 운영 체제, 매킨토시 컴퓨터용 임의의 버전의 MacOS®, 임의의 임베디드 운영 체제, 임의의 실시간 운영 체제, 임의의 오픈 소스 운영 체제, 임의의 독점 운영 체메, 또는 콘솔 상에서 실행할 수 있고 본원에 설명된 동작들을 수행할 수 있는 임의의 다른 운영 체제와 같은 임의의 운영 체제(626)를 실행할 수 있다. 일부 예들에서, 운영 체제(626)는 네이티브 모드 또는 에뮬레이트 모드에서 실행될 수 있다. 일 예에서, 운영 체제(626)는 하나 이상의 클라우드 머신 인스턴스들 상에서 실행될 수 있다.
본 개시내용의 저장 디바이스들(634)은 감정 표현 훈련 플랫폼에 대한 동작들의 수에 대한 명령어들을 포함한다. 도 3에서, 하나 이상의 명령어들은 컴퓨팅 디바이스(200)가 감정 표현 프롬프트, 이미지, 아이콘 등을 포함하는 컴퓨터 자극(700)을 디스플레이 유닛(628) 상에 렌더링할 수 있게 한다. 컴퓨팅 디바이스(200)는, 전산화된 자극 또는 상호작용(700)에 응답하여 사용자의 얼굴 표정의 하나 이상의 디지털 이미지(710)를 바람직하게는 실시간으로 수신한다. 컴퓨팅 디바이스(200)는 얼굴 표정에 대응하는 발렌스 입력(720)을 결정하기 위해 디지털 이미지(710)를 프로세싱한다. 그후, 컴퓨팅 디바이스(200)는 그 발렌스 입력(720)을 하나 이상의 저장 디바이스들(634) 내에 저장된 감정 표현 프롬프트(700)와 연관된 미리 결정된 강도 범위와 비교한다. 대안적인 실시형태에서, 발렌스 입력(720)은 강도 또는 각성 입력을 포함한다. 컴퓨팅 디바이스(200)는 그 후 사용자의 얼굴 표정(710)과 감정 표현 프롬프트(700) 또는 하나 이상의 CSI들 사이의 일치의 척도를 결정하기 위한 명령어들을 실행한다. 다양한 실시형태들에서, 감정 표현 플랫폼 또는 플랫폼-제품은 하나 이상의 얼굴 표정들을 모방하기 위해 사람의 능력의 검출 및 추적을 가능하게 한다. 일 실시형태에서, 검출 및 추적을 위한 하나 이상의 동작들은 하나 이상의 특정 정신병리들 또는 질환들의 검사를 가능하게 한다. 다양한 실시형태들에서, 증가된 효율로 감정 표현 프롬프트(700)를 복제하기 위한 하나 이상의 이미지들(710)을 캡쳐함으로써 사용자를 훈련시키는 것은 효과적인 치료 또는 개입을 제안할 수 있다. 다양한 실시형태들에서, 이미지(710)는 하나 이상의 검출된 표현을 나타내는 사용자의 얼굴 및 발렌스(720)의 라이브 비디오 피드(live video feed)이다. 사용자는, 다른 사람들이 그들 자신의 얼굴 표정들을 즉시 판독할 수 있는 방법을 신속하게 학습할 수 있다. 사용자는 그후, 감정 표현 프롬프트(700)에 응답하여 표정을 모방하도록 훈련되고, 표정을 복제하거나 또는 모방할 때의 정확도에 대한 실시간 피드백을 수신할 수 있다.
도 4는 하나 이상의 특정 감정을 식별, 표적화, 또는 수정하기 위한 생리학적 센서의 통합을 갖는 감정 표현 훈련 플랫폼 시스템을 도시한다. 예시적인 구현예에서, 생리학적 센서(810)는, 도 3의 하나 이상의 감정 표현 프롬프트(700)에 응답하여 하나 이상의 생리학적 센서 입력(820)의 측량 및 수집을 가능하게 한다. 다양한 실시형태들에서, 도 2의 컴퓨팅 디바이스(200)는 사용자의 얼굴 표정과 도 3의 감정 표현 프롬프트(700) 사이의 일치의 척도에 따라 도 3의 하나 이상의 캡쳐된 이미지들(710)로부터의 사용자의 인식 편향 또는 정서 상태의 척도를 결정하기 위해 도 2의 저장 디바이스들(634)로부터의 하나 이상의 동작 명령어들을 실행한다. 제한하지 않는 예시적인 구현예에서, EEG(810)는 의료 치료 검증 및/또는 개인화된 치료 또는 개입을 위한 저비용 EEG일 수 있다. 저비용 EEG 디바이스는 사용하기에 쉬울 수 있고 의료 애플리케이션의 정확도 및 유효성을 크게 개선시킬 잠재력을 갖는다. 이 예에서, 플랫폼 제품은, 감정 표현 훈련 플랫폼과 커플링된 EEG 컴포넌트를 포함하는 통합 디바이스로서, 또는 EEG 컴포넌트와 분리되지만 EEG 컴포넌트와의 커플링을 위해 구성된 인지 및/또는 정서 플랫폼으로서 구성될 수 있다.
훈련 검증을 위한 제한하지 않는 예시적인 사용에서, 사용자는 감정 표현 훈련 플랫폼과 상호작용하고, EEG는 사용자의 생리학적 측량들을 수행하기 위해 사용된다. (뇌파들과 같은) EEG 측량 데이터의 임의의 변화는 인지 플랫폼과 상호작용하는 사용자의 행동에 기초하여 모니터링된다. (뇌파들과 같은) EEG를 사용하는 측량들로부터의 생리학적 입력(820)은 EEG 측량들에서의 변화를 검출하기 위해 수집되어 분석될 수 있다. 이러한 분석은, 발렌스, 정서, 강도 등과 같은, 사용자로부터의 반응의 유형들을 결정하는 데 사용될 수 있다.
개인화 의료를 위한 제한하지 않는 예시적인 사용에서, EEG 측량들로부터의 생리학적 입력(820)은, 감정 표현 훈련 플랫폼 치료가 (주어진 사용자에 대해 작동하는 작업들 및/또는 CSI들(700)의 유형을 결정하는 것을 포함하는) 원하는 효과를 갖는다는 것을 나타내는 인지 또는 감정 또는 공감에 있어서의 정도 및/또는 변화를 식별하는 데 사용된다. 분석은, 애플리케이션에서 사용자 경험을 조절함으로써 EEG가 검출하고 있는 이러한 사용자 결과들을 집행하거나(enforce) 줄이기(diminish) 위한 작업들 및/또는 CSI들을 감정 표현 훈련 플랫폼이 제공해야 되어야만 하는지 여부를 결정하는 데 사용될 수 있다.
제한하지 않는 예시적인 구현예에서, 810으로부터의 생리학적 측량들은 의료 애플리케이션 검증 및 개인화 의료, 치료, 또는 개입을 위한 사용을 위해 fMRI와 커플링하도록 구성된 감정 표현 훈련 플랫폼을 사용하여 이루어진다. 소비자-레벨 fMRI 디바이스들은 뇌 부분 자극에서의 변화들을 추적 및 검출함으로써 의료 애플리케이션들의 정확성 및 유효성을 개선시키기 위해 사용될 수 있다.
제한하지 않는 예에서, fMRI 측량들은 피질 두께의 측량 데이터 및 다른 유사한 측량 데이터를 제공하는 데 사용될 수 있다. 치료 검증을 위한 제한하지 않는 예시적인 사용에서, 사용자는 인지 플랫폼과 상호작용하고, fMRI는 생리학적 데이터를 측정하는 데 사용된다. 사용자는 인지 플랫폼과 상호작용하는 동안 사용자의 행동들에 기초하여 특정 뇌 부분 또는 뇌 부분들의 조합의 자극을 가질 것으로 예상된다. 이 예에서, 플랫폼 제품은, 인지 플랫폼과 커플링된 fMRI 컴포넌트를 포함하는 통합 디바이스로서, 또는 fMRI 컴포넌트와 분리되지만 fMRI 컴포넌트와의 커플링을 위해 구성된 인지 플랫폼으로서 구성될 수 있다. fMRI를 갖는 애플리케이션을 사용하여, 사용자 뇌의 부분들의 자극에 대한 측량이 이루어질 수 있고, 분석이 수행되어 사용자가 원하는 응답들을 나타내고 있는지를 결정하기 위한 변화를 검출할 수 있다.
개인화 치료 또는 개입을 위한 제한하지 않는 예시적인 사용에서, fMRI는 상호작용 플랫폼에서 사용자의 진행을 식별하기 위해 사용되는 측량 데이터를 수집하는 데 사용될 수 있다. 분석은, 애플리케이션에서 사용자 경험을 조절함으로써 fMRI가 검출하고 있는 이러한 사용자 결과들을 집행하거나 줄이기 위한 작업들 및/또는 CSI들을 감정 표현 훈련 플랫폼이 제공해야 되어야만 하는지 여부를 결정하는 데 사용될 수 있다.
본원의 임의의 예에서, 작업, 알림 및/또는 CSI의 유형에 대한 조정(들) 또는 수정(들) 또는 이들의 제시가 실시간으로 이루어질 수 있다. 다양한 실시형태들에서, 생리학 측량(예를 들어, EEG, fMRI 등) 및/또는 얼굴 인식 기술은 정확성 및 특이성을 갖는 하나 이상의 감정을 검출한다. 다양한 실시형태들에서, 하나 이상의 인지 검사 도구(CSI; cognition screening instrument)들은 하나 이상의 표적화된 감정을 추가로 촉진하도록 적응된다.
이제 도 5를 참조하면, 다양한 실시형태들에 따라, 인지 편향과 연관된 감정을 표적화하기 위한 컴퓨터-구현 방법의 프로세스 흐름도(500)이다. 다양한 실시형태들에서, 컴퓨터-구현 방법은 얼굴 이미지 프로세싱을 포함하는데, 이 방법은 도 3의 감정 표현 프롬프트(700)의 인스턴스를 디스플레이하도록 구성된 사용자 인터페이스 또는 디스플레이 유닛(628)을 갖는 도 2의 컴퓨팅 디바이스(200)를 더 포함한다. 대안적인 실시형태에서, 도 3의 감정 표현 프롬프트(700)의 인스턴스는 전산화된 상호작용이다. 다양한 실시형태들에서, 컴퓨터-구현 방법은, 도 3의 전산화된 자극 또는 상호작용(700)에 응답하여, 도 2의 적어도 하나의 카메라 디바이스(620)를 통해, 사용자에게 자극을 프롬프트하는 단계(단계 902) 및 도 3의 하나 이상의 디지털 이미지(710)를 수신하는 단계(단계 910)를 포함한다. 다양한 실시형태들에서, 방법은, 상기 디지털 이미지를 프로세싱하여(단계 920) 얼굴 표정에 대응하는 도 3의 하나 이상의 발렌스(720) 및/또는 하나 이상의 강도 또는 각성 입력을 결정하는 단계(단계 930)를 포함한다. 다양한 실시형태들에서, 방법은, 그 발렌스 및/또는 강도 또는 각성 입력을 얼굴 표정 이미지, 아이콘, 또는 프롬프트(예를 들어, 도 3의 700)와 연관된 미리 결정된 발렌스 또는 강도 값 범위와 비교하는 단계(단계 940), 및 사용자의 얼굴 표정과 얼굴 표정 이미지, 아이콘, 또는 프롬프트 사이의 일치의 척도를 결정하는 단계를 포함한다. 다양한 실시형태들에서, 방법은 사용자의 인지 편향 또는 정서 상태의 척도를 결정하기 위한 단계(단계 950)를 포함한다. 다양한 실시형태들에서, 방법은, 얼굴 이미지, 아이콘, 또는 얼굴 표정 프롬프트에 응답하여, 사용자의 상기 디지털 이미지, 아이콘, 또는 얼굴 표정에 부수하여 적어도 하나의 생리학적 측량(예를 들어, EEG, fMRI 등)으로 측정하기 위한 단계(단계 960)를 포함한다. 일 실시형태에서, 하나 이상의 생리학적 측량은 사용자의 정서 상태의 결정(단계 950)을 가능하게 한다. 다양한 실시형태들에서, 방법은, 하나 이상의 얼굴 표정 프롬프트, 이미지, 아이콘 등을 포함하는 전산화된 자극 또는 상호작용의 하나 이상의 제1, 제2, 또는 후속 인스턴스를 제공하는 단계(단계 970)를 포함한다. 일 실시형태에서, 전산화된 자극 또는 상호작용은 전산화된 인지-편향 수정 요법을 포함한다. 다양한 실시형태들에서, 방법은, 프로세싱 디바이스를 통해, 인지 편향, 정서 상태, 및/또는 사용자의 인지 편향 또는 정서 상태의 변화의 척도에 따라, 전산화된 자극 또는 상호작용의 하나 이상의 제1, 제2, 또는 후속 인스턴스를 수정하는 단계들을 포함한다.
도 6은 인지-편향 수정(CBM; cognitive-bias modification) 방법(600)의 프로세스 흐름도이다. 본 개시내용의 다양한 양태들에 따르면, 방법(600)은 우울증 및 사회 불안과 같은 하나 이상의 정신병리들과 연관된 하나 이상의 인지 편향들을 식별, 표적화 및/또는 수정하도록 작동 가능하게 구성될 수 있다. 방법(600)은 많은 장애의 특징인 중립적이거나 모호한 얼굴의 사용자의 편향된 지각을 부정적인 것으로부터 더욱 긍정적인 것으로 시프트하도록 구성된 하나 이상의 감정 인식 훈련 작업들을 포함할 수 있다. 특정 실시형태들에 따르면, 방법(600)은 전산화된 CBM 애플리케이션으로서 구현된다. 방법(600)은 CBM 애플리케이션의 인스턴스를 개시함으로써 시작될 수 있다(601). CBM 애플리케이션은 그래픽 사용자 인터페이스를 통해 사용자에게 하나 이상의 CSI들을 제시하도록 구성될 수 있으며(603), 여기서 하나 이상의 CSI들은 적어도 하나의 특정 정신병리와 연관되는 사용자에서 하나 이상의 잠재적 인지 편향을 검사하도록 구성된다. 일 실시형태에 따르면, CSI는 적어도 하나의 감정 표현 프롬프트를 포함한다. 방법(600)은 사용자의 얼굴 및/또는 얼굴 표정의 하나 이상의 디지털 이미지들을 포함하는 적어도 하나의 감정 표현 프롬프트에 응답하여 감정 표현 입력을 수신함으로써 진행한다(605). 방법(600)은 사용자의 얼굴 표정에 대응하는 하나 이상의 발렌스 및 강도/각성 데이터를 정량화하기 위해 감정 표현 입력을 프로세싱함으로써 진행할 수 있다. 발렌스 및 강도/각성 데이터는, 사용자에서 하나 이상의 인지 편향을 식별하기 위해, 사용자의 얼굴 표정과 감정 표현 프롬프트 사이의 일치의 척도를 결정하도록 하나 이상의 파라미터들에 따라 추가로 프로세싱될 수 있다(607). 특정 실시형태들에서, 방법(600)은 하나 이상의 특정 정신병리를 검사하고 이를 식별하기 위해 발렌스 및 강도/각성 데이터를 분석하는 단계를 더 포함할 수 있다(609). 방법(600)은 사용자에서 하나 이상의 특정 감정들을 표적화하도록 구성된 하나 이상의 표적화된 또는 수정된 CSI들을 제시함으로써 진행할 수 있고(611), 여기서 하나 이상의 특정 감정들은 식별된 인지 편향과 연관된다. 하나 이상의 표적화된 또는 수정된 CSI들은 CBM 애플리케이션의 동일한 세션에서 그리고/또는 CBM 애플리케이션의 후속 세션들에서 제시될 수 있다. 하나 이상의 표적화된 또는 수정된 CSI들은 하나 이상의 감정 인식 훈련 상호작용들에 대응하는 하나 이상의 감정 표현 프롬프트들을 포함할 수 있다. 방법(600)은, 하나 이상의 경우들에서, 하나 이상의 감정 표현 프롬프트들에 응답하여 사용자의 얼굴/얼굴표정의 디지털 이미지(들)를 포함하는 카메라 입력을 수신함으로써 추가로 진행할 수 있다(613). 이미지 데이터(들)는 사용자의 얼굴 표정에 대응하는 하나 이상의 발렌스 및 강도/각성 데이터를 정량화하도록 프로세싱될 수 있다. 발렌스 및 강도/각성 데이터는, 사용자의 인지 편향에서의 변화의 척도를 평가하기 위해 사용자의 얼굴 표정과 감정 표현 프롬프트 사이의 일치의 척도를 측정하도록 하나 이상의 파라미터들에 따라 추가로 프로세싱될 수 있다(615). 방법(600)은 선택적으로 사용자의 인지 편향에서의 변화의 척도에 따라 CSI들을 추가로 수정함으로써 프로세싱할 수 있다(617).
도 7은 소프트웨어 플랫폼 또는 애플리케이션과의 사용자 상호작용 동안 사용자 정서를 최적화하거나 개선시키기 위한 컴퓨터-구현 방법(700)의 프로세스 흐름도이다. 방법(700)의 실시형태들이 사용자 정서를 개선시키거나 최적화하도록 채용될 수 있는 예시적인 전산화된 사용자 상호작용은, 인지-편향 수정 플랫폼, 인지 훈련 플랫폼, 기분 또는 감정 향상 플랫폼, 및 원격진료 또는 원격의학 플랫폼을 포함할 수 있다. 예시적인 전산화된 사용자 상호작용들은, 비디오 게임, 소셜 미디어 플랫폼, 및 다른 동적 미디어 플랫폼과 같은 사용자 세션이 연장된 시간 기간을 포함할 수 있는 비-의료 소프트웨어 플랫폼 및 애플리케이션을 추가로 포함할 수 있다. 방법(700)은 소프트웨어 플랫폼 또는 애플리케이션의 세션 동안 사용자에게 하나 이상의 CSI들을 제시함으로써 개시될 수 있다(701). 특정 실시형태들에 따르면, 소프트웨어 플랫폼 또는 애플리케이션은 하나 이상의 CSI들에 대한 응답/반응으로 사용자의 얼굴의 하나 이상의 실시간 디지털 이미지들을 캡쳐하고 통신하도록 구성된 적어도 하나의 디지털 카메라와 (직접적으로 또는 간접적으로) 통신가능하게 맞물릴 수 있다(703). CSI들이 감정 표현 프롬프트를 포함하는 특정 실시형태들에서, 사용자는 얼굴 표정을 카메라에 제공함으로써 하나 이상의 CSI들에 의도적으로 응답할 수 있다. 다른 실시형태들에서, 카메라는 소프트웨어 플랫폼 또는 애플리케이션의 세션 동안 하나 이상의 CSI들에 반응하여 사용자의 얼굴의 하나 이상의 실시간 디지털 이미지들을 연속적으로 캡쳐하도록 구성될 수 있다. 방법(700)은 하나 이상의 CSI들에 대한 응답/반응으로 사용자의 얼굴의 하나 이상의 실시간 디지털 이미지들의 하나 이상의 발렌스 및 강도/각성 특징들을 분석함으로써 진행할 수 있다(705). 발렌스 및 강도/각성 데이터는, 소프트웨어 애플리케이션 또는 플랫폼의 세션에서 상이한 시점들 동안 사용자의 정서 상태의 실시간 척도/정도를 결정하기 위해 하나 이상의 정적 또는 동적 정서 파라미터들에 따라 추가로 프로세싱될 수 있다(707). 소프트웨어 애플리케이션 또는 플랫폼의 세션 내의 사용자 정서의 실시간 척도/정도는, 특정 CSI들의 제시와 사용자의 정서 상태 사이의 시간적 패턴들 및/또는 상관들을 결정하기 위해 추가로 분석될 수 있다(709). 소프트웨어 애플리케이션 또는 플랫폼이 인지 훈련 플랫폼을 포함하는 특정 실시형태들에 따르면, 방법(700)은 인지 훈련 플랫폼 내의 사용자 정서 상태와 사용자 인지 수행능력 사이의 상관의 정도를 결정하기 위해 사용자 정서에 대한 사용자 수행능력 데이터를 분석하는 단계를 더 포함할 수 있다(711). 방법(700)은, 소프트웨어 애플리케이션의 세션 동안 사용자의 정서 상태를 추가로 개선시키거나 최적화하기 위해, 특정 CSI들의 제시와 사용자의 정서 상태 사이에서 시간적 패턴들 및/또는 상관들에 응답하여 CSI들의 하나 이상의 양태들을 수정하는 단계를 더 포함할 수 있다(713).
도 8 내지 도 12는, 본 개시내용에 의해 구현되는 방법 및 시스템의 다양한 양태들에 통합될 수 있는 하나 이상의 CSI들을 포함하는 감정 표현 프롬프트들의 복수의 예시적인 예들을 제공한다. 도 8은 얼굴 모방 프롬프트(800)를 포함하는 CSI의 그래픽 예시이다. 일 실시형태에 따르면, 얼굴 모방 프롬프트(800)는, 사용자가 얼굴의 얼굴 표정을 모방하도록 프롬프트되는 것에 응답하여, 사용자에게 얼굴의 이미지 또는 표현을 제시하는 것을 포함한다. 본 개시내용의 특정 시스템 및 방법은 감정 표현 훈련 플랫폼 또는 플랫폼-제품 내에 얼굴 모방 프롬프트(800)를 포함하는 CSI들의 하나 이상의 인스턴스들을 제시하는 것을 포함할 수 있다.
도 9는 부분적인 표현 충돌(900)을 갖는 얼굴 모방 프롬프트를 포함하는 CSI의 그래픽 사용자 인터페이스 예시이다. 일 실시형태에 따르면, 부분적인 표현 충돌(900)을 갖는 얼굴 모방 프롬프트는, 2개 이상의 충돌 표현들을 포함하는 합성 얼굴의 이미지 또는 표현을 사용자에게 제시하는 것을 포함한다. 사용자는 2개 이상의 충돌 표현들 사이를 구별하도록 프롬프트되고, 합성 이미지 내의 하나 이상의 비-표적 표현을 무시하고 다른 것을 모방하도록 프롬프트된다. 본 개시내용의 특정 시스템 및 방법은 감정 표현 훈련 플랫폼 또는 플랫폼-제품 내에 부분적인 표현 충돌(900)을 갖는 얼굴 모방 프롬프트를 포함하는 CSI들의 하나 이상의 인스턴스들을 제시하는 것을 포함할 수 있다.
도 10은 다수의 표현 충돌(1000)을 갖는 얼굴 모방 프롬프트를 포함하는 CSI의 그래픽 사용자 인터페이스 예시이다. 일 실시형태에 따르면, 다수의 표현 충돌(1000)을 갖는 얼굴 모방 프롬프트는, 제1 표현을 갖는 제1 얼굴의 이미지 및 제1 얼굴의 표현과는 충돌하는 제2 표현을 갖는 제2 얼굴의 이미지를 사용자에게 제시하는 단계를 포함한다. 사용자는 2개 충돌 표현들 사이를 구별하도록 프롬프트되고, 그 표현들 중 하나를 무시하고 다른 하나를 모방하도록 프롬프트된다. 본 개시내용의 특정 시스템 및 방법은 감정 표현 훈련 플랫폼 또는 플랫폼-제품 내에 다수의 표현 충돌(1000)을 갖는 얼굴 모방 프롬프트를 포함하는 CSI들의 하나 이상의 인스턴스들을 제시하는 것을 포함할 수 있다.
도 11은 감정 억제 명령(1100)을 갖는 감정 자극을 포함하는 CSI의 그래픽 사용자 인터페이스 예시이다. 일 실시형태에 따르면, 감정 억제 명령(1100)을 갖는 감정 자극은, 사용자의 감정 반응을 호출(invoke)하도록 의도된 주제를 갖는 이미지를 사용자에게 제시하는 것을 포함한다. 이미지는 감정 표현을 갖는 얼굴의 이미지로 구성될 수 있거나, 또는 이미지는 국제 정서 사진 시스템(IAPS; International Affective Picture System)(또는 사용자의 특정 감정을 유도하도록 선택된 다른 주제)으로부터 선택된 이미지로 구성될 수 있다. 사용자는 이미지에 의해 호출된 감정을 억제하도록 프롬프트되고, 카메라는 사용자의 실시간 얼굴 응답에 따라 억제의 측정을 가능하게 하도록 작동 가능하게 구성된다. 본 개시내용의 특정 시스템 및 방법은 감정 표현 훈련 플랫폼 또는 플랫폼-제품 내에 감정 억제 명령(1100)을 갖는 감정 자극을 포함하는 CSI들의 하나 이상의 인스턴스들을 제시하는 단계를 포함할 수 있다.
도 12는 감정 재평가 명령(1200)을 갖는 감정 억제 명령을 갖는 감정 자극을 포함하는 CSI의 그래픽 사용자 인터페이스 예시이다. 일 실시형태에 따르면, 감정 재평가 명령(1200)을 갖는 감정 자극은, 사용자의 감정 반응을 호출하도록 의도된 주제를 갖는 이미지를 사용자에게 제시하는 것을 포함한다. 이미지는 감정 표현을 갖는 얼굴의 이미지로 구성될 수 있거나, 또는 이미지는 국제 정서 사진 시스템(IAPS)(또는 사용자의 특정 감정을 유도하도록 선택된 다른 주제)로부터 선택된 이미지로 구성될 수 있다. 사용자는 이미지에 의해 호출된 감정을 대안적인 감정으로 재평가하도록 프롬프트되고, 카메라는 사용자의 실시간 얼굴 특징들에 따라 재평가의 측정을 가능하게 하도록 작동 가능하게 구성된다. 본 개시내용의 특정 시스템 및 방법은 감정 표현 훈련 플랫폼 또는 플랫폼-제품 내에 감정 재평가 명령(1100)을 갖는 감정 자극을 포함하는 CSI들의 하나 이상의 인스턴스들을 제시하는 단계를 포함할 수 있다.
전술한 실시형태들은 임의의 다수의 방식들로 구현될 수 있다. 예를 들어, 일부 실시형태들은 하드웨어, 소프트웨어, 또는 이들의 조합을 사용하여 구현될 수 있다. 일 실시형태의 임의의 양태가 적어도 부분적으로 소프트웨어로 구현될 때, 소프트웨어 코드는 단일 컴퓨터에 제공되든 다수의 컴퓨터들 사이에 분산되든, 임의의 적합한 프로세서 또는 프로세서들의 집합 상에서 실행될 수 있다.
이와 관련하여, 본 발명의 다양한 양태들은, 하나 이상의 컴퓨터들 또는 다른 프로세서들 상에서 실행될 때, 위에 논의된 기술의 다양한 실시형태들을 구현하는 방법들을 수행하는 하나 이상의 프로그램들로 인코딩된 컴퓨터 판독가능 저장 매체(또는 다수의 컴퓨터 판독가능 저장 매체)(예를 들어, 컴퓨터 메모리, 콤팩트 디스크, 광학 디스크, 자기 테이프, 플래시 메모리, 필드 프로그래머블 게이트 어레이 또는 다른 반도체 디바이스들 내의 회로 구성들, 또는 다른 유형의 컴퓨터 저장 매체 또는 비일시적 매체)로서 적어도 부분적으로 구현될 수 있다. 컴퓨터 판독가능 매체 또는 매체들은, 이 매체에 저장된 프로그램 또는 프로그램들이 위에 논의된 바와 같은 본 기술의 다양한 양태들을 구현하기 위해 하나 이상의 상이한 컴퓨터들 또는 다른 프로세서들 상에 로딩될 수 있도록, 수송가능(transportable)할 수 있다.
용어들 "프로그램" 또는 "소프트웨어"는, 위에서 논의된 바와 같이 본 기술의 다양한 양태들을 구현하기 위해 컴퓨터 또는 다른 프로세서를 프로그래밍하는 데 이용될 수 있는 임의의 유형의 컴퓨터 코드 또는 컴퓨터-실행가능 명령어들의 세트를 지칭하기 위한 일반적인 의미로 본원에서 사용된다. 부가적으로, 이 실시형태의 일 양태에 따르면, 실행될 때 본 기술의 방법들을 수행하는 하나 이상의 컴퓨터 프로그램들은 단일 컴퓨터 또는 프로세서 상에 상주할 필요는 없지만, 본 기술의 다양한 양태들을 구현하기 위해 다수의 상이한 컴퓨터들 또는 프로세서들 사이에 모듈러 방식으로 분배될 수 있다는 것이 이해되어야 한다.
컴퓨터-실행가능 명령어는 하나 이상의 컴퓨터들 또는 다른 디바이스들에 의해 실행된, 프로그램 모듈들과 같은 많은 형태들일 수 있다. 일반적으로, 프로그램 모듈은 특정 작업들을 수행하거나 특정 추상 데이터 유형들을 구현하는 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등을 포함한다. 통상적으로, 프로그램 모듈의 기능은 다양한 실시형태들에서 원하는 대로 결합 또는 분산될 수 있다.
당업자에 의해 이해되는 바와 같이, 본 개시내용의 실시형태들은 방법(예를 들어, 컴퓨터-구현 프로세스, 비지니스 프로세스, 및/또는 임의의 다른 프로세스를 포함함), 장치(예를 들어, 시스템, 머신, 디바이스, 컴퓨터 프로그램 제품 등을 포함함), 또는 전술한 것들의 조합으로서 구현될 수 있다. 따라서, 본 발명의 실시형태들은, 전적으로 하드웨어 실시형태, 전적으로 소프트웨어 실시형태(펌웨어, 상주 소프트웨어, 마이크로-코드 등을 포함함), 또는 본원에서 "시스템"으로 일반적으로 지칭될 수 있는 소프트웨어 및 하드웨어 양태들을 조합하는 실시형태의 형태를 취할 수 있다. 또한, 본 발명의 실시형태들은 컴퓨터-실행가능 프로그램 코드가 그 내부에서 구현된 컴퓨터-판독가능 매체 상의 컴퓨터 프로그램 제품의 형태를 취할 수 있다.
본원에 정의되고 사용되는 바와 같이 모든 정의는 사전적 정의, 참조로 통합된 문헌에서의 정의, 및/또는 정의된 용어의 통상적인 의미를 제어하는 것으로 이해되어야 한다. 본 명세서 및 청구범위에서 본원에 사용된 바와 같은 부정 관사 "a" 및 "an"은, 명백하게 반대로 표시되지 않는 한, "적어도 하나"를 의미하는 것으로 이해되어야 한다.
본 명세서 및 청구범위에서 본원에 사용되는 바와 같은 어구 "및/또는"은 그렇게 결합된 엘리먼트들, 즉, 일부 경우에서 결합적으로 그리고 다른 경우에서는 분리적으로 존재하는 엘리먼트들의 "하나 또는 둘 다"를 의미하는 것으로 이해되어야 한다. "및/또는"으로 연결된 다수의 엘리먼트들은 동일한 방식으로, 즉, "하나 이상의" 엘리먼트가 그렇게 결합된 방식으로 구성되어야 한다. "및/또는" 절에 의해 구체적으로 식별된 엘리먼트들 이외에, 구체적으로 식별된 엘리먼트들과 관련되든 관련되지 않든, 다른 엘리먼트들이 선택적으로 존재할 수 있다. 따라서, 제한하지 않는 예로서, "포함하는(comprising)"과 같은 개방형 언어(open-ended language)와 함께 사용될 때, "A 및/또는 B"에 대한 참조는, 일 실시형태에서는 A만을(선택적으로 B 이외의 엘리먼트들을 포함함), 다른 실시형태에서는 B만을(선택적으로 A 이외의 엘리먼트들을 포함함), 또 다른 실시형태에서는 A 및 B 둘 다(선택적으로 다른 엘리먼트들을 포함함) 등을 지칭할 수 있다.
본 명세서 및 청구범위에서 본원에 사용되는 바와 같이, "또는"은 앞서 정의된 "및/또는"과 동일한 의미를 갖는 것으로 이해되어야 한다. 예를 들어, 리스트 내의 항목들을 분리할 때, "또는" 또는 "및/또는"은 포괄적인 것, 즉, 다수의 또는 리스트의 엘리먼트들 중 적어도 하나, 그러나 또한 1개 초과를 포함하는 것, 그리고 선택적으로는 추가적인 리스팅되지 않은 항목들을 포함하는 것으로 해석되어야 한다. "중 하나만" 또는 "중 정확하게 하나", 또는 청구범위에서 사용될 때 "로 이루어진"과 같이 명확하게 반대로 표시된 용어들만이 엘리먼트들의 수 또는 리스트 중 정확하게 하나의 엘리먼트의 포함을 지칭할 것이다. 일반적으로, 본원에 사용되는 바와 같은 용어 "또는"은, "어느 하나", "중 하나", "중 오직 하나", 또는 "중 정확하게 하나"와 같은 배타적인 용어들이 선행될 때 배타적인 대안들(즉, "하나 또는 다른 하나이지만 둘 다는 아님")을 나타내는 것으로서만 해석되어야 한다. 청구범위에서 사용될 때 "로 필수적으로 이루어진(consisting essentially of)"은 특허법 분야에서 사용되는 바와 같은 통상적인 의미를 가질 것이다.
본 명세서 및 청구범위에서 본원에 사용된 바와 같이, 하나 이상의 엘리먼트들의 리스트와 관련하여 어구 "적어도 하나"는 엘리먼트들의 리스트 내에서 임의의 하나 이상의 엘리먼트들로부터 선택된 적어도 하나의 엘리먼트를 의미하는 것으로 이해되어야 하지만, 엘리먼트들의 리스트 내에 구체적으로 리스팅된 각각의 그리고 모든 각각의 엘리먼트 중 적어도 하나를 반드시 포함하는 것은 아니며, 엘리먼트들의 리스트 내의 엘리먼트들의 임의의 조합을 배제하지도 않는다. 이러한 정의를 통해 또한, 어구 "적어도 하나"가 지칭하는 엘리먼트들의 리스트 내에서 구체적으로 식별되는 엘리먼트들 이외의 엘리먼트들이, 구체적으로 식별되는 이들 엘리먼트들과 관련되거나 관련되지 않는지에 관계없이, 선택적으로 존재할 수 있다. 따라서, 제한하지 않는 예로서, "A 및 B 중 적어도 하나"(또는, 등가적으로 "A 또는 B 중 적어도 하나", 또는 등가적으로 "A 및/또는 B 중 적어도 하나")는, 일 실시형태에서, B가 존재하지 않는(그리고 선택적으로는 B 이외의 엘리먼트들을 포함함) 1개 초과의 A를 선택적으로 포함하는 적어도 하나; 다른 실시형태에서, A가 존재하지 않는(그리고 선택적으로는 A 이외의 엘리먼트들을 포함함) 1개 초과의 B를 선택적으로 포함하는 적어도 하나; 또 다른 실시형태에서는, 하나 초과의 A를 선택적으로 포함하는 적어도 하나 및 하나 초과의 B를 선택적으로 포함하는 적어도 하나(그리고 선택적으로 다른 엘리먼트들을 포함함)를 지칭할 수 있는 식이다.
청구범위뿐만 아니라 상기 명세서에서, "포함하는(comprising)", "구비하는(including)", "갖추고 있는(carrying)", "갖는(having)", "함유하는(containing)", "수반하는(involving)", "보유하는(holding)", "으로 이루어진(composed of)" 등과 같은 모든 전환 어구들은 개방형(open-ended), 즉, 포함하지만 이에 제한되지 않는 것으로 이해된다. 단지 전환 어구들 "로 구성되는(consisting of)" 및 "로 필수적으로 구성되는(consisting essentially of)"은 각각 미국 특허청 특허 심사 절차 지침서 섹션 2111.03에 기재된 바와 같은 폐쇄형 또는 반-폐쇄형 전환 어구들일 것이다.
Claims (20)
- 얼굴 이미지 프로세싱을 위한 컴퓨터-구현 방법으로서,
사용자 인터페이스를 포함하는 컴퓨팅 디바이스를 통해, 감정 표현 프롬프트(emotional expression prompt)를 포함하는 전산화된 자극 또는 상호작용의 인스턴스를 제공하는 단계;
상기 전산화된 자극 또는 상호작용에 응답하여, 사용자의 얼굴 표정의 디지털 이미지를 상기 컴퓨팅 디바이스와 작동 가능하게 맞물린 카메라를 통해 수신하는 단계;
적어도 하나의 프로세서를 통해, 상기 얼굴 표정에 대응하는 발렌스 입력(valence input) 및 강도 또는 각성 입력(intensity or arousal input)을 결정하기 위해 상기 디지털 이미지를 프로세싱하는 단계;
상기 적어도 하나의 프로세서를 통해, 상기 발렌스 입력 및 상기 강도 또는 각성 입력을 상기 감정 표현 프롬프트와 연관된 미리 결정된 발렌스 및 강도 또는 각성 범위와 비교하는 단계; 및
상기 적어도 하나의 프로세서를 통해, 상기 사용자의 상기 얼굴 표정과 상기 감정 표현 프롬프트 사이의 일치의 척도를 결정하는 단계를 포함하는, 컴퓨터-구현 방법. - 제1항에 있어서, 상기 감정 표현 프롬프트는 감정 표현을 나타내는 이미지 또는 아이콘을 제시하는 것 및 상기 사용자가 상기 감정 표현을 모방하도록 프롬프트하는 것을 포함하는, 컴퓨터-구현 방법.
- 제1항에 있어서, 상기 프로세서를 통해, 상기 사용자의 상기 얼굴 표정과 상기 감정 표현 프롬프트 사이의 상기 일치의 척도에 따라 상기 사용자의 인지 편향(cognitive bias) 또는 정서 상태(affective state)의 척도를 결정하는 단계를 더 포함하는, 컴퓨터-구현 방법.
- 제1항에 있어서, 적어도 하나의 생리학적 센서(physiological sensor)를 통해, 상기 감정 표현 프롬프트에 응답하여 상기 사용자의 상기 얼굴 표정의 상기 디지털 이미지를 수신하는 것에 부수하여 적어도 하나의 생리학적 입력을 측정하는 단계를 더 포함하는, 컴퓨터-구현 방법.
- 제1항에 있어서, 상기 컴퓨팅 디바이스를 통해, 상기 사용자의 상기 얼굴 표정과 상기 감정 표현 프롬프트 사이의 상기 일치의 척도에 따라 상기 전산화된 자극 또는 상호작용의 제2 또는 후속 인스턴스를 제공하는 단계를 더 포함하는, 컴퓨터-구현 방법.
- 제5항에 있어서, 상기 전산화된 자극 또는 상호작용은 전산화된 인지-편향 수정 요법과 연관되는, 컴퓨터-구현 방법.
- 제3항에 있어서, 상기 프로세싱 디바이스를 통해, 상기 사용자의 상기 인지 편향 또는 정서 상태에 따라 상기 전산화된 자극 또는 상호작용의 제2 또는 후속 인스턴스를 수정하는 단계를 더 포함하는, 컴퓨터-구현 방법.
- 제4항에 있어서, 상기 프로세싱 디바이스를 통해, 상기 적어도 하나의 생리학적 입력에 따라 상기 사용자의 정서 상태를 결정하는 단계를 더 포함하는, 컴퓨터-구현 방법.
- 제8항에 있어서, 상기 프로세싱 디바이스를 통해, 상기 사용자의 정서 상태에 따라 상기 전산화된 자극 또는 상호작용의 제2 또는 후속 인스턴스를 수정하는 단계를 더 포함하는, 컴퓨터-구현 방법.
- 제7항에 있어서, 상기 프로세싱 디바이스를 통해, 상기 전산화된 자극 또는 상호작용의 제2 또는 후속 인스턴스에 응답하여 상기 사용자의 상기 인지 편향 또는 정서 상태의 변화의 척도를 결정하는 단계를 더 포함하는, 컴퓨터-구현 방법.
- 얼굴 이미지 프로세싱을 위한 시스템으로서,
사용자의 얼굴 표정의 디지털 이미지를 실시간으로 수신하도록 구성된 카메라를 포함하는 컴퓨팅 디바이스;
상기 컴퓨팅 디바이스와 통신가능하게 맞물린 통합 또는 원격 프로세서; 및
실행될 때, 상기 프로세서로 하여금 하나 이상의 동작들을 수행하게 하는 명령어들이 저장된 비일시적 컴퓨터 판독가능 매체를 포함하고, 상기 하나 이상의 동작들은:
감정 표현 프롬프트를 포함하는 전산화된 자극 또는 상호작용의 인스턴스를 상기 컴퓨팅 디바이스에 렌더링하는 것;
상기 전산화된 자극 또는 상호작용에 응답하여, 사용자의 얼굴 표정의 실시간 디지털 이미지를 수신하는 것;
상기 얼굴 표정에 대응하는 발렌스 입력 및 강도 입력을 결정하기 위해 상기 디지털 이미지를 프로세싱하는 것;
상기 발렌스 입력 및 상기 강도 입력을 상기 감정 표현 프롬프트와 연관된 미리 결정된 발렌스 및 강도 범위와 비교하는 것; 및
상기 사용자의 상기 얼굴 표정과 상기 감정 표현 프롬프트 사이의 일치의 척도를 결정하는 것을 포함하는, 얼굴 이미지 프로세싱을 위한 시스템. - 제11항에 있어서, 상기 전산화된 자극 또는 상호작용에 응답하여, 적어도 하나의 생리학적 센서 입력을 측정하기 위해 상기 프로세서와 작동 가능하게 맞물린 적어도 하나의 생리학적 센서를 더 포함하는, 얼굴 이미지 프로세싱을 위한 시스템.
- 제11항에 있어서, 상기 감정 표현 프롬프트는 감정 표현을 나타내는 이미지 또는 아이콘을 렌더링하는 것 및 상기 사용자가 상기 감정 표현을 모방하도록 프롬프트하는 것을 포함하는, 얼굴 이미지 프로세싱을 위한 시스템.
- 제11항에 있어서, 상기 하나 이상의 동작들은, 상기 사용자의 상기 얼굴 표정과 상기 감정 표현 프롬프트 사이의 상기 일치의 척도에 따라 상기 사용자의 인지 편향 또는 정서 상태의 척도를 결정하는 것을 더 포함하는, 얼굴 이미지 프로세싱을 위한 시스템.
- 제11항에 있어서, 상기 하나 이상의 동작들은, 상기 사용자의 상기 얼굴 표정과 상기 감정 표현 프롬프트 사이의 상기 일치의 척도에 따라 상기 전산화된 자극 또는 상호작용의 제2 또는 후속 인스턴스를 렌더링하는 것을 더 포함하는, 얼굴 이미지 프로세싱을 위한 시스템.
- 제14항에 있어서, 상기 하나 이상의 동작들은, 상기 사용자의 상기 인지 편향 또는 정서 상태에 따라 전산화된 자극 또는 상호작용의 제2 또는 후속 인스턴스를 수정하는 것을 더 포함하는, 얼굴 이미지 프로세싱을 위한 시스템.
- 제12항에 있어서, 상기 하나 이상의 동작들은, 상기 적어도 하나의 생리학적 센서 입력에 따라 상기 전산화된 자극 또는 상호작용의 제2 또는 후속 인스턴스를 수정하는 것을 더 포함하는, 얼굴 이미지 프로세싱을 위한 시스템.
- 제13항에 있어서, 상기 하나 이상의 동작들은, 상기 사용자의 상기 얼굴 표정과 상기 감정 표현 프롬프트 사이의 상기 일치의 척도에 따라 상기 전산화된 자극 또는 상호작용의 제2 또는 후속 인스턴스를 수정하는 것을 더 포함하는, 얼굴 이미지 프로세싱을 위한 시스템.
- 제16항에 있어서, 상기 하나 이상의 동작들은, 상기 전산화된 자극 또는 상호작용의 상기 제2 또는 후속 인스턴스에 응답하여 상기 사용자의 상기 인지 편향 또는 정서 상태의 변화의 척도를 결정하는 것을 더 포함하는, 얼굴 이미지 프로세싱을 위한 시스템.
- 하나 이상의 프로세서들에게 얼굴 이미지 프로세싱을 위한 방법의 동작들을 수행하게 하는 명령을 내리기 위한 명령어들로 인코딩된 비일시적 컴퓨터-판독가능 매체로서, 상기 동작들은:
감정 표현 프롬프트를 포함하는 전산화된 자극 또는 상호작용의 제1 인스턴스를 출력 디바이스에 제공하는 것;
상기 감정 표현 프롬프트에 응답하여 사용자의 얼굴 표정의 디지털 이미지를 수신하는 것;
상기 얼굴 표정에 대응하는 발렌스 입력 및 강도 입력을 결정하기 위해 상기 디지털 이미지를 프로세싱하는 것;
상기 발렌스 입력 및 상기 강도 입력을 얼굴 표정 프롬프트와 연관된 미리 결정된 발렌스 및 강도 범위와 비교하는 것; 및
상기 사용자의 상기 얼굴 표정과 상기 감정 표현 프롬프트 사이의 일치의 척도를 결정하는 것을 포함하는, 비일시적 컴퓨터-판독가능 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862758461P | 2018-11-09 | 2018-11-09 | |
| US62/758,461 | 2018-11-09 | ||
| PCT/US2019/061011 WO2020097626A1 (en) | 2018-11-09 | 2019-11-12 | Facial expression detection for screening and treatment of affective disorders |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210093281A true KR20210093281A (ko) | 2021-07-27 |
Family
ID=70552349
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217017434A KR20210093281A (ko) | 2018-11-09 | 2019-11-12 | 정서 장애의 검사 및 치료를 위한 얼굴 표정 검출 |
Country Status (8)
| Country | Link |
|---|---|
| US (2) | US10839201B2 (ko) |
| EP (1) | EP3877898A4 (ko) |
| JP (1) | JP2022506651A (ko) |
| KR (1) | KR20210093281A (ko) |
| CN (1) | CN112970027A (ko) |
| AU (1) | AU2019376682A1 (ko) |
| CA (1) | CA3118759A1 (ko) |
| WO (1) | WO2020097626A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024191229A1 (ko) * | 2023-03-16 | 2024-09-19 | 인제대학교 산학협력단 | 인지편향 교정 솔루션 서비스 방법 및 인지편향 교정 솔루션 서비스 시스템 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11158060B2 (en) | 2017-02-01 | 2021-10-26 | Conflu3Nce Ltd | System and method for creating an image and/or automatically interpreting images |
| US11176675B2 (en) | 2017-02-01 | 2021-11-16 | Conflu3Nce Ltd | System and method for creating an image and/or automatically interpreting images |
| US11298062B2 (en) * | 2017-02-01 | 2022-04-12 | Conflu3Nce Ltd | Multi-purpose interactive cognitive platform |
| WO2021100127A1 (ja) * | 2019-11-19 | 2021-05-27 | 日本電信電話株式会社 | 表情ラベル付与装置、表情ラベル付与方法、およびプログラム |
| US11645563B2 (en) * | 2020-03-26 | 2023-05-09 | International Business Machines Corporation | Data filtering with fuzzy attribute association |
| EP4009333A1 (en) * | 2020-12-01 | 2022-06-08 | Koninklijke Philips N.V. | Method and system for personalized attention bias modification treatment by means of neurofeedback monitoring |
| US11399074B2 (en) * | 2020-12-16 | 2022-07-26 | Facebook Technologies, Llc | Devices, systems, and methods for modifying features of applications based on predicted intentions of users |
| CN113609851B (zh) * | 2021-07-09 | 2024-07-02 | 浙江连信科技有限公司 | 心理学上想法认知偏差的识别方法、装置及电子设备 |
| CA3228053A1 (en) | 2021-08-05 | 2023-02-09 | David RUTTENBERG | Multi-sensory, assistive wearable technology, and method of providing sensory relief using same |
| US11663790B2 (en) | 2021-08-18 | 2023-05-30 | Optum, Inc. | Dynamic triggering of augmented reality assistance mode functionalities |
| CN114842957B (zh) * | 2022-03-28 | 2023-04-07 | 暨南大学 | 一种基于情绪识别的老年痴呆症辅助诊断系统及其方法 |
Family Cites Families (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070265507A1 (en) * | 2006-03-13 | 2007-11-15 | Imotions Emotion Technology Aps | Visual attention and emotional response detection and display system |
| JP5219184B2 (ja) * | 2007-04-24 | 2013-06-26 | 任天堂株式会社 | トレーニングプログラム、トレーニング装置、トレーニングシステムおよびトレーニング方法 |
| JP4914398B2 (ja) | 2008-04-09 | 2012-04-11 | キヤノン株式会社 | 表情認識装置、撮像装置、方法及びプログラム |
| JP5317536B2 (ja) * | 2008-05-29 | 2013-10-16 | Ｃｙｂｅｒｄｙｎｅ株式会社 | 装着型人支援装置 |
| US20110263946A1 (en) * | 2010-04-22 | 2011-10-27 | Mit Media Lab | Method and system for real-time and offline analysis, inference, tagging of and responding to person(s) experiences |
| US10474875B2 (en) * | 2010-06-07 | 2019-11-12 | Affectiva, Inc. | Image analysis using a semiconductor processor for facial evaluation |
| US10111611B2 (en) * | 2010-06-07 | 2018-10-30 | Affectiva, Inc. | Personal emotional profile generation |
| US10517521B2 (en) * | 2010-06-07 | 2019-12-31 | Affectiva, Inc. | Mental state mood analysis using heart rate collection based on video imagery |
| US11410438B2 (en) * | 2010-06-07 | 2022-08-09 | Affectiva, Inc. | Image analysis using a semiconductor processor for facial evaluation in vehicles |
| US20150206000A1 (en) * | 2010-06-07 | 2015-07-23 | Affectiva, Inc. | Background analysis of mental state expressions |
| US9642536B2 (en) * | 2010-06-07 | 2017-05-09 | Affectiva, Inc. | Mental state analysis using heart rate collection based on video imagery |
| US10911829B2 (en) * | 2010-06-07 | 2021-02-02 | Affectiva, Inc. | Vehicle video recommendation via affect |
| KR101801327B1 (ko) | 2011-07-29 | 2017-11-27 | 삼성전자주식회사 | 감정 정보 생성 장치, 감정 정보 생성 방법 및 감정 정보 기반 기능 추천 장치 |
| US9292858B2 (en) * | 2012-02-27 | 2016-03-22 | The Nielsen Company (Us), Llc | Data collection system for aggregating biologically based measures in asynchronous geographically distributed public environments |
| US10085688B2 (en) * | 2012-11-20 | 2018-10-02 | El-Mar Inc. | Method of identifying an individual with a disorder or efficacy of a treatment of a disorder |
| WO2014093546A2 (en) * | 2012-12-11 | 2014-06-19 | Ami Klin | Systems and methods for detecting blink inhibition as a marker of engagement and perceived stimulus salience |
| US20140315168A1 (en) * | 2013-02-12 | 2014-10-23 | Emotient | Facial expression measurement for assessment, monitoring, and treatment evaluation of affective and neurological disorders |
| US20140316881A1 (en) * | 2013-02-13 | 2014-10-23 | Emotient | Estimation of affective valence and arousal with automatic facial expression measurement |
| KR101531664B1 (ko) | 2013-09-27 | 2015-06-25 | 고려대학교 산학협력단 | 다감각정보를 이용한 정서 인지능력 검사 시스템 및 방법, 다감각정보를 이용한 정서 인지 훈련 시스템 및 방법 |
| US9579057B2 (en) * | 2013-12-09 | 2017-02-28 | Stefan Bradu | System for multidimensional analysis, modulation and optimization of facial expressions |
| CN106030642A (zh) | 2014-02-23 | 2016-10-12 | 交互数字专利控股公司 | 认知与情感人机界面 |
| US20180184964A1 (en) * | 2014-06-30 | 2018-07-05 | Cerora, Inc. | System and signatures for a multi-modal physiological periodic biomarker assessment |
| US20160063874A1 (en) * | 2014-08-28 | 2016-03-03 | Microsoft Corporation | Emotionally intelligent systems |
| JP2016110631A (ja) | 2014-12-02 | 2016-06-20 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | 状態推定装置、状態推定方法およびプログラム |
| JP6467965B2 (ja) * | 2015-02-13 | 2019-02-13 | オムロン株式会社 | 感情推定装置及び感情推定方法 |
| JP6985005B2 (ja) * | 2015-10-14 | 2021-12-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 感情推定方法、感情推定装置、及び、プログラムを記録した記録媒体 |
| WO2018027080A1 (en) * | 2016-08-03 | 2018-02-08 | Akili Interactive Labs, Inc. | Cognitive platform including computerized evocative elements |
| KR102426385B1 (ko) * | 2016-08-26 | 2022-07-28 | 아킬리 인터랙티브 랩스 인크. | 생리학적 컴포넌트와 커플링된 인지 플랫폼 |
| US10709867B2 (en) * | 2016-11-10 | 2020-07-14 | Ramot At Tel-Aviv University Ltd. | Gaze-contingent music reward therapy |
| WO2018128996A1 (en) | 2017-01-03 | 2018-07-12 | Clipo, Inc. | System and method for facilitating dynamic avatar based on real-time facial expression detection |
| JP7073640B2 (ja) | 2017-06-23 | 2022-05-24 | カシオ計算機株式会社 | 電子機器、感情情報取得システム、プログラム及び感情情報取得方法 |
| US10956548B2 (en) * | 2018-10-09 | 2021-03-23 | Lenovo (Singapore) Pte. Ltd. | User authentication via emotion detection |
-
2019
- 2019-11-12 CN CN201980072865.XA patent/CN112970027A/zh active Pending
- 2019-11-12 WO PCT/US2019/061011 patent/WO2020097626A1/en unknown
- 2019-11-12 EP EP19882809.7A patent/EP3877898A4/en not_active Withdrawn
- 2019-11-12 KR KR1020217017434A patent/KR20210093281A/ko unknown
- 2019-11-12 AU AU2019376682A patent/AU2019376682A1/en not_active Abandoned
- 2019-11-12 JP JP2021524183A patent/JP2022506651A/ja active Pending
- 2019-11-12 US US16/681,711 patent/US10839201B2/en active Active
- 2019-11-12 CA CA3118759A patent/CA3118759A1/en active Pending
-
2021
- 2021-05-10 US US17/316,441 patent/US20220039714A1/en not_active Abandoned
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024191229A1 (ko) * | 2023-03-16 | 2024-09-19 | 인제대학교 산학협력단 | 인지편향 교정 솔루션 서비스 방법 및 인지편향 교정 솔루션 서비스 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200151439A1 (en) | 2020-05-14 |
| CA3118759A1 (en) | 2020-05-14 |
| US20220039714A1 (en) | 2022-02-10 |
| JP2022506651A (ja) | 2022-01-17 |
| US10839201B2 (en) | 2020-11-17 |
| EP3877898A1 (en) | 2021-09-15 |
| AU2019376682A1 (en) | 2021-05-27 |
| CN112970027A (zh) | 2021-06-15 |
| WO2020097626A1 (en) | 2020-05-14 |
| EP3877898A4 (en) | 2022-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10839201B2 (en) | Facial expression detection for screening and treatment of affective disorders | |
| Kalantari et al. | Comparing physiological responses during cognitive tests in virtual environments vs. in identical real-world environments | |
| JP2022117988A (ja) | 生理学的コンポーネントに接続された認知プラットフォーム | |
| JP2020500360A (ja) | バイオマーカーまたは他のタイプのマーカーとして構成される認知プラットフォーム | |
| JP7146800B2 (ja) | プラットフォーム間でデータを安全に収集、分析、及び共有するための分散ネットワーク | |
| Bekele et al. | Design of a virtual reality system for affect analysis in facial expressions (VR-SAAFE); application to schizophrenia | |
| KR20200128555A (ko) | 면역-매개 및 신경-퇴행성 장애를 표적으로 하는 인지 스크린, 모니터 및 인지 치료 | |
| US20200114115A1 (en) | Cognitive platform for deriving effort metric for optimizing cognitive treatment | |
| US20200402643A1 (en) | Cognitive screens, monitor and cognitive treatments targeting immune-mediated and neuro-degenerative disorders | |
| Torner et al. | Multipurpose virtual reality environment for biomedical and health applications | |
| JP7442596B2 (ja) | ナビゲーション課題を使用するバイオマーカーの識別およびナビゲーション課題を使用する治療のためのプラットフォーム | |
| US12026636B2 (en) | Cognitive platform for deriving effort metric for optimizing cognitive treatment | |
| CA3232288A1 (en) | System and method for algorithmic rendering of graphical user interface elements |