KR20240004236A - 감정 인지의 자동화된 분류 - Google Patents
감정 인지의 자동화된 분류 Download PDFInfo
- Publication number
- KR20240004236A KR20240004236A KR1020237029452A KR20237029452A KR20240004236A KR 20240004236 A KR20240004236 A KR 20240004236A KR 1020237029452 A KR1020237029452 A KR 1020237029452A KR 20237029452 A KR20237029452 A KR 20237029452A KR 20240004236 A KR20240004236 A KR 20240004236A
- Authority
- KR
- South Korea
- Prior art keywords
- emotion
- rule
- rules
- text
- emotional
- Prior art date
Links
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 33
- 230000008451 emotion Effects 0.000 claims abstract description 172
- 238000000034 method Methods 0.000 claims abstract description 125
- 241000282414 Homo sapiens Species 0.000 claims abstract description 47
- 230000004931 aggregating effect Effects 0.000 claims abstract description 6
- 230000003213 activating effect Effects 0.000 claims abstract description 5
- 230000002996 emotional effect Effects 0.000 claims description 83
- 238000012545 processing Methods 0.000 claims description 67
- 238000010801 machine learning Methods 0.000 claims description 53
- 238000012549 training Methods 0.000 claims description 48
- 230000001149 cognitive effect Effects 0.000 claims description 40
- 238000004891 communication Methods 0.000 claims description 40
- 230000002093 peripheral effect Effects 0.000 claims description 22
- 238000013459 approach Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 17
- 230000000007 visual effect Effects 0.000 claims description 16
- 230000007935 neutral effect Effects 0.000 claims description 15
- 230000003190 augmentative effect Effects 0.000 claims description 14
- 230000001953 sensory effect Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 239000012634 fragment Substances 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 11
- 230000001960 triggered effect Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 9
- 230000008450 motivation Effects 0.000 claims description 8
- 230000008447 perception Effects 0.000 claims description 8
- 238000010494 dissociation reaction Methods 0.000 claims description 7
- 230000005593 dissociations Effects 0.000 claims description 7
- 230000003542 behavioural effect Effects 0.000 claims description 6
- 208000020016 psychiatric disease Diseases 0.000 claims description 6
- 208000003443 Unconsciousness Diseases 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 4
- 206010033864 Paranoia Diseases 0.000 claims description 3
- 208000027099 Paranoid disease Diseases 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 206010013457 Dissociation Diseases 0.000 claims description 2
- 206010049976 Impatience Diseases 0.000 claims description 2
- 208000018459 dissociative disease Diseases 0.000 claims description 2
- 208000022821 personality disease Diseases 0.000 claims description 2
- 230000035939 shock Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 description 43
- 230000008569 process Effects 0.000 description 30
- 238000001514 detection method Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 25
- 238000011160 research Methods 0.000 description 23
- 238000004422 calculation algorithm Methods 0.000 description 16
- 238000013456 study Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 238000005259 measurement Methods 0.000 description 13
- 230000014509 gene expression Effects 0.000 description 12
- 230000008901 benefit Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 10
- 238000003058 natural language processing Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- 239000013598 vector Substances 0.000 description 9
- 208000030963 borderline personality disease Diseases 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000011282 treatment Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000010354 integration Effects 0.000 description 7
- 238000010606 normalization Methods 0.000 description 7
- 230000019771 cognition Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 230000036961 partial effect Effects 0.000 description 6
- 238000007637 random forest analysis Methods 0.000 description 6
- 238000013179 statistical model Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000005065 mining Methods 0.000 description 5
- 230000001537 neural effect Effects 0.000 description 5
- 241000282412 Homo Species 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 4
- 230000006998 cognitive state Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000001568 sexual effect Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000013518 transcription Methods 0.000 description 4
- 230000035897 transcription Effects 0.000 description 4
- 208000019901 Anxiety disease Diseases 0.000 description 3
- 241000699666 Mus <mouse, genus> Species 0.000 description 3
- 230000036506 anxiety Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000009432 framing Methods 0.000 description 3
- 238000007477 logistic regression Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003340 mental effect Effects 0.000 description 3
- 230000004630 mental health Effects 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 238000007790 scraping Methods 0.000 description 3
- 230000001755 vocal effect Effects 0.000 description 3
- 230000036642 wellbeing Effects 0.000 description 3
- PXHVJJICTQNCMI-UHFFFAOYSA-N Nickel Chemical compound [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 230000001914 calming effect Effects 0.000 description 2
- 238000002512 chemotherapy Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000009223 counseling Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013543 dialectical behavioral therapy Methods 0.000 description 2
- 208000035475 disorder Diseases 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000001976 improved effect Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000009545 invasion Effects 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000006996 mental state Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000002269 spontaneous effect Effects 0.000 description 2
- 230000002459 sustained effect Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001225 therapeutic effect Effects 0.000 description 2
- 206010003805 Autism Diseases 0.000 description 1
- 208000020706 Autistic disease Diseases 0.000 description 1
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 206010010144 Completed suicide Diseases 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 206010012335 Dependence Diseases 0.000 description 1
- 208000030453 Drug-Related Side Effects and Adverse reaction Diseases 0.000 description 1
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 206010033664 Panic attack Diseases 0.000 description 1
- 206010034719 Personality change Diseases 0.000 description 1
- 238000012356 Product development Methods 0.000 description 1
- 206010038743 Restlessness Diseases 0.000 description 1
- 206010065954 Stubbornness Diseases 0.000 description 1
- 238000000692 Student's t-test Methods 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000016571 aggressive behavior Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- XIWFQDBQMCDYJT-UHFFFAOYSA-M benzyl-dimethyl-tridecylazanium;chloride Chemical compound [Cl-].CCCCCCCCCCCCC[N+](C)(C)CC1=CC=CC=C1 XIWFQDBQMCDYJT-UHFFFAOYSA-M 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000006385 cognitive dynamics Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 231100000867 compulsive behavior Toxicity 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000006397 emotional response Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000000423 heterosexual effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 229910001120 nichrome Inorganic materials 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- 208000019906 panic disease Diseases 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 208000028173 post-traumatic stress disease Diseases 0.000 description 1
- 230000035935 pregnancy Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000001671 psychotherapy Methods 0.000 description 1
- 206010037844 rash Diseases 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000004579 scanning voltage microscopy Methods 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 229960005486 vaccine Drugs 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000003612 virological effect Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
규칙 기반 엔진을 이용하여 자연어 콘텐츠의 심리적 정서를 검출하기 위한 시스템 및 방법은, 자연어 콘텐츠를 텍스트 입력으로서 수신하는 단계와, 주어진 감정-인지에 대한 언어 규칙과 자연어 콘텐츠의 구성요소 간의 매치를 검색하는 단계 - 언어 규칙의 인스턴스는 인간 차원을 가짐 - 와, 매칭된 언어 규칙을 활성화하고, 매칭된 규칙의 인간 차원을 평가하는 단계와, 주어진 감정-인지에 대한 차원 점수의 프로파일을 획득하기 위해 각각의 인간 차원을 점수화하는 단계와, 획득된 차원 점수의 프로파일 내 차원을 집합하여 주어진 감정-인지에 대한 강도 표시를 획득하는 단계와, 매칭된 언어 규칙을 주어진 감정-인지 및 주어진 감정-인지의 각각의 강도 표시와 함께 관련시키는 방식으로 자연어 콘텐츠를 디스플레이하는 단계를 포함한다.
Description
관련 출원들에 대한 상호 참조
본 출원은 2022년 1월 31일에 출원된 비가출원 번호 17/589,512에 대한 우선권의 이익을 주장하고, 2021년 3월 19일에 출원된 가출원 번호 63/163,618에 대한 우선권의 이익을 주장하고, 2021년 3월 19일에 출원된 가출원 번호 63/163,621에 대한 우선권의 이익을 주장하고, 2021년 3월 18일에 출원된 가출원 번호 63/162,987에 대한 우선권의 이익을 주장하고, 2021년 1월 29일에 출원된 가출원 번호 63/162,987에 대한 우선권의 이익을 주장하며, 이들의 전체 내용은 본원에 참고로 통합된다.
기술 분야
본 개시내용은 일반적으로 정서(affect)를 모니터링하는 것에 관한 것이며, 특히 자연어 콘텐츠에서 감정-인지(emotio-cognition)의 강도를 분류하고 추적하는 것에 관한 것이다.
정서 컴퓨팅(affective computing)은 인간의 정서를 인식하고, 해석하고 처리하고 시뮬레이션할 수 있는 시스템 및 디바이스에 대한 연구 및 개발이다. 정서 컴퓨팅은 언어학, 통계학, 인적 요소, 컴퓨터 과학을 종합하는 다학제적 분야이다. 정서 컴퓨팅의 한 측면은 봇과 다른 컴퓨터 애플리케이션이 인간의 자연스러운 감정 피드백(emotional feedback)에 지능적으로 반응할 수 있게 하는 것이다. 텍스트의 경우, 정서 컴퓨팅에는 텍스트로부터의 감정 검출이 포함된다. 대개 감성 분석(sentiment analysis)이라고 알려진 감정 검출의 한 형태는 텍스트를 긍정, 부정 또는 중립으로 분류하는 데 사용된다. 대학 연구뿐만 아니라 컴퓨터 소프트웨어 및 하드웨어를 개발하는 거의 모든 주요 회사와 몇몇 스타트업은 감성 분석을 위한 일종의 도구를 포함하는 개발 프로젝트를 진행하고 있다. 감성 분석의 인기는 소셜 미디어에 널리 퍼져 있는 뉴스 매체와 다양한 고객 댓글, 고객 제품 댓글 및 채팅 봇과의 상호작용에 대한 반응에서 감성을 더 잘 이해해야 할 필요성에서 비롯된다.
실제로 감성 분석은 자연어 처리, 텍스트 분석, 전산 언어학, 생체 인식을 사용하여 정서적 감정-인지 상태와 주관적 정보를 체계적으로 식별하고, 추출하고, 정량화하고 연구하는 것이다. 감성 분석은 다양한 소셜 미디어 플랫폼, 녹음된 대화 및 기타 텍스트 표현의 배출 수단과 같은 소스로부터 획득되는 대형의 인간 대화 데이터 세트의 가용성으로 인해 부분적으로 가속화되었다. 그러나 감성 분석은 진화하는 자연어의 특성을 다루어야 한다. 예를 들어, 감성 분석은 단어 간 또는 심지어 전체 문구 간의 의미에서 미묘한 구별이나 변화를 다루어야 한다. 일부 문구는 동일한 생각을 표시하는 것처럼 보이지만 감성의 차이를 표시할 수 있다. 감성 분석은 상황에 따라 상이한 의미를 가질 수 있는 단어나 문구를 다루어야 한다.
자연어 처리에 사용되는 기술이 최근에 상당히 발전했음에도 불구하고, 감성 분석은 전형적으로 수동으로 분류되는 훈련 세트에 묶여 있고 그 때문에 주관적일 수 밖에 없다. 특히, 큰 훈련 텍스트 데이터세트의 주석 달기는 수동으로 수행된다. 수동적 분류 방법의 훈련 세트는 느리고 성능이 떨어지며 비용이 많이 드는 경향이 있다. 또한, 재정적으로 경쟁적인 평가자를 획득하는 방법인, 주로 메카니컬 터크(Mechanical Turk)는 분류 작업을 서두르도록 인센티브를 받은 비원어민으로 인해 어려움을 겪어, 품질이 낮고 상충되는 결과를 초래하며, 이러한 결과를 방지하려는 시도는 번거로운 ID 스캔과 신뢰할 수 없는 IP 어드레스 필터링으로 제한된다. 미묘한 감정 검출은 어렵고 오류가 발생하기 쉽다.
더욱이, 기계 학습에 사용되는 훈련 세트는 언어의 창의성을 감당할 여유가 없다. 인간은 말과 글을 통해 이전에 쓰거나 말한 적이 없는 새로운 문장을 만들어 낼 수 있는 명백한 무한 능력을 가지고 있다. 실제로, 언어의 필수 속성은 현재의 최첨단 시스템이 효과적으로 수용할 수 없는 바로 이러한 창의성을 허용하는 것이다.
메모리에 이리 많은 양을 보유하고 효과적으로 양방향으로 고찰할 수 있는 강력한 도구처럼 보이는 자연어 처리를 위한 최첨단 기술의 기계 학습 모델(BERT(Bidirection Encoder Representations from Transformers), GPT2(Generative Pre-trained Transformer 2), GPT3)은 진화하는 자연어에 필적하지 못한다. 통계 모델은 강력한 통계적, 종종 확률적 구성요소에 의존한다. 지도 기계 학습 모델(supervised machine learning model)은 이전에 본 적이 있는 것 또는 보았던 관계가 다시 발생하는 것을 예측한다. 의성어, 은어, 전문 용어, 은유 또는 지어낸 단어와 같은 요소를 비롯하여, 이전에 나온 문장으로 요약될 수 없는 셀 수 없이 많은 문구와 문장이 앞으로 만들어질 것이다.
또한, 감성 분석에는 여전히 의미론적 결함이 있는데; 이것은 부분적으로 감정의 강도를 측정하기 위한 효과적인 방법이 부족하고, 훈련 목적으로 선별된 대표성이 없는 데이터세트를 사용하기 때문이다. 또한, 어휘 중심 또는 토큰 기반 솔루션에 대한 과도한 의존은, 언어학자와 엔지니어가 시간이 지남에 따른 의미론적 변화, 노후화 및 다양한 다른 언어적 변화를 비롯한 언어의 역동적 특성에 맞서야 하므로, 이러한 솔루션이 궁극적으로 지속적인 힘을 얻을 수 없게 한다.
이와 같이, 감성 분석은 몇 가지 주요 이슈; 즉, 훈련을 위해 데이터가 객관적으로 평가되거나 레이블 지정된 골드-스탠더스 데이터세트의 부족, n-그램 기반 솔루션의 한계, 진정한 강도를 결정하는 능력의 부족, 해시태그를 구분 분석하는 어려움, 결과에 대한 엄격한 검증의 부족을 겪고 있다. 또한, 유사한 규모의 정서적 평가는 주관적으로 적용되지만, 업계 또는 학계 내에서 분류 결과를 검증하는 견실한 수단은 존재하지 않는다.
(대개 브레인스토밍된 나열을 통해 그리고 가끔은 높은 토큰:타입 비율의 n-그램 선택을 사용하여) 실용적 요인을 정량화하려는 가끔의 시도가 사회언어학 문헌에서 표면화되지만, 이것은 대체로 fMRI 연구, 사회적 또는 실제적 실험, 직관적 분석, 직관적이고 실용적인 사례의 면밀한 검토와 비교에 초점을 맞춘 사회언어학의 연구이다. 이 분야에서 구체적이지만 제한적이고 구문론 주도 이론이 존재하는데, 크게는 앤드류스 구문(Andrews construction)과 같은 개별 구문("X knows", 예를 들어, "God[only] knows", "Who knows?"로 구성된 형용사 및 부사 문구) 또는 좀 더 포괄적으로는 동사의 인수(목적어)를 본질적으로 처리하는, 인수 구조로서 알려진, 개체 관계에 대한 특정 문법 구문에 초점을 맞춘 의미론적으로 풍부하고 복잡하지만 동사 중심의 구문 문법의 정액 분석(seminal analysis)이 있다.
바람직하게, 구문이 되려면 언어 조각은 변경 가능(permutable)하고 모듈화되어야 한다. 본질적으로, 이것은 문법 규칙뿐만 아니라 일반적인 사용법에도 초점을 맞추고 있다. 사회언어학은 실제 세계에서 용법의 과학인 화용론에 초점을 맞추어 특정 단어 용법을 확대된 관점에서 분석해 왔다. 그러나 구문의 분석은 논증 구조와 동사에 초점을 둔 형태-의미 쌍의 분석에 중점을 두어 왔다. 인지 과학, 사회 언어학, 의미론을 가교하는 인지, 감정, 감정-인지에 대한 보다 효율적이고 강력하고 정확한 검출이 필요하다.
전술한 "배경" 설명은 일반적으로 본 개시내용의 맥락을 제시하기 위한 것이다. 이 배경기술 섹션에 기재된 범위 내에서 발명자들의 작업물은 물론이고, 출원 시점에 종래 기술로서 달리 자격이 없을 수 있는 설명의 측면은 명시적으로 또는 묵시적으로 본 발명에 반하는 종래 기술로 인정되지 않는다.
본 개시내용의 실시예에 따르면, 일 양태는 처리 회로에 의해 감정-인지를 통해 자연어 콘텐츠를 자동으로 증강하기 위한 방법으로서, 방법은, 입력 디바이스를 통해, 자연어 콘텐츠를 텍스트 입력으로서 수신하는 단계와, 처리 회로에 의해, 주어진 감정-인지에 대한 복수의 언어 규칙과 텍스트 입력의 구성요소 사이의 매치를 검색하는 단계 - 여기서 언어 규칙의 인스턴스는 적어도 하나의 인간 차원을 가짐 - 와, 처리 회로에 의해, 매칭된 언어 규칙을 활성화하고, 활성화된 매칭된 언어 규칙의 적어도 하나의 인간 차원을 평가하는 단계와, 처리 회로에 의해, 각각의 인간 차원을 점수화하여 주어진 감정-인지에 대한 차원 점수의 프로토타입 프로파일을 획득하는 단계와, 처리 회로에 의해, 획득된 차원 점수의 프로파일 내 차원을 집합하여 주어진 감정-인지에 대한 강도 표시를 획득하는 단계와, 디스플레이에 의해, 매칭된 언어 규칙을 주어진 감정-인지와 관련시키고 주어진 감정-인지의 각각의 강도 표시를 시그널링하는 방식으로 증강된 자연어 콘텐츠를 디스플레이하는 단계를 포함할 수 있다.
또한, 본 개시내용의 실시예에 따르면, 추가 양태는 터치스크린 디스플레이와, 처리 회로와, 메모리를 포함할 수 있는 전자 리더(electronic reader)이고, 여기서 터치스크린 디스플레이는 전자 책의 텍스트를 디스플레이하도록 구성되고, 처리 회로는 트리거될 때, 감정-인지 상태를 검출하고 감정-인지 상태가 발생한 강도를 결정하는 규칙을 사용하여 텍스트를 스캔하고 태그 지정하도록 구성되고, 처리 회로는 디스플레이된 텍스트의 검출된 구성요소에 기초하여 동적 및 감정-인지 강도 정보를 열거하기 위한 하나 이상의 사이드바를 생성하고 디스플레이하도록 구성되고, 터치스크린은, 디스플레이의 한 위치에서 터치될 때, 동적 또는 감정-인지 강도를 선택하도록 구성되고, 처리 회로는 또한, 선택된 동적 또는 감정-인지 강도의 발생을 지정하는 컬러 코딩된 하이라이팅(color-coded highlighting)을 생성하고 디스플레이하도록 구성된다.
또한, 본 개시내용의 실시예에 따르면, 추가 양태는 심리적 장애를 완화하기 위한 시스템으로서, 처리 회로 및 메모리를 갖는 이동 디바이스와, 통신 디바이스 및 하나 이상의 액추에이터를 갖는 주변 디바이스를 포함할 수 있고, 여기서 이동 디바이스의 메모리는 프로그램 명령어를 저장하고, 프로그램 명령어는 이동 디바이스의 처리 회로에 의해 실행될 때, 이동 디바이스로 하여금 다음의 방법을 수행하게 하고, 다음의 방법은, 입력 디바이스를 통해, 자연어 콘텐츠를 텍스트 입력으로서 수신하는 단계와, 처리 회로에 의해, 주어진 감정-인지에 대한 복수의 언어 규칙과 텍스트 입력의 구성요소 사이의 매치를 검색하는 단계 - 여기서 언어 규칙의 인스턴스는 적어도 하나의 인간 차원을 가짐 - 와, 처리 회로에 의해, 매칭된 언어 규칙을 검출하여 주어진 감정-인지에 대한 강도 표시를 획득하는 단계와, 주어진 감정-인지에 대한 강도 표시가 제 1 임계값을 초과하는 부정적 감정-인지적 강도에 도달할 때, 감정-인지적 강도를 식별하는 제 1 활성화 신호를 전송하는 단계를 포함하고, 주변 디바이스는, 통신 디바이스를 통해, 전송된 제 1 활성화 신호를 수신하고, 감각 해리(sensory distraction)를 생성하기 위해 하나 이상의 액추에이터를 활성화하여 심리적 장애를 완화하도록 구성된다.
전술한 예시적인 구현의 일반적인 설명 및 이에 대한 다음의 상세한 설명은 단지 본 개시내용의 교시의 예시적인 측면일 뿐이며 제한적인 것이 아니다.
명세서에 포함되어 명세서의 한 부분을 구성하는 첨부 도면은 하나 이상의 실시예를 예시하고, 설명과 함께 이들 실시예를 설명한다. 첨부 도면이 반드시 일정한 비율대로 작성되는 것은 아니다. 첨부 그래프와 도면에 예시된 임의의 값 또는 치수는 설명 목적만을 위한 것이고 실제 또는 선호하는 값 또는 치수를 나타낼 수도 있고 나타내지 않을 수도 있다. 해당되는 경우, 일부 또는 전체 특징이 기본 특징의 설명에서 도움을 주기 위해 예시되지 않을 수 있다.
예시적인 실시예의 특징 및 장점은 첨부 도면을 참조하여 이루어진 다음의 설명에서 더 자세히 제시된다. 도면에서,
도 1은 본 개시내용의 예시적인 양태에 따른 신념, 의견, 감성 및 감정의 자동화된 분류를 위한 시스템의 블록도이다.
도 2는 본 개시내용의 예시적인 양태에 따른 컴퓨터 시스템의 블록도이다.
도 3은 본 개시내용의 예시적인 양태에 따른 감정의 자동화된 분류를 위한 시스템 블록도이다.
도 4는 본 개시내용의 예시적인 양태에 따른 훈련 아키텍처의 다이어그램이다.
도 5는 본 개시내용의 예시적인 양태에 따른 감정 분류 시스템의 적응형 작동의 다이어그램이다.
도 6은 본 개시내용의 예시적인 양태에 따른 언어 규칙의 유형을 보여주는 다이어그램이다.
도 7은 본 개시내용의 예시적인 양태에 따른 규칙 엔진의 계층에 대한 상향식 스택이다.
도 8은 본 개시내용의 예시적인 양태에 따른 컴퓨터 시스템의 작동 방법의 순서도이다.
도 9는 본 개시내용의 예시적인 양태에 따른 언어 규칙을 사용하여 평가하는 단계에 대한 순서도이다.
도 10은 본 개시내용의 예시적인 양태에 따른 규칙을 검출하기 위한 순서도이다.
도 11은 본 개시내용의 예시적인 양태에 따른 점수화를 위한 순서도이다.
도 12는 본 개시내용의 예시적인 양태에 따른 규칙을 검출하기 위한 순서도이다.
도 13은 본 개시내용의 예시적인 양태에 따른 토큰 근접성 규칙(token proximity rule)에 대한 숫자 값을 결정하기 위한 순서도이다.
도 14는 본 개시내용의 예시적인 양태에 따른 분류를 위한 순서도이다.
도 15는 본 개시내용의 예시적인 양태에 따른 하이브리드 다중 모델 학습을 위한 순서도이다.
도 16은 본 개시내용의 예시적인 양태에 따른 전자 리더를 예시한다.
도 17은 본 개시내용의 예시적인 양태에 따른 전자 리더의 작동에 대한 순서도이다.
도 18은 본 개시내용의 예시적인 양태에 따른 멀티미디어 오디오 북(Multimedia Audio Book) 또는 시공간(Visio-Spatial) 데이터 감성 분류기용 시스템의 흐름도이다.
도 19는 본 개시내용의 예시적인 양태에 따른 멀티미디어 규칙 엔진의 블록도이다.
도 20는 본 개시내용의 예시적인 양태에 따른 HUNCH에 기초한 규칙 발견 엔진에 대한 순서도이다.
도 21a 및 도 21b는 본 개시내용의 예시적인 양태에 따른 오디오 미디어에서 규칙 발견에 대한 순서도이다.
도 22는 예시적인 구어(speech) 신호 패턴의 그래프이다.
도 23은 본 개시내용의 예시적인 양태에 따른 실시간 감정 분류의 방법에 대한 순서도이다
도 24는 본 개시내용의 예시적인 양태에 따른 디스플레이 디바이스를 예시한다.
도 25는 본 개시내용의 예시적인 양태에 따른 감정 분류 시스템의 적응형 작동의 시스템 다이어그램이다.
도 26a, 도 26b 및 도 26c는 본 개시내용의 예시적인 양태에 따른 전자 팔찌의 개략도이다.
도 27은 본 개시내용의 예시적인 양태에 따른 전자 팔찌의 회로도이다.
도 28은 본 개시내용의 예시적인 양태에 따른 사회언어학적 데이터에 대한 사용자 인터페이스의 시스템 다이어그램이다.
도 29는 본 개시내용의 예시적인 양태에 따른 사회언어학적 엔진 파이프라인의 흐름도이다.
예시적인 실시예의 특징 및 장점은 첨부 도면을 참조하여 이루어진 다음의 설명에서 더 자세히 제시된다. 도면에서,
도 1은 본 개시내용의 예시적인 양태에 따른 신념, 의견, 감성 및 감정의 자동화된 분류를 위한 시스템의 블록도이다.
도 2는 본 개시내용의 예시적인 양태에 따른 컴퓨터 시스템의 블록도이다.
도 3은 본 개시내용의 예시적인 양태에 따른 감정의 자동화된 분류를 위한 시스템 블록도이다.
도 4는 본 개시내용의 예시적인 양태에 따른 훈련 아키텍처의 다이어그램이다.
도 5는 본 개시내용의 예시적인 양태에 따른 감정 분류 시스템의 적응형 작동의 다이어그램이다.
도 6은 본 개시내용의 예시적인 양태에 따른 언어 규칙의 유형을 보여주는 다이어그램이다.
도 7은 본 개시내용의 예시적인 양태에 따른 규칙 엔진의 계층에 대한 상향식 스택이다.
도 8은 본 개시내용의 예시적인 양태에 따른 컴퓨터 시스템의 작동 방법의 순서도이다.
도 9는 본 개시내용의 예시적인 양태에 따른 언어 규칙을 사용하여 평가하는 단계에 대한 순서도이다.
도 10은 본 개시내용의 예시적인 양태에 따른 규칙을 검출하기 위한 순서도이다.
도 11은 본 개시내용의 예시적인 양태에 따른 점수화를 위한 순서도이다.
도 12는 본 개시내용의 예시적인 양태에 따른 규칙을 검출하기 위한 순서도이다.
도 13은 본 개시내용의 예시적인 양태에 따른 토큰 근접성 규칙(token proximity rule)에 대한 숫자 값을 결정하기 위한 순서도이다.
도 14는 본 개시내용의 예시적인 양태에 따른 분류를 위한 순서도이다.
도 15는 본 개시내용의 예시적인 양태에 따른 하이브리드 다중 모델 학습을 위한 순서도이다.
도 16은 본 개시내용의 예시적인 양태에 따른 전자 리더를 예시한다.
도 17은 본 개시내용의 예시적인 양태에 따른 전자 리더의 작동에 대한 순서도이다.
도 18은 본 개시내용의 예시적인 양태에 따른 멀티미디어 오디오 북(Multimedia Audio Book) 또는 시공간(Visio-Spatial) 데이터 감성 분류기용 시스템의 흐름도이다.
도 19는 본 개시내용의 예시적인 양태에 따른 멀티미디어 규칙 엔진의 블록도이다.
도 20는 본 개시내용의 예시적인 양태에 따른 HUNCH에 기초한 규칙 발견 엔진에 대한 순서도이다.
도 21a 및 도 21b는 본 개시내용의 예시적인 양태에 따른 오디오 미디어에서 규칙 발견에 대한 순서도이다.
도 22는 예시적인 구어(speech) 신호 패턴의 그래프이다.
도 23은 본 개시내용의 예시적인 양태에 따른 실시간 감정 분류의 방법에 대한 순서도이다
도 24는 본 개시내용의 예시적인 양태에 따른 디스플레이 디바이스를 예시한다.
도 25는 본 개시내용의 예시적인 양태에 따른 감정 분류 시스템의 적응형 작동의 시스템 다이어그램이다.
도 26a, 도 26b 및 도 26c는 본 개시내용의 예시적인 양태에 따른 전자 팔찌의 개략도이다.
도 27은 본 개시내용의 예시적인 양태에 따른 전자 팔찌의 회로도이다.
도 28은 본 개시내용의 예시적인 양태에 따른 사회언어학적 데이터에 대한 사용자 인터페이스의 시스템 다이어그램이다.
도 29는 본 개시내용의 예시적인 양태에 따른 사회언어학적 엔진 파이프라인의 흐름도이다.
첨부 도면과 관련하여 아래에 제시되는 설명은 개시된 주제의 다양한 실시예에 대한 설명으로서 의도된 것이며, 반드시 유일한 실시예(들)를 나타내도록 의도된 것은 아니다. 특정 경우에, 설명에는 개시된 실시예(들)의 이해를 제공할 목적으로 특정 세부사항이 포함된다. 그러나, 관련 기술분야에서 통상의 기술자에게는 개시된 실시예가 이러한 특정 세부사항 없이도 실시될 수 있다는 것이 명백할 것이다. 일부 경우에, 잘 알려진 구조 및 구성요소는 개시된 주제의 개념을 모호하게 하지 않도록 하기 위해 블록도 형태로 도시될 수 있다.
본 명세서에 사용된 바와 같이, "일 실시예" 또는 "일부 실시예" 또는 "실시예"라는 임의의 언급은 실시예와 관련하여 설명된 특정 요소, 특징, 구조 또는 특성이 적어도 하나의 실시예에 포함된다는 것을 의미한다. 본 명세서의 여러 곳에 "일 실시예에서"라는 문구가 나타난다고 해서 반드시 모두 동일한 실시예를 지칭하는 것은 아니다. 그 중에서도, "할 수 있다", "하여도 좋다", "일 지 모른다", "할 수도 있다" 및 "예를 들어" 등과 같이 본 명세서에서 사용된 조건적 언어는 달리 특별히 언급하지 않는 한 또는 사용된 맥락 내에서 달리 이해되지 않는 한, 특정 실시예가 특정의 특징, 요소 및/또는 단계를 포함하지만, 다른 실시예는 포함하지 않는다는 것을 일반적으로 전달하려는 것이다. 또한, 본 명세서 및 첨부된 청구범위에서 사용된 관사 "a" 및 "an"은 달리 명시하지 않는 한 "하나 이상" 또는 "적어도 하나"를 의미하는 것으로 해석되어야 한다.
이제 동일한 참조 부호가 여러 뷰 전체에 걸쳐 동일하거나 대응하는 부분을 지정하는 도면을 참조하면, 다음의 설명은 신념, 의견, 감성 및 감정의 자동화된 분류를 위한 시스템 및 방법에 관한 것이다. 방법은 확률 계층에 대한 입력 계층으로서 언어 규칙 엔진, 및 강도를 결정하기 위한 계층을 최적으로 포함한다.
위에서 언급한 바와 같이, 언어는 끊임없이 새로워 지며, 메모리에 이리 많은 양을 보유하고 효과적으로 양방향으로 고찰할 수 있는 강력한 도구(예를 들어, BERT)라 할지라도 진화하는 자연어에는 필적하지 못한다. 의성어, 은어, 전문 용어, 은유 또는 지어낸 단어와 같은 요소를 비롯하여, 이전에 나온 문장에 의해 요약할 수 없는 셀 수 없이 많은 문장이 앞으로 만들어질 것이다. 추출 가능한 믿음, 의견, 감성 그리고 감정적 차원을 위해 변경 가능한(permutable) 구문에 초점을 맞추고 이를 마이닝하면 보다 효율적이고 강력하고 정확한 검출이 가능해진다.
또한, 자연어 처리에서, 빈도는 반드시 강도와 같지는 않기 때문에, 확률은 언어적 강도의 좋은 지표는 아니다. 이와 같이, 개시된 실시예에서, 확률은 자연어 입력의 명시된 부분에 감정이 존재한다는 표시로서 사용된다. 감정의 강도는 별도로 결정된다.
텍스트에 의해 표현되거나 암시될 수 있는 감성, 감정, 의견 또는 신념을 이해하려는 일환으로 다양한 기법이 텍스트를 분석하는 데 사용될 수 있다. 감성은 느낌에 의해 촉발된 태도, 생각, 판단력으로서 정의될 수 있다. 사랑, 분노, 기쁨, 증오 또는 두려움과 같은 강한 느낌으로서 정의될 수 있는 감성에 가까운 감정이 있다. 감정은 강한 느낌으로서 주관적으로 경험되고 신체의 생리적 및 행동적 변화가 동반되는 의식적인 정신적 반응을 포함할 수 있다. 의견은 어떤 것에 대한 신념, 판단력 또는 사고 방식으로서 정의될 수 있다. 신념은 받아들여 지거나, 사실로 간주되거나 의견으로 유지되는 것일 수 있다. 본 개시내용의 목적을 위해, "감정-인지"라는 용어는 감성, 의견 및 신념 각각을 그것의 일반적인 의미, 판단력뿐만 아니라, 느낌(정서/욕구, 감정적 또는 성적 유대감), 대인관계/사회적 힘(친화력, 공동체, 유대감, 영향력), 인지적 요소(생각, 의견, 신념, 입장) 및 그 사이의 감성적 공간(열망, 가치, 동기, 후회)에 따라 묘사하는 용어로서 사용될 것이다.
개시된 실시예는 의미론적-구문론적 구문을 갖고, 다양한 차원에 걸쳐 미리 점수화되고, 의미론적 감성적 논리 연산을 위한 빌딩 블록을 포함하는 어휘 규칙을 활용한다. 규칙 검색 방식은 태깅을 더 쉽게, 더 빠르게, 보다 실증적이게 만들어 주며, 그래서 GPU 미세 조정(즉, BERT, GPT2, GPT3와 같은 미리 훈련된 트랜스포머의 미세 조정), 합의 계산 또는 높은 RAM 연산의 필요성을 줄여준다. 차원 패턴 스폿팅, 감성적 발생 추적 및 시퀀스 스폿팅을 통한 규칙 제안은 정확성 향상을 위한 에포크(epoch)를 추가하거나 모호성 이슈를 해결할 다중 모델을 추가하기 위해 리소스를 태깅, 재훈련 또는 사용하는 엄청난 양의 리소스를 또한 절약할 수도 있다. 차원의 집합/처리를 통한 다른 감성적 현상의 논리적 도출은 무거운 계산 대신 라인 당 간단한 검색 및 카운트 처리를 가능하게 하여, 새로운 또는 전문화된 훈련 세트, 새로운 작업 또는 추가된 계층 없이도 새로운 계산(정신 건강 증상의 검출)에 길을 열어주고 있다.
도 1은 본 개시내용의 예시적인 양태에 따른 감정-인지의 자동화된 분류를 위한 시스템의 블록도이다. 시스템(100)은 연속 데이터 스트림, 소셜 미디어 대화, 문서 및 전체 서적을 비롯한 다양한 소스로부터 텍스트를 수신하는 텍스트 입력(102)을 포함한다. 텍스트 입력(102)으로부터 수신된 텍스트는 데이터 정리(data cleaning) 및 데이터 정규화 프로세스(104)를 거친다. 다양한 도구가 정리 및 텍스트 정규화에 이용 가능하고, 일반적으로 텍스트 데이터에서 원하지 않는 문자를 제거하고 단어를 표준화하는 것이 수반된다. 원하지 않는 문자의 선택은 사용자에 따라 다르다. 예를 들어, 어떤 경우에는 구두점이 원하지 않을 수 있다. 일부 실시예에서, 특정 구두점은 제거되지 않고, 대신 나중에 처리하는 데 사용될 수 있다. 특정 구두점은 쉼표, 따옴표 및 느낌표를 포함할 수 있다. 제거될 수 있는 구두점은 at(@) 기호, 해시태그(#), 달러($), 퍼센트(%), 캐럿(^), 앰퍼샌드(&) 및 별표(*)를 포함할 수 있다. 일부 실시예에서, HTML 태그와 같은 마크업이 제거될 수 있다. 일부 실시예에서, 이모티콘은 그대로 남을 수 있다. 또한, 텍스트는 소문자로 변환할 수 있다. 그런 다음 정리되고 정규화된 데이터는 토큰화, 품사 태깅, 어간화(stemming) 및 표제어 추출(lemmatization)을 비롯하여 전처리된다(106). 토큰화는 텍스트를 개별 요소로 분할한다(예를 들어, 정리된 텍스트를 공백에서 분할한다). 품사 태깅은 품사를 식별하기 위해 레이블을 단어 토큰에 붙인다. 어간화는 단어를 어근 형태로 변환하는 프로세스이다. 표제어 추출은 개별 단어의 표준 형태를 획득하는 프로세스이다. 또 다른 작업은 불용어를 제거하는 것일 수 있다. 전처리된 데이터는 비지도 학습 프로세스(108), 규칙 기반 시스템(110) 및 지도 학습 프로세스(112)에 맞게 포맷될 수 있다. 전처리된 단어를 포맷팅하기 위한 전형적인 방법은 Google의 word2vec 알고리즘을 사용하는 것이다.
비지도 학습 프로세스(108)는 감정-인지의 분류를 비롯하여, 데이터를 분류할 수 있다. 비지도 학습 프로세스(108)는 레이블 지정된 데이터를 필요로 하지 않지만, 그 대신 전처리된 데이터를 클래스에 클러스터링할 수 있다. 전처리된 데이터 입력 및 결과적인 분류는 특징/규칙 제안(114)에 사용될 수 있다. 제안된 규칙 및 특징 선택(120)은 미래의 언어 규칙을 생성하기 위해 수행될 수 있다.
규칙 기반 시스템(110)은 미리 결정된 언어 규칙을 포함한다. 미리 결정된 언어 규칙은 감정-인지의 카테고리별로 조직화될 수 있다.
지도 학습 프로세스(112)는 레이블 지정된 데이터를 필요로 한다. 감정-인지의 레이블 지정은 수동으로 수행될 수 있다. 비지도 학습 프로세스(112)는 감정-인지의 기계 분류(118)에 사용될 수 있다. 분류에서의 오류는 추후 분류를 개선하기 위해 조정/수정(122)될 수 있다. 지도 학습 프로세스(112)는 확률을 할당하는 자체 분류를 수행할 신경 모델을 생성한다. 신경 모델은 또한 규칙 자체에 대해 훈련된다. 이들 신경 모델은 유사한 동시 발생 벡터, 유사한 POS 패턴 및 유사한 n-그램을 찾고, 이를 잠재적인 규칙/제안 특징으로 제안한다.
표 작성 및 점수화(116)는 비지도 학습 프로세스(108) 및 지도 학습 프로세스(112)의 결과에 적용될 수 있다. 비지도 학습 프로세스(108)와 지도 학습 프로세스(112)는 둘 모두 (예를 들어, 소프트맥스 함수를 사용하여) 각각의 클래스에 대한 확률을 출력할 수 있다.
일 구현에서, 시스템(100)의 기능 및 프로세스는 컴퓨터(226)에 의해 구현될 수 있다. 다음으로, 예시적인 실시예에 따른 컴퓨터(226)의 하드웨어 설명이 도 2를 참조하여 설명된다. 도 2에서, 컴퓨터(226)는 본 명세서에 설명된 프로세스를 수행하는 CPU(200)를 포함한다. 프로세스 데이터 및 명령어는 메모리(202)에 저장될 수 있다. 이러한 프로세스 및 명령어는 하드 드라이브(hard drive, HDD) 또는 휴대용 저장 매체와 같은 저장 매체 디스크(204)에 저장될 수도 있고, 원격으로 저장될 수도 있다. 또한, 청구된 진보 사항은 본 발명의 프로세스의 명령어가 저장되는 컴퓨터 판독 가능 매체의 형태로 제한되지 않는다. 예를 들어, 명령어는 CD, DVD, 플래시 메모리, RAM, ROM, PROM, EPROM, EEPROM, 하드 디스크, 또는 서버나 컴퓨터와 같은 컴퓨터(226)가 통신하는 임의의 다른 정보 처리 디바이스에 저장될 수 있다.
또한, 청구된 진보 사항은 CPU(200) 및 Microsoft®Windows®, UNIX®, Oracle®Solaris, LINUX®, Apple macOS® 및 관련 기술분야의 통상의 기술자에게 알려진 기타 시스템과 같은 운영 체제와 함께 실행되는, 유틸리티 애플리케이션, 백그라운드 데몬, 운영 체제의 구성요소 또는 이들의 조합으로서 제공될 수 있다.
컴퓨터(226)를 달성하기 위해, 하드웨어 요소는 관련 기술분야의 통상의 기술자에게 알려진 다양한 회로 요소에 의해 실현될 수 있다. 예를 들어, CPU(200)는 Intel Corporation of America의 Xenon®또는 Core®프로세서 또는 AMD of America의 Opteron®프로세서일 수 있거나, 관련 기술분야의 통상의 기술자에 의해 인식되는 다른 프로세서 유형일 수 있다. 대안적으로, CPU(200)는 관련 기술분야의 통상의 기술자가 인식할 수 있는 바와 같이 FPGA, ASIC, PLD 상에서 또는 이산 로직 회로를 사용하여 구현될 수 있다. 또한, CPU(200)는 위에서 설명된 본 발명의 프로세스의 명령어를 수행하기 위해 병렬로 협력적으로 작동하는 다수의 프로세서로서 구현될 수 있다.
도 2에서 컴퓨터(226)는 또한 네트워크(224)와 인터페이스하기 위한, Intel Corporation of America의 Intel Ethernet PRO 네트워크 인터페이스 카드와 같은 네트워크 제어기(206)를 포함한다. 인식할 수 있는 바와 같이, 네트워크(224)는 인터넷과 같은 공중 네트워크, 또는 LAN 또는 WAN 네트워크와 같은 사설 네트워크, 또는 이들의 임의의 조합일 수 있고, PSTN 또는 ISDN 서브 네트워크를 또한 포함할 수 있다. 네트워크(224)는 또한 이더넷 네트워크와 같이 유선일 수 있거나, EDGE, 3G 및 4G 무선 셀룰러 시스템을 포함하는 셀룰러 네트워크와 같은 무선일 수 있다. 무선 네트워크는 또한 WiFi®, Bluetooth®, 또는 알려진 임의의 다른 무선 통신 형태일 수 있다.
컴퓨터(226)는 Hewlett Packard® HPL2445w LCD 모니터와 같은 디스플레이(210)와 인터페이스하기 위한, NVIDIA Corporation of America의 NVIDIA®GeForce® GTX 또는 Quadro® 그래픽 어댑터와 같은 디스플레이 제어기(208)를 더 포함한다. 범용 I/O 인터페이스(212)는 키보드 및/또는 마우스(214)는 물론 임의적 터치 스크린 패널(216), 또는 디스플레이(210) 상에 있거나 디스플레이와 별개인 촉각 디바이스와 인터페이스한다. 범용 I/O 인터페이스는 또한 Hewlett Packard®의 OfficeJet®또는 DeskJet®과 같은 프린터 및 스캐너를 비롯한 다양한 주변 기기(218)에 연결된다. I/O 인터페이스(212)는 또한 음성 입력을 위한 마이크로폰 및 사운드 출력을 위한 스피커 및/또는 헤드폰에 연결될 수 있다. 마이크로폰 및/또는 헤드폰은 USB, HDMI 또는 기타 주변 입력 연결을 비롯한, 입력 포트를 통해 I/O 인터페이스(212)에 연결될 수 있다.
범용 저장소 제어기(220)는 컴퓨터(226)의 모든 구성요소를 상호 연결하기 위한, ISA, EISA, VESA, PCI 또는 이와 유사한 것일 수 있는 통신 버스(222)와 저장 매체 디스크(204)를 연결한다. 디스플레이(210), 키보드 및/또는 마우스(214)뿐만 아니라, 디스플레이 제어기(208), 저장소 제어기(220), 네트워크 제어기(206) 및 범용 I/O 인터페이스(212)의 일반적인 특징과 기능성 대한 설명은 이들 특징이 알려져 있으므로 간결함을 위해 본 명세서에서 생략된다.
도 3은 본 개시내용의 예시적인 양태에 따른 감정의 자동화된 분류를 위한 시스템 블록도이다. 시스템(300)은 멀티미디어 분류 엔진(312)을 포함한다. 멀티미디어는 비디오, 오디오 및 텍스트를 포함할 수 있다. 멀티미디어는 시스템(300)에 전사되고 스캔되는, 오디오 북과 같은 스크립되거나 부제가 달린 멀티미디어, 영화, TV 쇼, 증강 현실 또는 가상 현실과 같은 시공간(Visio-Spatial) 멀티미디어를 포함할 수 있다. 텍스트 미디어 및 전사된 미디어는 입력 텍스트(302)로서 수신된다. 입력 텍스트(302)는 텍스트 데이터를 규칙(306, 308, 310)과 매칭시키는 데 필요한 형태 또는 기계 학습 모델(320)에 입력하는 데 필요한 형태로 변환하기 위해 전처리 엔진(304)에서 처리된다. 일부 실시예에서, 전처리된 텍스트 데이터는 자연어 규칙(306)을 통해 실행된다. 규칙이 텍스트 미디어 또는 전사된 미디어와 매칭할 때, 규칙이 실행된다고 말한다. 시공간 규칙(Visio-Spatial Rules)(310)은 시각적 단서에 대한 규칙을 포함할 수 있다. 오디오-구어 규칙(308)은 구어 신호에 대한 규칙을 포함할 수 있다.
감정-인지 센서(314)는 문장-, 단락-, 구절-, 장면-, 챕터-레벨에서 입력을 처리하고, 각각을 주어진 감정-, 인지-, 감성-, 상태- 또는 역동성 또는 특성-기반 태크로 분류한다. 규칙이 트리거될 때, 감정이 검출된다. 또한, 언어 규칙에는 차원에 기초한 등급이 있다. 일부 실시예에서, 규칙에 대한 차원 값은 벡터로서 저장된다. 감정은 차원의 "모양"으로부터 추론될 수 있다. 감정의 특징은 차원 벡터의 모양, 차원의 값, 규칙과 연관된 다른 벡터로부터 도출된 계산과의 차이점 또는 유사성을 포함한다. 자연어 규칙(306)의 출력은 감정-인지 센서(314) 및 강도 등급화 센서(316)에 공급되어, 과학적 연구 또는 정치적 여론 조사에서와 같이 정성적 데이터가 집단 분석을 위한 정량적 데이터로 변환될 수 있도록 한다.
강도 등급화 센서(316)는 차원에 기초하여 검출된 각각의 감정에 대한 강도 등급을 결정한다. 일부 실시예에서, 강도 등급화 센서(316)는 각각의 인지적, 감정적, 사회적, 대인관계 또는 상태적 기반 요소의 하위 구성요소에 기초하여 객관적인 강도 등급을 차원으로서 할당한다.
감정-인지 태깅 엔진(318)은 할당된 감정 클래스로 텍스트 데이터에 태그 지정한다. 감정과 감정-인지의 강도는 인구 통계 정보, 온라인 프로파일 특징, 타임 스탬프, 소스, 지리적 위치와 같은 메타데이터와 연관될 수 있다. 집단 샘플에 대한 집합적 감정-인지 상태에 대한 결과 및 감정-인지 상태의 레이블 지정은 감정-인지 태깅 엔진(318)에서 반환된다.
규칙 발견 엔진(326)은 규칙 제안이라고도 하는 새로운 규칙을 생성할 수 있다. 기계 학습 모델(320)은 규칙 자체에 대해 훈련될 수 있다. 훈련된 기계 학습 모델(320)은 유사한 동시 발생 벡터, 유사한 POS 패턴 및 유사한 n-그램을 찾고, 이를 잠재적인 새로운 규칙으로서 제안할 수 있다. 또한 감정-인지 센서(314)에서 검출되는 감정의 패턴은 물론, 차원 패턴이 새로운 규칙을 생성하는 데 사용될 수 있다.
기계 학습 모델 엔진(320)은 BERT, RoBERTa, 서포트 벡터 머신, word2vec, KNN 모델, 장단기 기억(Long Short-Term Memory) 모델, 컨볼루션 신경망(Convolution Neural Network) 모델과 같은 트랜스포머 모델 중 임의의 기계 학습 모델 또는 모델들을 포함할 수 있다.
통계 모델 엔진(322)은 하나 이상의 통계 모델을 포함할 수 있다. 통계 모델은 k-평균 모델, 베이즈(Bayes) 모델, 문서 검색 모델, 로지스틱 회귀 모델, 선형 회귀 모델, 다항식 회귀 모델, 추천 매트릭스, 랜덤 포레스트 모델, n-그램 언어 모델 중 임의의 통계 모델 또는 모델들을 포함할 수 있다. 각각의 통계 모델은 분류자로서 사용된다.
어휘 엔진(324)은 시스템(300)에서 사용될 수 있는 어휘를 제공한다. 어휘의 소스는 NRCLex, 하버드 인콰이어러(Harvard Inquirer), MPQA, 센티워드넷(sentiwordnet), 텍스트블롭(textblob), VADER 및 구체적으로 열거되지 않은 다른 어휘를 포함한다.
일부 실시예에서, 집합 감정-인지 앙상블 분류기(328)는 감정과 같은 최종 답변을 출력할 수 있다. 랜덤 포레스트(Random Forest)는 원-핫 코딩(one-hot coding)을 사용하여 앙상블 분류기로서 사용될 수 있다. 다른 실시예에서, 로지스틱 회귀(Logistic Regression)는 앙상블에 사용될 수 있다. 추가 실시예에서, 신경 계층은 앙상블의 출력으로서 사용될 수 있다. 출력은 인구통계 정보, 온라인 프로파일 특징, 타임스탬프, 소스, 지리적 위치와 같은 메타데이터와 감성 및 감정-인지 감성의 강도와의 연관을 포함할 수 있다. 출력은 컬러 기반의 기하학적 표현을 사용하여, 일정 기간에 걸쳐 또는 특정 시점에서 사용자의, 브랜드의, 비즈니스의, 유명인의, 조직의, 토픽의, 단어의 또는 문구의 감정-인지적 요약의 회화적이거나 그래픽적인 표현일 수 있다. 선택사항으로, 출력은 인구통계학적으로 또는 다른 방식으로 세분화되거나 집합 샘플에 대한 차원, 감정, 역동성 또는 사회적 흐름의, 임의의 주어진 시간에서의 또는 시간에 걸친, 보고서를 포함할 수 있다. 선택사항으로, 출력은 시간에 걸친 또는 특정 시점에서 단일 또는 집합된 사용자의 감정-인지 상태에 대한, 주어진 기간 동안의 감정-인지 상태의 분포의 생성 및 디스플레이를 포함할 수 있다.
도 4는 본 개시내용의 예시적인 양태에 따른 훈련 아키텍처의 다이어그램이다. 진화하는 자연어를 수용하기 위해, 훈련 아키텍처(400)는 기계 학습 모델 엔진(320)을 사용하여 기계 학습 모델을 훈련시켜 규칙을 생성한다. 기계 학습 모델은 또한 규칙 자체에 대해 훈련된다. 이러한 기계 학습 모델은 유사한 동시 발생 벡터, 유사한 POS 패턴 및 유사한 n-그램을 찾고, 이를 잠재적인 새로운 규칙으로서 제안한다.
언어 규칙 모델(310)은 자연어 문구 및 문장에 적용될 수 있는 한 세트의 미리 프로그래밍된 언어 규칙으로 시작된다. 검출에는 이러한 규칙의 잠재적 비교, 유사성의 인식, 규칙 잠재적 요소(규칙 유형)의 연쇄를 사용하는 규칙의 생성이 수반될 수 있다. 규칙은 임계값을 통해 유사성이 충분한 문자열을 식별한 다음, 단어, 품사, 의존성, 어간 및 부명제(lemma)로 각각의 단어의 튜플을 생성하고, 색인 위치에 기초하여 유사한 항목 간을 매칭시켜 각각의 튜플의 조정 부분을 찾는 것을 통해 생성될 수 있다. 그런 다음 결과는 필요에 따라 임의적 부분 또는 와일드카드 또는 근사치 계산을 사용하여, 연쇄된 공식 규칙으로 연쇄될 수 있다.
훈련 아키텍처(400)는 처리 회로 및 메모리를 통해, 다수의 자연어 데이터 항목에 액세스하기 위한 텍스트 입력(302)을 포함한다. 다수의 자연어 데이터 항목은 데이터 저장소로부터 판독될 수 있거나 직접 텍스트의 스트림으로서 입력될 수 있다. 텍스트는 인간의 구어 입력, 텍스트 데이터베이스, 문서 또는 기타 텍스트 데이터 소스로부터 유래된 캡처되거나, 전사되거나 번역된 텍스트를 포함할 수 있다.
훈련 아키텍처(400)는 자연어 처리를 위해 텍스트에 대해 전형적으로 수행되는 다양한 예비 프로세스를 수행하기 위한 전처리기(304)를 포함한다. 전처리기(304)는 데이터 정규화, 토큰화, 품사 태깅, 의존성, 어간화 및 표제어 추출을 위한 공지된 소프트웨어 라이브러리 중 임의의 라이브러리를 활용하여 다수의 전처리된 자연 언어 데이터 항목을 생성할 수 있다. 소프트웨어 라이브러리의 예는 자연어 툴킷(Natural Language Toolkit, NLTK)이다. NLTK에는 분류, 토큰화, 어간화, 태깅 및 구문 분석을 위한 텍스트 처리 라이브러리가 포함된다. NLTK는 표제어 추출 기능을 갖는 WordNet 표제어 추출기뿐만 아니라, 다양한 다른 표제어 추출기를 포함한다. 정규화는 표준 정규화로서 수행될 수 있다.
일부 실시예에서, 훈련 아키텍처(300)에는 다수의 전처리된 자연어 데이터 항목을 감정 및 표현된 감정의 강도로서 레이블 지정하는 것이 수반될 수 있다. 레이블 및 연관된 자연어 데이터 항목은 지도 학습 모델을 훈련하는 데 사용될 수 있다.
훈련 아키텍처(400)는 다수 개의 전처리된 자연어 데이터 항목을 기계 학습 모델 엔진(320) 및 언어 규칙 모델(306)에 병렬로 제공한다. 훈련 아키텍처(400)는 다수의 훈련 에포크에서 기계 학습 모델 엔진(320) 및 언어 규칙 모델(306)의 훈련을 병렬로 수행하여 자연어 데이터에서 감정을 식별하고 감정의 강도를 결정한다. 기계 학습 모델 엔진(320)의 각각의 훈련 에포크에서는 결정(412)에 기초하여 언어 규칙 엔진(306)의 후속 훈련 에포크에 대한 특징 또는 규칙 제안(326)을 생성할 수 있다. 언어 규칙 엔진(306)의 각각의 훈련 에포크 후에, 기계 학습 모델 엔진(320)의 후속 에포크가 표로 작성되고 점수화된다(각각의 클래스의 확률로서 제공됨). (414)에서, 훈련된 기계 학습 모델 엔진(320) 및 훈련된 언어 규칙(306)을 나타내는 출력은 비휘발성 메모리에 저장된다.
도 5는 감정 분류 시스템의 적응형 작동의 시스템 다이어그램이다. 규칙 발견 엔진(326)은 감정 및 강도 정보를 출력으로서 제시하면서 새로운 규칙을 생성할 수 있다.
작동에 도움을 주기 위해, 감정 분류 시스템의 작동은 예의 측면에서 설명된다. 예는 이해의 용이함을 위해 단순화된다. 개시내용은 결코 이 예로 제한되지 않는다. 예에서, 해시태그 지정된 텍스트 "Why am I the one who 'needs' to take out the trash? #NOTANEED"가 파일로부터 텍스트를 읽음으로써 또는 컴퓨터 시스템에 입력되는 연속 스트림으로서 입력(302)된다. 텍스트 입력은 전처리 엔진(304)에 의해 처리되며, 전처리 엔진은 인덱스 위치로 입력 텍스트에 태그 지정하는 것, 입력 텍스트를 토큰화하는 것 및 입력 해시태그를 분리하는 것을 포함하는 기능을 수행한다. 일부 실시예에서, 해시태그는 연관된 감정을 갖는 구성요소이다. 인덱스 위치는 전체 텍스트에 대한 상대적 위치를 표시하는 정수, 예를 들어, 카운터에 의해 또는 토큰화된 입력의 배열 내에서 생성되는 순차적 번호일 수 있다. 대안적으로, 인덱스 위치는 벡터 위치, 라인 번호 또는 해시태그 지정된 텍스트 시퀀스에서 현재 텍스트 입력이 발생하는 위치를 식별하는 몇몇 입력 번호와 같은 인덱스일 수 있다. 토큰화 기능은 "?"와 같은 구두점을 선택적으로 분리할 수 있고, 다른 것을 삭제할 수 있다. 이 예에서, 강조를 표시하기 위해 "needs" 주위의 따옴표는 보존될 수 있다. 해시태그는 감정적 표현이라기 보다는 식별자로서 취급될 수 있도록 다른 텍스트로부터 분리될 수 있다. 일부 실시예에서, 해시태그는 감정의 보조적 표시로서 사용될 수 있다. 이 예에서, 해시태그는 입력 텍스트가 풍자라는 것을 표시할 수 있다. 해시태그는 강조, 논평/방백, 하위 트윗, 조직, 지속적인 표현, 유머, 맥락, 감정, 마케팅, 항의를 표시하는 데에도 사용될 수 있다.
자연어 엔진은 자연어 규칙(306) 중에서 입력 텍스트와 매칭하는 규칙 또는 규칙들을 검색하는 기능을 가지고 있다. 규칙은 일부 필수 단어나 문구가 구문론과 혼합된 텍스트 패턴을 표시할 수 있다. 이 예에서, "[why]"[…] + being 동사 + "the one who" + 동사와 같은 규칙은 패턴 매칭되고 트리거된다.
규칙은 감정 및 인지적 용어, 그리고 감정-인지의 혼합 용어별로 그룹화된다. 감정-인지 센서(314)는 트리거된 규칙에 기초하여 감정-인지 레이블(ANGER)을 적용하는 기능을 갖는다.
강도 등급화 센서(316)는 점수가 있는 3개 차원 - 긍정, 부정, 중립 또는 널(null)을 포함할 수 있는 트리거된 규칙에 대한 차원을 활성화하는 기능을 가지며, 차원은 예를 들어 존중, 자아, 비난이다. 차원 점수의 값은 이와 같이 제한되지 않으며, 미리 결정된 범위 내의 숫자 값을 포함할 수 있다. 강도 등급화 센서(316)는 차원 점수를 집합하여 강도 점수를 획득하는 기능을 갖는다. 강도 등급화 센서(316)는 강도 점수를 감정-인지 레이블에 할당하고 강도 점수를 미리 결정된 임계값과 비교한다. 미리 결정된 임계값은 0.6과 같은 분수 값, 0 내지10의 범위 중 6과 같은 어떤 범위 내 정수, 모든 감정에 걸쳐 공통적인 60%와 같은 백분율일 수 있거나, 각각의 감정-인지 레이블마다 설정될 수 있다. 이 예에서, 임계값에 따라 감정적 강도 레벨이 레이블 지정된다(ANGER -- MEDIUM). 일부 실시예에서, 화자의 기준선이 알려져 있다면, 강도 점수는 화자에 상대적일 수도 있다.
메타 감정-인지 집합기(Meta-Emotio-Cognitive Aggregator)(328)는 감정-인지 레이블을 평가하고 이 레이블을 주변의 다른 레이블과 결합하여 감정-인지 레이블의 패턴, 예를 들어, ANGER___PEACE를 형성하는 기능을 가지고 있다.
다음 레벨에서, 역동성(Dynamics)(610)은 감정-인지 레이블의 패턴을 동적 패턴과 패턴 매칭하는 기능을 가지고 있다. 역동성(610)은 매칭된 동적 패턴, 예를 들어, FORGIVENESS에 기초하여 레이블을 할당한다.
도 6은 본 개시내용의 예시적인 양태에 따른 언어 규칙의 유형을 보여주는 다이어그램이다. 자연어 입력의 명시된 부분에 적용되는 감성, 감정, 의견 및 신념에 대한 언어 규칙의 유형은 다음을 포함할 수 있다.
구어 태깅, 구문론 또는 의존성 구문 분석의 일부를 사용하는 규칙(502), 예를 들어, 조동사 및 선택 동사, 시제 표기법, 어형변화, 동사 활용, 악센트뿐만 아니라, 직접 목적어 및 고유 명사를 포함함.
정확하거나, 부정확하거나, 마스킹되거나 와일드카드 지정된 문자열 매칭을 사용하는 규칙(504),
토큰들 사이의 거리를 사용하는 규칙(506),
구두점을 사용하는 규칙(508),
표제어 추출을 사용하는 규칙(510),
어간화를 사용하는 규칙(512),
구두점을 사용하는 규칙(514), 및
단어 조회 또는 사전을 사용하는 규칙(516).
일부 실시예에서, 규칙 구성요소는 이모지(Emoji), 글리프(Glyph), 이모티콘, 문자, 스크립트 및 임의의 다른 문자소를 비롯한 그래픽 콘텐츠를 포함할 수 있다. 자연어 입력의 지정된 부분에 언어 규칙을 적용하면 하나 이상의 언어 규칙 각각에 대한 숫자 또는 부울 값을 획득하는 결과를 가져온다.
일부 실시예에서, 추가적인 언어 규칙 유형은 일본어, 한국어, 중국어, 베트남어 및 다른 아시아 언어를 비롯한 다른 세계 언어를 수용한다. 추가적인 언어 규칙 유형은 다음을 포함할 수 있다.
의존성을 태그 지정하는 규칙,
불변화사(particle)를 검출하는 규칙 또는 규칙들,
마커를 검출하는 규칙 또는 규칙들,
토픽, 주어, 서술어를 비롯한 구조적-서사적 힘을 검출하는 규칙 또는 규칙들,
공통점별로 그룹화된 명사의 클래스를 나타내는 규칙 또는 규칙들,
주격(nominative), 탈격(ablative) 및 기타 것을 비롯한 사례를 검출하는 규칙 또는 규칙들,
동사에 대한 동사 카테고리를 검출하는 규칙 또는 규칙들,
마우스, 터치패드, 터치스크린 상에서 클릭의 의미론적 정보를 캡처하기 위해 클릭 전사본을 검출하는 규칙.
일부 실시예에서, 언어 규칙은 임의적 조건의 경우 OR 연산자를 통합시키고, 결합된 조건의 경우 연쇄 연산자를 통합시킬 수 있다. 일부 실시예에서, 언어 규칙은 규칙의 다른 부분을 참조하는 규칙 내 참조 대상을 포함할 수 있다. 규칙 내 참조 대상은 이중화 또는 복제를 포함할 수 있다: ADJ + NOUN + NOUN, NOUN은 바로 앞의 NOUN이라는 조건이 있음. 규칙 내 참조 대상은 규칙에서 위치에 대한 인덱스: 규칙에서 자리 표시자 또는 위치 Element[0])를 포함할 수 있다.
일부 실시예에서, 언어 규칙에 대한 규칙 내 참조 대상은 패턴의 형태일 수 있다. 패턴은 다음을 포함할 수 있다: 중복된 경우, NOUN -> NOUN, 중복이 아닌 경우, NOUN !+NOUN.
언어 규칙은 감정 또는 인지의 유형별로 그룹화된다. 일부 실시예에서, 규칙은 중요도 순서를 가질 수 있으며, 그 순서는 그 아래의 규칙 및 그 위의 규칙보다 우선순위를 표시하도록 변경될 수 있다. 각각의 언어 규칙은 하나 이상의 차원 및 각각의 차원에 대한 값을 갖는다. 일 실시예에서, 차원은 감성, 감정, 감정-인지적 태도, 가치, 사회적 관습, 사고방식, 전망, 측면, 반응, 특성, 신념, 의견, 관점, 동기, 편견, 상태, 매너, 접근법, 역동성, 성격 특성, 감정적 접근, 감정적 선택, 반응, 성향, 일시적 상태, 상태의 변화, 인지적 측면, 행동적 측면, 내적 조건, 외적 조건, 느낌, 감정, 명제, 태도, 명제적 태도, 지향적 태도, 무지향적 태도, 자기 지향적 태도, 의식적 감정-인지, 무의식적 감정-인지를 포함할 수 있다. 일 실시예에서, 차원은 (NRCLex로부터의) 분노, 기대, 혐오감, 두려움, 기쁨, 슬픔, 놀람 및 신뢰의 감정적 정서를 포함할 수 있다. 다른 실시예에서, 차원은 이것으로 제한되는 것은 아니지만, 자아, 비난, 순응, 신성성, 친절, 존경, 시간(미래), (자기) 호의, 승인, 성실, 취약성, 판단력, 분리성, 목적, 형식성, 최소화, 구체성, 힘, 행동(적극성), 작인(agency), 호기심, 명확성, 의도, 강조, 에너지, 확실성, 관심, 참여, 충격/놀람, 긴장, 속도, 뉘앙스, 논리, 편집증, 신뢰, 거리감, 동일시, 존중(자기), 존중(타인), 객관화, 애착, 공감 및 참을성과 같은 감정-인지의 면(facet), 구성요소 및 측면(aspect)을 포함할 수 있다.
일부 실시예에서, 차원은 성격 특성, 신념, 의견, 관점, 측면, 동기, 편향(bias), 상태, 감정적 접근/선택, 매너, 반응, 대인관계 역동성과 같은 카테고리로 그룹화될 수 있다.
본 발명자들은 완전히 정확한 분류라 할지라도 여전히 매우 제한된 의미론적 정보를 산출할 수 있다는 것을 발견했다. 예를 들어, "정확도"는 검출에 영향을 미칠 때 항상 유용한 의미론적 정보를 반영하는 것은 아니다. 정서에 대한 레이블은 너무 모호할 수 있다(25개 이상의 정서를 6개 레이블에 억지로 넣으려 시도함). 분류에는 여전히 유용한 하위 텍스트 정보가 부족할 수 있으며 화자의 인지적 상태에 관한 방향성이 부족할 수 있다. 분류는 감정이 존재하는 이유에 대한 힌트를 제공하지 않는다. 문장, 문구 또는 구문은 특정 정서 및 깊은 의미론적 값에 대한 분류가 제대로 되지 않거나, 문장 레벨에서 구문 분석되거나, 종종 다수의 레이블이 적용되어야 하는 단일 클래스로 강제 분류되거나, 또는 인간 감정의 복잡성과 깊이로 인해 기계 알고리즘에 의해 정확하게 이해될 수 없는 채로 남아 있다. 또한, 추가 정보를 위해 대화가 마이닝될 수 있지만, 담론적 텍스트 값은 개체명 인식(Named Entity Recognition) 및 화자 특정 정보와 같은 상황별 단서 접근법으로 제한되어, 정서적 상태에 대해서는 거의 정보를 산출하지 못했다.
트랜스포머와 같은 최첨단 기술이 존재함에도 불구하고, 이들 트랜스포머는 역사적으로 의미론적 해석보다는 (부분적으로, 의미론적 작업에 관한 일반적인 성능은 더 떨어지기 때문에) 예측 및 번역 작업에서만 탁월했다. 트랜스포머는 인간과 기계의 해석 용량 사이의 격차로 인해 궁극적으로 의미론적 능력에서 한계가 있다. 특히 즉석의 구어와 텍스트를 해석할 때, 의미론적 한계 중에는 혼합된 감정, 복잡한 감정, 비유적 표현 및 성실하지 않은 감정적 표현(이를테면 풍자, 아이러니, 공손함, 수동적 공격성)을 식별하는 능력이 있다. 개시된 실시예는 인간의 감정 및 인지의 범위와 깊이를 다루는 접근법이다.
도 7은 규칙 엔진의 계층에 대한 상향식 스택이다. "차원"(702)은 감정-인지 표현의 요소 및 그 이면에 있는 느낌과 생각이다. 일부 실시예에서, 시스템은 객체 지향 프로그래밍을 사용하여 구현되고 감정은 클래스의 속성으로서 한 세트의 차원을 갖는 클래스이다. 강도는 감정 클래스의 방법이고 차원의 존재에 기초하여 강도 값을 결정하는 데 사용된다. 강도 값은 구조화된 또는 구조화되지 않은 데이터베이스에 저장될 수 있다. 감정 클래스는 속성/차원 각각에 대한 프로토타입 값을 갖는다. 차원의 값은 3진 값(+1 긍정적 힘, -1 부정적 힘, 0 중립적 힘, 및 Ψ 미존재/해당 없음; 그 중 후자 2개는 동등하지 않음)을 갖는 작은 유인가(valence)이다. 일부 실시예에서, 차원에 대한 값은 부울의 계층, 이를테면 (1) TRUE-FALSE(중립 대 없음), (2) TRUE-FALSE(참 대 거짓), (3) 잠재적으로 널과 유사함을 포함한다. 값은 부동 소수점 숫자 또는 정수 형태일 수 있다.
각각의 데이터 라인에 대해, 이들 차원은 규칙이 트리거될 때마다 등급을 받는다. 그래서, 예를 들면,
("[why / how come] + BEING-V + PRON + [TIME-HYPERBOLE] + "the one/s who" + VERB") 라는 예에 대해서, 이것은:
(2개 항목: "why" 또는 "how came" 중) 임의적 단어 목록 항목 +
존재 동사 및 대명사("are you" / "am I" / "are they" / "are we" / "is he) " / "is she" 등) +
시간 과장법(Time Hyperbole)에 대한 임의적 단어 목록 항목("always", "never", "constantly" 등) +
퍼지(부정확한 문자열) ("the ones who", "the one who") +
사실상 모든 동사("sits up front", "pays for everything", "brings up problems", "gets the easy job" 등)
를 가진 구문을 나타낸다. 규칙은 모듈화된 그런 부분을 사용하고, 어느 정도의 변경(permutations)을 망라한다.
시스템은 주어진 감정의 핵심 차원 프로파일을 검출한다. 상이한 규칙은 감정적 상태의 다양한 표현을 나타내는 뚜렷하고 부분적이지만 강력하게 매칭하는 구문을 찾는다. 다시 말해서, 감정은 정신적 상태이다. 원초적 감정은 순수하고 비합리적이다(예를 들어, 두려움, 분노, 행복, 슬픔). 복잡한 감정은 보다 사회적이고 인지적이다(예를 들어, 슬픔, 우울증, 수치심, 불안감, 감탄). 복잡한 감정은 인지적 상태와 감정적 상태가 동시에 발생할 때 또는 여러 감정이 동시에 발생할 때 발생한다. 규칙이 활성화될 때, 규칙은 그러한 감정적 상태가 언제 발생하는지의 표시를 제공한다.
특정 감정에 매칭되는 차원이 많을수록, 해당 감정의 강도는 높아진다. 이어서, 강도의 측정은 객관적인 측정이고 강도의 정도를 나타낸다. 일부 실시예에서, 동일한 구문이 입력 텍스트에서 두 번 발생하는 경우, 매칭하는 구문은 두 번 모두 계산된다. 강도를 측정할 때, 차원 점수는 단어 수에 걸쳐 정규화된다. 따라서 강도 값은 밀도에 기반한다.
예시적인 실시예에서, 50개의 차원이 있다. 일부 실시예에서, 더 많은 수의 차원이 있다 각각의 규칙에는 전체 차원 세트에 걸쳐 등급이 있다.
각각의 규칙(704)은 하나 이상의 차원을 포함한다. 위의 규칙의 경우, 하나의 예시적인 차원은 자아이다. 자아는 주어진 구문에서 부재하거나(아무 관련 없음 - 널 값), 중립적이거나(자아 구성요소가 있되, 매우 평등하고 공정함)이거나, 긍정적이거나(이기적, 거만함), 또는 부정적일 수 있다(감탄, 간청, 자기 혐오 등). 자아는 이 규칙에 대해 등급화되는 차원이다. 또 다른 차원은 호기심이다. 이 규칙에 의해 검출된 이 구문은 적극적으로 호기심이 많고, 그래서 +1 등급을 받는다.
규칙(704)은 일단 활성화되면, 검출된 감정을 표시한다. 일단 감정이 검출되면(감정이 존재하는 문장 부분에서; 단순한 문장 레벨 또는 구절 레벨 대신 인덱스 위치를 통해 태깅이 수행되며, 이것은 더 큰 구별과 명확성을 허용함), 복잡한 감정(706)이 식별될 수 있으며, 이들 감정은 보통 동시적인 감정으로 구성된다. 예를 들어, 경멸은 자부심/거만함과 분노의 조합이다. 또한, 감정-인지 상태는 겹칠 수 있다.
일단 복잡하고 원초적인 감정이 적소에서 활성화되면, 감정은 특정 상황에서 자연스럽게 다른 감정으로 옮겨가므로, 감정의 패턴(708)은 평가될 수 있다. 또한, 감정은 진행, 확대 또는 해소될 수 있다. 감정의 패턴(708)은 감정을 감정의 정렬된 배열 또는 문자열(예를 들어, HOPE + EXPECTATION + SURPRISE + SADNESS)로 연쇄시킴으로써 형성된다. 이러한 패턴은 가능성이 제한된 스킵-그램 모델(skip-gram model)처럼 어느 정도 평가될 수 있다. 감정 변화, 감정 진행, 감정 고조, 감정 해결을 위한 패턴은 인지 가능한 감정적 패턴으로서 저장된다.
감정의 패턴은 흥분이 수용으로 바뀌어 차분해지고; 분노가 혼란, 깨달음으로 옮겨 가고, 이해가 일어나고 공감이나 용서가 발전함에 따라 다시 사랑으로 돌아가는 감정의 흐름을 예측하는 데 사용될 수 있다.
감정 패턴은 역동성(710)에 구축된다. 역동성(710)은 감정의 패턴을 요약하는 주요 감정 이벤트에 대한 설명 레이블이다. 예를 들어 "DISAPPOINTMENT"라는 역동성은 HOPE + EXPECTATION + SURPRISE + SADNESS의 감정적 패턴에 대한 레이블이다. 역동성은 자아 내에서 일어날 수 있다 - 이것은 일반적으로 복잡한 감정이다. 다음으로, 역동성은 타인과/대인관계에서 발생할 수 있다 - 이것은 용서와 같은 현상일 수 있다. 이 경우, FORGIVENESS는 ANGER + REALIZATION + LOVE의 감정적 패턴에 대한 레이블이다.
역동성(710) 위의 계층은 사회적 흐름(712)을 포함할 수 있으며, 사회적 흐름은 불안이나 혁신과 같은 주요 이벤트나 대중 움직임의 압력에 의해 위기 국면에 이른 경우가 많은, 일제히 나타나는 강한 감정적 역동성의 메타 결과이다. 주요 이벤트는 임박한 실제 이벤트(분노 폭발, 쿠데타, 봉기, 대중 문화 또는 사회적 추세, GameStop 주식 매입과 같은 주식 시장 이벤트, 공인의 "취소", 폭력 한계점 등)를 포함한다. 이러한 사회적 흐름은 또한 가정 폭력 한계점, 사랑에 빠짐, 분노 폭발 등과 같은 소규모 사회 집단에도 존재할 수 있다. 사회적 흐름의 검출은 대응/예방 또는 자본화를 가능하게 하거나, 적어도 수동으로 모니터링/식별을 가능하게 한다. 이러한 이벤트는 이러한 사회적 흐름과 이전의 그러한 특정 실제 사건과 상관될 수 있어, 만약 향후에 유사한 이벤트가 신속하게 검출되거나 예측될 수 있다면 신속한 대응, 예방 또는 자본화를 가능하게 할 수 있다. 자연어 규칙(306)을 통해, 한 명 이상의 사용자의 자연어로부터 감정-인지 상태, 차원, 역동성 및 사회적 흐름을 계산한다.
일부 실시예에서, 감정/인지 흐름의 각각의 레벨은 분류 시스템이 사용될 때 저장된 과거 데이터에 기초하여 이러한 계층에 대해 예측될 수 있다.
도 8은 본 개시내용의 예시적인 양태에 따른 컴퓨터 시스템의 작동 방법의 순서도이다. 일 실시예는 자연어 콘텐츠의 미묘한 심리적 정서를 추적하는 프로세스에 관한 것이다. 이 방법은 먼저 감정에 대한 언어 규칙을 자연어 구문, 문구 또는 문장에 적용하며, 각각의 규칙은 하나 이상의 차원을 갖는다. 언어 규칙을 적용한 결과는 감정을 검출하고 감정의 강도를 결정하는 데 사용된다. 기계 학습 모델은 새로운 언어 규칙을 제안하는 데 사용되며, 따라서 언어 규칙의 적용을 증강하는 역할을 한다. 프로세스는 텍스트 및/또는 음성 입력과, 텍스트, 구어 및/또는 그래픽 출력을 갖는 디바이스에서 수행될 수 있다. 컴퓨터 프로그램은 컴퓨터 판독 가능한 저장 매체에 저장된 명령어를 포함하며, 명령어는 도 2에서와 같이 컴퓨터 시스템에 의해 실행될 때 순서도에 도시된 바와 같은 단계를 수행한다.
(S802)에서, 컴퓨터(226)는 텍스트 및/또는 음성 입력으로부터 도출될 수 있는 자연어 콘텐츠를 텍스트로서 수신하도록 구성된다. 자연어 콘텐츠는 디스크 저장소(204)에 저장된 파일로부터 판독될 수도 있고, 네트워크 제어기(206)에서 수신된 데이터의 스트림으로부터, 키보드(214)에서 입력된 텍스트로부터, 마이크로폰을 통해 입력된 음성으로부터의 텍스트로부터 판독될 수도 있다. 또한, 입력은 온라인 또는 오프라인 데이터베이스로부터 오거나, 쿼리, 기록 아카이브 또는 코퍼스(corpus)에서 가져오거나, 소셜 미디어 또는 사용자 리뷰 웹 사이트와 같은 웹 사이트에서 스크랩되는 데이터를 집합한 것을 포함할 수 있다. 입력은 프롬프트되지 않거나 프롬프트될 수 있고 토픽, 사람, 브랜드, 조직, 개념, 단어 또는 단어 그룹과 관련될 수 있다. 입력은 설문조사, 시장 조사 또는 학술 연구의 참가자로부터 전사되거나 다른 방식으로 획득된 인터뷰 데이터를 포함할 수 있다. 일부 실시예에서, 입력은 자연어 콘텐츠와 함께 판독될 수 있는 타임 스탬프를 포함할 수 있다.
자연어 규칙 엔진(306) 또는 기계 학습 모델 엔진(320)에 의해 취급되는 입력 텍스트의 크기를 초과할 수 있는 큰 텍스트 섹션의 경우, 하나의 접근법은 고정 크기의 슬라이딩 윈도우를 사용하여 입력을 판독하는 것이다. 임의적 단계(S804)에서, 컴퓨터(226)는 고정 길이의 스캐닝 윈도우를 자연어 콘텐츠에 적용하도록 구성된다. 길이는 문자의 수일 수 있다. 스캐닝 윈도우는 스캐닝 윈도우의 연속적인 이동 사이에 특정 수의 문자만큼 겹칠 수 있다. 단계(S806)에서, 컴퓨터(226)는 인간의 감정 차원에 대한 언어적 특징을 획득하기 위해 각각의 감정에 대한 언어 규칙을 사용하여 자연어 콘텐츠를 평가하도록 구성된다. 위에서 설명한 것처럼, 언어 규칙은 자연어 콘텐츠와 패턴 매칭된다.
(S808)에서, 컴퓨터(226)는 존재, 중립성, 레벨 또는 부재에 대한 각각의 인간 차원을 각각의 매칭된 규칙에 대한 차원 점수로서 점수화하도록 구성된다.
(S810)에서, 컴퓨터(226)는 각각의 감정에 대한 차원 점수를 집합하여 각각의 감정에 대한 강도 점수를 획득하도록 구성된다. 집합된 점수는 감정의 강도를 나타낸다. 일부 실시예에서, 감정에 대한 자연어 콘텐츠의 시작 인덱스 및 종료 인덱스는 각각의 특정 차원에 대해 결정된다. 일부 실시예에서, 인덱싱된 자연어 콘텐츠 및 대응하는 차원은 기계 학습 모델 엔진(320)으로 포워딩될 수 있다. 일부 실시예에서, 감정에 대한 최상위 차원은 각각의 숫자(차원 점수) 또는 매핑된 디스크립터와 함께 기계 학습 모델 엔진(320)으로 포워딩될 수 있다. 시작 인덱스와 끝 인덱스를 포함하는 감정의 패턴은 여러 구문, 문구, 문장을 갖는 전체 구절에 대해 저장될 수 있다.
(S812)에서, 컴퓨터(226)는 차원 점수에 기초하여 자연어 콘텐츠를 감정 클래스로서 분류하도록 구성된다. 일부 실시예에서, 분류는 각각의 감정 클래스에 대한 확률을 생성할 수 있다.
(S814)에서, 컴퓨터(226)는 집합된 값을 감정으로서 레이블 지정하고 감정 레이블의 패턴과 같은, 자연어 콘텐츠에 대한 레이블의 맥락을 결정하도록 구성된다.
(S816)에서, 컴퓨터(226)는 감정 레이블벨의 분류 및 패턴을 텍스트, 구어 및/또는 그래픽 출력으로서 출력하도록 구성된다.
(S818)에서, 컴퓨터(226)는 시간에 걸쳐 감정 레이블을 추적하기 위해 자연어 콘텐츠에 걸쳐 시간적 순서로 감정 레이블 및 연관된 구성요소의 패턴을 추적하도록 구성된다. 각각의 감정 레이블에는 시퀀스에서 순서를 식별하도록 순서가 지정된 인덱스 번호가 할당될 수 있다. 타임스탬프를 포함하는 자연어 콘텐츠의 경우, 각각의 감정 레이블에는 연관된 구성요소의 타임 스탬프가 할당될 수 있다.
도 9는 본 개시내용의 예시적인 양태에 따른 언어 규칙을 사용하여 평가하는 단계에 대한 순서도이다. (S806)의 복수의 언어 규칙을 사용하여 평가하는 단계는 다음의 단계를 포함한다.
(S902)에서, 컴퓨터(226)는 규칙 패턴 매칭을 사용하여 규칙을 검출하도록 구성된다.
(S904)에서, 컴퓨터(226)는 각각의 검출된 규칙의 인간 차원을 평가하도록 구성된다.
도 10은 본 개시내용의 예시적인 양태에 따른 규칙 검출에 대한 순서도이다. (S902)의 규칙을 검출하는 단계는, 다음의 단계를 포함한다.
(S1002), 감정과 관련된 구성요소를 갖는 자연어 콘텐츠에서 구문의 존재 또는 부재를 검출하는 단계.
도 11은 본 개시내용의 예시적인 양태에 따른 점수화하기 위한 순서도이다. (S808)의 점수화하는 단계는 다음의 단계를 포함한다.
(S1102), 각각의 차원을 평가하여 차원 점수를 결정하는 단계.
도 12는 본 개시내용의 예시적인 양태에 따른 규칙 검출을 위한 순서도이다. (S702)의 복수의 언어 규칙 중에서 규칙을 검출하는 단계는 다음의 단계를 포함한다.
(S1202),
구어 태깅 또는 구문 규칙의 일부,
정확하거나, 부정확하거나, 마스킹되거나 와일드카드 지정된 스트링 매칭 규칙,
토큰 근접성 규칙,
구둣점 규칙,
표제어 추출 규칙,
어간화 규칙,
어휘 규칙, 및
단어 조회 또는 사전 기반 규칙
에 대한 숫자 값을 결정하는 단계.
도 13은 본 개시내용의 예시적인 양태에 따른 토큰 근접성 규칙에 대한 숫자 값을 결정하기 위한 순서도이다. 토큰 근접성 규칙에 대한 숫자 값을 결정하는 것은 자연어 콘텐츠의 명시된 지점으로부터 n개 토큰보다 작은 거리를 갖는 모든 토큰에 액세스하는 것을 포함하며, 여기서 n은 정수이다.
도 14는 본 개시내용의 예시적인 양태에 따른 분류를 위한 순서도이다. 컴퓨터(225)는 지도 학습, 비지도 학습, 규칙 기반 시스템 중 어느 하나를 포함하는 기계 학습 방법을 사용하여 (S812)의 분류를 수행하도록 구성된다.
도 15는 본 개시내용의 예시적인 양태에 따른 기계 학습에 대한 순서도이다. (S1402)의 기계 학습은 다음의 단계를 포함한다.
(S1502), 데이터 저장소로부터 복수의 자연어 데이터 항목을 수신하는 단계;
(S1504), 전처리 엔진을 사용하여 복수의 자연어 데이터 항목을 정규화 및 토큰화하여 복수의 전처리된 자연어 데이터 항목 - 분류 시 컴퓨팅 파워 및 시간을 절약하기 위해 데이터 라인을 긍정, 부정 및 중립으로 미리 정렬하는 것을 포함할 수 있음 - 을 생성하는 단계;
(S1506), 표현된 감성, 감정, 의견 또는 신념 및 표현된 감성, 감정, 의견 또는 신념의 강도로 복수의 전처리된 자연어 데이터 항목에 레이블 지정하는 단계;
(S1508), 복수의 전처리된 자연어 데이터 항목을 비지도 학습 엔진, 규칙 기반 엔진 및 지도 학습 엔진에 병렬로 제공하는 단계;
(S1510), 다수의 훈련 에포크에서 비지도 학습 엔진, 규칙 기반 엔진 및 지도 학습 엔진을 병렬로 훈련하여, 자연어 데이터에서, 표현된 감정을 식별하고 스칼라 측정값을 감정의 강도로서 결정하는 단계.
비지도 학습 엔진의 각각의 훈련 에포크는 규칙 기반 엔진의 후속 훈련 에포크에 특징 또는 규칙 제안을 제공하며, 규칙 기반 엔진의 각각의 훈련 에포크는 비지도 학습 엔진 및 지도 학습 엔진의 후속 에포크에 표 작성 및 채점 데이터를 제공한다.
(S1512)에서, 훈련된 비지도 학습 엔진, 훈련된 규칙 기반 엔진 및 훈련된 지도 학습 엔진을 나타내는 출력이 발생된다.
(S1514)에서, 규칙 기반 엔진에 새로운 규칙을 제안하기 위해, 인간 차원을 와일드카드 또는 패턴 스킵이 있거나 없는 기존 차원 배열과 매칭시킴으로써 자연어 데이터 내에 존재하는 인간 차원이 매칭된다.
시스템은 (텍스트 내에서 서술되고, 텍스트에 의해 검출되는 바와 같이) 느낌이 행동으로 바뀌는 지점 및 레벨(강도)을 추론하거나 인식할 수 있도록 한다. 시스템은 혼자만의 자기 내에서, 두인격(일대일), 대인관계/다인격 또는 가족 또는 사회(공동체, 국가, 지역 또는 세계)에서 역동성을 인식할 수 있도록 한다. 시스템은 문장, 항목/단락 및 구절 전반에 걸쳐 감정이 변동함에 따라 감정의 강도를 추적할 수 있도록 한다. 시스템은 문제 또는 중대한 변화가 생겼음을 표시할 수 있는 (자아 차원을 통해) 총체적 자기 이미지의 급격한 전환과 같은 크고 중요한 인식의 변화를 식별할 수 있도록 한다. 시스템은 상관관계를 통해, 자존감/자기 이미지와 일반적인 낙관주의 사이의 관계와 같은 중요한 인자들 사이의 관계를 밝힐 수 있다.
위의 가르침에 비추어 수많은 수정과 변형이 가능하다. 그러므로 첨부된 청구항의 범위 내에서, 본 발명은 본 명세서에 구체적으로 기재된 바와 달리 실시될 수 있다는 것을 이해해야 한다.
따라서, 전술한 논의는 본 발명의 단지 예시적인 실시예를 개시하고 설명한 것에 불과하다. 관련 기술분야에서 통상의 기술자가 이해할 수 있는 바와 같이, 본 발명은 그 정신 또는 본질적인 특성을 벗어나지 않고 다른 특정 형태로 구체화될 수 있다. 따라서, 본 발명의 개시내용은 예시적인 것으로 의도하려는 것이지, 본 발명의 범위와 다른 청구항을 제한하는 것은 아니다.
예시적인 구현
전자 판독 디바이스
본 발명의 실시예는 전자 리더(electronic reader)를 포함한다. 전자 리더는 특화된 펌웨어 및 텍스트를 높은 선명도로 최적하게 디스플레이하도록 구성된 디스플레이(일반적으로 전자책 리더(Ebook Reader)라고 함)를 통합한 전용 디바이스일 수도 있고, 전형적으로 이동 애플리케이션(App.) 형태의 텍스트 판독용 소프트웨어로 구성된 태블릿 컴퓨터 또는 스마트폰과 같은 범용 컴퓨팅 디바이스일 수도 있다. 전자 리더는 일반적으로 대각선이 10 인치 이하인 디스플레이 화면을 갖고 있고, 제한된 컴퓨터 처리 능력 및 메모리를 갖고 있다. 대부분의 경우, 전자 리더는 인터넷 연결을 통해, 전형적으로는 WiFi 연결을 경유하여 웹 서비스와 통신할 수 있다. 일부 전자 리더는 셀룰러 전송을 통한 통신을 위한 통신 모듈을 포함한다.
멀티미디어 분류 엔진(312)을 갖는 시스템(300)은 대부분의 처리가 자연어 규칙 엔진(306)의 실행에 기초하므로, 제한된 처리 능력 및 메모리를 갖는 디바이스에서 수행될 수 있다. 기계 학습 모델 엔진(320)은 오프라인에서 별도의 컴퓨터에서 또는 클라우드 서비스에서 수행될 수 있다.
도 16은 본 개시내용의 예시적인 양태에 따른 전자 리더를 예시한다. 전자 리더(1600)는 디스플레이 스크린 또는 터치스크린 디스플레이(1602)를 포함한다. 디스플레이(1602)가 서적(1604)의 텍스트를 디스플레이하고 있을 때, 디스플레이는 스크롤바(도시되지 않음)로서 디스플레이되는 스크롤링 기능 및 버튼(1606)으로 디스플레이되는 페이지 넘김 기능을 포함할 수 있다.
도 17은 본 개시내용의 예시적인 양태에 따른 전자 리더의 작동에 대한 순서도이다. (S1702)에서, 시스템(300)은 멀티미디어 분류 엔진(312)에 의해 감정적, 인지적, 대인관계 또는 사회적 역동성, 동기, 신념, 의견 또는 심리적 요소에 대해 집필 소설 또는 논픽션 저작물을 평가할 수 있다. (S1704)에서, 전자 책의 텍스트는 스캔되고, 식별되는 감정적, 인지적 또는 다른 방식의 상태를 트리거하는 규칙 및 이러한 상태가 발생한 강도로 태그 지정된다.
실시예에서, (S1706)에서, 시스템(300)은 특정 감정적 또는 인지적 또는 사회학적 또는 대인관계 역동성 및/또는 상태의 발생을 지정하는 컬러 코딩된 하이라이팅을 생성하고 디스플레이할 수 있다. 실시예에서, (S1708)에서, 시스템(300)은 역동성(1610) 및 감정 강도(1620)에 대한 하나 이상의 사이드바를 생성하고 디스플레이할 수 있다. 사이드바는 가능한 경우 추가된 맥락과 함께 텍스트(1604) 내에서 발생하는 감정적, 심리적, 인지적, 사회학적 또는 대인관계 역동성 또는 상태를 요약할 수 있다. (S1710)에서, 각각의 역동성(1612) 또는 상태(1622)는 (터치, 마우스, 키보드 등을 통해) 선택(1630)함으로써 상호작용될 수 있어, 전자 리더(1600)가 그 주어진 역동성 또는 상태에 대한 텍스트 내의 예시(1632)와 함께 제시될 수 있도록 한다.
멀티미디어 오디오북 또는 시공간(Visio-Spatial) 데이터 감성 분류기
멀티미디어 분류 엔진(312)을 갖는 시스템(300)은 대부분의 처리가 자연어 규칙 엔진(306)의 실행에 기초하므로, 제한된 처리 능력 및 메모리를 갖는 디바이스에서 수행될 수 있다. 시스템(300)은 문장, 문구, 구문에 대한 감정 분류를 수행하고, 텍스트가 수신됨에 따라 실시간으로 감정 분류를 수행할 수 있다. 기계 학습 모델 엔진(320)은 오프라인에서 별도의 컴퓨터에서 또는 클라우드 서비스에서 수행될 수 있다.
도 18은 본 개시내용의 예시적인 양태에 따른 멀티미디어 오디오 북 또는 시공간 데이터 감성 분류기에 대한 흐름도이다.
오디오북과 같은 대본이 있거나 부제가 달린 멀티미디어 또는 영화나 TV 쇼와 같은 시공간 멀티미디어는 시스템으로 스캔되어 텍스트로 전사될 수 있다.
1802년에는 텍스트 및 전사된 미디어가 규칙에 매칭하는 자연어 규칙 엔진(306)을 통해 실행된다.
감정-인지 센서(314)는 입력을 문장-, 단락-, 구절-, 장면-, 챕터-레벨에서 처리하고, 각각을 주어진 감정-, 인지-, 감성-, 상태- 또는 역동적- 또는 사회적-기반 태크로 분류한다. 부분 차원을 갖는 HUNCH(High Use Non-Construction Hook)로 알려진 제자리를 못 찾거나 짧거나 부분적인 문자열 및 선택된 개별 단어가 텍스트 내에서 검출되고 매칭된다.
강도 등급화 센서(316)는 텍스트를 분석하고 차원으로서 알려진 각각의 인지적, 감정적, 사회적, 대인관계 또는 상태적 기반 요소의 하위 구성요소에 기초하여 객관적인 강도 등급을 할당한다.
감정-인지 태깅 엔진(318)은 할당된 클래스로 텍스트 데이터에 태그 지정한다.
시간-위치 조정(Temporal-Positional Coordination)(1804)은 텍스트 정보의 태그 지정된 클래스와 청각 또는 시공간 데이터 및 신호의 조정된 섹션 사이에 타이밍에 기반한 연관을 만들어 주며, 이는 그런 다음 분류되어 감정-인지 태깅 엔진(318)으로 전송된다.
시스템(300)은 화자의 오디오 또는 시각 기준선에 절대적이고 상대적인 매칭하는 오디오 또는 시각 패턴의 추가 인스턴스를 검색하고, 성별, 연령, 클래스, 인종, 억양, 지역 및 기타 인구통계학적 정보 및 상황 정보에 대해 조정하여, 이것을 문제의 패턴과 연관된 감정-인지 클래스로 태그 지정한다.
이전 단계에서 자동 태그 지정된 감정 클래스와 조정된 텍스트는 오디오 또는 시각 데이터에 의해 이제 생성된 감정-인지 클래스와 매칭하는 것으로 텍스트에 자동으로 플래그 지정되거나 가능성이 높은 것으로 플래그 지정된다.
도 19는 멀티미디어 규칙 엔진의 블록도이다. 텍스트, 시공간(Visio-Spatial) 및 오디오 데이터는 비교되고 멀티미디어 규칙 제안으로서 재처리되고 자연어 규칙 엔진(310), 시공간 규칙 모듈(306) 및 오디오 구어 규칙 모듈(308)로 다시 전송된다.
오디오 또는 시각 신호 및 패턴에서 유사, 반대, 부분 매칭을 나타내거나 또는 달리 수학적으로 중요한 비율이나 관계를 나타내는 후속 오디오 또는 시각 입력은 감정-인지 클래스의 가능성을 표시하는 태그를 수신할 것이다.
각각의 멀티미디어 규칙 엔진의 312개 규칙과 제안된 규칙의 유사성, 차이점, 반대 및 기타 측정의 비교는 규칙 제안 기능을 개선하고 각각의 규칙의 모듈식 구성요소를 하이라이트할 것이다.
일 실시예에서, HUNCH는 시스템이 주변 텍스트를 분석하고, 잠재적인 새로운 규칙을 멀티미디어 규칙 엔진(312)에 다시 제안할 수 있게 하는 후크로서 사용된다. 차원 패턴은 긍정 및 부정 차원과 매칭하거나 규칙 패턴과 모순되지 않아야 한다.
특히, HUNCH는 비구문 기반 부분 조각(이를테면 1-2개 단어 또는 부분 문구)으로, 자체 차원을 지니고 있다. 이를 시스템(300)에 공급하면 신경 모델(320)이 이러한 부분적 차원 패턴을 "매칭"하여 이를 감정의 지표를 찾기 위한 후크로서 사용할 수 있다. 일 예에서, ANGER 규칙에는 발견되지 않았지만 Ego +1, Impatience +1, Force +1 등이 있다. ("I won't"와 같은) 후크는 Ego +1 및 Force +1만 가질 수 있지만, 충분히 분노(anger)에 어울릴 것처럼 보이면, 주변 텍스트가 검사될 것이다. 이렇게 하기 위해서는 모순되는 차원을 갖지 않아야 하며, 매칭된 기존 차원을 갖고 있어야 한다. 이것은 규칙의 변경이 (둘 다 참인 경우에) 검출될 수 있도록 하거나, 또는 (모순되지는 않지만, 차원 프로파일이 충분히 분노인 것처럼 보이는 경우) 잠재적으로 새로운 규칙이 검출될 수 있도록 한다. 이 기법을 통해, "I [won't / am not going to / am not gonna] take it ["one more time", "again", "anymore", "at all"] 등과 같이, "[1P PRON] + ([AUX 동사] + [NEGATION]+ (("GOING") + [INFINITIVE-VERB] 또는 [FUTURE-VERB]) + ((D-OBJECT-PRON))* + [WordList: Time-Phrase] + "!"" 와 같은 규칙으로 정제될 수 있는, 새로운 ANGER 구문이 발견되며, 별표 부분은 임의사항이고, 예를 들어, 아래의 것을 만들어 낸다.
I'm not going to take it anymore!
I'm not going to serve you again!
We will not bow anymore!
일부 감정 및 주어진 감정과 관련한 일부 차원의 경우, 두 개 이상의 값이 허용될 수 있다. 예를 들어, 분노는 무뎌지거나 미묘한 차이가 있을 수 있으므로 두 점수 중 하나를 받을 수 있다.
일부 실시예에서, 감정과 차원에 따라, 하나 초과의 값이 허용될 수 있다. 예를 들어, 분노는 자아 중립적이거나 자아 긍정적일 수 있다(그리고 반드시 둘 중 하나여야 한다). 다른 경우에, 이것은 한 차원에 대해 하나의 유인가여야 한다. 예를 들어, 분노는 강력해야 하고; 분노는 구체적이어야 한다. 연속적인 HUNCH는 감정 차원 배열과 매칭할 수 있다. 감정이 바뀌면 그렇지 않을 수도 있다.
도 20는 본 개시내용의 예시적인 양태에 따른 HUNCH에 기초한 규칙 발견 엔진에 대한 순서도이다. 프로세스는 규칙 검색 엔진(326)에서 수행된다.
(S2002)에서, HUNCH와 연관된 차원이 점수화될 수 있다.
(S2004)에서, HUNCH가 감정-인지 상태에 대한 프로파일과 매칭된다. 가능성 있는 감정-인지 상태와 매칭되기 위해, HUNCH는 그 상태와 모순적인 요소나 차원을 가질 수 없다. 모순되지 않는 빈 차원은 잠재적으로 매칭될 수 있다.
(S2006)에서, 달리 플래그 지정되지 않는 한 긍정적 또는 부정적 차원은 틀림없이 매칭되어야 한다.
(S2008)에서, 감정-인지 상태가 제안된다.
(S2010)에서, 새로운 문자열 매치 및 주변 텍스트가 자연어 규칙 모듈(306)에 다시 제안된다.
(S2012)에서, 새로운 문자열에 대응하는 오디오 또는 시공간 데이터가 대응하는 멀티미디어 규칙 엔진(312)에 공급된다.
도 21a 및 도 21b는 본 개시내용의 예시적인 양태에 따른 오디오 미디어에서 규칙 발견에 대한 순서도이다.
(S2102)에서, 오디오 미디어(또는 시각 미디어로부터의 사운드)가 텍스트로 전사되고 입력된다. 선택사항으로, 폐쇄 자막을 넣은 전사본 또는 대본이 입력될 수 있다. 일부 실시예에서, 오디오 미디어의 더 많은 특징을 포착하기 위해 헐떡임, 소음, 제스처 및 기타 비텍스트 오디오가 주석으로서 전사될 수 있다.
(S2104)에서, 입력되는 텍스트에 규칙이 적용되어 감정(뿐만 아니라 인지 및 기타 요소)을 검출한다.
(S2106)에서, 규칙이 성공적으로 적용된 입력의 인덱스 위치가 기록된다.
(S2108)에서, 문구-, 문장-, 구절-, 챕터-레벨의 강도를 결정하기 위해 규칙 차원이 계산된다.
(S2110)에서, 구절에는 대응하는 감정(및/또는 기타 요소)과 각각의 강도 및 속성으로 주석이 달린다.
(S2112)에서, 대응하는 음파 또는 시공간 데이터가 시간별로, 구절에 있는 단어의 인덱스 위치에 조정된다.
(S2114)에서, 화자의 기준선 오디오 또는 시공간 프로파일과 이들의 주어진 특정 감정-인지 프로파일 간의 실제 오디오 특성 및 상대적 관계가 계산되어 저장된다.
(S2116)에서, 유사하거나, 파생적이거나, 반대적이거나 달리 관련된 오디오 단편이 나타날 때, 이들 단편은 문제의 감정-인지 레이블에 매칭된다. 상이한 감정에 대해 동일한 규칙을 트리거하는 하위 구절 또는 문자열이 학습 알고리즘에 공급된다. 데이터에서 검출된 유사한 사운드 또는 시공간 단편은, 유사한 오디오 또는 시공간 데이터의 기존 태그에 기초하여, 제안된 감정-인지 상태로 미리 태그 지정된다. 오디오 또는 시공간 데이터에서 검출된 유사한 단편은 자연어 규칙 모듈(306)로 피드백된다.
도 22는 구어 신호 패턴의 그래프이다. 일 실시예에서, 텍스트 입력(2202)에 대한 구어 신호 패턴(2210)은 텍스트 입력(2202)으로 인덱싱(2204)되고 감정(2206)에 대한 시작 시간 및 종료 시간(2208)을 마킹하는 데 사용된다.
감정-인지적 동적 디스플레이
역사적으로, 집단의 특정 하위 집합은 구어 또는 문어 텍스트에서 감정적, 인지적, 사회적, 신념 기반의, 대인관계 또는 메타인지적, 메타 감정적, 또는 의사 결정의 단서나 역동성을 이해하는 데 다양한 장벽을 경험해 왔다. 특히, 자폐증과 같은 질환이 있는 비신경형(예를 들어, 신경발산성) 사람들은 언어에 존재하는 사회적 단서, 감정 및 기타 역동적 요소를 오해하거나 누락하는 문제가 될 정도로 높은 비율에 당면한다. 주어진 언어의 비원어민 또한 이러한 어려움에 직면할 수 있다. 이러한 집단에 의해 소비되는 미디어는 혼란스럽고 혼잡하고 오해의 소지가 있으며, 때로는 사회 규범을 이해하지 못하고/못하거나 위반할 때 단절, 대인관계 갈등 또는 소외, 기피 및 고립으로 이어질 수 있다. 미디어의 즐거움 또한 줄어들거나 사회적 유대감의 이유로 그에 대해 이야기할 수 없게 될 수도 있다. 엔터테인먼트 회사는 시청자가 감정적, 대인관계, 신념 기반의 또는 인지적 역동성을 직접 파악하지 못하기 때문에 시청자를 잃거나 시청자가 줄어든 것을 경험할 수 있다.
분석되고 주석이 달린 자막은 새로운 상황, 역동성, 감정, 인지 상태 및 사회적 측면, 흐름 및 역동성이 진화하거나 도입됨에 따라 기계 학습 알고리즘에 공급되어 효율성을 더 높일 수 있다. 마음 이론 모듈은 정확성을 위해 주어진 사회, 성별, 종교, 신념, 연령, 토픽 또는 문화나 하위 문화에 맞게 조정하기 위해 추가적인 반복을 통해 업데이트될 수 있다.
훈련 데이터는 강력한 정보가 검색되고 수신 미디어와 매칭되기 때문에 부분적으로 자동화될 수 있다.
미디어는 훈련 데이터를 사용하여 생성되고, 이전 데이터에 달린 주석을 사용하여 서면으로 작성되거나, 수집되거나, 이어 붙여 지거나, 손상되거나 모방될 수 있다.
훈련 데이터는 청각, 시각, 텍스트, 다중 감각 또는 모든 유형의 조합일 수 있다.
학습 데이터의 한 가지 유형은 다음과 같이 수정된 GoEmotions 데이터세트를 포함한다: 욕구 클래스(Desire class)의 제거; 중립 레이블을 제거, 그 대신 다음과 같은 보증 점수를 도출하는 데 중립 레이블을 사용. 1 - 중립 확률 점수(Neutral probability score) = 보증 점수(Surety Score).
훈련 데이터는 이것으로 제한되는 것은 아니지만 감정, 인지 및 기타 차원과 같은 감성이 반드시 필요하다거나 임계값 이상이 되어야 할 필요성이 논리적으로 요구되는 위치 및/또는 저자가 자신의 감정을 스스로 주장하여 효과적으로 태그를 제공하고 경험에 의거한 레이블을 허용하는 위치로부터 비롯된다.
감정의 자동화된 분류를 위한 시스템(300)의 실시예는 감정-인지 동적 디스플레이(Emotion-Cognitive Dynamic Display)이다. 동적 디스플레이는 감정의 하위 텍스트 데이터를 실시간으로 삽입할 수 있어 신경발산성 사용자가 사회적, 감정적, 대인관계 및 마음 이론 기술을 학습하고 다듬을 수 있도록 한다.
자연 언어 규칙 엔진(306)은 구문 기반의 사용률이 높고/높거나 변경 가능한 문구로 구성된 규칙으로 구성되어, 자막에 의해 사용할 수 있게 된 텍스트 정보의 언어 패턴을 빠르게 결정할 수 있도록 한다. 해시태그는 어휘(들)를 통해 단지 사용할 수 있게 되는 대신, 입력으로부터 도출된 문맥, 코퍼스, 유니그램 및 기타 현재 n-그램에 의해 구분되어, 보다 정확하고 보다 관련성 높은 자연어 처리 및 감정 분석을 제공한다. 감성의 검출을 위해 유사하거나, 부분적이거나 반대의 차원 패턴이 사용된다. 규칙은 각각의 규칙 트리거링 구문에서 정신 건강 증상을 검출하는 데 사용될 수 있는 차원을 인코딩하기 위해 생성된다.
감정-인지 엔진(314)은 각각의 규칙에 대해 하위 구성요소("차원")를 점수화하도록 구성되어, 일시적이고 지속적인 감정, 인지, 신념 기반, 의견 중심, 사회 및 성격 상태를 식별하기 위해 이산적 패턴과 조합을 집합해 놓은 동기, 영향, 감정과 인지 및 유사 하위 구성요소를 빠르고 점점 더 정확하게 인식할 수 있도록 한다. 감정은 차원의 "모양"으로부터 추론된다. 감정의 특징은 차원의 벡터, 차원의 값, 이들 부분으로부터 도출된 계산과의 차이점 또는 유사성을 포함할 수 있다.
감정-인지 태깅 엔진(318)은 감정적, 인지적, 신념, 동기 부여 및 의견 상태 하위 구성요소를 사용하여 자막 및 구어의 과정에 걸쳐 하위 텍스트 정보의 진전을 태그 지정하고 추적하도록 구성된다. 일단 감정이 태그 지정되면 집합 감정-인지 앙상블 분류기(328)는 감정적 패턴에 기초하여 메타 감정 상태, 변화 및 조합을 태그 지정한다.
규칙 발견 엔진(326)은 격차가 있는 감정적 상태, 추세, 차원 전환 및 기타 감성적 상태 및 변화를 식별하고, 활용하고, 추론하고 추정하여 잠재적인 새로운 규칙을 제안하도록 구성되며, 그런 다음 새로운 규칙은 시스템(300)으로 피드백된다. 감정 패턴과 메타 정서적 변화, 상태 및 조합은 감정, 인지 또는 기타 감성적 구성요소의 패턴 내 격차로부터 추론된다. 규칙 발견 엔진(326)은 데이터에서 누락된 감성적 상태와 변화를 추론하거나, 의미론적, 인지적, 감정-인지적 또는 다른 방식의 감성적 모호성을 해결하는 데 사용되는 정서적 로직으로 구성된다. 규칙 발견 엔진(326)은 비탄과 슬픔 또는 슬픔과 분노와 같은 거의 감정 상태들 사이와 같은 클래스의 "가장자리"에서 기계 학습 모델 엔진(320)의 훈련을 제어하여, 더 세밀하고 더 빠르게 차별화하도록 구성된다.
디스플레이(210)는 보다 풍부한 정보와 상황 인식을 가능하게 하기 위해 시각 및 청각(청각 톤 및 구어) 데이터에 대해 병치된 하위 텍스트 단서를 디스플레이하도록 구성된다. 하위 텍스트 데이터는 사용자와 시청자에게 정보를 알려주고 미디어에서 묘사되거나 설명된 사회적 상황과 복잡한 감정적 및 인지적 상태를 증강하고/하거나 명확히 하기 위해 디스플레이된다.
규칙 발견 엔진(326)은 기계 학습 모델 엔진(320)과 함께 작동하도록 구성된다. 분석되고 주석이 달린 자막은 새로운 상황, 역동성, 감정, 인지 상태 및 사회적 측면, 흐름 및 역동성이 진화하거나 도입됨에 따라 기계 학습 알고리즘에 공급될 수 있다. 훈련 데이터는 검색된 정보로부터 획득되어 입력 미디어와 매칭될 수 있다. 훈련 데이터는 청각, 시각, 텍스트, 다중 감각 또는 모든 모드의 조합일 수 있다.
일 실시예에서, 훈련 데이터는 GoEmotions 데이터 세트를 포함한다. 실시예에서, GoEmotions 데이터세트는 욕구 클래스를 삭제함으로써 수정된다. 중립 레이블은 다음과 같이 중립 레이블로부터 도출된 보증 점수로 대체된다: 1 - 중립 확률 점수 = 보증 점수.
일부 실시예에서, 훈련 데이터는 이것으로 제한되는 것은 아니지만 감정, 인지 및 기타 차원과 같은 감성이 반드시 필요하다거나 임계값 이상이 되어야 할 필요성이 논리적으로 요구되는 소스 및/또는 저자가 자신의 감정을 스스로 주장하여 효과적으로 태그를 제공하고 경험에 의거한 레이블을 허용하는 소스로부터 획득된다.
도 23은 본 개시내용의 예시적인 양태에 따른 실시간 감정 분류의 방법에 대한 순서도이다. 이 방법은 스트리밍 오디오 및/또는 비디오를 수신하고 메모리 자체 내장 컴퓨터를 포함하는 태블릿 컴퓨터, 스마트폰, 스마트 TV를 비롯한 디스플레이 디바이스를 이용하여 수행된다.
(S2302)에서, 영화나 TV 쇼 또는 스트리밍 쇼 또는 캡처된 극장 연극 또는 애니메이션 비디오 소스로부터의 장면이 조정된 텍스트 전사본과 함께 수신된다.
(S2304)에서, 텍스트 전사본에서 감정적, 인지적 및 기타 그러한 상태를 강도 등급으로 태그 지정하는 규칙 기반 엔진(306), 감정-인지 엔진(314), 강도 등급화 센서(316), 및 감정- 인지 태깅 엔진(318)에 의해 텍스트 데이터의 규칙 매칭이 수행된다.
(S2306)에서, 집합 감정-인지 앙상블 분류기(328)는 단어 동시발생, 담론적 요소 및 토픽 요소에 기초하여 맥락적 단서를 결정한다.
(S2308)에서, 감정-인지 센서(316)는 선택사항으로 개별 문자열 또는 n-그램을 3진 차원 점수로 마킹한다.
(S2310)에서, 시공간 규칙 엔진(310) 및 오디오-구어 규칙 엔진(308)은 시각 데이터에서 명백한 증강 정보(augmented information)(AugI)와 상황적 요소(situational element)(SE) 또는 청각 데이터에서 명백한 톤 요소를 검출하여 별도의, 그러나 시간 조정된 미디어의 소스에 입력한다.
(S2312)에서, 감정-인지 센서(314)는 맥락 지향 의미론적 정보(맥락 단서)와 AugI 및 SE 데이터로부터 병치(조정과 발산, 및 각각의 정도)를 수행하여, 각각의 장면에 대한 맥락 점수를 생성한다.
(S2314)에서, 괄호로 묶인 감정적 데이터가 인라인에서 반환되고 디스플레이 디바이스(210)에 디스플레이하기 위해 텍스트 대본에 삽입되므로, 시청자는 미디어의 감정적, 인지적 또는 사회적 요소를 정확하게 더 쉽게 식별할 수 있다.
도 24는 본 개시내용의 예시적인 양태에 따른 디스플레이 디바이스를 예시한다. 예시적인 디스플레이 디바이스(2400)는 영화나 텔레비전 쇼 또는 스트리밍 쇼 또는 캡처된 극장 연극 또는 애니메이션 비디오 소스로부터의 장면을 조정된 텍스트 전사본(2412)과 함께 디스플레이하기 위한 디스플레이 화면(2402)을 포함한다. 이 예시적 화면에서, 괄호로 묶인 감정적 데이터(2414)(예를 들어, 감정-강도 쌍, "ANGER-MEDIUM")는 인라인에서 반환되어 텍스트 전사본(2410)에 삽입되고 디스플레이 디바이스(2400)에 디스플레이된다. 비록 감정-강도 쌍이 한 쌍의 용어로 도시되지만, 감정-강도 쌍(2414)은 숫자 값으로서 또는 특정 상대적 크기 및/또는 색상의 막대 또는 길이가 변동하는 한 세트의 색상의 점과 같은 상대적 양(낮음, 중간, 높음)을 묘사하는 그래프 기호로서 강도를 포함하는 다른 포맷으로 디스플레이될 수 있다는 것을 유의한다. 또한, 감정-강도 쌍(2414)은 원형 또는 직사각형 내부와 같은 그래픽 컨테이너 또는 코멘트 풍선과 같은 형상으로 디스플레이될 수 있다. 또한, 단일의 감정-강도 쌍(2414)이 예시되어 있지만, 감정-강도 쌍의 수 및/또는 순서는 텍스트 전사본(2412)의 내용에 따라 달라진다. 예를 들어, 감정-강도 쌍(2414)은 패턴으로서 디스플레이될 수 있다.
경계선 성격 장애 진정 디바이스
도 25는 본 개시내용의 예시적인 양태에 따른 감각을 해리시키는(sensory distraction) 감정 분류 시스템의 다이어그램이다.
경계선 성격 장애(Borderline Personality Disorder, BPD)는 자신과 타인에 대해 생각하고 느끼는 방식에 영향을 주어, 일상 생활에서 기능하는 데 문제를 일으키는 정신 건강 장애이다. 여기에는 자아상 문제, 감정과 행동 관리의 어려움 및 불안정한 관계의 패턴이 포함된다. BPD에 대한 치료는 극도로 압도적으로 느껴지고 자해로 이어질 수 있는 감정을 관리하는 방법을 배우는 것을 포함한다. 개시된 실시예는 특정 감정 및 감정의 패턴, 특히 감정의 강도에 기초하여 피드백을 제공하기 위한 주변 디바이스를 포함한다.
경계선 성격 장애(BPD) 진단을 받은 환자에게는 마이크로폰이 장착된 디바이스나 키보드로부터 입력을 받을 수 있는 입력 디바이스, 전사본을 가진 음성 녹음기와 같은 기타 텍스트 입력 디바이스, 또는 텍스트 입력 화면을 갖는 터치스크린 장착 디스플레이와 같은 텍스트 입력 기능이 있는 디바이스가 제공될 수 있다. 구어 신호는 텍스트로 변환/전사될 수 있다. 텍스트는 디바이스에 직접 입력(302)될 수 있다. 디바이스는 바람직하게는 환자가 휴대할 수 있는 휴대용/이동 컴퓨팅 디바이스이다. 일부 실시예에서, 휴대용/이동 컴퓨팅 디바이스는 클라우드 서비스와 디지털 통신을 용이하게 하는 디바이스일 수 있다.
텍스트 입력은 자연어 규칙 모듈(306)에 의해 처리되고, 자연어 규칙 모듈은 그 다음에 감정 레이블을 제공하고, 입력을 감정-인지 센서(314)에 전달한다.
강도 등급화 센서(316)는 각각의 입력에 대한 차원을 계산하고 객관적 강도 등급을 할당한다.
실행 평균과 집합 점수는 집합 강도 모듈(2504)에서 계산된다.
순간 강도 점수는 순간 강도 모듈(2502)에서 계산된다.
집합 강도 모듈(2504)에서 시행 중인 부정적인 감정 강도가 충분히 높은 임계값에 도달할 때, 시스템은, 이것으로 제한되는 것은 아니지만, 매운 사탕의 처방, 블루투스 팔찌의 진동, 블루투스 팔찌의 발열을 비롯한 감각 진정 해리를 환자에게 만들어 주기 위해, 변증법적 행동 치료(Dialectical Behavioral Therapy, DBT)를 위해 구성된 주변 디바이스를 통해 감각 진정 보조(2506)를 선택사항으로 선제적으로 분배한다.
순간 강도 모듈(2502)에서 임의의 주어진 데이터 포인트가 위험 임계값을 넘는 부정적인 감정적 강도에 도달할 때, 시스템은 주변 디바이스(2506)를 선제적으로 활성화하여 감각 해리를 생성한다.
강도 등급화 센서(316) 및 감정-인지 센서(314)를 통해 언어 또는 구어의 강도 모니터링이 재개된다. 집합적 또는 데이터 포인트 강도가 제 1 임계값에 도달할 때, 다른 무작위 감각 해리가 활성화된다.
일단 집합 강도 모듈(510)의 실행 평균과 순간 강도 모듈(2504)의 등급이 30분 이상 임계값 위로 올라가지 않으면, 환자가 개인 또는 치료 사용을 위해 경험을 채우고 기록하도록 하기 위해 중앙 유닛에 의해 일지 카드가 분배된다(2508).
다른 실시예에서, 감각을 해리시키는 감정 분류 시스템은 BPD를 넘어 적용된다. 선택사항으로, 알코올, 약물 또는 강박 행동에 대한 중독을 극복하는 사용자는 사후 관리 재활 프로그램 또는 절주 생활 가정에서 재발 전 또는 재발의 감정-인지 징후에 대해 모니터링되고, 텍스트 또는 전사된 입력(302)을 디바이스에 제공한다. 선택사항으로, 작업자의 또는 관리자의 전문적인 의사소통은 스트레스나 불안과 같은 특정 감정-인지 상태의 징후에 대해 모니터링되고, 디바이스에 입력된다(302). 선택사항으로, 집합 강도 모듈(2504)에서 시행 중인 부정적인 감정적 강도가 충분히 높은 임계값에 도달할 때, 시스템은 시설, 재활 프로그램 또는 절주 생활 가정 또는 고용주에게 사용자가 재발의 위험 또는 극단적인 스트레스나 불안에 처해 있음을 경고한다.
도 26a, 도 26b 및 도 26c는 본 개시내용의 예시적인 양태에 따른 전자 팔찌의 개략도이다. 전자 팔찌(2600)는 전자 구성요소가 내장된 링(2612)의 형태일 수 있다.
와이어:
와이어(2610)는 다수의 절연된 한 다발의 와이어이다. 개별 와이어는 양 '+' 또는 음 '-'이다. 와이어(2610)는 바람직하게는 니크롬(니켈 크롬)이지만, 다른 와이어 재료로 만들어질 수 있다.
팔찌(2612)는 무선 통신을 위해 구성된 임베디드 통신 칩(마이크로프로세서 칩(2620)에 연결됨)을 포함할 수 있다. 무선 통신은 바람직하게는 휴대용/이동 디바이스로부터 신호를 전송하고 수신하기 위한 단거리 통신이다. 일 실시예에서, 통신 칩은 블루투스 또는 블루투스 저에너지(Bluetooth low energy, BLE)를 사용하여 무선 통신을 수행한다.
슬라이딩 윈도우 특징부(2614)는 유리 또는 플라스틱이다. 슬라이딩 윈도우(2614)는 단일 조리개인 디스펜서(2616)를 노출시킨다. 슬라이딩 윈도우(2614)는 마이크로 솔레노이드 스텝 모터(2602)(< 5mm)로 전동된다.
디바이스(2600)는 임베디드 마이크로프로세서(2620)에 의해 전력을 공급 받는다. 마이크로프로세서는 조립 보드 유형(assembly board-type) 기술을 사용하는 와이어 및 구성요소를 위한 안착부(seating)를 포함한다.
마이크로 전자기 편심 모터(2622)는 불균형 부하를 통해 진동을 발생하는 액추에이터이다.
실리콘에 안착된 구리판(2608)은 열을 제공한다.
디바이스는 리튬 이온 충전 배터리(2604)에 의해 전력을 공급 받는다. 재충전 가능 배터리(2604)는 연관된 재충전 인터페이스(2606)를 갖는다.
밴드(2612)의 표시등(2630)은 휴대용/이동 디바이스와 페어링하기 위해 존재한다.
밴드(2612)는 반투명하고 검출된 감정에 따라 LED 조명을 통해 색상을 바꿀 수 있다. 이것은 아주 많이 활성화된 상태에서 혐오스러운 긴장을 경험하고 있는 BPD의 사람들이 자기의 감정을 간병인이나 사랑하는 사람과 소통하는 데 유용할 수 있다.
디바이스(2600)의 적응은 또한 공황 발작 중에 PTSD의 사람들을 붙들어 두고, 트리거될 때 사랑하는 사람과 간병인에게 감정적 정보를 전송하는 데 유용할 수 있다.
위의 설명에서, 순서도에서 임의의 프로세스, 설명 또는 블록은 프로세스에서의 특정 논리적 기능 또는 단계를 구현하기 위한 하나 이상의 실행 가능한 명령어를 포함하는 모듈, 세그먼트 또는 코드 부분을 나타내는 것으로 이해되어야 하며, 관련 기술분야의 통상의 기술자에게 이해될 수 있는 바와 같이, 수반된 기능성에 따라 실질적으로 동시에 또는 역순을 비롯하여, 기능이 도시되거나 논의되는 순서와 다르게 실행될 수 있는 대체 구현은 본 진보 사항의 예시적인 실시예의 범위 내에 포함된다.
감정-인지 프로파일러
예시적인 실시예에서, 감정-인지 분류는 프로파일러로서 구현될 수 있다.
텍스트 입력은 분석을 위해 자연어 규칙(306)에 구어로 입력되거나 다른 방식으로 입력된다. 입력은 사용자, 다른 사람 또는 토픽에 관한 것일 수 있다. 선택사항으로, 사용자는 무작위 작업 프롬프트에 대답하는 자신을 비디오 캡처할 수 있다. 선택사항으로, OCR 또는 오디오 전사본은 서면으로 작성되고 및 비디오 또는 오디오가 (각각) 캡슐화된 텍스트 정보를 일반 텍스트로 전사한다.
텍스트는 감정-인지 센서(314)에 의해 감성적 콘텐츠에 대해 분석된다.
감정-인지 감성은 분류 후에 감정-인지 태깅 엔진(318)에 의해 레이블 지정된다.
감성의 강도는 강도 등급화 센서(316) 내에서 차원을 통해 계산된다.
감정-인지 프로파일러 내에서, 성격 특성, 표현 특성, 인지 특성 및 감정 특성은 물론 가치와 편견을 갖춘 프로파일이 생성된다.
인구통계 정보는 감정-인지 프로파일러의 프로필 정보와 연관되어 있다.
집합 감정-인지 앙상블 분류기(328)는 날짜, 직업 또는 배심원에 매우 적합한 후보자의 유형에 관해 예측한다. 선택사항으로, 사용자는, 이를테면 설문조사나 설문지에 의해, 이상적인 후보자가 보여 줄 성격 특성, 가치관, 인지 특성, 감정 특성, 가치관 및 결정 포인트의 유형에 대한 정보를 입력한다.
만남 사이트 사용자, 배심원 컨설턴트 또는 채용 관리자에게 매칭된 자로서 주어진 사람을 추천하고, 바람직함과 적합함을 평가화한다.
감정-인지 프로파일러에 의해 컴파일된 프로필은 기계 학습 모델 엔진(320)에 의한 향후 사용을 위해 보유되고 저장된다.
감정-인지 정보 기반 텍스팅/의사소통
예시적인 실시예에서, 감정-인지 분류는 무엇보다도 폰 뱅킹 또는 텍스트 뱅킹을 비롯한 프리 텍스트 애플리케이션(pre-text application)으로서 구현될 수 있다.
사용자는 시스템에 감정-인지 안내를 위한 텍스트 또는 전사된 입력을 제출하여 건강하고, 공감적이고, 긍정적이고, 사회적으로 및/(하위) 문화적으로 정렬된 의사소통 기법과 심리학에 대해 사용자에게 알려준다.
선택사항으로, 문제의 관계는: 판매 관계; 고객 서비스 관계; 직장 관계; 학업 관계; 상담/코칭 관계; 연애 관계; 우정 관계; 가족 관계; 이전 또는 약혼 관계; 소원해진 관계; 위기에 처한 관계; 지인 관계; 또는 기타 인간 관계일 수 있다.
사용자 또는 사용자의 텍스트에서 건강해 보이지 않거나, 부적절하거나, 무감각적이거나, 혼란스럽거나, 관점이 제한된 반응이 검출될 때, 사용자는 의사소통 스킬을 개발하여 게임, 모듈, 개인 교습 또는 기타 교습 디바이스를 통해 더 강력한 의사소통 접근법을 배우라고 촉발된다. 사용자가 학습 게임이나 모듈을 선택하든 선택하지 않든, 사용자는 상황에 대해 더 많은 맥락을 입력할 것인지를 요청 받는다.
사용자는 의사소통을 다시 시도할 것인지를 요청 받는다.
사용자가 맥락을 추가하기로 선택하면, 사용자는 감정-인지 상태와 정서적 또는 사회적 상황을 평가하는 데 도움이 되는 일련의 질문에 답할 수 있다. 사용자가 가외의 맥락을 제공하기를 거부하면, 사용자는 자신의 감정-인지 상태를 평가할 추가 질문을 요청 받도록 선택할 수 있다.
선택사항으로, 사용자는 의사소통이나 관계에 대한 걱정, 이슈, 문제 및 희망의 목록으로부터 선택할 수 있다.
사용자에게는 자신의 의사소통 기법을 변경하고 사용자의 새로운 지식과 인식을 통합하거나 변화된 감정-인지 상태를 반영하는 새로운 의사소통을 입력할 수 있는 기회가 주어진다.
사용자에게 새로 시작하라고 촉발된다.
동적/적응적 구현
자발적인 사용자 텍스트 또는 전사된 입력은 컴퓨팅 디바이스, 앱, 게임 콘솔, 전화 또는 태블릿에 입력된다.
텍스트는 전처리 엔진(304)으로 이동하여 자연어 규칙(306)에 의해 분석된 다음 멀티미디어 분류 엔진(312)에 의해 분석된다.
명시적으로 언급된 (명시적) 그리고 하위 텍스트적으로 검출된 (암시적) 감정-인지 상태가 감정-인지 센서(314)에서 평가되고 정신 상태의 정도가 강도 등급화 센서(316)에서 점수화된다.
사용자 입력은 감정-인지 태깅 엔진(318)에서 레이블을 받는다.
시스템은 제작, 선택, 생성, 편집 또는 달리 변환된 응답을 제공하고/하거나 사용자의 감정-인지 상태에 적응하여, 사용자에게 맞춤형, 대화형, 담론적 경험을 제공한다. 선택사항으로, 담화에는 하나 초과의 컴퓨터에 의해 생성되고/되거나 안내된 봇 또는 캐릭터가 연루될 수 있다. 선택사항으로, 담화는 전통적인 가상 현실 또는 증강 현실 비디오 게임이 진행되는 동안 발생할 수 있다. 선택사항으로, 담화에는 한 명 이상의 추가의 사람 대리인이 연루될 수 있다. 선택사항으로, 담화에는 사용자나 그룹에게 심리 치료, 상담, 위기 또는 절주에 대한 도움을 제공하는 치료 로봇이 연루될 수 있다. 선택사항으로, 담화에는 사용자에게 동반관계나 도움을 제공하는 가상 친구나 보조자가 연루될 수 있다. 선택사항으로, 담화에는 하나 이상의 자동화된 판매 또는 고객 지원 봇이 연루될 수 있다.
선택사항으로, 복잡성, 난이도, 볼륨, 속도, 색 구성표, 개입, 줄거리, 미니 게임 및/또는 사이드 퀘스트, 옵션, 질문, 캐릭터, 경고, 해설, 대화, 용량 또는 제안된 선택 사항 등과 같은 환경적 통제 및 그러한 기타 사용자 지정 및 사용자 맞춤형 활동은 가장 최근의 집합된 봇 주도 언어 응답에 대한 사용자 응답으로 적응된다.
사용자/사용자들의 과거 응답은 데이터베이스에 저장되며, 현재 및 향후 사용자 세션 동안 나중에 참조하기 위해, 각각의 반복된 프롬프트와 쌍을 이룬다.
사회언어학
문제:
역사적으로, 사회언어학은 개인, 사람 그룹, 인종, 성별, 사회경제적 그룹 및 기타 사람 그룹의 말로 한, 글로 쓴 또는 몸짓한 단어를 관찰 및/또는 분석하여 그들의 태도, 신념, 의견 및 감성을 면밀히 연구한다.
사회언어학은 하위 문화, 인종, 성별, 성 간의 차이, 사람의 하위 계층, 지역 등을 비롯한 사회적 요인과 관련하여 텍스트를 평가하는 의미론의 하위 분야이다. 사회 언어학은 문화적 규범, 협력, 기대, 정체성 이슈, 대인 관계 및 사회적 맥락을 비롯한 언어의 맥락을 오래 전에 연구해 왔다.
인문학 및 사회과학 분야의 연구자뿐 아니라, 컴퓨터 과학 분야 자연어 처리(natural language processing, NLP) 엔지니어는 자발적이고 공들여 만든 텍스트와 구어의 분석을 수행한다. 역사적으로, 이러한 연구원과 전문가는 통찰력을 얻기 위해 단어를 구문 분석하고, 정리하고, 태그 지정하고, 주석을 달고, 분석하기 위해 컴퓨터 코드를 전개해야 했다.
이러한 단점으로 인해 인문학 및 사회과학(이를테면 심리학, 사회학, 응용 행동 과학, 인류학, 커뮤니케이션, 수사학, 여성학, 민족학 및 정치학)의 연구자가 소외되어, 일상적인 언어 사용과 그 중요성에 대한 풍부한 논평이 사회에서 박탈되었다. 뿐만 아니라, 사회언어학적 및 인지적 언어 평가를 위한 통합된 계산 솔루션의 전반적인 부족함은 텍스트 및 구어 의사소통이 점점 더 빠르고 중요하며 사회 발전, 형평성 및 이해력에 중심이 되는 시대에서 사회 발전의 가속화를 막아왔다.
뿐만 아니라, 자연어의, 인지적 및 사회언어적 파이프라인 자체는 일반적으로 어려운 설치, 미리 만들어진 데이터 흐름 및 그 제약 조건에 대한 의존성, 또는 조정하기에 어려움과 지연을 자아내는 호환되지 않는 솔루션을 필요로 했다.
이전의 접근법:
디지털의, 스캔되거나, 전사되거나 또는 번역된 텍스트의 사회언어학적 연구 및 분석을 자동화하려는 이전의 시도에는 일련의 여러 도구가 필요했으며 각각의 도구에는 분류하고 통합하는 기술적 노하우가 필요했다. 사용 가능한 코퍼스는 범위, 접근성 및 크기의 제한으로 인해 어려움을 겪으며, 추가 코퍼스는 큐레이트하기 어렵고 비용이 많이 든다. 사용자 친화적인 스크래핑 엔진은 거의 존재하지 않으며, 세분화된 언어 및 자연어 도구와 같은 기본 구문 분석만 제공하고 도구와 통합되지 않고, 네이티브 환경에서 관찰자 또는 태깅 통찰력을 허용하지 않으며, 인간의 감성, 신념, 의견 또는 감정의 분류는 (종종 베이지안 확률을 통한) 지도 학습, (신경망과 같은) 비지도 학습에 중점을 두었다.
최상위 연구 설계; 설문조사 스킵 패턴 설계; 자원봉사자 모집; 동의서 통합; 여론조사; 설문조사; 인터뷰, 또는 데이터 기여; 데이터 입수 및 수집, 연구 감독 및 쿼리 생성에 이르기까지 전체 연구 파이프라인을 포괄하는 최첨단 사회 연구 도구를 통합하는 기존 솔루션은 존재하지 않는다. 마찬가지로, 언어, 계산, 집합, 클라우드 통합 및 기계 학습 교육, 테스팅 및 사용을 아우르는 한 묶음의 최신 맞춤형 통계 분석 도구를 제공하는 기존 솔루션은 없다.
또한 기존 솔루션은 연구 및 학술 데이터 세트, 통계 세트, 관련 코드 및 결과 논문을 다운로드하고, 전파하고, 수집하고 이에 대해 견해를 밝히는 원활한 방법을 제공하지 않는다. 마지막으로, 기존 솔루션은 사용자가 추가 연구에 사용하기 위해 일반 대중이나 학계 동료에게 데이터세트를 다시 제공하는 것을 허용하지 않는다.
방법
이러한 사회언어학 파이프라인은 기술이 발전함에 따라, 사회언어학 연구의 범위를 넓일 뿐만 아니라 인문학 및 과학 연구를 언어학 분야 밖으로 확대하여, 연구는 물론 사회의 발전을 위해 텍스트, 청각적 및 시각적 역사, 하위 문화, 집단, 지리 및 메타 데이터를 통합하는 것을 필요로 하고 원하고 있다.
현재, 사회언어학은 엄선된 좁은 데이터세트에 대해 수행된다. 전문적이거나 학문적인 사회 언어학자를 위한 전문 도구용 계산 도구가 부족한데, 기존 솔루션이 지나치게 기본적이고, 덜 세분화되어 있으며 기술적 진입 장벽이 높기 때문이다. 사회 언어학자를 위한 사용자 친화적인 솔루션은 기본적인 큐레이션, 간단한 검색 및 최상위 빈도 문구 계산, 내보내기 등을 허용하는 것 말고는 불완전한 파이프라인인 경향이 있다.
이 파이프라인은 평판 관리, 광고 및 마케팅 평가, 바이러스성 토픽 추적뿐만 아니라, 선전 과 "가짜 뉴스" 검출 및 연관된 등급에서 상업적 사용을 위해, 다양한 토픽에 대한 지속적이고 광범위한 컴퓨터 언어 분석에 새롭고 가치가 있다.
일반적으로, 데이터세트의 성능은 유형과 작업에 따라 달라지는 경우가 많다. 기존 솔루션은 POS 태깅, n-그램, 배열, 연어(collocation), 및 빈도와 상대 빈도를 보여주고, 스크래핑 및 기본 언어, 용어 또는 언어 분석을 허용한다. 그러나, 기존 솔루션은 인문학 및 과학 분야에서 사회언어학 연구를 위한 강력하고 헌신적인, 학문 분야 중심의 사회언어학 도구, 중앙 집중식 학문, 연구, 및 비영리적 중심의 도구뿐만 아니라, 연구의 수명 주기 전반에 걸친 연구 설계 및 배치 도구를 제공하지 않는다.
이 방법은 또한 선택적인 지리적 위치 도구, 단어 및 용어 비교 도구, 담화 분석 및 사회적 상호작용 도구는 물론, 사회언어학적 감성 분석을 포함한다. 시간이 지남에 따라, 집단 가치 검출 및 태도 변화를 표시하는 언어 변화 또한 새로운 것이고, 사회 문제 및 사회적 가치 추적에 활용될 수 있다.
옹호 단체, 비영리 단체, 학계 연구자에게는 현재 이러한 요구를 완전하게 처리할 수 있는 포괄적인 사회언어학 파이프라인뿐만 아니라, 강력한 사회언어학적, 단기적, 근기적 및 종단간 종단적 연구를 설계하고 생성하기 위한 디지털 수단도 없다. 공공 정책은 사회언어학적 파이프라인을 다른 학문 분야에 디지털로 적용함으로써 이득을 얻을 수 있으며, 상업 브랜드는 메시지 추적 및 분석, 시장 조사, 제품 개발, 포커스 그룹 테스팅, 시간 경과에 따른 사회언어학적이고 자동화된 감정 분석을 통해 이득을 얻을 수 있다.
국가 안보 분석, 법 집행 또는 경찰 폭력성 모니터링, 심리 및 사회적 행동 연구, 사회 프로그램 평가, 법적 분석, 공정하고 효과적인 채용 관행 및 위험 관리를 비롯한, 평가 용도가 또한 이 파이프라인에 적용될 수 있다.
마지막으로, 정신 건강 및 신체 건강 관리뿐만 아니고 백신, 제약, 치료사 및 의사 치료에는 건강 관리 이슈, 약물 부작용 및 질병 모니터링의 대량 평가를 위한 포괄적이고 통합된 연구 분석 사회언어학적 파이프라인이 크게 필요하다. 금융 시장은 또한 현재 대중적인 소셜 미디어 표현에 의한 움직임에 취약하며 기술적인 관점(technical lens)을 통해 소셜 미디어 표현을 평가, 추적 및 모니터링하는 수단으로부터 이득을 얻을 수 있다.
방법의 특징
사회언어학 엔진은 다음과 같은 특징을 제공한다:
● 긍정-부정-중립(positive-negative-neutral, PNN) 극성 기반 측정, 여러 감정 레이블을 사용한 특정 영향 검출을 비롯한, 감정 분석에 사용할 수 있는 자동화된 의미론적 도구의 통합.
● 텍스트 데이터 처리를 위한 맞춤형 파이프라인을 완전히 자동화하기 위한, 사용자에 의해 계층적으로 설정될 수 있는 원활한 데이터 처리 흐름.
● 잠재적이고 하위 텍스트 추론 정보, 단어 임베딩, 문장 임베딩, 인지 언어적 특징, 구조-의미 매핑, 및 연역적 및 귀납적 추론을 위한 마커의 표기 및 예측을 설정, 검출 및 허용하는 의미적 도구의 통합.
● 이것으로 제한되는 것은 아니지만, 알고리즘 생성을 위한 사용자 분산 가중치가 있는, 언어적 특징과 형태소, 음소, 어휘, 문장 레벨 및 단락 레벨 구조적 구성요소를 비롯한, 사용자 정의된 측정 가능한 차원.
● 특정적이거나, 사전 정의되거나 계층화된 의미론적 정보 분류를 위한 임의적 통합 임계값 결정 및 가중치 부여.
● 지도 학습, 준지도 학습, 비지도 학습의 0 내지 n개 모델을 데이터세트에 원활하게 배치하는 것을 비롯한, 선택 가능하고 조정 가능한 기계 학습 통합.
● 기술 지식이 없는 사용자가 연구 설계를 선택하여 텍스트 또는 전사된 데이터의 주관적 레이블 지정을 위한 연구 프로젝트 관찰자, 주석 작성자, 피험자 및 평가자에 대한 파라미터를 설정할 수 있도록 하는 GUI(그래픽 사용자 인터페이스) 안내 마법사(wizard).
● 데이터세트 통계 평균, 이동 평균 및 기타 중심 경향의 방법, 사용자 정의 테마, 코퍼스 또는 검색 쿼리에 연결된 과거 감정 및 감성 점수, 사용자 정의 테마, 코퍼스 또는 검색 쿼리에 대한 각각의 사용자 정의 차원에 대한 함축 점수, 및 텍스트의 기타 사용자 정의 구문론적, 음운론적, 형태론적, 인지 언어적, 사회언어적 및 의미론적 언어 차원에 관한 통계치의 계산.
● 강도: 우리의 분류 모델은 강도에 대한 프록시로서 제공되는 확률 (분류) 대신 감정, 함축 또는 어휘 프레임 강도를 분류하는 유일한 모델이다.
모델
본 발명은 컴퓨터 프로그래밍 지식이 필요 없이, 사회 과학, 컴퓨터 과학, 인문학 분야 및 하위 분야의 연구자가 온라인과 오프라인에서 수집된 말로 한 언어와 글로 쓴 언어를 분석하고, 기계 학습 및 절차 코드에 의해 분석된 분석 가능한 데이터세트를 생성하여 사용자에게 통찰력을 제공할 수 있도록 하는 사회언어학 파이프라인을 서술한다.
연구자, 비영리 단체 및 기타 사용자는 사회언어학 엔진을 사용하여 구어 및 텍스트 코퍼스를 심층적으로 분석할 수 있다. 텍스트는 시간에 걸쳐 추적되도록 시간별로 분할되거나, 시간 제한 분석을 위해 제한될 수 있다.
전처리에는 (POS-그램의 생성 옵션뿐 아니라) 구어 태깅의 일부, n-그램 생성, 빈도 및 상대 빈도 계산, 개체명 인식(Named Entity Recognition), 배열, 스킵-그램, 부트스트랩 n-그램, 부트스트랩 및 기타 어휘, 및 기타 NLP 데이터 준비 특징을 포함한다.
기술적 세부 사항
핵심 사회언어학 엔진 시스템 흐름에는 다음과 같은 필수적 및 재량적 맞춤형 단계가 통합되어 있다.
I. 시스템은 인터넷에 게시되거나, 인터넷에서 생성되거나, 응답되거나, 디지털화되거나, 전사되거나 또는 상주하는 텍스트(이것으로 제한되는 것은 아니지만, 오디오 또는 비디오 말로 한 단어['구어'], 일반 텍스트, 마크업 텍스트 및 이모티콘, 주석 달리거나, 하이퍼링크되거나 증강된 텍스트, 전사된 텍스트 또는 번역된 텍스트를 포함함)를 저장, 수집, 스크래핑 및 기타 방식으로 분류하는 것으로 시작된다. 선택된 것이 스크레이프되고 정리되어 저장을 위해 구조화된 데이터베이스와 구조화되지 않은 데이터베이스에 (각각) 배치된다.
II. 한편, 사회언어학 엔진은 이것으로 제한되는 것은 아니지만, 소셜 미디어 게시물, 포럼 게시물, Q&A 사이트 답변, 인터넷 댓글, 광고 문구, 교육 문구, 집필 또는 구술 작품, 법률 텍스트를 비롯한, 지속적인 코퍼스 수집 및 집합을 수행한다. 해당되는 경우, 지속적인 감정 분석 배치에서, 주어진 개인 또는 그룹에 대한 다양한 테마 및 토픽의 범위에 대한 그리고 그에 의해 트리거되는 신념, 의견, 감정 및 입장의 저장 및 추적을 비롯한, 지속적인 데이터 형식화, 색인화 및 처리/보강과 함께, 자동 태깅이 시작된다. 그런 다음 데이터는 향후 검색을 위해 인덱싱된다.
III. 다음으로, 관리자는 데이터세트에 감정 분석을 배치하는 옵션을 받아, 이것으로 제한되는 것은 아니지만: 신경망, 랜덤 포레스트 알고리즘, 클러스터링 알고리즘, 주성분 알고리즘, 행렬 인수분해 알고리즘, 베이즈 분류 알고리즘, 규칙 기반 엔진, 검색 엔진을 비롯한, 의미론적 분석 도구 및 방법을 사용하여 데이터가 감정, 감성, 신념 및 의견에 대해 처리될 수 있도록 한다.
IV. 일단 자동 태깅이 완료되면, 사용자는 퍼스널 컴퓨터, 스마트폰, 태블릿 또는 휴대용 이동 디바이스 상의 그래픽 사용자 인터페이스에 액세스하여, 설문조사를 생성하고 관리하거나, 새로운 데이터를 생성하거나, 또는 설문조사를 통해 저장된 데이터에 태그 지정할 수 있다.
V. 사용자는 그래픽 사용자 인터페이스에 액세스하여 기존 데이터와 미래 데이터에 적용될 수 있는 새로운 인지 언어적 구성요소 태깅 규칙을 만들 수 있다.
VI. 사용자는 그래픽 사용자 인터페이스에 액세스하여, 이것으로 제한되는 것은 아니지만: 학술 및 과학 연구 질문, 비즈니스 인텔리전스, 마케팅 인텔리전스, 주식 시장 분석, 정치 캠페인에 대한 통찰력을 비롯한, 데이터에 대한 쿼리 중심의 맞춤형 뷰를 생성할 수 있다.
VII. 마지막으로, 설문조사, 태그 지정된 데이터, 새로운 사용자 생성 코퍼스 및 하위 말뭉치가 데이터 저장소에 통합되어 새로운 쿼리가 수행되도록 할 수 있다.
VIII. 마찬가지로, 새로운 사용자 생성 자동 태깅 규칙, 쿼리 중심 맞춤형 뷰, 데이터의 시각적 표현 및 기계 학습 모델, 및 이들의 조정 가능한 임계값, 파라미터 및 하이퍼파라미터가 자동 태깅 엔진에 통합되어, 향후 액세스, 쿼리를 위해 새로 들어오는 데이터에 태그 지정하고 인덱싱할 수 있다.
IX. 앞의 두 단계는 데이터 분석 통계 및 기계 학습 성능의 개선을 위한 데이터 피드백 루프를 포함하는 있다는 것을 나타낸다.
X. 그래픽 사용자 인터페이스는 선택된 데이터세트를, 분석을 위해 선택된 특징, 구성요소 및 파라미터와 함께 내보낼 수 있도록 한다.
XI. 게시 또는 프로젝트 완료 시 오픈 소스 데이터 저장고에 데이터의 기여.
예시적인 실시예
한 사회학 교수는 2002년 이후 온라인 담론에서 시간이 지남에 따라 사용되는 질병에 대한 단어의 연구를 수행하고자 한다.
이전 방법에서는 주로 최상위 단어, 문구 또는 토픽의 결과가 계산되고, 데이터에 마킹되고 보고될 수 있도록 한다. 도 28은 사회언어학 데이터에 대한 사용자 인터페이스 특징의 시스템 다이어그램이다. 도 29는 사회언어학 엔진 파이프라인의 흐름도이다. 사회언어학 파이프라인은 자유로운 형태의 자발적 표현을 취하고 이를 정량화 가능하고 계산 가능한 데이터로 변환할 수 있다는 점에서 새로우며 불명확하다.
이전에, 질적 연구자는 주로 주관적이고 집합적인 인상에 초점을 맞출 수 있었다. 데이터세트는 연령, 암 단계, 위치 또는 결혼 상태와 같은 메타데이터에 의해서만 구문 분석될 수 있다.
사회언어학 파이프라인은 부분적으로 또는 순수하게 질적 데이터로부터 상관 관계, 연산, 기계 학습 통계, 데이터 분석, 클래스 기반 또는 예측 분류를 용이하게 할 수 있다는 점에서도 새롭다.
교수는 엔진의 코퍼스 빌더(Corpus builder)에 URL을 입력하고, 이 코퍼스 빌더는 스크랩된 데이터를 집합, 정규화 및 병합하여 단일 텍스트 데이터세트로 만든다.
다음으로, 사용자는 지난 5년간 사회학과에서 학생들에 의해 테이프 녹음기로 수집된 오디오 파일을 가져온다.
오디오 파일은 텍스트로 변환되어 메타-코퍼스에 추가된다. 각각의 하위 코퍼스에는 소스를 구별하는 필드가 포함되어 있다.
교수는 질병에 대한 단어의 과거 동향을 분석할 목적으로 쿼리를 입력한다.
오디오 파일은 이전에 수량화될 수 없었던 다음과 같이 개방형 질문에 대한 응답에 자동으로 태그 지정되는데, 개방형 질문은 다음과 같다:
"Could you tell me a bit more about what happened then?"
"How do cope with that?"
"Did you get support from anyone at the time?"
"What do you think you learned from this experience?"
"How have you applied what you’ve learned to another life situation?"
이러한 각각의 질문에 대해, 사회언어학 파이프라인은 이것으로 제한되는 것은 아니지만 다음과 같은 차원(및 각각의 하위 구성요소)을 정량화할 수 있다:
감정
이슈 입장
성격
신념
관점
감성
지각
의견.
교수와 교수의 팀은 화학 요법 과정 전반에 걸쳐 4회의 인터뷰를 비롯하여, 환자와 주요 간병인과 함께 2년에 걸쳐 90분 분량의 오디오 녹음 인터뷰를 8회 실시하고, 일단 화학 요법이 완료된 후에는 후속 조치를 취한다.
남은 인터뷰의 오디오는 전사되어 사회언어학 파이프라인에 수집되며, 여기서 PI는 데이터 전처리 도구를 사용하여 오디오 인터뷰를 간단히 업로드할 수 있다.
일단 파일이 처리되고 텍스트로 전사되면 교수는 이메일 알림을 받는다.
파이프라인의 데이터 가져오기 마법사(Data Import Wizard)는 연구자가 관련 필드의 이름을 선언하거나, 메타데이터를 입력하거나 데이터세트를 병합할 수 있다.
그런 다음 교수는 이것으로 제한되는 것은 아니지만: 토큰화(인터뷰에서 암 환자에 의해 사용되는 최상위 용어 단어 및 문구를 수신하는 것), 인터뷰로부터 질의된 용어를 둘러싼 중요한 용어를 찾기 위한 배열, 상관관계, 각각의 인터뷰 체크포인트 및/또는 후속 조치에서 느낌, 의견 또는 신념이나 입장을 추적하기 위한 감정 점수와 같은 언어적 감성 NLP, 통계적 또는 의미론적 도구를 통해 데이터를 실행할 수 있다.
교수는 비교 지표를 실행하여 시간, 지리적 위치 또는 기타 메타데이터와 관련하여 환자에 의해 사용되는 언어 및/또는 감성을 비교하고/하거나, (그렇지 않으면 정성적 인터뷰에 사용할 수 없는) 데이터세트에 대한 중심성의 측정 및 추가 통계 개입, 측정 및 상관 지점을 수신하도록 선택할 수 있다.
또한, 교수는 상이하거나 유사한 치료를 받는 암 환자의 유사한 연구와 결론적 비교를 할 수 있고, 질적 인터뷰 데이터세트를 서면 형식의 인터뷰 후 후속 설문조사와 통합하고, 통계 프로그램에서 추가 분석을 위해 데이터세트를 내보내고, 기계 학습(그룹화, 사용자 클러스터링, 웰빙 예측, 웰빙에 중요한 기능 평가)을 수행할 수 있다.
연구에서 새로운 데이터가 발생하면, 교수는 새로운 데이터에 대해 자신이 선택한 기계 학습 알고리즘을 훈련하고/하거나, 이것을 다른 사람에 의한 사용을 위해 데이터 저장소에 다시 기여할 수 있다.
교수는 원한다면, 데이터에서 패턴을 연구하거나 발견하여, 추가 결론을 낼 수 있다.
또한 환자는 클러스터링될 수 있으며, 사례들은 이상 검출을 위해 T-테스트 또는 기타 측정을 받을 수 있다.
교수는 중요한 특징을 하이라이트하기 위해, 이것으로 제한되는 것은 아니지만 랜덤 포레스트와 같은 추가 도구를 사용할 수 있다.
교수는 기계 학습을 사용하여 웰빙 레벨이 가장 낮은 암 환자, 연관된 특징 및/또는 자살 위험이 가장 높은 암 환자를 검출할 수 있다.
일단 연구 논문이 게시되면, 교수는 데이터 저장소를 통해 자신의 데이터세트를 일반 지식 풀에 기여하고, 선택 또는 전체 조건에서 그것의 사용을 승인하고, 다른 연구자에 의한 분류 및 사용을 위해 자신의 연구 논문을 가리킬 수 있다.
특정 실시예가 설명되었지만, 이러한 실시예는 단지 예로서 제시되었을 뿐이고, 본 개시내용의 범위를 제한하려는 것은 아니다. 실제로, 본 명세서에 설명된 새로운 방법, 장치 및 시스템은 다양한 다른 형태로 구현될 수 있다; 또한, 본 개시내용의 정신을 벗어나지 않고, 본 명세서에 설명된 방법, 장치 및 시스템의 형태의 다양한 생략, 대체 및 변경이 이루어질 수 있다. 첨부된 청구 범위 및 그 균등물은 본 개시내용의 범위 및 사상에 속하는 그러한 형태 또는 수정을 망라하는 것으로 의도된다. 예를 들어, 본 기술은 단일 기능이 네트워크를 통해 복수의 장치들 사이에서 협업하여 공유되고 처리되는 클라우드 컴퓨팅을 위해 구성될 수 있다.
기호 언어학적 정치 분석
문제:
정당 성향과 심리언어학적 하위 구성요소를 비롯하여, 정치적 입장을 신뢰할 수 있는 정확도로 나열할 수 있는 감성 분석 시스템은 존재하지 않는다. 또한, 의미론적 프레이밍을 포함하는 전사되거나, 번역되거나 또는 저작된 텍스트 또는 (오디오) 구어에서 정치적 신념의 세분화된 하위 텍스트 신호를 포착할 수 있는 의미론적 시스템은 존재하지 않는다.
어떤 기계 학습 솔루션도 정치적 연설의 암시적이고 함축적인 뉘앙스를 세분화된 유인가 기반 정량화 형식(valence-based quantified format)으로 포착하지 못했다. 반복하기 어려운 구어 및 텍스트 의사소통이 대중에게 큰 영향을 미치고 (2021년 1월 6일 미국 국회의사당 폭동과 같은) 이를 예방하는 데 관심을 가지게 됨에 따라 이러한 기능은 점점 더 중요해지고 있다.
기계 학습은 커뮤니티, 정당 및 사람 그룹 내에서 강력한 개인 프로파일, 클러스터, 정치적 입장과 그 하위 부분의 관계를 생성하는 방식으로 신념 체계의 하위 구성요소, 자신과 타인의 가치, 또는 메시지 내 담론 전환을 정밀하게 측정하는 이러한 인지 언어적 요소에 적용되지 않았다.
정치적 의사소통의 전달뿐만 아니라, 집단 및 개인 청중 내에서 유도되고 선동되는 감정적 반응의 둘 모두에서 정서(감정) 검출은 사회의 보호, 정치적 담론과 표현의 자유에 대한 이해 및 보존뿐만 아니라, 미래의 잠재적인 정치적 폭력을 막는데 필요하다.
뿐만 아니라, 이것으로 제한되는 것은 아니지만 의견, 신념 및 입장과 같이 텍스트 및 말로 한 정치적 연설에 암시되고 내포된 다른 측면의 감성을 추가로 분류하고 감지하기 위해서는 표준화된 평가화 및 분류 시스템 세트가 필요하다.
사회적 신념 체계의 변화, 증오 범죄의 감소, 정당 간 정치적 폭력의 감소 및 기타 친사회적 평화 유지 결과를 측정하고 개선하려는 시도에는 온라인, 셀룰러, 디지털 및 아날로그 의사소통, 의사소통의 암시, 뉘앙스 및 효과를 측정하기 위한 일련의 시스템이 필요하다.
마지막으로, 정치적 극단주의나 국내 또는 해외 테러리즘을 검출하기 위해서는 정치적 스펙트럼에 따른 입장의 측정이 필요하다.
이전의 접근법
자동화된 정치적 입장의 분류에는 신념, 의견 및 느낌(감성)에 대한 세밀하고 풍부한 미시적 정보가 부족했다. 어떤 단일 시스템도 정치적 입장 변화, 스윙 유권자 유형 및 성향, 의견 및 정당을 변경할 가능성을 한 번에 안정적으로 예측할 수 없었다.
뿐만 아니라, 정치적 신념의 뉘앙스를 포착할 수 있는 이론적 인지 언어적 요소는 사회 여러 부문에 걸쳐 비교 지점을 허용하는 정규화된 방식으로 신뢰할 수 있게 정량화되지 않았다.
외국 단체에 의한 정치적 간섭을 뒤따라, 이러한 시스템이 필요하다. 또한, 최근 몇 달, 몇 년간 시민들에게 뚜렷한 감정적 및 인지적 영향을 미치는 방식으로 정치적 언어, 비디오 및 구어를 사용하는 것이 대중의 주목을 받고 있다. 정치적 의사소통이 이루어지는 동안과 이후에 청중에게 미치는 미묘한 메시지와 효과를 검출하기 위한 시스템이 절실히 필요하다.
뿐만 아니라, 정치적 스펙트럼의 각각의 측면에서 백인 우월주의자와 기타 극단주의 그룹과 같은 하위 문화의 증가뿐만 아니라, 그들의 사회적 영향력과 폭력의 증가에는 정치적 폭력을 향한 감정적 고조와 증가를 정량화하고, 식별하고 예측하기 위한 일련의 시스템이 필요하다.
이 문제에 대한 이전의 솔루션은 폭력 자체를 예측할 수 있었지만, 이를 의사소통의 특정 요소에 암시하고 함축하는 것과 연결시키지 못했다.
이 문제에 대한 이전 솔루션은 인지, 언어학, 감정, 지적 과정 및 가정의 하위 요소뿐만 아니라고, 주요 정당을 넘어 정치적 스펙트럼에 걸친 미시적 배치도 다루지 않았다.
이 영역에서 의견, 신념, 감성 및 감정을 분류하는 것은 평화로운 사회, 위협 검출, 공개 담론, 선동 방지, 인간과 컴퓨팅 분야 둘 모두에 적용되는 정치적 청중에 대한 통찰력을 위해 필수적이다.
방법
웹 사이트 또는 달리 디지털화된 텍스트, 전사된 오디오, 이들의 언어 전처리 및 후속적 언어 분석 측정을 수집하여 다차원 점수, 유인가, 극성 및 디엑시스(deixis)를 결집.
다차원적인 저자, 연설자, 정당, 뉴스 미디어 또는 콘텐츠 소스를 정부, 헌법, 이데올로기 및 사회 이슈 추적과 관련한 사고방식 판독의 하위 차원과 함께 단일 점수인 정치적 성향 점수(PLS, Political Lean Score)로 변환.
새로운 데이터라인이 수집됨에 따라 콘텐츠 및 미디어 점수의 지속적인 업데이트.
정당 충성도 임계값, 시간 또는 정치적 이벤트 의사소통에 따른 순차적 입장의 변동률뿐만 아니라, 시간 또는 이벤트에 대해 이것이 변하는 정도, 및 이벤트의 심각도와 강도를 측정하는 스윙 유권자 가능성 점수(Swing Voter Likelihood Scores, SVLS)와 관련된 데이터 라인의 검출 및 분류.
정치적 양면성, 개방성, 유연성, 감수성, 가단성 및 정치적 스펙트럼 및 관련 하위 축을 따라 놓인 움직임에 대한 중심 원인 및 주요 요인에 따라 검출될 수 있는 스윙 유권자의 클래스.
국가 보안 노력, 인간-로봇 상호 작용, 교육 애플리케이션과 실험, 소셜 로봇에 대한 감정 모델링 및 기타 정서 검출 보안 상호작용에 적극 활용될 수 있는 능력.
APS3 점수는 언어적으로 계산된 구문 및 문자열로 표현되는 권력, 통제, 개혁, 방향성, 성격, 행동 및 상태 관계와 같은 중심지를 측정한다.
그룹 역동성, 그룹 간 관계, 편견이나 고정관념 및 조직 심리학을 비롯한, 로봇 판독 가능한 사회 심리학의 측정을 통합하고 번역할 수 있는 능력.
이것으로 제한되는 것은 아니지만 파워 유인가(Power valance), EVS(Enacted Virtue Score), CVS(Comparative Value Score), APS3(Auto-Positioning Social Subcomponent Score) 및 이들 각각의 하위 차원과 같은 인지 감성적 언어 요소의 계산되고 전송된 통합.
다차원 공간, 저항, 종교, 지역성 점수, 아이러니한 구성, 수사적 디바이스 유형, 발화 행위, 동적 심리언어학적 상태 변화의 특징 구성요소의 측정.
용기, 호기심, 진정성, 취약성, 감정 지수 점수(emotional quotient score, EQS), 연민, 판단력, 및 학습 가능성과 같은 하위 구성요소가 정치적 위치 및 지위와 관련될 때 이들에 대한 사용자 속성 점수 및 유인가 도출.
모델의 특징
연관된 하위 축을 따라 놓인 정치적 입장과 입장의 미시적 구분을 식별하기 위해, 주어진 클러스터의 프로토타입 사용자의 집합적으로 또는 개별적으로 프로파일링.
정치적 입장에 대한 미시적 레이블 및 하위 축을 포함시켜, 정치 및 정당 성향을 세분화된 감성 기반 하위 부분으로 분류, 이것으로 제한되는 것은 아니지만 재정적, 도덕적, 사회적 지원, 경제적, 정부의 범위, 시민의 자유, 헌법적 견지 및 기타 정치적 감성 분야에 대한 의견이 수학적, 통계적, 벡터 기반 분류를 위해 구문 분석, 수집 및 배열될 수 있음.
이것으로 제한되는 것은 아니지만 프레이밍, 개념적 은유, 문학적 장치, 은유, 개념적 혼합, 정신적 공간, 어휘 의미론, 프레임 의미론, 힘 역동성 및 기타 인지 언어학 하위 구성요소를 비롯한 인지 언어학의 이론적 구성요소가 측정되고 통합되었으며, 이전에 이것들은 언어를 통한 이러한 감정적 결과의 정량화 및 계산을 위해 하위 구성요소를 측정하는 시스템의 하나의 통합된 세트에는 없었다.
통계 및 기계 학습 요소, 레이블, 행렬 및 입력으로 변환하여 정량화 가능한 형태로 입력된 데이터에 적용된, 의미를 중심으로 한 이론적인 인지 언어적 요소를 통합하여, 입장, 정치적 경향 및 신념에 대한 풍부한 의미론적 정치적 정보를 포착한다.
관찰되거나 목격된 게시된 콘텐츠에 동의하지 않는 오디오(이를테면 팟캐스트), 시각적(이를테면 비디오 및 이미지) 및 텍스트 또는 구어(이것으로 제한되는 것은 아니지만 연설, 논평, 인터뷰, 뉴스 기사, 댓글, 게시물, 전자 메일 및 기타 입력을 포함함)에 응답하여 소셜 미디어 댓글에 플래그 지정하기 위한 발견적 교수법.
우리의 모델은 기계 학습(지도 학습 및 비지도 학습)을 감성, 감정, 신념 및 의견의 보다 실증적인 분류, 언어를 사용하는 당사자의 보다 강력한 프로파일링, 보다 효과적인 분류 및 데이터세트의 더 많은 유연성을 제공하는 규칙 기반 시스템 세트와 결합하는 뛰어난 능력을 가지고 있다.
메타 정보, 동기화된 스트림, 모델 배치, 분할, 인지적 결과에 대비한 기준선 비교, 정치 부문 및 감정적 추론을 검출하기 위한 유인가 계산의 사용.
기술적 세부 사항
레이블 지정된 데이터의 수집 능력은 정치적 성향에 대한 발견적 교수법, 필터링, 정치적 성향에 대한 위치 기반 및 규칙 기반 프록시, 및 미리 정의된 하위 축, 테마, 토픽 및 어휘 프레임의 목록에 대한 입장을 사용하여 이루어진다.
통계 및 기계 학습 접근법을 통해 사람, 웹 사이트, 위치 또는 기간과 연관된 시그니처 n-그램 - 이것으로 제한되는 것은 아니지만: 다른 엔티티와 비교하여 상기 사람, 웹사이트, 위치 또는 기간에 대한 특이성의 n-그램 카운트 및 측정을 포함함 - 에 대한 통합을 수집.
시스템은 최상위 n-그램의 텍스트 마이닝 및 이것으로 제한되는 것은 아니지만: 트윗, 전사된 구어를 비롯한 다양한 형태의 사용자 생성 데이터의 주제 모델링을 통해, 특정 정치인, 공인에 특유한 특징적인 하위 축, 테마, 토픽, 및 어휘 필드와 프레임을 식별할 수 있다.
이러한 시스템은 또한 상위 n-그램의 텍스트 마이닝 및 이것으로 제한되는 것은 아니지만: 입수 가능하다면 트윗, 레딧 게시물, 전사된 구어 형태의 소셜 미디어 상호작용, 사진, 좋아요를 누른 콘텐츠 및 오디오를 비롯한 다양한 형태의 사용자 생성 데이터의 주제 모델링을 통해, 특정 소셜 미디어 사용자에 특유한 특징적인 하위 축, 테마, 토픽, 및 어휘 필드와 프레임을 식별할 수 있다.
이러한 시스템은 또한 최상위 n-그램의 텍스트 마이닝 및 이것으로 제한되는 것은 아니지만: 입수 가능하다면 기사, 게시물, 전사된 구어 형태의 비디오, 공식 아웃렛 계정에 대한 소셜 미디어 상호작용, 사진, 좋아요를 누른 콘텐츠 및 오디오를 비롯한 다양한 형태의 사용자 생성 데이터의 토픽 모델링을 통해 특정 소셜 미디어 아웃렛에 특유한 특징적인 하위 축, 테마, 토픽 및 어휘 필드와 프레임을 식별할 수 있다.
그런 다음 이러한 시스템은 미리 정의되고 통계 및 기계 학습을 통해 미리 정의되고 발견된 하위 축에 기초하여, 사용자의 입장을 측정할 최종 이슈 목록을 정의할 수 있다.
그런 다음 이러한 시스템은 이것으로 제한되는 것은 아니지만 다음과 같은 접근법: 바이러스 시그니처 n-그램 채택과 같은 규칙 기반 지표, 단어, n-그램, 스킵그램 및 품사(part-of-speech, POS) 그램 동시 발생 및 특화된 배열을 통한 지배적인 테마 식별, 베이지안 분류기, 협업 필터링, 행렬 인수분해, 클러스터링 알고리즘, LSTM 신경망, 텍스트 마이닝 및 토픽 모델링을 통해 식별된 미세 조정된 트랜스포머 신경망을 비롯한, 기계 학습을 사용하여, 각각의 이슈 및 하위 축에 대한 사용자의 입장을 확실성 점수로 식별할 수 있다. 그런 다음 이러한 시스템은 이 데이터를 연령, 인종 그룹, 사회경제적 지위를 표시할 수 있는 마이닝된 사용자 메타데이터에 연결한다.
그런 다음 이러한 시스템은 이것으로 제한되는 것은 아니지만: 신경망, 베이즈 분류기, k-최근접 이웃 알고리즘, 클러스터링 알고리즘, 로지스틱 회귀, SVM, 랜덤 포레스트를 비롯한, 기계 학습 접근법을 사용하여, 끌어낸 하위 축 목록의 입장 유사성에 기초하여 사용자 유사성을 예측할 수 있다.
그런 다음 이러한 시스템은 이것으로 제한되는 것은 아니지만: 규칙 기반 지표, 베이지안 분류기, LSTM 신경망, 정치 데이터 및 대중 반응에 훈련된 미세 조정된 트랜스포머 신경망을 비롯한, 기계 학습 접근법으로, 사용자 입장을 입력 특징으로서 사용하여 정치적 성향을 예측할 수 있다.
사용자 정보의 수집은 이것으로 제한되는 것은 아니지만: 연민, 완고함, 정치적 입장의 변동 가능성, 폭력에 관한 경향 등을 비롯한, 발견되고 미리 정의된 차원과 관련하여 통합될 수 있다.
그런 다음 이들 단계는 특정 시점에 반복될 수 있으며, 데이터에서 변경 사항을 분석하면 정치적 움직임을 추적할 수 있고 단일 사용자, 특정 사용자 그룹 또는 전체적으로 모든 사용자의 데이터세트에 대해 시간 경과에 따른 정치적 입장의 추세를 식별할 수 있다.
선전, 광고 및 기타 식별된 영향력의 소스에 노출된 사용자 생성 데이터를 상호 참조함으로써, 이러한 시스템은 임의의 식별된 하위 축에서 입장의 변화 정도를 정량화할 수 있다.
특정 사용자 및 기간에 대한 분석 결과는 이것으로 제한되는 것은 아니지만: 웹사이트, 브라우저 플러그인, 스마트폰 앱을 비롯한, GUI에서 시각화될 수 있다.
이러한 시스템은 또한 단일 게시물, 비디오 또는 임의의 형태의 입력 텍스트, 오디오, 비디오와 같은 단일 또는 제한된 데이터 포인트에 대한 사용자의 입장을 평가하는 데 적용될 수 있다.
편견, 차별 및 편향(Bias) 검출
이러한 방법은 자연어에서 편견과 차별에 기반한 표현으로부터 구체적으로 추출되어 적용되는, 세분화된 언어적 특징을 통해 은밀하고 명백한 편향을 인식하기 위한 고유한 방법으로, 이는 개인과 공인과 단체, 비영리 단체에 의해 자발적이거나 공들여 만든 구어나 텍스트, 출판물, 웹 사이트 및 기타 미디어 소스와 이들의 커뮤니케이션 매체에서 인종차별, 성차별, 연령차별, 동성애 혐오, 트랜스포비아, 외국인 혐오, 성희롱, 계급주의 및 능력주의의 인스턴스에 적용되고 세부적으로 적용될 수 있다.
문제
주어진 사람 그룹, 보호 받는 계층, 소수자, 권한이 없거나 불리한 집단에 대한 차별, 그에 대해 갖고 있는 편견, 및 그와 달리 그에 대해 갖고 있는 기타 부정적이거나 편향된 감성을 검출하는 것은 컴퓨터 언어학에서 통일적으로 쉽사리 정량화되지 않았다. 이 글을 쓰는 현재까지 검출은 지나치게 데이터세트에 특정하므로, 시간, 텍스트 및 편향을 가로질러 안정적으로 적용할 수 있는 어떠한 공식화된 시스템도 제시되지 않았다.
또한 사회언어학자, 사회학자, 심리학자, 윤리학, 여성학, 퀴어 연구(및 이와 동등한 인문학 및 과학 연구)가 언어를 면밀히 조사해왔지만, 인종적 편향을 검출하기 위한 표준으로 개발된 신뢰할 수 있는 규칙 및 단서 세트는 거의 개발되지 않았다.
결과적으로, 자연어 또는 자연스러운 구어를 평가하는 통일된 척도가 없었다. 이 때문에, 일관적이고 상대적인 편향과 편견의 정도가 확립되지 않아, 책임감을 발휘하고 보다 빠른 사회 변화를 촉진하는 것이 어려웠다.
이것은 소수의 고통이 "보이지 않는" 사회가 만들어 졌고, 특수 집단은 언어에서 명확하고 통일된 증거의 부족함으로 인해 사실상 가스라이팅을 당했다. 이러한 결과는 또한 조직과 기업이 그의 성과와 반응성을 암묵적 편향에 관해서 집단적 실체로서 측정하기 어려워 졌다.
마지막으로, 실제 결과는 공공 및 민간 개인, 단체 및 시스템이 책임을 지게 하고, 평가되고 개선될 수 있도록 암묵적인 편향과 차별의 관점에서 상관되는 일련의 측정 시스템(뿐만 아니라 이러한 시스템, 개별 의사소통 및 기업의 공평한 대우 성과를 개선하기 위해 설계된 개입)을 필요로 한다. 사회는 임의의 주어진 시간이나 장소에서뿐만 아니라 일반적으로 한 인간 그룹으로부터 또는 그에 대한 개인 또는 집단 폭력의 가능성을 식별, 예방 및 검출하기 위해, 이러한 시스템에 의해 처리되는 편향 예측 및 정도에 대한 솔루션을 필요로 한다.
"타자화(othering)"(소수자와 억압받는 계층을 백인, 이성애자, 시스젠더 또는 기타 다수 지위라는 규범에서 벗어난 것처럼 취급하는 것), "백기사화"(소수자 또는 억압받는 계층이 마치 구조될 필요가 있는 것처럼 이들을 취급하는 것, 다수의 지위를 가진 구성원을 구원자로서 중심을 두는 것) 또는 "약한 공격"(작고 숨겨져 있고 놓치기 쉬운 사소한 것으로 흔히 무의식적이지만 집단적으로 심리적 피해를 가져오는 것)와 같은 미묘한 형태의 편향은 나열하고, 예측하고, 정량화하기 어렵다.
이와 같이 지금까지 편향과 차별의 정량화를 위한 표준화된 방법은 없었다.
특징
여기에 있는 모든 통합된 알고리즘에서 인덱스의 구현으로 인한 차별 검출의 계산 효율성.
시스템에 입력된 인터뷰, 관찰 및 의사소통 동안 감성 및 편향 반응을 정확히 찾아내는 시간- 및 텍스트-분할 기법으로 인한 높은 명확성과 정확성.
포함된 알고리즘에서 인덱스의 구현으로 인해, 결과물에 액세스하는 추가의 계산 효율성(쿼리 속도).
다중 감각 입력을 한 세트의 정규화된 점수 및 편향 마스터 점수(Bias Master Score) - 주어진 입력의 인식 및 행동에 대한 편견, 편향, 차별 또는 불균등한 호감도의 존재 및 정도를 표시함 - 를 출력하는 단일의 편향 검출 시스템에 통합.
차별 및 편향 평가와 입력을, 이것으로 제한되는 것은 아니지만 사법적 결정, 공정 주택 평가, 경찰의 폭력 혐의, 고용 차별, 미디어 편향성, 설득과 마케팅 결과, 상업적 ROI(문자 그대로 웹, 태블릿 및 스마트폰 엔티티 모두에서 광고 노출 횟수를 통한 결과뿐만 아니라, 기타 잠재 고객의 다른 미디어를 통한 판매로의 전환을 통한 결과) 및 사회적 규범 평가를 비롯한, 실제 결과에 결속시키는 능력.
다중 감각 데이터를 목격하고 내부적으로 처리할 때 관찰자의 암묵적 편향뿐만 아니라, 소비되는 미디어 자체와 그 안의 행위자에 내재하는 암묵적 편향을 평가하여, 둘 사이에 상관관계 및 통계적 연결이 이루어질 수 있게 하는 데 있어서의 수완.
차별적 발언 및 언어적 표현에 대한 파라미터에 맞추어 질 수 있고, 전통적인 편향 분류를 넘어 성간 편견, 출신 국가 차별, 임신 차별, 종교 차별, 부모 또는 파트너 상태 및 사회경제적 계층에 대한 미세 조정된 특징에 적용될 수 있는 미세 조정 가능한 애플리케이션.
효과적인 개입을 위해, 메타데이터 및 계산 언어 평가를 다른 감각 입력과 함께 사용하여, 편견을 가질 가능성이 있는 개체와 개인을 예측하기 위한 지리적, 사회경제적, 정치적, 사회적 입장, 연령 관련 및 기타 특징의 프로파일을 생성.
조정, 개선 및 보조금 목적을 위해 타임라인 및 위치 추적에 대한 개입을 모니터링하는 능력.
성별, 인종, 사회경제적 계층, 성적 취향, 신체적 능력 정도, 빈곤 또는 사회경제적 인덱스 변환에 대한 통합 차원에 대해 인스턴스화된 마커에 따라 자동화된 데이터 라인 식별자가 데이터 저장소에 복사되고 정렬될 수 있게 하는 기본 상태 검출(Base State Detection, BSD) 마커.
BSD 마커가 부착된 데이터와 입력 데이터 흐름 간의 비교 신호를 계산하여, AI가 하위 텍스트 채널에서 처리 시간의 효율성을 개선하여 훈련 라운드와 시스템의 리소스를 둘 모두 줄일 수 있도록 하는 것.
방법
이러한 편향 및 편견 검출 시스템은 보호 대상, 소수자, 불리한 조건을 가진 자 또는 특정 계층의 사람들을 향한 차별적 입장과 부정적인 태도를 정량화한다. 이러한 시스템은 문장 내 특징 존재 및 배치에 의한 하위 텍스트 언어적 단서의 검출 및 측정을 통해 그리고 (범위 [0, n]의) 인스턴스(들); 문장 내 상대적 위치(intrasentence relative position, IRP); 복수의 구문 순서, 퍼지 또는 정확한 문자열 매칭 또는 이들의 조합; 다음과 같은 언어적 구문의 임의의 유형의 카테고리와 차별된 사회언어학적 특징 및 그의 연관된 측정 지점의 미소차원적 비교(microdimensional comparison, MDC)를 측정함으로써 차별적 언어의 검출을 해명한다:
1. 최소화
2. 희생양
3. 편견 없는 이슈 재구성
4. 해고
5. 타자화
6. 두려움 기반 설명자
7. 위협 기반 언어
8. 무법 행위의 비난
9. 차별적 거부
10. 동물 언어
11. 편향적인 언어
12. 위증과 과장된 조롱
13. 편향의 정당화
14. 고통의 무효화
15. 극단주의 프레이밍
16. 불복종 언어
17. 피해자 비난
18. 침묵
19. 명백한 위협
20. 지배 기술
21. 존댓말 주장
22. 슈듀잉(Shoulding)
23. 방어 기술
24. 애용하는 설명 형식(맨스플레인, 화이트스플레인 등)
25. 피해자의 자격 박탈
26. 고정관념
27. 전용 언어
28. 클래스 기반 언어
29. 미덕에 대한 질문
30. 클래스 기반 성격 판단
31. 스미어 캠페인
32. 이중 잣대
33. 언어 모방
34. 삭제 및 자세
35. 이국적인
36. 평등 이전의 향수
37. 사소한 모욕
38. 다수 특성 인식 칭찬
39. 로딩된 질문
40. 모범적 소수자 칭찬
41. 가부장화
42. 적절한 언어
43. 범죄화 언어
44. 도덕화
45. 비인간적 언어
46. 순수한 구어
47. 침입/침략/탈취 언어
48. 사기/사회 서비스 남용 대 혐의
49. 사회적 폐회의 주장
50. 동화 불만
51. 지능 언어
52. 정직성/현실성으로서의 편견 주장
53. 보존 종결자
54. 특별 대우로 인식 오류
55. 인종 차별적 발언 전 편견-부정 서문/예고문
56. 유머로 가려진 편견
57. 사회적 검증을 위한 타겟 사용
58. 원인 트라우마의 무효화
59. (흠잡기/둔마화) 일반화 ("one of those," "someone like that")
60. 지시대명사의 부정대명사
61. 가스라이팅
62. 비인간화
63. 편향의 정규화
64. 밴드왜건 오류
65. 편협함을 무시하라는 지시
66. 레버리지/특권으로서의 소수자 지위 주장
67. 부트스트랩 신화
68. 프로이트 슬립(Freudian Slip) 정당화
69. 사소화
70. 인종화
71. 이중 잣대 주장으로서의 회복적 정의
72. 칭찬같지 않은 칭찬
73. 위협적인 소수 언어
74. 단일 데이터 포인트 오류
75. 지배적인 언어/권력의 주장
76. 낮은 사회적 지위에 대한 상기
77. 선동자로서의 피해자(응당한 피해/강요 주장)
78. 미개화 주장
79. 유아화 언어
80. 약칭
81. 객관화
82. 성 상품화
83. 페티시화
84. 다수 지향적 언어
85. 부정직에 대한 비난
86. 미덕 부족에 대한 비난
87. 토큰 존재 또는 성공에 따른 정당화
88. 다수 인종, 다수 민족, 권력자 성별, 다수 성적 지향, 장애인/비장애인 또는 기타 사회적 특권을 가진 이점의 가정
89. 의미론적 프레임이 암시하는 모욕 또는 비난
90. 암묵적 억압자 교육 요구
실시예
이러한 요소는 다음의 언어적 특징 중 하나 이상을 조합함으로써 언어 사이에서 구별된다.
1. 특징 목록으로부터 0부터 n까지의 차별적이고 편견적인 언어 마커를 발견하는 데, 여기서 각각의 언어 마커는 전체 편향 점수 및 차별적 레이블에 기여하는 인지적 구성요소 측정(cognitive component measurement, CCM)의 두 번째 언어적 임베딩을 나타낸다.
2. 주어진 사람 그룹, 소수자 또는 보호 받는 계층의 유무, 강도 및 정도에 따라 이들을 향한 편견, 편향 또는 차별적 관점이나 관행과 연관된 계산된 인지 언어적 특징뿐만 아니라, 사람 그룹의 처리 간의 차이를 강조할 수 있는 코퍼스 내 문구의 스킵 그램에 대한 사용 가능한 나열.
3. 사람에 의해 관찰되고 기계 학습 알고리즘에 의해서도 분석되고 등급화될 소셜 미디어 데이터 및 메타데이터뿐만 아니라 사운드, 이미지 및 비디오의 코퍼스를 임의적으로 모아, 모든 측면에서 마이크로표현 분석, 음파 분석 및 계산을 통해 암묵적인 편향, 차별 및 편견뿐만 아니라 승인된 액세스, 업로드, 라이브 비디오, 오디오 또는 카메라 캡처물로부터의 구어 전사본을 평가한다.
4. 이미지, 비디오, 오디오, 필사되거나 전사되거나 번역된 텍스트, 설문조사 데이터, 인터뷰, 또는 라이브, 웹 사이트나 소셜 미디어 상호작용의 댓글 및 임의의 대응하는 메타데이터를 통해, 관찰자 자신으로부터 입력의 추가적인 임의적 캡처.
5. 텍스트 코퍼스에 표시된 곳에 자연어 패키지 배치를 수행하여, 코퍼스의 맥락에서 각각의 단어에 대한 품사(POS) 태그를 생성하고, 구어의 대응하는 부분에 각각의 단어의 매핑을 생성.
6. 해당하는 경우, 이것으로 제한되는 것은 아니지만 구조적 의존성 및 배열을 비롯한, 추가의 언어적 나열, 표기법 및 태깅을 배치한다.
7. 이것으로 제한되는 것은 아니지만: 의미론적 분할, 리프레이밍 및 정규화를 비롯한, 임의의 얼굴 이미지의 식별 및 전처리.
8. 사용자 감정, 의도, 의견을 표시할 수 있는 관련성 있고 시간이 정해진 사용자 제작 오디오 스니펫의 식별 및 전처리.
9. 입력에 해당하는 경우, 주어진 사람 그룹, 보호 받는 계층 또는 소수자에 대한 편향, 차별, 편견, 편애를 디스플레이하는 선별된 코퍼스 또는 프로토타입 텍스트뿐만 아니라 전사되거나, 번역되거나, 입력되거나 스크랩된 자연어 텍스트, 제스처 입력, 얼굴 표정 또는 자연스러운 구어에 대해 선택된 모델을 훈련한다.
10. 입력 유형에 해당하는 경우, 수집되고 전처리된 얼굴 데이터에 기초하여 컴퓨터 비전 감정 검출 모델을 훈련한다.
11. 입력에 해당하는 경우, 사용자에 의해 생성된 수집되고, 식별되고 전처리된 사운드, 구어에 대한 오디오 감정 인식 모델을 훈련한다.
12. 선택사항으로, 얼굴 감정 예측을 사용하여 이미지(들)의 감정 레이블을 예측하고, 그 레이블을 사용자의 기존 텍스트에 연관시킨다. 이것은 끌어낸 추가 데이터가 응답의 신뢰성, 신뢰, 유죄 추정, 진실 추정 및 호감도의 레벨로 이미지와 텍스트 데이터에 태그 지정할 수 있게 한다.
13. 선택사항으로, 사운드 감정 예측을 사용하여 이미지(들)의 감정 레이블을 예측하고, 그 레이블을 사용자의 기존 텍스트에 연관시킨다. 이것은 끌어낸 추가 데이터가 그 응답의 신뢰성, 신뢰, 유죄 추정, 진실 추정 및 호감도의 레벨로 사운드와 텍스트 데이터에 태그 지정할 수 있게 한다.
14. 사람 그룹의 대우 간 차이를 잠재적으로 하이라이트하는 품사 그램(POS-그램)을 나열한다.
15. 데이터에 상주하는 POS-그램과 스킵-그램의 빈도를 열거하고 조사한다.
16. 하나 이상의 통계적 접근법을 사용하여, 사람 그룹의 대우 간 차이를 잠재적으로 하이라이트하거나 강조하는 스킵 그램 및 품사 그램을 발견한다.
17. 필요한 경우, 주어진 사람 그룹, 통제 그룹 또는 일반 집단을 향한 복수의 맥락에서 편향의 사회언어학적 지표의 배열을 포함하는 인간 또는 기계 생성 단어 목록을 사용하여 데이터를 증강한다.
18. 데이터 증강 방법을 적절하게 적용하여 특징으로서 사용할 유사한 시노그램(의미상으로 n-그램과 유사)를 생성한다.
19. 각각의 단어를 식별된 단어에 유사한 의미론적 의미, 유인가, 감성 레이블, 감성 클러스터, 의미론적 연관 또는 극성을 갖는 각각의 단어 또는 단어 시퀀스로 구성된 배열로 대체함으로써 필요에 따라 빈번한 n-그램의 확대.
20. Word2Vec 임베딩 공간에서 k-최근접 이웃을 가진 빈번한 n-그램 목록의 임의의 증강을 확장하여, 목록으로부터 반의어와 동의어를 각각 부가적으로 정렬한다.
21. 표시된 사례의 경우, 극성, 감성, 유인가, 클러스터 또는 의미론적 연관이나 의미에서 각각 상당한 차이, 거리 및 방향성을 갖는 두 개 이상의 용어 또는 단어에 의해 차별화된 스킵-그램을 비교한다.
22. 입력된 코퍼스 기반의 스크랩되거나, 번역되거나 전사된 텍스트 또는 구어에서 열거되고 증강된 특징의 존재를 검출하여, 편향의 지표인 특징을 구별한다.
23. 이것으로 제한되는 것은 아니지만 텍스트 얼굴 이미지 특징을 비롯한, 검출된 특징에 기초하여 적용 가능한 각각의 레이블에 대한 데이터 라인의 점수를 계산한다.
24. 임의의 증강된 데이터 및 입력으로부터 선택된 특징에 대해, 이것으로 제한되는 것은 아니지만 LSTM, 트랜스포머, CNN, KNN, 클러스터링, 랜덤 포레스트, 선형 회귀 및 베이지안 확률을 비롯한, 기계 학습 방법을 훈련하여 편향을 정량화한다.
25. 이미지 및 텍스트 데이터를 사용하여 암묵적 편향, 차별 점수, 편견 점수, 신뢰성 점수, 진실 점수, 유죄 추정 점수 및 호감도 점수를 출력하고 등급을 정한다.
26. 다음의 훈련된 모델을 사용하여 주어진 구어 또는 텍스트 입력과 연관된 임의의 비디오, 이미지 또는 사운드 파일에서 편향, 차별 또는 편견을 예측한다.
27. 다른 사람 그룹 의사소통, 제스처, 이미지, 음성 또는 프로파일 데이터와 관련하여 호의적, 비호의적, 중립적 얼굴, 텍스트 또는 청각 표현과 반응(및 그 하위 차원과 특정 감정)의 비율, 시점이나 구절 경계, 또는 단어 수를 분석함으로써 상이하고 구별되는 사람 그룹에 의한 유사하거나 동일한 의사소통에 대한 오디오, 텍스트, 컴퓨터 비전 반응의 평가.
위의 개시내용은 또한 아래에 열거된 실시예를 망라한다.
(1) 처리 회로에 의해 감정-인지로 자연어 콘텐츠를 자동으로 증강하기 위한 방법. 방법은, 입력 디바이스를 통해, 자연어 콘텐츠를 텍스트 입력으로서 수신하는 단계와, 처리 회로에 의해, 주어진 감정-인지에 대한 복수의 언어 규칙과 텍스트 입력의 구성요소 사이의 매치를 검색하는 단계 - 여기서 언어 규칙의 인스턴스는 적어도 하나의 인간 차원을 가짐 - 와, 처리 회로에 의해, 매칭된 언어 규칙을 활성화하고, 활성화된 매칭된 언어 규칙 중 적어도 하나의 인간 차원을 평가하는 단계와, 처리 회로에 의해, 각각의 인간 차원을 점수화하여 주어진 감정-인지에 대한 차원 점수의 프로토타입 프로파일을 획득하는 단계와, 처리 회로에 의해, 획득된 차원 점수의 프로파일 내 차원을 집합하여 주어진 감정-인지에 대한 강도 표시를 획득하는 단계와, 디스플레이에 의해, 매칭된 언어 규칙을 주어진 감정-인지와 관련시키고 주어진 감정-인지의 각각의 강도 표시를 시그널링하는 방식으로 증강된 자연어 콘텐츠를 디스플레이하는 단계를 포함할 수 있다.
(2) 특징 (1)의 방법으로서, 인간 차원은 감성, 감정, 감정-인지 태도, 가치, 사회적 관습, 사고방식, 전망, 측면, 반응, 특성, 신념, 의견, 관점, 동기, 편향, 상태, 매너, 접근 방식, 역동성, 성격 특성, 감정적 접근, 감정적 선택, 반응, 성향, 일시적 상태, 상태 변화, 인지적 측면, 행동적 측면, 내부 상태, 외부 상태, 느낌, 감정, 명제, 태도, 명제적 태도, 지향적 태도, 무지향적 태도, 자기 지향적 태도, 의식적 감정-인지, 무의식적 감정-인지, 분노, 기대, 혐오, 두려움, 기쁨, 슬픔, 놀람, 신뢰, 자아, 비난, 순응, 신성성, 친절, 존경, 시간, 호의, 승인, 성실, 취약성, 판단, 분리성, 목적, 형식, 최소화, 특이성, 힘, 행동, 작인, 호기심, 명확성, 의도, 강조, 에너지, 확실성, 관심, 참여, 충격 또는 놀라움, 긴장, 속도, 뉘앙스, 논리, 편집증, 거리, 동일시, 존중, 객관화, 애착, 공감 및 참을성의 감정적 정서 중 하나 이상을 포함하고, 각각의 차원은 긍정적 힘의 +1, 부정적 힘의 -1, 중립적 힘의 0, 존재하지 않거나 해당 없음의 Ψ 중 하나인 값을 가지며, 처리 회로에 의해, 각각의 인간 차원을 점수화하는 단계는 매칭하는 모든 규칙에 대해 인간 차원을 점수화하는 단계를 포함한다.
(3) 특징 (1) 또는 (2)의 방법으로서, 복수의 언어 규칙을 사용하여 검색하는 단계는, 언어 규칙에 기초하여 구문을 검출하는 단계와, 검출된 각각의 구문의 인간 차원을 평가하는 단계를 더 포함한다.
(4) 특징 (1) 내지 특징 (3) 중 어느 하나의 방법으로서, 점수화하는 단계는 강도 표시를 주어진 감정-인지에 대한 임계값과 비교하여 감정적 강도 레벨을 획득하는 단계를 포함한다.
(5) 특징 (3)의 방법으로서, 구문을 검출하는 단계는 주어진 감정-인지와 관련된 구성요소를 갖는 자연어 콘텐츠에서 구문의 존재 또는 부재를 검출하는 단계를 더 포함한다.
(6) 특징 (1) 내지 특징 (5)항 어느 하나의 방법으로서, 처리 회로에 의해, 다른 언어 규칙에 의해 검출된 다른 감정-인지와 연쇄시킴으로써 주어진 감정-인지를 포함하는 감정-인지의 패턴을 결정하고 감정-인지의 패턴을 동적 감정-인지로 식별하는 단계와, 자연어 콘텐츠에 대해 시간 순서에서 연관된 구성요소와 함께 주어진 감정-인지 및 다른 감정-인지를 추적하는 단계를 더 포함한다.
(7) 특징 (3)의 방법으로서, 구문을 검출하는 단계는, 구어 태깅 또는 구문 규칙 중 일부, 정확하거나, 부정확하거나, 마스킹되거나 와일드카드 지정된 문자열 매칭 규칙, 토큰 근접성 규칙, 구두점 규칙, 표제어 추출 규칙, 어간화 규칙, 어휘 규칙, 단어 조회 또는 사전 기반 규칙 중 하나 이상에 대한 숫자 값을 결정하는 단계를 더 포함한다.
(8) 특징 (7)의 방법으로서, 토큰 근접성 규칙에 대한 숫자 값을 결정하는 단계는, 자연어 콘텐츠에서 명시된 지점으로부터 n개 토큰보다 작은 거리를 갖는 모든 토큰에 액세스하는 단계를 포함하며, 여기서 n은 양의 정수이다.
(9) 특징 (1) 내지 특징 (8) 중 어느 하나의 방법으로서, 지도 학습과 비지도 학습 중 하나 이상을 수행하는 기계 학습 엔진에 의해 새로운 언어 규칙을 생성하는 단계를 더 포함한다.
(10) 특징 (9)의 방법으로서, 저장소로부터 복수의 자연어 데이터 항목을 수신하는 단계와, 수신된 복수의 자연어 데이터 항목을 전처리를 사용하여 정규화 및 토큰화하여 복수의 전처리된 자연어 데이터 항목을 생성하는 단계와, 표현된 감정-인지 및 표현된 감정-인지의 강도로 복수의 전처리된 자연어 데이터 항목에 레이블 지정하는 단계와, 복수의 전처리된 자연어 데이터 항목을 비지도 학습 엔진 및 지도 학습 엔진에 병렬로 제공하는 단계와, 다수의 훈련 에포크에서 비지도 학습 엔진 및 지도 학습 엔진을 병렬로 훈련하여, 자연어 데이터에서 특정 감정-인지를 식별하고 특정 감정-인지의 강도를 결정하는 단계 - 여기서, 비지도 학습 엔진의 각각의 훈련 에포크에서는 규칙 기반 엔진의 후속 훈련 에포크에 규칙 제안을 제공하고, 규칙 기반 엔진의 각각의 훈련 에포크에서는 비지도 학습 엔진 및 지도 학습 엔진의 후속 에포크에 표 작성 및 점수화 데이터를 제공함 - 와, 훈련된 비지도 학습 엔진 및 훈련된 지도 학습 엔진 중 적어도 하나를 나타내는 출력을 제공하는 단계를 더 포함한다.
(11) 특징 (1) 내지 특징 (10) 중 어느 하나의 방법으로서, 처리 회로에 의해, 규칙 기반 엔진에 대한 새로운 규칙을 식별하기 위해 인간 차원을 와일드카드 또는 패턴 스킵이 있거나 없는 기존 차원 배열에 매칭시킴으로써 자연어 콘텐츠 내에 존재하는 인간 차원의 매칭을 수행하는 새로운 언어 규칙을 생성하는 단계를 더 포함한다.
(12) 특징 (1) 내지 특징 (11) 중 어느 하나의 방법으로서, 수신하는 단계는 조정된 텍스트 전사본과 함께 스트리밍 라이브 비디오 또는 애니메이션 비디오 소스의 연속적인 판독을 더 포함하고, 방법은, 단어 동시 발생, 담론적 요소 및 토픽 요소에 기초하여 맥락적 단서를 결정하는 단계와, 개별 문자열 또는 n-그램을 3진 차원 점수로 마킹하는 단계와, 시각 데이터에서 명백한 추가 정보 또는 청각 데이터에서 명백한 톤 요소를 검출하여 별도이지만 시간 조정된 비디오의 소스에 입력하는 단계와, 맥락적 단서 및 추가 정보로부터 병치를 수행하여 비디오의 각각의 장면에 대한 맥락 점수를 생성하는 단계를 더 포함한다.
(13) 특징 (12)의 방법으로서, 디스플레이하는 단계는 주어진 감정-인지와 각각의 강도 표시가 괄호로 묶이고 구성요소에 인접한 인라인에 삽입되는 방식으로 텍스트 전사본을 디스플레이하는 단계를 포함한다.
(14) 특징 (1) 내지 (13) 중 어느 하나의 방법으로서, 규칙 발견 엔진에 의해 새로운 언어 규칙을 생성하는 단계를 더 포함하고, 방법은, 처리 회로에 의해, 자연어 콘텐츠에서 후크 단어 또는 단어 쌍을 검출하는 단계와, 검출된 후크 단어 또는 단어 쌍과 연관된 하나 이상의 인간 차원을 평가하여 후크 단어 또는 단어 쌍이 가능성 있는 감정-인지를 표시하는지를 결정하는 단계와, 가능성 있는 감정-인지가 존재할 때, 후크 단어 또는 단어 쌍을 둘러싸는 단어들의 미리 결정된 윈도우를 추출하는 단계와, 처리 회로에 의해, 하나 이상의 인간 차원을 점수화하여 후크 단어 또는 단어 쌍에 대한 차원 점수의 프로파일을 획득하는 단계와, 차원 점수의 프로파일이 과반을 넘을 때, 후크 단어 또는 단어 쌍 및 추출된 둘러싸는 단어에 기초하여 가능성 있는 감정-인지에 대한 새로운 규칙을 구성하는 단계를 더 포함한다.
(15) 특징 (1) 내지 (14) 중 어느 하나의 방법으로서, 언어 규칙이 매칭된 위치에서 텍스트 입력의 인덱스 위치를 식별하는 단계를 더 포함한다.
(16) 특징 (15)의 방법으로서, 인덱스 위치에서 감정-인지와 각각의 강도 표시로 텍스트 입력에 주석을 다는 단계를 더 포함한다.
(17) 특징 (1) 내지 특징 (16) 중 어느 하나의 방법으로서, 수신하는 단계는, 입력 디바이스를 통해, 자연어 콘텐츠를 오디오 입력으로서 수신하고 오디오 입력을 텍스트 입력으로 전사하는 단계를 더 포함하고, 방법은, 오디오 입력의 단편을 유사한 사운드 단편에 대한 저장된 규칙과 매칭시키고, 저장된 규칙의 감정-인지 레이블을 오디오 단편에 할당하는 단계를 더 포함한다.
(18) 전자 리더로서, 터치스크린 디스플레이와, 처리 회로와, 메모리를 포함하고, 터치스크린 디스플레이는 전자 책의 텍스트를 디스플레이하도록 구성되고; 처리 회로는, 트리거되면, 감정-인지 상태를 검출하고, 감정-인지 상태가 발생한 강도를 결정하는 규칙을 사용하여 텍스트를 스캔하고 태그 지정하도록 구성되고; 처리 회로는 디스플레이된 텍스트의 검출된 구성요소에 기초하여 역동성 및 감정-인지 강도 정보를 열거하기 위한 하나 이상의 사이드바를 생성하고 디스플레이하도록 구성되고; 터치스크린은, 디스플레이의 한 위치에서 터치될 때, 동적 또는 감정-인지 강도를 선택하도록 구성되고, 처리 회로는 또한, 선택된 동적 또는 감정-인지 강도의 발생을 지정하는 컬러 코딩된 하이라이팅을 생성하고 디스플레이하도록 구성된다.
(19) 심리적 장애를 완화하기 위한 시스템으로서, 처리 회로 및 메모리를 갖는 이동 디바이스와, 통신 디바이스 및 하나 이상의 액추에이터를 갖는 주변 디바이스를 포함하고, 이동 디바이스의 메모리는 프로그램 명령어를 저장하고, 프로그램 명령어는 이동 디바이스의 처리 회로에 의해 실행될 때, 이동 디바이스로 하여금 다음의 방법을 수행하게 하고, 다음의 방법은, 입력 디바이스를 통해, 자연어 콘텐츠를 텍스트 입력으로서 수신하는 단계와, 처리 회로에 의해, 주어진 감정-인지에 대한 복수의 언어 규칙과 텍스트 입력의 구성요소 사이의 매치를 검색하는 단계 - 여기서 언어 규칙의 인스턴스는 적어도 하나의 인간 차원을 가짐 - 와, 처리 회로에 의해, 매칭된 언어 규칙을 검출하여 주어진 감성-인지에 대한 강도 표시를 획득하는 단계와, 주어진 감성-인지에 대한 강도 표시가 제 1 임계값을 초과하는 감정-인지 강도에 도달할 때, 감성-인지 강도를 식별하는 제 1 활성화 신호를 전송하는 단계를 포함하고, 주변 디바이스는, 통신 디바이스를 통해, 전송된 제 1 활성화 신호를 수신하고, 감각 해리를 생성하기 위해 하나 이상의 액추에이터를 활성화하여 심리적 장애를 완화하도록 구성된다.
(20) 특징 (19)의 시스템으로서, 프로그램 명령어는, 이동 디바이스의 처리 회로에 의해 실행될 때, 이동 디바이스로 하여금 또한 다음의 방법을 수행하게 하고, 다음의 방법은, 입력 디바이스를 통해, 자연어 콘텐츠를 추가 텍스트 입력으로서 계속해서 수신하는 단계와, 주어진 감정-인지에 대한 강도 표시가 제 2 임계값을 초과하는 부정적 감정에 대한 감정적 강도에 도달할 때, 부정적 감정에 대한 감정적 강도를 식별하는 제 2 활성화 신호를 전송하는 단계를 포함하고, 주변 디바이스는 또한 전송된 제 2 활성화 신호를 수신하고, 상이한 무작위 감각 해리를 생성하기 위해 하나 이상의 액추에이터를 활성화하여 성격 장애를 완화하도록 구성된다.
(21) 특징 (1)의 방법으로서, 강도 표시에 기초하여 자연어 콘텐츠의 단어를 하이라이팅하는 단계와, 하이라이팅된 단어를 가진 자연어 콘텐츠를 디스플레이로 전송하는 단계와, 비디오 스트리밍 세션의 진행 동안 하이라이팅된 단어를 가진 자연어 콘텐츠를 디스플레이에 증강 현실 디스플레이로서 디스플레이하는 단계를 더 포함한다.
(22) 특징 (18)의 전자 리더로서, 감정-인지 상태와 관련된 구성요소를 갖는 텍스트에서 구어의 존재 또는 부재를 검출하는 것과, 사용자가 터치스크린에 디스플레이된 텍스트를 터치할 때, 텍스트의 감정 및 인지의 표현을 디스플레이하는 것을 더 포함하고, 여기서 표현은 컬러 히트맵(color heat map)이다.
(23) 특징 (18)의 전자 리더로서, 전자 리더가 판독하는 동안 터치될 때 보이는 인덱스 위치에서 감정-인지 상태 및 각각의 강도로 텍스트에 주석을 다는 것을 더 포함한다.
(24) 특징 (19)의 시스템으로서, 매칭된 언어 규칙의 검출에 응답하여, 이동 디바이스가 언어 규칙에 기초하여 주변 디바이스의 컬러 코딩된 조명을 트리거하기 위해, 전기 신호 또는 짧은 전파를 전송하도록 구성되는 것을 더 포함한다.
(25) 특징 (19)의 시스템으로서, 주변 디바이스는, 주어진 감정-인지에 대한 강도 표시에 따라 LED를 활성화하도록 구성된 컬러의 기하학적 디스플레이를 더 포함한다.
(26) 특징 (19)의 시스템으로서, 이동 디바이스에 의해 수행되는 방법은, 강도 표시를 주어진 감정-인지에 대한 임계값과 비교하여 인지-감정 상태에 대한 감정적 강도 레벨을 획득하는 단계를 더 포함하고, 주변 디바이스는 컬러 발광 다이오드 및 진동기를 포함하고, 강도 표시가 임계값을 넘을 때 컬러 발광 다이오드를 통해 인지-감정 상태를 브로드캐스트하고, 진동기를 통해 진동하도록 구성된다.
(27) 특징 (19)의 시스템으로서, 이동 디바이스에 의해 수행되는 방법은, 다른 언어 규칙에 의해 검출된 다른 감정-인지와 연쇄시킴으로써 주어진 감정-인지를 포함하는 감정-인지의 패턴을 결정하고 감정-인지의 패턴을 동적 감정-인지로서 식별하는 단계를 더 포함하고, 주변 디바이스는 LED 조명 및 감정-인지가 변화함에 따라 바뀌는 LED 조명의 펄싱에 맞추어 진동하는 진동 디바이스를 포함한다.
(28) 특징 (19)의 시스템으로서, 이동 디바이스에 의해 수행되는 방법은, 주변 디바이스의 착용자가 말할 때 오디오 대화가 수신되고 전사되는 동안 언어 규칙이 매칭된 위치에서 텍스트 입력의 인덱스 위치를 식별하는 단계를 더 포함한다.
Claims (28)
- 처리 회로에 의해, 자연어 콘텐츠를 감정-인지로 자동으로 증강하기 위한 방법으로서,
입력 디바이스를 통해, 상기 자연어 콘텐츠를 텍스트 입력으로서 수신하는 단계와,
상기 처리 회로에 의해, 주어진 감정-인지에 대한 복수의 언어 규칙과 상기 텍스트 입력의 구성요소 간의 매치를 검색하는 단계 - 상기 언어 규칙의 인스턴스는 적어도 하나의 인간 차원(human dimension)을 가짐 - 와,
상기 처리 회로에 의해, 상기 매칭된 언어 규칙을 활성화하고, 상기 활성화된 매칭된 언어 규칙의 상기 적어도 하나의 인간 차원을 평가하는 단계와,
상기 처리 회로에 의해, 상기 주어진 감정-인지에 대한 차원 점수의 프로토타입 프로파일을 획득하기 위해 각각의 인간 차원을 점수화하는 단계와,
상기 처리 회로에 의해, 상기 획득된 차원 점수 프로파일 내 차원을 집합하여 상기 주어진 감정-인지에 대한 강도 표시를 획득하는 단계와,
디스플레이에 의해, 상기 매칭된 언어 규칙을 상기 주어진 감정-인지에 관련시키고 상기 주어진 감정-인지의 각각의 강도 표시를 시그널링하는 방식으로 증강된 상기 자연어 콘텐츠를 디스플레이하는 단계를 포함하는,
방법. - 제 1 항에 있어서,
상기 인간 차원은 감성, 감정, 감정-인지 태도, 가치, 사회적 관습, 사고방식, 전망, 측면, 반응, 특성, 신념, 의견, 관점, 동기, 편향, 상태, 매너, 접근 방식, 역동성, 성격 특성, 감정적 접근, 감정적 선택, 반응, 성향, 일시적 상태, 상태 변화, 인지적 측면, 행동적 측면, 내부 상태, 외부 상태, 느낌, 감정, 명제, 태도, 명제적 태도, 지향적 태도, 무지향적 태도, 자기 지향적 태도, 의식적 감정-인지, 무의식적 감정-인지, 분노, 기대, 혐오, 두려움, 기쁨, 슬픔, 놀람, 신뢰, 자아, 비난, 순응, 신성성, 친절, 존경, 시간, 호의, 승인, 성실, 취약성, 판단, 분리성, 목적, 형식, 최소화, 특이성, 힘, 행동, 작인, 호기심, 명확성, 의도, 강조, 에너지, 확실성, 관심, 참여, 충격 또는 놀라움, 긴장, 속도, 뉘앙스, 논리, 편집증, 거리, 동일시, 존중, 객관화, 애착, 공감 및 참을성의 감정적 정서 중 하나 이상을 포함하고,
각각의 차원은 긍정적 힘의 +1, 부정적 힘의 -1, 중립적 힘의 0, 존재하지 않거나 해당 없음의 Ψ 중 하나인 값을 가지며,
상기 처리 회로에 의해, 각각의 인간 차원을 점수화하는 단계는, 모든 매칭 규칙에 대해 인간 차원을 점수화하는 단계를 포함하는,
방법. - 제 1 항에 있어서,
상기 복수의 언어 규칙을 사용하여 검색하는 단계는,
상기 언어 규칙에 기초하여 구문(speech)을 검출하는 단계와,
각각의 검출된 구문의 상기 인간 차원을 평가하는 단계를 더 포함하는,
방법. - 제 1 항에 있어서,
상기 점수화하는 단계는,
상기 강도 표시를 상기 주어진 감정-인지에 대한 임계값과 비교하여 감정적 강도 레벨을 획득하는 단계를 포함하는,
방법. - 제 3 항에 있어서,
상기 구문을 검출하는 단계는,
상기 주어진 감정-인지와 관련된 구성요소를 갖는 상기 자연어 콘텐츠에서 구어의 존재 또는 부재를 검출하는 단계를 더 포함하는,
방법. - 제 1 항에 있어서,
상기 처리 회로에 의해, 다른 언어 규칙에 의해 검출된 다른 감정-인지와 연쇄시킴으로써 상기 주어진 감정-인지를 포함하는 감정-인지의 패턴을 결정하고 상기 감정-인지의 패턴을 동적 감정-인지로서 식별하는 단계와,
상기 주어진 감정-인지 및 상기 다른 감정-인지를 상기 자연어 콘텐츠에 걸친 시간 순서로 연관된 구성요소와 함께 추적하는 단계를 더 포함하는,
방법. - 제 3 항에 있어서,
상기 구문을 검출하는 단계는,
구어 태깅 또는 구문 규칙의 일부,
정확하거나, 부정확하거나, 마스킹되거나 와일드카드 지정된 스트링 매칭 규칙,
토큰 근접성 규칙,
구둣점 규칙,
표제어 추출 규칙,
어간화 규칙,
어휘 규칙, 및
단어 조회 또는 사전 기반 규칙
중 하나 이상에 대한 숫자 값을 결정하는 단계를 더 포함하는,
방법. - 제 7 항에 있어서,
상기 토큰 근접성 규칙에 대한 숫자 값을 결정하는 단계는, 상기 자연어 콘텐츠에서 명시된 지점으로부터 n개 토큰보다 작은 거리를 갖는 모든 토큰에 액세스하는 단계를 포함하며, n은 양의 정수인,
방법. - 제 1 항에 있어서,
지도 학습과 비지도 학습 중 하나 이상을 수행하는 기계 학습 엔진에 의해 새로운 언어 규칙을 생성하는 단계를 더 포함하는,
방법. - 제 9 항에 있어서,
저장소로부터 복수의 자연어 데이터 항목을 수신하는 단계와,
상기 수신된 복수의 자연어 데이터 항목을 전처리를 사용하여 정규화 및 토큰화하여 복수의 전처리된 자연어 데이터 항목을 생성하는 단계와,
표현된 감정-인지 및 상기 표현된 감정-인지의 강도로 상기 복수의 전처리된 자연어 데이터 항목에 레이블 지정하는 단계와,
상기 복수의 전처리된 자연어 데이터 항목을 비지도 학습 엔진 및 지도 학습 엔진에 병렬로 제공하는 단계와,
다수의 훈련 에포크에서 상기 비지도 학습 엔진 및 상기 지도 학습 엔진을 병렬로 훈련하여, 상기 자연어 데이터에서, 특정 감정-인지를 식별하고 상기 특정 감정-인지의 강도를 결정하는 단계 - 상기 비지도 학습 엔진의 각각의 훈련 에포크에서는 상기 규칙 기반 엔진의 후속 훈련 에포크에 규칙 제안을 제공하고, 상기 규칙 기반 엔진의 각각의 훈련 에포크에서는 상기 비지도 학습 엔진 및 상기 지도 학습 엔진의 후속 에포크에 표 작성 및 점수화 데이터를 제공함 - 와,
상기 훈련된 비지도 학습 엔진 및 상기 훈련된 지도 학습 엔진 중 적어도 하나를 나타내는 출력을 제공하는 단계를 더 포함하는,
방법. - 제 1 항에 있어서,
상기 처리 회로에 의해, 상기 규칙 기반 엔진에 대한 새로운 규칙을 식별하기 위해, 상기 인간 차원을 와일드카드 또는 패턴 스킵을 갖는 기존 차원 배열에 매칭시킴으로써 상기 자연어 콘텐츠 내에 존재하는 인간 차원의 매칭을 수행하는 새로운 언어 규칙을 생성하는 단계를 더 포함하는,
방법. - 제 1 항에 있어서,
상기 수신하는 단계는 조정된 텍스트 전사본과 함께 스트리밍 라이브 비디오 또는 애니메이션 비디오 소스의 연속적인 판독을 더 포함하고,
상기 방법은,
단어 동시 발생, 담론적 요소 및 토픽 요소에 기초하여 맥락적 단서를 결정하는 단계와,
개별 문자열 또는 n-그램을 3진 차원 점수로 마킹하는 단계와,
시각 데이터에서 명백한 추가 정보 또는 청각 데이터에서 명백한 톤 요소를 검출하여 별도이지만 시간 조정된 상기 비디오의 소스에 입력하는 단계와,
상기 맥락적 단서 및 추가 정보로부터 병치를 수행하여, 상기 비디오의 각각의 장면에 대한 맥락 점수를 생성하는 단계를 더 포함하는,
방법. - 제 12 항에 있어서,
상기 디스플레이하는 단계는, 상기 주어진 감정-인지와 각각의 강도 표시가 괄호로 묶이고 상기 구성요소에 인접하여 인라인에 삽입되는 방식으로 상기 텍스트 전사본을 디스플레이하는 단계를 포함하는,
방법. - 제 1 항에 있어서,
규칙 발견 엔진에 의해 새로운 언어 규칙을 생성하는 단계를 더 포함하고,
상기 방법은,
상기 처리 회로에 의해, 상기 자연어 콘텐츠에서 후크 단어 또는 단어 쌍을 검출하는 단계와,
상기 검출된 후크 단어 또는 단어 쌍과 연관된 하나 이상의 인간 차원을 평가하여, 상기 후크 단어 또는 단어 쌍이 가능성 있는 감정-인지를 표시하는지를 결정하는 단계와,
가능성 있는 감정-인지가 존재할 때, 상기 후크 단어 또는 단어 쌍을 둘러싸는 단어들의 미리 결정된 윈도우를 추출하는 단계와,
상기 처리 회로에 의해, 하나 이상의 인간 차원을 점수화하여 상기 후크 단어 또는 단어 쌍에 대한 차원 점수의 프로파일을 획득하는 단계와,
상기 차원 점수의 프로파일이 과반을 넘을 때, 상기 후크 단어 또는 단어 쌍 및 추출된 둘러싸는 단어에 기초하여 상기 가능성 있는 감정-인지에 대한 새로운 규칙을 구성하는 단계를 더 포함하는,
방법. - 제 1 항에 있어서,
언어 규칙이 매칭된 위치에서 상기 텍스트 입력의 인덱스 위치를 식별하는 단계를 더 포함하는,
방법. - 제 15 항에 있어서,
상기 인덱스 위치에서 감정-인지 및 각각의 강도 표시로 텍스트 입력에 주석을 다는 단계를 더 포함하는,
방법. - 제 1 항에 있어서,
상기 수신하는 단계는, 상기 입력 디바이스를 통해, 상기 자연어 콘텐츠를 오디오 입력으로서 수신하고 상기 오디오 입력을 텍스트 입력으로 전사하는 단계를 더 포함하고, 상기 방법은,
상기 오디오 입력의 단편을 유사한 사운드 단편에 대한 저장된 규칙과 매칭시키고, 상기 저장된 규칙의 감정-인지 레이블을 상기 오디오 단편에 할당하는 단계를 더 포함하는,
방법. - 전자 리더로서,
터치스크린 디스플레이와,
처리 회로와,
메모리를 포함하고,
상기 터치스크린 디스플레이는 전자 책의 텍스트를 디스플레이하도록 구성되고,
상기 처리 회로는, 트리거되면, 감정-인지 상태를 검출하고, 상기 감정-인지 상태가 발생한 강도를 결정하는 규칙을 사용하여 상기 텍스트를 스캔하고 태그 지정하도록 구성되고,
상기 처리 회로는 상기 디스플레이된 텍스트의 검출된 구성요소에 기초하여 역동성 및 감정-인지 강도 정보를 열거하기 위한 하나 이상의 사이드바를 생성하고 디스플레이하도록 구성되고,
상기 터치스크린은, 상기 디스플레이의 한 위치에서 터치될 때, 동적 또는 감정-인지 강도를 선택하도록 구성되고,
상기 처리 회로는 또한, 상기 선택된 동적 또는 감정-인지 강도의 발생을 지정하는 컬러 코딩된 하이라이팅(color-coded highlighting)을 생성하고 표시하도록 구성되는,
전자 리더. - 심리적 장애를 완화하기 위한 시스템으로서,
처리 회로 및 메모리를 갖는 이동 디바이스와,
통신 디바이스 및 하나 이상의 액추에이터를 갖는 주변 디바이스를 포함하고,
상기 이동 디바이스의 메모리는 프로그램 명령어를 포함하고, 상기 프로그램 명령어는 상기 이동 디바이스의 처리 회로에 의해 실행될 때, 상기 이동 디바이스로 하여금 다음의 방법을 수행하게 하고, 상기 방법은,
입력 디바이스를 통해, 자연어 콘텐츠를 텍스트 입력으로서 수신하는 단계와,
상기 처리 회로에 의해, 주어진 감정-인지에 대한 복수의 언어 규칙과 상기 텍스트 입력의 구성요소 간의 매치를 검색하는 단계 - 상기 언어 규칙의 인스턴스는 적어도 하나의 인간 차원(human dimension)을 가짐 - 와,
상기 처리 회로에 의해, 상기 매칭된 언어 규칙을 검출하여 상기 주어진 감성-인지에 대한 강도 표시를 획득하는 단계와,
상기 주어진 감성-인지에 대한 강도 표시가 제 1 임계값을 초과하는 감정-인지 강도에 도달할 때, 상기 감성-인지 강도를 식별하는 제 1 활성화 신호를 전송하는 단계를 포함하고,
상기 주변 디바이스는, 상기 통신 디바이스를 통해, 상기 전송된 제 1 활성화 신호를 수신하고, 감각 해리(sensory distraction)를 생성하기 위해 하나 이상의 액추에이터를 활성화하여 상기 심리적 장애를 완화하도록 구성되는,
시스템. - 제 19 항에 있어서,
상기 프로그램 명령어는, 상기 이동 디바이스의 처리 회로에 의해 실행될 때, 상기 이동 디바이스로 하여금 또한 다음의 방법을 수행하게 하고, 상기 방법은,
입력 디바이스를 통해, 상기 자연어 콘텐츠를 추가 텍스트 입력으로서 계속해서 수신하는 단계와,
상기 주어진 감정-인지에 대한 강도 표시가 제 2 임계값을 초과하는 부정적 감정에 대한 감정적 강도에 도달할 때, 상기 부정적 감정에 대한 감정적 강도를 식별하는 제 2 활성화 신호를 전송하는 단계를 포함하고,
상기 주변 디바이스는 또한, 상기 전송된 제 2 활성화 신호를 수신하고, 상이한 무작위 감각 해리를 생성하기 위해 하나 이상의 액추에이터를 활성화하여 상기 성격 장애를 완화하도록 구성되는,
시스템. - 제1항에 있어서,
상기 강도 표시에 기초하여 상기 자연어 콘텐츠의 단어를 하이라이팅하는 단계와,
상기 하이라이팅된 단어를 가진 상기 자연어 콘텐츠를 상기 디스플레이로 전송하는 단계와,
비디오 스트리밍 세션의 진행 동안 상기 하이라이팅된 단어를 가진 상기 자연어 콘텐츠를 상기 디스플레이에 증강 현실 디스플레이로서 디스플레이하는 단계를 더 포함하는,
방법. - 제 18 항에 있어서,
상기 감정-인지 상태와 관련된 구성요소를 갖는 상기 텍스트에서 구어의 존재 또는 부재를 검출하는 것과,
사용자가 터치스크린에 디스플레이된 텍스트를 터치할 때, 상기 텍스트의 상기 감정 및 인지의 표현을 디스플레이하는 것을 더 포함하고, 상기 표현은 컬러 히트맵(color heat map)인,
전자 리더. - 제 18 항에 있어서,
상기 전자 리더가 판독하는 동안 터치될 때 보이는 인덱스 위치에서 상기 감정-인지 상태 및 각각의 강도로 상기 텍스트에 주석을 다는 것을 더 포함하는,
전자 리더. - 제 19 항에 있어서,
상기 매칭된 언어 규칙의 검출에 응답하여,
상기 이동 디바이스는, 상기 언어 규칙에 기초하여 상기 주변 디바이스의 컬러 코딩된 조명을 트리거하기 위해, 전기 신호 또는 짧은 전파를 전송하도록 구성되는 것을 더 포함하는,
시스템. - 제 19 항에 있어서,
상기 주변 디바이스는 상기 주어진 감정-인지에 대한 강도 표시에 따라 LED를 활성화하도록 구성된 컬러의 기하학적 디스플레이를 더 포함하는,
시스템. - 제 19 항에 있어서,
상기 이동 디바이스에 의해 수행되는 방법은,
상기 강도 표시를 상기 주어진 감정-인지에 대한 임계값과 비교하여 인지-감정 상태에 대한 감정적 강도 레벨을 획득하는 단계를 더 포함하고,
상기 주변 디바이스는, 컬러 발광 다이오드 및 진동기를 포함하고, 상기 강도 표시가 임계값을 넘을 때 상기 컬러 발광 다이오드를 통해 상기 인지-감정 상태를 브로드캐스트하고, 상기 진동기를 통해 진동하도록 구성되는,
시스템. - 제 19 항에 있어서,
상기 이동 디바이스에 의해 수행되는 방법은,
다른 언어 규칙에 의해 검출된 다른 감정-인지와 연쇄시킴으로써 상기 주어진 감정-인지를 포함하는 감정-인지의 패턴을 결정하고 상기 감정-인지의 패턴을 동적 감정-인지로서 식별하는 단계를 더 포함하고,
상기 주변 디바이스는 LED 조명 및 상기 감정-인지가 변화함에 따라 바뀌는 상기 LED 조명의 펄싱에 맞추어 진동하는 진동 디바이스를 포함하는,
시스템. - 제 19 항에 있어서,
상기 이동 디바이스에 의해 수행되는 상기 방법은, 상기 주변 디바이스의 착용자가 말할 때 오디오 대화가 수신되고 전사되는 동안 언어 규칙이 매칭된 위치에서 상기 텍스트 입력의 인덱스 위치를 식별하는 단계를 더 포함하는,
시스템.
Applications Claiming Priority (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163162987P | 2021-03-18 | 2021-03-18 | |
| US63/162,987 | 2021-03-18 | ||
| US202163163618P | 2021-03-19 | 2021-03-19 | |
| US202163163621P | 2021-03-19 | 2021-03-19 | |
| US63/163,621 | 2021-03-19 | ||
| US63/163,618 | 2021-03-19 | ||
| US17/589,512 US20220245354A1 (en) | 2021-01-29 | 2022-01-31 | Automated classification of emotio-cogniton |
| US17/589,512 | 2022-01-31 | ||
| PCT/US2022/020994 WO2022183138A2 (en) | 2021-01-29 | 2022-03-18 | Automated classification of emotio-cogniton |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240004236A true KR20240004236A (ko) | 2024-01-11 |
Family
ID=87555233
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237029452A KR20240004236A (ko) | 2021-03-18 | 2022-03-18 | 감정 인지의 자동화된 분류 |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP2024505268A (ko) |
| KR (1) | KR20240004236A (ko) |
| CA (1) | CA3207044A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117577120B (zh) * | 2024-01-17 | 2024-04-05 | 清华大学 | 结合大语言模型的深度合成音频检测方法、系统和产品 |
-
2022
- 2022-03-18 JP JP2023546559A patent/JP2024505268A/ja active Pending
- 2022-03-18 KR KR1020237029452A patent/KR20240004236A/ko unknown
- 2022-03-18 CA CA3207044A patent/CA3207044A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CA3207044A1 (en) | 2022-09-01 |
| JP2024505268A (ja) | 2024-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Trotzek et al. | Utilizing neural networks and linguistic metadata for early detection of depression indications in text sequences | |
| Sailunaz et al. | Emotion detection from text and speech: a survey | |
| Gaur et al. | " Let me tell you about your mental health!" Contextualized classification of reddit posts to DSM-5 for web-based intervention | |
| Yadollahi et al. | Current state of text sentiment analysis from opinion to emotion mining | |
| Frenda et al. | The unbearable hurtfulness of sarcasm | |
| WO2022183138A2 (en) | Automated classification of emotio-cogniton | |
| Asghar et al. | Detection and classification of psychopathic personality trait from social media text using deep learning model | |
| Ghosh et al. | What does your bio say? Inferring Twitter users’ depression status from multimodal profile information using deep learning | |
| Krommyda et al. | Emotion detection in Twitter posts: a rule-based algorithm for annotated data acquisition | |
| Lee et al. | Discovering underlying sensations of human emotions based on social media | |
| Roy et al. | Perceptible sentiment analysis of students' WhatsApp group chats in valence, arousal, and dominance space | |
| Alqahtani et al. | Predicting emotions in online social networks: challenges and opportunities | |
| KR20240004236A (ko) | 감정 인지의 자동화된 분류 | |
| Liew | Fine-grained emotion detection in microblog text | |
| Begum et al. | Effective Techniques for Depression Detection on Social Media: A Comprehensive Review | |
| Ennaji et al. | A product reputation framework based on social multimedia content | |
| Desmet | Finding the online cry for help: automatic text classification for suicide prevention | |
| Xiong | Helpfulness-guided review summarization | |
| Kamarudin et al. | Social media for mental health: Data, methods, and findings | |
| Co et al. | Development of bilingual sentiment and emotion text classification models from covid-19 vaccination tweets in the philippines | |
| CZ2023331A3 (cs) | Automatizovaná klasifikace emocionální kognice | |
| Tanantong et al. | A Survey of Automatic Text Classification Based on Thai Social Media Data | |
| Byers et al. | Detecting Intensity of Anxiety in Language of Student Veterans with Social Anxiety Using Text Analysis | |
| Lai et al. | Cultural Differences Demonstrated by TV Series: A Cross-Cultural Analysis of Multimodal Features | |
| Eke | Multi-Feature Fusion Framework for Automatic Sarcasm Identification in Twitter Data |