KR20210027769A - Neural network based sentiment analysis and therapy system - Google Patents
Neural network based sentiment analysis and therapy system Download PDFInfo
- Publication number
- KR20210027769A KR20210027769A KR1020190108607A KR20190108607A KR20210027769A KR 20210027769 A KR20210027769 A KR 20210027769A KR 1020190108607 A KR1020190108607 A KR 1020190108607A KR 20190108607 A KR20190108607 A KR 20190108607A KR 20210027769 A KR20210027769 A KR 20210027769A
- Authority
- KR
- South Korea
- Prior art keywords
- emotion
- analysis
- neural network
- user
- analysis result
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Theoretical Computer Science (AREA)
- Psychiatry (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Machine Translation (AREA)
Abstract
Description
본원은 신경망 기반 감정 분석 및 감성 치료 시스템에 관한 것이다. 특히, 본원은 신경망 기반 감정 분석 장치, 방법 및 시스템, 신경망 기반 감정 분석 기반의 감정(감성) 치료 장치, 방법 및 시스템에 관한 것이다. The present application relates to a neural network-based emotion analysis and emotional treatment system. In particular, the present application relates to a neural network-based emotion analysis device, method and system, and a neural network-based emotion analysis-based emotion (emotional) treatment device, method, and system.
감성공학은 사람의 마음, 기분과 같은 비언어적 요소를 공학에 접목하여 실생활에 도움이 되도록 기술적으로 실현하는 것을 말한다. 기능, 품질에만 집중하던 과거 기업들의 전략과 달리 최근에는 사람들의 감성(감정)을 자극하거나 이를 활용하여 제품을 개발하는 것이 중심 전략이 되고 있다.Emotional engineering refers to the technical realization of non-verbal elements such as human mind and mood in engineering to be helpful in real life. Unlike the strategies of companies in the past that focused only on function and quality, in recent years, developing products by stimulating people's emotions (emotions) or utilizing them has become a central strategy.
감성컴퓨팅(Affective Computing)은 인간의 감성을 인지, 해석, 처리할 수 있는 시스템과 장치를 설계하는 것과 관련된 인공지능을 연구하고 개발하는 분야이며, 컴퓨터 과학, 심리학, 인지과학 등 다양한 분야가 융합된 인공지능 기반 시스템을 의미한다. 이는 물리적 또는 감각적 자극을 통해 사람들의 심리적인 반응을 인지하여 인간과 컴퓨터간 상호작용에 활용 가능한 기술이다.Affective Computing is a field that researches and develops artificial intelligence related to designing systems and devices that can recognize, interpret, and process human emotions. It refers to an artificial intelligence-based system. This is a technology that can be used for interaction between humans and computers by recognizing the psychological reactions of people through physical or sensory stimulation.
최근 기술의 향상에 따라 기계-인간 간에 긴밀한 관계를 맺고 있으며, 인간의 특성은 이성과 감성이어서 인간과 로봇이 상호작용을 할 때에 감성적(감정적)인 측면에 대한 고려가 필수적이라 할 수 있다. 이에 따라, 많은 국내외 기업에서 감성컴퓨팅과 관련된 연구를 활발히 진행하고 있으나, 아직까지는 상용화 초기 단계로서 연구할 가치가 높은 분야라 할 수 있다.With recent technological advances, machine-humans are in close relationship, and human characteristics are reason and sensibility, so it is essential to consider the emotional (emotional) aspect when humans and robots interact. Accordingly, many domestic and foreign companies are actively conducting research related to emotional computing, but it is still an early stage of commercialization and is a highly valuable field for research.
종래에 사용자의 감정(감성)을 분석하는 기술로는 음성분석, 자연어 처리 등을 이용한 감정 분석 기술들이 존재한다.Conventionally, as technologies for analyzing user's emotions (sensibility), there are emotion analysis technologies using voice analysis and natural language processing.
그런데, 종래에 공지된 음성분석 기반의 감정 분석 기술들은 사용자가 중립적인 억양으로 감정적인 문장을 말하는 경우에 대해서는 인지가 어렵고, 동일한 문장이라 개인차로 인하여 감정 분석 결과가 서로 다르게 도출되는 등 감정 분석 결과의 정확성이 떨어지는 문제가 있다.However, conventionally known voice analysis-based emotion analysis techniques are difficult to recognize when a user speaks an emotional sentence with a neutral accent, and the emotion analysis results are derived differently due to individual differences because of the same sentence. There is a problem of poor accuracy.
본원의 배경이 되는 기술은 [Yelin Kim and Emily Mower Provost. 2015. Emotion Recognition During Speech Using Dynamics of Multiple Regions of the Face. ACM Trans. Multimedia Comput. Commun. Appl. 12, 1s, Article 25 (October 2015), 23 pages.] 문헌에 개시되어 있다.The technology behind the present application is [Yelin Kim and Emily Mower Provost. 2015. Emotion Recognition During Speech Using Dynamics of Multiple Regions of the Face. ACM Trans. Multimedia Comput. Commun. Appl. 12, 1s, Article 25 (October 2015), 23 pages.].
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 보다 정확한 감정 분석 결과를 도출할 수 있는 신경망 기반 감정 분석 장치와 방법 및 신경망 기반 감정 분석 기반의 감정(감성) 치료 장치와 방법을 제공하려는 것을 목적으로 한다.The present application is to solve the problems of the prior art described above, and to provide a neural network-based emotion analysis device and method and a neural network-based emotion analysis-based emotion (emotional) treatment device and method capable of deriving more accurate emotion analysis results. The purpose.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical problem to be achieved by the embodiments of the present application is not limited to the technical problems as described above, and other technical problems may exist.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 제1 측면에 따른 신경망 기반 감정 분석 방법은, (a) 사용자로부터 입력된 음성 데이터에 신경망 기반의 음성분석을 적용하여 제1 감정 분석 결과를 산출하는 단계; (b) 상기 음성 데이터에 감정사전 기반의 문맥분석을 적용하여 제2 감정 분석 결과를 산출하는 단계; 및 (c) 상기 제1 감정 분석 결과 및 상기 제2 감정 분석 결과를 신경망의 입력으로 하여 상기 음성 데이터에 대한 통합 감정 분석 결과를 출력 제공하는 단계를 포함할 수 있다.As a technical means for achieving the above-described technical problem, the neural network-based emotion analysis method according to the first aspect of the present application includes (a) applying a neural network-based speech analysis to the voice data input from the user to obtain the first emotion analysis result. Calculating; (b) calculating a second emotion analysis result by applying a context analysis based on an emotion dictionary to the voice data; And (c) outputting an integrated emotion analysis result for the voice data by using the first emotion analysis result and the second emotion analysis result as inputs of a neural network.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 제2 측면에 따른 신경망 기반 감정 분석 기반의 감정 치료 방법은, 본원이 제1 측면에 따른 신경망 기반 감정 분석 방법을 수행하여 제공된 통합 감정 분석 결과를 기반으로 감정치료법을 결정하여 제공할 수 있다.As a technical means for achieving the above technical task, the emotion treatment method based on neural network-based emotion analysis according to the second aspect of the present application is an integrated emotion analysis result provided by performing the neural network-based emotion analysis method according to the first aspect of the present application. Based on the emotion treatment method can be determined and provided.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 제3 측면에 따른 신경망 기반 감정 분석 장치는, 사용자로부터 입력된 음성 데이터에 신경망 기반의 음성분석을 적용하여 제1 감정 분석 결과를 산출하는 음성분석 모듈; 상기 음성 데이터에 감정사전 기반의 문맥분석을 적용하여 제2 감정 분석 결과를 산출하는 문맥분석 모듈; 및 상기 제1 감정 분석 결과 및 상기 제2 감정 분석 결과를 신경망의 입력으로 하여 상기 음성 데이터에 대한 통합 감정 분석 결과를 출력 제공하는 통합 모듈을 포함할 수 있다.As a technical means for achieving the above-described technical problem, the neural network-based emotion analysis apparatus according to the third aspect of the present application is a voice for calculating a first emotion analysis result by applying a neural network-based voice analysis to voice data input from a user. Analysis module; A context analysis module for calculating a second emotion analysis result by applying a context analysis based on an emotion dictionary to the voice data; And an integrated module configured to output an integrated emotion analysis result for the voice data by using the first emotion analysis result and the second emotion analysis result as inputs of a neural network.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 제4 측면에 따른 신경망 기반 감정 분석 기반의 감정 치료 장치는, 본원의 제3 측면에 따른 신경망 기반 감정 분석 장치에 의해 신경망 기반 감정 분석을 수행하여 제공된 통합 감정 분석 결과를 기반으로 감정치료법을 결정하여 제공할 수 있다.As a technical means for achieving the above technical task, the emotion treatment apparatus based on a neural network based emotion analysis according to the fourth aspect of the present application performs a neural network based emotion analysis by the neural network based emotion analysis apparatus according to the third aspect of the present application. Thus, based on the result of integrated emotion analysis provided, an emotion treatment method can be determined and provided.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 제5 측면에 따른 컴퓨터 프로그램은, 본원의 제1 측면에 따른 신경망 기반 감정 분석 방법 및 본원의 제2 측면에 따른 신경망 기반 감정 분석 기반의 감정 치료 방법을 실행시키기 위하여 기록매체에 저장되는 것일 수 있다.As a technical means for achieving the above technical task, the computer program according to the fifth aspect of the present application includes a neural network-based emotion analysis method according to the first aspect of the present application, and a neural network-based emotion analysis-based emotion analysis method according to the second aspect of the present application. It may be stored in a recording medium to execute the treatment method.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.The above-described problem solving means are merely exemplary and should not be construed as limiting the present application. In addition to the above-described exemplary embodiments, additional embodiments may exist in the drawings and detailed description of the invention.
전술한 본원의 과제 해결 수단에 의하면, 신경망 기반의 음성분석과 감정사전 기반의 문맥분석을 함께 고려하여 통합 감정 분석 결과를 출력 제공하므로, 입력된 음성 데이터에 대한 사용자의 감정 상태를 보다 정확하게 도출할 수 있는 효과가 있다.According to the above-described problem solving means of the present application, the integrated emotion analysis result is output by considering the neural network-based voice analysis and the emotion dictionary-based context analysis together, so that the user's emotional state for the input voice data can be more accurately derived. There is an effect that can be.
전술한 본원의 과제 해결 수단에 의하면, 통합 감정 분석 결과를 기반으로 결정된 감정치료법을 제공함으로써, 사용자의 정서적/감정적 상태를 정확히 파악할 수 있고 이를 기반으로 사용자의 현재 감정이 보다 긍정적으로 변화되도록 유도함으로써, 사용자에게 보다 나은 삶을 제공할 수 있다.According to the above-described problem solving means of the present application, by providing an emotion treatment method determined based on the result of integrated emotion analysis, it is possible to accurately grasp the emotional/emotional state of the user, and based on this, by inducing the user's current emotion to change more positively. , Can provide users with a better life.
전술한 본원의 과제 해결 수단에 의하면, 감정치료법을 제공함으로써, 사용자의 감정이 부정적 감정 또는 중립 감정이면 사용자의 감정이 긍정적 감정으로 변화되도록 유도할 수 있고, 사용자의 감정이 긍정적 감정이면 해당 긍정적 감정이 유지되거나 그보다 확장되도록 유도할 수 있다.According to the above-described problem solving means of the present application, by providing an emotion treatment method, if the user's emotion is a negative emotion or a neutral emotion, it is possible to induce the user's emotion to change into a positive emotion, and if the user's emotion is a positive emotion, the corresponding positive emotion This can be induced to be maintained or extended beyond that.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.However, the effect obtainable in the present application is not limited to the above-described effects, and other effects may exist.
도 1은 본원의 일 실시예에 따른 신경망 기반 감정 분석 시스템의 개략적인 구성을 나타낸 도면이다.
도 2는 본원의 일 실시예에 따른 신경망 기반 감정 분석 장치의 개략적인 구성을 나타낸 도면이다.
도 3은 본원의 일 실시예에 따른 신경망 기반 감정 분석 장치에 의하여 도출되는 통합 감정 분석 결과의 일예를 나타낸다.
도 4는 본원의 일 실시예에 따른 신경망 기반 감정 분석 장치에 의하여 도출되는 통합 감정 분석 결과의 다른 예를 나타낸다.
도 5는 본원의 일 실시예에 따른 신경망 기반 감정 분석 기반의 감정 치료 시스템의 개략적인 구성을 나타낸 도면이다.
도 6은 본원의 일 실시예에 따른 신경망 기반 감정 분석 기반의 감정 치료 장치의 개략적인 구성을 나타낸 도면이다.
도 7은 본원의 일 실시예에 따른 신경망 기반 감정 분석 기반의 감정 치료 장치에 의하여 사용자의 감정 치료가 이루어지는 예를 설명하기 위한 도면이다.
도 8은 본원의 일 실시예에 따른 신경망 기반 감정 분석 기반의 감정 치료 장치와 연동되는 모바일 어플리케이션 내의 메뉴 구성을 개략적으로 나타낸 도면이다.
도 9는 본원의 일 실시예에 따른 신경망 기반 감정 분석 기반의 감정 치료 장치에서 문맥분석 모듈에 의한 제2 감정 분석 결과의 산출 예를 설명하기 위한 도면이다.
도 10a 내지 도 10c는 본원의 일 실시예에 따른 신경망 기반 감정 분석 기반의 감정 치료 장치에서 음성분석 모듈에 의한 제1 감정 분석 결과의 산출 예를 설명하기 위한 도면이다.
도 11은 본원의 일 실시예에 따른 신경망 기반 감정 분석 기반의 감정 치료 장치에서 통합 모듈에 의한 통합 감정 분석 결과의 산출 예를 설명하기 위한 도면이다.
도 12는 주어진 음성 데이터에 대하여 종래의 자연어 처리를 적용한 감정 분석 결과의 화면 표시 예를 나타낸 도면이다.
도 13은 주어진 음성 데이터에 대하여 본원의 일 실시예에 따른 신경망 기반 감정 분석 기반의 감정 치료 장치의 문맥분석 모듈에 의한 문맥분석의 적용을 통한 감정 분석 결과의 화면 표시 예를 나타낸 도면이다.
도 14는 본원의 일 실시예에 따른 신경망 기반 감정 분석 방법에 대한 동작 흐름도이다.
도 15는 본원의 일 실시예에 따른 신경망 기반 감정 분석 기반의 감정 치료 방법에 대한 동작 흐름도이다.1 is a diagram showing a schematic configuration of a neural network-based emotion analysis system according to an embodiment of the present application.
2 is a diagram showing a schematic configuration of an apparatus for analyzing emotions based on a neural network according to an embodiment of the present application.
3 shows an example of an integrated emotion analysis result derived by a neural network-based emotion analysis device according to an embodiment of the present application.
4 shows another example of an integrated emotion analysis result derived by a neural network-based emotion analysis apparatus according to an embodiment of the present application.
5 is a diagram illustrating a schematic configuration of an emotion treatment system based on emotion analysis based on a neural network according to an embodiment of the present application.
6 is a diagram showing a schematic configuration of an emotion treatment apparatus based on emotion analysis based on a neural network according to an embodiment of the present application.
FIG. 7 is a diagram illustrating an example in which emotion treatment of a user is performed by an emotion treatment apparatus based on emotion analysis based on a neural network according to an exemplary embodiment of the present disclosure.
FIG. 8 is a diagram schematically illustrating a menu configuration in a mobile application linked with an emotion treatment device based on a neural network based emotion analysis according to an embodiment of the present application.
9 is a view for explaining an example of calculating a second emotion analysis result by a context analysis module in the emotion treatment apparatus based on emotion analysis based on a neural network according to an embodiment of the present application.
10A to 10C are diagrams for explaining an example of calculating a first emotion analysis result by a voice analysis module in the emotion treatment apparatus based on emotion analysis based on a neural network according to an exemplary embodiment of the present disclosure.
11 is a diagram for describing an example of calculating an integrated emotion analysis result by an integrated module in the emotion treatment apparatus based on emotion analysis based on a neural network according to an exemplary embodiment of the present application.
12 is a diagram showing an example of a screen display of an emotion analysis result to which a conventional natural language processing is applied to given voice data.
13 is a diagram illustrating an example of displaying an emotion analysis result on a screen through application of a context analysis by a context analysis module of a neural network-based emotion analysis-based emotion treatment apparatus according to an exemplary embodiment of the present application.
14 is a flowchart illustrating a method for analyzing emotions based on a neural network according to an embodiment of the present application.
15 is a flowchart illustrating an operation of an emotion treatment method based on a neural network based emotion analysis according to an embodiment of the present application.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present application will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art may easily implement the present application. However, the present application may be implemented in various different forms and is not limited to the embodiments described herein. In addition, in the drawings, parts irrelevant to the description are omitted in order to clearly describe the present application, and similar reference numerals are attached to similar parts throughout the specification.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다. Throughout the present specification, when a part is said to be "connected" with another part, it is not only the case that it is "directly connected", but also "electrically connected" or "indirectly connected" with another element interposed therebetween. "Including the case.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.Throughout the present specification, when a member is positioned "on", "upper", "upper", "under", "lower", and "lower" of another member, this means that a member is located on another member. This includes not only the case where they are in contact but also the case where another member exists between the two members.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.In the entire specification of the present application, when a certain part "includes" a certain component, it means that other components may be further included rather than excluding other components unless specifically stated to the contrary.
도 1은 본원의 일 실시예에 따른 신경망 기반 감정 분석 시스템(200)의 개략적인 구성을 나타낸 도면이다. 도 2는 본원의 일 실시예에 따른 신경망 기반 감정 분석 장치(100)의 개략적인 구성을 나타낸 도면이다.1 is a diagram showing a schematic configuration of a neural network-based
이하에서는 설명의 편의상 본원의 일 실시예에 따른 신경망 기반 감정 분석 시스템(200)을 본 시스템(200)이라 하고, 본원의 일 실시예에 따른 신경망 기반 감정 분석 장치(100)를 본 장치(100)라 하기로 한다.Hereinafter, for convenience of description, the neural network-based
도 1 및 도 2를 참조하면, 본 시스템(200)은 사용자 단말(2) 및 본 장치(100)를 포함할 수 있다.1 and 2, the
사용자 단말(2)은 사용자(1)로부터 감정 분석 대상이 되는 음성 데이터(d)를 입력받을 수 있다. 사용자 단말(2)은 입력받은 음성 데이터(d)를 본 장치(100)로 전달할 수 있다.The
사용자 단말(2)은 일예로 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC, 노트북, 웨어러블 디바이스 등과 같이 이동 및 휴대가 가능한 통신 장치일 수 있다. 다만, 이에만 한정되는 것은 아니고, 사용자 단말(2)은 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(WCode Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC, 노트북, 웨어러블 디바이스, 데스크탑 PC 등과 같은 모든 종류의 유무선 통신 장치를 포함할 수 있다.The
본 장치(100)는 사용자(1)로부터 입력된 음성 데이터(d)에 대한 분석(음성분석, 문맥분석)을 통해 사용자의 감정을 분석할 수 있다. 본 장치(100)는 사용자(1)로부터 입력된 음성 데이터(d)에 대하여 음성분석과 문맥분석을 적용하고, 음성분석의 적용을 통해 산출된 제1 감정 분석 결과(d1)와 문맥분석의 적용을 통해 산출된 제2 감정 분석 결과(d2)를 통합한 통합 감정 분석 결과(d3)를 음성 데이터(d)에 대한 사용자의 감정 분석 결과로서 출력 제공할 수 있다. 여기서, 본 장치(100)가 입력받은 음성 데이터(d)는 사용자 단말(2)을 통해 입력받은 것(달리 말해, 사용자 단말로부터 전달받은 것)일 수 있다.The
본 장치(100)는 일예로 서버일 수 있다. 다만 이에만 한정되는 것은 아니고, 다른 일예로 본 장치(100)는 사용자 단말(2)에 구비되는 장치로서, 특히 사용자 단말(2)에 설치되는 모바일 어플리케이션(2a) 자체를 의미할 수도 있다.The
본 장치(100)가 서버 형태로 마련되는 경우에 대한 예시는 다음과 같다. 사용자 단말(2)에는 사용자(1)로부터 입력된 음성 데이터(d)에 대하여 감정 분석을 수행하는 본 장치(100)와 연동되는 모바일 어플리케이션(2a)이 설치되어 있을 수 있다. 사용자 단말(2) 내 모바일 어플리케이션(2a)은 사용자(1)로부터 입력받은 음성 데이터(d)를 본 장치(100)로 전달할 수 있다. 본 장치(100)는 모바일 어플리케이션(2a)으로부터 전달받은 음성 데이터(d)에 대하여 음성분석과 문맥분석을 적용함으로써 음성 데이터(d)에 대한 사용자의 감정 분석 결과로서 통합 감정 분석 결과(d3)를 생성할 수 있다. 이후, 본 장치(100)는 생성된 통합 감정 분석 결과(d3)를 사용자 단말(2) 내 모바일 어플리케이션(2a)으로 제공(출력 제공)할 수 있으며, 이를 통해 사용자 단말(2)의 화면 상에 통합 감정 분석 결과(d3)가 표시(디스플레이)될 수 있다. 사용자는 본 장치(100)로부터 출력 제공되는 통합 감정 분석 결과(d3)를 사용자 단말(2)의 화면을 통해 제공받아 확인할 수 있다.An example of a case in which the
이처럼, 본 장치(100)가 서버인 경우(서버 형태로 마련되는 경우), 본 장치(100)와 사용자 단말(2) 간에는 네트워크 통신을 통해 데이터 송수신(즉, 사용자 단말에서 본 장치로의 음성 데이터의 송신 및 본 장치에서 사용자 단말로의 통합 감정 분석 결과의 송신)이 이루어질 수 있다.In this way, when the
네트워크 통신은 일예로 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC(Near Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함될 수 있으며, 이에 한정된 것은 아니다.Network communication is, for example, 3GPP (3rd Generation Partnership Project) network, LTE (Long Term Evolution) network, WIMAX (World Interoperability for Microwave Access) network, Internet, LAN (Local Area Network), Wireless LAN (Wireless Local Area). Network), WAN (Wide Area Network), PAN (Personal Area Network), Bluetooth (Bluetooth) network, NFC (Near Field Communication) network, satellite broadcasting network, analog broadcasting network, DMB (Digital Multimedia Broadcasting) network, etc. However, it is not limited thereto.
본 장치(100)(특히, 본 장치에 의한 감정 분석 방법)가 사용자 단말(2) 내 모바일 어플리케이션(2a) 형태로 마련되는 경우에 대한 예시는 다음과 같다. 본 장치(100)는 사용자(1)로부터 음성 데이터(d)를 입력받고, 입력된 음성 데이터(d)에 대하여 음성분석과 문맥분석을 적용함으로써 음성 데이터(d)에 대한 사용자의 감정 분석 결과로서 통합 감정 분석 결과(d3)를 생성할 수 있다. 이후, 본 장치(100)는 생성된 통합 감정 분석 결과(d3)를 사용자 단말(2)의 화면 상에 제공(출력 제공)할 수 있으며, 이를 통해 사용자 단말(2)의 화면 상에 통합 감정 분석 결과(d3)가 표시(디스플레이)되도록 할 수 있다. 사용자는 본 장치(100)로부터 출력 제공되는 통합 감정 분석 결과(d3)를 사용자 단말(2)의 화면을 통해 제공받아 확인할 수 있다.An example of a case in which the present device 100 (in particular, the emotion analysis method by the present device) is provided in the form of a
이하에서는 설명의 편의상 본 장치(100)가 서버인 경우(서버 형태로 마련되는 경우)로 예시하기로 하며, 본 장치(100)에 대한 구체적인 설명은 다음과 같다.Hereinafter, for convenience of description, the
본 장치(100)는 음성분석 모듈(10), 문맥분석 모듈(20) 및 통합 모듈(30)을 포함할 수 있다.The
음성분석 모듈(10)은 사용자(1)로부터 입력된 음성 데이터(d)에 신경망(12) 기반의 음성분석을 적용하여 제1 감정 분석 결과(d1)를 산출할 수 있다. 음성분석 모듈(10)은 산출된 제1 감정 분석 결과(d1)를 통합 모듈(30)로 전달할 수 있다.The
음성분석 모듈(10)은, 음성 데이터(d)로부터 추출된 음성 파형 특징을 입력으로 하는 신경망(12) 기반의 음성분석을 통해 제1 감정 분석 결과(d1)를 산출할 수 있다.The
여기서, 음성 파형 특징은 음성 데이터(d)에 대하여 MFCC(Mel-Frequency Cepstral Coefficient) 변환을 수행하여 출력된 MFCC특징 값일 수 있다. 또한, 음성분석 모듈(10)에 의해 산출되는 제1 감정 분석 결과는, 행복(Happy), 중립(Neutral), 슬픔(Sad) 및 분노(Angry)를 포함하는 복수의 감정 각각에 대해 확률적으로 부여되는 값일 수 있다.Here, the voice waveform feature may be an MFCC feature value output by performing MFCC (Mel-Frequency Cepstral Coefficient) transformation on the voice data d. In addition, the first emotion analysis result calculated by the
구체적으로, 음성분석 모듈(10)은 사용자 단말(2)의 모바일 어플리케이션(2a)을 통해 입력된 음성 데이터(d)를 사용자 단말(2)로부터 전달받을 수 있다.Specifically, the
예시적으로, 사용자(1)는 현재 감정을 나타내는 문장을 사용자 단말(2)의 모바일 어플리케이션(2a)을 통해 녹음할 수 있다. 모바일 어플리케이션(2a)을 통해 녹음된 사용자(1)의 현재 감정을 나타내는 문장에 대응하는 음성파일은 음성 분석 대상이 되는 음성 데이터(d)로 하여 음성분석 모듈(10)의 입력으로 제공될 수 있다. 본 장치(100)에서는 일예로 음성 데이터(d)로서 녹음된 파일이 고려되는 것으로 예시하였으나, 이에만 한정되는 것은 아니고, 다른 일예로 음성 데이터(d)는 사용자로부터 실시간으로 입력된 음성 데이터일 수 있다.For example, the
음성분석 모듈(10)는 모바일 어플리케이션(2a)으로부터.wav 확장자를 갖는 음성파일을 음성 분석 대상인 음성 데이터(d)로서 입력(전달)받을 수 있다.The
음성분석 모듈(10)은 입력된 음성 데이터(d)에 일예로 음성인식 알고리즘으로서 MFCC(Mel-Frequency Cepstral Coefficient)를 적용할 수 있다. 음성분석 모듈(10)은 입력된 음성 데이터(d)에 대하여 MFCC의 적용을 통해 MFCC 변환(11)을 수행할 수 있으며, 이를 통해 음성 데이터(d)에 대한 음성 파형 특징으로서 MFCC 특징 값을 출력할 수 있다. 즉, 음성분석 모듈(10)은 입력된 음성 데이터(d)에 MFCC 변환(11)을 수행하여 음성 데이터(d)에 대응하는 소리를 모델링하고, 그에 따른 MFCC 특징 값(MFCC 값)을 음성 데이터(d)에 대한 음성 파형 특징으로서 출력할 수 있다.The
음성분석 모듈(10)은 MFCC 변환(11)을 통해 출력된 MFCC 특징 값인 음성 파형 특징을 신경망(12)의 입력으로 제공할 수 있다.The
신경망(12)으로는 일예로 케라스(Keras)가 고려될 수 있다. 케라스는 파이썬으로 작성된 오픈 소스 신경망 라이브러리를 의미한다. 케라스는 MXNet, Deeplearning4j, 텐서플로, Microsoft Cognitive Toolkit 또는 Theano 위에서 수행할 수 있다. 케라스는 딥 신경망과의 빠른 실험을 가능케 하도록 설계되었으며 최소한의 모듈 방식의 확장 가능성에 초점을 두고 있다. 케라스는 ONEIROS(Open-ended Neuro-Electronic Intelligent Robot Operating System) 프로젝트의 연구적 노력의 일환으로 개발되었다.As the
케라스는 본원이 속하는 기술분야의 통상의 지식을 가진 자에게 잘 알려진 기술이므로, 이하에서는 케라스 자체에 대한 설명보다는, 케라스 기반의 신경망(12)이 본원의 일 실시예에 따른 신경망 기반 감정 분석 장치(100)에 적용된 예를 중심으로 설명하기로 한다.Keras is a technology well known to those of ordinary skill in the art to which the present application belongs, so hereinafter, rather than a description of Keras itself, the Keras-based
본 장치(100)에서는 신경망(12)으로서 일예로 컨볼루션 신경망(Convolution Neural Network, CNN, 합성곱 신경망)이 고려될 수 있다. 다만, 이에만 한정되는 것은 아니고, 본 장치(100)에서 고려되는 신경망(12)으로는 예시적으로 순환신경망(RNN, Recurrent Neural Network), 딥 신경망(Deep Neural Network) 등 종래에 이미 공지되었거나 향후 개발되는 다양한 신경망이 적용될 수 있다. 신경망(12)은 딥러닝 모델 등으로 달리 표현될 수 있다.In the
음성분석 모듈(10)은 MFCC 변환(11)을 통해 출력된 MFCC 특징 값인 음성 파형 특징을 신경망(12)의 입력으로 제공할 수 있으며, 이를 통해 신경망(12) 기반의 음성분석을 수행함으로써 신경망(12)의 출력으로서 제1 감정 분석 결과(d1)를 산출할 수 있다.The
이때, 음성분석 모듈(10)은 음성 파형 특징뿐만 아니라 로컬 스토리지(Local Storage, 13)로부터 획득된 모델 데이터(Model Data)를 신경망(12)의 입력으로 제공할 수 있다. 이를 통해, 음성분석 모듈(10)은 신경망(12) 기반의 음성분석을 통해 제1 감정 분석 결과(d1)를 산출할 수 있다.In this case, the
여기서, 모델 데이터는 복수의 음성 데이터에 대한 MFCC 특징 값을 신경망의 입력으로 하고 입력된 MFCC에 대응하는 제1 감정 분석 결과를 출력하도록 학습되는 신경망에 있어서, 신경망을 반복 학습시킴으로써 결정된 신경망의 학습 값(구체적으로, 학습을 통해 결정된 신경망의 가중치 값)을 의미할 수 있다. 즉, 모델 데이터는 학습된 신경망의 가중치 값을 의미할 수 있다. 로컬 스토리지(13)는 이러한 모델 데이터(Model Data)가 복수 개 저장된 데이터베이스를 의미할 수 있다.Here, the model data is a learning value of the neural network determined by repeatedly learning the neural network in a neural network that is trained to output a first emotion analysis result corresponding to the input MFCC as an input of the neural network with MFCC feature values for a plurality of voice data. (Specifically, it may mean a weight value of a neural network determined through learning). That is, the model data may mean a weight value of the trained neural network. The
음성분석 모듈(10)은 음성 데이터(d)에 대한 음성 파형 특징(즉, MFCC 특징 값)과 로컬 스토리지(13)로부터 획득된 모델 데이터(Model Data)를 신경망(12)에 통과시킴으로써, 신경망(12)으로부터 제1 감정 분석 결과(d1)를 산출(출력)할 수 있다.The
제1 감정 분석 결과(d1)는, 행복(Happy), 중립(Neutral), 슬픔(Sad) 및 분노(Angry)를 포함하는 복수의 감정 각각에 대해 확률적으로 부여되는 값일 수 있다. 복수의 감정 각각에 대해 확률적으로 부여되는 값인 제1 감정 분석 결과(d1)는 음성 데이터(d)가 가진 감정의 확률을 나타낸다. 다시 말해, 제1 감정 분석 결과(d1)는 음성 데이터(d)에 포함된 복수의 감정 각각에 대한 확률(확률 값, 확률 점수)을 나타낸다.The first emotion analysis result d1 may be a value probabilistically given to each of a plurality of emotions including happiness, neutrality, sadness, and anger. The first emotion analysis result d1, which is a value probabilistically assigned to each of the plurality of emotions, indicates the probability of the emotion possessed by the voice data d. In other words, the first emotion analysis result d1 represents a probability (probability value, probability score) for each of a plurality of emotions included in the voice data d.
제1 감정 분석 결과(d1)가 복수의 감정 각각에 대해 확률적으로 부여되는 값임에 따라, 복수의 감정 각각에 대하여 확률적으로 부여된 값의 합은 1이 될 수 있다.As the first emotion analysis result d1 is a value probabilistically given to each of the plurality of emotions, the sum of values probabilistically given to each of the plurality of emotions may be 1.
예시적으로, 음성분석 모듈(10)은 '행복(Happy): 0.05, 중립(Neutral): 0.03, 슬픔(Sad): 0.7, 분노(Angry): 0.22'와 같은 제1 감정 분석 결과(d1)를 산출할 수 있다.Exemplarily, the
이때, 제1 감정 분석 결과(d1)에 의하면 4가지의 감정 중 슬픔(Sad)에 해당하는 감정의 확률 값(확률 점수)이 0.7로서 가장 큰 값을 가짐에 따라, 음성분석 모듈(10)은 신경망 기반의 음성분석의 적용에 의해 산출된 제1 감정 분석 결과(d1)로부터, 입력된 음성 데이터(d)에 '슬픔'에 해당하는 감정이 가장 큰 비율을 차지하고 있음을 판단할 수 있다. 달리 말하자면, 음성분석 모듈(10)은 제1 감정 분석 결과(d1)를 통하여, 신경망 기반 음성분석을 기반으로 한 음성 데이터(d)에 대한 사용자의 감정이 '슬픔'인 것으로 판단할 수 있다.At this time, according to the first emotion analysis result d1, as the probability value (probability score) of the emotion corresponding to sadness among the four emotions has the largest value as 0.7, the
본 장치(100)에서는 예시적으로 4가지의 복수의 감정으로서 행복, 중립, 슬픔 및 분노가 포함되는 것으로 예시하였으나, 이에만 한정되는 것은 아니고, 본 장치(100)에는 복수의 감정의 수나 복수의 감정의 유형 등은 보다 다양하게 변경하여 적용될 수 있다.The
음성분석 모듈(10)로부터 산출된 제1 감정 분석 결과(d1)는 통합 모듈(30)에 입력될 수 있다. 제1 감정 분석 결과(d1)는 통합 모듈(30)에서 통합 감정 분석 결과(d3)를 추출(생성)하는데 이용(사용)될 수 있다.The first emotion analysis result d1 calculated from the
문맥분석 모듈(20)은 사용자(1)로부터 입력된 음성 데이터(d)에 감정사전(감성어 사전, 감정사전 DB, 감정단어 DB)(23) 기반의 문맥분석을 적용하여 제2 감정 분석 결과(d2)를 산출할 수 있다.The
문맥분석 모듈(20)은 음성 데이터(d)를 텍스트로 변환한 다음 변환된 텍스트(Text Data)로부터 적어도 하나의 단어 기본형(Lemma)을 추출하고, 추출된 적어도 하나의 단어 기본형을 감정사전 DB(23)에 포함된 단어 기본형과 매칭하여 제2 감정 분석 결과(d2)를 산출할 수 있다.The
여기서, 감정사전 DB(23)는, 복수의 단어 기본형 각각에 대하여 긍정의 세기 및 부정의 세기와 관련한 감정점수가 부여된 형태로 구축될 수 있다. 문맥분석 모듈(20)은 추출된 적어도 하나의 단어 기본형 중 감정사전 DB(23)에 포함된 단어 기본형과 매칭되는 매칭 단어 기본형 각각의 감정점수를 고려하여 제2 감정 분석 결과(d2)를 산출할 수 있다.Here, the
구체적인 예로, 문맥분석 모듈(20)은 모바일 어플리케이션(2a)으로부터.wav 확장자를 갖는 음성파일을 음성 분석 대상인 음성 데이터(d)로서 입력(전달)받을 수 있다.As a specific example, the
문맥분석 모듈(20)은 입력된 음성 데이터(즉, .wav 음성파일)(d)를 STT(Speech To Text, 21)를 통해 텍스트(텍스트 데이터, Text Data)로 변환할 수 있다. 이후, 문맥분석 모듈(20)은 변환된 텍스트(Text Data)를 일예로 구글의 자연어 처리 기술인 Google Natural Language(22)를 이용하여 단어 기본형(Lemma)을 추출할 수 있다. 다시 말해, 문맥분석 모듈(20)은 변환된 텍스트에 Google Natural Language(22)를 적용함으로써 변환된 텍스트로부터 적어도 하나의 단어 기본형(Lemma)을 추출할 수 있다.The
텍스트 내에는 단어를 변형하여 사용할 수 있도록 하는 단어의 뿌리가 되는 기본형 단어를 포함하는데, 이러한 기본형 단어(단어의 기본형, 단어 기본형)을 Lemma 라 할 수 있다. 예를 들어, 'write', 'writing', 'wrote', 'written'는 모두 'write'라는 기본형을 기초로 한다. 따라서, 변환된 텍스트 내에 일예로 'write', 'writing', 'wrote' 및 'written' 중 적어도 하나가 포함되어 있는 경우, 문맥분석 모듈(20)은 변환된 텍스트로부터 적어도 하나의 단어 기본형(Lemma)으로서 'write'를 추출할 수 있다.In the text, a basic word that becomes the root of a word that can be used by transforming the word is included, and such basic type words (basic type of word, basic type of word) can be called Lemma. For example,'write','writing','wrote', and'written' are all based on the basic form of'write'. Therefore, when at least one of'write','writing','wrote', and'written' is included in the converted text as an example, the
또한, 문맥분석 모듈(20)은 Google Natural Language(22)의 적용을 통해 변환된 텍스트(Text Data)로부터 단어 기본형(Lemma)뿐만 아니라 디펜던스(Dependency)를 추출할 수 있다.In addition, the
여기서, 디펜던스(Dependency)라 함은 단어 토큰(token; 문장 내 말뭉치, 단어 단위) 간의 종속성에 대한 관계를 나타낸다. 변환된 텍스트에 대한 디펜던스는 일예로 Google Natural Language(22)에서 제공하는 디펜던스 트리(Dependency Tree, 의존성 트리, 종속성 트리)를 통해 추출(식별)될 수 있다. 디펜던스 트리에 대한 설명은 예시적으로 문헌["Universal Dependency Annotation for Multilingual Parsing", Ryan McDonald, Joakim Nivre 외 11명, Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, pages 92-97, Sofia, Bulgaria, August 4-9 2013.]를 참조하여 보다 쉽게 이해될 수 있으며, 본원에서는 구체적인 설명을 생략하기로 한다.Here, the term “dependency” refers to the relationship of the dependency between word tokens (corpus within a sentence, word units). The dependence of the converted text can be extracted (identified) through a dependency tree (Dependency Tree, dependency tree, dependency tree) provided by Google Natural Language (22), for example. The description of the dependency tree is exemplarily described in “Universal Dependency Annotation for Multilingual Parsing”, Ryan McDonald, Joakim Nivre et al. 11, Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, pages 92-97, Sofia, Bulgaria, August 4-9 2013.] may be more easily understood, and a detailed description thereof will be omitted herein.
문맥분석 모듈(20)에서 추출된 디펜던스(Dependency)는 감정 단어(감정어)의 영향력을 강화하고, 그 원인을 파악하는 데에 활용될 수 있다. Dependency extracted from the
변환된 텍스트(Text Data)로부터 적어도 하나의 단어 기본형(Lemma)을 추출한 이후, 문맥분석 모듈(20)은 추출된 적어도 하나의 단어 기본형을 감정사전 DB(23)에 포함된 단어 기본형과 매칭을 수행할 수 있다. 이때, 감정사전 DB(23)는, 복수의 단어 기본형 각각에 대하여 긍정의 세기 및 부정의 세기와 관련한 감정점수가 부여된 형태로 구축되어 마련될 수 있다. After extracting at least one word basic type (Lemma) from the converted text (Text Data), the
추출된 적어도 하나의 단어 기본형과 감정사전 DB(23)에 포함된 단어 기본형과의 매칭을 통해, 문맥분석 모듈(20)은 추출된 적어도 하나의 단어 기본형 중 감정사전 DB(23)에 포함된 단어 기본형과 매칭되는 매칭 단어 기본형 각각의 감정점수를 획득할 수 있다. By matching the extracted at least one word basic type with the word basic type included in the
예시적으로, 감정사전 DB(23)에는 '재미(Fun): +7.0', '선물(gift): +6.0', '여행(travel): +3.0', '슬리퍼(slipper): 0.0', '장례식(funeral): -6.0', '실패하다(fail): -5.0' 등과 같은 데이터가 기 저장되어 있을 수 있다.For example, the
여기서, '재미(Fun): +7.0'는 '재미(Fun)'에 해당하는 단어 기본형(Lemma)에 대하여 긍정의 세기(강도)와 관련한 감정점수로서 +7.0이 부여되어 있음을 의미할 수 있다. 또한, '장례식(funeral): -6.0'는 '장례식(funeral)'에 해당하는 단어 기본형에 대하여 부정의 세기(강도)와 관련한 감정점수로서 -6.0이 부여되어 있음을 의미한다. 또한, '슬리퍼(slipper): 0.0'는 '슬리퍼(slipper)'에 해당하는 단어 기본형에 대하여 부정(또는 긍정)의 세기와 관련한 감정점수로서 0.0이 부여되어 있음을 의미한다. 이러한 단어 기본형별 감정점수의 예는 본원의 이해를 돕기 위한 하나의 예시일 뿐, 이에만 한정되는 것은 아니다.Here,'Fun: +7.0' may mean that +7.0 is given as an emotion score related to the strength (strength) of a positive word for the basic form (Lemma) corresponding to'Fun'. . In addition,'funeral: -6.0' means that -6.0 is given as an emotional score related to the intensity (strength) of negativity for the basic form of the word corresponding to'funeral'. In addition,'slipper: 0.0' means that 0.0 is given as an emotional score related to the strength of negative (or positive) for the basic form of the word corresponding to'slipper'. The example of the emotion score for each basic type of words is only an example for helping the understanding of the present application, but is not limited thereto.
이때, 감정점수가 0.0이라는 것은 해당 단어가 긍정을 나타내는 단어도 아니고 부정을 나타내는 단어도 아닌 중립의 감정을 나타내는 단어임을 의미할 수 있다. 또한, 감정점수가 +라는 것은 해당 단어가 긍정을 나타내는 단어임을 의미하고, 이는 숫자가 클수록 긍정의 세기(강도, 정도)가 큼을 의미할 수 있다. 반대로, 감정점수가 -라는 것은 해당 단어가 부정을 나타내는 단어임을 의미하고, 이는 숫자가 클수록 부정의 세기(강도, 정도)가 큼을 의미할 수 있다.In this case, the emotion score of 0.0 may mean that the corresponding word is not a word indicating positive or negative, but a word indicating a neutral emotion. In addition, an emotional score of + means that the corresponding word is a word indicating affirmation, and this may mean that the strength (intensity, degree) of the positive is greater as the number increases. Conversely, an emotional score of-means that the corresponding word is a word representing negation, and this may mean that the greater the number, the greater the intensity (intensity, degree) of negation.
문맥분석 모듈(20)은 일예로 감정점수 모듈(24)을 포함할 수 있다. 감정점수 모듈(24)은 추출된 적어도 하나의 단어 기본형 중 감정사전 DB(23)에 포함된 단어 기본형과 매칭되는 매칭 단어 기본형 각각의 감정점수를 획득할 수 있다. 이후, 감정점수 모듈(24)은 획득된 매칭 단어 기본형 각각의 감정점수를 고려하여 제2 감정 분석 결과(d2)를 산출할 수 있다. 특히, 감정점수 모듈(24)은 일예로 매칭 단어 기본형 각각의 감정점수를 합산하고, 합산된 감정점수를 기반으로 제2 감정 분석 결과(d2)를 산출할 수 있다.The
예를 들어, 변환된 텍스트로부터 적어도 하나의 단어 기본형으로서 '재미(Fun)'와 '여행(travel)'이 추출되었다고 가정하자. 이러한 경우, 감정점수 모듈(24)은 추출된 적어도 하나의 단어 기본형을 감정사전 DB(23)에 포함된 단어 기본형과 매칭을 수행함으로써, 단어 기본형인 '재미(Fun)'와 매칭되는 매칭 단어 기본형의 감정점수로서 '+7.0'를 획득하고, 단어 기본형인 '여행(Travel)'과 매칭되는 매칭 단어 기본형의 감정점수로서 '+3.0'을 획득할 수 있다. 이후, 감정점수 모듈(24)은 획득된 매칭 단어 기본형 각각의 감정점수를 합산할 수 있으며, 이를 통해 합산된 감정점수인 +10.0(+7.0+3.0=+10.0)를 제2 감정 분석 결과(d2)로서 산출할 수 있다.For example, suppose that'Fun' and'travel' are extracted as at least one word basic form from the converted text. In this case, the
이때, 제2 감정 분석 결과(d2)에 의하면 합산된 감정점수가 +10.0임에 따라, 문맥분석 모듈(20)은 감정사전(23) 기반의 문맥분석의 적용에 의해 산출된 제2 감정 분석 결과(d2)로부터, 입력된 음성 데이터(d)에 긍정 보다는 부정에 해당하는 감정이 나타나고 있음을 판단할 수 있다. 달리 말하자면, 문맥분석 모듈(20)은 제2 감정 분석 결과(d2)를 통하여, 감정사전 기반 문맥분석을 기반으로 한 음성 데이터(d)에 대한 사용자의 감정이 '긍정적 감정'인 것으로 판단할 수 있다.At this time, according to the second emotion analysis result d2, as the summed emotion score is +10.0, the
문맥분석 모듈(20)은 합산된 감정점수가 + 값인 경우 사용자의 감정이 '긍정적 감정'인 것으로 판단하고, 합산된 감정점수가 - 값인 경우 사용자의 감정이 '부정적 감정인 것으로 판단하며, 합산된 감정점수가 0 값인 경우 사용자의 감정이 '중립 감정'인 것으로 판단할 수 있다.The
달리 표현하여, 문맥분석 모듈(20)은 문장 내의 단어들(즉, 변환된 텍스트로부터 추출된 적어도 하나의 단어 기본형) 중 감정사전 DB(23)에 속해 있는 단어(매칭되는 단어 기본형)가 있는 경우, 해당 단어(매칭되는 단어 기본형)에 대한 긍/부정 관계의 유무에 관한 감정점수(즉, 긍정 또는 부정의 세기와 관련된 감정점수)를 획득할 수 있다. 이후, 문맥분석 모듈(20)은 획득된 감정점수를 기반으로 하여 전체 문장(즉, 음성 데이터에 해당하는 문장 전체)에 대한 감정점수(즉, 합산된 감정점수)를 제2 감정 분석 결과(d2)로서 산출할 수 있다. 이때, 합산된 감정점수의 크기는 감정의 긍/부정의 세기를 나타낸다.In other words, the
문맥분석 모듈(20)로부터 산출된 제2 감정 분석 결과(d2)는 통합 모듈(30)에 입력될 수 있다. 제2 감정 분석 결과(d2)는 통합 모듈(30)에서 통합 감정 분석 결과(d3)를 추출(생성)하는데 이용(사용)될 수 있다.The second emotion analysis result d2 calculated from the
통합 모듈(30)은 제1 감정 분석 결과(d1) 및 제2 감정 분석 결과(d2)를 신경망(31)의 입력으로 하여 음성 데이터(d)에 대한 통합 감정 분석 결과(d3)를 출력 제공할 수 있다. 여기서, 신경망(31)으로는 앞서 설명한 신경망(12)에서와 같이 일예로 케라스(Keras)가 고려될 수 있다.The
즉, 통합 모듈(30)은 음성분석 모듈(10)에 의해 산출된 제1 감정 분석 결과(d1)와 문맥분석 모듈(20)에 의해 산출된 제2 감정 분석 결과(d2)를 획득하여 신경망(31)의 입력으로 제공할 수 있다. 통합 모듈(10)은 제1 감정 분석 결과(d1)와 제2 감정 분석 결과(d2)를 신경망(31)의 입력으로 한 신경망(31) 기반의 분석을 통해, 신경망(31)의 출력으로서 제1 감정 분석 결과(d1)와 제2 감정 분석 결과(d2)가 통합된 통합 감정 분석 결과(d3)를 산출할 수 있다.That is, the
이때, 통합 모듈(30)은 제1/제2 감정 분석 결과(d1, d2)뿐만 아니라 로컬 스토리지(Local Storage, 32)로부터 획득된 모델 데이터(Model Data)를 신경망(31)의 입력으로 제공할 수 있다. 즉, 통합 모듈(30)은 통합 감정 분석 결과(d3)의 산출을 위한 신경망(31) 기반의 분석 수행시, 로컬 스토리지(32)에 이전에 구성되어 저장되어 있던 모델 데이터가 있는지 여부에 따라 로컬 스토리지(32)로부터 이전의 모델 데이터를 로딩하여 사용(활용)할 수 있다. 이러한 통합 모듈(30)은 신경망(31) 기반의 분석을 통해 통합 감정 분석 결과(d3)를 산출할 수 있다.At this time, the
여기서, 모델 데이터는 복수의 제1 감정 분석 결과와 복수의 제2 감정 분석 결과를 신경망의 입력으로 하고 입력된 제1/제2 감정 분석 결과(d1, d2)에 대응하는 통합 감정 분석 결과를 출력하도록 학습되는 신경망에 있어서, 신경망을 반복 학습시킴으로써 결정된 신경망의 학습 값(구체적으로, 학습을 통해 결정된 신경망의 가중치 값)을 의미할 수 있다. 즉, 모델 데이터는 학습된 신경망의 가중치 값을 의미할 수 있다. 로컬 스토리지(32)는 이러한 모델 데이터가 복수 개 저장된 데이터베이스를 의미할 수 있다.Here, the model data uses a plurality of first emotion analysis results and a plurality of second emotion analysis results as inputs of the neural network, and outputs an integrated emotion analysis result corresponding to the input first/second emotion analysis results d1 and d2. In a neural network that is trained to be learned, it may mean a learning value of a neural network (specifically, a weight value of a neural network determined through learning) determined by repeatedly learning the neural network. That is, the model data may mean a weight value of the trained neural network. The
통합 모듈(30)은 제1/제2 감정 분석 결과(d1, d2)와 로컬 스토리지(32)로부터 획득된 모델 데이터를 신경망(31)에 통과시킴으로써, 신경망(31)으로부터 통합 감정 분석 결과(d3)를 산출(출력)할 수 있다.The
여기서, 통합 감정 분석 결과는 행복(Happy), 중립(Neutral), 슬픔(Sad) 및 분노(Angry)를 포함하는 복수의 감정 각각에 대해 확률적으로 부여되는 값 형태로 1차적으로 도출되고, 상기 복수의 감정 중 최대치의 확률을 갖는 감정을 최종 감정으로 결정한 결과일 수 있다.Here, the result of the integrated emotion analysis is primarily derived in the form of a value that is probabilistically given to each of a plurality of emotions including happiness, neutrality, sadness, and anger. It may be a result of determining an emotion having a maximum probability among a plurality of emotions as a final emotion.
다시 말해, 통합 모듈(30)은 음성분석 모듈(10)로부터 전달받은 제1 감정 분석 결과(d1)(행복, 중립, 슬픔 및 분노를 포함하는 복수의 감정 각각에 대해 확률적으로 부여되는 값, 일예로 4가지 감정의 확률 값)와 문맥분석 모듈(20)로부터 전달받은 제2 감정 분석 결과(d2)(매칭 단어 기본형 각각의 감정점수에 대한 합산된 감정점수의 값, 긍/부정의 세기와 관련한 감정점수의 값)를 통합 모듈(30)의 신경망(32)에 입력함으로써, 신경망(32)의 출력인 통합 감정 분석 결과(d3)로서 음성 데이터(d)에 대응하는 사용자의 최종 감정을 출력 제공할 수 있다.In other words, the
여기서, 통합 모듈(30)은 통합 감정 분석 결과(d3)의 출력 제공을 위해 1차적으로, 음성분석 모듈(10)로부터 추출되는 제1 감정 분석 결과와 마찬가지로, 복수의 감정으로서 일예로 4가지의 감정(Happy, Neutral, Sad, Angry) 각각에 대하여 확률적으로 부여되는 값(가중치 값)을 도출할 수 있다. 이때, 1차 도출된 4가지 감정에 대한 확률 값 중 최대값에 해당하는 감정이 음성 데이터(d)에 대응하는 사용자(1)의 최종 감정으로 결정될 수 있다. 즉, 통합 모듈(30)은 1차 도출된 4가지 감정 각각에 대한 확률 값(가중치 값) 중 최대 확률 값을 갖는 감정을 음성 데이터(d)에 대응하는 사용자(1)의 최종 감정으로 결정하고, 결정된 최종 감정을 통합 감정 분석 결과(d3)로서 출력 제공할 수 있다.Here, in order to provide the output of the integrated emotion analysis result (d3), the
본 장치(100)는 신경망 기반의 음성분석과 감정사전 기반의 문맥분석을 융합하여 음성 데이터(d)에 대한 사용자의 감정을 분석함으로써, 단순히 음성분석을 기반으로 감정을 분석하거나 문맥분석을 기반으로 감정을 분석하는 기술 대비 사용자의 감정 분석에 대한 정확도를 효과적으로 높일 수 있다.The
도 3은 본원의 일 실시예에 따른 신경망 기반 감정 분석 장치(100)에 의하여 도출되는 통합 감정 분석 결과(d3)의 일예를 나타낸다.3 shows an example of an integrated emotion analysis result d3 derived by the neural network-based
도 3을 참조하면, 음성 데이터(d) 내에 반언어적 특징(예를 들어, 억양, 말투 등)이 존재하지 않을 경우에는 음성 데이터(d)에 대하여 음성분석 모듈(10)에 의한 음성분석을 적용하는 것만으로 사용자의 감정을 분석(파악)할 수 없다(사용자의 감정을 정확하게 도출해낼 수 없다).Referring to FIG. 3, when there is no anti-linguistic characteristic (eg, intonation, tone, etc.) in the voice data d, the
따라서, 음성 데이터(d)에 반언어적 특징이 존재하지 않아 음성분석 모듈(10)에 의한 음성분석을 기반으로 음성 데이터(d)로부터 사용자가 어떤 감정인지에 대한 정확한 판단이 어려우나, 음성 데이터(d)의 발화문 내에 감정을 나타내는 단어(감정어)가 포함되어 있는 경우(달리 말해, 발화문 내에 억양 등에 대하여 특별한 특징 부분이 없지만 감정어가 포함되어 잇는 경우), 통합 모듈(30)은 제1 감정 분석 결과(d1)뿐만 아니라 문맥분석 적용을 통해 산출된 제2 감정 분석 결과(d2)를 함께 고려하여 음성 데이터(d)에 대한 사용자의 최종 감정을 나타내는 통합 감정 분석 결과(d3)를 산출하여 제공할 수 있다.Therefore, it is difficult to accurately determine what kind of emotion the user is from the voice data (d) based on the voice analysis by the
예시적으로, 사용자로부터 입력된 음성 데이터(d)의 발화문 내에 반언어적 특징(억양, 말투 등)이 존재하지 않는 경우와 관련하여, 음성 데이터(d)로서 "Why is it so selfish?"라는 발화문이 입력되었다고 하자. Exemplarily, in relation to a case in which an anti-verbal characteristic (actonation, tone, etc.) does not exist in the speech of the voice data d input from the user, "Why is it so selfish?" as the voice data d. Let's say that the utterance of is entered
음성분석 모듈(10)은 이러한 음성 데이터(d)에 음성분석을 적용함으로써, 제1 감정 분석 결과(d1)로서 복수의 각각에 대한 확률(확률 값)을 산출할 수 있다. 이에 따르면, 입력된 음성 데이터(d)에 대한 음성분석의 단일 처리 적용시, 그 결과로는 복수의 감정(4가지 감정)에 대한 확률 중 행복(Happy)에 해당하는 확률이 가장 큰 값을 가짐에 따라 '행복(Happy)에 해당하는 감정 결과가 산출될 수 있다. 즉, 음성분석의 단일 적용으로는 사용자의 감정이 '행복(Happy)'인 것으로 산출될 수 있다.The
한편, 문맥분석 모듈(20)은 이러한 음성 데이터(d)에 문맥분석을 적용한 결과, 제2 감정 분석 결과(d2)로서 -3.0(부정적 감정)에 해당하는 감정 값을 산출할 수 있다. 즉, 입력된 음성 데이터(d)에 대한 문맥분석의 단일 처리 적용시, 그 결과로는 "-3.0(부정적 감정)"에 해당하는 감정 결과가 산출될 수 있다. 다시 말해, 문맥분석의 단일 적용으로는 사용자의 감정이 '중립'인 것으로 산출될 수 있다. Meanwhile, as a result of applying the context analysis to the voice data d, the
통합 모듈(30)은 제2 감정 분석 결과(d2)인 '-3.0(부정적 감정)'와 제1 감정 분석 결과(d1)인 '복수의 감정 각각에 대한 확률'을 함께 고려해 신경망(31) 기반의 융합(통합) 분석을 수행함으로써, 음성 데이터(d)에 대한 통합 감정 분석 결과(d3)로서 복수의 감정 각각에 대한 확률을 산출할 수 있다. 통합 모듈(30)은 제1/제2 감정 분석 결과(d1, d2)의 통합분석의 처리 결과, 4가지 감정에 대한 확률 중 슬픔(Sad)에 해당하는 확률이 가장 큰 값(높은 값)으로 나타남에 따라, 음성 데이터(d)에 대한 사용자의 최종 감정을 '슬픔(Sad)'인 것으로 산출할 수 있다. 즉, 통합 모듈(30)은 통합분석을 통해, 복수의 감정 중 최대치의 확률을 갖는 감정이 '슬픔(Sad)'이므로, 사용자의 최종 감정을 '슬픔(Sad)'인 것으로 산출할 수 있다.The
도 4는 본원의 일 실시예에 따른 신경망 기반 감정 분석 장치(100)에 의하여 도출되는 통합 감정 분석 결과(d3)의 다른 예를 나타낸다.4 shows another example of an integrated emotion analysis result d3 derived by the neural network-based
도 4를 참조하면, 음성 데이터(d) 내에 사용자의 감정을 나타내는 단어(감정어)가 존재하지 않을 경우에는 음성 데이터(d)에 대하여 감정사전(감정사전 DB, 23) 기반의 문맥분석을 적용하는 것만으로 사용자의 감정을 분석(파악)할 수 없다.Referring to FIG. 4, when there is no word (emotion word) representing the user's emotion in the voice data d, the context analysis based on the emotion dictionary (emotion dictionary DB, 23) is applied to the voice data d. You cannot analyze (find) the user's emotions just by doing it.
따라서, 음성 데이터(d)에 감정을 나타내는 단어가 존재하지 않아 문맥분석 모듈(20)에 의한 문맥분석을 기반으로 음성 데이터(d)로부터 사용자의 감정이 긍정적 감정인지 혹은 부정적 감정인지에 대한 판단이 어려운 경우(달리 말해, 음성 데이터에 대한 제2 감정 분석 결과가 0.0으로서 중립 감정인 것으로 산출된 경우), 통합 모듈(30)은 제2 감정 분석 결과(d2)뿐만 아니라 음성분석 적용을 통해 산출된 제1 감정 분석 결과(d1)를 함께 고려하여 음성 데이터(d)에 대한 사용자의 최종 감정을 나타내는 통합 감정 분석 결과(d3)를 산출하여 제공할 수 있다.Therefore, since there is no word representing emotion in the voice data (d), based on the context analysis by the
예시적으로, 사용자로부터 입력된 음성 데이터(d)의 발화문 내에 감정을 나타내는 단어(감정어)가 존재하지 않는 경우와 관련하여, 음성 데이터(d)로서 "I'm done. I don't want to play."라는 발화문이 입력되었다고 하자. For example, in relation to the case in which a word (emotional word) representing emotion does not exist in the speech of the voice data (d) input from the user, "I'm done. I don't" as the voice data (d). Let's say you have entered an utterance saying "want to play."
문맥분석 모듈(20)은 이러한 음성 데이터(d)에 문맥분석을 적용한 결과, 제2 감정 분석 결과(d2)로서 0.0(중립 감정)에 해당하는 감정 값을 산출할 수 있다. 즉, 입력된 음성 데이터(d)에 대한 문맥분석의 단일 처리 적용시, 그 결과로는 "0.0(-)(중립 감정)"에 해당하는 감정 결과가 산출될 수 있다. 다시 말해, 문맥분석의 단일 적용으로는 사용자의 감정이 '중립'인 것으로 산출될 수 있다. As a result of applying the context analysis to the voice data d, the
한편, 음성분석 모듈(10)은 이러한 음성 데이터(d)에 음성분석을 적용함으로써, 제1 감정 분석 결과(d1)로서 복수의 각각에 대한 확률(확률 값)을 산출할 수 있다. 이에 따르면, 입력된 음성 데이터(d)에 대한 음성분석의 단일 처리 적용시, 그 결과로는 복수의 감정(4가지 감정)에 대한 확률 중 분노(Angry)에 해당하는 확률이 가장 큰 값(0.00740)을 가짐에 따라 '분노(Angry)에 해당하는 감정 결과가 산출될 수 있다. 즉, 음성분석의 단일 적용으로는 사용자의 감정이 '분노(Angry)'인 것으로 산출될 수 있다.Meanwhile, the
통합 모듈(30)은 제2 감정 분석 결과(d2)인 '0.0(중립 감정)'와 제1 감정 분석 결과(d1)인 '복수의 감정 각각에 대한 확률'을 함께 고려해 신경망(31) 기반의 융합(통합) 분석을 수행함으로써, 음성 데이터(d)에 대한 통합 감정 분석 결과(d3)로서 복수의 감정 각각에 대한 확률을 산출할 수 있다. 통합 모듈(30)은 제1/제2 감정 분석 결과(d1, d2)의 통합분석의 처리 결과, 4가지 감정에 대한 확률 중 분노(Angry)에 해당하는 확률이 가장 큰 값(높은 값)으로 나타남에 따라, 음성 데이터(d)에 대한 사용자의 최종 감정을 '분노(Angry)'인 것으로 산출할 수 있다. 즉, 통합 모듈(30)은 통합분석을 통해, 복수의 감정 중 최대치의 확률을 갖는 감정이 '분노'이므로, 사용자의 최종 감정을 '분노'인 것으로 산출할 수 있다.The
이에 따르면, 본 장치(100)는 문맥분석과 음성분석 중 어느 하나의 분석만 단일 처리로 적용하여 사용자의 감정을 산출하는 것 대비, 2가지 유형 분석(문맥분석과 음성분석) 기법을 융합하여 함께 고려해 사용자의 감정을 산출함으로써, 음성 데이터(d)에 대한 사용자의 감정 산출(추정)의 정확도를 효과적으로 높일 수 있다.According to this, the
즉, 본 장치(100)는 발화문에 감정어가 존재하지 않아 감성사전 기반의 감정 분석이 어려운 경우, 음성분석을 함께 활용함으로써 감정 추정의 정확도가 높일 수 있다. 또한, 본 장치(100)는 발화문의 억양에 특별한 부분은 없지만 감정어가 포함된 경우, 감성사전 기반의 문맥분석을 함께 활용함으로써 감정 추정의 정확도를 높일 수 있다.That is, when the emotion analysis based on the emotion dictionary is difficult because the emotion word does not exist in the speech, the
통합 모듈(30)은 통합분석을 기반으로 산출된 통합 감정 분석 결과(d3)를 사용자 단말(2)의 모바일 어플리케이션(2a)으로 제공(출력 제공)할 수 있다. 이를 통해, 사용자 단말(2)의 화면 상에 통합 감정 분석 결과(d3)가 표시(디스플레이)될 수 있다. 사용자는 본 장치(100)로부터 출력 제공되는 통합 감정 분석 결과(d3)를 사용자 단말(2)의 화면을 통해 제공받아 확인할 수 있다.The
도 5는 본원의 일 실시예에 따른 신경망 기반 감정 분석 기반의 감정 치료 시스템(200')의 개략적인 구성을 나타낸 도면이다. 도 6은 본원의 일 실시예에 따른 신경망 기반 감정 분석 기반의 감정 치료 장치(110)의 개략적인 구성을 나타낸 도면이다.5 is a diagram showing a schematic configuration of an
이하에서는 설명의 편의상 본원의 일 실시예에 따른 신경망 기반 감정 분석 기반의 감정 치료 시스템(200')을 본 시스템(200')이라 하고, 본원의 일 실시예에 따른 신경망 기반 감정 분석 기반의 감정 치료 장치(110)를 본 장치(110)라 하기로 한다. 또한, 본원에서 감정 치료는 감성 치료라 달리 표현될 수 있다.Hereinafter, for convenience of description, the
본 시스템(200')은 앞서 설명한 본 시스템(200, 본원의 일 실시예에 따른 신경망 기반 감정 분석 시스템)과 동일한 시스템일 수 있다. 또한, 본 장치(110)는 앞서 설명한 본 장치(100, 본원의 일 실시예에 따른 신경망 기반 감정 분석 장치)와 동일한 장치일 수 있다. 즉, 본 시스템(200')과 본 장치(110)는 앞서 설명한 본 시스템(200)과 본 장치(100)와 대비하여, 치료 모듈(40)의 구성이 추가되는 것에서만 차이가 있을 뿐, 다른 구성들 및 그 기능에 대해서는 동일할 수 있다.The
따라서, 이하 생략된 내용이라 하더라도, 본 시스템(200)에 대하여 설명된 내용은 본 시스템(200')에 대한 설명에도 동일하게 적용될 수 있다. 또한, 이하 생략된 내용이라 하더라도, 본 장치(100)에 대하여 설명된 내용은 본 장치(110)에 대한 설명에도 동일하게 적용될 수 있다.Accordingly, even if the contents are omitted below, the contents described with respect to the
도 5 및 도 6을 참조하면, 본 시스템(200')은 사용자 단말(2) 및 본 장치(110)를 포함할 수 있다. 본 장치(110)는 음성분석 모듈(10), 문맥분석 모듈(20), 통합 모듈(30) 및 치료 모듈(40)을 포함할 수 있다. 여기서, 사용자 단말(2), 음성분석 모듈(10), 문맥분석 모듈(20) 및 통합 모듈(30)에 대한 설명은 앞서 자세히 설명했으므로, 이하 중복되는 설명은 생략하기로 한다.5 and 6, the
본 장치(110)는 앞서 설명된 본 장치(100, 신경망 기반 감정 분석 장치)에 의해 신경망 기반 감정 분석을 수행하여 제공된 통합 감정 분석 결과(d3)를 기반으로 감정치료법(d4)을 결정하여 제공할 수 있다. 구체적인 설명은 다음과 같다.The
통합 모듈(30)은 제1 감정 분석 결과(d1) 및 제2 감정 분석 결과(d2)를 신경망(31)의 입력으로 하여 음성 데이터(d)에 대한 통합 감정 분석 결과(d3)를 산출하고, 산출된 통합 감정 분석 결과(d3)를 치료 모듈(40)로 전달할 수 있다.The
치료 모듈(40)은 통합 모듈(30)에 의해 산출된 통합 감정 분석 결과(d3)를 통합 모듈(30)로부터 전달받아 획득할 수 있다.The
치료 모듈(40)은 획득된 통합 감정 분석 결과(d3)를 기반으로 감정치료법(d4)을 결정(치료법 결정, 41)할 수 있다. 즉, 치료 모듈(40)은 통합 감정 분석 결과(d3)를 기반으로 사용자의 최종 감정을 파악하고, 파악된 최종 감정에 따라 사용자(1)에게 어떤 감정치료법(치료법, d4)을 제공할 것인지 결정할 수 있다.The
여기서, 감정치료법(치료법, d4)의 유형에는 미술치료, 음악치료, 무용/동작 치료 등이 포함될 수 있으며, 이에만 한정되는 것은 아니고, 본 장치(110)에는 사용자의 감정(감성) 치료를 가능하게 하는 다양한 감정치료법이 적용될 수 있다.Here, the type of emotional therapy (therapeutic method, d4) may include art therapy, music therapy, dance/movement therapy, etc., but is not limited thereto, and the
치료 모듈(40)에서 결정되는 감정치료법(d4)은, 통합 감정 분석 결과(d3)로서 사용자의 감정이 부정적 감정 또는 중립 감정인 것으로 나타난 경우, 사용자(1)의 감정에 대해 긍정적 감정으로의 변화를 유도하는 컨텐츠 형태로 제공될 수 있다. 또한, 감정치료법(d4)은 통합 감정 분석 결과로서 사용자(1)의 감정이 긍정적 감정인 것으로 나타난 경우, 사용자(1)의 감정의 긍정적 유지 및 확장을 유도하는 컨텐츠 형태로 제공될 수 있다.The emotion treatment method (d4) determined in the
여기서, 예시적으로 통합 감정 분석 결과(d3)로서 사용자의 감정이 부정적 감정으로 나타났다는 것은, 행복(Happy), 중립(Neutral), 슬픔(Sad) 및 분노(Angry)를 포함하는 복수의 감정 중 최종 감정이 슬픔(Sad) 또는 분노(Angry)로 결정된 경우를 의미할 수 있다. 또한, 통합 감정 분석 결과(d3)로서 사용자의 감정이 중립 감정으로 나타났다는 것은, 복수의 감정 중 최종 감정이 중립(Neutral)으로 결정된 경우를 의미할 수 있다. 또한, 통합 감정 분석 결과(d3)로서 사용자의 감정이 긍정적 감정으로 나타났다는 것은, 복수의 감정 중 최종 감정이 행복(Happy)으로 결정된 경우를 의미할 수 있다.Here, as an exemplary integrated emotion analysis result (d3), the fact that the user's emotions were negative emotions is among a plurality of emotions including Happy, Neutral, Sad, and Angry. This may mean a case in which the final emotion is determined as Sad or Angry. In addition, the fact that the user's emotion appears as a neutral emotion as a result of the integrated emotion analysis d3 may mean a case in which the final emotion among the plurality of emotions is determined to be neutral. In addition, the fact that the user's emotion appears as a positive emotion as a result of the integrated emotion analysis d3 may mean a case in which the final emotion among the plurality of emotions is determined as Happy.
따라서, 치료 모듈(40)은 통합 감정 분석 결과(d3)로서 사용자의 감정이 부정적 감정 또는 중립 감정으로 나타난 경우(즉, 최종 감정이 중립, 슬픔 및 분노 중 어느 하나로 결정된 경우), 사용자의 현재 감정인 중립, 슬픔 및 분노 중 어느 하나의 감정이 긍적적 감정인 행복 감정으로 변화되도록 유도하는 컨텐츠 형태로 감정치료법(d4)을 제공할 수 있다.Therefore, when the user's emotion is expressed as a negative emotion or a neutral emotion as a result of the integrated emotion analysis (d3) (that is, when the final emotion is determined to be one of neutral, sad, and anger), the user's current assessor An emotion treatment method d4 may be provided in the form of content that induces any one of neutrality, sadness, and anger to change into a positive emotion, a happy emotion.
또한, 치료 모듈(40)은 통합 감정 분석 결과(d3)로서 사용자의 감정이 긍정적 감정으로 나타난 경우(즉, 최종 감정이 행복으로 결정된 경우), 사용자의 현재 감정인 행복 감정에 해당하는 긍정적 감정이 유지되거나 확장되도록 유도하는 컨텐츠 형태로 감정치료법(d4)을 제공할 수 있다.In addition, the
일예로, 치료 모듈(40)은 사용자의 감정에 대해 긍정적 감정으로의 변화를 유도하는 컨텐츠 형태의 감정치료법으로서 미술치료법을 제공할 수 있다. 또한, 치료 모듈(40)은 사용자의 감정에 대해 긍정적 감정의 유지 및 확장을 유도하는 컨텐츠 형태의 감정치료법으로서 영화, 음악 및 도서 중 적어도 하나의 컨텐츠를 제공할 수 있다.As an example, the
치료 모듈(40)은 획득된 통합 감정 분석 결과(d3)를 기반으로 감정치료법(d4)이 결정(치료법 결정, 41)되면, 사용자가 결정된 감정치료법을 기반으로 감정치료를 수행할 수 있도록, 결정된 감정치료법(d4)을 사용자에 의한 감정치료의 수행(42)이 가능하도록 하는 형태로 마련하여 사용자 단말(2)의 모바일 어플리케이션(2a)으로 제공할 수 있다.When the emotion treatment method (d4) is determined based on the obtained integrated emotion analysis result (d3) (the treatment method determination, 41), the
이때, 치료 모듈(40)은 통합 감정 분석 결과(d3)를 기반으로 결정된 감정치료법에 대하여 로컬 스토리지(43)로부터 획득된 치료법 정보를 적용함으로써, 결정된 감정치료법(d4)을 사용자에 의한 감정치료(감정치료법)의 수행(42)이 가능하도록 하는 형태로 마련할 수 있다. 치료 모듈(40)은 감정치료법의 수행(42)이 가능하도록 마련된 감정치료법(d4)을 사용자 단말(2)로 제공할 수 있다.At this time, the
로컬 스토리지(43)에는 복수의 감정 각각에 대하여 각 감정별로 그에 대응하는 적어도 하나의 치료법 정보가 기 저장되어 있을 수 있다. 여기서, 치료법 정보는 컨텐츠 정보를 의미할 수 있다. 예시적으로, 치료법 정보에는 최종 감정이 슬픔인 경우에 제공 가능한 복수의 미술그림 관련 컨텐츠 정보, 최종 감정이 행복인 경우에 제공 가능한 복수의 음악 관련 컨텐츠 정보 등이 포함될 수 있다.In the local storage 43, for each of the plurality of emotions, at least one treatment information corresponding to each emotion may be previously stored. Here, the treatment information may mean content information. For example, the treatment information may include information on a plurality of contents related to art pictures that can be provided when the final emotion is sadness, and information on a plurality of music related contents that can be provided when the final emotion is happiness.
예를 들어, 통합 감정 분석 결과(d3)를 기반으로 감정치료법으로서 미술치료법이 결정(41)되었다고 가정하자. 이때, 치료 모듈(40)은 로컬 스토리지(43)로부터 치료법 정보로서 복수의 미술그림 중 최종 감정의 치료(예를 들어, 부정적 감정인 슬픔 감정을 긍정적 감정인 행복 감정으로 변화되도록 유도하는 치료)를 가능하게 하는 어느 하나의 미술그림을 획득할 수 있다. 이후, 치료 모듈(40)은 결정된 감정치료법을 로컬 스토리지(42)로부터 획득된 치료법 정보에 해당하는 미술그림을 기반으로 사용자가 감정치료의 수행(42)이 가능하도록 하는 형태로 마련하여 사용자 단말(2)로 제공할 수 있다.For example, assume that an art therapy method is determined (41) as an emotional therapy method based on the integrated emotion analysis result (d3). At this time, the
일예로, 치료 모듈(40)은 획득된 치료법 정보에 해당하는 미술그림을 사용자가 보고 따라 그릴 수 있도록 그림판 형태로 마련하여 사용자 단말(2)로 제공할 수 있다. 일예로, 치료 모듈(40)에 의해 사용자 단말(2)로 제공된 감정치료법(d4)에 의하면, 사용자 단말(2)의 화면 상의 일영역에는 치료 모듈(40)에 의해 결정된 감정치료법에 해당하는 미술그림(즉, 로컬 스토리지로부터 획득된 미술그림)이 표시되고, 사용자 단말(2)의 화면 상의 상기 일영역을 제외한 나머지 영역에는 해당 미술그림을 보고 사용자가 보고 그릴 수 있도록 마련되는 그림판이 표시(제공)될 수 있다.As an example, the
통합 감정 분석 결과(d3) 및/또는 감정치료법(d4)이 표시(제공)되는 사용자 단말(2)의 화면은 일예로 본 장치(100, 110)의 통합 모듈(30) 및/또는 치료 모듈(40)에 의하여 제어될 수 있다.The screen of the
달리 표현하여, 본 장치(110, 110)에 의하여 제공되는 통합 감정 분석 결과(d3) 및/또는 감정치료법(d4)은 모바일 어플리케이션(2a)을 통해 사용자 단말(2)의 화면 상에 표시될 수 있다. 이를 위해, 본 장치(100, 110)의 통합 모듈(30) 및/또는 치료 모듈(40)은 통합 감정 분석 결과(d3) 및/또는 감정치료법(d4)이 사용자 단말(2)의 화면에 표시되도록 모바일 어플리케이션(2a)을 제어할 수 있다.In other words, the integrated emotion analysis result (d3) and/or the emotion treatment method (d4) provided by the
이처럼, 치료 모듈(40)이 통합 감정 분석 결과(d3)에 대응하여 결정된 감정치료법(d4)을 사용자 단말(2)로 제공함으로써, 사용자는 본 장치(100)에 의해 제공되는 감정치료법(d4)을 기반으로 감정 치료를 수행할 수 있다.In this way, the
도 7은 본원의 일 실시예에 따른 신경망 기반 감정 분석 기반의 감정 치료 장치(110)에 의하여 사용자의 감정 치료가 이루어지는 예를 설명하기 위한 도면이다. 특히, 도 7은 사용자의 감정 분석 및 감정 치료를 수행하기 위해, 본 장치(110)가 모바일 어플리케이션(2a)을 제어함으로써 표시되는 사용자 단말(2)의 화면 예를 나타낸 도면이다. FIG. 7 is a diagram for describing an example in which emotion treatment of a user is performed by the
도 7을 참조하면, 본 장치(100, 110)에 의한 신경망 기반 감정 분석 기반의 감정 치료를 위해, 모바일 어플리케이션(2a)에 의하면, 사용자 단말(2)의 메인 화면에 '시작(start)' 메뉴, '리스트(List) 메뉴 등이 제공될 수 있다.Referring to FIG. 7, for emotional treatment based on a neural network-based emotion analysis by the
사용자 단말(2)의 화면 상에 표시된 '시작' 메뉴에 대한 사용자 입력이 이루어지면, 사용자(1)로부터 음성 데이터(d)에 대한 입력(녹음)이 가능하도록 하는 음성 데이터 입력 버튼이 화면 상에 제공될 수 있다. 사용자는 음성 데이터 입력 버튼에 대한 입력(예를 들어, 터치 입력 등)을 수행한 다음, 감정 분석을 수행하고자 하는 음성을 발화할 수 있다. 사용자 단말(2)의 모바일 어플리케이션(2a)은 사용자로부터 입력된 발화에 대응하는 음성 데이터(d)를 본 장치(100, 110)로 제공할 수 있다. 본 장치(100, 110)는 입력된 음성 데이터(d)에 대하여 음성분석 및 문맥분석을 적용함으로써 사용자의 감정(현재 감정)(음성 데이터에 대응하는 감정)을 분석할 수 있다.When a user input is made to the'Start' menu displayed on the screen of the
이후, 본 장치(100, 110)는 입력된 음성 데이터(d)에 응답하여, 분석 결과로서 사용자의 최종 감정을 나타내는 통합 감정 분석 결과(d3)를 산출할 수 있다. 또한, 본 장치(100, 110)는 산출된 통합 감정 분석 결과(d3)를 기반으로 감정치료법(d4)을 결정하고, 결정된 감정치료법(d4)을 모바일 어플리케이션(2a)으로 제공할 수 있다. Thereafter, in response to the input voice data d, the
일예로, 분석된 사용자의 최종 감정이 슬픔(Sad)인 경우, 본 장치(100, 110)는 감정치료법(d4)으로서 사용자의 부정적 감정(즉, 슬픔 감정)이 긍정적 감정으로의 변화가 유도되도록 하는 컨텐츠(예시적으로, 미술치료법에 따른 미술그림)을 모바일 어플리케이션(2a)으로 제공할 수 있다. 이에 따라, 사용자 단말(2)의 화면 상에 감정치료법(d4)으로서 미술치료법 수행을 위한 미술그림이 표시(디스플레이)될 수 있다. 이때, 본 장치(100, 110)는 미술그림뿐만 아니라 사용자(1)가 해당 미술그림을 이용해 감정치료의 수행이 가능하도록 하는 치료수행 모드를 모바일 어플리케이션(2a)으로 제공할 수 있다. 이때, 치료수행 모드는 일예로 해당 미술그림을 보고 사용자가 보고 따라 그릴 수 있도록 마련되는 그림판 등을 의미할 수 있다. 즉, 모바일 어플리케이션(2a)은 일예로 미술치료법에 대한 치료수행 모드로서 미술치료를 위한 그림판을 사용자 단말(2)의 화면에 표시할 수 있다.For example, when the analyzed final emotion of the user is sad, the
이에 따르면, 모바일 어플리케이션(2a)은 입력된 음성 데이터(d)에 대한 사용자의 감정 분석 결과로서, 미술그림 혹은 치료수행 모드에 관한 정보를 포함하는 감정치료법(d4) 및 통합 감정 분석 결과(d3)를 사용자 단말(2)의 화면 상에 표시(제공)할 수 있다.According to this, the mobile application (2a) is a result of the user's emotion analysis on the input voice data (d), an emotional treatment method (d4) and an integrated emotion analysis result (d3) including information on an art picture or treatment mode. Can be displayed (provided) on the screen of the
다른 일예로, 결정된 감정치료법(d4)이 무용/동작 치료법인 경우, 사용자 단말(2)의 화면 상에는 치료수행 모드로서 사용자가 주어진 동작을 따라 행동할 수 있도록 하는 동영상 등이 표시될 수 있다.As another example, when the determined emotional therapy method d4 is a dance/motion therapy, a video or the like may be displayed on the screen of the
도 8은 본원의 일 실시예에 따른 신경망 기반 감정 분석 기반의 감정 치료 장치(110)와 연동되는 모바일 어플리케이션(2a) 내의 메뉴 구성을 개략적으로 나타낸 도면이다. 도 8에서는 일예로 감정치료법으로서 미술치료법이 고려되는 경우에 대하여 설명하기로 한다. FIG. 8 is a diagram schematically illustrating a menu configuration in a
도 8을 참조하면, 모바일 어플리케이션(2a)은 사용자 단말(2)의 화면 상에 표시 가능한 메뉴로서 일예로 녹음 메뉴와 히스토리 목록 메뉴를 포함할 수 있다.Referring to FIG. 8, the
녹음 메뉴에는 미술 치료 예제 메뉴 및 미술 치료 그림판 메뉴가 포함될 수 있다.The recording menu may include an art therapy example menu and an art therapy paint menu.
미술 치료 예제 메뉴에는 일예로 사용자가 본 장치(100, 110)에 의하여 감정 치료를 수행함에 있어서, 본 장치(100, 110)로부터 제공받게 되는 감정치료법(d4) 관련 정보가 저장되어 있을 수 있다. 즉, 미술 치료 예제 메뉴에는 미술치료법에 대응하여 사용자가 미술치료를 수행할 수 있도록 하기 위한 미술그림의 예제 그림들이 저장되어 있을 수 있다. 사용자는 미술 치료 예제 메뉴에 저장된 복수의 미술그림의 예제 그림을 고려(참고)함으로써 사용자 본인이 그림을 그리는 등의 미술치료 작업을 수행할 수 있다. 즉, 미술 치료 예제 메뉴에 대응하는 사용자 단말의 화면 상 표시 예는 일예로 도 7에 도시된 '미술치료 이전 그림 예제 화면'의 예와 같을 수 있다.In the art therapy example menu, for example, when a user performs emotion therapy by the
미술 치료 그림판 메뉴는 사용자가 본 장치(100, 110)에 의해 분석된 최종 감정에 따라 결정된 미술치료법을 실제로 수행하는 그림을 그릴 수 있도록 하는 화면을 제공할 수 있는 메뉴(즉, 치료수행 모드를 제공하는 메뉴)를 의미할 수 있다. 즉, 미술 치료 그림판에 대응하는 사용자 단말의 화면 상 표시 예는 일예로 도 7에 도시된 '미술치료를 위한 사용자 그림판 화면'의 예와 같을 수 있다. 사용자는 미술 치료 그림판 메뉴를 통해 제공되는 치료수행 모드를 기반으로, 예시적으로 펜의 색깔을 선택하여 미술치료법의 매뉴얼에 따라 그림을 그리는 등의 행동을 수행할 수 있으며, 이에 따라 미술치료가 이루어질 수 있다.The art therapy paint menu provides a menu (i.e., a therapy execution mode) that can provide a screen that allows a user to draw a picture that actually performs an art therapy method determined according to the final emotion analyzed by the device (100, 110). It can mean a menu). That is, an example of the display on the screen of the user terminal corresponding to the art therapy paint may be the same as the example of the'user paint screen for art therapy' shown in FIG. 7. Based on the treatment mode provided through the art treatment paint menu, the user can select a color of a pen and perform an action such as drawing a picture according to the manual of the art treatment method, and art treatment is performed accordingly. I can.
히스토리 목록 메뉴에는 일예로 날짜 히스토리 메뉴, 기분 히스토리 메뉴, 음성 히스토리 메뉴 및 그림 히스토리 메뉴를 포함하는 4가지의 메뉴가 포함될 수 있다. 이러한 히스토리 목록 메뉴에는 사용자가 본 장치(100, 110)에 의해 제공되는 데이터(예를 들어, 통합 감정 분석 결과나 감정치료법)를 기반으로 감정 치료를 수행함으로써 생성된 이력 정보(날짜, 기분, 음성 및 그림 관련 히스토리 정보)가 저장될 수 있다. 여기서, 기분이라 함은 감정을 의미할 수 있다.The history list menu may include, for example, four menus including a date history menu, a mood history menu, a voice history menu, and a picture history menu. In this history list menu, history information (date, mood, voice) generated by the user performing emotional treatment based on data provided by the
히스토리 목록 메뉴에는 네 가지(날짜, 기분, 음성, 그림)의 메뉴 기능이 있으며, 각각의 기능은 사용자가 이전에 본 장치(100, 110)와 연동되는 모바일 어플리케이션(2a)을 사용한 날짜와 그 당시 입력된 기분, 음성 그리고 그림을 보관할 수 있다. The history list menu has four menu functions (date, mood, voice, picture), and each function is the date and time when the user previously used the
사용자는 기분 히스토리 메뉴를 통하여 사용자 자신의 이전 감정 상태에 대해 확인할 수 있다. 사용자는 음성 히스토리 메뉴를 통하여 감정 분석 내지 감정 치료를 수행하던 당시에 입력(녹음)된 음성 데이터(음성 파일)을 열어 당시의 기분을 확인할 수 있다. 사용자는 그림 히스토리 메뉴를 통하여 감정 분석 내지 감정 치료를 수행한 당시의 기분을 긍정적으로 변화되도록 유도하기 위해 수행되었던 감정치료법에 대한 치료 결과(예를 들어, 미술치료의 결과)인 그림을 확인할 수 있다.The user can check the user's previous emotional state through the mood history menu. The user can check the mood at the time by opening the voice data (voice file) input (recorded) at the time of performing emotion analysis or emotional treatment through the voice history menu. Through the picture history menu, the user can check the picture, which is the treatment result (for example, the result of art therapy) for the emotion treatment method that was performed to induce a positive change in the mood at the time of performing emotion analysis or emotional treatment. .
본 장치(100, 110)는 입력된 음성 데이터(d)에 대하여, 신경망(일예로 CNN 신경망) 기반 음성분석과 감정사전(감성어 사전) 기반의 문맥분석을 융합하여 음성 데이터(d)에 대한 사용자의 감정 분석을 수행할 수 있다. 본 장치(110, 110)는 이러한 융합 기반의 감정 분석 결과(통합 감정 분석 결과, d3)를 기반으로 사용자(1)에게 감정치료법(감정치료 기법)을 제공, 즉, 사용자가 감정치료를 수행할 수 있도록 할 수 있다.The
본 장치(100, 110)는 감정치료법으로서 일예로 미술치료법을 제공할 수 있다. 본 장치(100, 110)에 의해 제공되는 감정치료법에 의하면, 사용자의 부정적 감정(Sad, Angry) 혹은 중립 감정(Neutral)이 긍정적 감정으로 변화되도록 유도할 수 있다. 또한, 본 장치(110, 110)에 의해 제공되는 감정치료법에 의하면, 사용자의 긍정적 감정(Happy)이 유지 및 확장되도록 유도할 수 있다. 즉, 본 장치(100, 110)에 의해 제공되는 감정치료법은 사용자의 감정을 보다 긍정적으로 변화시키거나 긍정적 감정을 유지 및 확장되도록 유도하는 역할을 수행할 수 있다.The
본 장치(100, 110)는 음성 데이터(d)가 입력되면, 입력된 음성 데이터(d)를 음성분석 모듈(10)과 문맥분석 모듈(20) 각각으로 제공할 수 있다. 음성분석 모듈(10)은 음성 데이터(d)에 대한 음성분석의 처리를 통해 일예로 4가지 감정(Happy, Neutral, Sad, Angry) 각각에 대한 확률 값을 제1 감정 분석 결과(d1)로서 산출할 수 있다. 문맥분석 모듈(20)은 음성 데이터(d)에 대한 문맥분석의 처리를 통해 긍정의 세기 및 부정의 세기와 관련한 감정점수(즉, 긍/부정의 세기 관련 감정점수, 1가지의 긍/부정 결과 값)를 제2 감정 분석 결과(d2)로서 산출할 수 있다. 이후, 통합 모듈(30)은 제1/제2 감정 분석 결과(d1, d2)를 입력으로 하여 사용자의 최종 감정을 포함하는 통합 감정 분석 결과(d3)를 산출할 수 있다. 달리 말해, 통합 모듈(30)은 음성분석 모듈(10)로부터 획득된 감정 데이터와 문맥분석 모듈(20)로부터 획득된 긍/부정 결과 값을 기반으로 사용자의 최종 감정을 통합 감정 분석 결과(d3)로서 산출(추출)할 수 있다. 치료 모듈(40)은 산출된 통합 감정 분석 결과(d3)를 기반으로 감정치료법(d4)을 결정하고, 결정된 감정치료법(d4)이 사용자 단말(2)의 화면 상에 표시되도록 모바일 어플리케이션(2a)으로 결정된 감정치료법(d4)을 제공할 수 있다. 이를 통해, 사용자(10는 사용자 단말(2)의 화면에 제공되는 감정치료법(d4)을 기반으로 감정 치료를 수행할 수 있다.When the voice data d is input, the
도 9는 본원의 일 실시예에 따른 신경망 기반 감정 분석 기반의 감정 치료 장치(110)에서 문맥분석 모듈(20)에 의한 제2 감정 분석 결과(d2)의 산출 예를 설명하기 위한 도면이다.9 is a view for explaining an example of calculating a second emotion analysis result d2 by the
도 9를 참조하면, 일예로, 입력된 음성 데이터(d)가 'When you have meet so many kind and wonderful Stepmothers.'라고 가정하자.Referring to FIG. 9, as an example, assume that the input voice data d is'When you have meet so many kind and wonderful Stepmothers.'
문맥분석 모듈(20)은 입력된 음성 데이터(d)를 STT(Speech To Text, 21)를 통해 텍스트로 변환할 수 있다. 이후, 문맥분석 모듈(20)은 변환된 텍스트에 대하여 Google Natural Language(22)를 이용해 단어 기본형(Lemma)을 추출할 수 있다. 일예로, 문맥분석 모듈(20)은 음성 데이터(d)로부터 적어도 하나의 단어 기본형으로서, [I, have, met, so, many, kind, and, wonderful, Stepmothers]를 추출할 수 있다.The
이후, 문맥분석 모듈(20)은 추출된 적어도 하나의 단어 기본형에 대하여 감정사전 DB(감정어 사전 DB, 23)에 포함된 단어 기본형과의 매칭을 수행함으로써, 매칭되는 매칭 단어 기본형의 존재 여부를 확인할 수 있다. 문맥분석 모듈(20)은 추출된 단어 기본형과 감정사전 DB(23)에 포함된 단어 기본형 간의 매칭을 수행함으로써, 매칭 단어 기본형 각각의 감정점수를 획득할 수 있다. Thereafter, the
달리 표현하여, 문맥분석 모듈(20)은 Google Natural Language(22)의 적용을 통해 변환된 텍스트로부터 변환된 텍스트에 포함된 감정을 나타내는 단어(감정어)의 단어 기본형(Lemma)를 추출하고, 추출된 단어 기본형과 감정사전 DB(23)와의 매칭을 통해, 감정사전 DB(23)로부터 추출된 단어 기본형과 매칭되는 매칭 단어 기본형에 대하여 기 저장된 인덱스(index)를 획득할 수 있다. 이때, 문맥분석 모듈(20)은 획득된 인덱스를 기반으로 매칭 단어 기본형에 대하여 기 부여되어 있는 감정점수를 획득할 수 있다. 이때, 감정단어 DB(23)에는 단어 기본형, 인덱스 및 감정점수에 해당하는 정보가 서로 연계되어 룩업테이블 형식으로 저장되어 있을 수 있다.In other words, the
예를 들어, 감정사전 DB(23)에는 'kind(인덱스 3): +1.0', 'wonderful(인덱스 9): +2.0' 등과 같은 데이터가 기 저장되어 있을 수 있다. 이에 따르면, 문맥분석 모듈(20)은 매칭 단어 기본형 각각의 감정점수로서, 매칭 단어 기본형인 kind의 감정점수인 '+3.0'과 매칭 단어 기본형인 wonderful의 감정점수인 '+9.0'을 감정사전 DB(23)로부터 획득할 수 있다. For example, data such as'kind (index 3): +1.0' and'wonderful (index 9): +2.0' may be previously stored in the
이후, 문맥분석 모듈(20)은 추출된 적어도 하나의 단어 기본형 각각에 대응하는 매칭 단어의 감정점수를 합산함으로써, 합산된 감정점수를 제2 감정 분석 결과(d2)로서 산출할 수 있다. 일예로, 합산된 감정점수(감정점수의 총합, Sentiment Score), 즉 음성 데이터(d)에 해당하는 문장 전체에 대한 감정점수는 +3.0(+1.0+2.0=+3.0)(긍정 감정 값)일 수 있다. 이에 따르면, 음성 데이터(d)에 대하여 문맥분석을 수행한 경우에는 사용자의 감정이 '긍정적 감정'인 것으로 산출될 수 있다.Thereafter, the
도 10a 내지 도 10c는 본원의 일 실시예에 따른 신경망 기반 감정 분석 기반의 감정 치료 장치(110)에서 음성분석 모듈(10)에 의한 제1 감정 분석 결과(d1)의 산출 예를 설명하기 위한 도면이다. 10A to 10C are diagrams for explaining an example of calculating the first emotion analysis result d1 by the
특히, 도 10a는 음성 데이터(d)에 MFCC 변환(11)을 적용함으로써 추출된 음성 파형 특징(즉, MFCC 특징 값)의 예를 나타낸다. 도 10b는 로컬 스토리지(13)로부터 획득되는 모델 데이터(Model Data)의 학습 곡선의 예를 나타낸다. 도 10c는 제1 감정 분석 결과(d1)의 예를 나타낸다.In particular, FIG. 10A shows an example of a speech waveform characteristic (ie, MFCC characteristic value) extracted by applying the
도 10a 내지 도 10c를 참조하면, 일예로, 입력된 음성 데이터(d)가 'When you have meet so many kind and wonderful Stepmothers.'라고 가정하자.Referring to FIGS. 10A to 10C, as an example, assume that the input voice data d is'When you have meet so many kind and wonderful Stepmothers.'
음성분석 모듈(10)은 음성 데이터(d)에 대한 MFCC 변환(11) 적용을 통해, 음성 데이터(d)로부터 음성 파형 특징(즉, MFCC 특징 값)을 추출(검출, 획득)할 수 있다. 예시적으로, 음성 데이터(d)로부터 음성분석 모듈(10)은 26개의 음성 파형 특징을 추출할 수 있다. 음성분석 모듈(10)은 추출된 음성 파형 특징을 신경망(12)의 입력으로 제공할 수 있다.The
또한, 음성분석 모듈(10)은 로컬 스토리지(13)로부터 모델 데이터(Model Data)를 획득(로딩)하여 신경망(12)의 입력으로 제공할 수 있다. 여기서, 로컬 스토리지(13)에 저장된 모델 데이터는 MFCC 특징 값으로부터 음성을 분류하도록 학습되는 음성 분류를 위한 신경망 모델 내지 해당 신경망 모델에 대한 학습을 통해 결정된 신경망의 가중치 값을 의미할 수 있다.In addition, the
일예로, 모델 데이터는 2000개의 Tess 음성 데이터의 MFCC 특징 값을 학습한 신경망 모델 관련 데이터(예를 들어, 가중치 값)를 의미할 수 있다. 도 10b에서 파란색 곡선은 정확도를 나타내며, 본 장치(100, 110)에 적용되는 모델 데이터는 일예로 98%의 학습 정확도를 보이는 모델 데이터일 수 있다.As an example, the model data may mean data related to a neural network model (eg, a weight value) obtained by learning MFCC feature values of 2000 Tess voice data. In FIG. 10B, a blue curve indicates accuracy, and model data applied to the
음성분석 모듈(10)은 음성 데이터(d)로부터 추출된 음성 파형 특징 및 로컬 스토리지(13)로부터 획득된 모델 데이터를 신경망(12)의 입력으로 적용함으로써, 신경망(12)의 결과로서 제1 감정 분석 결과(d1)를 산출할 수 있다.The
음성분석 모듈(10)에 의해 산출되는 제1 감정 분석 결과(d1)에는 행복(Happy), 중립(Neutral), 슬픔(Sad) 및 분노(Angry)를 포함하는 복수의 감정 각각에 대해 확률적으로 부여되는 값(확률 값)이 포함될 수 있다. 도 10c에는 예시적으로, 음성 데이터(d)에 대한 음성분석의 적용 결과, 4가지의 감정 중 '행복(Happy)'에 해당하는 감정이 가장 큰 값을 갖도록 제1 감정 분석 결과(d1)가 산출되었음을 확인할 수 있다. 이에 따르면, 음성 데이터(d)에 대하여 음성분석을 수행한 경우에는 사용자의 감정이 '행복(Happy)'인 것으로 산출될 수 있다.In the first emotion analysis result d1 calculated by the
음성 데이터(d)에 대한 음성분석의 적용 결과는 최종 단계에서 소프트맥스(Softmax) 함수를 이용하여 합이 1이 되도록 적용(조정)될 수 있다. 이에 따르면, 도 10c에 도시된 감정 분석 결과(즉, 제1 감정 분석 결과, d1)는 음성 데이터(d)에 대한 음성분석의 적용 결과로서 예시적으로 소프트맥스 함수가 적용되기 이전의 값을 의미할 수 있다.The result of applying the speech analysis to the speech data d can be applied (adjusted) so that the sum becomes 1 using a Softmax function in the final step. According to this, the emotion analysis result (that is, the first emotion analysis result, d1) shown in FIG. 10C is a result of the application of the speech analysis to the voice data (d), which exemplarily refers to a value before the softmax function is applied. can do.
도 11은 본원의 일 실시예에 따른 신경망 기반 감정 분석 기반의 감정 치료 장치(110)에서 통합 모듈(30)에 의한 통합 감정 분석 결과(d3)의 산출 예를 설명하기 위한 도면이다.11 is a view for explaining an example of calculating an integrated emotion analysis result d3 by the
도 11을 참조하면, 통합 모듈(30)은 제1 감정 분석 결과(d1)와 제2 감정 분석 결과(d2)를 신경망(31)의 입력으로 제공하여 융합(통합) 분석을 수행함으로써, 음성 데이터(d)에 대한 통합 감정 분석 결과(d3)로서 복수의 감정 각각에 대한 확률을 산출할 수 있다.Referring to FIG. 11, the
통합 모듈(30)은 제1/제2 감정 분석 결과(d1, d2)의 통합분석의 처리 결과, 4가지 감정에 대한 확률 중 행복(Happy)에 해당하는 확률이 가장 큰 값(높은 값)으로 나타남에 따라, 음성 데이터(d)에 대한 사용자의 최종 감정을 '행복(Happy)'인 것으로 산출할 수 있다. 즉, 통합 모듈(30)은 통합분석을 통해, 복수의 감정 중 최대치의 확률을 갖는 감정이 '행복(Happy)'이므로, 사용자의 최종 감정을 '행복(Happy)'인 것으로 산출할 수 있다. 통합 모듈(30)은 '행복(Happy)'을 사용자의 최종 감정으로 결정한 통합분석(음성분석과 문맥분석을 함께 수행한 통합분석) 결과로서 통합 감정 분석 결과(d3)를 산출할 수 있다.The
일예로, 도 11에 도시된 통합분석 감정 값은 통합 모듈(30)에 의하여 산출되는 통합 감정 분석 결과(d3)와 관련하여, 행복(Happy), 중립(Neutral), 슬픔(Sad) 및 분노(Angry)를 포함하는 복수의 감정 각각에 대한 최종 결과 값을 의미할 수 있다. 이는 앞서 소프트맥스 함수를 이용하여 합이 1로 조정된 음성분석 모듈(10)에 의해 산출된 음성 데이터(d)에 대한 음성분석의 적용 결과(즉, 제1 감정 분석 결과, d1)와 문맥분석 모듈(20)에 의해 산출된 자연어 분석 결과인 제2 감정 분석 결과(d2)를 함께 이차적으로 처리하여 나온 최종 결과 값을 의미할 수 있다. 이러한 복수의 감정 각각에 대한 최종 결과 값의 합은 1일 수도 있고, 1이 아닐 수도 있다.As an example, the integrated analysis emotion value shown in FIG. 11 is related to the integrated emotion analysis result d3 calculated by the
치료 모듈(40)은 통합 감정 분석 결과(d3)를 기반으로 감정치료법(d4)을 결정하여 사용자 단말(2)로 제공할 수 있다. 예시적으로, 통합 감정 분석 결과(d3)에 포함된 사용자의 최종 감정이 '행복(Happy)'으로서 긍정적 감정인 것으로 나타난 경우, 치료 모듈(40)은 긍정적 감정의 유지 및 확장을 유도하는 컨텐츠 형태로 감정치료법(d4)을 제공할 수 있다. 일예로, 치료 모듈(40)은 감정치료법(d4)으로서 '행복한 모습 그리기'에 관한 감정치료의 수행이 가능하도록 그림판을 제공할 수 있다.The
본 장치(100, 110)는 사용자(1)의 음성 데이터(d)를 텍스트 기반의 문맥분석 모듈(20)과 신경망 기반의 음성분석 모듈(10)을 통하여 각각의 감정점수(d1, d2)를 추출한 후, 이를 통합 모듈(30)에서 통합함으로써 사용자의 최종적인 감정(최종 감정)을 분석 결과(d3)로서 산출(도출)할 수 있다. The
본 장치(100, 110)는 통합분석의 결과(d3)에 따라 감정치료법(d4)을 제공할 수 있다. 본 장치(100, 110)는 통합분석 결과(d3)에 따라 미술치료나 컨텐츠 추천(영화, 음악, 도서 등의 컨텐츠 제공) 등에 관한 감정치료법(d4)을 사용자 단말(2)로 제공할 수 있다. 이를 통해, 본 장치(100, 110)는 이러한 감정치료법(d4)의 제공을 통해 사용자의 스트레스 및 감정과 관련한 문제들이 해소되도록 할 수 있다. The
예를 들어, 사용자의 최종 감정(현재의 최종적인 감정)이 '슬픔(Sad)'인 경우, 본 장치(100, 110)는 최종 감정인 슬픈 감정을 긍정적 감정(예를 들어, 행복한 감정)으로 변화시킬 수 있는 감정치료법(d4)으로서 일예로 미술치료법을 제공할 수 있다.For example, when the user's final emotion (current final emotion) is'Sad', the
본 장치(100, 110)는 음성분석과 문맥분석을 융합하여 사용자의 감정을 분석할 수 있다. 음성분석을 단일적으로 이용한 감정 분석 방식은 중립적인 억양에 대한 인식이 어렵고, 동일한 문장에 대해서도 개인의 반언어적 특징에 따라 감정이 다르게 결정되기도 하는 문제가 발생할 수 있다.The
종래에는 음성을 통한 감정 분석 기술과 관련하여 여러 연구가 진행된 바 있는데, 대부분 60~70%의 정확도로서 비교적 낮은 정확도를 보이는 문제가 있다. 또한 종래에 공지된 대부분의 감정 분석 기술들은 이미지와 같은 데이터를 이용해 감정 분석을 수행할 뿐, 문맥분석과 음성분석을 융합하여 감정 분석을 수행하는 기술에 대해서는 존재하지 않는다. 또한, 종래의 자연어 처리 기반의 감정 분석 기술들은 입력된 음성 데이터에 감정을 나타내는 단어(감정 단어, 감정어)가 포함되어 있지 않은 경우 정확한 감정 인식이 이루어지지 못하는 문제가 있다.Conventionally, several studies have been conducted in relation to the technology for analyzing emotions through voice, but there is a problem of showing relatively low accuracy, mostly with an accuracy of 60 to 70%. In addition, most of the conventionally known emotion analysis techniques only perform emotion analysis using data such as images, and there is no technology for performing emotion analysis by fusion of context analysis and voice analysis. In addition, conventional natural language processing-based emotion analysis techniques have a problem in that accurate emotion recognition cannot be achieved when input voice data does not contain words representing emotions (emotional words, emotional words).
구체적으로, 종래에 음성분석을 단독적으로 이용하는 감정 분석 기술은 다음과 같은 문제를 갖는다. 중립적인 억양으로 감정적인 문장을 말하는 경우에 대해서는 인지가 어렵고, 동일한 문장이라 개인차로 인하여 감정 분석 결과가 서로 다르게 결정(도출)될 수 있다.Specifically, the conventional emotion analysis technology using voice analysis alone has the following problems. It is difficult to recognize the case where an emotional sentence is spoken with a neutral accent, and because the sentence is the same, the emotional analysis result may be determined (derived) differently due to individual differences.
사람의 감정을 인식하는 종래의 기술 중 일예로는 [Yelin Kim and Emily Mower Provost. 2015. Emotion Recognition During Speech Using Dynamics of Multiple Regions of the Face. ACM Trans. Multimedia Comput. Commun. Appl. 12, 1s, Article 25 (October 2015), 23 pages.] 문헌이 존재한다.One of the conventional techniques for recognizing human emotions is [Yelin Kim and Emily Mower Provost. 2015. Emotion Recognition During Speech Using Dynamics of Multiple Regions of the Face. ACM Trans. Multimedia Comput. Commun. Appl. 12, 1s, Article 25 (October 2015), 23 pages.] There is a literature.
상기의 종래 문헌은 Deep Belief Network의 확장 기술을 제안하고 있으며, 본원에서 제안하는 기술과는 달리 신경망(Deep Learning, 딥러닝) 기술을 이용하지 않는다는 점에서 차이가 있다. 또한, 종래 문헌의 감정 분석은 60~70%의 정확도로 낮은 정확도를 보이며, 얼굴에 대한 이미지를 기반으로 감정 분석을 수행한다는 점에서 차이가 있다.The above-described conventional literature proposes an extension technology of the Deep Belief Network, and differs in that it does not use a neural network (deep learning) technology, unlike the technology proposed herein. In addition, the emotion analysis of the conventional literature is different in that it shows a low accuracy with an accuracy of 60 to 70%, and the emotion analysis is performed based on an image of a face.
한편, 종래에 자언어 처리를 기반으로 하는 감정 분석 기술은 다음과 같은 문제를 갖는다. 사용자로부터 획득된 음성 데이터에 감정을 나타내는 단어(감정어)가 포함되어 있지 않은 경우 감정 인식이 어렵다. 또한 획득된 음성 데이터 내에 감정어가 포함되어 있지 않더라도, 단어 간 종속성이나 음성 특징 등에 의하여 획득된 음성 데이터 내에 감정적인 문장이 나타날 수 있으나, 이를 감지하지 못하여 부정확한 감정 분석 결과가 도출될 수 있는 문제가 있다.Meanwhile, the conventional emotion analysis technology based on language processing has the following problems. Emotion recognition is difficult if the voice data obtained from the user does not contain a word (emotion word) representing emotion. In addition, even if the acquired voice data does not contain an appraisal word, an emotional sentence may appear in the acquired voice data due to inter-word dependency or voice characteristics. have.
도 12는 주어진 음성 데이터에 대하여 종래의 자연어 처리를 적용한 감정 분석 결과의 화면 표시 예를 나타낸 도면이다. 도 13은 주어진 음성 데이터에 대하여 본원의 일 실시예에 따른 신경망 기반 감정 분석 기반의 감정 치료 장치(110)의 문맥분석 모듈(20)에 의한 문맥분석의 적용을 통한 감정 분석 결과의 화면 표시 예를 나타낸 도면이다.12 is a diagram showing an example of a screen display of an emotion analysis result to which a conventional natural language processing is applied to given voice data. 13 illustrates an example of a screen display of an emotion analysis result through application of a context analysis by a
도 12 및 도 13을 참조하면, 도 12에 도시된 감정 분석 결과는 음성 데이터에 대하여 종래의 자연어 처리로서 일예로 Google사의 Google Natural Language(자연어 처리)가 적용된 경우의 예를 나타낸다. 이에 반해, 도 13에 도시된 감정 분석 결과는 음성 데이터에 대하여 종래의 Google Natural Language(자연어 처리)의 Dependency Tree(종속성 트리)와 수식관계 구조를 활용하여 종래 감정 분석 기술을 개선한 감정 분석 기술이 적용된 경우(즉, 본 장치에 의한 문맥분석 기술이 적용된 경우)의 예를 나타낸다.Referring to FIGS. 12 and 13, the emotion analysis result shown in FIG. 12 shows an example of applying Google's Google Natural Language (natural language processing) as a conventional natural language processing to voice data. On the other hand, the emotion analysis result shown in FIG. 13 is an emotion analysis technology that improves the conventional emotion analysis technology by using the Dependency Tree (dependency tree) of the conventional Google Natural Language (natural language processing) and the formula relation structure for voice data. It shows an example of the case where it is applied (that is, the case where the context analysis technology by this device is applied).
후술하는 설명에 의하면, 본원에 적용되는 개선된 감정 분석 기술(즉, 본 장치의 문맥분석 모듈에 의한 문맥분석 기반의 감정 분석 기술)이 단순히 종래의 자연어 처리 기술인 Google Natural Language를 이용해 감정 분석을 수행하는 것 보다 더 나은 성능을 나타냄을 확인할 수 있다.According to the description below, the improved emotion analysis technology applied to the present application (that is, the emotion analysis technology based on context analysis by the context analysis module of the device) simply performs emotion analysis using Google Natural Language, a conventional natural language processing technology. It can be seen that it shows better performance than that.
구체적으로, 도 12 및 도 13은 감정 분석 대상이 되는 음성 데이터로서 "I can’t be happy sometimes not being with my family makes me feel so lonely(나는 행복할 수 가 없어. 가족들과 함께 있지 못한다는 사실이 가끔 날 너무 외롭게 해.)"라는 문장이 고려된 경우의 감정 분석 결과를 나타낸다. Specifically, FIGS. 12 and 13 are voice data that is subject to emotion analysis, and "I can't be happy sometimes not being with my family makes me feel so lonely (I can't be happy. I can't be with my family). It shows the result of sentiment analysis when the sentence "The facts sometimes make me too lonely" is considered.
주어진 음성 데이터의 일예에는 "can’t be happy"와 "lonely"라는 표현이 포함되어 있음에 따라, 주어진 음성 데이터는 전반적으로 부정적인 문장인 것으로 판단됨이 바람직할 수 있다. 즉, 주어진 음성 데이터의 일예에 따르면, 주어진 음성 데이터에 대한 사용자의 감정은 부정적 감정에 해당하는 것으로 판단됨이 바람직할 수 있다.Since the expressions "can't be happy" and "lonely" are included in an example of the given voice data, it may be preferable that the given voice data is determined to be an overall negative sentence. That is, according to an example of the given voice data, it may be desirable to determine that the user's emotion with respect to the given voice data corresponds to a negative emotion.
하지만, 도 12를 참조하면, 종래 Google Natural Language에서는 주어진 음성 데이터에 대한 감정 분석 수행 결과로서 감정점수를 0.2로 부여하고, 이에 따라 음성 데이터에 대한 사용자의 감정을 '중립 감정'인 것으로 판단하고 있음을 확인할 수 있다. 이러한 종래의 자연어 처리 기반의 감정 분석 결과는 정확성이 떨어짐을 확인할 수 있다.However, referring to FIG. 12, in the conventional Google Natural Language, an emotion score is given as 0.2 as a result of performing emotion analysis on given voice data, and accordingly, it is determined that the user's emotion on the voice data is a'neutral emotion'. can confirm. It can be seen that the accuracy of the emotion analysis result based on such conventional natural language processing is inferior.
이에 반해, 도 13을 참조하면, 본 장치(100, 110)의 문맥분석 모듈(20)에서는 주어진 음성 데이터에 대한 감정 분석 수행 결과(즉, 제2 감정 분석 결과, d2)로서 감정점수를 -2.5로 산출하고, 이에 따라 음성 데이터에 대한 사용자의 감정을 '부정적 감정'인 것으로 판단하고 있음을 확인할 수 있다. 즉, 본 장치(100, 110)는 문맥분석 모듈(20)에 의한 문맥분석 적용을 통해 주어진 음성 데이터의 문장이 전반적으로 부정적인 감정을 포함하고 있다는 결과를 도출해 낼 수 있다.On the other hand, referring to FIG. 13, in the
이러한 본 장치(100, 110)의 문맥분석 모듈(20)에 의한 문맥분석 기반의 감정 분석 결과는 종래의 자언어 처리(일예로, Google Natural Language) 기술 대비 더 정확한 결과를 도출해 냄을 확인할 수 있다.It can be seen that the result of the sentiment analysis based on context analysis by the
본원은 신경망 기반 감정 분석 및 감정 치료 시스템(200, 200')을 제공할 수 있다. 본 시스템(200, 200')은 음성분석과 감정사전 기반의 문맥분석을 융합하여 입력된 음성 데이터에 대한 사용자의 감정을 분석하고, 분석 결과에 따라 사용자에게 적절한 감정치료법 및 컨텐츠를 제공할 수 있다. 이러한 본 시스템(200, 200')은 NBST(Neural network Based Sentiment analysis and Therapy system)라 지칭될 수 있다. The present application may provide a neural network-based emotion analysis and
본 장치(100, 110) 및 본 시스템(200, 200')은 입력된 음성 데이터에 대하여 음성분석과 감정사전(감성어사전) 기반의 문맥분석을 융합하여 감정 분석을 실시한 후 분석한 결과를 바탕으로 사용자에게 치료 기법(감정치료법)을 제공할 수 있다. 감정치료법으로는 일예로 미술치료법이 고려될 수 있으며, 이러한 감정치료법의 제공을 통해 사용자의 부정적인 감정을 긍정적으로 변화시킬 수 있다.The device (100, 110) and the system (200, 200') perform emotion analysis by fusion of voice analysis and context analysis based on emotion dictionary (emotional language dictionary) for the input voice data, and then based on the analysis result. As a result, it is possible to provide treatment techniques (emotional treatment) to users. As an emotion treatment method, an art treatment method may be considered as an example, and the negative emotion of the user may be positively changed through the provision of such emotion treatment method.
본 장치(100, 110)는 치료 모듈(40)에서 결정된 감정치료법(d4)을 모바일 어플리케이션(2a)으로 제공함으로써, 사용자가 결정된 감정치료법(d4)에 대응하는 감정치료를 수행하도록 도울 수 있다.The
다시 말해, 본 시스템(200, 200')에서 고려되는 미술치료법 등의 감정치료법(d4)은 사용자(1)의 부정적인 감정을 긍정적으로 변화시켜 주는 역할로 작용될 수 있다. 본 장치(100, 110)는 통합분석 결과 사용자의 최종 감정이 부정적 감정 또는 중립 감정인 것으로 나타나면, 부정적 감정 또는 중립 감정이 긍정적 감정으로 변화되도록 유도하는 감정치료법(d4)을 제공할 수 있다. 또한, 본 장치(100, 110)는 통합분석 결과 사용자의 최종 감정이 긍정적 감정인 것으로 나타나면, 사용자에 대하여 영화, 음악, 도서 등의 컨텐츠에 관한 감정치료법(d4)을 제공함으로써, 사용자의 현재 감정인 긍정적 감정이 유지 및/또는 확장되도록 할 수 있다.In other words, the emotion treatment method d4 such as an art treatment method considered in the
종래 대부분의 모바일 어플리케이션은 텍스트 기반의 감정 분석을 활용하고 있으며, 이 중 어느 모바일 어플리케이션도 사용자로 하여금 감정의 변화를 일으킬만한 요소를 가지고 있지 않다. 즉, 감정 분석을 수행하는 종래 대부분의 모바일 어플리케이션은 사용자의 감정의 변화를 변화시키는 기술에 대하여 전혀 고려하고 있지 않다. 이에 반해, 본 시스템(200, 200')은 음성분석과 문맥분석을 융합하여 파악한 사용자의 감정을 시계열적으로 분석하여 사용자의 감정 변화를 파악하고, 그 결과에 따라 미술치료 등의 감정치료법을 제공할 수 있다. 본 시스템(200, 200')은 감정치료법의 제공을 통해 사용자의 현재 감정이 부정적 감정이나 중립 감정으로 나타난 경우에 대해서는 사용자의 감정이 긍정적 감정으로 변화되도록 할 수 있다.Conventionally, most mobile applications utilize text-based emotion analysis, and none of these mobile applications have an element that causes a user to change emotions. In other words, most conventional mobile applications that perform emotion analysis do not consider a technology for changing a user's emotion change at all. On the other hand, the
다시 말해, 본 시스템(200, 200')은 음성분석과 문맥분석을 융합하여 입력된 음성 데이터에 대한 사용자의 감정을 파악하고 이를 누적하여 시계열적으로 분석함으로써 사용자의 감정 변화를 파악할 수 있다. 이 결과를 바탕으로 본 시스템(200, 200')은 사용자에게 감정치료법(치료 기법) 및 컨텐츠를 추천(제공)할 수 있다.In other words, the
본 시스템(200, 200')은 통합 감정 분석 결과 사용자가 현재 부정적 감정 또는 중립 감정을 보이는 경우, 긍정적 감정으로 변화되도록 할 수 있다. 또한, 본 시스템(200, 200')은 통합 감정 분석 결과 사용자가 현재 긍정적 감정을 보이는 경우(즉, 긍정적 감정을 보이는 사용자에 대하여) 영화, 음악, 도서 등의 컨텐츠를 추천하여 제공할 수 있으며, 이를 통해 사용자의 현재 감정인 긍정적 감정이 유지되거나 보다 확장되도록 도울 수 있다.The
본 시스템(200, 200')은 세계 감정(감성) 컴퓨팅 시장 규모 중 가장 큰 부분을 차지하고 있는 Market Research에 적용될 수 있다. 또한, 본 시스템(200, 200')은 헬스 케어(Health Care) 분야에 직접적으로 활용 될 수 있다. 또한, 본 시스템(200, 200')은 심리치료 시장에 적용 가능하며, 개인 모바일 어플리케이션을 통한 감정 치료의 제공이 가능하다.The
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.Hereinafter, based on the details described above, the operation flow of the present application will be briefly described.
도 14는 본원의 일 실시예에 따른 신경망 기반 감정 분석 방법에 대한 동작 흐름도이다.14 is a flowchart illustrating a method for analyzing emotions based on a neural network according to an embodiment of the present application.
도 14에 도시된 신경망 기반 감정 분석 방법은 앞서 설명된 본 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 본 장치(100)에 대하여 설명된 내용은 신경망 기반 감정 분석 방법에 대한 설명에도 동일하게 적용될 수 있다.The neural network-based emotion analysis method illustrated in FIG. 14 may be performed by the
도 14를 참조하면, 단계S11에서 음성분석 모듈은, 사용자로부터 입력된 음성 데이터에 신경망 기반의 음성분석을 적용하여 제1 감정 분석 결과를 산출할 수 있다.Referring to FIG. 14, in step S11, the voice analysis module may calculate a first emotion analysis result by applying a neural network-based voice analysis to voice data input from a user.
이때, 단계S11에서 음성분석 모듈은, 음성 데이터로부터 추출된 음성 파형 특징을 입력으로 하는 신경망 기반의 음성분석을 통해 제1 감정 분석 결과를 산출할 수 있다.At this time, in step S11, the voice analysis module may calculate the first emotion analysis result through a neural network-based voice analysis that inputs the voice waveform feature extracted from the voice data.
여기서, 음성 파형 특징은, 음성 데이터에 대하여 MFCC(Mel-Frequency Cepstral Coefficient) 변환을 수행하여 출력된 MFCC특징 값일 수 있다. Here, the voice waveform feature may be an MFCC feature value output by performing MFCC (Mel-Frequency Cepstral Coefficient) transformation on voice data.
또한, 제1 감정 분석 결과는, 행복(Happy), 중립(Neutral), 슬픔(Sad) 및 분노(Angry)를 포함하는 복수의 감정 각각에 대해 확률적으로 부여되는 값일 수 있다.In addition, the first emotion analysis result may be a value probabilistically given to each of a plurality of emotions including happiness, neutrality, sadness, and anger.
다음으로, 단계S12에서 문맥분석 모듈은, 사용자로부터 입력된 음성 데이터에 감정사전 기반의 문맥분석을 적용하여 제2 감정 분석 결과를 산출할 수 있다.Next, in step S12, the context analysis module may calculate a second emotion analysis result by applying the emotion dictionary-based context analysis to the voice data input from the user.
이때, 단계S12에서 문맥분석 모듈은, 음성 데이터를 텍스트로 변환한 다음 변환된 텍스트로부터 적어도 하나의 단어 기본형(Lemma)을 추출하고, 추출된 적어도 하나의 단어 기본형을 감정사전 DB에 포함된 단어 기본형과 매칭하여 제2 감정 분석 결과를 산출할 수 있다.At this time, in step S12, the context analysis module converts the voice data into text, and then extracts at least one word basic type (Lemma) from the converted text, and converts the extracted at least one basic word type into the word basic type included in the emotion dictionary DB. By matching with, the second emotion analysis result may be calculated.
여기서, 감정사전 DB는, 복수의 단어 기본형 각각에 대하여 긍정의 세기 및 부정의 세기와 관련한 감정점수가 부여된 형태로 구축될 수 있다.Here, the emotion dictionary DB may be constructed in a form in which emotion scores related to the strength of the positive and the strength of the negative are given to each of the plurality of basic types of words.
단계S12에서 문맥분석 모듈은, 추출된 적어도 하나의 단어 기본형 중 감정사전 DB에 포함된 단어 기본형과 매칭되는 매칭 단어 기본형 각각의 감정점수를 고려하여 제2 감정 분석 결과를 산출할 수 있다.In step S12, the context analysis module may calculate the second emotion analysis result by considering the emotion score of each of the basic types of matching words that match the basic types of words included in the emotion dictionary DB among the extracted basic types of at least one word.
다음으로, 단계S13에서 통합 모듈은, 단계S11에서 산출된 제1 감정 분석 결과 및 단계S12에서 산출된 제2 감정 분석 결과를 신경망의 입력으로 하여 음성 데이터에 대한 통합 감정 분석 결과를 출력 제공할 수 있다.Next, in step S13, the integration module may output and provide an integrated emotion analysis result for voice data by using the first emotion analysis result calculated in step S11 and the second emotion analysis result calculated in step S12 as inputs of the neural network. have.
여기서, 통합 감정 분석 결과는 행복(Happy), 중립(Neutral), 슬픔(Sad) 및 분노(Angry)를 포함하는 복수의 감정 각각에 대해 확률적으로 부여되는 값 형태로 1차적으로 도출되고, 복수의 감정 중 최대치의 확률을 갖는 감정을 최종 감정으로 결정한 결과일 수 있다.Here, the result of the integrated emotion analysis is derived primarily in the form of a value that is probabilistically given to each of a plurality of emotions including Happy, Neutral, Sad, and Angry. It may be a result of determining the emotion having the maximum probability among the emotions of the final emotion.
상술한 설명에서, 단계 S11 내지 S13은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.In the above description, steps S11 to S13 may be further divided into additional steps or may be combined into fewer steps, depending on the embodiment of the present application. In addition, some steps may be omitted as necessary, or the order between steps may be changed.
도 15는 본원의 일 실시예에 따른 신경망 기반 감정 분석 기반의 감정 치료 방법에 대한 동작 흐름도이다.15 is a flowchart illustrating an operation of an emotion treatment method based on an emotion analysis based on a neural network according to an exemplary embodiment of the present application.
도 15에 도시된 신경망 기반 감정 분석 기반의 감정 치료 방법은 앞서 설명된 본 장치(110)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 본 장치(110)에 대하여 설명된 내용은 신경망 기반 감정 분석 기반의 감정 치료 방법에 대한 설명에도 동일하게 적용될 수 있다.The emotion treatment method based on emotion analysis based on a neural network illustrated in FIG. 15 may be performed by the
도 15에서의 단계S21 내지 단계S23 각각은 상술한 도 14에서의 단계S11 내지 단계S23 각각과 동일한 단계일 수 있다. 따라서, 이하에서는 단계S21 내지 단계S23과 관련하여 간단히 설명하기로 한다.Each of steps S21 to S23 in FIG. 15 may be the same as each of steps S11 to S23 in FIG. 14 described above. Therefore, hereinafter, it will be briefly described in connection with steps S21 to S23.
도 15를 참조하면, 단계S21에서 음성분석 모듈은, 사용자로부터 입력된 음성 데이터에 신경망 기반의 음성분석을 적용하여 제1 감정 분석 결과를 산출할 수 있다. 다음으로, 단계S22에서 문맥분석 모듈은, 사용자로부터 입력된 음성 데이터에 감정사전 기반의 문맥분석을 적용하여 제2 감정 분석 결과를 산출할 수 있다. 다음으로, 단계S23에서 통합 모듈은, 단계S21에서 산출된 제1 감정 분석 결과 및 단계S22에서 산출된 제2 감정 분석 결과를 신경망의 입력으로 하여 음성 데이터에 대한 통합 감정 분석 결과를 출력 제공할 수 있다.Referring to FIG. 15, in step S21, the voice analysis module may calculate a first emotion analysis result by applying a neural network-based voice analysis to voice data input from a user. Next, in step S22, the context analysis module may calculate a second emotion analysis result by applying the emotion dictionary-based context analysis to the voice data input from the user. Next, in step S23, the integration module may output and provide an integrated emotion analysis result for voice data by using the first emotion analysis result calculated in step S21 and the second emotion analysis result calculated in step S22 as inputs of the neural network. have.
다음으로, 단계S24에서 치료 모듈은, 단계S23에서 출력 제공된 통합 감정 분석 결과를 기반으로 감정치료법을 결정하여 제공할 수 있다.Next, in step S24, the treatment module may determine and provide an emotion treatment method based on the integrated emotion analysis result output in step S23.
여기서, 감정치료법은, 통합 감정 분석 결과로서 사용자의 감정이 부정적 감정 또는 중립 감정인 것으로 나타난 경우, 사용자의 감정에 대해 긍정적 감정으로의 변화를 유도하는 컨텐츠 형태로 제공될 수 있다.Here, the emotion treatment method may be provided in the form of content that induces a change in the user's emotion to a positive emotion when the user's emotion is shown as a negative emotion or a neutral emotion as a result of the integrated emotion analysis.
또한, 감정치료법은, 통합 감정 분석 결과로서 사용자의 감정이 긍정적 감정인 것으로 나타난 경우, 사용자의 감정의 긍정적 유지 및 확장을 유도하는 컨텐츠 형태로 제공될 수 있다.In addition, the emotion treatment method may be provided in the form of content that induces positive maintenance and expansion of the user's emotion when it is found that the user's emotion is a positive emotion as a result of the integrated emotion analysis.
상술한 설명에서, 단계 S21 내지 S24는 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.In the above description, steps S21 to S24 may be further divided into additional steps or may be combined into fewer steps, depending on the embodiment of the present application. In addition, some steps may be omitted as necessary, or the order between steps may be changed.
본원의 일 실시예에 따른 신경망 기반 감정 분석 방법 및 본원의 일 실시예에 따른 신경망 기반 감정 분석 기반의 감정 치료 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.A neural network-based emotion analysis method according to an embodiment of the present application and a neural network-based emotion analysis-based emotion treatment method according to an embodiment of the present application are implemented in the form of program instructions that can be executed through various computer means, and are stored in a computer-readable medium. Can be recorded. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operation of the present invention, and vice versa.
또한, 전술한 신경망 기반 감정 분석 방법 및 신경망 기반 감정 분석 기반의 감정 치료 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.In addition, the above-described neural network-based emotion analysis method and neural network-based emotion analysis method may be implemented in the form of a computer program or application executed by a computer stored in a recording medium.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The foregoing description of the present application is for illustrative purposes only, and those of ordinary skill in the art to which the present application pertains will be able to understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present application. Therefore, it should be understood that the embodiments described above are illustrative and non-limiting in all respects. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as being distributed may also be implemented in a combined form.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present application is indicated by the claims to be described later rather than the detailed description, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present application.
200: 신경망 기반 감정 분석 시스템
200': 신경망 기반 감정 분석 기반의 감정 치료 시스템
100: 신경망 기반 감정 분석 장치
110: 신경망 기반 감정 분석 기반의 감정 치료 장치
10: 음성분석 모듈
20: 문맥분석 모듈
30: 통합 모듈
40: 치료 모듈
2: 사용자 단말200: Neural network based emotion analysis system
200': Emotional therapy system based on emotion analysis based on neural networks
100: neural network-based emotion analysis device
110: Emotional therapy device based on emotion analysis based on neural network
10: speech analysis module
20: context analysis module
30: integrated module
40: treatment module
2: user terminal
Claims (18)
(a) 사용자로부터 입력된 음성 데이터에 신경망 기반의 음성분석을 적용하여 제1 감정 분석 결과를 산출하는 단계;
(b) 상기 음성 데이터에 감정사전 기반의 문맥분석을 적용하여 제2 감정 분석 결과를 산출하는 단계; 및
(c) 상기 제1 감정 분석 결과 및 상기 제2 감정 분석 결과를 신경망의 입력으로 하여 상기 음성 데이터에 대한 통합 감정 분석 결과를 출력 제공하는 단계,
를 포함하는 신경망 기반 감정 분석 방법.As a neural network-based emotion analysis method,
(a) calculating a first emotion analysis result by applying a neural network-based voice analysis to voice data input from a user;
(b) calculating a second emotion analysis result by applying a context analysis based on an emotion dictionary to the voice data; And
(c) outputting an integrated emotion analysis result for the voice data by using the first emotion analysis result and the second emotion analysis result as inputs of a neural network,
Neural network-based emotion analysis method comprising a.
상기 (a) 단계는, 상기 음성 데이터로부터 추출된 음성 파형 특징을 입력으로 하는 상기 신경망 기반의 음성분석을 통해 상기 제1 감정 분석 결과를 산출하는 것인, 신경망 기반 감정 분석 방법.The method of claim 1,
In the step (a), the first emotion analysis result is calculated through the neural network-based speech analysis in which the speech waveform feature extracted from the speech data is input as an input.
상기 음성 파형 특징은, 상기 음성 데이터에 대하여 MFCC(Mel-Frequency Cepstral Coefficient) 변환을 수행하여 출력된 MFCC특징 값인 것인, 신경망 기반 감정 분석 방법.The method of claim 2,
The voice waveform feature is an MFCC feature value output by performing MFCC (Mel-Frequency Cepstral Coefficient) transformation on the voice data.
상기 제1 감정 분석 결과는, 행복(Happy), 중립(Neutral), 슬픔(Sad) 및 분노(Angry)를 포함하는 복수의 감정 각각에 대해 확률적으로 부여되는 값인 것인, 신경망 기반 감정 분석 방법.The method of claim 1,
The first emotion analysis result is a value probabilistically given to each of a plurality of emotions including happiness, neutrality, sadness, and anger, a neural network-based emotion analysis method .
상기 (b) 단계는, 상기 음성 데이터를 텍스트로 변환한 다음 변환된 텍스트로부터 적어도 하나의 단어 기본형(Lemma)을 추출하고, 추출된 상기 적어도 하나의 단어 기본형을 감정사전 DB에 포함된 단어 기본형과 매칭하여 상기 제2 감정 분석 결과를 산출하는 것인, 신경망 기반 감정 분석 방법.The method of claim 1,
In the step (b), the voice data is converted into text, and then at least one word basic type is extracted from the converted text, and the extracted at least one word basic type is converted to a word basic type included in the emotion dictionary DB. Matching to calculate the second emotion analysis result, neural network-based emotion analysis method.
상기 감정사전 DB는, 복수의 단어 기본형 각각에 대하여 긍정의 세기 및 부정의 세기와 관련한 감정점수가 부여된 형태로 구축되고,
상기 (b) 단계는, 추출된 상기 적어도 하나의 단어 기본형 중 상기 감정사전 DB에 포함된 단어 기본형과 매칭되는 매칭 단어 기본형 각각의 감정점수를 고려하여 상기 제2 감정 분석 결과를 산출하는 것인, 신경망 기반 감정 분석 방법.The method of claim 5,
The emotion dictionary DB is constructed in a form in which emotion scores related to the strength of positive and the strength of negative are given for each of a plurality of basic types of words,
In the step (b), the second emotion analysis result is calculated by considering the emotion score of each of the basic types of matching words that match the basic types of words included in the emotion dictionary DB among the extracted basic types of the at least one word, Neural network-based sentiment analysis method.
상기 (c) 단계에서, 상기 통합 감정 분석 결과는 행복(Happy), 중립(Neutral), 슬픔(Sad) 및 분노(Angry)를 포함하는 복수의 감정 각각에 대해 확률적으로 부여되는 값 형태로 1차적으로 도출되고, 상기 복수의 감정 중 최대치의 확률을 갖는 감정을 최종 감정으로 결정한 결과인 것인, 신경망 기반 감정 분석 방법.The method of claim 1,
In the step (c), the result of the integrated emotion analysis is in the form of a value probabilistically given to each of a plurality of emotions including happiness, neutrality, sadness, and anger. The method for analyzing emotions based on a neural network is a result of determining an emotion having a maximum probability among the plurality of emotions as a final emotion.
제1항에 따른 신경망 기반 감정 분석 방법을 수행하여 제공된 상기 통합 감정 분석 결과를 기반으로 감정치료법을 결정하여 제공하는 것인, 신경망 기반 감정 분석 기반의 감정 치료 방법.As an emotional treatment method based on a neural network-based emotion analysis,
A method for treating emotions based on a neural network based emotion analysis to determine and provide an emotion treatment method based on the result of the integrated emotion analysis provided by performing the neural network-based emotion analysis method according to claim 1.
상기 감정치료법은,
상기 통합 감정 분석 결과로서 상기 사용자의 감정이 부정적 감정 또는 중립 감정인 것으로 나타난 경우, 상기 사용자의 감정에 대해 긍정적 감정으로의 변화를 유도하는 컨텐츠 형태로 제공되고,
상기 통합 감정 분석 결과로서 상기 사용자의 감정이 긍정적 감정인 것으로 나타난 경우, 상기 사용자의 감정의 긍정적 유지 및 확장을 유도하는 컨텐츠 형태로 제공되는 것인, 신경망 기반 감정 분석 기반의 감정 치료 방법.The method of claim 8,
The emotional treatment method,
When the integrated emotion analysis result indicates that the user's emotion is a negative emotion or a neutral emotion, it is provided in the form of content that induces a change to a positive emotion with respect to the user's emotion,
When the user's emotion is shown as a positive emotion as a result of the integrated emotion analysis, the emotion treatment method based on a neural network-based emotion analysis is provided in a form of content that induces positive maintenance and expansion of the user's emotion.
사용자로부터 입력된 음성 데이터에 신경망 기반의 음성분석을 적용하여 제1 감정 분석 결과를 산출하는 음성분석 모듈;
상기 음성 데이터에 감정사전 기반의 문맥분석을 적용하여 제2 감정 분석 결과를 산출하는 문맥분석 모듈; 및
상기 제1 감정 분석 결과 및 상기 제2 감정 분석 결과를 신경망의 입력으로 하여 상기 음성 데이터에 대한 통합 감정 분석 결과를 출력 제공하는 통합 모듈,
를 포함하는 신경망 기반 감정 분석 장치.As a neural network-based emotion analysis device,
A voice analysis module for calculating a first emotion analysis result by applying a neural network-based voice analysis to voice data input from a user;
A context analysis module for calculating a second emotion analysis result by applying a context analysis based on an emotion dictionary to the voice data; And
An integrated module configured to output an integrated emotion analysis result for the voice data by using the first emotion analysis result and the second emotion analysis result as inputs of a neural network,
Neural network-based emotion analysis device comprising a.
상기 음성분석 모듈은, 상기 음성 데이터로부터 추출된 음성 파형 특징을 입력으로 하는 상기 신경망 기반의 음성분석을 통해 상기 제1 감정 분석 결과를 산출하는 것인, 신경망 기반 감정 분석 장치.The method of claim 10,
The voice analysis module is configured to calculate the first emotion analysis result through the neural network-based voice analysis that receives the voice waveform feature extracted from the voice data as an input.
상기 음성 파형 특징은, 상기 음성 데이터에 대하여 MFCC(Mel-Frequency Cepstral Coefficient) 변환을 수행하여 출력된 MFCC특징 값인 것인, 신경망 기반 감정 분석 장치.The method of claim 11,
The voice waveform feature is an MFCC feature value output by performing a Mel-Frequency Cepstral Coefficient (MFCC) transformation on the voice data.
상기 제1 감정 분석 결과는, 행복(Happy), 중립(Neutral), 슬픔(Sad) 및 분노(Angry)를 포함하는 복수의 감정 각각에 대해 확률적으로 부여되는 값인 것인, 신경망 기반 감정 분석 장치.The method of claim 10,
The first emotion analysis result is a value probabilistically given to each of a plurality of emotions including Happy, Neutral, Sad, and Angry. .
상기 문맥분석 모듈은, 상기 음성 데이터를 텍스트로 변환한 다음 변환된 텍스트로부터 적어도 하나의 단어 기본형(Lemma)을 추출하고, 추출된 상기 적어도 하나의 단어 기본형을 감정사전 DB에 포함된 단어 기본형과 매칭하여 상기 제2 감정 분석 결과를 산출하는 것인, 신경망 기반 감정 분석 장치.The method of claim 10,
The context analysis module converts the voice data to text, and then extracts at least one word basic type (Lemma) from the converted text, and matches the extracted at least one word basic type with the word basic type included in the emotion dictionary DB. And calculating the second emotion analysis result.
상기 감정사전 DB는, 복수의 단어 기본형 각각에 대하여 긍정의 세기 및 부정의 세기와 관련한 감정점수가 부여된 형태로 구축되고,
상기 문맥분석 모듈은, 추출된 상기 적어도 하나의 단어 기본형 중 상기 감정사전 DB에 포함된 단어 기본형과 매칭되는 매칭 단어 기본형 각각의 감정점수를 고려하여 상기 제2 감정 분석 결과를 산출하는 것인, 신경망 기반 감정 분석 장치.The method of claim 14,
The emotion dictionary DB is constructed in a form in which emotion scores related to the strength of positive and the strength of negative are given for each of a plurality of basic types of words,
The context analysis module calculates the second emotion analysis result by considering the emotion score of each matching word basic type matched with the word basic type included in the emotion dictionary DB among the extracted at least one word basic type. Based emotion analysis device.
상기 통합 감정 분석 결과는 행복(Happy), 중립(Neutral), 슬픔(Sad) 및 분노(Angry)를 포함하는 복수의 감정 각각에 대해 확률적으로 부여되는 값 형태로 1차적으로 도출되고, 상기 복수의 감정 중 최대치의 확률을 갖는 감정을 최종 감정으로 결정한 결과인 것인, 신경망 기반 감정 분석 장치.The method of claim 10,
The integrated emotion analysis result is primarily derived in the form of a value given probabilistically for each of a plurality of emotions including Happy, Neutral, Sad, and Angry, and the plurality of The emotion analysis device based on a neural network is the result of determining as the final emotion the emotion having the maximum probability of emotion.
제10항에 따른 신경망 기반 감정 분석 장치에 의해 신경망 기반 감정 분석을 수행하여 제공된 상기 통합 감정 분석 결과를 기반으로 감정치료법을 결정하여 제공하는 것인, 신경망 기반 감정 분석 기반의 감정 치료 장치.As an emotion therapy device based on emotion analysis based on a neural network,
A neural network-based emotion analysis-based emotion treatment apparatus to determine and provide an emotion treatment method based on the integrated emotion analysis result provided by performing a neural network-based emotion analysis by the neural network-based emotion analysis device according to claim 10.
상기 감정치료법은,
상기 통합 감정 분석 결과로서 상기 사용자의 감정이 부정적 감정 또는 중립 감정인 것으로 나타난 경우, 상기 사용자의 감정에 대해 긍정적 감정으로의 변화를 유도하는 컨텐츠 형태로 제공되고,
상기 통합 감정 분석 결과로서 상기 사용자의 감정이 긍정적 감정인 것으로 나타난 경우, 상기 사용자의 감정의 긍정적 유지 및 확장을 유도하는 컨텐츠 형태로 제공되는 것인, 신경망 기반 감정 분석 기반의 감정 치료 장치.The method of claim 17,
The emotional treatment method,
When the integrated emotion analysis result indicates that the user's emotion is a negative emotion or a neutral emotion, it is provided in the form of content that induces a change to a positive emotion with respect to the user's emotion,
When the user's emotion is found to be a positive emotion as a result of the integrated emotion analysis, the emotion treatment device based on a neural network based emotion analysis is provided in a form of content that induces positive maintenance and expansion of the user's emotion.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190108607A KR102299455B1 (en) | 2019-09-03 | 2019-09-03 | Method and apparatus for neural network based sentiment analysis and sentiment therapy apparatus based on the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190108607A KR102299455B1 (en) | 2019-09-03 | 2019-09-03 | Method and apparatus for neural network based sentiment analysis and sentiment therapy apparatus based on the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210027769A true KR20210027769A (en) | 2021-03-11 |
KR102299455B1 KR102299455B1 (en) | 2021-09-06 |
Family
ID=75143201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190108607A KR102299455B1 (en) | 2019-09-03 | 2019-09-03 | Method and apparatus for neural network based sentiment analysis and sentiment therapy apparatus based on the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102299455B1 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113420591A (en) * | 2021-05-13 | 2021-09-21 | 华东师范大学 | Emotion-based OCC-PAD-OCEAN federal cognitive modeling method |
KR102385598B1 (en) * | 2021-05-28 | 2022-04-11 | 가천대학교 산학협력단 | Method and apparatus for room scale health care service |
WO2023033242A1 (en) * | 2021-09-03 | 2023-03-09 | 주식회사 아이스크림아트 | Art psychological analysis device using voice, text, and drawing data, and art psychological analysis method using same |
KR102507809B1 (en) * | 2022-10-28 | 2023-03-10 | 주식회사 닥터송 | Artificial intelligence dialogue system for psychotherapy through consensus formation |
KR102507811B1 (en) * | 2022-10-28 | 2023-03-10 | 주식회사 닥터송 | User psychology management system through chatbot service based on empathic psychology |
KR102517717B1 (en) * | 2022-04-05 | 2023-04-04 | (주)비알프레임 | Apparatus and method for recommending art therapy program through reinforcement learning |
DE202023102803U1 (en) | 2023-05-22 | 2023-07-17 | Pradeep Bedi | System for emotion detection and mood analysis through machine learning |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005348872A (en) * | 2004-06-09 | 2005-12-22 | Nippon Hoso Kyokai <Nhk> | Feeling estimation device and feeling estimation program |
KR20110116759A (en) * | 2010-04-20 | 2011-10-26 | 가톨릭대학교 산학협력단 | Psychological cure apparatus and method therefor |
KR20120109943A (en) * | 2011-03-28 | 2012-10-09 | 가톨릭대학교 산학협력단 | Emotion classification method for analysis of emotion immanent in sentence |
JP2017211586A (en) * | 2016-05-27 | 2017-11-30 | Necソリューションイノベータ株式会社 | Psychological analyzer, psychological analysis method and program |
KR20200144216A (en) * | 2019-06-18 | 2020-12-29 | 주식회사 스캐터랩 | Emotion recognizing method, sensibility creating method, device, and software |
-
2019
- 2019-09-03 KR KR1020190108607A patent/KR102299455B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005348872A (en) * | 2004-06-09 | 2005-12-22 | Nippon Hoso Kyokai <Nhk> | Feeling estimation device and feeling estimation program |
KR20110116759A (en) * | 2010-04-20 | 2011-10-26 | 가톨릭대학교 산학협력단 | Psychological cure apparatus and method therefor |
KR20120109943A (en) * | 2011-03-28 | 2012-10-09 | 가톨릭대학교 산학협력단 | Emotion classification method for analysis of emotion immanent in sentence |
JP2017211586A (en) * | 2016-05-27 | 2017-11-30 | Necソリューションイノベータ株式会社 | Psychological analyzer, psychological analysis method and program |
KR20200144216A (en) * | 2019-06-18 | 2020-12-29 | 주식회사 스캐터랩 | Emotion recognizing method, sensibility creating method, device, and software |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113420591A (en) * | 2021-05-13 | 2021-09-21 | 华东师范大学 | Emotion-based OCC-PAD-OCEAN federal cognitive modeling method |
CN113420591B (en) * | 2021-05-13 | 2023-08-22 | 华东师范大学 | Emotion-based OCC-PAD-OCEAN federal cognitive modeling method |
KR102385598B1 (en) * | 2021-05-28 | 2022-04-11 | 가천대학교 산학협력단 | Method and apparatus for room scale health care service |
WO2023033242A1 (en) * | 2021-09-03 | 2023-03-09 | 주식회사 아이스크림아트 | Art psychological analysis device using voice, text, and drawing data, and art psychological analysis method using same |
KR102517717B1 (en) * | 2022-04-05 | 2023-04-04 | (주)비알프레임 | Apparatus and method for recommending art therapy program through reinforcement learning |
KR102507809B1 (en) * | 2022-10-28 | 2023-03-10 | 주식회사 닥터송 | Artificial intelligence dialogue system for psychotherapy through consensus formation |
KR102507811B1 (en) * | 2022-10-28 | 2023-03-10 | 주식회사 닥터송 | User psychology management system through chatbot service based on empathic psychology |
WO2024090713A1 (en) * | 2022-10-28 | 2024-05-02 | 주식회사 닥터송 | User psychology management system through empathic psychology-based chatbot service |
WO2024090712A1 (en) * | 2022-10-28 | 2024-05-02 | 주식회사 닥터송 | Artificial intelligence chatting system for psychotherapy through empathy |
DE202023102803U1 (en) | 2023-05-22 | 2023-07-17 | Pradeep Bedi | System for emotion detection and mood analysis through machine learning |
Also Published As
Publication number | Publication date |
---|---|
KR102299455B1 (en) | 2021-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102299455B1 (en) | Method and apparatus for neural network based sentiment analysis and sentiment therapy apparatus based on the same | |
US10977452B2 (en) | Multi-lingual virtual personal assistant | |
US20210081056A1 (en) | Vpa with integrated object recognition and facial expression recognition | |
Wang et al. | A systematic review on affective computing: Emotion models, databases, and recent advances | |
Murray et al. | Predicting group performance in task-based interaction | |
Huan et al. | Video multimodal emotion recognition based on Bi-GRU and attention fusion | |
Gharavian et al. | Audio-visual emotion recognition using FCBF feature selection method and particle swarm optimization for fuzzy ARTMAP neural networks | |
Deschamps-Berger et al. | End-to-end speech emotion recognition: challenges of real-life emergency call centers data recordings | |
Shen et al. | Kwickchat: A multi-turn dialogue system for aac using context-aware sentence generation by bag-of-keywords | |
Liang et al. | Computational modeling of human multimodal language: The mosei dataset and interpretable dynamic fusion | |
Wen et al. | Cross-modal dynamic convolution for multi-modal emotion recognition | |
Latif et al. | Multitask learning from augmented auxiliary data for improving speech emotion recognition | |
Nie et al. | Multi-modal feature fusion based on multi-layers LSTM for video emotion recognition | |
Tseng et al. | Approaching Human Performance in Behavior Estimation in Couples Therapy Using Deep Sentence Embeddings. | |
Pan et al. | A review of multimodal emotion recognition from datasets, preprocessing, features, and fusion methods | |
Wang et al. | Information-enhanced hierarchical self-attention network for multiturn dialog generation | |
Novais et al. | Emotion classification from speech by an ensemble strategy | |
Karatay et al. | CNN-Transformer based emotion classification from facial expressions and body gestures | |
Gladys et al. | Survey on multimodal approaches to emotion recognition | |
Liu et al. | Emotion classification using a CNN_LSTM-based model for smooth emotional synchronization of the humanoid robot REN-XIN | |
Calix et al. | Detection of affective states from text and speech for real-time human–computer interaction | |
Chung et al. | Multi-modal emotion prediction system using convergence media and active contents | |
Huang et al. | Flexible entity marks and a fine-grained style control for knowledge based natural answer generation | |
Li et al. | DQ-HGAN: A heterogeneous graph attention network based deep Q-learning for emotional support conversation generation | |
Hernández et al. | User-centric Recommendation Model for AAC based on Multi-criteria Planning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |