KR20240009237A

KR20240009237A - Method and apparatus for tranning machine-learning model for predicting affectivity, method and apparatus for predicting affectivity using the tranning machine-learning model

Info

Publication number: KR20240009237A
Application number: KR1020220086463A
Authority: KR
Inventors: 우충완; 이은진; 김별
Original assignee: 성균관대학교산학협력단; 기초과학연구원
Priority date: 2022-07-13
Filing date: 2022-07-13
Publication date: 2024-01-22

Abstract

다양한 실시 예에 따르면, 정서 예측 학습방법은 기계 학습을 통해 학습모델을 구축하는 방법에 있어서, 적어도 하나의 사용자에 의해 입력되는 복수의 자유 연상 데이터를 확인하는 단계와, 상기 복수의 자유 연상 데이터를 기반으로 하고, 자기 관련성(Self-relevance) 요소, 정서가(Valence) 요소, 및 시간 요소 사이의 관계를 나타내는 3차원 밀도지도를 구성하는 단계와, 상기 3차원 밀도지도를 입력받고, 상기 적어도 하나의 사용자의 정서 상태 정보를 출력하도록 상기 학습모델을 학습시키는 단계를 포함할 수 있다. According to various embodiments, an emotion prediction learning method is a method of building a learning model through machine learning, comprising the steps of checking a plurality of free association data input by at least one user, and selecting the plurality of free association data. A step of constructing a three-dimensional density map based on and representing the relationship between a self-relevance element, a valence element, and a time element, receiving the three-dimensional density map as input, and using the at least one It may include training the learning model to output the user's emotional state information.

Description

Method and device for learning an affect prediction model, method and device for performing affect prediction using the affect prediction model }

본 발명은 기계 학습 모델을 구축하고 이를 사용하는 기술에 관한 것으로서, 더욱 상세하게는, 사용자의 정서 상태를 예측하는 학습 모델을 구축하고 이를 활용하는 방법 및 장치에 관한 것이다. The present invention relates to technology for building and using machine learning models, and more specifically, to methods and devices for building and utilizing learning models that predict a user's emotional state.

자연스러운 생각의 흐름과 시간적 역동성이 우울, 불안, 강박, 사고장애, 성격장애 등과 같은 개인의 정서 상태와 밀접한 관련이 있는 것으로 알려져 왔지만, 이러한 정서 상태를 정량적으로 측정하고 분석하는 기법은 부족한다. It has been known that the natural flow of thoughts and temporal dynamics are closely related to individual emotional states such as depression, anxiety, obsession, thinking disorder, and personality disorder, but techniques to quantitatively measure and analyze these emotional states are lacking.

마코브체인모델(Markov chain model)과 같이 이산 공간(discrete space)에서 생각의 다이나믹한 특성을 탐구하는 방식이 연구되었지만, 이러한 방식은 생각의 흐름을 구획으로 나누어 분석하는 것이므로, 연속적인 생각의 흐름을 파악하지 못하는 문제가 있다.Methods that explore the dynamic characteristics of thoughts in discrete space, such as the Markov chain model, have been studied, but these methods analyze the flow of thoughts by dividing them into compartments, so there is a continuous flow of thoughts. There is a problem of not being able to understand .

본 발명이 해결하고자 하는 기술적 과제는 생각의 흐름과 역동성을 정량화할 수 있는 학습 모델을 구축하는 방법 및 장치를 제공하는 것이다.The technical problem that the present invention aims to solve is to provide a method and device for building a learning model that can quantify the flow and dynamics of ideas.

또한, 본 발명이 해결하고자 하는 다른 기술적 과제는 생각의 흐름과 역동성을 정량화하는 학습 모델을 사용하여, 사용자의 정서 상태를 예측하는 방법 및 장치를 제공하는 것이다.Additionally, another technical problem to be solved by the present invention is to provide a method and device for predicting a user's emotional state using a learning model that quantifies the flow and dynamics of thoughts.

다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the problems to be solved by the present invention are not limited to those mentioned above, and other problems to be solved that are not mentioned can be clearly understood by those skilled in the art to which the present invention pertains from the description below. will be.

본 발명의 일 측면에 따르면, 정서 예측 학습방법이 제시된다. 상기 방법은, 적어도 하나의 사용자에 의해 입력되는 복수의 자유 연상 데이터를 확인하는 단계와, 상기 복수의 자유 연상 데이터를 기반으로 하고, 자기 관련성(Self-relevance) 요소, 정서가(Valence) 요소, 및 시간 요소 사이의 관계를 나타내는 3차원 밀도지도를 구성하는 단계와, 상기 3차원 밀도지도를 입력받고, 상기 적어도 하나의 사용자의 정서 상태 정보를 출력하도록 상기 학습모델을 학습시키는 단계를 포함할 수 있다. According to one aspect of the present invention, an emotion prediction learning method is provided. The method includes checking a plurality of free association data input by at least one user, and based on the plurality of free association data, a self-relevance element, a valence element, and constructing a three-dimensional density map representing relationships between time elements, receiving the three-dimensional density map, and training the learning model to output emotional state information of the at least one user. there is.

본 발명의 다른 측면에 따르면, 정서 상태 예측 방법이 제공된다. 상기 방법은, 사용자에 의해 입력되는 복수의 자유 연상 데이터를 확인하는 단계와, 상기 복수의 자유 연상 데이터를 기반으로 하고, 자기 관련성(Self-relevance) 요소, 정서가(Valence) 요소, 및 시간 요소 사이의 관계를 나타내는 3차원 밀도지도를 구성하는 단계와, 적어도 하나의 사용자의 정서 상태를 출력하도록 기 학습된 학습모델에, 상기 3차원 밀도지도를 입력하고, 상기 기 학습된 학습모델에 의해 출력되는 상기 사용자의 정서 상태를 확인하는 단계를 포함할 수 있다. According to another aspect of the present invention, a method for predicting an emotional state is provided. The method includes confirming a plurality of free association data input by a user, and based on the plurality of free association data, a self-relevance element, a valence element, and a time element. Constructing a 3D density map representing the relationship between the two, inputting the 3D density map into a learning model previously trained to output at least one user's emotional state, and outputting the 3D density map by the previously trained learning model. It may include the step of confirming the emotional state of the user.

본 발명의 또 다른 측면에 따르면, 정서 예측을 위한 학습모델의 학습장치가 제공된다. 상기 장치는, 저장매체와, 프로세서를 포함하고, 상기 프로세서는, 적어도 하나의 사용자에 의해 입력되는 복수의 자유 연상 데이터를 확인하고, 상기 복수의 자유 연상 데이터를 기반으로 하고, 자기 관련성(Self-relevance) 요소, 정서가(Valence) 요소, 및 시간 요소 사이의 관계를 나타내는 3차원 밀도지도를 구성하고, 상기 3차원 밀도지도를 입력받고, 상기 적어도 하나의 사용자의 정서 상태 정보를 출력하도록 상기 학습모델을 학습시킬 수 있다. According to another aspect of the present invention, an apparatus for learning a learning model for emotion prediction is provided. The device includes a storage medium and a processor, wherein the processor checks a plurality of free association data input by at least one user, and determines a self-relevance based on the plurality of free association data. Construct a 3D density map representing the relationship between a relevance element, a valence element, and a time element, receive the 3D density map as input, and learn to output emotional state information of the at least one user. You can train a model.

본 발명의 또 다른 측면에 따르면, 정서 상태 예측 장치가 제공된다. 상기 장치는, 저장매체와, 프로세서를 포함하고, 상기 프로세서는, 사용자에 의해 입력되는 복수의 자유 연상 데이터를 확인하고, 상기 복수의 자유 연상 데이터를 기반으로 하고, 자기 관련성(Self-relevance) 요소, 정서가(Valence) 요소, 및 시간 요소 사이의 관계를 나타내는 3차원 밀도지도를 구성하고, 적어도 하나의 사용자의 정서 상태를 출력하도록 기 학습된 학습모델에, 상기 3차원 밀도지도를 입력하고, 상기 기 학습된 학습모델에 의해 출력되는 상기 사용자의 정서 상태를 확인할 수 있다. According to another aspect of the present invention, an emotional state prediction device is provided. The device includes a storage medium and a processor, wherein the processor checks a plurality of free-associative data input by a user and determines a self-relevance element based on the plurality of free-associative data. , Constructing a 3D density map representing the relationship between a valence element and a time element, and inputting the 3D density map to a learning model that has been previously trained to output the emotional state of at least one user, The user's emotional state output by the previously learned learning model can be confirmed.

본 발명의 또 다른 측면에 따르면, 컴퓨터 판독 가능한 기록매체가 제공된다. 상기 컴퓨터 판독 가능한 기록매체는, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서, 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 하우징 구조체의 상태를 확인하는 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다. According to another aspect of the present invention, a computer-readable recording medium is provided. The computer-readable recording medium is a computer-readable recording medium storing a computer program, and the computer program, when executed by a processor, includes instructions for causing the processor to perform a method of checking the state of the housing structure. can do.

본 발명의 또 다른 측면에 따르면, 컴퓨터 프로그램이 제공된다. 상기 컴퓨터 프로그램은, 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 하우징 구조체의 상태를 확인하는 방법.According to another aspect of the invention, a computer program is provided. The computer program is a computer program stored in a computer-readable recording medium, and the computer program, when executed by a processor, checks the state of the housing structure.

본 발명의 실시 예에 의하면, 생각의 흐름과 역동성을 정량화할 수 있는 학습 모델을 제공할 수 있다.According to an embodiment of the present invention, a learning model that can quantify the flow and dynamics of thoughts can be provided.

본 발명의 실시 예에 의하면, 생각의 흐름과 역동성을 정량화하는 학습 모델을 사용하여, 사용자의 정서 상태를 예측할 수 있다. According to an embodiment of the present invention, the user's emotional state can be predicted using a learning model that quantifies the flow and dynamics of thoughts.

본 발명의 실시 예에 의하면, 디지털 멘탈 헬스케어를 위한 모바일 어플리케이션이나 웹 플랫폼에 적용하여 개인의 정신 건강을 모니터링하고 관리하는 서비스를 제공할 수 있다. According to an embodiment of the present invention, a service for monitoring and managing an individual's mental health can be provided by applying it to a mobile application or web platform for digital mental healthcare.

본 발명의 실시 예에 의하면, 생각의 흐름과 역동성을 정량화할 수 있는 학습 모델을 사용하여, 비대면 방식의 디지털 멘탈 헬스케어를 위한 정신 건강 진단 툴로 사용될 수 있다. According to an embodiment of the present invention, it can be used as a mental health diagnosis tool for non-face-to-face digital mental healthcare by using a learning model that can quantify the flow and dynamics of thoughts.

도 1은 본 발명의 실시예에 따른 정서 예측 학습장치를 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 정서 예측 학습 프로그램의 기능을 개념적으로 나타내는 블록도이다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 정서 예측 학습 프로그램의 밀도지도 구성부에 의해 3차원 밀도지도를 구성하는 동작을 예시하는 개념도이다.
도 4는 본 발명의 일 실시예에 따른 정서 예측 학습 방법의 순서를 나타내는 흐름도이다.
도 5는 본 발명의 실시예에 따른 정서 예측 장치를 나타내는 블록도이다.
도 6은 본 발명의 일 실시예에 따른 정서 예측 학습 프로그램의 기능을 개념적으로 나타내는 블록도이다.
도 7은 본 발명의 일 실시예에 따른 정서 예측 방법의 순서를 나타내는 흐름도이다.Figure 1 is a block diagram showing an emotion prediction learning device according to an embodiment of the present invention.
Figure 2 is a block diagram conceptually showing the function of an emotion prediction learning program according to an embodiment of the present invention.
3A and 3B are conceptual diagrams illustrating the operation of constructing a 3D density map by the density map component of an emotion prediction learning program according to an embodiment of the present invention.
Figure 4 is a flowchart showing the sequence of an emotion prediction learning method according to an embodiment of the present invention.
Figure 5 is a block diagram showing an emotion prediction device according to an embodiment of the present invention.
Figure 6 is a block diagram conceptually showing the function of an emotion prediction learning program according to an embodiment of the present invention.
Figure 7 is a flowchart showing the sequence of an emotion prediction method according to an embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해될 수 있다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Since the present invention can be modified in various ways and can have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and may be understood to include all transformations, equivalents, and substitutes included in the technical idea and scope of the present invention. In describing the present invention, if it is determined that a detailed description of related known technologies may obscure the gist of the present invention, the detailed description will be omitted.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들이 용어들에 의해 한정되는 것은 아니다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms such as first, second, etc. may be used to describe various components, but the components are not limited by the terms. Terms are used only to distinguish one component from another.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 발명에서 사용한 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나 이는 당 분야에 종사하는 기술자의 의도, 판례, 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.The terms used in the present invention are only used to describe specific embodiments and are not intended to limit the present invention. The terms used in the present invention are general terms that are currently widely used as much as possible while considering the functions in the present invention, but this may vary depending on the intention of a person skilled in the art, precedents, or the emergence of new technology. In addition, in certain cases, there are terms arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the relevant invention. Therefore, the terms used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, rather than simply the name of the term.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions include plural expressions unless the context clearly dictates otherwise. In the present invention, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.

이하, 본 발명의 실시예들을 첨부 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the description with reference to the accompanying drawings, identical or corresponding components will be assigned the same drawing numbers and redundant description thereof will be omitted. do.

도 1은 본 발명의 실시예에 따른 정서 예측 학습장치를 나타내는 블록도이다.Figure 1 is a block diagram showing an emotion prediction learning device according to an embodiment of the present invention.

도 1을 참조하면, 정서 예측 학습장치(100)는 프로세서(110), 메모리(130), 입출력 인터페이스(150), 입력장치(170), 및 출력장치(190)를 포함할 수 있다.Referring to FIG. 1, the emotion prediction learning device 100 may include a processor 110, a memory 130, an input/output interface 150, an input device 170, and an output device 190.

프로세서(110)는 정서 예측 학습 장치(100)의 동작을 전반적으로 제어하고, 메모리(130)는 정서 예측 학습 프로그램(200) 및 정서 예측 학습 프로그램(200)의 실행에 필요한 정보를 저장할 수 있다.The processor 110 generally controls the operation of the emotion prediction learning device 100, and the memory 130 may store the emotion prediction learning program 200 and information necessary for execution of the emotion prediction learning program 200.

본 발명의 실시예에서, 프로세서(110)는 기능에 따라 복수 개의 모듈들로 구분될 수도 있고, 하나의 프로세서에서 기능들을 수행할 수도 있다. 프로세서(110)는 중앙처리장치(central processing unit(CPU)), 어플리케이션 프로세서(application processor(AP)), 마이크로 컨트롤러 유닛(micro controller unit(MCU)) 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 메모리(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어, SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 컴퓨터 판독 가능한 저장매체를 포함할 수 있다.In an embodiment of the present invention, the processor 110 may be divided into a plurality of modules according to function, or functions may be performed by a single processor. The processor 110 is one of a central processing unit (CPU), an application processor (AP), a micro controller unit (MCU), or a communication processor (CP). Or it may include more. The memory 130 is a flash memory type, hard disk type, multimedia card micro type, card type memory (for example, SD or XD memory, etc.), Random Access Memory (RAM), Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), magnetic memory, It may include at least one type of computer-readable storage medium selected from a magnetic disk and an optical disk.

본 개시의 일 실시예에서, 정서 예측 학습 프로그램(200)은 정서 상태를 예측하는 학슴모델을 학습하도록 프로그램된 명령어들을 포함하는 소프트웨어를 의미할 수 있다.In one embodiment of the present disclosure, the emotion prediction learning program 200 may refer to software including instructions programmed to learn a learning model that predicts an emotional state.

프로세서(110)는 정서 예측 학습 프로그램(200)을 실행하기 위하여 메모리(130)에서 정서 예측 학습 프로그램(200) 및 정서 예측 학습 프로그램(200)의 실행에 필요한 정보를 로드할 수 있다.The processor 110 may load the emotion prediction learning program 200 and information necessary for execution of the emotion prediction learning program 200 from the memory 130 in order to execute the emotion prediction learning program 200.

프로세서(110)는, 정서 예측 학습 프로그램(200)을 실행하여, 정서 예측 학습모델을 구축할 수 있다. 이때, 정서 예측 학습모델은 3차원 밀도지도를 입력받고, 입력받은 3차원 밀도지도에 대응되는 상기 적어도 하나의 사용자의 정서 상태를 출력하도록 기계 학습된 모델일 수 있다. The processor 110 may execute the emotion prediction learning program 200 to build an emotion prediction learning model. At this time, the emotion prediction learning model may be a machine-learned model that receives a 3D density map and outputs the emotional state of the at least one user corresponding to the input 3D density map.

정서 예측 학습 프로그램(200)의 기능 및/또는 동작에 대하여는 도 2를 통해 상세하게 살펴보기로 한다.The function and/or operation of the emotion prediction learning program 200 will be examined in detail with reference to FIG. 2.

한편, 입출력 인터페이스(150)는, 예를 들면, 입력장치(170) 등을 통해 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 정서 예측 학습 장치(100)의 다른 구성요소(들)(예, 프로세서(110), 메모리(130) 등)에 전달하거나, 또는 정서 예측 학습 장치(100)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 출력장치(190) 등을 통해 사용자 또는 다른 외부 기기로 출력할 수 있다.Meanwhile, the input/output interface 150 transmits commands or data input from a user or other external device through, for example, the input device 170 to other component(s) of the emotion prediction learning device 100 (e.g., Commands or data transmitted to the processor 110, memory 130, etc.) or received from other component(s) of the emotion prediction learning device 100 are transmitted to the user or other external device through the output device 190, etc. It can be output as .

입력 장치(170)는, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 입력받는 장치로서, 예를 들면, 터치 패널, (디지털)펜 센서, 키 입력 장치, 또는 초음파 입력 장치 등을 포함할 수 있다. 터치 패널은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널은 제어 회로를 더 포함할 수도 있다. 터치 패널은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다. (디지털)펜 센서는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트를 포함할 수 있다. 키 입력 장치는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치는 마이크(Microphone)를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인하는 장치를 포함할 수 있다.The input device 170 is a device that receives commands or data input from a user or another external device and may include, for example, a touch panel, a (digital) pen sensor, a key input device, or an ultrasonic input device. there is. The touch panel may use at least one of, for example, a capacitive type, a resistive type, an infrared type, or an ultrasonic type. Additionally, the touch panel may further include a control circuit. The touch panel may further include a tactile layer to provide a tactile response to the user. The (digital) pen sensor may be, for example, part of a touch panel or may include a separate recognition sheet. Key input devices may include, for example, physical buttons, optical keys, or keypads. The ultrasonic input device may include a device that detects ultrasonic waves generated from an input tool through a microphone and checks data corresponding to the detected ultrasonic waves.

출력장치(190)는 프로세서(110), 또는 메모리(130) 등의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 시각적인 정보로 출력하는 장치로서, 예컨대, 디스플레이 장치를 포함할 수 있다. 예컨대, 디스플레이 장치는, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템 (MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. The output device 190 is a device that outputs commands or data received from the processor 110 or other component(s) such as the memory 130 as visual information and may include, for example, a display device. For example, the display device may include a liquid crystal display (LCD), a light-emitting diode (LED) display, an organic light-emitting diode (OLED) display, a microelectromechanical system (MEMS) display, or an electronic paper display. .

나아가, 입력 장치(170) 및 출력장치(190)는 물리적으로 구분되는 별도의 장치로 구성될 수 있다. 다른 예로서, 입력 장치(170) 및 출력장치(190)는 디스플레이와 터치스크린 패널이 조합된 단일의 장치로 구성될 수도 있다. 비록, 본 개시의 일 실시예에서, 입력 장치(170) 및 출력장치(190)를 예시하였으나, 본 개시가 이를 한정하는 것은 아니며, 다양하게 변경될 수 있다.Furthermore, the input device 170 and the output device 190 may be configured as physically separate devices. As another example, the input device 170 and the output device 190 may be configured as a single device that combines a display and a touch screen panel. Although the input device 170 and the output device 190 are illustrated in one embodiment of the present disclosure, the present disclosure is not limited thereto and may be changed in various ways.

입력 장치(170) 및 출력장치(190)는 정서 예측 학습 모델을 구축하는데 필요한 정보를 사용자에게 제공하고, 자유 연상 데이터를 입력받을 수 있다. The input device 170 and the output device 190 provide the user with information necessary to build an emotion prediction learning model and can receive free association data.

도 2는 본 발명의 일 실시예에 따른 정서 예측 학습 프로그램의 기능을 개념적으로 나타내는 블록도이다.Figure 2 is a block diagram conceptually showing the function of an emotion prediction learning program according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른, 정서 예측 학습 프로그램(200)은 자유 연상 데이터 획득부(210), 정서상태 정보 획득부(215), 밀도지도 구성부(220) 및 학습모델 학습부(230)를 포함할 수 있다. Referring to FIG. 2, the emotion prediction learning program 200 according to an embodiment of the present invention includes a free association data acquisition unit 210, an emotional state information acquisition unit 215, a density map configuration unit 220, and a learning It may include a model learning unit 230.

정서 예측 학습 프로그램(200)은 정서 예측 학습모델(250)의 학습을 수행하도록 구성된다. 여기서, 학습모델 학습부(230)가 정서 예측 학습모델(250)의 학습을 수행하기 위해서는, 입력 데이터 셋과 출력 데이터 셋을 포함하는 학습 데이터 셋이 요구된다. 자유 연상 데이터 획득부(210)는, 정서 예측 학습모델(250)의 학습을 위한 입력 데이터 셋의 기초 정보가 되는 자유 연상 데이터를 획득하여 밀도지도 구성부(220)에 제공하고, 밀도지도 구성부(220)는 자유 연상 데이터를 사용하여 정서 예측 학습모델(250)의 입력 데이터 셋으로 사용되는 밀도지도를 구성할 수 있다. 그리고, 정서상태 정보 획득부(215)는 정서 예측 학습모델(250)의 학습을 위한 출력 데이터 셋으로 사용될 정서상태 정보를 획득하여, 학습모델 학습부(230)에 제공할 수 있다. The emotion prediction learning program 200 is configured to perform learning of the emotion prediction learning model 250. Here, in order for the learning model learning unit 230 to perform learning of the emotion prediction learning model 250, a learning data set including an input data set and an output data set is required. The free association data acquisition unit 210 acquires free association data that is the basic information of the input data set for learning the emotion prediction learning model 250 and provides it to the density map construction unit 220, and the density map construction unit 220 220 can construct a density map used as an input data set for the emotion prediction learning model 250 using free association data. Additionally, the emotional state information acquisition unit 215 may obtain emotional state information to be used as an output data set for learning the emotion prediction learning model 250 and provide it to the learning model learning unit 230.

이에 기초하여, 학습모델 학습부(230)는 입력 데이터 셋과 출력 데이터 셋을 포함하는 학습 데이터 셋을 사용하여 정서 예측 학습모델(250)의 학습을 수행할 수 있다.Based on this, the learning model learning unit 230 may perform training of the emotion prediction learning model 250 using a learning data set including an input data set and an output data set.

이하, 자유 연상 데이터 획득부(210), 정서상태 정보 획득부(215), 밀도지도 구성부(220) 및 학습모델 학습부(230)의 구성 및 동작에 대해 상세히 설명한다.Hereinafter, the configuration and operation of the free association data acquisition unit 210, the emotional state information acquisition unit 215, the density map construction unit 220, and the learning model learning unit 230 will be described in detail.

우선, 자유 연상 데이터 획득부(210)는, 출력장치(190)를 통해 사용자에게 자유 연상 데이터의 입력을 요청할 수 있다. 예컨대, 자유 연상 데이터 획득부(210)는, 출력장치(190)를 통해 자유 연상 데이터의 입력을 요청하는 메시지를 표시할 수 있으며, 입력 장치(170)를 통해 입력되는 데이터를 확인하여 저장할 수 있다. 이때, 자유 연상 데이터 획득부(210)는 자유 연상 데이터가 입력되는 시간 정보를 함께 획득하여 저장 및 관리할 수 있다. First, the free-association data acquisition unit 210 may request input of free-association data from the user through the output device 190. For example, the free-associative data acquisition unit 210 may display a message requesting input of free-associative data through the output device 190, and may confirm and store data input through the input device 170. . At this time, the free association data acquisition unit 210 may obtain, store, and manage information on the time when the free association data is input.

나아가, 자유 연상 데이터 획득부(210)는, 출력장치(190)를 통해 자유 연상 데이터의 입력을 요청하는 메시지를 표시하면서, "제시어"를 제공할 수 있다. 이에 대응하여, 사용자는 "제시어"를 보고 연상되는 단어를 순차적으로 입력할 수 있다. Furthermore, the free-association data acquisition unit 210 may display a message requesting input of free-association data through the output device 190 and provide a “suggestion word.” In response to this, the user can sequentially input words that are reminiscent of the “suggestion word”.

이때, 자유 연상 데이터 획득부(210)는 연상되는 단어의 입력은 입력 장치(170)를 통해 자유롭게 입력받을 수 있는 환경을 제공하거나, 또는 "제시어"와 연관되는 복수의 단어를 표시하고, 표시된 단어 중, 하나를 선택할 수 있는 환경을 제공하도록 구성될 수 있다.At this time, the free association data acquisition unit 210 provides an environment in which the input of the associated word can be freely input through the input device 170, or displays a plurality of words associated with the “suggestion word” and displays the displayed word. It can be configured to provide an environment in which one can be selected.

정서상태 정보 획득부(215)는 자유 연상 데이터를 입력한 사용자의 정서 상태에 대한 정보(이하, '정서상태 정보'라 함)를 획득하도록 구성될 수 있다. 사용자의 정서 상태는 사용자의 설문 조사 등을 통해 확인할 수 있다. 이를 위해, 정서상태 정보 획득부(215)는 사용자의 정서 상태를 확인하기 위한 설문 조사 환경을 제공할 수 있다. 일 예로, 정서상태 정보 획득부(215)는 출력장치(190)를 통해 긍정 정서, 기쁨, 행복, 웰빙, 만족감 등을 포함하는 긍정 정서성(general positive affectivity) 점수, 또는 부정 정서, 우울감, 걱정, 스트레스 등을 포함하는 부정 정서성(general negative affectivity) 점수를 입력할 수 있는 설문 입력창을 제공하고, 설문 입력창을 통해 입력되는 정보를 기반으로 정서상태 정보를 구성할 수 있다. The emotional state information acquisition unit 215 may be configured to acquire information about the emotional state of a user who inputs free association data (hereinafter referred to as 'emotional state information'). The user's emotional state can be confirmed through user surveys, etc. To this end, the emotional state information acquisition unit 215 may provide a survey environment to check the user's emotional state. As an example, the emotional state information acquisition unit 215 provides a general positive affectivity score including positive emotion, joy, happiness, well-being, satisfaction, etc., or negative emotion, depression, and worry through the output device 190. , a survey input window is provided where you can enter general negative affectivity scores, including stress, and emotional state information can be configured based on the information entered through the survey input window.

인지, 기억, 지식 표상과 같은 사용자의 정신적 활동은, 사용자에 의해 입력되는 자유 연상 데이터를 통해 예측될 수 있다. 예컨대, 제1자유 연상 데이터가 입력된 시각과, 제2자유 연상 데이터가 입력된 시각 사이의 시간 간격이 길어질 경우, 제1자유 연상 데이터를 연산하는 공간 안에서 생각이 많이 머무른다는 것을 의미할 수 있다. 또한, 제1자유 연상 데이터가 입력된 후, 제2자유 연상 데이터가 입력되었다는 것은, 제1자유 연상 데이터가 제2자유 연상 데이터가 서로 연관성이 있고, 제1자유 연상 데이터에 대한 생각에서 제2자유 연상 데이터에 대한 생각으로 생각의 흐름이 변화된다는 것을 나타낸다. The user's mental activities, such as cognition, memory, and knowledge representation, can be predicted through free association data input by the user. For example, if the time interval between the time when the first free association data is input and the time when the second free association data is input is long, it may mean that a lot of thoughts stay in the space where the first free association data is calculated. . In addition, the fact that the second free association data is input after the first free association data is input means that the first free association data and the second free association data are related to each other, and that the second free association data is related to each other in the sense of the first free association data. It indicates that the flow of thoughts changes by thinking about free association data.

전술한 바를 고려하여, 밀도지도 구성부(220)는, 자유 연상 데이터들이 입력되는 시간 정보와, 자유 연상 데이터들의 입력 순서 등을 사용하여, 개인의 생각이 공간 안에서 어느 곳에 많이 머무는지를 나타내는 좌표밀도지도(rating density map)를 구성하고, 직전 생각에서 다음 생각으로 이동할 때 어떻게 이동하는지를 나타내는 벡터밀도지도(vector density map)를 구성할 수 있다. 구체적으로, 밀도지도 구성부(220)는, 3차원 좌표밀도지도를 구성하는 좌표밀도지도 구성부(221)와, 3차원 벡터밀도지도를 구성하는 벡터밀도지도 구성부(225)를 포함할 수 있다. 좌표밀도지도 구성부(221)는, 자유 연상 데이터들이 자기 관련성(Self-relevance) 요소, 정서가(Valence) 요소에 대해 미리 정해진 크기(예, 50Х50Х50) 단위로 구성된 좌표밀도지도를 구성할 수 있으며, 벡터밀도지도 구성부(225)는 자기 관련성 요소, 정서가 요소, 및 시간 요소 별로 미리 정해진 크기(예, 25Х25Х25) 단위로 구성된 벡터밀도지도를 구성할 수 있다. 여기서, 정서가는 감정에 대한 정보를 수치화하여 나타낸 값일 수 있다. In consideration of the above, the density map configuration unit 220 uses information on the time when free association data is input, the input order of free association data, etc., to create a coordinate density indicating where an individual's thoughts reside in space. You can construct a rating density map and a vector density map that shows how you move from the previous thought to the next. Specifically, the density map constructing unit 220 may include a coordinate density map constructing unit 221 constituting a three-dimensional coordinate density map, and a vector density map constructing unit 225 constituting a three-dimensional vector density map. there is. The coordinate density map configuration unit 221 can construct a coordinate density map composed of free association data in units of a predetermined size (e.g., 50Х50Х50) for self-relevance elements and valence elements. , The vector density map configuration unit 225 may construct a vector density map composed of predetermined size units (e.g., 25Х25Х25) for each self-relevance element, emotion element, and time element. Here, the emotional value may be a value expressed by quantifying information about emotions.

좌표밀도지도 구성부(221)와 벡터밀도지도 구성부(225)가 밀도지도를 구성하는 동작은 하기의 도 3a 및 도 3b에서 구체적으로 설명한다. The operation of the coordinate density map constructor 221 and the vector density map constructor 225 to construct a density map will be described in detail in FIGS. 3A and 3B below.

학습모델 학습부(230)는 정서 예측 학습모델(250)의 학습을 수행할 수 있다. 이를 위해, 학습모델 학습부(230)는 정서 예측 학습모델(250)의 학습에 필요한 학습 데이터 셋을 확인할 수 있다. 입력 데이터 셋 및 출력 데이터 셋을 포함할 수 있으며, 입력 데이터 셋은 좌표밀도지도 및 벡터밀도지도 중 적어도 하나를 포함할 수 있다. 학습모델 학습부(230)는 좌표밀도지도 및 벡터밀도지도를 이미지 형태로 정서 예측 학습모델에 입력할 수 있다. 예컨대, 학습모델 학습부(230)는 자기 관련성 요소, 정서가 요소, 및 시간 요소 별로 미리 정해진 크기(예, 50Х50Х50) 단위로 구성된 좌표밀도지도를 소정의 2차원의 단위 크기(예, 50Х50)로 분할하여 50개의 2차원 이미지로 구성하고, 50개의 2차원 이미지를 순차적으로 입력할 수 있다. 이때, 소정의 2차원의 단위 크기(예, 50Х50)는 자기 관련성 요소 및 정서가 요소를 기준으로 구성되며, 각 시간 요소에 대한 50개의 2차원 이미지가 구성되는 것이 바람직하다. 마찬가지로, 학습모델 학습부(230)는 벡터밀도지도에 대해서도, 자기 관련성 요소, 정서가 요소, 및 시간 요소 별로 미리 정해진 크기(예, 25Х25Х25) 단위로 구성된 벡터밀도지도를 소정의 2차원의 단위 크기(예, 25Х25)로 분할하여 25개의 2차원 이미지로 구성할 수 있다. 이때, 소정의 2차원의 단위 크기(예, 25Х25)는 자기 관련성 요소 및 정서가 요소를 기준으로 구성되며, 각 시간 요소에 대한 25개의 2차원 이미지가 구성되는 것이 바람직하다. The learning model learning unit 230 may perform learning of the emotion prediction learning model 250. To this end, the learning model learning unit 230 can check the learning data set required for learning the emotion prediction learning model 250. It may include an input data set and an output data set, and the input data set may include at least one of a coordinate density map and a vector density map. The learning model learning unit 230 can input the coordinate density map and vector density map into the emotion prediction learning model in the form of images. For example, the learning model learning unit 230 converts a coordinate density map composed of predetermined size units (e.g., 50Х50Х50) for each self-relevance element, emotion element, and time element into a predetermined two-dimensional unit size (e.g., 50Х50). It is divided into 50 two-dimensional images, and the 50 two-dimensional images can be input sequentially. At this time, a predetermined two-dimensional unit size (e.g., 50Х50) is constructed based on self-relevance elements and emotion elements, and it is desirable to construct 50 two-dimensional images for each time element. Similarly, for the vector density map, the learning model learning unit 230 generates a vector density map composed of predetermined size units (e.g., 25Х25Х25) for each self-relevance element, emotion element, and time element into a predetermined two-dimensional unit size. (e.g., 25Х25) can be divided into 25 two-dimensional images. At this time, a predetermined two-dimensional unit size (e.g., 25Х25) is constructed based on self-relevance elements and emotion elements, and it is desirable to construct 25 two-dimensional images for each time element.

전술한 동작을 통해, 학습모델 학습부(230)는 좌표밀도지도 및 벡터밀도지도 중 적어도 하나를 포함하는 입력 데이터 셋을 구성할 수 있으며, 구성된 입력 데이터 셋을 정서 예측 학습모델(250)에 입력할 수 있다. 입력 데이터 셋으로서 좌표밀도지도 및 벡터밀도지도를 사용할 경우, 학습모델 학습부(230)는 좌표밀도지도 및 벡터밀도지도를 동시에 병렬적으로 입력하거나 또는 좌표밀도지도를 입력하고, 좌표밀도지도의 입력이 완료된 후 벡터밀도지도를 입력하도록 구성될 수 있다. Through the above-described operation, the learning model learning unit 230 can configure an input data set including at least one of a coordinate density map and a vector density map, and input the constructed input data set to the emotion prediction learning model 250. can do. When using a coordinate density map and a vector density map as input data sets, the learning model learning unit 230 inputs the coordinate density map and the vector density map in parallel at the same time or inputs the coordinate density map and inputs the coordinate density map. After this is completed, it can be configured to input the vector density map.

한편, 학습모델 학습부(230)는 정서상태 정보 획득부(215)에서 제공되는 정서상태 정보를 확인하고, 정서 예측 학습모델(250)의 출력 데이터 셋으로 설정할 수 있다. Meanwhile, the learning model learning unit 230 can check the emotional state information provided by the emotional state information acquisition unit 215 and set it as the output data set of the emotional prediction learning model 250.

나아가, 정서 예측 학습모델은 긍정 정서성 예측 모델과 부정 정서성 예측 모델을 포함할 수 있다. 이를 위해, 학습모델 학습부(230)는 긍정 정서성 예측 모델(250p)과 부정 정서성 예측 모델(250n)을 각각 독립적으로 학습하도록 구성될 수 있다. 예컨대, 학습모델 학습부(230)는 좌표밀도지도 및 벡터밀도지도를 입력 데이터 셋으로 긍정 정서성 예측 모델(250p)과 부정 정서성 예측 모델(250n)에 각각 입력할 수 있다. 그리고, 학습모델 학습부(230)는 긍정 정서성 예측 모델(250p)에는 긍정 정서성(general positive affectivity) 점수를 출력 데이터 셋으로 설정하고, 부정 정서성 예측 모델(250n)에는 부정 정서성(general negative affectivity) 점수를 출력 데이터 셋으로 설정할 수 있다. Furthermore, the emotion prediction learning model may include a positive emotion prediction model and a negative emotion prediction model. To this end, the learning model learning unit 230 may be configured to independently learn the positive emotionality prediction model 250p and the negative emotionality prediction model 250n. For example, the learning model learning unit 230 may input the coordinate density map and the vector density map as input data sets into the positive emotionality prediction model 250p and the negative emotionality prediction model 250n, respectively. In addition, the learning model learning unit 230 sets the positive affectivity (general positive affectivity) score as the output data set for the positive affectivity prediction model (250p), and sets the negative affectivity score (general positive affectivity) as the output data set for the negative affectivity prediction model (250n). negative affectivity) score can be set as the output data set.

전술한 환경에서, 정서 예측 학습 프로그램(200)은 정서 예측 학습모델에 대한 학습을 수행할 수 있다. In the above-described environment, the emotion prediction learning program 200 can perform learning on the emotion prediction learning model.

도 3a 및 도 3b는 본 발명의 일 실시예에 따른 정서 예측 학습 프로그램의 밀도지도 구성부(220)에 의해 3차원 밀도지도를 구성하는 동작을 예시하는 개념도이다. 3A and 3B are conceptual diagrams illustrating the operation of constructing a 3D density map by the density map component 220 of the emotion prediction learning program according to an embodiment of the present invention.

우선, 도 3a에는 좌표밀도지도를 구성하는 동작이 예시된다. 좌표밀도지도 구성부(221)는, 자유 연상 데이터 획득부(210)로부터 제공된 자유 연상 데이터를 확인할 수 있으며, 자유 연상 데이터의 자기 관련성 요소, 정서가 요소, 및 시간 요소를 고려하여 3차원의 그래프(300)로 구성할 수 있다(S301). 그리고, 좌표밀도지도 구성부(221)는, 자유 연상 데이터들 각각이 자기 관련성 요소와 정서가 요소의 관계를 나타내는 위치에서 다음의 자유 연상 데이터가 입력되는 시간이 얼마나 오래 걸리는지를 나타낼 수 있도록, 3차원 좌표밀도지도(320)를 구성할 수 있다. First, Figure 3a illustrates the operation of constructing a coordinate density map. The coordinate density map configuration unit 221 can check the free association data provided from the free association data acquisition unit 210, and considers the self-relevance element, sentiment factor, and time element of the free association data to create a three-dimensional graph. It can be configured as (300) (S301). In addition, the coordinate density map configuration unit 221 is configured to indicate how long it takes for the next free association data to be input at a position where each of the free association data represents the relationship between the self-relevance element and the emotion element, 3 A 3D coordinate density map 320 can be constructed.

일 예로, 좌표밀도지도 구성부(221)는, 자유 연상 데이터를 자기 관련성 요소, 정서가 요소, 및 시간 요소로 이루어진 3개의 축에 대해 표상된 3차원의 그래프(300)를 기반으로, 자유 연상 데이터들 각각이 자기 관련성 요소와 정서가 요소의 관계를 나타내는 위치에서의 등급(310)을 구성할 수 있다(S302). 이 후, 좌표밀도지도 구성부(221)는, 미리 정해진 크기(예, 반지름 5)의 구형 커널(spherical kernel)로 행렬을 합성한 뒤(convolution), 표준편차를 미리 정해진 크기(예, 2)의 3차원 가우시안 커널(Gaussian kernel)의 행렬을 사용하여 평활화(smoothing)하여 미리 정해진 크기(예, 50Х50Х50)의 3차원 행렬 형태로 구성함으로써, 3차원 좌표밀도지도(320)를 생성할 수 있다(S303). 3차원 좌표밀도지도(320)에서, 색은 해당 좌표의 밀도를 나타내며, 붉은색에 가까울수록 응답의 밀도가 높은 것을 나타내고, 파란색에 가까울수록 밀도가 낮은 것을 나타낸다. As an example, the coordinate density map component 221 free-associates data based on a three-dimensional graph 300 represented on three axes consisting of a self-relevance element, an emotion element, and a time element. Each of the data may constitute a grade 310 at a position that indicates the relationship between the self-relevance element and the emotion element (S302). Afterwards, the coordinate density map constructor 221 convolves the matrix with a spherical kernel of a predetermined size (e.g., radius 5) and then converts the standard deviation to a predetermined size (e.g., 2). A 3D coordinate density map 320 can be generated by smoothing using a 3D Gaussian kernel matrix and forming a 3D matrix of a predetermined size (e.g., 50Х50Х50). S303). In the 3D coordinate density map 320, the color represents the density of the corresponding coordinate. The closer to red, the higher the response density, and the closer to blue, the lower the density.

도 3b에는 벡터밀도지도를 구성하는 동작이 예시된다. 벡터밀도지도는, 자유 연상 데이터들의 자기 관련성 요소, 정서가 요소, 및 시간 요소에서 변이를 기반으로, 이전 생각에서 다음 생각으로의 변화를 나타내도록 구성될 수 있다. Figure 3b illustrates the operation of constructing a vector density map. Vector density maps can be constructed to represent changes from a previous thought to the next based on variations in the self-relevance component, affect component, and time component of free association data.

벡터밀도지도 구성부(225)는, 자유 연상 데이터 획득부(210)로부터 제공된 자유 연상 데이터를 확인할 수 있으며, 자유 연상 데이터의 자기 관련성 요소, 정서가 요소, 및 시간 요소를 고려하여 3차원의 그래프(350)로 구성할 수 있다(S351). 3차원의 그래프(350)는 좌표밀도지도 구성부(221)에서 구성된 3차원의 그래프(300)와 동일한 그래프일 수 있으며, 좌표밀도지도 구성부(221)로부터 제공받아 사용될 수 있다. The vector density map configuration unit 225 can check the free association data provided from the free association data acquisition unit 210, and considers the self-relevance element, sentiment factor, and time element of the free association data to create a three-dimensional graph. It can be configured as (350) (S351). The three-dimensional graph 350 may be the same graph as the three-dimensional graph 300 constructed in the coordinate density map construction unit 221, and may be provided and used from the coordinate density map construction unit 221.

벡터밀도지도 구성부(225)는, 3차원의 그래프(350)에 포함된 자유 연상 데이터의 입력 순서를 기반으로, 자유 연상 데이터의 움직임을 벡터 형태로 구성한, 벡터 그래프(360)를 구성할 수 있다(S352). 그리고, 벡터밀도지도 구성부(225)는, 벡터 그래프(360)에 포함된 자유 연상 데이터의 벡터들(361a, 361b, 361c, ...)의 원점을 동일한 점으로 이동시켜 변환 벡터 그래프(370)를 구성한다(S353). 이 후, 벡터밀도지도 구성부(225)는, 변환 벡터 그래프(370)를 기반으로, 미리 정해진 크기(예, 반지름 5)의 구형 커널(spherical kernel)로 행렬을 합성한 뒤(convolution), 표준편차를 미리 정해진 크기(예, 2)의 3차원 가우시안 커널(Gaussian kernel)의 행렬을 사용하여 평활화(smoothing)하여 미리 정해진 크기(예, 25Х25Х25)의 3차원 행렬 형태로 구성하여 좌표밀도지도(380)를 구성할 수 있다(S354). 밀도 지도의 색은 좌표의 밀도를 나타내며, 붉은색에 가까울수록 응답의 밀도가 높은 것을, 파란색에 가까울수록 밀도가 낮은 것을 의미한다.The vector density map configuration unit 225 can construct a vector graph 360 that configures the movement of free association data in vector form based on the input order of free association data included in the three-dimensional graph 350. There is (S352). In addition, the vector density map configuration unit 225 moves the origin of the vectors 361a, 361b, 361c, ... of the free association data included in the vector graph 360 to the same point to create the converted vector graph 370. ) to configure (S353). Afterwards, the vector density map configuration unit 225 synthesizes the matrix with a spherical kernel of a predetermined size (e.g., radius 5) based on the transformation vector graph 370, and then convolutions the matrix into a standard The deviation is smoothed using a matrix of a three-dimensional Gaussian kernel of a predetermined size (e.g., 2) and configured into a three-dimensional matrix of a predetermined size (e.g., 25Х25Х25) to produce a coordinate density map (380 ) can be configured (S354). The color of the density map indicates the density of the coordinates; the closer to red, the higher the response density, and the closer to blue, the lower the density.

도 4는 본 발명의 일 실시예에 따른 정서 예측 학습 방법의 순서를 나타내는 흐름도이다.Figure 4 is a flowchart showing the sequence of an emotion prediction learning method according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 정서 예측 학습 방법은 전술한 정서 예측 학습 장치에 의해 수행될 수 있다. 정서 예측 학습 방법은 입력 데이터 셋과 출력 데이터 셋을 포함하는 학습 데이터 셋으로 사용하여 정서 예측 학습모델의 학습을 수행하기 위한 방법이다. 구체적으로, 정서 예측 학습 장치는, 입력 데이터 셋으로 사용하는 기초 정보가 되는 자유 연상 데이터를 획득하고, 출력 데이터 셋으로 사용되는 정서상태 정보를 획득한다. 그리고, 정서 예측 학습 장치는, 자유 연상 데이터를 3차원의 밀도지도로 구성하여 정서 예측 학습모델의 학습을 위한 입력 데이터 셋으로 구성할 수 있다. 이후, 정서 예측 학습 장치는, 3차원의 밀도지도와 정서상태 정보를 학습 데이터 셋으로 사용하여 정서 예측 학습모델에 대한 학습을 수행할 수 있다. The emotion prediction learning method according to an embodiment of the present invention can be performed by the above-described emotion prediction learning device. The sentiment prediction learning method is a method for learning an sentiment prediction learning model using a learning data set that includes an input data set and an output data set. Specifically, the emotion prediction learning device acquires free association data that is basic information used as an input data set, and acquires emotional state information that is used as an output data set. In addition, the emotion prediction learning device can configure free association data into a three-dimensional density map as an input data set for learning an emotion prediction learning model. Afterwards, the emotion prediction learning device can perform learning on the emotion prediction learning model using the 3D density map and emotional state information as a learning data set.

구체적으로, 도 4를 참조하면, 정서 예측 학습 장치는 디스플레이 장치 등과 같은 출력장치를 통해 자유 연상 데이터의 입력을 요청하는 메시지를 표시할 수 있으며, 비입력 장치 등과 같은 입력 장치를 통해 입력되는 자유 연상 데이터를 확인하여 저장할 수 있다(S410). Specifically, referring to FIG. 4, the emotion prediction learning device can display a message requesting input of free association data through an output device such as a display device, and free association data input through an input device such as a non-input device. Data can be checked and saved (S410).

또한, 정서 예측 학습 장치는 사용자의 정서 상태를 확인하기 위한 설문 조사 환경을 제공하여, 자유 연상 데이터를 입력한 사용자의 정서 상태에 대한 정보(이하, '정서상태 정보'라 함)를 획득할 수 있다(S420). 일 예로, 정서 예측 학습 장치는 정서상태 정보로서, 긍정 정서, 기쁨, 행복, 웰빙, 만족감 등을 포함하는 긍정 정서성(general positive affectivity) 점수, 또는 부정 정서, 우울감, 걱정, 스트레스 등을 포함하는 부정 정서성(general negative affectivity) 점수를 획득할 수 있다.In addition, the emotion prediction learning device provides a survey environment to check the user's emotional state, and can obtain information about the emotional state of the user who entered free association data (hereinafter referred to as 'affective state information'). There is (S420). As an example, the emotion prediction learning device is emotional state information, including a general positive affectivity score including positive emotion, joy, happiness, well-being, satisfaction, etc., or a general positive affectivity score including negative emotion, depression, worry, stress, etc. You can obtain a general negative affectivity score.

정서 예측 학습 장치는 자유 연상 데이터들이 입력되는 시간 정보와, 자유 연상 데이터들의 입력 순서 등을 사용하여, 개인의 생각이 공간 안에서 어느 곳에 많이 머무는지를 나타내는 좌표밀도지도(rating density map)를 구성하고, 직전 생각에서 다음 생각으로 이동할 때 어떻게 이동하는지를 나타내는 벡터밀도지도(vector density map)를 구성할 수 있다(S430). The emotion prediction learning device uses information on the time when free association data is input and the input order of free association data to construct a rating density map that indicates where an individual's thoughts reside most in space, You can construct a vector density map that shows how you move from the previous thought to the next (S430).

이후, 정서 예측 학습 장치는 좌표밀도지도와 벡터밀도지도를 입력 데이터 셋으로 설정하고, 정서상태 정보를 출력 데이터 셋으로 설정하여 정서 예측 학습모델의 학습을 수행할 수 있다(S440). 이때, 정서 예측 학습 장치는 좌표밀도지도와 벡터밀도지도를 각각 미리 정해진 단위 크기로 분할한 2차원 이미지를 구성하고, 이렇게 구성된 이미지를 입력 데이터 셋으로 사용할 수 있다. Afterwards, the emotion prediction learning device can perform learning of the emotion prediction learning model by setting the coordinate density map and the vector density map as the input data set and the emotional state information as the output data set (S440). At this time, the emotion prediction learning device can construct a two-dimensional image by dividing the coordinate density map and the vector density map into predetermined unit sizes, and use the image constructed in this way as an input data set.

또한, 정서 예측 학습모델은 긍정 정서성 예측 모델과 부정 정서성 예측 모델을 포함할 수 있다. 이에 따라, 정서 예측 학습 장치는 긍정 정서성 예측 모델(250p)과 부정 정서성 예측 모델(250n)을 각각 독립적으로 학습할 수 있다. 예컨대, 정서 예측 학습 장치는 좌표밀도지도 및 벡터밀도지도를 입력 데이터 셋으로 긍정 정서성 예측 모델(250p)과 부정 정서성 예측 모델(250n)에 각각 입력할 수 있다. 그리고, 정서 예측 학습 장치는 긍정 정서성 예측 모델(250p)에는 긍정 정서성(general positive affectivity) 점수를 출력 데이터 셋으로 설정하고, 부정 정서성 예측 모델(250n)에는 부정 정서성(general negative affectivity) 점수를 출력 데이터 셋으로 설정할 수 있다. Additionally, the emotion prediction learning model may include a positive emotion prediction model and a negative emotion prediction model. Accordingly, the emotion prediction learning device can independently learn the positive emotion prediction model (250p) and the negative emotion prediction model (250n). For example, the emotion prediction learning device may input a coordinate density map and a vector density map as input data sets into a positive emotionality prediction model (250p) and a negative emotionality prediction model (250n), respectively. In addition, the emotion prediction learning device sets the general positive affectivity score as the output data set for the positive affectivity prediction model (250p), and sets the general negative affectivity score as the output data set for the negative affectivity prediction model (250n). The score can be set as the output data set.

도 5는 본 발명의 실시예에 따른 정서 예측 장치를 나타내는 블록도이다.Figure 5 is a block diagram showing an emotion prediction device according to an embodiment of the present invention.

도 5를 참조하면, 정서 예측 장치(500)는 프로세서(510), 메모리(530), 입출력 인터페이스(550), 입력장치(570), 및 출력장치(590)를 포함할 수 있다.Referring to FIG. 5 , the emotion prediction device 500 may include a processor 510, a memory 530, an input/output interface 550, an input device 570, and an output device 590.

프로세서(510)는 정서 예측 장치(500)의 동작을 전반적으로 제어하고, 메모리(530)는 정서 예측 프로그램(600) 및 정서 예측 프로그램(600)의 실행에 필요한 정보를 저장할 수 있다.The processor 510 generally controls the operation of the emotion prediction device 500, and the memory 530 can store the emotion prediction program 600 and information necessary for execution of the emotion prediction program 600.

본 발명의 실시예에서, 프로세서(510)는 기능에 따라 복수 개의 모듈들로 구분될 수도 있고, 하나의 프로세서에서 기능들을 수행할 수도 있다. 프로세서(510)는 중앙처리장치(central processing unit(CPU)), 어플리케이션 프로세서(application processor(AP)), 마이크로 컨트롤러 유닛(micro controller unit(MCU)) 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 메모리(530)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어, SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 컴퓨터 판독 가능한 저장매체를 포함할 수 있다.In an embodiment of the present invention, the processor 510 may be divided into a plurality of modules according to function, or functions may be performed by a single processor. The processor 510 is one of a central processing unit (CPU), an application processor (AP), a micro controller unit (MCU), or a communication processor (CP). Or it may include more. The memory 530 is a flash memory type, hard disk type, multimedia card micro type, card type memory (for example, SD or XD memory, etc.), Random Access Memory (RAM), Static Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), magnetic memory, It may include at least one type of computer-readable storage medium selected from a magnetic disk and an optical disk.

본 개시의 일 실시예에서, 정서 예측 프로그램(600)은 정서 상태를 예측하는 학슴모델을 학습하도록 프로그램된 명령어들을 포함하는 소프트웨어를 의미할 수 있다.In one embodiment of the present disclosure, the emotion prediction program 600 may refer to software including instructions programmed to learn a learning model that predicts an emotional state.

프로세서(510)는 정서 예측 프로그램(600)을 실행하기 위하여 메모리(530)에서 정서 예측 프로그램(600) 및 정서 예측 프로그램(600)의 실행에 필요한 정보를 로드할 수 있다.In order to execute the emotion prediction program 600, the processor 510 may load the emotion prediction program 600 and information required for execution of the emotion prediction program 600 from the memory 530.

프로세서(510)는, 정서 예측 프로그램(600)을 실행하여, 정서 예측 학습모델을 사용하여 사용자의 정서를 예측할 수 있다. 이때, 정서 예측 학습모델은 3차원 밀도지도를 입력받고, 입력받은 3차원 밀도지도에 대응되는 상기 적어도 하나의 사용자의 정서 상태를 출력하도록 기계 학습된 모델일 수 있다.The processor 510 may execute the emotion prediction program 600 and predict the user's emotion using an emotion prediction learning model. At this time, the emotion prediction learning model may be a machine-learned model that receives a 3D density map and outputs the emotional state of the at least one user corresponding to the input 3D density map.

정서 예측 프로그램(600)의 기능 및/또는 동작에 대하여는 도 6을 통해 상세하게 살펴보기로 한다.The function and/or operation of the emotion prediction program 600 will be examined in detail with reference to FIG. 6.

한편, 입출력 인터페이스(650)는, 예를 들면, 입력장치(570) 등을 통해 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 정서 예측 장치(500)의 다른 구성요소(들)(예, 프로세서(510), 메모리(530) 등)에 전달하거나, 또는 정서 예측 장치(500)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 출력장치(590) 등을 통해 사용자 또는 다른 외부 기기로 출력할 수 있다.Meanwhile, the input/output interface 650 transmits commands or data input from a user or other external device through, for example, the input device 570 to other component(s) (e.g., processor) of the emotion prediction device 500. (510, memory 530, etc.), or output commands or data received from other component(s) of the emotion prediction device 500 to the user or other external device through the output device 590, etc. can do.

입력 장치(570)는, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 입력받는 장치로서, 예를 들면, 터치 패널, (디지털)펜 센서, 키 입력 장치, 또는 초음파 입력 장치 등을 포함할 수 있다. 터치 패널은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널은 제어 회로를 더 포함할 수도 있다. 터치 패널은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다. (디지털)펜 센서는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트를 포함할 수 있다. 키 입력 장치는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치는 마이크(Microphone)를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인하는 장치를 포함할 수 있다.The input device 570 is a device that receives commands or data input from a user or another external device and may include, for example, a touch panel, a (digital) pen sensor, a key input device, or an ultrasonic input device. there is. The touch panel may use at least one of, for example, a capacitive type, a resistive type, an infrared type, or an ultrasonic type. Additionally, the touch panel may further include a control circuit. The touch panel may further include a tactile layer to provide a tactile response to the user. The (digital) pen sensor may be, for example, part of a touch panel or may include a separate recognition sheet. Key input devices may include, for example, physical buttons, optical keys, or keypads. The ultrasonic input device may include a device that detects ultrasonic waves generated from an input tool through a microphone and checks data corresponding to the detected ultrasonic waves.

출력장치(590)는 프로세서(510), 또는 메모리(530) 등의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 시각적인 정보로 출력하는 장치로서, 예컨대, 디스플레이 장치를 포함할 수 있다. 예컨대, 디스플레이 장치는, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템 (MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. The output device 590 is a device that outputs commands or data received from the processor 510 or other component(s) such as the memory 530 as visual information and may include, for example, a display device. For example, the display device may include a liquid crystal display (LCD), a light-emitting diode (LED) display, an organic light-emitting diode (OLED) display, a microelectromechanical system (MEMS) display, or an electronic paper display. .

나아가, 입력 장치(570) 및 출력장치(590)는 물리적으로 구분되는 별도의 장치로 구성될 수 있다. 다른 예로서, 입력 장치(570) 및 출력장치(590)는 디스플레이와 터치스크린 패널이 조합된 단일의 장치로 구성될 수도 있다. 비록, 본 개시의 일 실시예에서, 입력 장치(570) 및 출력장치(590)를 예시하였으나, 본 개시가 이를 한정하는 것은 아니며, 다양하게 변경될 수 있다.Furthermore, the input device 570 and the output device 590 may be configured as physically separate devices. As another example, the input device 570 and the output device 590 may be configured as a single device that combines a display and a touch screen panel. Although the input device 570 and the output device 590 are illustrated in one embodiment of the present disclosure, the present disclosure is not limited thereto and may be changed in various ways.

입력 장치(570) 및 출력장치(590)는 사용자의 정서 예측을 수행하는데 필요한 정보를 제공하거나, 사용자로부터 자유 연상 데이터를 입력받을 수 있다.The input device 570 and the output device 590 may provide information necessary to predict the user's emotion or may receive free association data from the user.

도 6은 본 발명의 일 실시예에 따른 정서 예측 학습 프로그램의 기능을 개념적으로 나타내는 블록도이다.Figure 6 is a block diagram conceptually showing the function of an emotion prediction learning program according to an embodiment of the present invention.

도 6을 참조하면, 본 발명의 일 실시예에 따른, 정서 예측 프로그램(600)은 자유 연상 데이터 획득부(610), 밀도지도 구성부(620) 및 정서예측 수행부(630)를 포함할 수 있다. Referring to FIG. 6, the emotion prediction program 600 according to an embodiment of the present invention may include a free association data acquisition unit 610, a density map configuration unit 620, and an emotion prediction performance unit 630. there is.

정서 예측 프로그램(600)은 정서 예측 학습모델을 사용하여 사용자의 정서 예측을 수행하도록 구성된다. 여기서, 정서예측 수행부(630)가 사용자의 정서 예측을 수행하기 위해서는, 정서 예측 학습모델에 입력할 입력 데이터가 요구된다. 자유 연상 데이터 획득부(610)는, 정서 예측 학습모델의 입력 데이터의 기초 정보가 되는 자유 연상 데이터를 획득하여 밀도지도 구성부(620)에 제공하고, 밀도지도 구성부(620)는 자유 연상 데이터를 사용하여 정서 예측 학습모델의 입력 데이터로 사용되는 밀도지도를 구성할 수 있다. The emotion prediction program 600 is configured to predict the user's emotion using an emotion prediction learning model. Here, in order for the emotion prediction performing unit 630 to predict the user's emotion, input data to be input to the emotion prediction learning model is required. The free association data acquisition unit 610 acquires free association data that is the basic information of the input data of the emotion prediction learning model and provides it to the density map configuration unit 620, and the density map configuration unit 620 provides the free association data. You can use to construct a density map used as input data for an emotion prediction learning model.

이에 기초하여, 정서예측 수행부(630)는 입력 데이터를 사용하여 사용자의 정서 예측을 수행할 수 있다.Based on this, the emotion prediction performing unit 630 can predict the user's emotion using the input data.

이하, 자유 연상 데이터 획득부(610), 밀도지도 구성부(620) 및 정서예측 수행부(630)의 구성 및 동작에 대해 상세히 설명한다.Hereinafter, the configuration and operation of the free association data acquisition unit 610, the density map construction unit 620, and the emotion prediction performance unit 630 will be described in detail.

우선, 자유 연상 데이터 획득부(610)는, 출력장치(590)를 통해 사용자에게 자유 연상 데이터의 입력을 요청할 수 있다. 예컨대, 자유 연상 데이터 획득부(610)는, 출력장치(590)를 통해 자유 연상 데이터의 입력을 요청하는 메시지를 표시할 수 있으며, 입력 장치(570)를 통해 입력되는 데이터를 확인하여 저장할 수 있다. 이때, 자유 연상 데이터 획득부(610)는 자유 연상 데이터가 입력되는 시간 정보를 함께 획득하여 저장 및 관리할 수 있다. First, the free-association data acquisition unit 610 may request input of free-association data from the user through the output device 590. For example, the free-association data acquisition unit 610 may display a message requesting input of free-association data through the output device 590, and may confirm and store data input through the input device 570. . At this time, the free association data acquisition unit 610 may obtain, store, and manage information on the time when the free association data is input.

나아가, 자유 연상 데이터 획득부(610)는, 출력장치(590)를 통해 자유 연상 데이터의 입력을 요청하는 메시지를 표시하면서, "제시어"를 제공할 수 있다. 이에 대응하여, 사용자는 "제시어"를 보고 연상되는 단어를 순차적으로 입력할 수 있다. Furthermore, the free-association data acquisition unit 610 may display a message requesting input of free-association data through the output device 590 and provide a “suggestion word.” In response to this, the user can sequentially input words that are reminiscent of the “suggestion word”.

이때, 자유 연상 데이터 획득부(610)는 연상되는 단어의 입력은 입력 장치(170)를 통해 자유롭게 입력받을 수 있는 환경을 제공하거나, 또는 "제시어"와 연관되는 복수의 단어를 표시하고, 표시된 단어 중, 하나를 선택할 수 있는 환경을 제공하도록 구성될 수 있다.At this time, the free association data acquisition unit 610 provides an environment in which the input of the associated word can be freely input through the input device 170, or displays a plurality of words associated with the “suggestion word” and displays the displayed word. It can be configured to provide an environment in which one can be selected.

전술한 바를 고려하여, 밀도지도 구성부(620)는, 자유 연상 데이터들이 입력되는 시간 정보와, 자유 연상 데이터들의 입력 순서 등을 사용하여, 개인의 생각이 공간 안에서 어느 곳에 많이 머무는지를 나타내는 좌표밀도지도(rating density map)를 구성하고, 직전 생각에서 다음 생각으로 이동할 때 어떻게 이동하는지를 나타내는 벡터밀도지도(vector density map)를 구성할 수 있다. 구체적으로, 밀도지도 구성부(620)는, 3차원 좌표밀도지도를 구성하는 좌표밀도지도 구성부(621)와, 3차원 벡터밀도지도를 구성하는 벡터밀도지도 구성부(625)를 포함할 수 있다. 좌표밀도지도 구성부(621)는, 자유 연상 데이터들이 자기 관련성 요소, 정서가 요소에 대해 미리 정해진 크기(예, 50Х50Х50) 단위로 구성된 좌표밀도지도를 구성할 수 있으며, 벡터밀도지도 구성부(625)는 자기 관련성 요소, 정서가 요소, 및 시간 요소 별로 미리 정해진 크기(예, 25Х25Х25) 단위로 구성된 벡터밀도지도를 구성할 수 있다. In consideration of the above, the density map configuration unit 620 uses information on the time when free association data is input, the input order of free association data, etc., to create a coordinate density indicating where an individual's thoughts mostly reside in space. You can construct a rating density map and a vector density map that shows how you move from the previous thought to the next. Specifically, the density map constructing unit 620 may include a coordinate density map constructing unit 621 constituting a three-dimensional coordinate density map, and a vector density map constructing unit 625 constructing a three-dimensional vector density map. there is. The coordinate density map configuration unit 621 can construct a coordinate density map composed of free association data in units of predetermined sizes (e.g., 50Х50Х50) for self-relevance elements and emotion elements, and the vector density map configuration unit 625 ) can construct a vector density map composed of predetermined size units (e.g., 25Х25Х25) for each self-relevance element, emotion element, and time element.

좌표밀도지도 구성부(621)와 벡터밀도지도 구성부(625)가 밀도지도를 구성하는 동작은 전술한 정서 예측 학습 프로그램(200) 좌표밀도지도와 벡터밀도지도를 구성하는 동작과 동일하게 수행될 수 있으며, 구체적인 동작을 도 3a 및 도 3b의 설명을 참조한다. The operation of the coordinate density map constructing unit 621 and the vector density map constructing unit 625 to construct a density map is performed in the same manner as the operation of constructing the coordinate density map and vector density map of the emotion prediction learning program 200 described above. Please refer to the description of FIGS. 3A and 3B for specific operations.

정서예측 수행부(630)는 정서 예측 학습모델(250)을 사용하여 정서 예측을 수행할 수 있다. 이때, 정서 예측 학습모델(250)은, 도 2에서 설멸된 전술한 정서 예측 학습 장치(200)에 의해 구출된 학습 모델일 수 있다. The emotion prediction performance unit 630 may perform emotion prediction using the emotion prediction learning model 250. At this time, the emotion prediction learning model 250 may be a learning model rescued by the above-described emotion prediction learning device 200 illustrated in FIG. 2 .

이를 위해, 정서예측 수행부(630)는 정서 예측 학습모델(250)의 입력 데이터를 구성할 수 있는데, 좌표밀도지도 및 벡터밀도지도 중 적어도 하나를 입력 데이터로 구성할 수 있다. 바람직하게, 정서예측 수행부(630)는 좌표밀도지도 및 벡터밀도지도를 이미지 형태로 변환하여 입력 데이터를 구성하고, 이렇게 구성된 입력 데이터를 정서 예측 학습모델(250)에 입력할 수 있다. 예컨대, 정서예측 수행부(630)는 자기 관련성 요소, 정서가 요소, 및 시간 요소 별로 미리 정해진 크기(예, 50Х50Х50) 단위로 구성된 좌표밀도지도를 소정의 2차원의 단위 크기(예, 50Х50)로 분할하여 50개의 2차원 이미지로 변환하고, 50개의 2차원 이미지를 정서 예측 학습모델에 순차적으로 입력할 수 있다. 이때, 소정의 2차원의 단위 크기(예, 50Х50)는 자기 관련성 요소 및 정서가 요소를 기준으로 구성되며, 각 시간 요소에 대한 50개의 2차원 이미지가 구성되는 것이 바람직하다. 마찬가지로, 정서예측 수행부(630)는 벡터밀도지도에 대해서도, 자기 관련성 요소, 정서가 요소, 및 시간 요소 별로 미리 정해진 크기(예, 25Х25Х25) 단위로 구성된 벡터밀도지도를 소정의 2차원의 단위 크기(예, 25Х25)로 분할하여 25개의 2차원 이미지로 변환할 수 있다. 이때, 소정의 2차원의 단위 크기(예, 25Х25)는 자기 관련성 요소 및 정서가 요소를 기준으로 구성되며, 각 시간 요소에 대한 25개의 2차원 이미지가 구성되는 것이 바람직하다. To this end, the emotion prediction performing unit 630 may configure input data of the emotion prediction learning model 250, and may configure at least one of a coordinate density map and a vector density map as the input data. Preferably, the emotion prediction performing unit 630 may configure input data by converting the coordinate density map and the vector density map into image form, and input the input data thus constructed into the emotion prediction learning model 250. For example, the emotion prediction performance unit 630 converts a coordinate density map composed of predetermined size units (e.g., 50Х50Х50) for each self-relevance element, emotion element, and time element into a predetermined two-dimensional unit size (e.g., 50Х50). It can be segmented and converted into 50 two-dimensional images, and the 50 two-dimensional images can be sequentially input into the emotion prediction learning model. At this time, a predetermined two-dimensional unit size (e.g., 50Х50) is constructed based on self-relevance elements and emotion elements, and it is desirable to construct 50 two-dimensional images for each time element. Likewise, for the vector density map, the emotion prediction unit 630 generates a vector density map composed of predetermined size units (e.g., 25Х25Х25) for each self-relevance element, emotion element, and time element in a predetermined two-dimensional unit size. It can be divided into (e.g., 25Х25) and converted into 25 two-dimensional images. At this time, a predetermined two-dimensional unit size (e.g., 25Х25) is constructed based on self-relevance elements and emotion elements, and it is desirable to construct 25 two-dimensional images for each time element.

비록, 본 개시의 일 실시예에서, 좌표밀도지도와 벡터밀도지도가 구성되는 단위 크기를 예시하고 있으나, 본 개시가 이를 한정하는 것은 아니며 본 개시의 기술분야에서 통상의 지식을 가진자에 의해 다양하게 변경될 수 있다. Although, in one embodiment of the present disclosure, the unit size of which the coordinate density map and the vector density map are composed is exemplified, the present disclosure is not limited thereto and may vary depending on the person skilled in the art. may be changed.

전술한 동작을 통해, 정서예측 수행부(630)는 좌표밀도지도 및 벡터밀도지도 중 적어도 하나를 포함하는 입력 데이터를 구성할 수 있으며, 구성된 입력 데이터를 정서 예측 학습모델에 입력할 수 있다. 입력 데이터로서 좌표밀도지도 및 벡터밀도지도를 사용할 경우, 정서예측 수행부(630)는 좌표밀도지도 및 벡터밀도지도를 동시에 병렬적으로 입력하거나 또는 우선적으로 좌표밀도지도를 입력하고, 좌표밀도지도의 입력이 완료된 후 벡터밀도지도를 입력하도록 구성될 수 있다.Through the above-described operation, the emotion prediction performing unit 630 can configure input data including at least one of a coordinate density map and a vector density map, and input the constructed input data into an emotion prediction learning model. When using a coordinate density map and a vector density map as input data, the sentiment prediction performance unit 630 inputs the coordinate density map and the vector density map in parallel at the same time or preferentially inputs the coordinate density map and It can be configured to input a vector density map after input is completed.

한편, 정서예측 수행부(630)는 정서 예측 학습모델에 의해 정서상태 정보를 검출하고, 이를 디스플레이 장치 등과 같은 출력장치를 통해 출력할 수 있다. 이때, 정서상태 정보는, 긍정 정서, 기쁨, 행복, 웰빙, 만족감 등을 포함하는 긍정 정서성(general positive affectivity) 점수, 또는 부정 정서, 우울감, 걱정, 스트레스 등을 포함하는 부정 정서성(general negative affectivity) 점수를 포함할 수 있다. Meanwhile, the emotion prediction performance unit 630 may detect emotional state information using an emotion prediction learning model and output it through an output device such as a display device. At this time, the emotional state information is a general positive affectivity score including positive emotions, joy, happiness, well-being, and satisfaction, or a general negative affectivity score including negative emotions, depression, worry, and stress. affectivity) score may be included.

나아가, 정서 예측 학습모델은 긍정 정서성 예측 모델과 부정 정서성 예측 모델을 포함할 수 있다. 이에 따라, 정서예측 수행부(630)는 긍정 정서성 예측 모델(250p)과 부정 정서성 예측 모델(250n)을 각각 사용하여, 긍정 정서성(general positive affectivity) 점수와 부정 정서성(general negative affectivity) 점수를 출력할 수 있다. Furthermore, the emotion prediction learning model may include a positive emotion prediction model and a negative emotion prediction model. Accordingly, the emotion prediction performance unit 630 uses the positive affectivity prediction model (250p) and the negative affectivity prediction model (250n), respectively, to obtain a general positive affectivity score and a general negative affectivity score. ) You can print the score.

도 7은 본 발명의 일 실시예에 따른 정서 예측 방법의 순서를 나타내는 흐름도이다.Figure 7 is a flowchart showing the sequence of an emotion prediction method according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 정서 예측 방법은 전술한 정서 예측 장치에 의해 수행될 수 있다. 정서 예측 방법을 수행하기 위하여, 정서 예측 장치는, 정서 예측 학습모델의 기초 정보가 되는 자유 연상 데이터를 획득하고, 자유 연상 데이터를 3차원의 밀도지도로 구성하여 정서 예측 학습모델에 입력하여, 사용자의 정서상태 정보를 출력할 수 있다. The sentiment prediction method according to an embodiment of the present invention can be performed by the sentiment prediction device described above. In order to perform the emotion prediction method, the emotion prediction device acquires free association data that is the basic information of the emotion prediction learning model, configures the free association data into a three-dimensional density map and inputs it into the emotion prediction learning model, Emotional state information can be output.

구체적으로, 도 6을 참조하면, 정서 예측 장치는 디스플레이 장치 등과 같은 출력장치를 통해 자유 연상 데이터의 입력을 요청하는 메시지를 표시할 수 있으며, 비입력 장치 등과 같은 입력 장치를 통해 입력되는 자유 연상 데이터를 확인하여 저장할 수 있다(S710). Specifically, referring to FIG. 6, the emotion prediction device can display a message requesting input of free association data through an output device such as a display device, and free association data input through an input device such as a non-input device. You can check and save (S710).

정서 예측 장치는 자유 연상 데이터들이 입력되는 시간 정보와, 자유 연상 데이터들의 입력 순서 등을 사용하여, 개인의 생각이 공간 안에서 어느 곳에 많이 머무는지를 나타내는 좌표밀도지도(rating density map)를 구성하고, 직전 생각에서 다음 생각으로 이동할 때 어떻게 이동하는지를 나타내는 벡터밀도지도(vector density map)를 구성할 수 있다(S720). The emotion prediction device uses information on the time when free association data is input, the input order of free association data, etc., to construct a rating density map that indicates where an individual's thoughts reside most in space, and You can construct a vector density map that shows how you move from one thought to the next (S720).

이후, 정서 예측 장치는, 정서 예측 학습모델을 사용하여 정서 예측을 수행할 수 있다. Afterwards, the emotion prediction device can perform emotion prediction using the emotion prediction learning model.

이를 위해, 정서 예측 장치는, 정서 예측 학습모델의 입력 데이터를 구성할 수 있는데, 좌표밀도지도 및 벡터밀도지도 중 적어도 하나를 입력 데이터로 구성할 수 있다. 바람직하게, 정서 예측 장치는, 좌표밀도지도 및 벡터밀도지도를 이미지 형태로 변환하여 입력 데이터를 구성하고, 이렇게 구성된 입력 데이터를 정서 예측 학습모델에 입력할 수 있다. 예컨대, 정서 예측 장치는, 자기 관련성 요소, 정서가 요소, 및 시간 요소 별로 미리 정해진 크기(예, 50Х50Х50) 단위로 구성된 좌표밀도지도를 소정의 2차원의 단위 크기(예, 50Х50)로 분할하여 50개의 2차원 이미지로 변환하고, 50개의 2차원 이미지를 정서 예측 학습모델에 순차적으로 입력할 수 있다. 이때, 소정의 2차원의 단위 크기(예, 50Х50)는 자기 관련성 요소 및 정서가 요소를 기준으로 구성되며, 각 시간 요소에 대한 50개의 2차원 이미지가 구성되는 것이 바람직하다. 마찬가지로, 정서 예측 장치는, 벡터밀도지도에 대해서도, 자기 관련성 요소, 정서가 요소, 및 시간 요소 별로 미리 정해진 크기(예, 25Х25Х25) 단위로 구성된 벡터밀도지도를 소정의 2차원의 단위 크기(예, 25Х25)로 분할하여 25개의 2차원 이미지로 변환할 수 있다. 이때, 소정의 2차원의 단위 크기(예, 25Х25)는 자기 관련성 요소 및 정서가 요소를 기준으로 구성되며, 각 시간 요소에 대한 25개의 2차원 이미지가 구성되는 것이 바람직하다. To this end, the emotion prediction device may configure input data for an emotion prediction learning model, and may configure at least one of a coordinate density map and a vector density map as input data. Preferably, the emotion prediction device configures input data by converting the coordinate density map and the vector density map into image form, and inputs the input data thus constructed into the emotion prediction learning model. For example, the emotion prediction device divides a coordinate density map composed of units of a predetermined size (e.g., 50Х50Х50) for each self-relevance element, emotion element, and time element into predetermined two-dimensional unit sizes (e.g., 50Х50) and divides them into 50 It can be converted into 2-dimensional images, and 50 2-dimensional images can be sequentially input into the emotion prediction learning model. At this time, a predetermined two-dimensional unit size (e.g., 50Х50) is constructed based on self-relevance elements and emotion elements, and it is desirable to construct 50 two-dimensional images for each time element. Likewise, for the vector density map, the sentiment prediction device constructs a vector density map composed of predetermined size units (e.g., 25Х25Х25) for each self-relevance element, emotion element, and time element into a predetermined two-dimensional unit size (e.g., It can be divided into 25Х25) and converted into 25 two-dimensional images. At this time, a predetermined two-dimensional unit size (e.g., 25Х25) is constructed based on self-relevance elements and emotion elements, and it is desirable to construct 25 two-dimensional images for each time element.

전술한 동작을 통해, 정서 예측 장치는, 좌표밀도지도 및 벡터밀도지도 중 적어도 하나를 포함하는 입력 데이터를 구성할 수 있으며, 구성된 입력 데이터를 정서 예측 학습모델에 입력할 수 있다. 입력 데이터로서 좌표밀도지도 및 벡터밀도지도를 사용할 경우, 정서 예측 장치는, 좌표밀도지도 및 벡터밀도지도를 동시에 병렬적으로 입력하거나 또는 우선적으로 좌표밀도지도를 입력하고, 좌표밀도지도의 입력이 완료된 후 벡터밀도지도를 입력하도록 구성될 수 있다.Through the above-described operation, the emotion prediction device can configure input data including at least one of a coordinate density map and a vector density map, and input the constructed input data into an emotion prediction learning model. When using a coordinate density map and a vector density map as input data, the sentiment prediction device inputs the coordinate density map and the vector density map in parallel at the same time or inputs the coordinate density map first, and inputs the coordinate density map when the input of the coordinate density map is completed. It can then be configured to input a vector density map.

한편, 정서 예측 장치는, 정서 예측 학습모델에 의해 정서상태 정보를 검출하고, 이를 디스플레이 장치 등과 같은 출력장치를 통해 출력할 수 있다. 이때, 정서상태 정보는, 긍정 정서, 기쁨, 행복, 웰빙, 만족감 등을 포함하는 긍정 정서성(general positive affectivity) 점수, 또는 부정 정서, 우울감, 걱정, 스트레스 등을 포함하는 부정 정서성(general negative affectivity) 점수를 포함할 수 있다. Meanwhile, the emotion prediction device can detect emotional state information using an emotion prediction learning model and output it through an output device such as a display device. At this time, the emotional state information is a general positive affectivity score including positive emotions, joy, happiness, well-being, and satisfaction, or a general negative affectivity score including negative emotions, depression, worry, and stress. affectivity) score may be included.

나아가, 정서 예측 학습모델은 긍정 정서성 예측 모델과 부정 정서성 예측 모델을 포함할 수 있다. 이에 따라, 정서 예측 장치는, 긍정 정서성 예측 모델(250p)과 부정 정서성 예측 모델(250n)을 각각 사용하여, 긍정 정서성(general positive affectivity) 점수와 부정 정서성(general negative affectivity) 점수를 산출하여 제공할 수 있다. Furthermore, the emotion prediction learning model may include a positive emotion prediction model and a negative emotion prediction model. Accordingly, the emotion prediction device uses a positive affectivity prediction model (250p) and a negative affectivity prediction model (250n), respectively, to calculate the general positive affectivity score and the general negative affectivity score. It can be calculated and provided.

한편, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 실행하게 하는 명령어들을 저장하기 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은: 적어도 하나의 사용자에 의해 입력되는 복수의 자유 연상 데이터를 확인하는 단계와, 상기 복수의 자유 연상 데이터를 기반으로 하고, 자기 관련성(Self-relevance) 요소, 정서가(Valence) 요소, 및 시간 요소 사이의 관계를 나타내는 3차원 밀도지도를 구성하는 단계와, 상기 3차원 밀도지도를 입력받고, 상기 적어도 하나의 사용자의 정서 상태 정보를 출력하도록 상기 학습모델을 학습시키는 단계를 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체가 제공될 수 있다. Meanwhile, a non-transitory computer-readable storage medium for storing instructions that, when executed by a processor, cause the processor to execute a method, the method comprising: identifying a plurality of free association data input by at least one user; A step of constructing a three-dimensional density map based on the plurality of free association data and representing the relationship between self-relevance elements, valence elements, and time elements; A non-transitory computer-readable storage medium may be provided, including the step of receiving a 3D density map and training the learning model to output emotional state information of the at least one user.

다른 예로서, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 방법을 실행하게 하는 명령어들을 저장하기 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 방법은: 사용자에 의해 입력되는 복수의 자유 연상 데이터를 확인하는 단계와, 상기 복수의 자유 연상 데이터를 기반으로 하고, 자기 관련성(Self-relevance) 요소, 정서가(Valence) 요소, 및 시간 요소 사이의 관계를 나타내는 3차원 밀도지도를 구성하는 단계와, 적어도 하나의 사용자의 정서 상태를 출력하도록 기 학습된 학습모델에, 상기 3차원 밀도지도를 입력하고, 상기 기 학습된 학습모델에 의해 출력되는 상기 사용자의 정서 상태를 확인하는 단계를 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체가 제공될 수 있다. As another example, a non-transitory computer-readable storage medium for storing instructions that, when executed by a processor, cause the processor to execute a method, the method comprising: identifying a plurality of free association data entered by a user; At least one step of constructing a three-dimensional density map based on the plurality of free association data and representing the relationship between a self-relevance element, a valence element, and a time element; A non-transitory computer comprising the step of inputting the 3D density map into a pre-trained learning model to output the user's emotional state, and confirming the user's emotional state output by the pre-trained learning model. A readable storage medium may be provided.

한편, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다. Meanwhile, according to an embodiment of the present invention, the various embodiments described above are implemented as software including instructions stored in a machine-readable storage media (e.g., a computer). It can be. The device is a device capable of calling instructions stored from a storage medium and operating according to the called instructions, and may include an electronic device (eg, electronic device A) according to the disclosed embodiments. When an instruction is executed by a processor, the processor may perform the function corresponding to the instruction directly or using other components under the control of the processor. Instructions may contain code generated or executed by a compiler or interpreter. A storage medium that can be read by a device may be provided in the form of a non-transitory storage medium. Here, 'non-transitory' only means that the storage medium does not contain signals and is tangible, and does not distinguish whether the data is stored semi-permanently or temporarily in the storage medium.

또한, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.Additionally, according to an embodiment of the present invention, the method according to the various embodiments described above may be provided and included in a computer program product. Computer program products are commodities and can be traded between sellers and buyers. The computer program product may be distributed on a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or online through an application store (e.g. Play Store™). In the case of online distribution, at least a portion of the computer program product may be at least temporarily stored or created temporarily in a storage medium such as the memory of a manufacturer's server, an application store's server, or a relay server.

또한, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.In addition, according to an embodiment of the present invention, the various embodiments described above are stored in a recording medium that can be read by a computer or similar device using software, hardware, or a combination thereof. It can be implemented in . In some cases, embodiments described herein may be implemented in a processor itself. According to software implementation, embodiments such as procedures and functions described in this specification may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein.

한편, 상술한 다양한 실시예들에 따른 기기의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시예에 따른 기기에서의 처리 동작을 특정 기기가 수행하도록 한다. 비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.Meanwhile, computer instructions for performing processing operations of devices according to the various embodiments described above may be stored in a non-transitory computer-readable medium. Computer instructions stored in such a non-transitory computer-readable medium, when executed by a processor of a specific device, cause the specific device to perform processing operations in the device according to the various embodiments described above. A non-transitory computer-readable medium refers to a medium that stores data semi-permanently and can be read by a device, rather than a medium that stores data for a short period of time, such as registers, caches, and memories. Specific examples of non-transitory computer-readable media may include CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, etc.

또한, 상술한 다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.In addition, each component (e.g., module or program) according to the various embodiments described above may be composed of a single or multiple entities, and some of the sub-components described above may be omitted, or other sub-components may be omitted. Sub-components may be further included in various embodiments. Alternatively or additionally, some components (e.g., modules or programs) may be integrated into a single entity and perform the same or similar functions performed by each corresponding component prior to integration. According to various embodiments, operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or at least some operations may be executed in a different order, omitted, or other operations may be added. It can be.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되서는 안될 것이다.In the above, preferred embodiments of the present invention have been shown and described, but the present invention is not limited to the specific embodiments described above, and may be used in the technical field pertinent to the disclosure without departing from the gist of the present invention as claimed in the claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be understood individually from the technical idea or perspective of the present invention.

Claims

In the method of building a learning model through machine learning,
confirming a plurality of free association data input by at least one user;
Constructing a three-dimensional density map based on the plurality of free association data and representing the relationship between self-relevance elements, valence elements, and time elements;
Comprising the step of receiving the 3D density map as input and training the learning model to output emotional state information of the at least one user,
Emotion prediction learning method.

According to paragraph 1,
The step of training the learning model is,
Inputting the 3D density map into the learning model;
Comprising the step of training the learning model to output emotional state information of the at least one user corresponding to the 3D density map,
The emotional state information of the at least one user is:
Containing at least one of information quantifying positive emotions and information quantifying negative emotions,
Emotion prediction learning method.

According to paragraph 1,
The learning model is,
As the emotional state information of the at least one user, a positive emotion learning model learned to output information that quantifies the positive emotion, and as the emotional state information of the at least one user, output information that quantifies the negative emotion. Among the negative emotion learning models learned to do, including at least one,
Emotion prediction learning method.

According to paragraph 2,
The step of inputting the 3D density map into the learning model is,
Constructing a three-dimensional density map of the self-relevance elements, emotion elements, and time elements with a plurality of two-dimensional images composed of the self-relevance elements and emotion elements;
Including inputting the plurality of two-dimensional images into the learning model,
Emotion prediction learning method.

According to paragraph 4,
The step of inputting the plurality of two-dimensional images into the learning model is:
Comprising the step of sequentially inputting the plurality of two-dimensional images into the learning model according to the time element,
Emotion prediction learning method.

According to paragraph 4,
The step of constructing the 3D density map is,
Representing the plurality of free association data in a three-dimensional space of the self-relevance element, emotion element, and time element, and constructing a coordinate density map for the plurality of free association data represented in the three-dimensional space. containing,
Emotion prediction learning method.

According to paragraph 4,
The step of constructing the coordinate density map is,
Convolution of a plurality of free association data represented in the three-dimensional space into a matrix of a spherical kernel with a predetermined radius size, and a matrix of a three-dimensional Gaussian kernel with a predetermined standard deviation size. Smoothing to construct a coordinate density map of the predetermined first unit size,
Emotion prediction learning method.

According to paragraph 4 or 7,
The step of constructing the 3D density map is,
The plurality of free association data are represented in a three-dimensional space of the self-relevance element, the emotion element, and the time element, and are composed of a plurality of vectors according to the order in which the plurality of free association data are input, and the plurality of vectors Including the step of constructing a vector density map for,
Emotion prediction learning method.

According to clause 8,
The step of constructing the vector density map is,
The plurality of vectors are moved to have the same origin, the plurality of vectors whose origins have been moved are convolved into a matrix of a spherical kernel with a predetermined radius, and a three-dimensional Gaussian with a predetermined standard deviation size is generated. Constructing a vector density map of a predetermined second unit size by smoothing with a Gaussian kernel matrix,
Emotion prediction learning method.

According to clause 8,
The step of inputting the 3D density map into the learning model is,
Inputting at least one of the three-dimensional coordinate density map and the three-dimensional vector density map,
Emotion prediction learning method.

In a method of predicting an emotional state using a learning model built through machine learning,
Confirming a plurality of free association data input by the user;
Constructing a three-dimensional density map based on the plurality of free association data and representing the relationship between self-relevance elements, valence elements, and time elements;
Inputting the 3D density map into a learning model that has been previously trained to output the emotional state of at least one user, and confirming the user's emotional state output by the pre-trained learning model,
A method for predicting emotional states.

According to clause 11,
The step of checking the emotional state of the user is,
Constructing a three-dimensional density map of the self-relevance elements, emotion elements, and time elements with a plurality of two-dimensional images composed of the self-relevance elements and emotion elements;
Including inputting the plurality of two-dimensional images into the learning model,
A method for predicting emotional states.

According to clause 12,
The step of inputting the plurality of two-dimensional images into the learning model is:
Comprising the step of sequentially inputting the plurality of two-dimensional images into the learning model according to the time element,
A method for predicting emotional states.

According to clause 11,
The step of constructing the 3D density map is,
Representing the plurality of free association data in a three-dimensional space of the self-relevance element, emotion element, and time element, and constructing a coordinate density map for the plurality of free association data represented in the three-dimensional space. containing,
A method for predicting emotional states.

According to clause 14,
The step of constructing the coordinate density map is,
Convolution of a plurality of free association data represented in the three-dimensional space into a matrix of a spherical kernel with a predetermined radius size, and a matrix of a three-dimensional Gaussian kernel with a predetermined standard deviation size. Smoothing to construct a coordinate density map of the predetermined first unit size,
A method for predicting emotional states.

According to claim 11 or 14,
The step of constructing the 3D density map is,
The plurality of free association data is represented in a three-dimensional space of the self-relevance element, the emotion element, and the time element, and is composed of a plurality of vectors according to the order in which the plurality of free association data are input, and the plurality of vectors Including the step of constructing a vector density map for,
A method for predicting emotional states.

According to clause 16,
The step of constructing the vector density map is,
The plurality of vectors are moved to have the same origin, the plurality of vectors whose origins have been moved are convolved into a matrix of a spherical kernel with a predetermined radius, and a three-dimensional Gaussian with a predetermined standard deviation size is generated. Constructing a vector density map of a predetermined second size unit by smoothing with a Gaussian kernel matrix,
A method for predicting emotional states.

According to clause 17,
The step of checking the emotional state of the user is,
Inputting at least one of the three-dimensional coordinate density map and the three-dimensional vector density map,
A method for predicting emotional states.

According to clause 11,
The learning model is,
The 3D density map is input to the learning model, and the machine learning model is pre-trained to output emotional state information of the at least one user corresponding to the 3D density map,
The emotional state information of the at least one user is:
Containing at least one of information quantifying positive emotions and information quantifying negative emotions,
A method for predicting emotional states.

According to clause 11,
The learning model is,
As the emotional state information of the at least one user, a positive emotion learning model learned to output information that quantifies the positive emotion, and as the emotional state information of the at least one user, output information that quantifies the negative emotion. Among the negative emotion learning models learned to do, including at least one,
A method for predicting emotional states.

In a device that builds a learning model through machine learning,
storage media,
Includes a processor,
The processor,
Identifying a plurality of free association data entered by at least one user,
Based on the plurality of free association data, a three-dimensional density map representing the relationship between self-relevance elements, valence elements, and time elements is constructed,
Receiving the 3D density map as input and training the learning model to output emotional state information of the at least one user,
A learning device for learning models for emotion prediction.

In a device that predicts emotional state using a learning model built through machine learning,
storage media,
Includes a processor,
The processor,
Confirm a plurality of free association data entered by the user,
Based on the plurality of free association data, a three-dimensional density map representing the relationship between self-relevance elements, valence elements, and time elements is constructed,
Inputting the 3D density map into a learning model that has been previously trained to output the emotional state of at least one user, and confirming the emotional state of the user output by the previously learned learning model,
Emotional state prediction device.

A computer-readable recording medium storing a computer program,
When the computer program is executed by a processor,
confirming a plurality of free association data input by at least one user;
Constructing a three-dimensional density map based on the plurality of free association data and representing the relationship between self-relevance elements, valence elements, and time elements;
Containing instructions for causing a processor to perform an emotion prediction learning method including the step of receiving the 3D density map and training the learning model to output the emotional state of the at least one user,
A computer-readable recording medium.

A computer-readable recording medium storing a computer program,
When the computer program is executed by a processor,
Confirming a plurality of free association data input by the user;
Constructing a three-dimensional density map based on the plurality of free association data and representing the relationship between self-relevance elements, valence elements, and time elements;
An emotional state comprising the step of inputting the 3D density map into a learning model pre-trained to output the emotional state of at least one user, and confirming the emotional state of the user output by the pre-trained learning model. Containing instructions for causing a processor to perform a prediction method,
A computer-readable recording medium.

A computer program stored on a computer-readable recording medium,
When the computer program is executed by a processor,
confirming a plurality of free association data input by at least one user;
Constructing a three-dimensional density map based on the plurality of free association data and representing the relationship between self-relevance elements, valence elements, and time elements;
Containing instructions for causing the processor to perform an emotion prediction learning method including the step of receiving the 3D density map and training the learning model to output the emotional state of the at least one user.
computer program.

A computer program stored on a computer-readable recording medium,
When the computer program is executed by a processor,
Confirming a plurality of free association data input by the user;
Constructing a three-dimensional density map based on the plurality of free association data and representing the relationship between self-relevance elements, valence elements, and time elements;
An emotional state comprising the step of inputting the 3D density map into a learning model pre-trained to output the emotional state of at least one user, and confirming the emotional state of the user output by the pre-trained learning model. Containing instructions for causing the processor to perform a prediction method,
computer program.