WO2016163565A1 - 멀티모달 다중 에이전트 기반의 감정 통신 시스템 - Google Patents

멀티모달 다중 에이전트 기반의 감정 통신 시스템 Download PDF

Info

Publication number
WO2016163565A1
WO2016163565A1 PCT/KR2015/003396 KR2015003396W WO2016163565A1 WO 2016163565 A1 WO2016163565 A1 WO 2016163565A1 KR 2015003396 W KR2015003396 W KR 2015003396W WO 2016163565 A1 WO2016163565 A1 WO 2016163565A1
Authority
WO
WIPO (PCT)
Prior art keywords
emotion
modal
expression
agent
code
Prior art date
Application number
PCT/KR2015/003396
Other languages
English (en)
French (fr)
Inventor
강민구
김인기
Original Assignee
한신대학교 산학협력단
주식회사 큐버
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한신대학교 산학협력단, 주식회사 큐버 filed Critical 한신대학교 산학협력단
Publication of WO2016163565A1 publication Critical patent/WO2016163565A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations

Definitions

  • the present invention generally relates to a technique for identifying and expressing the sender's emotion to the receiver when communicating over a network.
  • the present invention is to recognize the sender's feelings through the various types of multi-modal input device in the transfer of information through the network, and then to deliver them to the digital code to the receiver through the various types of multi-modal output device
  • the present invention relates to a technology for building a smart media platform that operates by expressing and matching the sender's emotion.
  • the mobile communication network can transmit data of approximately 300 Mbps, and the wired / wireless LAN has Gigabit communication.
  • An object of the present invention is generally to provide a technique for identifying and expressing a sender's feelings to a receiver when communicating over a network.
  • an object of the present invention is to recognize the sender's emotions through various types of multi-modal input device in the transfer of information through the network, and then to express them to the receiver through various types of multi-modal output device. It provides technology to build a smart media platform that operates to match the sender's emotion by giving it.
  • the present invention obtains emotion information including an emotion word and an emotion form of a sender from a multi-modal input device, classifies emotion information according to a preset emotion coding policy, and sets an emotion code corresponding thereto.
  • Multimodal emotion classification agent 100 A multi-modal interaction agent 200 expressing the sender's emotion through the five senses of the receiver by controlling the multi-modal output device to correspond to the emotion code according to a preset emotion expression policy;
  • a reactor-based machine learning agent 300 that modifies one or more of an emotion coding policy and an emotion expression policy to identify and match user responses to emotion expressions provided by the multimodal interaction agent.
  • the multi-modal emotion classification agent 100 includes: an input device management module 110 for managing the multi-modal input device to obtain emotion information on the caller; An emotion word identification module 120 for identifying an emotion word which is text representing emotions of a caller from emotion information; An emotion word classification module 130 for classifying the emotion word according to a predetermined emotion expression character criterion; An emotion form identification module 140 for identifying an emotion form that is an image representing the caller's emotion from emotion information; An emotion type classification module 150 for classifying the emotion type according to a preset emotion expression type criterion; An emotion code assignment module 160 for assigning an emotion code based on a classification result of the emotion word and the emotion form; It may be configured to include; emotion code delivery module 170 for transmitting the emotion code to the receiver through the network.
  • the emotion word identification module 120 extracts a text element from emotion information and then identifies an emotion word which is a word related to human emotion through natural language search, and the emotion form identification module 140 extracts an image element from emotion information. After that, one or more of an emoticon, an avatar, a face, and an action are identified to identify an emotion form that is related to human emotion.
  • the multi-modal interaction agent 200 includes an emotion code receiving module 210 for receiving an emotion code through a network; An output device management module 220 for managing a multi-modal output device for emotion expression; A multi-modal determination module 230 for identifying a type of the multi-modal output device and setting a multi-modal output pattern for controlling the multi-modal output device to correspond to the value of the emotion code; And an emotion expression control module 240 for controlling the multi-modal output device according to the multi-modal output pattern.
  • the user response identification module for identifying a user response to the emotional expression provided by the multi-modal interaction agent 310;
  • a user satisfaction analysis module 320 analyzing the satisfaction from the user response;
  • a code change determination module 330 for generating coding policy change data for modifying an emotion coding policy to match user response and satisfaction;
  • a code change feedback module 340 for transmitting the coding policy change data to the multimodal emotion classification agent;
  • An expression change determination module 350 for generating expression policy change data for modifying the emotion expression policy to match the user response and satisfaction;
  • Representation change feedback module 360 for transmitting the expression policy change data to the multi-modal interaction agent, and comprises a multi-modal emotion classification agent 100 according to the coding policy change data provided from the reactor-based machine learning agent
  • Code change reflecting module 180 for modifying the policy is configured to include, the multi-modal interaction agent 200 is a expression change reflecting module for modifying the emotion expression policy according to the expression policy change data provided from the reactor-based machine learning agent 250 may be configured to further include.
  • the multi-modal interaction agent 200 analyzes a plurality of emotion codes transmitted from the multi-modal emotion classification agent, and when connectivity is identified, synchronizes a plurality of multi-modal output patterns corresponding to the plurality of emotion codes to maintain an emotion transfer session. It may be configured to include a multi-modal session maintenance module 260.
  • a high-quality human-computer interaction in which several UX elements are fused is realized by accurately identifying and expressing the emotions of a person through various multi-modal input devices in a smart media platform.
  • HCI human-computer interaction
  • the present invention it is possible to improve the level and diversity of the information delivery service, thereby improving user satisfaction and designing a high-level information delivery service, thereby creating high added value.
  • FIG. 1 is a view showing the overall configuration of a multi-modal multi-agent emotional communication system according to the present invention.
  • Figure 2 is a flow chart showing the overall process performed by the emotional communication system in the present invention.
  • Figure 3 is a block diagram showing the internal functional configuration of a multi-modal emotional classification agent in the present invention.
  • Figure 4 is a block diagram showing the internal functional configuration of a multi-modal interaction agent in the present invention.
  • Figure 5 is a block diagram showing the internal functional configuration of the reactor half machine learning agent in the present invention.
  • FIG. 6 is a diagram showing an example of an emotion classification system suitable for the present invention.
  • FIG. 9 is a diagram showing an example of an emotion code encoding used in the present invention.
  • FIGS. 1 and 2 are views showing the overall configuration of a multi-modal multi-agent emotional communication system according to the present invention
  • Figure 2 is a flow chart showing the overall process performed by the emotional communication system in the present invention.
  • the operation of the emotional communication system according to the present invention will be described with reference to FIGS. 1 and 2.
  • 'multimodal' is a term representing a human interface method using several user input / output devices together. Take advantage.
  • 'emotion' and 'emotion' may be used in a subtle manner, and in the present specification, this is collectively referred to as 'sentiment'.
  • the emotion communication system includes a plurality of multimodal input devices 10, a multimodal emotion classification agent 100, a multimodal interaction agent 200, and a plurality of multimodal output devices 20. ), A reaction feedback device 30, and a reactor half machine learning agent 300.
  • the multi-modal input device 10 is a device for collecting a variety of data for the caller.
  • the multi-modal input device 10 may include a microphone, a camera, a keyboard, an electronic pen, a remote controller, a touch panel, and the like, and various devices capable of collecting voice, music, video, personal data, and emoticon images.
  • an electronic pen or a touch panel is for inputting emoticons, texts, pictures, and the like by handwriting.
  • the multi-modal output device 20 is a device that can express the emotions of the sender to the receiver through human five senses, such as sound, lighting, and smell.
  • the multi-modal emotion classification agent 100 obtains emotion information related to the caller from the multi-modal input device 10, classifies it, and sets an emotion code corresponding thereto.
  • the emotion information includes an emotion word as a text element and an emotion form as an image element.
  • the user's voice may be mapped to the text element through natural language processing.
  • the classification of the emotion information and the setting of the emotion code are performed according to a preset emotion coding policy.
  • Figure 6 is obtained from the search results for the 'emotion classification' on the Google site as an example of the emotion classification system suitable for the present invention.
  • English is classified in the form of an emotion wheel as shown in FIG. 6, and Korean (Korean) is classified in the form of a table as shown in FIG. 9, but the present invention is not particularly limited in this regard.
  • FIGS. 7 and 8 are diagrams showing examples of emotion types suitable for use in the present invention.
  • FIG. 7 is an image of an emotion form used as an emoticon in a social network service (SNS)
  • FIG. 8 is an image of a human expression related to an emotion presented by Professor Paul Ekman.
  • the emotion may be classified by comparing and matching image-based data (eg, a photo, an image, an emoticon, an avatar, etc.) collected from the multi-modal input device 10 with a standard image as shown in FIG. 7 or 8.
  • FIG. 9 is a diagram illustrating an example of an emotion code encoding used in the present invention.
  • the classification result of the sender emotion is encoded into a digital value, which is referred to herein as a 'sentiment code'.
  • FIG. 9 is an embodiment in which emotions are classified by dividing the sender's emotion into four major categories and each of the five major categories. The fields of two and three bits are allocated to each of the major and minor categories, respectively. The emotions were evaluated by dividing the intensity and intensity into 3 bits (ie, 8 levels).
  • the emotion code encoding may be performed by allocating 3 bits, 3 bits, and 2 bits to each of the three major classifications, the small classifications, and the fine classifications in a direction away from the center of the circle. According to this rule, each emotion classification result is derived as indicated by 'emotion code encoding' in the right column of FIG. In the emotion classification system of FIG. 6, an emotion code encoding result may be obtained in a similar manner.
  • the emotion code encoding of FIG. 9 is designed to correspond to a bright emotion of a human being as the value thereof is larger and to correspond to a dark emotion of a human being as the value thereof is smaller. It is preferable for emotion expression to machine learning that emotion code encoding has such regularity.
  • the multimodal interaction agent 200 When the multimodal interaction agent 200 receives the emotion code from the multimodal emotion classification agent 100, the multimodal interaction agent 200 controls the multimodal output device 20 to correspond to the emotion code according to a preset emotion expression policy. This allows the receiver to identify the sender's feelings through the five senses.
  • the multi-modal interaction agent 200 provides a session maintenance function for the various devices to express the emotions by continuously connecting the multi-modal interactions without disconnecting the session while the various smart devices express the emotions.
  • Response feedback device 30 is a means for detecting the response of the receiver to the above emotional expression. After confirming the information content, the receiver can make an evaluation of the emotional expression in the light of the information content, and the reaction feedback device 30 is provided to receive the evaluation. In other words, evaluation is provided on how satisfied the emotional expression is, whether the emotional expression is excessive or too weak, or whether the selection of the expression method or the expression means is appropriate.
  • emotion classification and expression Since people's temperaments and personalities vary, it is desirable to optimize emotion classification and expression. Therefore, it is possible to optimize the emotion classification policy for the sender by having the recipient with some information on the sender evaluate the emotion classification. Similarly, emotion expression policies can be optimized for the sender or recipient.
  • the reactor-based machine learning agent 300 changes the emotion expression method by modifying at least one of an emotion coding policy and an emotion expression policy to identify and match a user response to the emotion expression provided by the multimodal interaction agent 200.
  • the smart platform according to the present invention modifies the emotion recognition method and the emotion classification method so that the emotion expression method is automatically changed according to the user preference of the emotion transfer smart device, and the environment of the emotion expression method is also changed based on the user response.
  • the multi-modal emotion classification agent 100 obtains emotion information including the sender's emotion word and emotion type from the multi-modal input device 10, classifies the emotion information according to a preset emotion coding policy, and corresponds to the emotion information.
  • Functional module to set the emotion code.
  • the multimodal emotion classification agent 100 includes an input device management module 110, an emotion word identification module 120, an emotion word classification module 130, an emotion type identification module 140, and an emotion. It is configured to include a form classification module 150, emotion code assignment module 160, emotion code delivery module 170, code change reflection module 180.
  • the input device management module 110 manages the multi-modal input device 10 to obtain emotion information about the caller in the form of voice, music, video, personal data, and emoticon image.
  • the emotion word identification module 120 identifies an emotion word, which is text representing the sender's emotion, from the emotion information. That is, after extracting a text element from various types of emotion information, a natural language search is used to identify, for example, an emotion word registered in advance as a word related to human emotion.
  • the emotion word classification module 130 classifies the emotion word according to a predetermined emotion expression character criterion.
  • the emotion wheel of FIG. 6 or the emotion table of FIG. 9 may be used as a classification criteria of the emotion word.
  • emotion words may be classified through snippet estimation or experimental corpus, and a method of comparing emotion words registered in advance for each emotion classification item may be possible.
  • the emotion form identification module 140 identifies the emotion form, which is an image representing the caller's emotion, from the emotion information. That is, after extracting an image element from various types of emotion information, an emotion form that is related to human emotion is identified by matching one or more of an emoticon, an avatar, a face, and an action.
  • the emotion type classification module 150 classifies the emotion types according to a preset emotion expression type criterion.
  • the emotion wheel of FIG. 6 or the emotion table of FIG. 9 can be used well for classification of emotion types.
  • Emotions may be classified by comparing and matching the image-based emotion form data (eg, a photo, an image, an emoticon, an avatar, etc.) derived by the emotion form identification module 140 with a standard image as shown in FIG. 7 or 8.
  • the emotion code assignment module 160 allocates the emotion code according to the emotion coding policy based on the classification result of the emotion word and the emotion type.
  • the allocation of the emotion code that is, the emotion code encoding has been described above with reference to FIGS. 6 and 9.
  • the emotion code delivery module 170 delivers the emotion code encoded by the emotion code assignment module 160 to the receiver through a network.
  • the sender inserts and inserts into data such as a text message, a multimedia message, a video, a picture, a voice, etc., which the sender originally requested.
  • the code change reflecting module 180 finely adjusts the emotion coding policy in order to optimize the user. If the coding policy change data is provided from the reactor-based machine learning agent 300 based on the user response, the code change reflecting module 180 modifies the emotion coding policy accordingly.
  • the multi-modal interaction agent 200 controls the multi-modal output device 20 to correspond to the emotion code of the sender according to a preset emotion expression policy to express the emotion of the caller through the five senses. It is a functional module.
  • the multimodal interaction agent 200 may include an emotion code receiving module 210, an output device management module 220, a multimodal determination module 230, an emotion expression control module 240, and an expression change. It is configured to include a reflection module 250, a multi-modal session maintenance module 260.
  • the emotion code receiving module 210 receives an emotion code transmitted by the multi-modal emotion classification agent 100 through a network.
  • the output device management module 220 manages the multi-modal output device 20 for performing the emotional expression through the five senses.
  • the multi-modal determination module 230 identifies a type of the multi-modal output device 20 and sets a multi-modal output pattern for controlling the multi-modal output device 20 to correspond to the value of the emotion code. That is, when the emotion code is provided from the sender side, what is currently available multi-modal output device 20 is determined, how to use them to express the emotion code. In this case, it is preferable to consider information obtained from an emotion code, for example, whether it is a good or bad emotion, and whether it is an intense emotion or a calm emotion.
  • the emotion expression control module 240 controls the multi-modal output device 20 according to the multi-modal output pattern generated by the multi-modal determination module 230. In this way, the sender's feelings are expressed to the receiver through the five senses.
  • the expression change reflecting module 250 finely adjusts the emotion expression policy in order to optimize the user.
  • the expression change reflecting module 250 modifies the emotion expression policy accordingly.
  • the multi-modal session maintenance module 260 analyzes a plurality of emotion codes sequentially transmitted from the multi-modal emotion classification agent 100, and when connectivity is identified, synchronizes a plurality of multi-modal output patterns corresponding to the plurality of emotion codes. Maintain the delivery session. That is, the multi-modal interaction is continuously processed so that various smart devices do not lose connectivity while expressing emotions, so that the multi-modal output device 20 synchronizes the emotion expression.
  • FIG. 5 is a block diagram showing the internal functional configuration of the reactor half machine learning agent 300 in the present invention.
  • the reactor-based machine learning agent 300 is configured to identify and match a user's response to the emotion expression provided by the multi-modal interaction agent 200 through the reaction feedback device 30 and to match it. It is a functional module that modifies one or more.
  • the reactor-based machine learning agent 300 may include a user response identification module 310, a user satisfaction analysis module 320, a code change determination module 330, a code change feedback module 340, and an expression. It is configured to include a change determination module 350, the expression change feedback module 360.
  • the user response identification module 310 identifies a user response to the emotional expression provided by the multimodal interaction agent 200 through the response feedback device 30.
  • the response feedback device 30 typically implemented in the form of software that requests a response input through the application of the smartphone.
  • the user satisfaction analysis module 320 analyzes the satisfaction from the user response. For example, based on the user's response, it is analyzed whether the emotion classification was appropriate, whether the emotional expression was satisfactory, whether the emotional expression was excessive or too weak, and whether the selection of the expression method or the expression means was appropriate.
  • the code change determination module 330 generates coding policy change data for modifying the emotion coding policy to match the result of the user response and satisfaction analysis. For example, if the emotion classification was not appropriate, modify the emotion word or analysis algorithm or registered word of the emotion type. Also, if the emotional expression is excessive or too weak, modify the contrast code for that emotion.
  • the code change feedback module 340 transmits the coding policy change data generated by the code change determination module 330 to the multimodal emotion classification agent 100. Through this, the code change reflection module 180 of the multi-modal emotion classification agent 100 may finely adjust the emotion coding policy to optimize the user.
  • the expression change determination module 350 generates expression policy change data for modifying the emotion expression policy to match the result of the user response and satisfaction analysis. For example, if the manner or means of expressing emotion is unsatisfactory, the type or combination of the multimodal output device 20 is corrected.
  • the expression change feedback module 360 transmits the expression policy change data generated by the expression change determination module 350 to the multimodal interaction agent 200. Through this, the expression change reflection module 250 of the multi-modal interaction agent 200 may finely adjust the emotion expression policy to optimize the user.
  • the present invention can be implemented in the form of program code that the computer can execute the above process, the program code is stored in a computer-readable recording medium.
  • recording media include all kinds of recording devices for storing digital data, such as ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, etc., and carrier waves (e.g. transmission over the Internet). It also includes the implementation in the form of.
  • Program code may be stored and executed in a distributed fashion on networked computer systems.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 네트워크를 통하여 정보를 전달함에 있어서 다양한 형태의 멀티모달 입력기기를 통해 발신자의 감정을 인식한 후에 이를 디지털 코드로 전달하면 이를 다양한 형태의 멀티모달 출력기기를 통해 수신자에게 표현해줌으로써 발신자의 감정에 합치되도록 동작하는 스마트 미디어 플랫폼을 구축하는 기술에 관한 것이다. 본 발명에 의하면 스마트 미디어 플랫폼에서 다양한 멀티모달 입력기기를 통해 사람의 감정을 정확하게 식별하여 상대방에게 표현해줌으로써 여러 UX 요소가 융합된 고품질의 HCI를 구현할 수 있으며 이를 통해 UX의 상호작용을 높일 수 있는 장점이 있다.

Description

멀티모달 다중 에이전트 기반의 감정 통신 시스템
본 발명은 일반적으로 네트워크를 통하여 통신을 수행할 때 발신자의 감정을 식별하여 수신자에게 표현해주는 기술에 관한 것이다.
더욱 상세하게는, 본 발명은 네트워크를 통하여 정보를 전달함에 있어서 다양한 형태의 멀티모달 입력기기를 통해 발신자의 감정을 인식한 후에 이를 디지털 코드로 전달하면 이를 다양한 형태의 멀티모달 출력기기를 통해 수신자에게 표현해줌으로써 발신자의 감정에 합치되도록 동작하는 스마트 미디어 플랫폼을 구축하는 기술에 관한 것이다.
종래로부터 이동통신망이나 인터넷을 통해 사람들 사이에 문자메세지, 멀티미디어 메세지, 영상, 사진, 음성 등과 같은 각종의 정보를 전달하는 기술이 제공되어 있었다.
지금까지는 이러한 정보전달 기술에 대해 발신자가 입력하는 데이터 객체를 손실없이 빠르게 전달하는 것이 주요 과제가 되어 왔다. 그에 따라, 이제는 상당히 대용량의 데이터라도 고속으로 전달하는 것이 가능해졌으며 영상전화 등의 서비스도 이용 가능하다. 이동통신망으로는 대략 300 Mbps의 데이터 전송이 가능하고 유무선 랜으로는 기가비트 통신이 구현되었다.
하지만, 종래에는 양 사용자 간에 단순히 데이터를 전송하는 기초적인 수준을 벗어나지 못하는 문제점이 있었다.
이처럼 정보전달의 수준이 단순함으로 인해 정보 전달과 관련하여 부가가치가 높은 고차원의 서비스를 개발하는 데에도 어려움이 많았고, 특히 수신자가 운전, 미팅, 화장실, 샤워 중인 것과 같이 지금 당장 정보를 확인하기가 곤란한 상황에서 정보를 전달받았을 때, 지금 하던 일을 즉시 중단하고 정보를 확인해야 할지 아니면 일단 일을 마무리한 후에 나중에 정보를 확인하는 것이 좋을지 판단하기가 곤란한 문제점이 있었다.
그에 따라, 정보 전달에 있어서 발신자의 감정을 수신자에게 표현해줌으로써 서비스의 품질 및 차원을 높이고 수신자로서는 현재 상황을 정확하게 판단할 수 있도록 해줄수 있는 기술의 개발이 요망되었다.
본 발명의 목적은 일반적으로 네트워크를 통하여 통신을 수행할 때 발신자의 감정을 식별하여 수신자에게 표현해주는 기술을 제공하는 것이다.
특히, 본 발명의 목적은 네트워크를 통하여 정보를 전달함에 있어서 다양한 형태의 멀티모달 입력기기를 통해 발신자의 감정을 인식한 후에 이를 디지털 코드로 전달하면 이를 다양한 형태의 멀티모달 출력기기를 통해 수신자에게 표현해줌으로써 발신자의 감정에 합치되도록 동작하는 스마트 미디어 플랫폼을 구축하는 기술을 제공하는 것이다.
상기의 목적을 달성하기 위한 본 발명은 멀티모달 입력기기로부터 발신자의 감정워드 및 감정형태를 포함하는 감정 정보를 획득하고 미리 설정된 감정코딩 정책에 따라 감정 정보를 분류하여 그에 대응하는 감정코드를 설정하는 멀티모달 감정분류 에이전트(100); 미리 설정된 감정표현 정책에 따라 감정코드에 대응하도록 멀티모달 출력기기를 제어함으로써 발신자의 감정을 수신자의 오감을 통해 표현하는 멀티모달 인터랙션 에이전트(200); 멀티모달 인터랙션 에이전트가 제공하는 감정 표현에 대한 사용자 반응을 식별하고 이에 정합하도록 감정코딩 정책과 감정표현 정책 중 하나 이상을 수정하는 반응기반 머신러닝 에이전트(300);를 포함하여 구성된다.
본 발명에서 멀티모달 감정분류 에이전트(100)는, 멀티모달 입력기기를 관리하여 발신자에 대한 감정 정보를 획득하는 입력기기 관리모듈(110); 감정 정보로부터 발신자의 감정을 나타내는 텍스트인 감정워드를 식별하는 감정워드 식별모듈(120); 감정워드를 미리 설정된 감정표현 문자 기준에 따라 분류하는 감정워드 분류모듈(130); 감정 정보로부터 발신자의 감정을 나타내는 이미지인 감정형태를 식별하는 감정형태 식별모듈(140); 감정형태를 미리 설정된 감정표현 형태 기준에 따라 분류하는 감정형태 분류모듈(150); 감정워드와 감정형태의 분류 결과에 기초하여 감정코드를 할당하는 감정코드 할당모듈(160); 감정코드를 네트워크를 통해 수신자에게 전달하는 감정코드 전달모듈(170);을 포함하여 구성될 수 있다.
이때, 감정워드 식별모듈(120)은 감정 정보로부터 텍스트 요소를 추출한 후 자연어 검색을 통해 인간의 감정과 관련된 단어인 감정워드를 식별하고, 감정형태 식별모듈(140)은 감정 정보로부터 이미지 요소를 추출한 후 이모티콘, 아바타, 안면, 동작 중 하나 이상에 대한 매칭을 통해 인간의 감정과 관련된 모습인 감정형태를 식별한다.
본 발명에서 멀티모달 인터랙션 에이전트(200)는, 네트워크를 통해 감정코드를 수신하는 감정코드 수신모듈(210); 감정 표현을 위한 멀티모달 출력기기를 관리하는 출력기기 관리모듈(220); 멀티모달 출력기기의 종류를 식별하고 감정코드의 값에 대응하도록 멀티모달 출력기기를 제어하기 위한 멀티모달 출력패턴을 설정하는 멀티모달 결정모듈(230); 멀티모달 출력패턴에 따라 멀티모달 출력기기를 제어하는 감정표현 제어모듈(240);을 포함하여 구성될 수 있다.
본 발명에서 반응기반 머신러닝 에이전트(300)는, 멀티모달 인터랙션 에이전트가 제공하는 감정 표현에 대한 사용자 반응을 식별하는 유저반응 식별모듈(310); 사용자 반응으로부터 만족도를 분석하는 유저만족도 분석모듈(320); 사용자 반응 및 만족도에 정합하도록 감정코딩 정책을 수정하기 위한 코딩정책 변경 데이터를 생성하는 코드변경 결정모듈(330); 코딩정책 변경 데이터를 멀티모달 감정분류 에이전트로 전달하는 코드변경 피드백 모듈(340); 사용자 반응 및 만족도에 정합하도록 감정표현 정책을 수정하기 위한 표현정책 변경 데이터를 생성하는 표현변경 결정모듈(350); 표현정책 변경 데이터를 멀티모달 인터랙션 에이전트로 전달하는 표현변경 피드백 모듈(360);을 포함하여 구성되고, 멀티모달 감정분류 에이전트(100)는 반응기반 머신러닝 에이전트로부터 제공된 코딩정책 변경 데이터에 따라 감정코딩 정책을 수정하는 코드변경 반영모듈(180);을 더 포함하여 구성되고, 멀티모달 인터랙션 에이전트(200)는 반응기반 머신러닝 에이전트로부터 제공된 표현정책 변경 데이터에 따라 감정표현 정책을 수정하는 표현변경 반영모듈(250);을 더 포함하여 구성될 수 있다.
멀티모달 인터랙션 에이전트(200)는, 멀티모달 감정분류 에이전트로부터 전달되는 복수 개의 감정코드를 분석하여 연결성이 식별되면 복수 개의 감정코드에 대응되는 복수 개의 멀티모달 출력패턴을 동기화시켜 감정 전달 세션을 유지하는 멀티모달 세션유지 모듈(260);을 더 포함하여 구성될 수 있다.
한편, 상기와 같은 본 발명의 기능적 구성은 소프트웨어의 형태로 구현될 수 있다.
본 발명에 의하면 스마트 미디어 플랫폼에서 다양한 멀티모달 입력기기를 통해 사람의 감정을 정확하게 식별하여 상대방에게 표현해줌으로써 여러 UX 요소가 융합된 고품질의 HCI(Human-Computer Interaction)를 구현할 수 있으며 이를 통해 UX의 상호작용을 높일 수 있는 장점이 있다.
이를 통해 본 발명에 따르면 정보전달 서비스의 수준과 다양성을 개선할 수 있어 이에 대한 사용자의 만족도를 제고할 수 있고, 고차원의 정보전달 서비스를 설계할 수 있어 높은 부가가치를 창출할 수 있는 장점도 있다.
도 1은 본 발명에 따른 멀티모달 다중 에이전트 기반의 감정 통신 시스템의 전체 구성을 나타내는 도면.
도 2는 본 발명에서 감정 통신 시스템이 수행하는 전체 프로세스를 나타내는 순서도.
도 3은 본 발명에서 멀티모달 감정분류 에이전트의 내부 기능적 구성을 나타내는 블록도.
도 4는 본 발명에서 멀티모달 인터랙션 에이전트의 내부 기능적 구성을 나타내는 블록도.
도 5는 본 발명에서 반응기반 머신러닝 에이전트의 내부 기능적 구성을 나타내는 블록도.
도 6은 본 발명에 적합한 감정분류 체계의 예를 나타내는 도면.
도 7과 도 8은 본 발명에 사용하기에 적합한 감정형태의 예를 나타내는 도면.
도 9는 본 발명에서 사용하는 감정코드 인코딩의 예를 나타내는 도면.
이하, 도면을 참조하여 본 발명을 상세히 설명한다.
도 1은 본 발명에 따른 멀티모달 다중 에이전트 기반의 감정 통신 시스템의 전체 구성을 나타내는 도면이고, 도 2는 본 발명에서 감정 통신 시스템이 수행하는 전체 프로세스를 나타내는 순서도이다. 이하에서는 도 1과 도 2를 참조하여 본 발명에 따른 감정 통신 시스템의 동작 방식에 대해서 전체적으로 살펴본다.
본 명세서에서 '멀티모달(multimodal)'은 여러 개의 사용자 입출력 기기를 함께 사용하여 이루어지는 휴먼 인터페이스 방식을 나타내는 용어이며, 본 발명에서는 발신자의 감정을 식별하거나 그 감정을 수신자에게 표현할 때 다양한 기기를 결합하여 활용한다.
또한, 인간의 감정을 연구하는 분야에서는 '감성'과 '감정'을 미묘하게 구분하여 사용하는 경우도 있는데, 본 명세서에서는 이를 총괄하여 '감정(sentiment)'라고 부른다.
먼저 도 1을 참조하면, 본 발명에 따른 감정 통신 시스템은 복수 개의 멀티모달 입력기기(10), 멀티모달 감정분류 에이전트(100), 멀티모달 인터랙션 에이전트(200), 복수 개의 멀티모달 출력기기(20), 반응 피드백 장치(30), 반응기반 머신러닝 에이전트(300)를 포함하여 구성된다.
먼저, 멀티모달 입력기기(10)는 발신자에 대한 각종의 데이터를 수집하기 위한 장치이다. 이러한 멀티모달 입력기기(10)로는 마이크, 카메라, 키보드, 전자 펜, 리모콘, 터치패널 등을 들 수 있으며, 이들 외에도 음성, 음악, 영상, 개인 데이터, 이모티콘 이미지 등을 수집할 수 있는 각종의 장치가 될 수 있다. 이중에서 전자 펜이나 터치패널은 이모티콘, 텍스트, 그림 등을 필기로 입력하기 위한 것이다.
멀티모달 출력기기(20)는 발신자의 감정을 인간의 오감, 예컨대 소리, 조명, 냄새 등을 통해 수신자에게 표현해줄 수 있는 장치이다.
멀티모달 감정분류 에이전트(100)는 멀티모달 입력기기(10)로부터 발신자에 관련된 감정 정보를 획득하고 이를 분류하여 그에 대응하는 감정코드를 설정한다. 본 발명에서 감정 정보는 텍스트 요소인 감정워드와 이미지 요소인 감정형태를 포함하여 구성되는데, 이때 사용자의 음성은 자연어 처리를 통해 텍스트 요소로 매핑할 수 있다. 그리고, 감정 정보의 분류 및 감정코드 설정은 미리 설정된 감정코딩 정책에 따라 이루어진다.
먼저, 감정 분류에 대해 기술한다. 텍스트 기반인 감정워드의 분류에 대해서는 기존에 많은 연구가 이루어져 있으며, 본 발명에서도 이와 같은 기존의 연구결과를 활용한다. 예를 들어, 황재원, 고영중의 논문 "감정 단어의 의미적 특성을 반영한 한국어 문서 감정분류 시스템", 정보과학회 논문지 소프트웨어 및 응용, 제37권 제4호 (2010년 4월), 페이지 317-322는 스니펫 추정과 실험 말뭉치를 이용하여 감정워드를 실시간 분류하는 기술을 제시하였다.
감정워드의 분류 결과는 다양하게 구현될 수 있는데, 도 6은 본 발명에 적합한 감정분류 체계의 예로서 구글 사이트에서 '감정분류'에 대한 검색 결과로부터 얻은 것이다. 로버트 플루칙(Robert Plutchik)의 감정 휠을 사용할 수도 있다. 일반적으로 영어에 대해서는 도 6과 같은 감정 휠의 형태로 분류하고 있으며, 국어(한국어)에 대해서는 도 9에 도시된 것과 같은 테이블의 형태로 분류하고 있는데 본 발명은 이에 관해서는 특별히 한정하지 않는다.
이미지 기반의 감정형태의 분류에 대해서도 기존에 많은 연구가 이루어져 있으며, 본 발명에서도 이와 같은 기존의 연구결과를 활용한다. 감정형태의 분류는 일반적으로 이미지 매칭을 통해 이루어지는데, 도 7과 도 8은 본 발명에 사용하기에 적합한 감정형태의 예를 나타내는 도면이다. 도 7은 소셜네트워크 서비스(SNS)에서 이모티콘으로서 사용되고 있는 감정형태 이미지이고, 도 8은 폴 에크만(Paul Ekman) 교수가 제시하였던 감정에 관련된 인간표정 이미지이다. 멀티모달 입력기기(10)로부터 수집되는 이미지 기반 데이터(예: 사진, 영상, 이모티콘, 아바타 등)를 도 7 또는 도 8과 같은 표준 이미지와 비교 매칭함으로써 감정을 분류할 수 있다.
다음으로 감정 코드의 설정에 대해 기술한다. 도 9는 본 발명에서 사용하는 감정코드 인코딩의 예를 나타내는 도면이다. 발신자 감정의 분류 결과를 디지털 값으로 인코딩하는데, 본 명세서에서는 이를 '감정코드(sentiment code)'라고 부른다. 도 9는 발신자의 감정을 4가지 대분류로 나누고 각각에 대해서 5가지 소분류로 나누는 방식으로 감정을 분류한 실시예인데, 각각의 대분류 및 소분류에 대해 2비트와 3비트의 필드를 할당하고, 다시 각각의 감정에 대해서 명암 내지 강도를 3비트(즉, 8 레벨)로 구분하여 평가하였다.
앞서 살펴본 도 6의 감정분류 실시예에서는 원의 중심으로부터 멀어지는 방향으로 이루어진 3단계의 대분류, 소분류, 미세분류에 대해 각각 3비트, 3비트, 2비트를 할당하여 감정코드 인코딩을 수행할 수도 있다. 이러한 규칙에 따라 각각의 감정 분류 결과는 도 9의 우측 컬럼에 '감정코드 인코딩'으로 나타낸 바와 같이 도출된다. 도 6의 감정분류 체계에서도 비슷한 방식으로 감정코드 인코딩 결과를 얻을 수 있다.
이때, 도 9의 감정코드 인코딩은 그 값이 커질수록 인간의 밝은 감정에 대응하고 그 값이 작을 수록 인간의 어두운 감정에 대응하도록 설계된 것이다. 감정코드 인코딩은 이처럼 일정한 규칙성을 갖는 것이 감정표현 내지 머신러닝을 위해 바람직하다.
한편, 도 6 내지 도 9에서 나타낸 것과 같이 그 수집된 데이터에 기초하여 감정을 어떻게 분류할 것인가 내지 그 분류 결과를 어떻게 디지털 값으로 인코딩할 것인지를 본 명세서에서는 '감정코딩 정책'이라고 부른다.
멀티모달 인터랙션 에이전트(200)는 멀티모달 감정분류 에이전트(100)로부터 감정코드를 제공받으면 미리 설정된 감정표현 정책에 따라 감정코드에 대응하도록 멀티모달 출력기기(20)를 제어한다. 이를 통해, 수신자는 오감을 통해 발신자의 감정을 식별할 수 있게 된다. 또한, 멀티모달 인터랙션 에이전트(200)는 다양한 스마트 디바이스가 감정을 표현하던 중에 세션이 끊어지지 않고 멀티모달 인터랙션이 지속적 연결되어 다양한 디바이스가 감정 표현을 수행하기 위한 세션유지 기능을 제공한다.
반응 피드백 장치(30)는 위 감정 표현에 대한 수신자의 반응을 감지하기 위한 수단이다. 수신자는 정보 내용을 확인한 후에, 해당 정보 내용에 비추어볼 때 감정 표현이 어떠하였는지에 대한 평가를 자체적으로 내릴 수 있는데, 반응 피드백 장치(30)는 그 평가를 제공받기 위한 것이다. 즉, 감정 표현이 얼마나 만족스러웠는지, 감정 표현이 과도하거나 너무 약했던 것은 아닌지, 또는 표현방식이나 표현 수단의 선정이 적절하였는지에 대한 평가를 제공받는다.
사람의 기질이나 성격은 다양하므로 감정 분류나 감정 표현은 사람마다 최적화되는 것이 바람직하다. 따라서, 해당 발신자에 대해서 어느 정도 정보가 있는 수신자가 감정 분류에 대해 평가하도록 함으로써 감정분류 정책을 해당 발신자에 대해 최적화해나갈 수 있게 된다. 마찬가지로 감정표현 정책도 해당 발신자 내지 수신자에 대해 최적화해나갈 수 있게 된다.
반응기반 머신러닝 에이전트(300)는 멀티모달 인터랙션 에이전트(200)가 제공하는 감정 표현에 대한 사용자 반응을 식별하고 이에 정합하도록 감정코딩 정책과 감정표현 정책 중 적어도 하나 이상을 수정함으로써 감정표현 방식이 변경될 수 있도록 해준다. 감정전달용 스마트 디바이스의 사용자 선호에 따라 자동으로 감정 표현 방식이 변화되도록 본 발명에 따른 스마트 플랫폼은 감정인식과 감정분류 방식을 수정하고 감정표현 방식의 환경도 사용자 반응에 기초하여 변화시키는 것이다.
도 3은 본 발명에서 멀티모달 감정분류 에이전트(100)의 내부 기능적 구성을 나타내는 블록도이다. 본 발명에서 멀티모달 감정분류 에이전트(100)는 멀티모달 입력기기(10)로부터 발신자의 감정워드 및 감정형태를 포함하는 감정 정보를 획득하고 미리 설정된 감정코딩 정책에 따라 감정 정보를 분류하여 그에 대응하는 감정코드를 설정하는 기능적 모듈이다.
도 3을 참조하면, 이와 같은 멀티모달 감정분류 에이전트(100)는 입력기기 관리모듈(110), 감정워드 식별모듈(120), 감정워드 분류모듈(130), 감정형태 식별모듈(140), 감정형태 분류모듈(150), 감정코드 할당모듈(160), 감정코드 전달모듈(170), 코드변경 반영모듈(180)을 포함하여 구성된다.
먼저, 입력기기 관리모듈(110)은 멀티모달 입력기기(10)를 관리하여 음성, 음악, 영상, 개인 데이터, 이모티콘 이미지 등의 형태로 발신자에 대한 감정 정보를 획득한다.
감정워드 식별모듈(120)은 이러한 감정 정보로부터 발신자의 감정을 나타내는 텍스트인 감정워드를 식별한다. 즉, 다양한 형태의 감정 정보로부터 텍스트 요소를 추출한 후에 자연어 검색을 통해 인간의 감정과 관련된 단어로서 예컨대 미리 등록해둔 감정워드를 식별한다.
감정워드 분류모듈(130)은 감정워드를 미리 설정된 감정표현 문자 기준에 따라 분류한다. 이때, 감정워드의 분류 기준으로는 도 6의 감정 휠이나 도 9의 감정 테이블이 양호하게 사용될 수 있다. 전술한 바와 같이 스니펫 추정이나 실험 말뭉치 등을 통해 감정워드를 분류할 수 있으며, 각 감정분류 항목에 대해 미리 등록된 감정워드를 비교하는 방식도 가능하다.
감정형태 식별모듈(140)은 감정 정보로부터 발신자의 감정을 나타내는 이미지인 감정형태를 식별한다. 즉, 다양한 형태의 감정 정보로부터 이미지 요소를 추출한 후 이모티콘, 아바타, 안면, 동작 중 하나 이상에 대한 매칭을 통해 인간의 감정과 관련된 모습인 감정형태를 식별한다.
감정형태 분류모듈(150)은 감정형태를 미리 설정된 감정표현 형태 기준에 따라 분류한다. 도 6의 감정 휠이나 도 9의 감정 테이블이 감정형태의 분류에도 양호하게 사용될 수 있다. 감정형태 식별모듈(140)이 도출한 이미지 기반의 감정형태 데이터(예: 사진, 영상, 이모티콘, 아바타 등)를 도 7 또는 도 8과 같은 표준 이미지와 비교 매칭함으로써 감정을 분류할 수 있다.
감정코드 할당모듈(160)은 감정워드와 감정형태의 분류 결과에 기초하여 감정코딩 정책에 따라 감정코드를 할당한다. 감정코드의 할당, 즉 감정코드 인코딩에 대해서는 도 6과 도 9를 참조하여 전술하였다.
감정코드 전달모듈(170)은 감정코드 할당모듈(160)이 인코딩한 감정코드를 네트워크를 통해 수신자에게 전달한다. 바람직하게는 발신자가 애초에 전송 의뢰하였던 문자메세지, 멀티미디어 메세지, 영상, 사진, 음성 등의 데이터에 삽입 추가하여 수신자에게 전달된다.
코드변경 반영모듈(180)은 해당 사용자에게 최적화하기 위하여 감정코딩 정책을 미세 조정한다. 사용자 반응에 기초하여 반응기반 머신러닝 에이전트(300)로부터 코딩정책 변경 데이터가 제공되면, 코드변경 반영모듈(180)은 그에 따라 감정코딩 정책을 수정한다.
도 4는 본 발명에서 멀티모달 인터랙션 에이전트(200)의 내부 기능적 구성을 나타내는 블록도이다. 본 발명에서 멀티모달 인터랙션 에이전트(200)는 미리 설정된 감정표현 정책에 따라 발신자의 감정코드에 대응하도록 멀티모달 출력기기(20)를 제어함으로써 발신자의 감정을 수신자가 오감을 통해 인식할 수 있도록 표현하는 기능적 모듈이다.
도 4를 참조하면, 이와 같은 멀티모달 인터랙션 에이전트(200)는 감정코드 수신모듈(210), 출력기기 관리모듈(220), 멀티모달 결정모듈(230), 감정표현 제어모듈(240), 표현변경 반영모듈(250), 멀티모달 세션유지 모듈(260)을 포함하여 구성된다.
먼저, 감정코드 수신모듈(210)은 멀티모달 감정분류 에이전트(100)가 전송한 감정코드를 네트워크를 통해 수신한다.
출력기기 관리모듈(220)은 오감을 통해 감정 표현을 수행하기 위한 멀티모달 출력기기(20)를 관리한다.
멀티모달 결정모듈(230)은 멀티모달 출력기기(20)의 종류를 식별하고 감정코드의 값에 대응하도록 멀티모달 출력기기(20)를 제어하기 위한 멀티모달 출력패턴을 설정한다. 즉, 발신자 측으로부터 감정코드가 제공되었을 때, 현재 활용가능한 멀티모달 출력기기(20)는 무엇이 있으며, 이들을 어떻게 활용하여 감정코드를 표현하면 좋을지를 결정한다. 이때, 감정코드로부터 획득되는 정보, 예컨대 좋은 감정인지 아니면 나쁜 감정인지, 그리고 강렬한 감정인지 아니면 잔잔한 감정인지에 대한 정보가 고려되는 것이 바람직하다.
감정표현 제어모듈(240)은 멀티모달 결정모듈(230)이 생성한 멀티모달 출력패턴에 따라 멀티모달 출력기기(20)를 제어한다. 이를 통해, 발신자의 감정이 오감을 통해 수신자에게 표현된다.
표현변경 반영모듈(250)은 해당 사용자에게 최적화하기 위하여 감정표현 정책을 미세 조정한다. 사용자 반응에 기초하여 반응기반 머신러닝 에이전트(300)로부터 표현정책 변경 데이터가 제공되면, 표현변경 반영모듈(250)은 그에 따라 감정표현 정책을 수정한다.
멀티모달 세션유지 모듈(260)은 멀티모달 감정분류 에이전트(100)로부터 순차적으로 전달되는 복수 개의 감정코드를 분석하여 연결성이 식별되면 복수 개의 감정코드에 대응되는 복수 개의 멀티모달 출력패턴을 동기화시켜 감정 전달 세션을 유지한다. 즉, 다양한 스마트 디바이스가 감정을 표현하던 중에 연결성이 끊어지지 않도록 멀티모달 인터랙션이 지속적으로 연결 처리되어 여러 멀티모달 출력기기(20)가 감정 표현을 동기화한다.
도 5는 본 발명에서 반응기반 머신러닝 에이전트(300)의 내부 기능적 구성을 나타내는 블록도이다. 본 발명에서 반응기반 머신러닝 에이전트(300)는 멀티모달 인터랙션 에이전트(200)가 제공하는 감정 표현에 대한 사용자 반응을 반응 피드백 장치(30)를 통해 식별하고 이에 정합하도록 감정코딩 정책과 감정표현 정책 중 하나 이상을 수정하는 기능적 모듈이다.
도 5를 참조하면, 이와 같은 반응기반 머신러닝 에이전트(300)는 유저반응 식별모듈(310), 유저만족도 분석모듈(320), 코드변경 결정모듈(330), 코드변경 피드백 모듈(340), 표현변경 결정모듈(350), 표현변경 피드백 모듈(360)을 포함하여 구성된다.
먼저, 유저반응 식별모듈(310)은 멀티모달 인터랙션 에이전트(200)가 제공하는 감정 표현에 대한 사용자 반응을 반응 피드백 장치(30)를 통해 식별한다. 일반적으로는 스마트폰의 어플리케이션을 통해 반응 입력을 요청하는 소프트웨어의 형태로 구현된다.
유저만족도 분석모듈(320)은 사용자 반응으로부터 만족도를 분석한다. 예를 들어, 사용자 반응에 기초하여 감정 분류는 적절하였는지, 감정 표현은 만족스러웠는지, 감정 표현이 과도하거나 너무 약했던 것은 아닌지, 표현 방식이나 표현 수단의 선정이 적절하였는지를 분석한다.
코드변경 결정모듈(330)은 이와 같은 사용자 반응 및 만족도 분석 결과에 정합하도록 감정코딩 정책을 수정하기 위한 코딩정책 변경 데이터를 생성한다. 예를 들어, 감정분류가 적절하지 않았다면 감정워드나 감정형태의 분석 알고리즘 또는 등록 워드를 수정한다. 또한, 감정 표현이 과도했거나 너무 약했다면 해당 감정에 대한 명암 코드를 수정한다.
코드변경 피드백 모듈(340)은 코드변경 결정모듈(330)이 생성한 코딩정책 변경 데이터를 멀티모달 감정분류 에이전트(100)로 전달한다. 이를 통해, 멀티모달 감정분류 에이전트(100)의 코드변경 반영모듈(180)이 감정코딩 정책을 미세 조정하여 해당 사용자에게 최적화할 수 있도록 한다.
표현변경 결정모듈(350)은 이와 같은 사용자 반응 및 만족도 분석 결과에 정합하도록 감정표현 정책을 수정하기 위한 표현정책 변경 데이터를 생성한다. 예를 들어, 감정표현의 방식이나 수단이 불만족스러웠다면 멀티모달 출력기기(20)의 종류 내지 조합을 수정한다.
표현변경 피드백 모듈(360)은 표현변경 결정모듈(350)이 생성한 표현정책 변경 데이터를 멀티모달 인터랙션 에이전트(200)로 전달한다. 이를 통해, 멀티모달 인터랙션 에이전트(200)의 표현변경 반영모듈(250)이 감정표현 정책을 미세 조정하여 해당 사용자에게 최적화할 수 있도록 한다.
한편, 본 발명은 컴퓨터가 이상의 과정을 실행시킬 수 있는 프로그램 코드의 형태로 구현될 수 있으며, 이러한 프로그램 코드는 컴퓨터로 읽을 수 있는 기록매체에 저장된다. 이러한 기록매체는 디지털 데이터가 저장되는 모든 종류의 기록 장치를 포함하는데, 예컨대 ROM, RAM, CD-ROM, 자기테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며 캐리어웨이브(예: 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 프로그램 코드는 네트워크로 연결된 컴퓨터 시스템에 분산 방식으로 저장되고 실행될 수 있다.

Claims (11)

  1. 발신자의 감정을 식별하여 수신자에게 표현해주는 멀티모달 다중 에이전트 기반의 감정 통신 시스템으로서,
    멀티모달 입력기기로부터 발신자의 감정워드 및 감정형태를 포함하는 감정 정보를 획득하고 미리 설정된 감정코딩 정책에 따라 상기 감정 정보를 분류하여 그에 대응하는 감정코드를 설정하는 멀티모달 감정분류 에이전트(100);
    미리 설정된 감정표현 정책에 따라 상기 감정코드에 대응하도록 멀티모달 출력기기를 제어함으로써 발신자의 감정을 수신자의 오감을 통해 표현하는 멀티모달 인터랙션 에이전트(200);
    를 포함하여 구성되는 멀티모달 다중 에이전트 기반의 감정 통신 시스템.
  2. 청구항 1에 있어서,
    상기 멀티모달 인터랙션 에이전트가 제공하는 감정 표현에 대한 사용자 반응을 식별하고 이에 정합하도록 상기 감정코딩 정책과 감정표현 정책 중 하나 이상을 수정하는 반응기반 머신러닝 에이전트(300);
    를 더 포함하여 구성되는 멀티모달 다중 에이전트 기반의 감정 통신 시스템.
  3. 청구항 2에 있어서,
    상기 멀티모달 감정분류 에이전트(100)는,
    멀티모달 입력기기를 관리하여 발신자에 대한 감정 정보를 획득하는 입력기기 관리모듈(110);
    상기 감정 정보로부터 발신자의 감정을 나타내는 텍스트인 감정워드를 식별하는 감정워드 식별모듈(120);
    상기 감정워드를 미리 설정된 감정표현 문자 기준에 따라 분류하는 감정워드 분류모듈(130);
    상기 감정 정보로부터 발신자의 감정을 나타내는 이미지인 감정형태를 식별하는 감정형태 식별모듈(140);
    상기 감정형태를 미리 설정된 감정표현 형태 기준에 따라 분류하는 감정형태 분류모듈(150);
    상기 감정워드와 감정형태의 분류 결과에 기초하여 감정코드를 할당하는 감정코드 할당모듈(160);
    상기 감정코드를 네트워크를 통해 수신자에게 전달하는 감정코드 전달모듈(170);
    을 포함하여 구성되는 것을 특징으로 하는 멀티모달 다중 에이전트 기반의 감정 통신 시스템.
  4. 청구항 3에 있어서,
    상기 감정워드 식별모듈(120)은 상기 감정 정보로부터 텍스트 요소를 추출한 후 자연어 검색을 통해 인간의 감정과 관련된 단어인 감정워드를 식별하고,
    상기 감정형태 식별모듈(140)은 상기 감정 정보로부터 이미지 요소를 추출한 후 이모티콘, 아바타, 안면, 동작 중 하나 이상에 대한 매칭을 통해 인간의 감정과 관련된 모습인 감정형태를 식별하는 것을 특징으로 하는 멀티모달 다중 에이전트 기반의 감정 통신 시스템.
  5. 청구항 3에 있어서,
    상기 멀티모달 인터랙션 에이전트(200)는,
    네트워크를 통해 상기 감정코드를 수신하는 감정코드 수신모듈(210);
    감정 표현을 위한 멀티모달 출력기기를 관리하는 출력기기 관리모듈(220);
    멀티모달 출력기기의 종류를 식별하고 상기 감정코드의 값에 대응하도록 상기 멀티모달 출력기기를 제어하기 위한 멀티모달 출력패턴을 설정하는 멀티모달 결정모듈(230);
    상기 멀티모달 출력패턴에 따라 상기 멀티모달 출력기기를 제어하는 감정표현 제어모듈(240);
    을 포함하여 구성된 것을 특징으로 하는 멀티모달 다중 에이전트 기반의 감정 통신 시스템.
  6. 청구항 5에 있어서,
    상기 반응기반 머신러닝 에이전트(300)는,
    상기 멀티모달 인터랙션 에이전트가 제공하는 감정 표현에 대한 사용자 반응을 식별하는 유저반응 식별모듈(310);
    상기 사용자 반응으로부터 만족도를 분석하는 유저만족도 분석모듈(320);
    상기 사용자 반응 및 만족도에 정합하도록 상기 감정코딩 정책을 수정하기 위한 코딩정책 변경 데이터를 생성하는 코드변경 결정모듈(330);
    상기 코딩정책 변경 데이터를 상기 멀티모달 감정분류 에이전트로 전달하는 코드변경 피드백 모듈(340);
    을 포함하여 구성되고,
    상기 멀티모달 감정분류 에이전트(100)는,
    상기 반응기반 머신러닝 에이전트로부터 제공된 상기 코딩정책 변경 데이터에 따라 상기 감정코딩 정책을 수정하는 코드변경 반영모듈(180);
    을 더 포함하여 구성되는 것을 특징으로 하는 멀티모달 다중 에이전트 기반의 감정 통신 시스템.
  7. 청구항 6에 있어서,
    상기 반응기반 머신러닝 에이전트(300)는,
    상기 사용자 반응 및 만족도에 정합하도록 상기 감정표현 정책을 수정하기 위한 표현정책 변경 데이터를 생성하는 표현변경 결정모듈(350);
    상기 표현정책 변경 데이터를 상기 멀티모달 인터랙션 에이전트로 전달하는 표현변경 피드백 모듈(360);
    을 더 포함하여 구성되고,
    상기 멀티모달 인터랙션 에이전트(200)는,
    상기 반응기반 머신러닝 에이전트로부터 제공된 상기 표현정책 변경 데이터에 따라 상기 감정표현 정책을 수정하는 표현변경 반영모듈(250);
    을 더 포함하여 구성되는 것을 특징으로 하는 멀티모달 다중 에이전트 기반의 감정 통신 시스템.
  8. 청구항 7에 있어서,
    상기 멀티모달 인터랙션 에이전트(200)는,
    상기 멀티모달 감정분류 에이전트로부터 전달되는 복수 개의 감정코드를 분석하여 연결성이 식별되면 상기 복수 개의 감정코드에 대응되는 복수 개의 멀티모달 출력패턴을 동기화시켜 감정 전달 세션을 유지하는 멀티모달 세션유지 모듈(260);
    을 더 포함하여 구성되는 것을 특징으로 하는 멀티모달 다중 에이전트 기반의 감정 통신 시스템.
  9. 컴퓨터에,
    멀티모달 입력기기로부터 발신자의 감정워드 및 감정형태를 포함하는 감정 정보를 획득하고 미리 설정된 감정코딩 정책에 따라 상기 감정 정보를 분류하여 그에 대응하는 감정코드를 설정하는 멀티모달 감정분류 수단;
    미리 설정된 감정표현 정책에 따라 상기 감정코드에 대응하도록 멀티모달 출력기기를 제어함으로써 발신자의 감정을 수신자의 오감을 통해 표현하는 멀티모달 인터랙션 수단;
    상기 멀티모달 인터랙션 에이전트가 제공하는 감정 표현에 대한 사용자 반응을 식별하고 이에 정합하도록 상기 감정코딩 정책과 감정표현 정책 중 하나 이상을 수정하는 반응기반 머신러닝 수단;
    를 기능시키기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체.
  10. 청구항 9에 있어서,
    상기 멀티모달 감정분류 수단은,
    멀티모달 입력기기를 관리하여 발신자에 대한 감정 정보를 획득하는 입력기기 관리부;
    상기 감정 정보로부터 발신자의 감정을 나타내는 텍스트인 감정워드를 식별하는 감정워드 식별부;
    상기 감정워드를 미리 설정된 감정표현 문자 기준에 따라 분류하는 감정워드 분류부;
    상기 감정 정보로부터 발신자의 감정을 나타내는 이미지인 감정형태를 식별하는 감정형태 식별부;
    상기 감정형태를 미리 설정된 감정표현 형태 기준에 따라 분류하는 감정형태 분류부;
    상기 감정워드와 감정형태의 분류 결과에 기초하여 감정코드를 할당하는 감정코드 할당부;
    상기 감정코드를 네트워크를 통해 수신자에게 전달하는 감정코드 전달부;
    를 포함하여 구성되고,
    상기 멀티모달 인터랙션 수단은,
    네트워크를 통해 상기 감정코드를 수신하는 감정코드 수신부;
    감정 표현을 위한 멀티모달 출력기기를 관리하는 출력기기 관리부;
    멀티모달 출력기기의 종류를 식별하고 상기 감정코드의 값에 대응하도록 상기 멀티모달 출력기기를 제어하기 위한 멀티모달 출력패턴을 설정하는 멀티모달 결정부;
    상기 멀티모달 출력패턴에 따라 상기 멀티모달 출력기기를 제어하는 감정표현 제어부;
    상기 멀티모달 감정분류 에이전트로부터 전달되는 복수 개의 감정코드를 분석하여 연결성이 식별되면 상기 복수 개의 감정코드에 대응되는 복수 개의 멀티모달 출력패턴을 동기화시켜 감정 전달 세션을 유지하는 멀티모달 세션유지부;
    를 포함하여 구성되는 것을 특징으로 하는 컴퓨터로 판독가능한 기록매체.
  11. 청구항 10에 있어서,
    상기 반응기반 머신러닝 수단은,
    상기 멀티모달 인터랙션 에이전트가 제공하는 감정 표현에 대한 사용자 반응을 식별하는 유저반응 식별부;
    상기 사용자 반응으로부터 만족도를 분석하는 유저만족도 분석부;
    상기 사용자 반응 및 만족도에 정합하도록 상기 감정코딩 정책을 수정하기 위한 코딩정책 변경 데이터를 생성하는 코드변경 결정부;
    상기 코딩정책 변경 데이터를 상기 멀티모달 감정분류 에이전트로 전달하는 코드변경 피드백부;
    상기 사용자 반응 및 만족도에 정합하도록 상기 감정표현 정책을 수정하기 위한 표현정책 변경 데이터를 생성하는 표현변경 결정부;
    상기 표현정책 변경 데이터를 상기 멀티모달 인터랙션 에이전트로 전달하는 표현변경 피드백부;
    를 포함하여 구성되고,
    상기 멀티모달 감정분류 수단은,
    상기 반응기반 머신러닝 에이전트로부터 제공된 상기 코딩정책 변경 데이터에 따라 상기 감정코딩 정책을 수정하는 코드변경 반영부;
    를 더 포함하여 구성되고,
    상기 멀티모달 인터랙션 수단은,
    상기 반응기반 머신러닝 에이전트로부터 제공된 표현정책 변경 데이터에 따라 상기 감정표현 정책을 수정하는 표현변경 반영부;
    를 더 포함하여 구성되는 것을 특징으로 하는 컴퓨터로 판독가능한 기록매체.
PCT/KR2015/003396 2015-04-05 2015-04-06 멀티모달 다중 에이전트 기반의 감정 통신 시스템 WO2016163565A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0047998 2015-04-05
KR1020150047998A KR101652486B1 (ko) 2015-04-05 2015-04-05 멀티모달 다중 에이전트 기반의 감정 통신 시스템

Publications (1)

Publication Number Publication Date
WO2016163565A1 true WO2016163565A1 (ko) 2016-10-13

Family

ID=56886239

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/003396 WO2016163565A1 (ko) 2015-04-05 2015-04-06 멀티모달 다중 에이전트 기반의 감정 통신 시스템

Country Status (2)

Country Link
KR (1) KR101652486B1 (ko)
WO (1) WO2016163565A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695442A (zh) * 2020-05-21 2020-09-22 北京科技大学 一种基于多模态融合的在线学习智能辅助系统
WO2023286914A1 (ko) * 2021-07-16 2023-01-19 서울대학교 산학협력단 비디오 스토리 질의응답을 위한 트랜스포머 모델을 구축하는 방법 및 이를 수행하기 위한 컴퓨팅 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108388654B (zh) * 2018-03-01 2020-03-17 合肥工业大学 一种基于转折句语义块划分机制的情感分类方法
CN113158656B (zh) * 2020-12-25 2024-05-14 北京中科闻歌科技股份有限公司 讽刺内容识别方法、装置、电子设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012057563A2 (ko) * 2010-10-28 2012-05-03 (주)엠씨에스로직 감성 기반의 커뮤니티 형성 시스템, 커뮤니티 형성이 가능한 통신 단말기 및 그 커뮤니티 형성방법
WO2013027893A1 (ko) * 2011-08-22 2013-02-28 Kang Jun-Kyu 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법
WO2013048225A2 (ko) * 2011-09-29 2013-04-04 Hur Min 감성표현데이터 전달 방법 및 그 시스템
US20140052448A1 (en) * 2010-05-31 2014-02-20 Simple Emotion, Inc. System and method for recognizing emotional state from a speech signal
US20140074945A1 (en) * 2012-09-12 2014-03-13 International Business Machines Corporation Electronic Communication Warning and Modification

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140052448A1 (en) * 2010-05-31 2014-02-20 Simple Emotion, Inc. System and method for recognizing emotional state from a speech signal
WO2012057563A2 (ko) * 2010-10-28 2012-05-03 (주)엠씨에스로직 감성 기반의 커뮤니티 형성 시스템, 커뮤니티 형성이 가능한 통신 단말기 및 그 커뮤니티 형성방법
WO2013027893A1 (ko) * 2011-08-22 2013-02-28 Kang Jun-Kyu 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법
WO2013048225A2 (ko) * 2011-09-29 2013-04-04 Hur Min 감성표현데이터 전달 방법 및 그 시스템
US20140074945A1 (en) * 2012-09-12 2014-03-13 International Business Machines Corporation Electronic Communication Warning and Modification

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695442A (zh) * 2020-05-21 2020-09-22 北京科技大学 一种基于多模态融合的在线学习智能辅助系统
WO2023286914A1 (ko) * 2021-07-16 2023-01-19 서울대학교 산학협력단 비디오 스토리 질의응답을 위한 트랜스포머 모델을 구축하는 방법 및 이를 수행하기 위한 컴퓨팅 장치

Also Published As

Publication number Publication date
KR101652486B1 (ko) 2016-08-30

Similar Documents

Publication Publication Date Title
CN105654950B (zh) 自适应语音反馈方法和装置
WO2018135892A1 (ko) 적응적으로 회의를 제공하기 위한 장치 및 방법
JP2022023930A (ja) 電子会議システム
TWI681315B (zh) 數據發送系統及其方法
CN108205627A (zh) 交互式助理模块对访问的有条件提供
WO2016163565A1 (ko) 멀티모달 다중 에이전트 기반의 감정 통신 시스템
CN108369596A (zh) 个性化自然语言理解系统
CN106959839A (zh) 一种人机交互装置及方法
KR101886628B1 (ko) 채팅방 군집화 서비스 제공방법
CN106228451A (zh) 一种漫画聊天系统
CN111506794A (zh) 一种基于机器学习的谣言管理方法和装置
WO2012036449A2 (en) Method and apparatus for managing data
CN109829499A (zh) 基于同一特征空间的图文数据融合情感分类方法和装置
CN117332072B (zh) 对话处理、语音摘要提取以及目标对话模型训练方法
KR20210003259A (ko) 자동 어시스턴트를 위한 시각적 단서들의 선택적 검출
WO2018169276A1 (ko) 언어 정보를 처리하기 위한 방법 및 그 전자 장치
WO2019031621A1 (ko) 통화 중 감정을 인식하여 인식된 감정을 활용하는 방법 및 시스템
CN108804667A (zh) 用于呈现信息的方法和装置
WO2019221385A1 (ko) 대화용 애플리케이션의 운영 방법
WO2019132066A1 (ko) 다중 프로필을 제공하는 방법 및 시스템
WO2021025279A1 (ko) Ai 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템 및 방법, 및 컴퓨터 판독 가능한 저장매체
WO2023146030A1 (ko) 감성, 집중도, 대화를 통합한 인공지능 기반 상호작용 장치, 방법 및 프로그램
CN206892866U (zh) 具有情景分析功能的智能对话装置
WO2022108275A1 (ko) 인공지능을 활용한 가상 얼굴 생성 방법 및 장치
WO2021171449A1 (ja) サーバ装置、会議支援システム、会議支援方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15888550

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15888550

Country of ref document: EP

Kind code of ref document: A1