WO2024025038A1 - 얼굴 인식 기반 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템 및 방법 - Google Patents

얼굴 인식 기반 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템 및 방법 Download PDF

Info

Publication number
WO2024025038A1
WO2024025038A1 PCT/KR2022/016761 KR2022016761W WO2024025038A1 WO 2024025038 A1 WO2024025038 A1 WO 2024025038A1 KR 2022016761 W KR2022016761 W KR 2022016761W WO 2024025038 A1 WO2024025038 A1 WO 2024025038A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
emotional
emotional state
emotion
index
Prior art date
Application number
PCT/KR2022/016761
Other languages
English (en)
French (fr)
Inventor
임세라
Original Assignee
주식회사 마블러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 마블러스 filed Critical 주식회사 마블러스
Publication of WO2024025038A1 publication Critical patent/WO2024025038A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9014—Indexing; Data structures therefor; Storage structures hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Definitions

  • Embodiments of the present application relate to a system and method for measuring a user's relationship emotional index with respect to an interaction partner based on facial recognition.
  • the degree of closeness of the user's emotions (e.g., likeability) to another entity was measured based on the user's behavioral data.
  • the user's funnel, time spent on the store entity, number of searches for the same category, number of times the product was clicked, and for games, the funnel and time spent playing the game are used to measure the user's affinity for other user entities.
  • game frequency and time such as the number of conversations, etc.
  • This invention is a technology supported by the National IT Industry Promotion Agency's 2022 Metaverse Content Global Project Support Project (D0131-22-1002) "Project title: Strengthening overseas expansion capabilities based on the education Metaverse platform.”
  • embodiments of the present application seek to provide a system and method for measuring a relationship emotional index based on recognizing a user's facial reaction to an interaction partner with relative objectivity.
  • a method for measuring a user's relationship emotional quotient with respect to an interaction partner is performed by one or more computing devices.
  • the method includes designating a plurality of other users as a first type of interaction partner, a second type of interaction partner, and a third type of interaction partner, respectively, on a first electronic device of a first user; initiating interactive activity with a second user via telecommunication on the first electronic device, the interactive activity consisting of interactive actions implemented via each user's electronic device; capturing activity data, including one or more of data of images, voice, and text, of a first user on a first electronic device during an interactive activity; An emotional state score of the first user with respect to the second user is calculated from the activity data using a pre-trained emotion recognition model, and a relationship emotional index of the first user with respect to the second user is calculated based on the calculated emotional state score. It may also include a step of measuring.
  • the step of determining the emotional state score of the first user from the activity data of the first user includes determining the first emotion of the first user from the image data of the first user using a pre-trained image-based emotion recognition model. It may also include calculating a status score.
  • the image-based emotion recognition model is based on a face detection unit that detects a face area in an input image, a feature extraction unit that extracts user image features from the detected face area, and features extracted from a plurality of emotional states pre-specified in the model. It is a machine learning model that includes an emotion judgment unit that classifies the emotional state of the user indicated by the face in the input image.
  • the emotion judgment unit includes a first emotion judgment unit for determining the user's emotion type, and a second emotion judgment unit for determining the user's emotion type, and the image-based emotion recognition model determines features in the face area. It may be configured to extract and determine the user's emotion type as a first depth, and extract features from the face area to determine the user's emotion type as a second depth.
  • the step of determining the emotional state score of the first user from the activity data of the first user includes determining the second emotion of the first user from the text data of the first user using a pre-learned text-based emotion recognition model. calculating a state score and determining a second emotional state of the user from the user's text data; It may further include one or more steps of determining the user's third emotional state from the user's voice data using the text-based emotion recognition model or the pre-trained voice-based emotion recognition model.
  • the step of determining the emotional state score of the first user from the activity data of the first user includes, when two or more emotional states among the first to third emotional states of the user are determined, each of the two or more emotional states It may further include determining the user's final emotional state based on the probability value of being classified.
  • determining the final emotional state a higher first weight is assigned to the first emotional state determined from the image data, and a lower second weight is assigned to the second emotional state determined from the text data, The final emotional state may be determined based on an operation value obtained by applying the first weight to the value of the first emotional state and the second weight to the value of the second emotional state.
  • the step of measuring the relationship emotional index of the first user with respect to the second user based on the calculated emotional state score includes the calculated emotional state score of the first user with respect to the second user and the first user. It may also include calculating a relationship emotional index according to the type of interaction partner based on the number of interaction actions during the interaction activity between the user and the second user.
  • the step of calculating a relationship emotional index according to the type of counterpart includes calculating an affection index when the second user is a first type of interaction partner; When the second user is a second type of interaction partner, calculating a preference index; and calculating an affinity index when the second user is a third type of interaction partner.
  • the emotional state score is expressed as a judgment result of the emotional state and a probability value of the judgment result.
  • the method includes generating an emotion measurement history including identification information of the first user, identification information of the second user, emotional state score of the first user with respect to the second user, and relationship emotional index. More may be included.
  • the emotional state score includes emotional state information and a corresponding score value
  • the relationship emotional index includes index type information and a corresponding index value.
  • Generating the emotion measurement details includes building an emotion measurement database on a server; and updating already stored emotion measurement history with a new emotional state score and relationship emotional index.
  • the emotion measurement database is constructed separately from the user database that stores the user's personal information.
  • the emotion measurement database is constructed in a two-dimensional table structure in which one axis is the identification information of the first user and the other axis is the identification information of the second user.
  • the database address assigned to data stored in the two-dimensional table structure is expressed as a combination of the first user's identification information and the second user's identification information. Data stored in the database address includes the relationship emotional index and the determined emotional state.
  • the method may further include retrieving emotion measurement details for each of the plurality of second users from the server and displaying the interaction record on the electronic device.
  • the displaying step includes: receiving, by the first electronic device, a command to display an interaction record screen and transmitting a request for emotion measurement details of the first user to a server;
  • the server searches for data having the identification information of the first user as the database address from the emotion measurement database, and records the emotion measurement details for the second user who interacted with the first user based on the searched data and the database address of the searched data.
  • the interaction partner type information is derived and an interaction record screen including the derived interaction partner type information, the received relationship emotional index, and the determined emotional state is displayed.
  • the method determines the type of emotion that the first user has toward a nearby second user when the second user is within a certain distance in an online space or geographic space, and determines the type of emotion the first user has toward the second user. If the user's emotional type is positive, the method may further include transmitting the relationship emotional index of the first user with respect to the second user to the electronic device.
  • a computer-readable recording medium may record a program for performing the method of measuring the emotional index of a user's relationship with an interaction partner according to the above-described embodiments.
  • a system for measuring the emotional index of a relationship with an interaction partner based on facial recognition analyzes the degree of emotion a user has toward a second user expressed through facial expressions, thereby determining the entity of the interaction partner. Regardless of whether the information is exaggerated, the user's emotional state toward the second user may be objectively measured.
  • FIG. 1 is a schematic diagram of a system for measuring a user's relational emotional quotient for an interaction partner, according to one aspect of the present application.
  • FIG. 2 is a block diagram showing the configuration of an electronic device 110 according to an embodiment of the present application.
  • FIG. 3 is a block diagram showing the configuration of the server 130 according to an embodiment of the present application.
  • Figure 4 is a flowchart of a method for measuring a user's relationship emotional index with respect to an interaction partner, according to another aspect of the present application.
  • Figure 5 is a flowchart of a process for calculating a first emotional state score of a first user using an image-based emotion recognition model, according to an embodiment of the present application.
  • Figure 6 is a schematic diagram of a process for calculating the first emotional state score of Figure 5.
  • Figure 7 is a schematic diagram of a process for determining multiple emotional states of a first user, according to an embodiment of the present application.
  • Figure 8 is a detailed schematic diagram explaining the process of Figure 7 by depth.
  • Figure 9 is a flowchart of a process for determining the emotional state of the first user 100_1 using a text-based emotion recognition model, according to an embodiment of the present application.
  • Figure 10 is a schematic diagram of a process for determining the emotional state of the first user 100_1 using a voice-based emotion recognition model, according to an embodiment of the present application.
  • Figure 11 is a schematic diagram of a process for determining the emotional state of the first user 100_1 from various activity data using an integrated emotion recognition model, according to an embodiment of the present application.
  • Figure 12 is a schematic diagram of a process for calculating a relationship emotional index according to the type of interaction partner, according to an embodiment of the present application.
  • Figure 13 is a schematic diagram of a process for calculating a relationship emotional index using weights for each interaction activity, according to another embodiment of the present application.
  • Figure 14 shows a screen displaying an interaction record, according to an embodiment of the present application.
  • FIG. 15 is a schematic diagram of a process for transmitting content indicating the emotional state of the first user 100_1 to the second user 100_2, according to an embodiment of the present application.
  • Figure 16 shows a screen that displays one's positive emotional state to another nearby user, according to an embodiment of the present application.
  • expressions such as “have,” “may have,” “includes,” or “may include” refer to the corresponding features (e.g., numerical values, functions, operations, steps, parts, elements, and/or components). It refers to the presence of components such as etc.) and does not exclude the presence or addition of additional features.
  • Expressions such as “first,” “second,” “first,” or “second” used in various embodiments may modify various elements regardless of order and/or importance, and limit the elements. I never do that.
  • the above expressions can be used to distinguish one component from another.
  • the first component and the second component may represent different components, regardless of order or importance.
  • the expression “configured to” may mean, for example, “suitable for,” “having the capacity to,” or “having the capacity to.” ,” can be used interchangeably with “designed to,” “adapted to,” “made to,” or “capable of.”
  • the term “configured (or set) to” may not necessarily mean “specifically designed to” in hardware.
  • the expression “a device configured to” may mean that the device is “capable of” working with other devices or components.
  • the phrase “processor configured (or set) to perform A, B, and C” refers to a processor dedicated to performing the operations (e.g., an embedded processor), or executing one or more software programs stored on a memory device. By doing so, it may mean a general-purpose processor (eg, CPU or application processor) capable of performing the corresponding operations.
  • FIG. 1 is a schematic diagram of a system for measuring a user's relational emotional quotient for an interaction partner, according to one aspect of the present application.
  • the system 1 for measuring the emotional index of a user's relationship to an interaction partner may be entirely hardware, entirely software, or have aspects that are partly hardware and partly software.
  • a system may collectively refer to hardware equipped with data processing capabilities and operating software for running it.
  • terms such as “unit,” “system,” and “device” are intended to refer to a combination of hardware and software driven by the hardware.
  • the hardware may be a data processing device that includes a Central Processing Unit (CPU), Graphics Processing Unit (GPU), or other processor.
  • software may refer to a running process, object, executable, thread of execution, program, etc.
  • the system 1 for measuring the user's relationship emotional index with respect to the interaction partner includes a first electronic device 110_1 of the first user 100_1 and a second electronic device 110_1 of the second user 100_2. It includes a device 110_1 and a server 130.
  • the electronic device 110 and the server 130 are connected through a telecommunication network.
  • the telecommunication network provides a wired/wireless telecommunication path through which the electronic device 110 and the server 130 can transmit and receive data with each other.
  • a telecommunication network is not limited to a communication method according to a specific communication protocol, and an appropriate communication method may be used depending on the implementation example.
  • IP Internet Protocol
  • the telecommunication network may be implemented as a wired and/or wireless Internet network.
  • the electronic device 110 and the server 130 are implemented as mobile communication terminals
  • the telecommunication network may be implemented as a wireless network such as a cellular network or a wireless local area network (WLAN) network.
  • WLAN wireless local area network
  • the electronic device 110 is a client terminal device that communicates with the server 130 and includes at least one processor capable of processing data, a memory for storing data, and a communication unit for transmitting/receiving data.
  • Such electronic device 110 may be implemented as, for example, a laptop computer, other computing device, tablet, cellular phone, smart phone, smart watch, smart glasses, head mounted display (HMD), other mobile device, or other wearable device. there is.
  • the user 100 may be a first user 100_1 and a second user 100_2.
  • the second user 100_2 is the other party interacting with the first user 100_1.
  • the first user (100_1) is the subject whose relationship emotional index with respect to the second user (100_2) is measured during interactive activities. Since an interactive activity is an activity performed by the first user (100_1) and the second user (100_2), all users (100) are the first user (100_1) based on themselves and the second user based on the other party. It is (100_2).
  • the first electronic device 110_1 is an electronic device 110 corresponding to the first user 100_1.
  • the first electronic device 110_1 may refer to a terminal device that captures data of the first user 100_1 during interaction and measures the emotional index of the user's relationship with the second user.
  • the second electronic device 110_2 is an electronic device 110 corresponding to the second user 100_2.
  • the second electronic device 110_2 may refer to a terminal device that receives the emotional state score of the first user 100_1 with which it interacts.
  • all users 100 may simultaneously be reference objects and second users for which emotional state scores are measured, so the operations of the first electronic device 110_1 and the second electronic device 110_2 are controlled by a single electronic device ( 110) may all be performed.
  • FIG. 2 is a block diagram showing the configuration of an electronic device 110 according to an embodiment of the present application.
  • the electronic device 110 includes a memory 111, a communication unit 112, a processor 113, an input device 114, an output device 115, a camera 116, and a microphone 117. It may also include .
  • the memory 111 is connected to the processor 113 and can store data such as basic programs for operation of the processor 113, application programs, setting information, and information generated by operations of the processor 113.
  • the memory 101 may store an application for performing a system and method for measuring a user's relationship emotional index with respect to a facial recognition-based interaction partner.
  • the application may be linked to, or may be itself, an application in which an interactive activity is taking place so that the start and end of the interactive activity can be known.
  • the memory 111 may be comprised of volatile memory, non-volatile memory, or a combination of volatile memory and non-volatile memory. Additionally, the memory 111 may provide stored data according to the request of the processor 113. In addition, the memory 111 includes data received from the communication unit 112, data received from the input device 114, data captured by the camera module 116, voice data generated from the microphone 117, and processor 113. Data generated or processed can be stored permanently or temporarily.
  • the memory 111 is a Hard Disk Drive (HDD), Solid State Drive (SSD), Compact Disc (CD), Random Access Memory (RAM), Read Only Memory (ROM), and stores data permanently, semi-permanently, or temporarily. It may include, but is not limited to, various other storage devices.
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • CD Compact Disc
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the communication unit 112 is connected to the processor 113 to transmit and receive data, and can transmit and receive data with external devices such as another electronic device 110 or the service server 130. All or part of the communication unit 113 may be referred to as a transmitter, receiver, transceiver, communication unit, communication modem, or communication circuit.
  • the communication unit 112 uses wired access systems and wireless access systems such as the IEEE (institute of electrical and electronics engineers) 802.xx system, IEEE Wi-Fi system, 3rd generation partnership project (3GPP) system, and 3GPP LTE (long term evolution) system. , 3GPP 5GNR (new radio) system, 3GPP2 system, and Bluetooth can support at least one of various wireless communication standards.
  • the processor 113 may be configured to implement the procedures and/or methods proposed in the present invention.
  • the processor 113 may be configured to implement the procedures and/or methods proposed in the present invention.
  • the processor 113 may determine at least one executable operation of the electronic device 110 based on information determined or generated using a data analysis algorithm. Additionally, the processor 113 may control the components of the electronic device 110 to perform the determined operation. To this end, the processor 113 may request, retrieve, receive, or utilize data from the memory 111, and the electronic device 110 may execute a predicted operation or an operation determined to be desirable among the at least one executable operation. ) components can be controlled.
  • the processor 113 If linkage with an external device such as the service server 130 is necessary to perform the determined operation, the processor 113 generates a control signal to control the external device and sends the signal to the external device through the communication unit 112. The generated control signal can be transmitted.
  • This processor 113 may be implemented with at least one processor.
  • the processor 113 may include a CPU (Central processing unit) or a neuromorphic processor designed to be advantageous for artificial neural network calculations by incorporating neurons and synapses of the human brain.
  • CPU Central processing unit
  • neuromorphic processor designed to be advantageous for artificial neural network calculations by incorporating neurons and synapses of the human brain.
  • the input device 114 is a component configured to receive commands related to user input.
  • the input device 114 may include a touch unit or other input unit.
  • the touch unit is a component that uses a part of the user's body or another object as a pointing object to input a buyer command.
  • the touch unit may include, but is not limited to, a pressure-sensitive or electrostatic sensor.
  • the other input units include, for example, buttons, keyboards, dials, switches, sticks, etc.
  • the output device 115 is a component that outputs information stored and/or processed in the electronic device 110.
  • the output device 115 may include a display device and/or a speaker.
  • the display device is a component that displays execution screen information of an application running on the electronic device 100, or UI (User Interface) and GUI (Graphic User Interface) information according to such execution screen information, for example, LCD. , OLED, flexible screen, etc., but is not limited thereto.
  • UI User Interface
  • GUI Graphic User Interface
  • the input device 114 and the output device 115 are separated in FIG. 2, in many embodiments, the input device 114 and the output device 115 are implemented as a single component to receive input and output information. It can be.
  • the input device 114 and the output device 115 may be a touch panel implemented as a touch screen forming a layer structure with a screen. Touch input is input by a pointing object (eg, including the user's body, a tool, etc.).
  • the speaker may output audio data processed by the electronic device 110 as sound waves.
  • the camera module 116 captures a subject and obtains an image frame such as a still image or video.
  • the acquired image frame may be displayed on the display of the output device 116, transmitted to an external device through the communication unit 112, processed by the processor 103, or stored in the memory 111.
  • the camera module 116 includes a photographing unit that generates an image of an object in response to wavelengths.
  • the camera module 116 may include an RGB sensor to obtain an RGB image.
  • the camera module 116 may be further configured to include an IR sensor or a depth sensor to additionally acquire an IR image or a depth image.
  • the microphone module 117 can receive sound waves and convert them into electrical voice data. Meanwhile, various noise removal algorithms may be applied to the microphone module 117 to remove noise in the process of receiving external sound waves.
  • the first user 100_1 and the second user 100_2 may access an online space through a telecommunication network and perform interactive activities with each other. there is.
  • the online space is a virtual space where interactive activities take place, where the user 1001 uploads the operation results of the first electronic device 1101 and the second user 1002 operates the second electronic device 1102. Refers to a space where you can check.
  • the online space may be implemented through a matching application such as a metaverse application, social media application, or dating app, or may be implemented on the web.
  • Metaverse is a compound word of meta, meaning processing and abstraction, and universe, meaning the real world. It generally refers to a virtual space that delivers stimuli and implements responses that are the same or similar to the real world. Depending on the topic, the metaverse can be a game or a business system suited to a specific domain. Alternatively, the metaverse may be implemented in the form of a library for reading books, a shopping mall, or a museum with various tangible experiences, depending on its form.
  • metaverse By accessing the metaverse and interacting with it, you experience various activities within the metaverse. For example, users may interact with the metaverse by manipulating their avatar within the metaverse. Interaction between the user and the metaverse includes interacting with another user's avatar through the user's avatar.
  • the first electronic device 1101 is configured to specify different first type interaction partners, second type interaction partners, and third type interaction partners through the input device 114. .
  • the first electronic device 110_1 is configured to capture activity data including images, text, and voice of the user during interactive activities through the camera 116, microphone 117, and input device 114. do.
  • the activity data is data captured while interacting with the second user 100_2 in an online space.
  • the activity data may include one or more of image, voice, and text data of the first user 100_1 captured during interactive activity.
  • the image of the first user 100_1 is an image of the face of the first user 100_1 during an interactive activity.
  • the image of the first user 100_1 may be captured instantaneously during the interaction activity, or may be captured during part or all of the total time of the interaction activity.
  • the image may be an individual image within a series of images, such as a video, or a still image.
  • the image of the first user 100_1 may be a still image.
  • the still image may be taken in response to watching content or the actions of the second user 100_2 in an online space.
  • the image of the first user 100_1 may be a frame image of a video captured during part or all of the total time of the interactive activity.
  • the image of the user 100_1 may be captured in response to the occurrence of an interactive action that constitutes an interactive activity.
  • the image of the first user 100_1 is captured when a chat message is sent to the second user 100_2 or a chat message is received from the second user 100_2.
  • the voice of the first user 100_1 includes voice related to the interactive activity of the first user 100_1, such as voice chatting, exclamation, reciting the content of the interactive activity, etc.
  • the text of the first user 100_1 includes text related to the interactive activities of the first user 100_1, such as text chatting.
  • the first electronic device 110_1 calculates the emotional state index of the first user 100_1 and calculates the emotional state index for the interaction partner 1002 of the first user 100_1 according to the type of the interaction partner 1002. It may also be configured to measure.
  • the first electronic device 110_1 calculates the emotional state score of the first user 100_1 with respect to the second user 100_2 from the activity data of the first user 100_1, and sends the calculated emotional state score to the second user 100_2.
  • the relationship emotional index may be measured based on the emotional state score of the first user 100_1 and the number of emotional state judgments during the interaction activities between the first user 100_1 and the second user 100_2.
  • the relationship emotional index may be measured according to the type of the second user 100_2.
  • the relationship emotional index quantifies the degree to which the first user (100_1) feels the emotional closeness of the relationship between himself and the second user (100_2).
  • the relationship emotional index is measured by recognizing the emotional state from the expressed facial expression when the emotion felt by the first user 100_1 according to the relationship between the first user 100_1 and the second user 100_2 is expressed through facial expression.
  • the recognition result of the emotional state may be quantified and calculated as an emotional state score.
  • the relationship emotional index may be classified according to the social relationship between the first user 100_1 and the second user 100_2. In certain embodiments, the relationship emotional index may be classified into intimacy, likeability, or affection according to the second user 100_2.
  • the degree of affection is calculated when the social relationship between the first user (100_1) and the second user (100_2) is family or a relationship that may develop into a family (e.g., lover, fiancé). Indicates the emotional index of the relationship between 2 users (100_2).
  • the family may include blood/legal family or relatives living together in one place.
  • another user in a romantic relationship may be referred to as a first type of second user 100_2.
  • the likeability indicates the emotional index of the relationship between the first user (100_1) and the second user (100_2) when the first user (100_1) registers a social relationship between himself and the second user (100_2) as friends.
  • another user in a friend relationship may be referred to as a second type of second user 100_2.
  • Intimacy represents the emotional index of the relationship between the first user (100_1) and other users (100) excluding the first type of second user (100_2) and the second type of second user (100_2).
  • the remaining other users 100 may also be referred to as a third type of second user 100_2.
  • the third type of second user 100_2 may be a co-worker or a person with whom the user has no acquaintance.
  • the first electronic device 110_1 may calculate the emotional state score of the first user 100_1 using a pre-stored emotion recognition model.
  • the emotional state score quantifies the emotional state that the first user 100_1 is determined to have toward the second user 100_2 during the interaction activity.
  • the emotional state score is expressed as a judgment result of the emotional state and a probability value of the judgment result.
  • the emotion recognition model may be an image-based emotion recognition model, a text-based emotion recognition model, or an integrated emotion recognition model.
  • the integrated emotion recognition model is configured to recognize the emotional state of the first user 100_1 from two or more of the image data, text data, and voice data of the first user 100_1.
  • FIG. 3 is a block diagram showing the configuration of the server 130 according to an embodiment of the present application.
  • Server 130 is a number of computer systems or computer software implemented as network servers.
  • a network server is a computer system and computer that is connected to a sub-device that can communicate with other network servers through a computer network such as a private intranet or the Internet, receives a request to perform a task, performs the task, and provides a performance result.
  • a computer network such as a private intranet or the Internet
  • receives a request to perform a task performs the task, and provides a performance result.
  • the server 130 may be implemented as any type or combination of types of computing devices, such as a network server, web server, file server, supercomputer, desktop computer, etc.
  • the server 130 includes at least one processor capable of processing data, a memory for storing data, and a communication unit for transmitting/receiving data.
  • the server 130 may include a memory 131, a communication unit 132, and a processor 133.
  • the memory 131 may store personal information of each user 100.
  • the personal information of the user 100 may include identification information, name, profile image, etc. of the user 10 within the system.
  • the identification information may include a user ID and other identification codes.
  • the memory 131 may store an emotional state in which the emotional state score of the first user 100_1 relative to the second user 100_2 is recorded.
  • the memory 131 may be configured with a user database recording personal information of a plurality of users 100 and/or an emotion measurement database including emotion measurement details of each of the plurality of users 100.
  • Each emotion measurement history includes the measured emotional state score.
  • the emotion measurement details may further include emotion type and emotion type.
  • the emotion measurement database may be constructed in a two-dimensional table structure in which one axis contains identification information of the first user (100_1) and the other axis contains identification information of the second user (100_2).
  • the database address assigned to data stored in the structure may be expressed as a combination of the identification information of the first user (100_1) and the identification information of the second user (100_2).
  • Data stored in the database address may include a relationship emotional index and a determined emotional state.
  • the relationship sentiment index may include a cumulative relationship sentiment index.
  • the determined emotional state may include the most recently determined emotional state.
  • the identification information of the first user (100_1) and the identification information of the second user (100_2) do not need to be stored individually in each space within the structure, but are naturally acquired in the process of searching the corresponding database address.
  • the emotion measurement database is built separately from the user database. Emotion measurement values in the emotion measurement database may accumulate and change, resulting in relatively large changes. In this way, when databases where data changes occur relatively frequently are dualized, power and time consumed during change update operations can be minimized.
  • the server 130 receives some of the personal information (e.g., identification information, name) of the second user 100_2 related to the first user 100_1 from the first electronic device 110_1 of the first user 100_1.
  • the emotion measurement details matching the request may be transmitted to the first electronic device 110_1 of the first user 100_1.
  • the server 130 when the server 130 receives an emotion notification request including the emotional state of the first user 100_1 from the first electronic device 110_1 of the first user 100_1, the server 130 sends a request based on the emotion notification request.
  • a message containing content corresponding to the emotional state may be transmitted to the second electronic device 110_2 of the interaction partner.
  • the system 1 for measuring the emotional quotient of a user's relationship to an interaction partner may include other components.
  • the system 1 for measuring the emotional quotient of a user's relationship to the interaction partner may operate as described herein, including an input device for data entry and an output device for printing or other data display. It may also include other hardware elements required for .
  • it further includes a network, network interface, and protocol connecting the system 1 for measuring the emotional index of the user's relationship with the interaction partner and an external device (e.g., a user terminal, an external database, etc.) can do.
  • an external device e.g., a user terminal, an external database, etc.
  • Figure 4 is a flowchart of a method for measuring a user's relationship emotional index with respect to an interaction partner, according to another aspect of the present application.
  • the method of measuring the user's relationship emotional index with respect to the interaction partner involves each electronic device 110 of a plurality of users 100 inputting the personal information of the user 100 to the server 130. ) includes a registration step (S401).
  • the personal information may be used to construct a UI screen that displays emotional state information or relationship emotional index.
  • the personal information may include identification information, name, profile image, etc. of the user 100 within the system.
  • the profile image may be an avatar image or a captured image indicating the user.
  • the method of measuring the user's relationship emotional index with respect to the interaction partner includes selecting the other user 100 on the first electronic device 110_1 of the first user 100_1 as a first type of interaction partner, and a second type of interaction partner. It includes a step (S410) of designating a type of interaction partner and a third type of interaction partner.
  • a plurality of other users may be designated as the first type of interaction partner, the second type of interaction partner, and the third type of interaction partner, respectively.
  • the first electronic device 110_1 may designate another user as the first type of user if the other user is in a romantic relationship. Additionally, in step S410, the first electronic device 110_1 may designate another user as a second type of user if the other user is a friend. Other users who are not designated as the first type of user or the second type of user may be automatically designated as the third type of user.
  • the step (S410) includes searching for at least another user who is a friend from the server 130 or memory 111 through the activity history of the online space; and designating other searched users as a first type of interaction partner, a second type of interaction partner, and a third type of interaction partner.
  • the method of measuring the user's relationship emotional index with respect to the interaction partner includes initiating an interaction activity with a second user through electrical communication in the first electronic device 110_1 (S420).
  • the interactive activities take place in the aforementioned online space.
  • the interactive activity consists of the action(s) of each user (1001, 1002).
  • the interactive activity may consist of interactive actions implemented through each user's electronic device.
  • chat activity consists of video messages, voice messages, and text messages from one user (1001 or 1002) to another user (1002 or 1001).
  • the interactive activity may take place between a first user and one or more second users.
  • interaction activity is conducted with a plurality of second users, the relationship emotional index of the first user with respect to each second user may be measured individually.
  • the method of measuring the user's relationship emotional index with respect to the interaction partner includes capturing activity data including one or more of images, voices, and text of the first user on the first electronic device 110_1 during the interaction activity. It includes a step (S430).
  • the activity data may be activity content data or activity response data.
  • Activity response data is data that captures changes in the user's body in response to the second user's actions.
  • the activity response data may be image data and/or voice data.
  • the first electronic device 110_1 may display an image of the user, such as an exclamation, or an image of the user in response to an action of the second user transmitted through the second electronic device 110_2 in an interactive activity. can also be captured (S430).
  • Activity content data is data input by the first user to proceed with the activity.
  • the activity content data may be image, voice, or text data.
  • the first electronic device 110_1 may capture the face and voice of the first user for video chatting (S430).
  • the first electronic device 110_1 may capture the first user's text to write chat content (S430).
  • the Earlsim method calculates the emotional state score of the first user (100_1) with respect to the second user (100_2) from the activity data using a pre-learned emotion recognition model, and based on the calculated emotional state score, the first user (100_1) It includes measuring the relationship emotional index of the first user 100_1 with respect to the second user 100_2 (S440).
  • Calculating the emotional state score in step S440 quantifies the emotional state determined at the time the activity data is captured.
  • the calculation result of the emotional state score includes a first value representing the determined emotional state and a second value quantifying the determined emotional state.
  • step S440 may be performed in the first electronic device 110_1.
  • the emotion recognition model may be an image-based emotion recognition model, a voice-based emotion recognition model, a text-based emotion recognition model, or an integrated emotion recognition model.
  • the step (S440) includes calculating a first emotional state score of the user from image data of the first user, calculating a second emotional state score of the first user from text data of the first user, and first It may also include one or more steps of calculating the third status score of the first user from the user's voice data.
  • Each of the first to third emotional states is merely for distinguishing the type of raw activity data used for determination, and both the first to third emotional states represent results of predicting the emotional state of the first user.
  • FIG. 5 is a flowchart of a process for calculating the first emotional state score of a first user using an image-based emotion recognition model according to an embodiment of the present application
  • FIG. 6 is the first emotional state score of FIG. 5 This is a schematic diagram of the process of calculating .
  • the first electronic device 110_1 may determine the first emotional state of the first user by inputting the image of the first user into a previously learned image-based emotion recognition model.
  • the image-based emotion recognition model includes a face detection unit that detects a face area in an input image, a feature extraction unit that extracts user image features from the detected face area, and features extracted from a plurality of emotional states pre-specified in the model. It is a machine learning model that includes an emotion judgment unit that classifies the user's emotional state indicated by the face in the input image based on it.
  • the machine learning model has a neural network structure.
  • the face detection unit may detect the face area of the first user through various face area detection algorithms.
  • the face area detection algorithm may include, for example, Haar, Neural Network (NN), Support Vector Machine (SVM), Gabor, or SIFT, but is not limited thereto and may be other area detection algorithms.
  • the image features of the first user may include landmarks within the first user's face.
  • the landmarks are information related to facial anatomical features such as eyes, nose, mouth, ears, etc.
  • the landmark has a constant relative position within the face, and there is little change in the geometric relationship depending on the facial pose.
  • the pose represents the facial expression, or the rotation direction or tilt angle of the face. Extracting a landmark includes identifying the landmark and calculating location information of the identified landmark.
  • the image features of the first user include geometric features that can be expressed as corners and edges.
  • the geometric feature may include edges connecting landmarks.
  • the edge may be a corner point that has not been extracted as the landmark.
  • the feature extraction unit may extract image features of the first user through various feature extraction algorithms.
  • the feature extraction algorithm may include, for example, Active Contour Model (ACM), Active Shape Model (ASM), Active Appearance model (AAM), Supervised Descent Method (SDM), or a neural network configured to extract image features.
  • ACM Active Contour Model
  • ASM Active Shape Model
  • AAM Active Appearance model
  • SDM Supervised Descent Method
  • the neural network configured to extract the image features may be a neural network including a convolutional layer or other low-dimensional filter layer.
  • the emotion determination unit has a neural network structure configured to determine the emotional state of the first user by inferring a correlation between features extracted from an input image and the emotional state.
  • the emotion determination unit calculates the probability that the first user corresponding to the input feature will be classified into each of a plurality of emotional states pre-specified in the model based on the input feature, and determines the emotion of the first user based on the calculated probability. You can also judge the status.
  • the emotional state with the highest calculated probability value may be determined to be the emotional state of the first user.
  • the neural network structure may be, for example, a fully connected layer or MLP (Multi-layer Perceptron), but is not limited thereto and may be other NN structures.
  • MLP Multi-layer Perceptron
  • the emotion recognition model may be trained in advance using a training data set consisting of a plurality of training samples. Each training sample has training data and label data, respectively.
  • the training data includes sample image data of the first user.
  • the label data may be the actual emotional state of the first user at the time of capturing the sample image.
  • the emotion recognition model When training data for each training sample is input, the emotion recognition model computes the training data with internal parameters and calculates a result value (i.e., predicted emotional state). The parameters of the emotion recognition model are learned so that the error between the calculation result value and the value of the label data (actual emotional state) is further reduced.
  • the trained emotion recognition model has parameters that minimize the error.
  • a pre-trained emotion recognition model may be one in which an emotion judgment unit has been learned. At least one of the face detection unit and the feature extraction unit may use an already published algorithm without additional learning.
  • the emotion judgment unit may be trained in advance using a training data set consisting of a plurality of training samples.
  • Training data in the training sample includes sample feature data extracted from the face area in the input image.
  • the label data may be the actual emotional state of the first user at the time of capturing the sample image from which the sample feature is extracted.
  • the emotion recognition model may be configured to determine multiple emotional states according to a training data set.
  • the multiple emotional states include emotional states of a first depth and emotional states of a second depth.
  • FIG. 7 is a schematic diagram of a process for determining multiple emotional states of a first user according to an embodiment of the present application
  • FIG. 8 is a detailed schematic diagram explaining the process of FIG. 7 by depth.
  • the first electronic device 110_1 may determine at least one of an emotion type and an emotion type as the emotional state of the first user 100_1.
  • the first electronic device 110_1 detects a face area in the image of the first user 100_1, extracts features from the face area, determines the emotion type of the first user 100_1 as the first depth, and It may be configured to extract features from the face area and determine the type of emotion of the first user 100_1 as the second depth.
  • the emotion types include positive and negative.
  • the emotion type may include only positive and negative, or may include positive, neutral, and negative as shown in FIG. 8.
  • the emotion type is a more detailed division of the emotional state in a different dimension from the emotion type.
  • the emotion types may include 7 types as shown in FIG. 8.
  • the number of emotion types in FIG. 8 is merely illustrative, and the types and number may change depending on embodiments.
  • the emotion recognition model may include a first emotion determination unit for determining the emotion type of the first user (100_1) and a second emotion determination unit for determining the emotion type of the first user (100_1). there is.
  • the first emotion judgment unit and the second emotion judgment unit may be learned using training data sets containing different label data.
  • Each label data in the training data set of the first emotion judgment unit may indicate positive, negative, or neutral.
  • Label data in the training data set of the second emotion judgment unit may represent one of seven types of emotions.
  • the process of determining the emotion type and/or emotion type as an emotional state by the emotion judgment unit learned using this training data set is similar to the process of FIGS. 4 and 5, and therefore detailed description will be omitted.
  • the first electronic device 110_1 uses a single text-based emotion recognition model to collect voice data of the first user 100_1 and/or test the first user 100_1.
  • the second and third emotional states of the first user 100_1 may be determined from the data.
  • Figure 9 is a flowchart of a process for determining the emotional state of the first user 100_1 using a text-based emotion recognition model, according to an embodiment of the present application.
  • the first electronic device 110_1 determines the second emotional state of the first user 100_1 by inputting text data of the first user 100_1 into a pre-learned text-based emotion recognition model. You can also (S440).
  • the text data of the first user (100_1) is the text data of the first user (100_1) in the activity data, or the voice data of the first user (100_1) in the activity data is converted into text format. It may be.
  • the first electronic device 110_1 may include a speech-to-text (STT) unit that converts input voice into text.
  • the STT unit is configured to extract voice features from voice data and calculate text corresponding to the voice data based on the extracted voice features.
  • the STT unit may be comprised of an artificial neural network.
  • the parameters of the STT unit may have values for converting the language speech of the training data set into language text by the learning method of the machine learning model.
  • the text-based emotion recognition model tokenizes the input text into a plurality of tokens, calculates a text vector by embedding each of the plurality of tokens, and calculates the input text based on the text vector calculated from a plurality of emotional states pre-specified for the model. It is a machine-learned natural language processing model configured to classify the emotional state of the first user (100_1) indicated by .
  • the natural language processing model for example, BERT (Bidirectional Encoder Representations from Transformers), ELECTRA (Efficiently Learning an Encoder that Classifies Token Replacements Accurately), tokenizes and embeds the input text word by word, or tokenizes it. It may be configured to segment and embed words into larger units of text (e.g., phrases, sentences, paragraphs, etc.) and/or encode them in token order.
  • the natural language processing model is not limited to the above-described model and may have various structures capable of calculating text vectors from input text.
  • the parameters of the natural language processing model may be designed in advance to have values for processing the target language.
  • the preprocessing unit may include Colbert, Electra, or other natural language processing models designed to process Korean language.
  • the text vector corresponds to the image features of the first user 100_1 in FIG. 5. Accordingly, the natural language processing model is learned using training data including the text vector.
  • the first electronic device 110_1 may further include a text pre-processing unit.
  • the first electronic device 110_1 converts text data of the first user 100_1 in the activity data, or voice data of the first user 100_1 in the activity data into text format, to a text-based emotion recognition model. Before input, it may be preprocessed by a text preprocessing unit. Then, the pre-processed text is input into the text-based emotion recognition model.
  • the text pre-processing unit may be configured to extract and remove preset special symbols and stop word texts from a corpus of text to be pre-processed, and/or perform normalization processing, before tokenization. However, it is not limited to this and various other text preprocessing operations may be performed.
  • the text preprocessing unit may use reference texts pre-registered as special symbols and stop words to check whether the text corpus to be preprocessed includes texts corresponding to special symbols and stop words. .
  • the text preprocessing unit may remove special symbols and stop words from the text corpus and perform a tokenization operation.
  • the normalization process includes a cleaning process and/or a regular expression process to remove noise data from the existing corpus.
  • the first electronic device 110_1 preprocesses text data of the first user 100_1, inputs the preprocessed text into a pre-trained text-based emotion recognition model, processes the embedding of the input text, and calculates a feature vector. After calculating each probability value that the feature vector will be classified based on the feature vector, the second emotional state of the first user 100_1 may be determined based on the calculated probability value.
  • Figure 10 is a schematic diagram of a process for determining the emotional state of the first user 100_1 using a voice-based emotion recognition model, according to an embodiment of the present application.
  • the first electronic device 110_1 is further configured to determine the 3-2 emotional state of the first user 100_1 from a voice signal in the voice data of the first user 100_1. It may be configured.
  • the step of calculating the emotion of the first user (100_1) from the voice data includes converting the voice data of the first user (100_1) into text data, and converting the converted text data into the previously learned text-based data of FIG. 8. determining the 3-1 emotional state of the first user (100_1) using an emotion recognition model; And/or determining the 3-2 emotional state of the first user 100_1 from the voice data of the first user 100_1 using the pre-trained voice-based emotion recognition model of FIG. 10. .
  • the first electronic device 110_1 converts the voice data of the first user 100_1 into text data, preprocesses the converted text data, and inputs the preprocessed text into a previously learned text-based emotion recognition model to create the input text. Calculate feature vectors by embedding, calculate probability values for each feature vector to be classified based on the calculated feature vectors, and then calculate 3-1 of the first user 100_1 based on the calculated probability values. Can also determine emotional state
  • the voice-based emotion recognition model is configured to extract voice features from an input signal and classify the emotional state of the first user (100_1) indicated by the input signal based on the voice features extracted from a plurality of emotional states pre-specified in the model, It is a machine learning model.
  • the machine learning model has a neural network structure that extracts and classifies features from signals.
  • the voice-based emotion recognition model may have a Convolutional Neural Network (CNN) or other NN structure.
  • CNN Convolutional Neural Network
  • determining the 3-2 emotional state of the first user 100_1 includes removing noise from a voice signal; And it may include inputting the noise-removed voice signal into a voice-based emotion recognition model.
  • the first electronic device 110_1 may include a voice pre-processing unit that removes noise from the voice signal before extracting voice features. Then, the pre-processed voice signal is input to the voice-based emotion recognition model.
  • the emotion recognition model of Figures 9 and 10 may also be configured to determine multiple emotional states according to a training data set.
  • the multiple emotional states include emotional states of a first depth and emotional states of a second depth.
  • the first electronic device 110_1 processes the text and voice of the first user 100_1, determines the emotional type of the first user 100_1 as the first depth, and processes the text and voice of the first user 100_1. It may be configured to process and determine the type of emotion of the first user 100_1 as the second depth.
  • Figure 11 is a schematic diagram of a process for determining the emotional state of the first user 100_1 from various activity data using an integrated emotion recognition model, according to an embodiment of the present application.
  • the integrated emotion recognition model includes two or more models among the image-based emotion recognition model of FIG. 5, the text-based emotion recognition model of FIG. 9, and the voice-based emotion recognition model of FIG. 10 as sub-models.
  • the integrated emotion recognition model may recognize the emotional state of the first user 100_1 from two or more of the image data, text data, and voice data of the first user 100_1.
  • the first electronic device 110_1 determines the first emotional state of the first user 100_1 by inputting image data of the first user 100_1 in the activity data into a pre-learned image-based emotion recognition model, and determines the first emotional state of the first user 100_1,
  • the second emotional state of the first user (100_1) is determined by inputting the text data of the first user (100_1) into a pre-trained text-based emotion recognition model, and the voice data of the first user (100_1) in the activity data is Convert it to text data and input it to the pre-trained text-based emotion recognition model to determine the 3rd-1st emotional state, or input the voice data of the first user (100_1) to the pre-trained voice-based emotion recognition model to determine the 3rd-1st emotional state.
  • -2 Can also judge emotional state.
  • the step (S440) is, when a plurality of emotional states among the first to third emotional states of the first user 100_1 are determined, a probability value of being classified into each of the plurality of emotional states (for example, the determined first to third emotional states) is determined. determining the final emotional state of the first user 100_1 based on a probability value of being classified as an emotional state, a probability value of being classified as a determined second emotional state, and a probability value of being classified as a determined third emotional state) Includes.
  • the first electronic device 110_1 may determine the final emotional state of the first user 100_1 based on each probability value of being classified as an emotional state determined by the emotion recognition model.
  • the first electronic device 1101 may determine the emotional state of the first user 100_1 more truthfully by assigning different weights according to activity data.
  • a person's emotional state appears more truthfully in aspects that are not exposed to others. In particular, people tend to hide their negative emotional states from others. Since the activity data used in the interaction activity of the first user 100_1 is exposed to other first users 100_1, it may indicate a completely false emotional state or indicate that the level of the emotional state is somewhat suppressed even if it is a true emotional state. It may be possible.
  • the first electronic device 1101 assigns a lower weight to the emotional state determined from the activity data used in the interaction activity of the first user 100_1 and uses it in the interaction activity of the first user 100_1. It may be configured to assign a higher weight to the emotional state determined from unresolved activity data.
  • Data used in interactive activities are data required for interactive activities.
  • the data used for the interactive activity may be data for interactive activity content.
  • the activity data that is not used in the interactive activity of the first user 100_1 is image data, and is used in the interactive activity of the first user 100_1.
  • the activity data provided is text data.
  • the emotion analysis module 240 assigns a higher first weight to the first emotional state determined from the image data and a lower second weight to the second emotional state determined from the text data.
  • the final emotional state may be determined based on a calculation value obtained by applying the first weight to the value of the first emotional state and the second weight to the value of the second emotional state. The emotional state with the closest value to the calculation value may be determined as the final emotional state.
  • the emotion analysis module 240 may include an ensemble unit (ensemble learning).
  • the ensemble unit is configured to calculate the emotional state of the first user (100_1) by comprehensively inferring the correlation between the judgment results of a plurality of individual emotion recognition models and the emotional state of the first user (100_1).
  • the ensemble unit may be configured to use voting, bagging, boosting, or stacking methods.
  • the emotion analysis module 240 may determine the final emotional state of the first user 100_1 by applying a calculation result of applying the value of the corresponding emotional state to the weight assigned according to the activity data to the ensemble unit.
  • the training data used to learn the image-based emotion recognition model of FIG. 5, the text-based emotion recognition model of FIG. 9, the voice-based emotion recognition model of FIG. 10, and the integrated emotion recognition model of FIG. 11 are each model
  • information on the type of interaction partner of the second user 100_2 may be further included. Emotions are expressed in response to activity content, such as a joke, or expression style, such as tone of voice, and the emotional state expressed at this time may differ depending on the interaction partner giving the same response.
  • the first user 100_1 who received a joke from a first type of interaction partner with whom a social relationship is deep, may be judged to have a positive emotional state, while a joke of the same content may be judged by a third user with whom a social relationship is not deep.
  • the negative emotional state of the first user 100_1 may be determined as the same type of interaction received from the other party.
  • the emotion recognition model of the present application is trained to take into account the type of interaction partner, thereby more accurately determining the emotional state of the first user during the interaction activity.
  • the first emotional state determined in this way is determined from the interaction activity with the second user 100_2, it is related to the emotional state score of the first user 100_1 with respect to the second user 100_2.
  • the first electronic device 110_1 may calculate the value of the emotional state score based on the probability value of being classified as the determined emotional state.
  • the probability value (e.g., 0.9) of the emotional state being classified as positive is set to the emotional state. It can also be calculated as a score value.
  • the first electronic device 110_1 may convert the probability value of being classified into the determined emotional state into a pre-designated scale range and calculate the value of the emotional state score. For example, the first electronic device 110_1 may convert the probability value into a percentage and calculate the value of the emotional state score.
  • the calculated emotional state score of the first user 100_1 is used to measure the relationship emotional index.
  • the determined emotional state information (eg, emotion type, type of emotion) of the first user 100_1 may be announced to the second user 100_2.
  • a representative emotional state for the single interaction activity may be determined.
  • the first electronic device 110_1 may determine the most judged emotional state among two or more emotional states as the representative emotional state.
  • the first electronic device 110_1 represents an emotional state that lasts the longest among two or more emotional states and the highest probability value among the probability values of each of the two or more emotional states is calculated during the duration. You can also judge by your emotional state.
  • the step (S440) of measuring the relationship emotional index of the first user 100_1 with respect to the second user 100_2 based on the calculated emotional state score includes the calculated second user ( The emotional state score of the first user (100_1) with respect to 100_2) and the relationship emotional index according to the type of interaction partner based on the number of interaction actions during the interaction activities of the first user (100_1) and the second user (100_2) can also be measured.
  • the relationship emotional index may be measured according to the type of interaction partner of the second user 100_2.
  • the relationship emotional index may be classified into an index type corresponding to the type of interaction partner.
  • the index type may include affection, likeability, and/or intimacy.
  • the step (S440) includes calculating an affection index when the second user 100_2 is a first type of interaction partner; When the second user 100_2 is a second type of interaction partner, calculating a preference index; And when the second user 100_2 is a third type of interaction partner, it may include calculating an affinity index.
  • the relationship emotional index may include index type information and its value. Additionally, in some embodiments, the relationship emotional index may further include type information of the interaction partner.
  • Figure 12 is a schematic diagram of a process for calculating a relationship emotional index according to the type of interaction partner, according to an embodiment of the present application.
  • the affection index, favorability index, and intimacy index may be calculated for each interaction activity.
  • the equation for calculating the value of the relationship emotional index for each type may be the same.
  • the first electronic device 110_1 may measure the number of interactive actions of the first user 100_1 during one interaction activity and the emotional state score of the first user 100_1 with respect to the second user 100_2.
  • the product of the values of can also be calculated as the value of the relationship emotional index. If a plurality of emotional state determination operations are performed during a single interaction activity and two or more emotional states are determined, the value of the emotional state score related to the representative emotional state is applied to the equation of FIG. 12.
  • the value of the emotional state score may be calculated based further on the determined emotional state information. As shown in FIG. 12, a weight corresponding to the determined emotional state information may be additionally multiplied. The weight may have a first positive value when the determined emotion type is positive. The weight may have a first negative value when the emotion type is negative. In some embodiments, when the determined emotion type is neutral, the weight may be any value between a first negative value and a first positive value. In some embodiments, the weight may be 0 when the determined emotion type is neutral.
  • Figure 13 is a schematic diagram of a process for calculating a relationship emotional index using weights for each interaction activity, according to another embodiment of the present application.
  • the system 1 for measuring the emotional index of a user's relationship with the interaction partner may preset index weights for each interaction activity.
  • the index weight has a higher index weight as it is better conveyed or amplified through the first user's (100_1) interactive activity.
  • voice chat may be set to have a higher exponential weight than text chat.
  • text chat which can transmit richer content, may be set to have a higher index weight than emoticon chat or gesture chat.
  • the lowest index weight may be set for interactive activities in which the user's emotional state is difficult to determine based on interactive activity behavior alone (for example, common participation in an event or common stay in a space).
  • the method of measuring the user's relationship emotional index with respect to the interaction partner includes at least some of the personal information of the first user (100_1), at least some of the personal information of the second user (100_2), and the second user (100_2). It may also include generating emotional measurement details including the emotional state score and the relationship emotional index of the first user 100_1 with respect to the user 100_2 (S450).
  • the system 1 for measuring the user's relationship emotional index with respect to the interaction partner when the relationship emotional index is measured in the step S440, at least part of the personal information of the first user 100_1, the second user 100_2 ), an emotional state score of the first user (100_1) with respect to the second user (100_2), and a relationship emotional index may be generated and stored in the server 130.
  • the emotional state score includes emotional state (type, type) information and a score value.
  • the relationship emotional index includes index type information and index value.
  • the step of generating the emotion measurement details may include building an emotion measurement database in the server 130.
  • step of generating the emotion measurement details may further include updating the already stored emotion measurement details with a new emotional state score and relationship emotional index.
  • the server 130 collects at least some of the personal information (e.g., identification information) of the first and second users 100_1 and 100_2 according to individual interaction activities, and information about the second user 100_2. 1
  • the emotional state score and relationship emotional index of the user 100_1 are received from the first electronic device 110_1, and the existing emotional state score and existing relationship emotional index stored in the emotion measurement history are converted into a new emotional state score and relationship emotional index.
  • the cumulative emotional state score and relationship emotional index may be updated by summing with the index.
  • the method of measuring the user's relationship emotional index with respect to the interaction partner includes the relationship emotional index of the first user 100_1 with respect to the second user 100_2 measured in step S440. It further includes displaying on the first electronic device 110_1 (S460). In some embodiments, step S460 may be performed after step S450 or may be performed simultaneously.
  • the first user 100_1 can view the calculated relationship emotional index (e.g., likeability index) through the output device 150 to quantitatively determine the type/depth of relationship feelings that the user unconsciously expressed. You can also check it.
  • the calculated relationship emotional index e.g., likeability index
  • the method of measuring the user's relationship emotional index with respect to the interaction partner includes, after the step (S440), retrieving the emotional measurement history for each of the plurality of second users 100_2 from the server 130 and mutually Displaying the action record on the electronic device 110_1 (S470); and/or transmitting at least one content to the electronic device 110_2 of the second user based on the emotional state of the first user 100_1 with respect to the second user 100_2 during the interaction activity (S480). It may also include more.
  • Figure 14 shows a screen displaying an interaction record, according to an embodiment of the present application.
  • the first electronic device 110_1 receives an interaction record screen display command and transmits a request for emotion measurement details of the first user 100_1 to the server 130.
  • the server 130 searches for data having the identification information of the first user (100_1) as a database address in the emotion measurement database, and performs interactive activities with the first user (100_1) based on the searched data and the database address of the searched data. forming emotion measurement details for a second user (100_2) and transmitting it to the first electronic device (110_1); It may also include displaying a screen displaying an interaction record based on the emotion measurement history of the first user 100_1 with respect to the second user 100_2 received by the first electronic device 110_1.
  • Data retrieved from the emotion measurement database in step S470 includes a relationship emotional index (eg, cumulative relationship emotional index) and a determined emotional state (eg, recently judged emotional state).
  • the first electronic device 110_1 derives the interaction partner type information of the second user 100_2 from the index type information in the relationship emotional index, the derived interaction partner type information, the received relationship emotional index, and the determined emotion. You can also display an interaction history screen, including status.
  • the interaction record for each of the plurality of second users 100_2 may be displayed in a list form as shown in FIG. 14, but is not limited thereto.
  • the above method may further include a step (S471) of re-specifying the type of the interaction partner through the mutual record screen.
  • the server 130 may update the most recently determined emotional state based on emotional state information (type, type) in the new emotional state score received.
  • the first user 100_1 may automatically change the type of interaction partner of the second user 100_2 from the third type to the second type.
  • FIG. 15 is a schematic diagram of a process for transmitting content indicating the emotional state of the first user 100_1 to the second user 100_2, according to an embodiment of the present application.
  • the step (S480) of transmitting the at least one content to the electronic device 110_2 of the second user includes the determined emotional state of the first user 100_1 with respect to the second user 100_2. It may also include transmitting the first content representing to the second electronic device 110_2.
  • the first content may be content indicating an emotional state determined during an interactive activity.
  • the first content may be emoticons, text, or other multimedia data.
  • the system 1 for measuring the emotional index of a user's relationship with an interaction partner may store content for each emotional state in advance.
  • the emotional state may be positive or negative.
  • step (S480) includes transmitting the fact of transmission of the first content by the first electronic device 110_1 to the server 130; And when receiving the fact that the first content has been transmitted, the server 130 may include transmitting a message containing content corresponding to the emotional state in the first transmission fact to the second electronic device 110_2.
  • the transmission fact may include the emotional state of the first user 100_1 that caused transmission of the first content.
  • the second content may be preset for each emotional state and stored in the server 130.
  • the method of measuring the emotional index of the user's relationship with the interaction partner may include, when the second user 100_2 is within a certain distance in an online space or geographical space, the second user 100_2 is nearby. Check the emotion type of the first user (100_1) regarding the second user (100_2), and if the emotion type of the first user (100_1) towards the second user (100_2) is positive, the relationship emotion of the first user with respect to the second user.
  • a step (S490) of transmitting the index to the electronic device 110_2 may be further included.
  • the constant distance may be set to a different value depending on whether the distance domain is an online space or a geographic space.
  • emotion type information of the first user 100_1 with respect to the second user 100_2 identified in step S490 may be further transmitted.
  • the distance between the first user 100_1 and the second user 100_2 in the online space may be the distance on the metaverse between each user avatar in the metaverse world.
  • the electronic device 110 may further include a GPS module for measuring the distance between users 100 in geographical space.
  • Figure 16 shows a screen that displays one's positive emotional state to another nearby user, according to an embodiment of the present application.
  • a nearby second electronic device 110_2 receives relationship emotional index and emotional type information of the first user 100_1 with respect to the second user 100_2, and The type information of the interaction partner of the first user 100_1 may be searched, and a screen including the searched type information of the interaction partner of the first user 100_1, and the relationship emotional index and emotional type information may be displayed (S490) ).
  • the system 1 for measuring the emotional index of the user's relationship with the interaction partner divides the entire activity time in the server 130 into sections for each user whose emotional state is determined, and the emotional type for each section of each user.
  • the emotion types of the division in which the opponents are not opposed may be selected, and a compatibility score between the first user (100_1) and the second user (100_2) may be additionally calculated based on the selected emotion types.
  • the calculated compatibility score may be transmitted to the first electronic device 110_1 or the second electronic device 110_2.
  • the emotional state is determined in response to the occurrence of an interactive behavior
  • the time from the occurrence of each interactive behavior to the occurrence of the next interactive behavior may be partitioned.
  • the emotional state determined according to the interaction behavior at the beginning of the compartment represents the emotional state of that compartment.
  • the non-opposite emotion type represents the same emotion type. If three emotion types can be determined in the system (1) for measuring the emotional index of the user's relationship with the interaction partner, the non-opposed emotion types represent positive-positive, negative-negative, and positive-neutral.
  • Segments for each user where the emotion type is not opposite represent sections of time where the segment sections overlap or are immediately adjacent to each other. This is because individual interaction behaviors may intersect with each other. For example, if the first user (100_1)'s section is from 1:00 to 1:05 and the second user's (100_2) section is from 1:05 to 1:10, whether these two sections have opposite emotional types? is the object to be judged.
  • the system (1) provides quantification of emotional compatibility that one cannot feel.
  • the compatibility score is calculated based on the frequency with which the emotion types of corresponding sections of each user 100 are not opposite. As the frequency increases, a higher compatibility score is calculated.
  • step S440 is performed by the first electronic device. Although it is described as being performed by (110_1), it may be changed to being performed by the server 130 in other embodiments. In this case, step S440 includes receiving captured data; measuring; and transmitting the measurement results.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable PLDs
  • logic devices field programmable gate arrays (FPGAs), etc. may be included in the components of the present application.
  • the operation of the system (1) and method for measuring the emotional index of the user's relationship with the interaction partner according to the embodiments of the present application described above is at least partially implemented as a computer program and stored in a computer-readable recording medium. can be recorded For example, implemented with a program product comprised of a computer-readable medium containing program code, which can be executed by a processor to perform any or all steps, operations, or processes described.
  • the computer-readable recording medium includes all types of recording devices that store data that can be read by a computer. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices. Additionally, computer-readable recording media may be distributed across computer systems connected to a network, and computer-readable codes may be stored and executed in a distributed manner. Additionally, functional programs, codes, and code segments for implementing this embodiment can be easily understood by those skilled in the art to which this embodiment belongs.
  • Embodiments of the present application are expected to be widely used in the field of analyzing user behavior patterns.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Computational Linguistics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Child & Adolescent Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Acoustics & Sound (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

실시예들은 제1 사용자의 제1 전자 장치에서 복수의 다른 사용자를 제1 유형의 상호작용 상대방, 제2 유형의 상호작용 상대방 및 제 3 유형의 상호작용 상대방 각각으로 지정하는 단계; 상기 제1 전자 장치에서 전기 통신을 통해 제2 사용자와 상호작용 활동을 개시하는 단계; 상호작용 활동 동안 제1 전자 장치에서 제1 사용자의 이미지, 음성, 텍스트 중 하나 이상의 데이터를 포함한 활동 데이터를 포착하는 단계; 미리 학습된 감정 인식 모델을 이용하여 상기 활동 데이터로부터 제2 사용자에 대한 제1 사용자의 감정 상태 점수를 산출하고, 산출된 감정 상태 점수에 기초하여 상기 제2 사용자에 대한 제1 사용자의 관계 감정 지수를 측정하는 단계;를 포함하는, 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템 및 방법에 관련된다. 본 발명은 정보통신산업진흥원의 2022년 메타버스 콘텐츠 글로벌 프로젝트 지원사업(D0131-22-1002) "과제명 : 교육 메타버스 플랫폼 기반 국외 진출 역량 강화"의 지원을 받은 기술이다.

Description

얼굴 인식 기반 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템 및 방법
본 출원의 실시 예들은 얼굴 인식 기반 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템 및 방법에 관한 것이다.
기존에는 사용자의 행동 데이터에 기반하여 다른 엔티티에 대한 사용자의 감정의 밀접 정도(예컨대, 호감도)를 측정하였다. 커머스의 경우 상점 엔티티에 대해 사용자의 유입 경로, 머무른 시간, 동일 카테고리 검색횟수, 상품을 클릭한 횟수, 그리고 게임의 경우 다른 사용자 엔티티에 대한 사용자의 호감도를 측정하기 위해 유입경로, 게임을 플레이 한 시간, 대화를 나눈 횟수 등과 같이 게임 빈도와 시간으로 구성된 정보를 사용하였다. 하지만 시간과 빈도에 따른 정보만을 이용하여 엔티티에 대한 사용자의 호감도를 산출할 경우, 자극적인 정보나 과대 포장된 정보에 대해서 사용자들이 실제로 선호하는 정보인지 판단하는데 어려움이 있다.
따라서, 본 발명과 같이 사용자들이 실제로 선호하는 정보인지 판단하는 기술이 요구된다.
본 발명은 정보통신산업진흥원의 2022년 메타버스 콘텐츠 글로벌 프로젝트 지원사업(D0131-22-1002) "과제명 : 교육 메타버스 플랫폼 기반 국외 진출 역량 강화"의 지원을 받은 기술이다.
상술한 문제를 해결하기 위해, 본 출원의 실시 예들은 상대적으로 객관성을 갖는, 상호작용 상대방에 대한 사용자의 얼굴 반응을 인식하는 것에 기반하여 관계 감정 지수를 측정하는 시스템 및 방법을 제공하고자 한다.
본 출원의 일 측면에 따른 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법은 하나 이상의 컴퓨팅 장치에 의해 수행된다. 상기 방법은, 제1 사용자의 제1 전자 장치에서 복수의 다른 사용자를 제1 유형의 상호작용 상대방, 제2 유형의 상호작용 상대방 및 제 3 유형의 상호작용 상대방 각각으로 지정하는 단계; 상기 제1 전자 장치에서 전기 통신을 통해 제2 사용자와 상호작용 활동을 개시하는 단계 - 상호작용 활동은 각 사용자의 전자 장치를 통해 구현되는 상호작용 행동으로 이루어짐; 상호작용 활동 동안 제1 전자 장치에서 제1 사용자의 이미지, 음성, 텍스트 중 하나 이상의 데이터를 포함한 활동 데이터를 포착하는 단계; 미리 학습된 감정 인식 모델을 이용하여 상기 활동 데이터로부터 제2 사용자에 대한 제1 사용자의 감정 상태 점수를 산출하고, 산출된 감정 상태 점수에 기초하여 상기 제2 사용자에 대한 제1 사용자의 관계 감정 지수를 측정하는 단계;를 포함할 수도 있다.
일 실시 예에서, 상기 제1 사용자의 활동 데이터로부터 제1 사용자의 감정 상태 점수를 판단하는 단계는, 미리 학습된 이미지 기반 감정 인식 모델를 이용하여 제1 사용자의 이미지 데이터로부터 제1 사용자의 제1 감정 상태 점수를 산출하는 단계를 포함할 수도 있다. 상기 이미지 기반 감정 인식 모델은 입력 이미지에서 얼굴 영역을 검출하는 얼굴 검출 유닛, 검출된 얼굴 영역에서 사용자의 이미지 특징을 추출하는 특징 추출 유닛, 및 모델에 미리 지정된 복수의 감정 상태 중에서 추출된 특징에 기초하여 입력 이미지 내 얼굴이 가리키는 사용자의 감정 상태를 분류하는 감정 판단 유닛을 포함한, 기계학습 모델이다. 상기 감정 판단 유닛은 사용자의 감정 유형을 판단하기 위한 제1 감정 판단 유닛, 및 사용자의 감정 종류를 판단하기 위한 제2 감정 판단 유닛을 포함하고, 상기 이미지 기반 감정 인식 모델은 상기 얼굴 영역에서 특징을 추출하여 사용자의 감정 유형을 제1 뎁스로 판단하고, 상기 얼굴 영역에서 특징을 추출하여 사용자의 감정 종류를 제2 뎁스로 판단하도록 구성될 수도 있다.
일 실시 예에서, 상기 제1 사용자의 활동 데이터로부터 제1 사용자의 감정 상태 점수를 판단하는 단계는, 미리 학습된 텍스트 기반 감정 인식 모델를 이용하여 제1 사용자의 텍스트 데이터로부터 제1 사용자의 제2 감정 상태 점수를 산출하는 단계, 및 사용자의 텍스트 데이터로부터 사용자의 제2 감정 상태를 판단하는 단계; 상기 텍스트 기반 감정 인식 모델 또는 미리 학습된 음성 기반 감정 인식 모델을 이용하여 사용자의 음성 데이터로부터 사용자의 제3 감정 상태를 판단하는 단계 중 하나 이상의 단계를 더 포함할 수도 있다.
일 실시 예에서, 상기 제1 사용자의 활동 데이터로부터 제1 사용자의 감정 상태 점수를 판단하는 단계는, 사용자의 제1 내지 제3 감정 상태 중 2이상의 감정 상태가 판단된 경우, 2이상의 감정 상태 각각으로 분류될 확률 값에 기초하여 사용자의 최종 감정 상태를 판단하는 단계를 더 포함할 수도 있다. 상기 최종 감정 상태를 판단하는 단계는, 이미지 데이터로부터 판단된 제1 감정 상태에 대해서는 보다 높은 제1 가중치를 부여하고, 텍스트 데이터로부터 판단된 제2 감정 상태에 대해서는 보다 낮은 제2 가중치를 부여하며, 제1 가중치를 제1 감정 상태의 값에 적용하고 제2 가중치를 제2 감정 상태의 값에 적용한 연산 값에 기초해 최종 감정 상태를 판단할 수도 있다.
일 실시 예에서, 상기 산출된 감정 상태 점수에 기초하여 상기 제2 사용자에 대한 제1 사용자의 관계 감정 지수를 측정하는 단계는, 산출된 제2 사용자에 대한 제1 사용자의 감정 상태 점수 및 제1 사용자와 제2 사용자의 상호작용 활동 동안 상호작용 행동의 회수에 기초하여 상호작용 상대방 유형에 따른 관계 감정 지수를 산출하는 단계를 포함할 수도 있다.
상기 상대방 유형에 따른 관계 감정 지수를 산출하는 단계는, 제2 사용자가 제1 유형의 상호작용 상대방일 경우, 애정도(affection) 지수를 산출하는 단계; 제2 사용자가 제2 유형의 상호작용 상대방일 경우, 호감도(preference) 지수를 산출하는 단계; 및 제2 사용자가 제3 유형의 상호작용 상대방일 경우, 친밀도(affinity) 지수를 산출하는 단계를 포함한다. 상기 감정 상태 점수는 감정 상태의 판단 결과 및 판단 결과의 확률 값으로 표현된다.
일 실시 예에서, 상기 방법은, 제1 사용자의 식별정보, 제2 사용자의 식별정보, 제2 사용자에 대한 제1 사용자의 감정 상태 점수, 및 관계 감정 지수를 포함한 감정 측정 내역을 생성하는 단계를 더 포함할 수도 있다. 상기 감정 상태 점수는 감정 상태 정보 및 해당 점수 값을 포함하고, 상기 관계 감정 지수는 지수 유형 정보 및 해당 지수 값을 포함한다.
상기 감정 측정 내역을 생성하는 단계는, 감정 측정 데이터베이스를 서버에 구축하는 단계; 및 이미 저장된 감정 측정 내역를 새로운 감정 상태 점수, 및 관계 감정 지수로 업데이트하는 단계를 포함한다.
일 실시 예에서, 상기 감정 측정 데이터베이스는 사용자의 개인정보를 저장한 사용자 데이터베이스와 별도로 구축된 것이다. 상기 감정 측정 데이터베이스의 일 축은 제1 사용자의 식별정보, 다른 일 축은 제2 사용자의 식별정보로 이루어지는 2차원 테이블 구조로 구축된다. 상기 2차원 테이블 구조 내에 저장되는 데이터에 할당되는 데이터베이스 주소는 상기 제1 사용자의 식별정보, 및 제2 사용자의 식별정보의 조합으로 표현된다. 상기 데이터베이스 주소에 저장되는 데이터는 관계 감정 지수, 판단된 감정 상태를 포함한다.
일 실시 예에서, 상기 방법은, 서버로부터 복수의 제2 사용자 각각에 대한 감정 측정 내역을 검색하여 상호작용 기록을 전자 장치에서 표시하는 단계를 더 포함할 수도 있다. 상기 표시하는 단계는, 제1 전자 장치가 상호작용 기록 화면 표시 명령을 입력 받아 제1 사용자의 감정 측정 내역 요청을 서버로 전송하는 단계; 서버에서 감정 측정 데이터베이스로부터 제1 사용자의 식별정보를 데이터베이스 주소로 갖는 데이터를 검색하고, 검색된 데이터 및 검색된 데이터의 데이터베이스 주소에 기초하여 제1 사용자와 함께 상호작용 활동했던 제2 사용자에 대한 감정 측정 내역을 형성하여 상기 제1 전자 장치로 전송하는 단계; 제1 전자 장치에서 수신한 제2 사용자에 대한 제1 사용자의 감정 측정 내역에 기초하여 상호작용 기록을 표시한 화면을 표시하고, 상기 제1 전자 장치는 관계 감정 지수 내 지수 유형 정보로부터 제2 사용자의 상호작용 상대방 유형 정보를 도출하고 도출된 상호작용 상대방 유형 정보, 수신된 관계 감정 지수, 및 판단된 감정 상태를 포함한 상호작용 기록 화면을 표시한다.
일 실시 예에서, 상기 방법은, 온라인 공간 또는 지리적 공간 상에서 일정 거리 내에 제2 사용자가 근접할 경우 근접한 제2 사용자에 대해 갖고 있는 제1 사용자의 감정 유형을 확인하고, 제2 사용자에 대한 제1 사용자의 감정 유형이 긍정인 경우 해당 제2 사용자에 대한 제1 사용자의 관계 감정 지수를 전자 장치로 전송하는 단계를 더 포함할 수도 있다.
본 출원의 다른 일 측면에 따른 컴퓨터 판독가능한 기록매체는 상술한 실시 예들에 따른 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법을 수행하기 위한, 프로그램을 기록할 수도 있다.
본 발명의 일 측면에 따른 얼굴 인식 기반 상호작용 상대방에 대한 관계 감정 지수를 측정하는 시스템은 제2 사용자에 대해 사용자가 갖는 감정의 정도가 얼굴 표정으로 발현되는 것을 분석함으로써, 상호작용 상대방의 엔티티가 갖고 있는 정보가 과장되었는지 여부와 무관하게, 제2 사용자에 대한 사용자의 감정 상태를 객관적으로 측정할 수도 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명 또는 종래 기술의 실시 예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시 예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시 예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 출원의 일 측면에 따른, 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템의 개략도이다.
도 2는, 본 출원의 일 실시 예에 따른, 전자 장치(110)의 구성을 나타낸 블록도이다.
도 3은, 본 출원의 일 실시 예에 따른, 서버(130)의 구성을 나타낸 블록도이다.
도 4는, 본 출원의 다른 일 측면에 따른, 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법의 흐름도이다.
도 5는, 본 출원의 일 실시 예에 따른, 이미지 기반 감정 인식 모델을 이용하여 제1 사용자의 제1 감정 상태 점수를 산출하는 과정의 흐름도이다.
도 6은, 도 5의 제1 감정 상태 점수를 산출하는 과정의 개략도이다.
도 7은, 본 출원의 일 실시 예에 따른, 제1 사용자의 다중 감정 상태를 판단하는 과정의 개략도이다.
도 8은, 도 7의 과정을 뎁스별로 설명한 세부 개략도이다.
도 9는, 본 출원의 일 실시 예에 따른, 텍스트 기반 감정 인식 모델을 이용하여 제1 사용자(100_1)의 감정 상태를 판단하는 과정의 흐름도이다.
도 10은, 본 출원의 일 실시 예에 따른, 음성 기반 감정 인식 모델을 이용하여 제1 사용자(100_1)의 감정 상태를 판단하는 과정의 개략도이다.
도 11은, 본 출원의 일 실시 예에 따른, 통합 감정 인식 모델을 이용하여 다양한 활동 데이터로부터 제1 사용자(100_1)의 감정 상태를 판단하는 과정의 개략도이다.
도 12는, 본 출원의 일 실시 예에 따른, 상호작용 상대방의 유형에 따른 관계 감정 지수를 산출하는 과정의 개략도이다.
도 13은, 본 출원의 다른 일 실시 예에 따른, 상호작용 활동별 가중치를 이용하여 관계 감정 지수를 산출하는 과정의 개략도이다.
도 14는, 본 출원의 일 실시 예에 따른, 상호작용 기록을 표시한 화면을 도시한다.
도 15는, 본 출원의 일 실시 예에 따른, 2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 상태를 나타낸 컨텐츠를 전송하는 과정의 개략도이다.
도 16은, 본 출원의 일 실시 예에 따른, 근접한 다른 사용자에게 자신의 긍정적 감정 상태를 표시하는 화면을 도시한다.
이하에서, 도면을 참조하여 본 출원의 실시 예들에 대하여 상세히 살펴본다.
그러나, 이는 본 개시(disclosure)를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 명세서에서, "가진다," "가질 수 있다,""포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 단계, 부품, 요소 및/또는 성분 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재나 부가를 제외시키는 것이 아니다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
다양한 실시 예에서 사용된 "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 해당 구성요소들을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들면, 제1 구성요소와 제2 구성요소는, 순서 또는 중요도와 무관하게, 서로 다른 구성요소를 나타낼 수 있다.
본 명세서에서 사용되는 단수 표현의 구성의 실시 예들은 상기 단수 표현과 관련된 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 표현의 구성 들의 실시 예들도 포함한다.
본 명세서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to),"또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성(또는 설정)된 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
도 1은, 본 출원의 일 측면에 따른, 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템의 개략도이다.
실시예들에 따른 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템(1)은 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 시스템은 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", "시스템" 및 "장치" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
도 1을 참조하면, 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템(1)은 제1 사용자(100_1)의 제1 전자 장치(110_1), 제2 사용자(100_2)의 제2 전자 장치(110_1), 및 서버(130)를 포함한다.
전기 통신 네트워크를 통해 상기 전자 장치(110)와 서버(130)가 연결된다.
전기 통신 네트워크는, 전자 장치(110)와 서버(130)가 서로 데이터를 송수신할 수 있는 유/무선의 전기 통신 경로를 제공한다. 전기 통신 네트워크는 특정한 통신 프로토콜에 따른 통신 방식에 한정되지 않으며, 구현 예에 따라 적절한 통신 방식이 사용될 수 있다. 예를 들어, 인터넷 프로토콜(IP) 기초의 시스템으로 구성되는 경우, 전기 통신 네트워크는 유선 및/또는 무선 인터넷 망으로 구현될 수 있다. 또는 전자 장치(110)와 서버(130)가 이동 통신 단말로서 구현되는 경우 전기 통신 네트워크는 셀룰러 네트워크 또는 WLAN(wireless local area network) 네트워크와 같은 무선망으로 구현될 수 있다.
상기 전자 장치(110)는 서버(130)와 통신하는 클라이언트 단말 장치로서, 데이터를 처리할 수 있는 적어도 하나의 프로세서, 데이터를 저장하는 메모리, 데이터를 송/수신하는 통신부를 포함한다. 이러한 전자 장치(110)는 예를 들어, 랩탑 컴퓨터, 기타 컴퓨팅 장치, 태블릿, 셀룰러 폰, 스마트 폰, 스마트 워치, 스마트 글래스, 헤드 마운트 디스플레이(HMD), 기타 모바일 장치, 기타 웨어러블 장치로 구현될 수도 있다.
사용자(100)는 제1 사용자(100_1) 및 제2 사용자(100_2)일 수도 있다. 제2 사용자(100_2)는 제1 사용자(100_1)와 상호작용하는 상대방이다. 상기 제1 사용자(100_1)는 상호활동 도중에 제2 사용자(100_2)에 대한 자신의 관계 감정 지수가 측정되는 대상이다. 상호작용 활동이란 제1 사용자(100_1)와 제2 사용자(100_2)가 함께 하는 활동이므로, 모든 사용자(100)는 자신을 기준으로는 제1 사용자(100_1)이고, 상대방을 기준으로는 제2 사용자(100_2)이다.
제1 전자 장치(110_1)는 제1 사용자(100_1)에 대응하는 전자 장치(110)이다. 예를 들어, 제1 전자 장치(110_1)는 상호작용 동안의 제1 사용자(100_1)의 데이터를 포착하고, 제2 사용자에 대한 사용자의 관계 감정 지수를 측정하는 단말 장치를 의미할 수도 있다.
제2 전자 장치(110_2)는 제2 사용자(100_2)에 대응하는 전자 장치(110)이다. 예를 들어, 제2 전자 장치(110_2)는 함께 상호작용하는 제1 사용자(100_1)의 감정 상태 점수를 수신하는 단말 장치를 의미할 수도 있다.
전술한 바와 같이 모든 사용자(100)는 감정 상태 점수가 측정되는 기준 대상 및 제2 사용자가 동시에 될 수도 있어, 제1 전자 장치(110_1) 및 제2 전자 장치(110_2)의 동작은 단일 전자 장치(110)에서 모두 수행될 수도 있다.
도 2는, 본 출원의 일 실시 예에 따른, 전자 장치(110)의 구성을 나타낸 블록도이다.
도 2를 참조하면, 상기 전자 장치(110)는 메모리(111), 통신부(112), 프로세서(113), 입력 장치(114), 및 출력 장치(115), 카메라(116), 마이크(117)를 포함할 수도 있다.
메모리(111)는, 프로세서(113)와 연결되고 프로세서(113)의 동작을 위한 기본 프로그램, 응용 프로그램, 설정 정보, 프로세서(113)의 연산에 의하여 생성된 정보 등의 데이터를 저장할 수 있다. 특정 실시 예들에서, 상기 메모리(101)는, 얼굴 인식 기반 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템 및 방법을 수행하기 위한 어플리케이션을 저장할 수도 있다. 상기 어플리케이션은 상호작용 활동의 시작과 끝을 알 수 있도록 상호작용 활동이 진행되는 어플리케이션과 연동되거나 그 자체일 수도 있다.
메모리(111)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 메모리(111)는 프로세서(113)의 요청에 따라 저장된 데이터를 제공할 수 있다. 또한, 메모리(111)는 통신부(112)에서 수신한 데이터, 입력장치(114)에서 수신한 데이터, 카메라 모듈(116)에서 촬영한 데이터, 마이크(117)에서 생성한 음성 데이터, 프로세서(113)에서 생성되거나 처리된 데이터를 영구적으로 또는 임시로 저장할 수 있다.
예를 들어, 메모리(111)는 HDD(Hard Disk Drive), SSD(Solid State Drive), CD(Compact Disc), RAM(Random Access Memory), Rom(Read Only Memory), 데이터를 영구적, 반영구적 또는 임시적으로 저장하는 다양한 기타 저장 장치를 포함할 수도 있으나, 이에 제한되진 않는다.
통신부(112)는, 프로세서(113)와 연결되어 데이터를 송수신하며, 다른 전자 장치(110) 또는 서비스 서버(130) 등의 외부 장치들과 데이터를 송수신할 수 있다. 통신부(113)의 전부 또는 일부는 송신기(transmitter), 수신기(receiver), 송수신기(transceiver), 통신부(communication unit), 통신 모뎀(communication model) 또는 통신 회로(communication circuit)로 지칭할 수 있다. 통신부(112)는 유선 접속 시스템 및 무선 접속 시스템들인 IEEE(institute of electrical and electronics engineers) 802.xx 시스템, IEEE Wi-Fi 시스템, 3GPP(3rd generation partnership project) 시스템, 3GPP LTE(long term evolution) 시스템, 3GPP 5GNR(new radio) 시스템, 3GPP2 시스템, 블루투스(Bluetooth) 등 다양한 무선 통신 규격 중 적어도 하나를 지원할 수 있다.
프로세서(113)는 본 발명에서 제안한 절차 및/또는 방법들을 구현하도록 구성될 수 있다. 프로세서(113)는, 본 발명에서 제안한 절차 및/또는 방법들을 구현하도록 구성될 수 있다. 프로세서(113)는 데이터 분석 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, 전자 장치(110)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 프로세서(113)는 전자 장치(110)의 구성 요소들을 제어하여, 결정된 동작을 수행할 수 있다. 이를 위해, 프로세서(113)는 메모리(111)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 상기 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 전자 장치(110)의 구성 요소들을 제어할 수 있다.
프로세서(113)는 결정된 동작을 수행하기 위하여 서비스 서버(130)와 같은 외부 장치와의 연계가 필요한 경우, 해당 외부 장치를 제어하기 위한 제어 신호를 생성하고, 통신부(112)를 통해 해당 외부 장치에 생성된 제어 신호를 전송할 수 있다.
이러한 프로세서(113)는 적어도 하나의 프로세서로 구현될 수도 있다. 상기 프로세서(113)는, CPU(Central processing unit) 또는 인간의 뇌의 신경세포와 시냅스를 모하여 인공 신경망의 연산에 유리하게 설계된 뉴로모픽 프로세서(Neuromorphic processor) 등을 포함할 수도 있다.
입력장치(114)는 사용자의 입력과 관련된 명령을 수신하도록 구성된 구성요소이다. 상기 입력장치(114)는, 터치 유닛 또는 기타 입력 유닛을 포함할 수도 있다.
터치 유닛은 사용자의 신체 일부 또는 다른 객체가 포인팅 객체로 활용되어 바이어 명령을 입력하는 구성요소이다. 상기 터치 유닛은 감압식 또는 정전기식 센서 등을 포함할 수 있으나, 이에 제한되진 않는다. 상기 기타 입력 유닛은 예를 들어 버튼, 키보드, 다이얼, 스위치, 스틱 등을 포함한다.
출력장치(115)는 전자 장치(110)에 저장 및/또는 처리된 정보를 출력하는 구성요소이다. 상기 출력장치(115)는 디스플레이 장치 및/또는 스피커를 포함할 수도 있다.
디스플레이 장치는 전자 장치(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 디스플레이하는 구성요소로서, 예를 들어, LCD, OLED, 플렉서블 스크린 등을 포함할 수 있으나, 이에 제한되진 않는다.
도 2에서 입력장치(114)와 출력장치(115)이 분리되어 있지만, 많은 실시 예들에서 상기 입력장치(114)와 출력장치(115)는 입력 수신 및 정보 출력을 수행하도록 하나의 구성요소로 구현될 수 있다. 예를 들어, 입력장치(114) 및 출력장치(115)는 스크린과 레이어 구조를 이루는 터치 스크린으로 구현된 터치 패널일 수도 있다. 터치 입력은 (예컨대, 사용자의 신체, 또는 도구 등을 포함한) 포인팅 객체에 의해 입력된다.
스피커는 전자 장치(110)에서 처리된 오디오 데이터를 오디오 데이터를 음파로 출력할 수 있다.
카메라 모듈(116)는 피사체를 촬영하여 정지 이미지 또는 동영상 등의 이미지 프레임을 획득한다. 획득된 이미지 프레임은 출력장치(116)의 디스플레이(Display)에 표시되거나, 통신부(112)를 통해 외부 장치에 전송되거나, 프로세서(103)에 의해 처리되거나, 메모리(111)에 저장될 수 있다.
카메라 모듈(116)는 파장에 반응하여 대상의 이미지를 생성하는 촬영 유닛을 포함한다. 예를 들어, 카메라 모듈(116)는 RGB 센서를 포함하여 RGB 이미지를 획득할 수도 있다. 또한, 카메라 모듈(116)는 IR 센서 또는 깊이 센서를 더 포함하여 IR 이미지 또는 Depth 이미지를 추가로 획득하도록 더 구성될 수도 있다.
마이크 모듈(117)은 음파를 수신하여 전기적인 음성 데이터로 변환할 수 있다. 한편, 마이크 모듈(117)에는 외부의 음파를 수신하는 과정에서 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 적용될 수 있다.
상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템(1)에서 제1 사용자(100_1) 및 제2 사용자(100_2)는 전기 통신 네트워크를 통해 온라인 공간에 접속하여 서로 상호작용 활동을 진행할 수도 있다.
상기 온라인 공간은 상호작용 활동이 진행되는 가상의 공간으로서 사용자 자신(1001)의 제1 전자 장치(1101)의 동작 결과를 업로드하고 제2 사용자(1002)의 제2 전자 장치(1102)의 동작 결과를 확인할 수 있는 공간을 지칭한다. 상기 온라인 공간은, 메타버스 어플리케이션, 소셜 미디어 어플리케이션, 데이트 앱과 같은 매칭 어플리케이션을 통해 구현되거나, 또는 웹 상에 구현될 수도 있다.
메타버스는 가공, 추상을 의미하는 메타(meta)와 현실 세계를 의미하는 유니버스(universe)의 합성어로서, 일반적으로는 현실 세계와 동일하거나 유사한 자극을 전달하고 반응을 구현하는 가상 공간을 지칭한다. 상기 메타버스는 주제에 따라 게임이 될 수도 있고, 혹은 특정 도메인에 맞는 비즈니스 시스템이 될 수 있다. 또는, 메타버스는 형태에 따라 책을 열람하는 도서관이거나, 쇼핑몰 혹은 다양한 체감형의 박물관 형태로 구현될 수도 있다.
메타버스에 접속하여 메타버스와 상호작용하면서 메타버스 내 다양한 활동을 경험한다. 예를 들어, 사용자는 메타버스 내 자신의 아바타를 조작하여 메타버스와 상호작용할 수도 있다. 상기 사용자와 메타버스 간의 상호작용은 상기 사용자의 아바타를 통해 다른 사용자의 아바타와 상호작용하는 것을 포함한다.
특정 실시 예들에서, 상기 제1 전자 장치(1101)는 입력 장치(114)를 통해 다른 제1 유형의 상호작용 상대방, 제2 유형의 상호작용 상대방 및 제 3 유형의 상호작용 상대방으로 지정하도록 구성된다.
또한, 상기 제1 전자 장치(110_1)는 카메라(116), 마이크(117), 및 입력 장치(114)를 통해 상호작용 활동하는 동안의 사용자의 이미지, 텍스트, 음성을 포함한 활동 데이터를 포착하도록 구성된다.
상기 활동 데이터는 온라인 공간에서 제2 사용자(100_2)와 상호작용 활동을 진행하는 동안 포착된 데이터이다. 특정 실시 예들에서, 활동 데이터는 상호작용 활동 동안 포착된(captured) 제1 사용자(100_1)의 이미지, 음성, 및 텍스트 데이터 중 하나 이상을 포함할 수도 있다.
상기 제1 사용자(100_1)의 이미지는 상호작용 활동 동안에 제1 사용자(100_1)의 얼굴을 촬영한 이미지이다. 상기 제1 사용자(100_1)의 이미지는 상호작용 활동 도중 순간적으로 촬영되거나, 또는 상호작용 활동의 전체 시간 중 일부 또는 전부의 시간 동안 촬영된 것일 수도 있다.
상기 이미지는 동영상과 같은 연속 이미지 내 개별 이미지, 또는 정지 이미지일 수도 있다. 예를 들어, 상기 제1 사용자(100_1)의 이미지는 정지 이미지일 수도 있다. 상기 정지 이미지는 온라인 공간에서 컨텐츠 또는 제2 사용자(100_2)의 동작을 시청하는 것에 반응하여 촬영된 것일 수도 있다. 또는, 상기 제1 사용자(100_1)의 이미지는 상호작용 활동의 전체 시간 중 일부 또는 전부의 시간 동안 촬영된 비디오의 프레임 이미지일 수도 있다.
일부 실시 예들에서, 상기 사용자(100_1)의 이미지는 상호작용 활동을 이루는 상호작용 동작이 발생하는 것에 반응하여 포착될 수도 있다. 제1 사용자(100_1)의 이미지는 제2 사용자(100_2)에게 채팅 메시지를 전송하거나, 또는 제2 사용자(100_2)로부터 채팅 메시지를 수신한 경우에 포착된다.
상기 제1 사용자(100_1)의 음성은, 음성 채팅, 감탄사, 상호작용 활동의 내용 낭독 등과 같은, 제1 사용자(100_1)의 상호작용 활동과 관련된 음성을 포함한다.
또한, 상기 제1 사용자(100_1)의 텍스트는, 텍스트 채팅 등과 같은, 제1 사용자(100_1)의 상호작용 활동과 관련된 텍스트를 포함한다.
또한, 상기 제1 전자 장치(110_1)는 제1 사용자(100_1)의 감정 상태 지수를 산출하여 제1 사용자(100_1)의 상호작용 상대방1002에 대한 감정 상태 지수를 해당 상호작용 상대방1002의 유형에 따라 측정하도록 구성될 수도 있다.
상기 제1 전자 장치(110_1)는 제1 사용자(100_1)의 활동 데이터로부터 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 상태 점수를 산출하고, 산출된 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 상태 점수 및 제1 사용자(100_1)와 제2 사용자(100_2)의 상호작용 활동 동안 감정 상태 판단의 회수에 기초하여 관계 감정 지수를 측정할 수도 있다. 상기 관계 감정 지수는 제2 사용자(100_2)의 유형에 따라 측정될 수도 있다.
본 명세서에서 관계 감정 지수는 제1 사용자(100_1)가 자신과 제2 사용자(100_2) 사이의 관계에 대해 감정적 측면에서 밀접한 정도를 느낀 것을 수치화한 것이다. 상기 관계 감정 지수는 제1 사용자(100_1)가 자신과 제2 사용자(100_2) 사이의 관계에 따라 느끼는 감정이 얼굴 표정을 통해 발현되면, 발현된 얼굴 표정으로부터 감정 상태를 인식하여 측정된다. 상기 감정 상태의 인식 결과는 감정 상태 점수로 수치화되어 산출될 수도 있다.
상기 관계 감정 지수는 제1 사용자(100_1)와 제2 사용자(100_2) 사이의 사회적 관계에 따라 분류될 수도 있다. 특정 실시 예들에서, 상기 관계 감정 지수는 제2 사용자(100_2)에 따라 친밀도, 호감도, 또는 애정도로 분류될 수도 있다.
애정도는 제1 사용자(100_1)가 자신과 제2 사용자(100_2)의 사회적 관계가 가족이거나 가족으로 발전할 수도 있는 관계(예컨대, 애인, 약혼자)인 경우에 상기 제1 사용자(100_1)와 제2 사용자(100_2) 사이의 관계 감정 지수를 나타낸다. 상기 가족은 혈연상/법률상 가족 또는 한 공간에 함께 거주하는 친족을 포함할 수도 있다. 본 명세서에서 애인 관계의 다른 사용자는 제1 유형의 제2 사용자(100_2)으로 지칭될 수도 있다.
호감도는 제1 사용자(100_1)가 자신과 제2 사용자(100_2)의 사회적 관계가 친구로 등록된 겨웅에 상기 제1 사용자(100_1)와 제2 사용자(100_2) 사이의 관계 감정 지수를 나타낸다. 본 명세서에서 친구 관계의 다른 사용자는 제2 유형의 제2 사용자(100_2)으로 지칭될 수도 있다.
친밀도는 제1 유형의 제2 사용자(100_2), 제2 유형의 제2 사용자(100_2)을 제외한 나머지 다른 사용자(100)와 제1 사용자(100_1) 사이의 관계 감정 지수를 나타낸다. 본 명세서에서 상기 나머지 다른 사용자(100)는 제3 유형의 제2 사용자(100_2)으로 지칭될 수도 있다. 예를 들어, 제3 유형의 제2 사용자(100_2)은 직장 동료, 일면식 없는 사람일 수도 있다.
특정 실시 예들에서, 상기 제1 전자 장치(110_1)는 미리 저장된 감정 인식 모델을 이용하여 제1 사용자(100_1)의 감정 상태 점수를 산출할 수도 있다. 상기 감정 상태 점수는 상호작용 활동 동안에 제1 사용자(100_1)가 제2 사용자(100_2)에 대해 갖는 것으로 판단된 감정 상태를 수치화한 것이다. 상기 감정 상태 점수는 감정 상태의 판단 결과 및 판단 결과의 확률 값으로 표현된다.
상기 감정 인식 모델은 이미지 기반 감정 인식 모델, 텍스트 기반 감정 인식 모델, 또는 통합 감정 인식 모델일 수도 있다. 상기 통합 감정 인식 모델은 제1 사용자(100_1)의 이미지 데이터, 텍스트 데이터, 음성 데이터 중 2이상의 데이터로부터 제1 사용자(100_1)의 감정 상태를 인식하도록 구성된다.
이러한 전자 장치(100)의 동작에 대해서는 아래의 도 4 등을 참조해 보다 상세히 서술한다.
도 3은, 본 출원의 일 실시 예에 따른, 서버(130)의 구성을 나타낸 블록도이다.
서버(130)는 네트워크 서버로 구현되는 다수의 컴퓨터 시스템 또는 컴퓨터 소프트웨어이다. 여기서, 네트워크 서버란, 사설 인트라넷 또는 인터넷과 같은 컴퓨터 네트워크를 통해 다른 네트워크 서버와 통신할 수 있는 하위 장치와 연결되어 작업 수행 요청을 접수하고 그에 대한 작업을 수행하여 수행 결과를 제공하는 컴퓨터 시스템 및 컴퓨터 소프트웨어(네트워크 서버 프로그램)를 의미한다. 그러나 이러한 네트워크 서버 프로그램 이외에도, 네트워크 서버 상에서 동작하는 일련의 응용 프로그램과 경우에 따라서는 내부에 구축되어 있는 각종 데이터베이스를 포함하는 넓은 개념으로 이해되어야 할 것이다. 상기 서버(130)는 네트워크 서버, 웹 서버, 파일 서버, 슈퍼컴퓨터, 데스크탑 컴퓨터 등과 같은 컴퓨팅 장치들의 임의의 유형 또는 유형들의 조합으로 구현될 수도 있다. 이를 위해, 서버(130)는 데이터를 처리할 수 있는 적어도 하나의 프로세서, 데이터를 저장하는 메모리, 데이터를 송/수신하는 통신부를 포함한다.
도 3을 참조하면, 서버(130)는 메모리(131), 통신부(132) 및 프로세서(133)를 포함할 수 있다.
도 3의 메모리(131), 통신부(132), 및 프로세서(133)는 도 2의 메모리(111), 통신부(112), 및 프로세서(113)와 유사하므로, 차이점을 위주로 서술한다.
메모리(131)는 사용자(100) 각각의 개인정보를 저장할 수도 있다. 사용자(100)의 개인정보는 시스템 내 사용자(10)의 식별정보, 명칭, 프로필 이미지 등을 포함할 수도 있다. 상기 식별정보는 사용자 ID, 기타 식별코드를 포함할 수도 있다.
메모리(131)는 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 상태 점수를 기록한 감정 상태를 저장할 수도 있다.
일부 실시 예들에서, 메모리(131)에는 복수의 사용자(100)의 개인정보를 기록한 사용자 데이터베이스 및/또는 복수의 사용자(100) 각각의 감정 측정 내역을 포함한 감정 측정 데이터베이스가 구축될 수도 있다. 각 감정 측정 내역은 측정된 감정 상태 점수를 포함한다. 일부 실시 예들에서, 상기 감정 측정 내역은 감정 유형, 감정 종류를 더 포함할 수도 있다.
상기 감정 측정 데이터베이스는 일 축은 제1 사용자(100_1)의 식별정보, 다른 일 축은 제2 사용자(100_2)의 식별정보로 이루어지는 2차원 테이블 구조로 구축될 수도 있다. 구조 내에 저장되는 데이터에 할당되는 데이터베이스 주소는 상기 제1 사용자(100_1)의 식별정보, 및 제2 사용자(100_2)의 식별정보의 조합으로 표현될 수도 있다.
이러한 주소를 가짐으로써, 2차원 테이블 구조 내에 감정 측정 데이터 중에서 일부가 저장된다. 상기 데이터베이스 주소에 저장되는 데이터는 관계 감정 지수, 판단된 감정 상태를 포함할 수도 있다. 일부 실시 예들에서, 상기 관계 감정 지수는 누적 관계 감정 지수를 포함할 수도 있다. 또한 일부 실시 예들에서, 상기 판단된 감정 상태는 가장 최근에 판단된 감정 상태를 포함할 수도 있다.
제1 사용자(100_1)의 식별정보, 및 제2 사용자(100_2)의 식별정보는 구조 내 각각의 공간에 일일히 저장할 필요 없이, 해당 데이터베이스 주소를 검색하는 과정에서 자연스럽게 취득된다.
이를 통해 주소에 저장되는 데이터를 보다 감소화할 수도 있다.
상기 감정 측정 데이터베이스는 사용자 데이터베이스와 별도로 구축된다. 감정 측정 데이터베이스 내 감정 측정 값은 누적되어 변경될 수도 있어 상대적으로 많은 변경이 발생한다. 이와 같이 데이터 변경이 상대적으로 자주 발생하는 데이터베이스를 이원화할 경우 변경 업데이트 동작 시 소모되는 전력, 시간을 최소화할 수도 있다.
또한, 서버(130)는 제1 사용자(100_1)의 제1 전자 장치(110_1)로부터 해당 제1 사용자(100_1)와 관련된 제2 사용자(100_2)의 개인정보 중 일부(예컨대, 식별정보, 명칭)를 포함한 감정 측정 내역 검색 요청을 수신하면, 요청에 매칭하는 감정 측정 내역을 제1 사용자(100_1)의 제1 전자 장치(110_1)로 전송할 수도 있다.
또한, 서버(130)는 제1 사용자(100_1)의 제1 전자 장치(110_1)로부터 제1 사용자(100_1)의 감정 상태를 포함한 감정 알림 요청을 수신한 경우, 상기 감정 알림 요청에 기초하여 요청 내 감정 상태에 대응한 컨텐츠를 포함한 메시지를 상기 상호작용 상대방의 제2 전자 장치(110_2)로 전송할 수도 있다.
이러한 서버(130)의 동작에 대해서는 아래의 도 4 등을 참조해 보다 상세히 서술한다.
상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템(1)이 다른 구성요소를 포함할 수도 있다는 것이 통상의 기술자에게 명백할 것이다. 예를 들어, 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템(1)은 데이터 엔트리를 위한 입력 장치, 및 인쇄 또는 다른 데이터 표시를 위한 출력 장치를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다. 또한, 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템(1)과 외부 장치(예를 들어, 사용자 단말, 또는 외부 데이터베이스 등) 사이를 연결하는 네트워크, 네트워크 인터페이스 및 프로토콜 등을 더 포함할 수 있다.
도 4는, 본 출원의 다른 일 측면에 따른, 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법의 흐름도이다.
도 4를 참조하면, 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법은, 복수의 사용자(100) 각각의 전자 장치(110)는 사용자(100)의 개인 정보를 입력하여 서버(130)에 등록하는 단계(S401)를 포함한다.
상기 개인 정보는 감정 상태 정보, 또는 관계 감정 지수를 표시하는 UI 화면을 구성하는데 이용될 수도 있다. 일부 실시 예들에서, 상기 개인정보는 시스템 내 사용자(100)의 식별정보, 명칭, 프로필 이미지 등을 포함할 수도 있다. 상기 프로필 이미지는 사용자를 가리키는 아바타 이미지, 또는 촬영 이미지일 수도 있다.
또한, 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법은, 제1 사용자(100_1)의 제1 전자 장치(110_1)에서 다른 사용자(100)를 제1 유형의 상호작용 상대방, 제2 유형의 상호작용 상대방 및 제 3 유형의 상호작용 상대방으로 지정하는 단계(S410)를 포함한다.
단계(S410)에서 복수의 다른 사용자를 제1 유형의 상호작용 상대방, 제2 유형의 상호작용 상대방 및 제 3 유형의 상호작용 상대방 각각으로 지정할 수도 있다.
예를 들어, 상기 단계(S410)에서 제1 전자 장치(110_1)는 다른 사용자가 애인 관계인 경우 제1 유형의 사용자로 지정할 수도 있다. 또한, 상기 단계(S410)에서 제1 전자 장치(110_1)는 다른 사용자가 친구 관계인 경우 제2 유형의 사용자로 지정할 수도 있다. 상기 제1 유형의 사용자 또는 제2 유형의 사용자로 지정되지 않은 나머지 다른 사용자는 자동으로 제3 유형의 사용자로 지정될 수도 있다.
일부 실시 예들에서, 상기 단계(S410)는, 온라인 공간의 활동 내역을 통해 적어도 친구 관계인 다른 사용자를 서버(130) 또는 메모리111로부터 검색하는 단계; 및 검색된 다른 사용자를 제1 유형의 상호작용 상대방, 제2 유형의 상호작용 상대방 및 제 3 유형의 상호작용 상대방으로 지정하는 단계를 포함할 수도 있다.
또한, 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법은, 제1 전자 장치(110_1)에서 전기 통신을 통해 제2 사용자와 상호작용 활동을 개시하는 단계(S420)를 포함한다. 상기 상호작용 활동은 전술한 온라인 공간에서 진행된다.
상기 상호작용 활동은 각 사용자(1001, 1002)의 동작(들)로 이루어진다. 상기 상호작용 활동은 각 사용자의 전자 장치를 통해 구현되는 상호작용 행동으로 이루어질 수도 있다.
예를 들어, 채팅 활동은 어느 사용자(1001 또는 1002)로부터 다른 사용자(1002 또는 1001)에 대한 화상 메시지, 음성 메시지, 텍스트 메시지들로 이루어진다.
상기 상호작용 활동은 제1 사용자와 하나 이상의 제2 사용자 간에 진행될 수도 있다. 복수의 제2 사용자와 상호작용 활동이 진행될 경우, 각각의 제2 사용자에 대한 제1 사용자의 관계 감정 지수가 개별적으로 측정될 수도 있다.
또한, 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법은, 상호작용 활동 동안 제1 전자 장치(110_1)에서 제1 사용자의 이미지, 음성, 및 텍스트 중 하나 이상을 포함한 활동 데이터를 포착하는 단계(S430)를 포함한다. 상기 활동 데이터는 활동 내용 데이터 또는 활동 반응 데이터일 수도 있다.
활동 반응 데이터는 제2 사용자의 행동에 반응한 사용자의 신체 변화를 포착한 데이터이다. 상기 활동 반응 데이터는 이미지 데이터 및/또는 음성 데이터일 수도 있다.
예를 들어, 상기 제1 전자 장치(110_1)는 상호작용 활동에서 제2 전자 장치(110_2)를 통해 전달된 제2 사용자의 행동에 반응한, 얼굴 표정을 촬영한 사용자의 이미지 또는 감탄사와 같은 음성을 포착할 수도 있다(S430).
활동 내용 데이터는 활동 진행을 위해 제1 사용자가 입력한 데이터이다. 상기 활동 내용 데이터는 이미지, 음성, 텍스트 데이터일 수도 있다.
예를 들어, 상호작용 활동이 화상채팅일 경우 상기 제1 전자 장치(110_1)는 화상 채팅을 진행하기 위한 제1 사용자의 얼굴, 음성을 포착할 수도 있다(S430). 또는, 상호작용 활동이 텍스트 채팅일 경우 상기 제1 전자 장치(110_1)는 채팅 내용을 작성하기 위한 제1 사용자의 텍스트를 포착할 수도 있다(S430).
상기 얼심법은, 미리 학습된 감정 인식 모델을 이용하여 상기 활동 데이터로부터 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 상태 점수를 산출하고, 산출된 감정 상태 점수에 기초하여 상기 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 관계 감정 지수를 측정하는 단계(S440)를 포함한다.
상기 단계(S440)에서 감정 상태 점수를 산출하는 것은 활동 데이터가 포착될 시점에 판단된 감정 상태를 수치화한 것이다. 상기 감정 상태 점수의 산출 결과는 판단된 감정 상태를 나타낸 제1 값 및 판단되 감정 상태를 수치화한 제2 값을 포함한다.
특정 실시 예들에서, 상기 단계(S440)는 제1 전자 장치(110_1)에서 수행될 수도 있다.
상기 단계(S400)에서 감정 인식 모델은 상기 감정 인식 모델은 이미지 기반 감정 인식 모델, 음성 기반 감정 인식 모델, 텍스트 기반 감정 인식 모델 또는 통합 감정 인식 모델일 수도 있다.
상기 단계(S440)는, 제1 사용자의 이미지 데이터로부터 사용자의 제1 감정 상태 점수를 산출하는 단계, 제1 사용자의 텍스트 데이터로부터 제1 사용자의 제2 감정 상태 점수를 산출하는 단계, 및 제1 사용자의 음성 데이터로부터 제1 사용자의 제3 상태 점수를 산출하는 단계 중 하나 이상의 단계를 포함할 수도 있다.
상기 제1 내지 제3 감정 상태 각각은 판단되는데 이용된 원시 활동 데이터의 유형을 구별하기 위한 것에 불과하며, 제1 내지 제3 감정 상태 모두 제1 사용자의 감정 상태를 예측한 결과를 나타낸다.
도 5는, 본 출원의 일 실시 예에 따른, 이미지 기반 감정 인식 모델을 이용하여 제1 사용자의 제1 감정 상태 점수를 산출하는 과정의 흐름도이고, 도 6은, 도 5의 제1 감정 상태 점수를 산출하는 과정의 개략도이다.
도 5 및 도 6을 참조하면, 상기 제1 전자 장치(110_1)는 제1 사용자의 이미지를 미리 학습된 이미지 기반 감정 인식 모델에 입력하여 제1 사용자의 제1 감정 상태를 판단할 수도 있다.
상기 이미지 기반 감정 인식 모델은, 입력 이미지에서 얼굴 영역을 검출하는 얼굴 검출 유닛, 검출된 얼굴 영역에서 사용자의 이미지 특징을 추출하는 특징 추출 유닛, 및 모델에 미리 지정된 복수의 감정 상태 중에서 추출된 특징에 기초하여 입력 이미지 내 얼굴이 가리키는 사용자의 감정 상태를 분류하는 감정 판단 유닛을 포함한, 기계학습 모델이다. 상기 기계학습 모델은 뉴럴 네트워크 구조를 가진다.
상기 얼굴 검출 유닛은 다양한 얼굴 영역 검출 알고리즘을 통해 제1 사용자의 얼굴 영역을 검출할 수도 있다. 상기 얼굴 영역 검출 알고리즘은, 예를 들어 Haar, NN(Neural Network), SVM(Support Vector Machine), Gabor, 또는 SIFT을 포함할 수도 있으나, 이에 제한되지 않으며 기타 영역 검출 알고리즘일 수도 있다.
일부 실시 예들에서, 상기 제1 사용자의 이미지 특징은 제1 사용자의 얼굴 내 랜드마크(landmarks)를 포함할 수도 있다. 상기 랜드마크는 눈, 코, 입, 귀 등과 같은 얼굴 해부학적 특징에 연관된 정보이다. 상기 랜드마크는 얼굴 내에 서 일정한 상대 위치를 가지며, 얼굴 포즈에 따른 기하학적 관계의 변함이 적다. 여기서, 포즈는 얼굴의 표정, 또는 얼굴의 회전 방향, 기울임 각도 등을 나타낸다. 랜드마크를 추출하는 것은 랜드마크를 식별하고, 식별된 랜드마크의 위치 정보를 산출하는 것을 포함한다.
또한, 상기 제1 사용자의 이미지 특징은 모서리, 에지로 표현 가능한 기하학적 특징을 포함한다. 상기 기학적 특징은 랜드마크 사이를 연결한 에지를 포함할 수도 있다. 상기 모서리는 상기 랜드마크로 추출되지 않은 모서리 포인트일 수도 있다.
상기 특징 추출 유닛은 다양한 특징 추출 알고리즘을 통해 제1 사용자의 이미지 특징을 추출할 수도 있다. 상기 특징 추출 알고리즘은, 예를 들어, ACM(Active Contour Model), ASM(Active Shape Model), AAM(Active Appearance model), SDM(Supervised Descent Method), 또는 이미지 특징을 추출하도록 구성된 뉴럴 네트워크를 포함할 수도 있으나, 이에 제한되지 않으며 기타 랜드마크 추출 알고리즘일 수도 있다. 상기 이미지 특징을 추출하도록 구성된 뉴럴 네트워크는 컨볼루션 레이어, 또는 기타 저차원 필터 레이어를 포함한 뉴럴 네트워크일 수도 있다.
상기 감정 판단 유닛은 입력 이미지로부터 추출된 특징과 감정 상태 간의 상관 관계를 추론하여 제1 사용자의 감정 상태를 판단하도록 구성된 뉴럴 네트워크 구조를 가진다. 상기 감정 판단 유닛은 입력된 특징에 대응한 제1 사용자가 모델에 미리 지정된 복수의 감정 상태 각각에 분류될 확률을 입력된 특징에 기초하여 각각 산출하고, 산출된 확률에 기초하여 제1 사용자의 감정 상태를 판단할 수도 있다. 산출된 확률 값이 가장 높은 감정 상태가 제1 사용자의 감정 상태로 판단될 수도 있다.
상기 뉴럴 네트워크 구조는, 예를 들어 완전 연결 레이어, 또는 MLP(Multi-layer Perceptron)일 수도 있으나, 이에 제한되지 않으며 기타 NN 구조일 수도 있다.
상기 감정 인식 모델은 복수의 트래이닝 샘플로 이루어진 트래이닝 데이터 세트를 이용하여 미리 학습될 수도 있다. 각 트래이닝 샘플은 트래이닝 데이터 및 레이블 데이터를 각각 가진다. 상기 트래이닝 데이터는 제1 사용자의 샘플 이미지 데이터를 포함한다. 상기 레이블 데이터는 샘플 이미지 촬영 당시 제1 사용자의 실제 감정 상태일 수도 있다.
상기 감정 인식 모델은 트래이닝 샘플 각각의 트래이닝 데이터가 입력되면, 내부 파라미터로 트래이닝 데이터를 연산 처리하여 결과 값(즉, 예측된 감정 상태)을 산출한다. 상기 감정 인식 모델의 파라미터는 상기 연산 결과 값과 레이블 데이터의 값(실제 감정 상태) 간의 오차가 보다 감소하도록 학습된다. 학습 완료된 감정 인식 모델은 상기 오차가 최소화되는 파라미터를 가진다.
일부 실시 예들에서, 미리 학습된 감정 인식 모델은 감정 판단 유닛이 학습된 것일 수도 있다. 얼굴 검출 유닛, 및 특징 추출 유닛 중 적어도 하나는 별도의 학습 없이 이미 공개된 알고리즘을 그대로 이용할 수도 있다.
이 경우, 상기 감정 판단 유닛은 복수의 트래이닝 샘플로 이루어진 트래이닝 데이터 세트를 이용하여 미리 학습될 수도 있다. 트래이닝 샘플 내 트래이닝 데이터는 입력 이미지 내 얼굴 영역으로부터 추출된 샘플 특징 데이터를 포함한다. 상기 레이블 데이터는 샘플 특징이 추출된 샘플 이미지 촬영 당시 제1 사용자의 실제 감정 상태일 수도 있다.
감정 판단 유닛의 학습 과정은 감정 인식 모델의 학습과정과 유사하므로, 자세한 설명은 생략한다.
일부 실시 에들에서, 상기 감정 인식 모델은 트래이닝 데이터 세트에 따라 다중 감정 상태를 판단하도록 구성될 수도 있다. 상기 다중 감정 상태는 제1 뎁스의 감정 상태 및 제2 뎁스의 감정 상태를 포함한다.
도 7은, 본 출원의 일 실시 예에 따른, 제1 사용자의 다중 감정 상태를 판단하는 과정의 개략도이고, 도 8은, 도 7의 과정을 뎁스별로 설명한 세부 개략도이다.
도 7 및 도 8을 참조하면, 상기 제1 전자 장치(110_1)는 감정 유형 및 감정 종류 중 적어도 하나를 제1 사용자(100_1)의 감정 상태로 판단할 수도 있다. 상기 제1 전자 장치(110_1)는 제1 사용자(100_1)의 이미지에서 얼굴 영역을 검출하고, 상기 얼굴 영역에서 특징을 추출하여 제1 사용자(100_1)의 감정 유형을 제1 뎁스로 판단하고, 상기 얼굴 영역에서 특징을 추출하여 제1 사용자(100_1)의 감정 종류를 제2 뎁스로 판단하도록 구성될 수도 있다.
상기 감정 유형은 긍정 및 부정을 포함한다. 예를 들어, 상기 감정 유형은 긍정, 부정만을 포함하거나, 또는 도 8에 도시된 것처럼 긍정, 중립, 부정을 포함할 수도 있다.
상기 감정 종류는 감정 유형과 다른 차원에서 감정 상태를 보다 세분화한 것이다. 예를 들어, 상기 감정 종류는, 도 8에 도시된 것처럼 7종의 종류를 포함할 수도 있다. 그러나, 도 8의 감정 종류의 수는 단지 예시적인 것으로서, 실시 예들에 따라 그 종류, 수가 변경될 수도 있다.
이를 위해, 상기 감정 인식 모델은 제1 사용자(100_1)의 감정 유형을 판단하기 위한 제1 감정 판단 유닛, 및 제1 사용자(100_1)의 감정 종류를 판단하기 위한 제2 감정 판단 유닛을 포함할 수도 있다.
상기 제1 감정 판단 유닛 및 제2 감정 판단 유닛은 서로 다른 레이블 데이터를 포함한 트래이닝 데이터 세트를 이용하여 학습될 수도 있다. 상기 제1 감정 판단 유닛의 트래이닝 데이터 세트 내 레이블 데이터 각각은 긍정, 부정 또는 중립을 나타낼 수도 있다. 상기 제2 감정 판단 유닛의 트래이닝 데이터 세트 내 레이블 데이터는 7종의 감정 종류 중 어느 하나를 나타낼 수도 있다.
이러한 트래이닝 데이터 세트를 이용하여 학습된 감정 판단 유닛에 의해 감정 유형 및/또는 감정 종류가 감정 상태로 판단되는 과정은 도 4, 도 5의 과정과 유사하므로, 자세한 설명은 생략한다.
다시 도 4를 참조하면, 상기 단계(S440)에서 제1 전자 장치(110_1)는 단일 텍스트 기반 감정 인식 모델을 이용하여 제1 사용자(100_1)의 음성 데이터 및/또는 제1 사용자(100_1)의 테스트 데이터로부터 제1 사용자(100_1)의 제2, 제3 감정 상태를 판단할 수도 있다.
도 9는, 본 출원의 일 실시 예에 따른, 텍스트 기반 감정 인식 모델을 이용하여 제1 사용자(100_1)의 감정 상태를 판단하는 과정의 흐름도이다.
도 9를 참조하면, 상기 제1 전자 장치(110_1)는 제1 사용자(100_1)의 텍스트 데이터를 미리 학습된 텍스트 기반 감정 인식 모델에 입력하여 제1 사용자(100_1)의 제2 감정 상태를 판단할 수도 있다(S440).
도 9에 도시된 것처럼 제1 사용자(100_1)의 텍스트 데이터는 활동 데이터 내 제1 사용자(100_1)의 텍스트 데이터이거나, 또는 활동 데이터 내 제1 사용자(100_1)의 음성 데이터를 텍스트 형식으로 변환한 데이터일 수도 있다.
이를 위해, 상기 제1 전자 장치(110_1)는 입력 음성을 텍스트로 변환하는 STT(Speech-to-text) 유닛을 포함할 수도 있다. 상기 STT 유닛은 음성 데이터에서 음성 특징을 추출하고 추출된 음성 특징에 기초하여 음성 데이트에 대응한 텍스트를 산출하도록 구성된다. 상기 STT 유닛은 인공 신경망으로 이루어질 수도 있다. 상기 STT 유닛의 파라미터는 기계학습 모델의 학습 방식에 의해 트래이닝 데이터 세트의 언어 음성을 언어 텍스트로 변환하기 위한 값을 가질 수도 있다.
상기 텍스트 기반 감정 인식 모델은 입력 텍스트를 복수의 토큰으로 토큰화하고 복수의 토큰 각각을 임베딩 처리하여 텍스트 벡터를 산출하며, 모델에 대해 미리 지정된 복수의 감정 상태 중에서 산출된 텍스트 벡터에 기초하여 입력 텍스트가 가리키는 제1 사용자(100_1)의 감정 상태를 분류하도록 구성된, 기계학습된 자연어 처리 모델이다.
상기 자연어 처리 모델은, 예를 들어 BERT(Bidirectional Encoder Representations from Transformers), ELECTRA(Efficiently Learning an Encoder that Classifies Token Replacements Accurately)와 같이, 입력 텍스트를 단어 단위로 각각 토큰화하고 임베딩 처리하거나, 토큰화한 단어를 보다 큰 단위의 텍스트(예컨대, 문구, 문장, 단락 등)로 세그먼트화하고 임베딩 처리하거나, 및/또는 토큰 순서대로 인코딩 처리하도록 구성될 수도 있다. 그러나, 상기 자연어 처리 모델은 전술한 모델에 제한되지 않으며, 입력 텍스트로부터 텍스트 벡터를 산출 가능한 다양한 구조를 가질 수도 있다.
상기 자연어 처리 모델의 파라미터는 대상 언어를 처리하기 위한 값을 갖도록 미리 설계된 것일 수도 있다. 예를 들어, 상기 시스템(1)이 한국어 데이터를 처리하도록 설계된 경우, 상기 전처리 유닛은 Colbert, Electra 또는 한국어를 처리하도록 설계된 기타 자연어 처리 모델을 포함할 수도 있다.
상기 자연어 처리 모델의 학습 과정은 도 5 등을 참조해 전술한 이미지 기반 감정 인식 모델의 학습 과정과 유사하므로, 차이점을 위주로 서술한다.
상기 텍스트 벡터는 도 5의 제1 사용자(100_1)의 이미지 특징에 대응한다. 따라서, 상기 자연어 처리 모델은 상기 텍스트 벡터를 포함한 트래이닝 데이터를 이용하여 학습된다.
또한, 일부 실시 예들에서, 상기 제1 전자 장치(110_1)는 텍스트 전처리 유닛을 더 포함할 수도 있다. 상기 제1 전자 장치(110_1)는 활동 데이터 내 제1 사용자(100_1)의 텍스트 데이터이거나, 또는 활동 데이터 내 제1 사용자(100_1)의 음성 데이터를 텍스트 형식으로 변환한 데이터를 텍스트 기반 감정 인식 모델에 입력하기 이전에, 텍스트 전처리 유닛에 의해 전 처리할 수도 있다. 그러면, 전 처리된 텍스트가 상기 텍스트 기반 감정 인식 모델에 입력된다.
상기 텍스트 전처리 유닛은, 토큰화 이전에, 전처리 대상의 텍스트의 말뭉치(corpus)에서 미리 설정된 특수 기호, 불 용어(stop word) 텍스트를 추출하여 제거하거나, 및/또는 정규화 처리를 수행하도록 구성될 수도 있으나, 이에 제한되지 않으며 기타 다양한 텍스트 전처리 동작을 수행할 수도 있다.
일 예에서, 상기 텍스트 전처리 유닛은 특수 기호, 불 용어(stop word)로 미리 등록된 참조 텍스트를 이용하여 전처리 대상의 텍스트의 말뭉치가 특수 기호, 불 용어에 해당한 텍스트를 포함하는 지 확인할 수도 있다. 상기 텍스트 전처리 유닛은 텍스트의 말뭉치에서 특수 기호, 불용어를 제거하고 토큰화 동작을 수행할 수도 있다.
상기 정규화 처리는 갖고 잇는 말뭉치로부터 노이즈 데이터를 제거하는 정제(cleaning) 처리 및/또는 정규 표현식 처리를 포함한다.
상기 제1 전자 장치(110_1)는 제1 사용자(100_1)의 텍스트 데이터를 전처리하고, 전처리된 텍스트를 미리 학습된 텍스트 기반 감정 인식 모델에 입력하여 입력 텍스트를 임베딩 처리하여 특징 벡터를 산출하고, 산출된 특징 벡터에 기초하여 상기 특징 벡터가 분류될 각각의 확률 값을 산출한 뒤, 산출된 확률 값에 기초하여 제1 사용자(100_1)의 제2 감정 상태를 판단할 수도 있다.
도 10은, 본 출원의 일 실시 예에 따른, 음성 기반 감정 인식 모델을 이용하여 제1 사용자(100_1)의 감정 상태를 판단하는 과정의 개략도이다.
도 10를 참조하면, 일부 실시 예들에서, 상기 제1 전자 장치(110_1)는 제1 사용자(100_1)의 음성 데이터 내 음성 신호로부터 제1 사용자(100_1)의 제3-2 감정 상태를 판단하도록 더 구성될 수도 있다.
이 경우, 상기 음성 데이터로부터 제1 사용자(100_1)의 감정 산출하는 단계는, 제1 사용자(100_1)의 음성 데이터를 텍스트 데이터로 변환하고, 상기 변환된 텍스트 데이터를 미리 학습된 도 8의 텍스트 기반 감정 인식 모델을 이용하여 제1 사용자(100_1)의 제3-1 감정 상태를 판단하는 단계; 및/또는 미리 학습된 도 10의 음성 기반 감정 인식 모델을 이용하여 제1 사용자(100_1)의 음성 데이터로부터 제1 사용자(100_1)의 제3-2 감정 상태를 판단하는 단계;를 포함할 수도 있다.
상기 제1 전자 장치(110_1)는 제1 사용자(100_1)의 음성 데이터를 텍스트 데이터로 변환하고, 변환된 텍스트 데이터를 전처리하고, 전처리된 텍스트를 미리 학습된 텍스트 기반 감정 인식 모델에 입력하여 입력 텍스트를 임베딩 처리하여 특징 벡터를 산출하고, 산출된 특징 벡터에 기초하여 상기 특징 벡터가 분류될 각각의 확률 값을 산출한 뒤, 산출된 확률 값에 기초하여 제1 사용자(100_1)의 제3-1 감정 상태를 판단할 수도 있다
상기 음성 기반 감정 인식 모델은 입력 신호로부터 음성 특징을 추출하고, 모델에 미리 지정된 복수의 감정 상태 중에서 추출된 음성 특징에 기초하여 입력 신호가 가리키는 제1 사용자(100_1)의 감정 상태를 분류하도록 구성된, 기계학습 모델이다. 상기 기계학습 모델은 신호에서 특징을 추출하고 분류하는 뉴럴 네트워크 구조를 가진다.
상기 음성 기반 감정 인식 모델은 CNN(Convolutional Neural Network), 기타 NN 구조를 가질 수도 있다.
상기 음성 기반 감정 인식 모델은 상기 이미지 기반 감정 인식 모델과 유사하므로, 자세한 설명은 생략한다.
일부 실시 예들에서, 상기 제1 사용자(100_1)의 제3-2 감정 상태를 판단하는 단계는, 음성 신호의 노이즈를 제거하는 단계; 및 노이즈 제거된 음성 신호를 음성 기반 감정 인식 모델에 입력하는 단계를 포함할 수도 있다.
전술한 바와 같이, 제1 전자 장치(110_1)는 음성 특징을 추출하기 이전에 음성 신호의 노이즈를 제거하는 음성 전처리 유닛을 포함할 수도 있다. 그러면 전 처리된 음성 신호가 상기 음성 기반 감정 인식 모델에 입력된다.
도 8과 마찬가지로, 상기 도 9, 도 10의 감정 인식 모델 역시 트래이닝 데이터 세트에 따라 다중 감정 상태를 판단하도록 구성될 수도 있다. 상기 다중 감정 상태는 제1 뎁스의 감정 상태 및 제2 뎁스의 감정 상태를 포함한다.
상기 제1 전자 장치(110_1)는 제1 사용자(100_1)의 텍스트, 음성을 처리하여 제1 사용자(100_1)의 감정 유형을 제1 뎁스로 판단하고, 상기 제1 사용자(100_1)의 텍스트, 음성을 처리하여 제1 사용자(100_1)의 감정 종류를 제2 뎁스로 판단하도록 구성될 수도 있다.
도 11은, 본 출원의 일 실시 예에 따른, 통합 감정 인식 모델을 이용하여 다양한 활동 데이터로부터 제1 사용자(100_1)의 감정 상태를 판단하는 과정의 개략도이다.
도 11을 참조하면, 통합 감정 인식 모델은, 도 5의 이미지 기반 감정 인식 모델, 도 9의 텍스트 기반 감정 인식 모델, 및 도 10의 음성 기반 감정 인식 모델 중 2 이상의 모델을 서브 모델로 포함한다. 상기 통합 감정 인식 모델은 제1 사용자(100_1)의 이미지 데이터, 텍스트 데이터, 음성 데이터 중 2이상의 데이터로부터 제1 사용자(100_1)의 감정 상태를 인식할 수도 있다.
상기 제1 전자 장치(110_1)는 활동 데이터 내 제1 사용자(100_1)의 이미지 데이터를 미리 학습된 이미지 기반 감정 인식 모델에 입력하여 제1 사용자(100_1)의 제1 감정 상태를 판단하고, 활동 데이터 내 제1 사용자(100_1)의 텍스트 데이터를 미리 학습된 텍스트 기반 감정 인식 모델에 입력하여 제1 사용자(100_1)의 제2 감정 상태를 판단하며, 활동 데이터 내 제1 사용자(100_1)의 음성 데이터를 텍스트 데이터로 변환하여 상기 미리 학습된 텍스트 기반 감정 인식 모델에 입력하여 제3-1 감정 상태를 판단하거나 상기 제1 사용자(100_1)의 음성 데이터를 미리 학습된 음성 기반 감정 인식 모델에 입력하여 제3-2 감정 상태를 판단할 수도 있다.
상기 단계(S440)는, 제1 사용자(100_1)의 제1 내지 제3 감정 상태 중 복수의 감정 상태가 판단된 경우, 복수의 감정 상태 각각으로 분류될 확률 값(예를 들어, 판단된 제1 감정 상태로 분류될 확률 값, 판단된 제2 감정 상태로 분류될 확률 값, 및 판단된 제3 감정 상태로 분류될 확률 값)에 기초하여 제1 사용자(100_1)의 최종 감정 상태를 판단하는 단계를 포함한다.
이를 위해, 상기 제1 전자 장치(110_1)는 감정 인식 모델에 의해 각각 판단된 감정 상태로 분류될 각각의 확률 값에 기초하여 제1 사용자(100_1)의 최종 감정 상태를 판단할 수도 있다.
일부 실시 예들에서, 상기 제1 전자 장치(1101)는 활동 데이터에 따라 서로 다른 가중치를 부여하여 제1 사용자(100_1)의 감정 상태를 보다 진실되게 판단할 수도 있다.
사람의 감정 상태는 타인에게 노출되지 않는 측면으로 보다 진실되게 나타난다. 특히, 사람은 부정적인 감정 상태를 타인에게 노출되지 않고 감추는 경향이 있다. 제1 사용자(100_1)의 상호작용 활동에 이용된 활동 데이터는 다른 제1 사용자(100_1)에게 노출되기 때문에, 완전히 거짓된 감정 상태를 나타내거나 진실된 감정 상태이더라도 감정 상태의 수준이 다소 억제된 것을 나타낼 수도 있다.
상기 제1 전자 장치(1101)는 제1 사용자(100_1)의 상호작용 활동에 이용된 활동 데이터로부터 판단된 감정 상태에 대해서는 보다 낮은 가중치를 부여하고, 제1 사용자(100_1)의 상호작용 활동에 이용되지 않은 활동 데이터로부터 판단된 감정 상태에 대해서는 보다 높은 가중치를 부여하도록 구성될 수도 있다.
상호작용 활동에 이용된 데이터는 상호작용 활동을 위해 요구되는 데이터이다. 일부 실시 예들에서, 상기 상호작용 활동을 위해 이용된 데이터는 상호작용 활동 내용을 위한 데이터일 수도 있다.
예를 들어, 상기 활동 데이터가 텍스트 채팅 활동에 의해 수신된 경우, 제1 사용자(100_1)의 상호작용 활동에 이용되지 않은 활동 데이터는 이미지 데이터이고, 제1 사용자(100_1)의 상호작용 활동에 이용된 활동 데이터는 텍스트 데이터이다. 이 경우, 상기 감정 분석 모듈(240)은 이미지 데이터로부터 판단된 제1 감정 상태에 대해서는 보다 높은 제1 가중치를 부여하고, 텍스트 데이터로부터 판단된 제2 감정 상태에 대해서는 보다 낮은 제2 가중치를 부여하며, 제1 가중치를 제1 감정 상태의 값에 적용하고 제2 가중치를 제2 감정 상태의 값에 적용한 연산 값에 기초해 최종 감정 상태를 판단할 수도 있다. 연산 값에 가장 가까운 값을 갖는 감정 상태가 최종 감정 상태로 판단될 수도 있다.
또한, 일부 실시 예들에서, 상기 감정 분석 모듈(240)은 앙상블 유닛(ensemble learning)을 포함할 수도 있다. 상기 앙상블 유닛은 다수의 개별 감정 인식 모델의 판단 결과와 제1 사용자(100_1)의 감정 상태 사이의 상관 관계를 종합적으로 추론하여 제1 사용자(100_1)의 감정 상태를 산출하도록 구성된다. 상기 앙상블 유닛은, 보팅(voting), 배깅(bagging), 부스팅(boosting), 또는 스태킹(stacking) 방식을 이용하도록 구성될 수도 있다.
이 경우, 상기 감정 분석 모듈(240)은 활동 데이터에 따라 부여된 가중치에 해당 감정 상태의 값을 적용한 연산 결과를 앙상블 유닛에 적용하여 제1 사용자(100_1)의 최종 감정 상태를 판단할 수도 있다.
특정 실시 예들에서, 도 5의 이미지 기반 감정 인식 모델, 도 9의 텍스트 기반 감정 인식 모델, 도 10의 음성 기반 감정 인식 모델, 도 11의 통합 감정 인식 모델을 학습하기 위해 이용되는 트래이닝 데이터는 각 모델에 대응한 활동 데이터는 물론, 제2 사용자(100_2)의 상호작용 상대방 유형 정보를 더 포함할 수도 있다. 농담과 같은 활동 내용, 또는 어투와 같은 표현 스타일에 대한 반응으로 감정이 발현되는데, 이 때 발현되는 감정 상태는 동일한 반응을 주는 상호작용 상대방이 누구냐에 따라 상이할 수도 있다. 예를 들어, 사회적 관계가 깊은 제1 유형의 상호작용 상대방으로부터 농담을 수신한 제1 사용자(100_1)는 긍정적인 감정 상태가 판단될 수도 있는 반면, 동일한 내용의 농담을 사회적 관계가 깊지 않는 제3 유형의 상호작용 상대방으로부터 수신한 동일한 제1 사용자(100_1)는 부정적인 감정 상태가 판단될 수도 있다.
본 출원의 감정 인식 모델은 상호작용 상대방의 유형을 고려하도록 학습됨으로써, 상호작용 활동 동안의 제1 사용자의 감정 상태를 보다 정확하게 판단한다.
이와 같이 판단된 제1 감정 상태는 제2 사용자(100_2)와 함께하는 상호작용 활동으로부터 판단된 것이므로, 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 상태 점수와 관련된다.
상기 제1 전자 장치(110_1)는, 감정 상태(또는 최종 감정 상태)가 판단된 경우, 판단된 감정 상태로 분류될 확률 값에 기초하여 감정 상태 점수의 값을 산출할 수도 있다.
예를 들어, 제1 전자 장치(110_1)가 도 5의 이미지 기반 감정 인식 모델을 이용하여 사용자의 감정 상태를 긍정으로 판단한 경우, 감정 상태가 긍정으로 분류될 확률 값(예컨대, 0.9)을 감정 상태 점수의 값으로 산출할 수도 있다.
일부 실시 예들에서, 상기 제1 전자 장치(110_1)는 판단된 감정 상태로 분류될 확률 값을 미리 지정된 스케일 범위로 변환한 값을 감정 상태 점수의 값으로 산출할 수도 있다. 예를 들어, 제1 전자 장치(110_1)는 확률 값을 백분율로 변환한 값을 감정 상태 점수의 값으로 산출할 수도 있다.
산출된 제1 사용자(100_1)의 감정 상태 점수의 값은 관계 감정 지수를 측정하는데 이용된다.
그리고 판단된 제1 사용자(100_1)의 감정 상태 정보(예컨대, 감정 유형, 감정 종류)는 제2 사용자(100_2)에게 공지될 수도 있다.
단일 상호작용 활동 동안 복수의 감정 판단 동작이 수행되어 2이상의 감정 상태가 판단된 경우, 상기 단일 상호작용 활동에 대한 대표 감정 상태가 판단될 수도 있다.
일부 실시 예들에서, 상기 제1 전자 장치(110_1)는 2이상의 감정 상태 중 가장 많이 판단된 감정 상태를 대표 감정 상태로 판단할 수도 있다.
또한, 다른 일부 실시 예들에서, 상기 제1 전자 장치(110_1)는 2이상의 감정 상태 중 가장 오랜 시간 지속되면서 2이상의 감정 상태 각각의 확률 값 중에서 가장 높은 확률 값이 지속 기간 중에 산출된 감정 상태를 대표 감정 상태로 판단할 수도 있다.
다시 도 4를 참조하면, 상기 산출된 감정 상태 점수에 기초하여 상기 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 관계 감정 지수를 측정하는 단계(S440)는, 산출된 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 상태 점수 및 제1 사용자(100_1)와 제2 사용자(100_2)의 상호작용 활동 동안 상호작용 행동의 회수에 기초하여 상호작용 상대방 유형에 따른 관계 감정 지수를 측정할 수도 있다. 상기 관계 감정 지수는 제2 사용자(100_2)의 상호작용 상대방 유형에 따라 측정되는 것일 수도 있다. 상기 관계 감정 지수는 상호작용 상대방 유형에 대응한 지수 유형으로 분류될 수도 있다. 상기 지수 유형은 애정도, 호감도, 및/또는 친밀도를 포함할 수도 있다.
상기 단계(S440)는, 제2 사용자(100_2)가 제1 유형의 상호작용 상대방일 경우, 애정도(affection) 지수를 산출하는 단계; 제2 사용자(100_2)가 제2 유형의 상호작용 상대방일 경우, 호감도(preference) 지수를 산출하는 단계; 및 제2 사용자(100_2)가 제3 유형의 상호작용 상대방일 경우, 친밀도(affinity) 지수를 산출하는 단계를 포함할 수도 있다.
상기 관계 감정 지수는 지수 유형 정보, 및 그 값을 포함할 수도 있다. 또한, 일부 실시 예들에서, 상기 관계 감정 지수는 상호작용 상대방의 유형 정보를 더 포함할 수도 있다.
도 12는, 본 출원의 일 실시 예에 따른, 상호작용 상대방의 유형에 따른 관계 감정 지수를 산출하는 과정의 개략도이다.
도 12를 참조하면, 애정도 지수, 호감도 지수, 친밀도 지수는 각각의 상호작용 활동별로 산출될 수도 있다.
도 12에 도시된 것처럼, 각 유형별 관계 감정 지수의 값을 산출하는 수학식은 동일할 수도 있다.
예를 들어, 상기 제1 전자 장치(110_1)는 1회의 상호작용 활동 동안 제1 사용자(100_1)의 상호작용 동작의 회수와 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 상태 점수의 값의 곱을 관계 감정 지수의 값으로 산출할 수도 있다. 단일 상호작용 활동 동안 복수의 감정 상태 판단 동작이 수행되어 2이상의 감정 상태가 판단된 경우, 대표 감정 상태와 관련된 감정 상태 점수의 값이 도 12의 수학식에 적용된다.
일부 실시 예들에서, 상기 감정 상태 점수의 값은 판단된 감정 상태 정보에 더 기초하여 산출될 수도 있다. 도 12에 도시된 것처럼 판단된 감정 상태 정보에 대응한 가중치가 추가로 곱해질 수도 있다. 상기 가중치는 상기 판단된 감정 유형이 긍정일 경우 제1 양의 값을 가질 수도 있다. 상기 가중치는 감정 유형이 부정일 경우 제1 음의 값을 가질 수도 있다. 일부 실시 예들에서, 판단된 감정 유형이 중립일 경우, 상기 가중치는 제1 음의 값과 제1 양의 값의 사이의 임의의 값일 수도 있다. 일부 실시 예들에서, 상기 판단된 감정 유형이 중립일 경우 가중치는 0일 수도 있다.
도 13은, 본 출원의 다른 일 실시 예에 따른, 상호작용 활동별 가중치를 이용하여 관계 감정 지수를 산출하는 과정의 개략도이다.
도 13을 참조하면, 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템(1)은 상호작용 활동별로 지수 가중치를 미리 설정할 수도 있다. 상기 지수 가중치는 제1 사용자(100_1)가 상호활동 행동을 통해 보다 잘 전달되거나 증폭되는 것일수록 더 높은 지수 가중치를 가진다.
예를 들어, 음성 채팅이 텍스트 채팅 보다 더 높은 지수 가중치를 갖도록 설정될 수도 있다. 또한, 보다 풍부한 내용을 전송할 수 있는 텍스트 채팅이 이모티콘 채팅 또는 제스처 채팅 보다 더 높은 지수 가중치를 갖도록 설정될 수도 있다. 또한, 사용자의 감정 상태가 상호활동 행동만으로는 판단되기 어려운 상호작용 활동(에컨대, 행사 공통 참여, 또는 공간 공통 체류)는 가장 낮은 지수 가중치가 설정될 수도 있다.
일부 실시 예들에서, 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법은, 제1 사용자(100_1)의 개인정보 중 적어도 일부, 제2 사용자(100_2)의 개인정보 중 적어도 일부, 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 상태 점수, 및 관계 감정 지수를 포함한 감정 측정 내역을 생성하는 단계(S450)를 포함할 수도 있다.
상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템(1)은 상기 단계(S440)에서 관계 감정 지수가 측정되면, 제1 사용자(100_1)의 개인정보 중 적어도 일부, 제2 사용자(100_2)의 개인정보 중 적어도 일부, 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 상태 점수, 및 관계 감정 지수를 포함한 감정 측정 내역을 생성하고, 이를 서버(130)에 저장할 수도 있다. 감정 상태 점수는 감정 상태(유형, 종류) 정보, 및 점수 값을 포함한다. 상기 관계 감정 지수는 지수 유형 정보 및 지수 값을 포함한다.
또한, 상기 감정 측정 내역을 생성하는 단계(S450)는, 감정 측정 데이터베이스를 서버(130)에 구축하는 단계를 포함할 수도 있다.
또한, 상기 감정 측정 내역을 생성하는 단계(S450)는 이미 저장된 감정 측정 내역를 새로운 감정 상태 점수, 및 관계 감정 지수로 업데이트하는 단계를 더 포함할 수도 있다.
상기 단계(S450)에서 서버(130)는 개별 상호작용 활동에 따른 제1, 제2 사용자(100_1, 100_2)의 개인정보 중 적어도 일부(예컨대, 식별정보), 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 상태 점수, 및 관계 감정 지수를 제1 전자 장치(110_1)로부터 수신하고, 감정 측정 내역에 저장된 기존 감정 상태 점수, 및 기존 관계 감정 지수를 신규 감정 상태 점수, 및 관계 감정 지수와 합산하여 누적 감정 상태 점수, 및 관계 감정 지수를 업데이트할 수도 있다.
다시 도 4를 참조하면, 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법은 단계(S440)에서 측정된, 상기 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 관계 감정 지수를 제1 전자 장치(110_1)에서 표시하는 단계(S460)를 더 포함한다. 일부 실시 예들에서, 상기 단계(S460)는 단계(S450) 이후에 수행되거나 동시에 수행될 수도 있다.
상기 단계(S460)에서 제1 사용자(100_1)는 산출된 관계 감정 지수(예컨대, 호감도 지수)를 출력 장치(150)에 의해 시청할 수 있어 자신이 무의식중에 발현한 관계 감정의 종류/깊이를 정량적으로 확인할 수도 있다.
또한, 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법은, 상기 단계(S440)이후에, 서버(130)로부터 복수의 제2 사용자(100_2) 각각에 대한 감정 측정 내역을 검색하여 상호작용 기록을 전자 장치(110_1)에서 표시하는 단계(S470); 및/또는 상호작용 활동 동안 상기 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 상태에 기초하여 적어도 하나의 컨텐츠를 상기 제2 사용자의 전자 장치(110_2)로 전송하는 단계(S480)를 더 포함할 수도 있다.
도 14는, 본 출원의 일 실시 예에 따른, 상호작용 기록을 표시한 화면을 도시한다.
도 14를 참조하면, 상기 단계(S470)는, 제1 전자 장치(110_1)가 상호작용 기록 화면 표시 명령을 입력 받아 제1 사용자(100_1)의 감정 측정 내역 요청을 서버(130)로 전송하는 단계; 서버(130)에서 감정 측정 데이터베이스에서 제1 사용자(100_1)의 식별정보를 데이터베이스 주소로 갖는 데이터를 검색하고, 검색된 데이터 및 검색된 데이터의 데이터베이스 주소에 기초하여 제1 사용자(100_1)와 함께 상호작용 활동했던 제2 사용자(100_2)에 대한 감정 측정 내역을 형성하여 상기 제1 전자 장치(110_1)로 전송하는 단계; 제1 전자 장치(110_1)에서 수신한 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 측정 내역에 기초하여 상호작용 기록을 표시한 화면을 표시하는 단계를 포함할 수도 있다.
상기 단계(S470)에서 감정 측정 데이터베이스에서 검색되는 데이터는 관계 감정 지수(예컨대, 누적 관계 감정 지수), 판단된 감정 상태(예컨대, 최근 판단 감정 상태)를 포함한다. 상기 제1 전자 장치(110_1)는 관계 감정 지수 내 지수 유형 정보로부터 제2 사용자(100_2)의 상호작용 상대방 유형 정보를 도출하고 도출된 상호작용 상대방 유형 정보, 수신된 관계 감정 지수, 및 판단된 감정 상태를 포함한 상호작용 기록 화면을 표시할 수도 있다.
상기 상호작용 기록 화면에서 복수의 제2 사용자(100_2) 각각에 대한 상호작용 기록은 도 14와 같이 목록 형태로 표시될 수도 있으나, 이에 제한되진 않는다.
또한, 일부 실시 예들에서, 상기 상측법은, 상호기록 화면을 통해 상호작용 상대방의 유형을 재-지정하는 단계(S471)를 더 포함할 수도 있다.
서버(130)는 수신한 신규 감정 상태 점수 내 감정 상태 정보(유형, 종류)에 기초하여 가장 최근에 판단된 감정 상태를 업데이트할 수도 있다.
예를 들어, 제3 유형의 상호작용 상대방의 제2 사용자(100_2)와 지속된 상호작용 활동으로 인해 누적 지수가 높은 것이 상호작용 기록 화면을 통해 확인된다. 그러면, 제1 사용자(100_1)는 제2 사용자(100_2)의 상호작용 상대방의 유형을 제3 유형으로부터 제2 유형으로 자동으로 변경할 수도 있다.
도 15는, 본 출원의 일 실시 예에 따른, 2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 상태를 나타낸 컨텐츠를 전송하는 과정의 개략도이다.
도 15를 참조하면, 상기 적어도 하나의 컨텐츠를 상기 제2 사용자의 전자 장치(110_2)로 전송하는 단계(S480)는, 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 판단된 감정 상태를 나타낸 제1 컨텐츠를 제2 전자 장치(110_2)로 전송하는 단계를 포함할 수도 있다.
상기 제1 컨텐츠는 상호작용 활동 동안에 판단된 감정 상태를 나타낸 컨텐츠일 수도 있다. 상기 제1 컨텐츠는 이모티콘, 텍스트, 기타 멀티미디어 데이터일 수도 있다.
상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템(1)에는 각각의 감정 상태별 컨텐츠가 미리 저장될 수도 있다. 상기 감정 상태는 긍정, 또는 부정일 수도 있다.
또한, 상기 단계(S480)는, 상기 제1 전자 장치(110_1)에 의해 제1 컨텐츠의 전송 사실을 서버(130)로 전송하는 단계; 및 상기 제1 컨텐츠의 전송 사실을 수신한 경우, 서버(130)는 제1 전송 사실 내 감정 상태에 대응한 컨텐츠를 포함한 메시지를 제2 전자 장치(110_2)로 전송하는 단계를 포함할 수도 있다.
상기 전송 사실은 제1 컨텐츠의 전송을 야기한 제1 사용자(100_1)의 감정 상태를 포함할 수도 있다.
상기 제2 컨텐츠는 감정 상태별로 미리 설정되어 서버(130)에 저장될 수도 있다.
이러한 컨텐츠 메시지를 전송함으로써, 상호작용 상대방이 무례한 행동을 삼가하고, 긍정적인 행동은 더욱 빈번히 하도록 유도할 수도 있다.
또한, 일부 실시 예들에서, 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법은, 온라인 공간 또는 지리적 공간 상에서 일정 거리 내에 제2 사용자(100_2)가 근접할 경우 근접한 제2 사용자(100_2)에 대해 갖고 있는 제1 사용자(100_1)의 감정 유형을 확인하고, 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 유형이 긍정인 경우 해당 제2 사용자에 대한 제1 사용자의 관계 감정 지수를 전자 장치(110_2)로 전송하는 단계(S490)를 더 포함할 수도 있다. 상기 일정 거리는 거리 도메인이 온라인 공간인지 지리적 공간인지에 따라 상이한 값으로 설정될 수도 있다. 일부 실시 예들에서, 상기 단계(S490)에서 확인된 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 감정 유형 정보를 더 전송할 수도 있다.
일부 실시 예들에서, 상기 온라인 공간 상에서 제1 사용자(100_1)와 제2 사용자(100_2) 간의 거리는 메타버스 세계 내 각각의 사용자 아바타 간의 메타버스 상에서의 거리일 수도 있다.
일부 실시 예들에서, 상기 전자 장치(110)는 지리적 공간 상에서 사용자(100) 간의 거리를 측정하기 위한 GPS 모듈을 더 포함할 수도 있다.
도 16은, 본 출원의 일 실시 예에 따른, 근접한 다른 사용자에게 자신의 긍정적 감정 상태를 표시하는 화면을 도시한다.
도 16을 참조하면, 근접한 제2 전자 장치(110_2)는 제2 사용자(100_2)에 대한 제1 사용자(100_1)의 관계 감정 지수 및 감정 유형 정보를 수신하고, 제2 사용자(100_2)의 관점에서 제1 사용자(100_1)의 상호작용 상대방의 유형 정보를 검색하고, 검색된 제1 사용자(100_1)의 상호작용 상대방의 유형 정보, 및 관계 감정 지수 및 감정 유형 정보를 포함한 화면을 표시할 수도 있다(S490).
추가적으로, 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템(1)은 서버(130)에서 활동 시간 전체를 감정 상태가 판단된 각 사용자별 구간으로 구획하고, 각 사용자의 구획별 감정 유형이 상대방끼리 반대되지 않는 구획의 감정 유형을 선별하고, 선별된 감정 유형에 기초하여 제1 사용자(100_1)와 제2 사용자(100_2) 간의 궁합 점수를 추가로 산출할 수도 있다. 산출된 궁합 점수는 제1 전자 장치(110_1) 또는 제2 전자 장치(110_2)로 전송될 수도 있다.
감정 상태가 상호작용 행동이 발생하는 것에 반응하여 다수 판단될 경우, 각 상호작용 행동의 발생 시점부터 다음 상호작용 행동의 발생 시점까지의 시간을 구획할 수도 있다. 이 경우 각 구획별로 구획의 시작 부분의 상호작용 행동에 따라 판단된 감정 상태가 해당 구획의 감정 상태를 나타낸다.
상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템(1)에서 2개의 감정 유형이 판단 가능할 경우, 반대되지 않는 감정 유형은 동일한 감정 유형을 나타낸다. 상기 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템(1)에서 3개의 감정 유형이 판단 가능할 경우, 반대되지 않는 감정 유형은 긍정-긍정, 부정-부정, 긍정-중립을 나타낸다.
감정 유형이 반대되지 않는 사용자별 구획은 구획 구간이 중첩되거나, 바로 인접한 시간인 구간을 나타낸다. 각자의 상호작용 행동이 서로 교차할 수도 있기 때문이다. 예를 들어, 제1 사용자(100_1)의 구간은 1시부터 1시 5분이고 제2 사용자(100_2)의 구간은 1시 5분부터 1시 10분일 경우, 이 두 구간은 감정 유형이 반대되는지 여부가 판단되는 대상이다.
일인칭 시점에서는 긍정적으로 느끼지만 전지적 시점에서는 둘의 작업 관계가 신통치 않을 수도 있다. 상기 시스템(1)은 자신은 느낄 수 없는 감정 측면의 궁합까지 수치화해서 제공한다.
일부 실시 예들에서, 상기 궁합 점수는 각 사용자(100)의 서로 대응한 구획의 감정 유형이 반대되지 않는 빈도에 기초하여 산출된다. 빈도가 증가할 수록 보다 높은 궁합 점수가 산출된다.
도 1의 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템(1) 및 도 4의 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법에서는 단계(S440)의 동작은 제1 전자 장치(110_1)에 의해 수행되는 것으로 서술되었으나, 다른 실시 예들에서는 서버(130)에서 수행되는 것으로 변경될 수도 있다. 이 경우, 상기 단계(S440)는, 포착된 데이터를 수신하는 단계; 측정하는 단계; 및 측정 결과를 전송하는 단계를 포함할 수도 있다.
하드웨어를 이용하여 본 발명의 실시 예를 구현하는 경우에는, 본 출원의 실시 예들을 수행하도록 구성된 ASICs(application specific integrated circuits) 또는 DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays) 등이 본 출원의 구성요소에 구비될 수 있다.
이상에서 설명한 본 출원의 실시 예들에 따른 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템(1) 및 방법에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.
상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.
본 출원의 실시 예들은 사용자의 행동 패턴을 분석하는 분야에서 널리 이용될 것으로 예상된다.

Claims (10)

  1. 하나 이상의 컴퓨팅 장치에 의해 수행되는, 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법에 있어서,
    제1 사용자의 제1 전자 장치에서 복수의 다른 사용자를 제1 유형의 상호작용 상대방, 제2 유형의 상호작용 상대방 및 제 3 유형의 상호작용 상대방 각각으로 지정하는 단계;
    상기 제1 전자 장치에서 전기 통신을 통해 제2 사용자와 상호작용 활동을 개시하는 단계 - 상호작용 활동은 각 사용자의 전자 장치를 통해 구현되는 상호작용 행동으로 이루어짐;
    상호작용 활동 동안 제1 전자 장치에서 제1 사용자의 이미지, 음성, 텍스트 중 하나 이상의 데이터를 포함한 활동 데이터를 포착하는 단계;
    미리 학습된 감정 인식 모델을 이용하여 상기 활동 데이터로부터 제2 사용자에 대한 제1 사용자의 감정 상태 점수를 산출하고, 산출된 감정 상태 점수에 기초하여 상기 제2 사용자에 대한 제1 사용자의 관계 감정 지수를 측정하는 단계;를 포함하는,
    방법.
  2. 청구항 제1항에 있어서, 상기 제1 사용자의 활동 데이터로부터 제1 사용자의 감정 상태 점수를 판단하는 단계는,
    미리 학습된 이미지 기반 감정 인식 모델를 이용하여 제1 사용자의 이미지 데이터로부터 제1 사용자의 제1 감정 상태 점수를 산출하는 단계를 포함하고,
    상기 이미지 기반 감정 인식 모델은
    입력 이미지에서 얼굴 영역을 검출하는 얼굴 검출 유닛, 검출된 얼굴 영역에서 사용자의 이미지 특징을 추출하는 특징 추출 유닛, 및 모델에 미리 지정된 복수의 감정 상태 중에서 추출된 특징에 기초하여 입력 이미지 내 얼굴이 가리키는 사용자의 감정 상태를 분류하는 감정 판단 유닛을 포함한, 기계학습 모델이며,
    상기 감정 판단 유닛은 사용자의 감정 유형을 판단하기 위한 제1 감정 판단 유닛, 및 사용자의 감정 종류를 판단하기 위한 제2 감정 판단 유닛을 포함하고,
    상기 이미지 기반 감정 인식 모델은 상기 얼굴 영역에서 특징을 추출하여 사용자의 감정 유형을 제1 뎁스로 판단하고, 상기 얼굴 영역에서 특징을 추출하여 사용자의 감정 종류를 제2 뎁스로 판단하도록 구성되는 것을 특징으로 하는,
    방법.
  3. 청구항 제2항에 있어서, 상기 제1 사용자의 활동 데이터로부터 제1 사용자의 감정 상태 점수를 판단하는 단계는,
    미리 학습된 텍스트 기반 감정 인식 모델를 이용하여 제1 사용자의 텍스트 데이터로부터 제1 사용자의 제2 감정 상태 점수를 산출하는 단계, 및 사용자의 텍스트 데이터로부터 사용자의 제2 감정 상태를 판단하는 단계; 상기 텍스트 기반 감정 인식 모델 또는 미리 학습된 음성 기반 감정 인식 모델을 이용하여 사용자의 음성 데이터로부터 사용자의 제3 감정 상태를 판단하는 단계 중 하나 이상의 단계를 더 포함하는 것을 특징으로 하는,
    방법.
  4. 청구항 제3항에 있어서, 상기 제1 사용자의 활동 데이터로부터 제1 사용자의 감정 상태 점수를 판단하는 단계는,
    사용자의 제1 내지 제3 감정 상태 중 2이상의 감정 상태가 판단된 경우, 2이상의 감정 상태 각각으로 분류될 확률 값에 기초하여 사용자의 최종 감정 상태를 판단하는 단계를 더 포함하고,
    상기 최종 감정 상태를 판단하는 단계는,
    이미지 데이터로부터 판단된 제1 감정 상태에 대해서는 보다 높은 제1 가중치를 부여하고, 텍스트 데이터로부터 판단된 제2 감정 상태에 대해서는 보다 낮은 제2 가중치를 부여하며, 제1 가중치를 제1 감정 상태의 값에 적용하고 제2 가중치를 제2 감정 상태의 값에 적용한 연산 값에 기초해 최종 감정 상태를 판단하는 것을 특징으로 하는,
    방법.
  5. 청구항 제1항에 있어서, 상기 산출된 감정 상태 점수에 기초하여 상기 제2 사용자에 대한 제1 사용자의 관계 감정 지수를 측정하는 단계는,
    산출된 제2 사용자에 대한 제1 사용자의 감정 상태 점수 및 제1 사용자와 제2 사용자의 상호작용 활동 동안 상호작용 행동의 회수에 기초하여 상호작용 상대방 유형에 따른 관계 감정 지수를 산출하는 단계를 포함하고,
    상기 상대방 유형에 따른 관계 감정 지수를 산출하는 단계는,
    제2 사용자가 제1 유형의 상호작용 상대방일 경우, 애정도(affection) 지수를 산출하는 단계;
    제2 사용자가 제2 유형의 상호작용 상대방일 경우, 호감도(preference) 지수를 산출하는 단계; 및
    제2 사용자가 제3 유형의 상호작용 상대방일 경우, 친밀도(affinity) 지수를 산출하는 단계를 포함하고,
    상기 감정 상태 점수는 감정 상태의 판단 결과 및 판단 결과의 확률 값으로 표현되는 것을 특징으로 하는,
    방법.
  6. 청구항 제1항에 있어서, 상기 방법은,
    제1 사용자의 식별정보, 제2 사용자의 식별정보, 제2 사용자에 대한 제1 사용자의 감정 상태 점수, 및 관계 감정 지수를 포함한 감정 측정 내역을 생성하는 단계를 더 포함하고,
    상기 감정 상태 점수는 감정 상태 정보 및 해당 점수 값을 포함하고, 상기 관계 감정 지수는 지수 유형 정보 및 해당 지수 값을 포함하며,
    상기 감정 측정 내역을 생성하는 단계는,
    감정 측정 데이터베이스를 서버에 구축하는 단계; 및
    이미 저장된 감정 측정 내역를 새로운 감정 상태 점수, 및 관계 감정 지수로 업데이트하는 단계를 포함하는 것을 특징으로 하는,
    방법.
  7. 청구항 제6항에 있어서,
    상기 감정 측정 데이터베이스는 사용자의 개인정보를 저장한 사용자 데이터베이스와 별도로 구축된 것이고,
    상기 감정 측정 데이터베이스의 일 축은 제1 사용자의 식별정보, 다른 일 축은 제2 사용자의 식별정보로 이루어지는 2차원 테이블 구조로 구축되고,
    상기 2차원 테이블 구조 내에 저장되는 데이터에 할당되는 데이터베이스 주소는 상기 제1 사용자의 식별정보, 및 제2 사용자의 식별정보의 조합으로 표현되며,
    상기 데이터베이스 주소에 저장되는 데이터는 관계 감정 지수, 판단된 감정 상태를 포함하는 것을 특징으로 하는,
    방법.
  8. 청구항 제7항에 있어서, 상기 방법은,
    서버로부터 복수의 제2 사용자 각각에 대한 감정 측정 내역을 검색하여 상호작용 기록을 전자 장치에서 표시하는 단계를 더 포함하고,
    상기 표시하는 단계는,
    제1 전자 장치가 상호작용 기록 화면 표시 명령을 입력 받아 제1 사용자의 감정 측정 내역 요청을 서버로 전송하는 단계;
    서버에서 감정 측정 데이터베이스로부터 제1 사용자의 식별정보를 데이터베이스 주소로 갖는 데이터를 검색하고, 검색된 데이터 및 검색된 데이터의 데이터베이스 주소에 기초하여 제1 사용자와 함께 상호작용 활동했던 제2 사용자에 대한 감정 측정 내역을 형성하여 상기 제1 전자 장치로 전송하는 단계;
    제1 전자 장치에서 수신한 제2 사용자에 대한 제1 사용자의 감정 측정 내역에 기초하여 상호작용 기록을 표시한 화면을 표시하고,
    상기 제1 전자 장치는 관계 감정 지수 내 지수 유형 정보로부터 제2 사용자의 상호작용 상대방 유형 정보를 도출하고 도출된 상호작용 상대방 유형 정보, 수신된 관계 감정 지수, 및 판단된 감정 상태를 포함한 상호작용 기록 화면을 표시하는 것을 특징으로 하는,
    방법.
  9. 청구항 제2항에 있어서, 상기 방법은,
    온라인 공간 또는 지리적 공간 상에서 일정 거리 내에 제2 사용자가 근접할 경우 근접한 제2 사용자에 대해 갖고 있는 제1 사용자의 감정 유형을 확인하고, 제2 사용자에 대한 제1 사용자의 감정 유형이 긍정인 경우 해당 제2 사용자에 대한 제1 사용자의 관계 감정 지수를 전자 장치로 전송하는 단계를 더 포함하는 것을 특징으로 하는,
    방법.
  10. 청구항 제1항 내지 청구항 제9항 중 어느 하나의 청구항에 따른 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 방법을 수행하기 위한, 프로그램을 기록한 컴퓨터 판독가능한 기록매체.
PCT/KR2022/016761 2022-07-29 2022-10-28 얼굴 인식 기반 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템 및 방법 WO2024025038A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0095037 2022-07-29
KR1020220095037A KR20240016815A (ko) 2022-07-29 2022-07-29 얼굴 인식 기반 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2024025038A1 true WO2024025038A1 (ko) 2024-02-01

Family

ID=89706862

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/016761 WO2024025038A1 (ko) 2022-07-29 2022-10-28 얼굴 인식 기반 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR20240016815A (ko)
WO (1) WO2024025038A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170017109A (ko) * 2015-08-05 2017-02-15 라인 가부시키가이샤 인스턴트 메시지에 기반하여 사용자의 감정 및 활동을 수집하는 시스템 및 방법
KR20200026798A (ko) * 2017-04-23 2020-03-11 오캠 테크놀로지스 리미티드 이미지를 분석하기 위한 웨어러블기기 및 방법
KR20210076528A (ko) * 2019-12-16 2021-06-24 조선대학교산학협력단 감정 인식 방법 및 장치
KR102275741B1 (ko) * 2020-11-27 2021-07-09 주식회사 지미션 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템 및 방법
KR20220105546A (ko) * 2021-01-20 2022-07-27 주식회사 한글과컴퓨터 감정 분석 기반의 채팅 기능을 제공하는 전자 장치 및 그 동작 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210026305A (ko) 2019-08-29 2021-03-10 주식회사 룩시드랩스 선호도 결정 방법 및 이를 이용한 선호도 결정용 디바이스

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170017109A (ko) * 2015-08-05 2017-02-15 라인 가부시키가이샤 인스턴트 메시지에 기반하여 사용자의 감정 및 활동을 수집하는 시스템 및 방법
KR20200026798A (ko) * 2017-04-23 2020-03-11 오캠 테크놀로지스 리미티드 이미지를 분석하기 위한 웨어러블기기 및 방법
KR20210076528A (ko) * 2019-12-16 2021-06-24 조선대학교산학협력단 감정 인식 방법 및 장치
KR102275741B1 (ko) * 2020-11-27 2021-07-09 주식회사 지미션 영상 정보를 활용한 맞춤형 컨텐츠 서비스 제공 시스템 및 방법
KR20220105546A (ko) * 2021-01-20 2022-07-27 주식회사 한글과컴퓨터 감정 분석 기반의 채팅 기능을 제공하는 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
KR20240016815A (ko) 2024-02-06

Similar Documents

Publication Publication Date Title
WO2020213996A1 (en) Method and apparatus for interrupt detection
WO2020091350A1 (en) Electronic device and control method thereof
WO2020106103A1 (en) Method and apparatus for processing voice data of speech
WO2020050595A1 (ko) 음성 인식 서비스를 제공하는 서버
WO2019182226A1 (en) System for processing sound data and method of controlling system
WO2018128362A1 (en) Electronic apparatus and method of operating the same
WO2019027259A1 (en) APPARATUS AND METHOD FOR PROVIDING SUMMARY INFORMATION USING ARTIFICIAL INTELLIGENCE MODEL
WO2019031707A1 (en) MOBILE TERMINAL AND METHOD FOR CONTROLLING A MOBILE TERMINAL USING MACHINE APPRENTICESHIP
WO2018084577A1 (en) Data recognition model construction apparatus and method for constructing data recognition model thereof, and data recognition apparatus and method for recognizing data thereof
WO2019146942A1 (ko) 전자 장치 및 그의 제어방법
WO2021112642A1 (en) Voice user interface
WO2020230926A1 (ko) 인공 지능을 이용하여, 합성 음성의 품질을 평가하는 음성 합성 장치 및 그의 동작 방법
WO2017043857A1 (ko) 어플리케이션 제공 방법 및 이를 위한 전자 기기
EP3545436A1 (en) Electronic apparatus and method of operating the same
EP3602334A1 (en) Apparatus and method for providing summarized information using an artificial intelligence model
WO2019083275A1 (ko) 관련 이미지를 검색하기 위한 전자 장치 및 이의 제어 방법
WO2018093229A1 (en) Method and device applying artificial intelligence to send money by using voice input
WO2019164120A1 (ko) 전자 장치 및 그 제어 방법
WO2019194451A1 (ko) 인공지능을 이용한 음성 대화 분석 방법 및 장치
EP3545487A1 (en) Electronic apparatus, controlling method of thereof and non-transitory computer readable recording medium
WO2018174443A1 (en) Electronic apparatus, controlling method of thereof and non-transitory computer readable recording medium
EP3532990A1 (en) Data recognition model construction apparatus and method for constructing data recognition model thereof, and data recognition apparatus and method for recognizing data thereof
EP3523710A1 (en) Apparatus and method for providing sentence based on user input
WO2018084581A1 (en) Method and apparatus for filtering a plurality of messages
WO2018101671A1 (en) Apparatus and method for providing sentence based on user input

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22953263

Country of ref document: EP

Kind code of ref document: A1