KR102617115B1 - 감정 표현 시스템 및 감정 표현 방법 - Google Patents

감정 표현 시스템 및 감정 표현 방법 Download PDF

Info

Publication number
KR102617115B1
KR102617115B1 KR1020230075183A KR20230075183A KR102617115B1 KR 102617115 B1 KR102617115 B1 KR 102617115B1 KR 1020230075183 A KR1020230075183 A KR 1020230075183A KR 20230075183 A KR20230075183 A KR 20230075183A KR 102617115 B1 KR102617115 B1 KR 102617115B1
Authority
KR
South Korea
Prior art keywords
user terminal
user
emotion
image
vibration
Prior art date
Application number
KR1020230075183A
Other languages
English (en)
Inventor
권지현
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020230075183A priority Critical patent/KR102617115B1/ko
Application granted granted Critical
Publication of KR102617115B1 publication Critical patent/KR102617115B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일실시예에 따르면, 복수개의 진동자가 배치된 진동 모듈을 포함하는 제1 사용자 단말 및 제2 사용자 단말을 포함하는 감정 표현 시스템에 있어서, 학습이 완료된 제1 딥러닝 모델 이용하여 상기 제2 사용자 단말이 전송한 메시지를 기초로 제2 사용자 단말 사용자의 감정을 결정하고, 상기 결정한 상기 제2 사용자 단말 사용자의 감정에 대응하는 진동을 출력하는 제1 사용자 단말을 포함하고, 상기 제2 사용자 단말은, 학습이 완료된 제2 딥러닝 모델을 이용하여 상기 제2 사용자 단말이 전송한 메시지에 응답하여 상기 제1 사용자 단말이 전송한 메시지를 기초로 제1 사용자 단말 사용자의 감정을 결정하고, 상기 결정한 상기 제1 사용자 단말 사용자의 감정에 대응하는 진동을 출력한다.

Description

감정 표현 시스템 및 감정 표현 방법{SYSTEM FOR EMOTION EXPRESSION AND METHOD THEREOF}
아래의 실시예들은 감정 표현 시스템 및 감정 표현 방법에 관한 것이다.
머신 러닝(machine learning)은 인공 지능의 한 분야로, 패턴인식과 컴퓨터 학습 이론의 연구로부터 진화한 분야이며, 컴퓨터가 학습할 수 있도록 하는 알고리즘과 기술을 개발하는 분야를 말한다.
머신 러닝의 핵심은 표현(representation)과 일반화(generalization)에 있다. 표현이란 데이터의 평가이며, 일반화란 아직 알 수 없는 데이터에 대한 처리이다. 이는 전산 학습 이론 분야이기도 하다.
딥 러닝(deep learning)은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화를 시도하는 머신 러닝(machine learning) 알고리즘의 집합으로 정의되며, 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 머신 러닝의 한 분야라고 이야기할 수 있다.
생성적 적대 신경망(Generative Adversarial Network, GAN)은 두 신경망 모델의 경쟁을 통해 학습하고 결과물을 만들어낸다. 두 모델은 '생성기 (Generator)'와 '판별기(Discriminator)'로 불리는데 상반된 목적을 갖고 있다. 생성기는 실제 데이터를 학습하고 이를 바탕으로 거짓 데이터를 생성한다. 실제에 가까운 거짓 데이터를 생성하는 게 목적이다. 판별기는 생성기가 내놓은 데이터가 실제인지 거짓인지 판별하도록 학습한다.
대한민국 등록특허공보 제10-1825134호(2018.01.29.등록)
일실시예에 따르면, 사용자 단말 사용자의 감정을 결정하고, 결정한 사용자 단말 사용자의 감정에 대응하는 진동을 출력할 수 있는 감정 표현 시스템 및 감정 표현 방법을 제공할 수 있다.
또한, 다른 실시예에 따르면, 사용자 단말 사용자의 감정에 따라 진동 패턴을 변경할 수 있는 감정 표현 시스템 및 감정 표현 방법을 제공할 수 있다.
또한, 또 다른 실시예에 따르면, 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 사용자 단말 사용자 이미지를 생성하여 출력할 수 있는 감정 표현 시스템 및 감정 표현 방법을 제공할 수 있다.
일실시예에 따르면, 복수개의 진동자가 배치된 진동 모듈을 포함하는 제1 사용자 단말 및 제2 사용자 단말을 포함하는 감정 표현 시스템에 있어서, 학습이 완료된 제1 딥러닝 모델 이용하여 상기 제2 사용자 단말이 전송한 메시지를 기초로 제2 사용자 단말 사용자의 감정을 결정하고, 상기 결정한 상기 제2 사용자 단말 사용자의 감정에 대응하는 진동을 출력하는 제1 사용자 단말을 포함하고, 상기 제2 사용자 단말은, 학습이 완료된 제2 딥러닝 모델을 이용하여 상기 제2 사용자 단말이 전송한 메시지에 응답하여 상기 제1 사용자 단말이 전송한 메시지를 기초로 제1 사용자 단말 사용자의 감정을 결정하고, 상기 결정한 상기 제1 사용자 단말 사용자의 감정에 대응하는 진동을 출력한다.
또한, 상기 제2 사용자 단말 사용자의 감정은, 긍정 감정, 부정 감정 및 중립 감정 중 적어도 어느 하나에 해당할 수 있다.
또한, 상기 제1 사용자 단말은, 상기 결정한 상기 제2 사용자 단말 사용자의 감정을 기초로 상기 출력하는 상기 진동의 패턴을 변경할 수 있다.
또한, 상기 제1 사용자 단말 사용자의 감정은, 긍정 대응 감정, 부정 대응 감정 및 중립 대응 감정 중 적어도 어느 하나에 해당할 수 있다.
또한, 상기 제2 사용자 단말은, 상기 결정한 상기 제1 사용자 단말 사용자의 감정을 기초로 상기 출력하는 상기 진동의 패턴을 변경할 수 있다.
또한, 상기 제1 사용자 단말은, 상기 제2 사용자 단말로 제2 사용자 단말 사용자의 이미지 전송을 요청하고, 상기 요청에 응답하여 상기 제2 사용자 단말이 전송한 상기 제2 사용자 단말 사용자의 이미지를 기초로 학습이 완료된 제1 이미지 생성 네트워크를 이용하여 상기 결정한 상기 제2 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제2 사용자 단말 사용자 이미지를 생성할 수 있다.
또한, 상기 제2 사용자 단말은, 상기 제1 사용자 단말로 제1 사용자 단말 사용자의 이미지 전송을 요청하고, 상기 요청에 응답하여 상기 제1 사용자 단말이 전송한 상기 제1 사용자 단말 사용자의 이미지를 기초로 학습이 완료된 제2 이미지 생성 네트워크를 이용하여 상기 결정한 상기 제1 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제1 사용자 단말 사용자 이미지를 생성할 수 있다.
다른 실시예에 따르면, 복수개의 진동자가 배치된 진동 모듈을 포함하는 제1 사용자 단말 및 제2 사용자 단말을 포함하는 감정 전달 시스템에서 수행되는 감정 표현 방법에 있어서, 제1 사용자 단말이 학습이 완료된 제1 딥러닝 모델 이용하여 상기 제2 사용자 단말이 전송한 메시지를 기초로 제2 사용자 단말 사용자의 감정을 결정하는 단계; 제1 사용자 단말이 상기 결정한 상기 제2 사용자 단말 사용자의 감정에 대응하는 진동을 출력하는 단계; 제2 사용자 단말이 학습이 완료된 제2 딥러닝 모델을 이용하여 상기 제2 사용자 단말이 전송한 메시지에 응답하여 상기 제1 사용자 단말이 전송한 메시지를 기초로 제1 사용자 단말 사용자의 감정을 결정하는 단계; 및 제2 사용자 단말이 상기 결정한 상기 제1 사용자 단말 사용자의 감정에 대응하는 진동을 출력하는 단계를 포함한다.
일실시예에 따르면, 사용자 단말 사용자의 감정을 결정하고, 결정한 사용자 단말 사용자의 감정에 대응하는 진동을 출력할 수 있는 효과가 있다.
또한, 사용자 단말 사용자의 감정에 따라 진동 패턴을 변경할 수 있는 효과가 있다.
또한, 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 사용자 단말 사용자 이미지를 생성하여 출력할 수 있는 효과가 있다.
도 1은 일 실시예에 따라 감정 표현 시스템에 포함된 사용자 단말이 감정을 표현하는 모습을 나타내는 도면이다.
도 2는 일 실시예에 따라 감정 표현 시스템에 포함된 사용자 단말의 구성을 나타내는 도면이다.
도 3은 일 실시예에 따라 전송된 메시지에서 사용자 단말 사용자의 감정을 결정하는 모습을 나타내는 도면이다.
도 4는 일 실시예에 따라 사용자 단말에 진동 모듈이 분포하는 모습을 나타내는 도면이다.
도 5는 일 실시예에 따른 감정 표현 방법을 나타내는 플로우 차트이다.
본 명세서에 개시되어 있는 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 실시예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 실시예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 실시예들의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 실시예들에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하의 설명에서 동일한 식별 기호는 동일한 구성을 의미하며, 불필요한 중복적인 설명 및 공지 기술에 대한 설명은 생략하기로 한다.
이하, 첨부한 도면을 참조하여 바람직한 실시예를 설명함으로써, 상세히 설명한다.
도 1은 일 실시예에 따라 감정 표현 시스템에 포함된 사용자 단말이 감정을 표현하는 모습을 나타내는 도면이다.
도 1을 참조하면, 감정 표현 시스템은 제1 사용자 단말(100) 및 제2 사용자 단말(120)을 포함할 수 있다.
다양한 실시 예에 따르면, 제1 사용자 단말(100)과 제2 사용자 단말(120)은 상호 통신적으로 연결되어 상호 데이터를 전송할 수 있다.
다양한 실시 예에 따르면, 제1 사용자 단말(100)은 제2 사용자 단말(120)이 전송한 메시지(110)를 수신할 수 있다.
다양한 실시 예에 따르면, 제1 사용자 단말(100)은 학습이 완료된 제1 딥러닝 모델을 이용하여 수신한 메시지(110)에서 제2 사용자 단말 사용자의 감정을 결정할 수 있다. 여기서, 학습이 완료된 제1 딥러닝 모델은 Bidirectional Encoder Representation from Transformers(BERT, 이하 "BERT"라 한다), BERT 기반의 한국어 BERT 일 수 있으나, 학습이 완료된 제1 딥러닝 모델이 이에 한정되는 것은 아니다.
다양한 실시 예에 따르면, 제1 사용자 단말(100)은 학습이 완료된 제1 딥러닝 모델을 이용하여 수신한 메시지(110)를 기초로 제2 사용자 단말 사용자의 감정을 긍정 감정, 부정 감정 및 중립 감정 중 적어도 어느 하나로 결정할 수 있다.
다양한 실시 예에 따르면, 제1 사용자 단말(100)은 제2 사용자 단말(120)로부터 제1 사용자 단말 사용자에 대한 이미지 전송 요청을 획득할 수 있다.
다양한 실시 예에 따르면, 제1 사용자 단말(100)은 제2 사용자 단말(120)의 제1 사용자 단말 사용자에 대한 이미지 전송 요청에 응답하여 제1 사용자 단말(100)에 포함된 촬영 장치(예컨대, 카메라)(101)를 이용하여 제1 사용자 단말 사용자의 이미지(예컨대, 제1 사용자 단말 사용자의 사진 등)를 획득할 수 있다.
다양한 실시 예에 따르면, 제1 사용자 단말(100)은 제1 사용자 단말 사용자에 대한 이미지 전송 요청에 응답하여 획득한 제1 사용자 단말 사용자의 이미지(예컨대, 제1 사용자 단말 사용자의 사진 등)를 제2 사용자 단말(120)로 전송할 수 있다.
다양한 실시 예에 따르면, 제1 사용자 단말(100)은 제2 사용자 단말(120)을 식별하기 위한 식별정보(예컨대, 제2 사용자 단말의 전화 번호 등)를 획득할 수 있다.
다양한 실시 예에 따르면, 제1 사용자 단말(100)은 획득한 제2 사용자 단말(120)을 식별하기 위한 식별정보(예컨대, 제2 사용자 단말의 전화 번호 등)를 기초로 제2 사용자 단말(120)로 제2 사용자 단말 사용자에 대한 이미지(예컨대, 제2 사용자 단말 사용자의 사진 등) 전송을 요청할 수 있다.
다양한 실시 예에 따르면, 제1 사용자 단말(100)은 제2 사용자 단말 사용자에 대한 이미지 전송 요청에 응답하여 제2 사용자 단말(120)이 전송한 제2 사용자 단말 사용자의 이미지(예컨대, 제2 사용자 단말 사용자의 사진 등)를 획득할 수 있다.
다양한 실시 예에 따르면, 제1 사용자 단말(100)은 획득한 제2 사용자 단말 사용자의 이미지(예컨대, 제2 사용자 단말 사용자의 사진 등)를 기초로 학습이 완료된 제1 이미지 생성 네트워크를 이용하여 제2 사용자 단말 사용자 이미지를 생성할 수 있다. 여기서, 학습이 완료된 제1 이미지 생성 네트워크는 생성적 적대신경망(Generative Adversarial Network, GAN) 일 수 있으나, 학습이 완료된 제1 이미지 생성 네트워크가 이에 한정되는 것은 아니다.
다양한 실시 예에 따르면, 제1 사용자 단말(100)은 획득한 제2 사용자 단말 사용자의 이미지(예컨대, 제2 사용자 단말 사용자의 사진 등)를 기초로 학습이 완료된 제1 이미지 생성 네트워크를 이용하여 제2 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제2 사용자 단말 사용자 이미지(113)를 생성할 수 있다.
다양한 실시 예에 따르면, 제1 사용자 단말(100)은 제1 사용자 단말(100)에서 출력되는 메시지(110)의 크기에 맞추어 생성한 제2 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제2 사용자 단말 사용자 이미지(113)의 크기를 조절할 수 있다.
다양한 실시 예에 따르면, 제1 사용자 단말(100)은 크기를 조절한 제2 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제2 사용자 단말 사용자 이미지(113)를 수신한 메시지(110)를 기준으로 설정된 미리 설정된 위치(예컨대, 메시지의 좌측 등)에 출력할 수 있다.
다양한 실시 예에 따르면, 제1 사용자 단말(100)은 학습이 완료된 제1 딥러닝 모델을 이용하여 수신한 메시지(110)를 기초로 결정한 제2 사용자 단말 사용자의 감정에 대응하는 배경색을 결정할 수 있다.
다양한 실시 예에 따르면, 제1 사용자 단말(100)은 학습이 완료된 제1 딥러닝 모델을 이용하여 수신한 메시지(110)를 기초로 결정한 제2 사용자 단말 사용자의 감정에 대응하는 배경색(102)을 출력할 수 있다. 여기서 제2 사용자 단말 사용자의 감정은 긍정 감정, 부정 감정 및 중립 감정 중 적어도 어느 하나 일 수 있다.
다양한 실시 예에 따르면, 제1 사용자 단말(100)이 학습이 완료된 제1 딥러닝 모델을 이용하여 수신한 메시지(110)를 기초로 결정한 제2 사용자 단말 사용자의 감정이 긍정 감정인 경우, 제1 사용자 단말(100)은 메시지가 출력되는 화면의 배경색(102)을 노란색으로 결정할 수 있다. 여기서, 노란색의 의미는 희망과 자신감 일 수 있으나, 노란색의 의미가 이에 한정되는 것은 아니다.
다양한 실시 예에 따르면, 제1 사용자 단말(100)이 학습이 완료된 제1 딥러닝 모델을 이용하여 수신한 메시지(110)를 기초로 결정한 제2 사용자 단말 사용자의 감정이 부정 감정인 경우, 제1 사용자 단말(100)은 메시지가 출력되는 화면의 배경색(102)을 빨간색으로 결정할 수 있다. 여기서, 빨간색의 의미는 경고 일 수 있으나, 빨간색의 의미가 이에 한정되는 것은 아니다.
다양한 실시 예에 따르면, 제1 사용자 단말(100)이 학습이 완료된 제1 딥러닝 모델을 이용하여 수신한 메시지(110)를 기초로 결정한 제2 사용자 단말 사용자의 감정이 중립 감정인 경우, 제1 사용자 단말(100)은 메시지가 출력되는 화면의 배경색(103)을 초록색으로 결정할 수 있다. 여기서, 초록색의 의미는 조화와 평화일 수 있으나, 초록색의 의미가 이에 한정되는 것은 아니다.
다양한 실시 예에 따르면, 제1 사용자 단말(100)은 학습이 완료된 제1 딥러닝 모델을 이용하여 수신한 메시지(110)를 기초로 결정한 제2 사용자 단말 사용자의 감정에 대응하는 진동(111, 112)을 출력할 수 있다. 여기서 제2 사용자 단말 사용자의 감정은 긍정 감정, 부정 감정 및 중립 감정 중 적어도 어느 하나 일 수 있다.
다양한 실시 예에 따르면, 제1 사용자 단말(100)은 학습이 완료된 제1 딥러닝 모델을 이용하여 수신한 메시지(110)를 기초로 결정한 제2 사용자 단말 사용자의 감정에 따라 출력하는 진동(111, 112)의 패턴을 변경할 수 있다.
다양한 실시 예에 따르면, 제1 사용자 단말(100)이 학습이 완료된 제1 딥러닝 모델을 이용하여 수신한 메시지(110)를 기초로 결정한 제2 사용자 단말 사용자의 감정이 긍정 감정인 경우, 제1 사용자 단말(100)은 제1 진동수(예컨대, 300Hz ~ 400Hz)의 진동을 제1 시간 간격(예컨대, 0.2 초)으로 제1 사용자 단말(100)에 포함된 진동 모듈 전체에서 미리 설정된 시간(예컨대, 5초 등) 동안 출력할 수 있다.
다양한 실시 예에 따르면, 제1 사용자 단말(100)이 학습이 완료된 제1 딥러닝 모델을 이용하여 수신한 메시지(110)를 기초로 결정한 제2 사용자 단말 사용자의 감정이 부정 감정인 경우, 제1 사용자 단말(100)은 제2 진동수(예컨대, 700Hz ~ 1000Hz)의 진동을 불규칙적인 시간 간격으로 제1 사용자 단말(100)에 포함된 진동 모듈의 무작위(random)한 일부분에서 진동의 위치를 바꿔가며 미리 설정된 시간(예컨대, 5초 등) 동안 출력할 수 있다.
다양한 실시 예에 따르면, 제1 사용자 단말(100)이 학습이 완료된 제1 딥러닝 모델을 이용하여 수신한 메시지(110)를 기초로 결정한 제2 사용자 단말 사용자의 감정이 중립 감정인 경우, 제1 사용자 단말(100)은 제3 진동수(예컨대, 100Hz ~ 200Hz)의 진동을 제2 시간 간격(예컨대, 0.5 초)으로 제1 사용자 단말(100)에 포함된 진동 모듈 중심부(예컨대, 진동 모듈에 포함된 6열의 진동자 중 3열과 4열 등)에서 미리 설정된 시간(예컨대, 5초 등) 동안 출력할 수 있다.
다양한 실시 예에 따르면, 제1 사용자 단말(100)은 제2 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제2 사용자 단말 사용자 이미지(113) 및 제2 사용자 단말 사용자의 감정에 대응하는 진동(111, 112) 패턴을 출력할 수 있다.
다양한 실시 예에 따르면, 제1 사용자 단말(100)은 제2 사용자 단말 사용자의 감정에 대응하는 배경색(102), 제2 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제2 사용자 단말 사용자 이미지(113) 및 제2 사용자 단말 사용자의 감정에 대응하는 진동(111, 112) 패턴을 출력할 수 있다.
다양한 실시 예에 따르면, 제1 사용자 단말(100)은 제2 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제2 사용자 단말 사용자 이미지(113) 및 제2 사용자 단말 사용자의 감정에 대응하는 진동(111, 112) 패턴을 동시에 출력할 수 있다.
다양한 실시 예에 따르면, 제1 사용자 단말(100)은 제2 사용자 단말 사용자의 감정에 대응하는 배경색(102), 제2 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제2 사용자 단말 사용자 이미지(113) 및 제2 사용자 단말 사용자의 감정에 대응하는 진동(111, 112) 패턴을 동시에 출력할 수 있다.
다양한 실시 예에 따르면, 제2 사용자 단말(120)은 제2 사용자 단말(120)이 전송한 메시지에 응답하여 제1 사용자 단말(100)이 전송한 메시지(130)를 수신할 수 있다.
다양한 실시 예에 따르면, 제2 사용자 단말(120)은 학습이 완료된 제2 딥러닝 모델을 이용하여 수신한 메시지(130)에서 제1 사용자 단말 사용자의 감정을 결정할 수 있다. 여기서, 학습이 완료된 제2 딥러닝 모델은 Bidirectional Encoder Representation from Transformers(BERT, 이하 "BERT"라 한다), BERT 기반의 한국어 BERT 일 수 있으나, 학습이 완료된 제2 딥러닝 모델이 이에 한정되는 것은 아니다.
다양한 실시 예에 따르면, 제2 사용자 단말(120)은 학습이 완료된 제2 딥러닝 모델을 이용하여 수신한 메시지(130)를 기초로 제1 사용자 단말 사용자의 감정을 긍정 대응 감정, 부정 대응 감정 및 중립 대응 감정 중 적어도 어느 하나로 결정할 수 있다.
다양한 실시 예에 따르면, 제2 사용자 단말(120)은 제1 사용자 단말(100)로부터 제2 사용자 단말 사용자에 대한 이미지 전송 요청을 획득할 수 있다.
다양한 실시 예에 따르면, 제2 사용자 단말(120)은 제1 사용자 단말(100)의 제2 사용자 단말 사용자에 대한 이미지 전송 요청에 응답하여 제2 사용자 단말(120)에 포함된 촬영 장치(예컨대, 카메라)(121)를 이용하여 제2 사용자 단말 사용자의 이미지(예컨대, 제2 사용자 단말 사용자의 사진 등)를 획득할 수 있다.
다양한 실시 예에 따르면, 제2 사용자 단말(120)은 제2 사용자 단말 사용자에 대한 이미지 전송 요청에 응답하여 획득한 제2 사용자 단말 사용자의 이미지(예컨대, 제2 사용자 단말 사용자의 사진 등)를 제1 사용자 단말(100)로 전송할 수 있다.
다양한 실시 예에 따르면, 제2 사용자 단말(120)은 제1 사용자 단말(100)을 식별하기 위한 식별정보(예컨대, 제1 사용자 단말의 전화 번호 등)를 획득할 수 있다.
다양한 실시 예에 따르면, 제2 사용자 단말(120)은 획득한 제1 사용자 단말(100)을 식별하기 위한 식별정보(예컨대, 제1 사용자 단말의 전화 번호 등)를 기초로 제1 사용자 단말(100)로 제1 사용자 단말 사용자에 대한 이미지(예컨대, 제1 사용자 단말 사용자의 사진 등) 전송을 요청할 수 있다.
다양한 실시 예에 따르면, 제2 사용자 단말(120)은 제1 사용자 단말 사용자에 대한 이미지 전송 요청에 응답하여 제1 사용자 단말(100)이 전송한 제1 사용자 단말 사용자의 이미지(예컨대, 제1 사용자 단말 사용자의 사진 등)를 획득할 수 있다.
다양한 실시 예에 따르면, 제2 사용자 단말(120)은 획득한 제1 사용자 단말 사용자의 이미지(예컨대, 제1 사용자 단말 사용자의 사진 등)를 기초로 학습이 완료된 제2 이미지 생성 네트워크를 이용하여 제1 사용자 단말 사용자 이미지를 생성할 수 있다. 여기서, 학습이 완료된 제2 이미지 생성 네트워크는 생성적 적대신경망(Generative Adversarial Network, GAN) 일 수 있으나, 학습이 완료된 제2 이미지 생성 네트워크가 이에 한정되는 것은 아니다.
다양한 실시 예에 따르면, 제2 사용자 단말(120)은 획득한 제1 사용자 단말 사용자의 이미지(예컨대, 제1 사용자 단말 사용자의 사진 등)를 기초로 학습이 완료된 제2 이미지 생성 네트워크를 이용하여 제1 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제1 사용자 단말 사용자 이미지(133)를 생성할 수 있다.
다양한 실시 예에 따르면, 제2 사용자 단말(120)은 제2 사용자 단말(120)에서 출력되는 메시지(130)의 크기에 맞추어 생성한 제1 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제1 사용자 단말 사용자 이미지(133)의 크기를 조절할 수 있다.
다양한 실시 예에 따르면, 제2 사용자 단말(120)은 크기를 조절한 제1 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제1 사용자 단말 사용자 이미지(133)를 수신한 메시지(130)를 기준으로 설정된 미리 설정된 위치(예컨대, 메시지의 좌측 등)에 출력할 수 있다.
다양한 실시 예에 따르면, 제2 사용자 단말(120)은 학습이 완료된 제2 딥러닝 모델을 이용하여 수신한 메시지(130)를 기초로 결정한 제1 사용자 단말 사용자의 감정에 대응하는 배경색을 결정할 수 있다.
다양한 실시 예에 따르면, 제2 사용자 단말(120)은 학습이 완료된 제2 딥러닝 모델을 이용하여 수신한 메시지(130)를 기초로 결정한 제1 사용자 단말 사용자의 감정에 대응하는 배경색(122)을 출력할 수 있다. 여기서 제1 사용자 단말 사용자의 감정은 긍정 대응 감정, 부정 대응 감정 및 중립 대응 감정 중 적어도 어느 하나 일 수 있다.
다양한 실시 예에 따르면, 제2 사용자 단말(120)이 학습이 완료된 제2 딥러닝 모델을 이용하여 수신한 메시지(130)를 기초로 결정한 제1 사용자 단말 사용자의 감정이 긍정 대응 감정인 경우, 제2 사용자 단말(120)은 메시지가 출력되는 화면의 배경색(122)을 주황색으로 결정할 수 있다. 여기서, 주황색의 의미는 만족과 친근감 일 수 있으나, 주황색의 의미가 이에 한정되는 것은 아니다.
다양한 실시 예에 따르면, 제2 사용자 단말(120)이 학습이 완료된 제2 딥러닝 모델을 이용하여 수신한 메시지(130)를 기초로 결정한 제1 사용자 단말 사용자의 감정이 부정 대응 감정인 경우, 제2 사용자 단말(120)은 메시지가 출력되는 화면의 배경색(122)을 분홍색으로 결정할 수 있다. 여기서, 분홍색의 의미는 부드러움 일 수 있으나, 분홍색의 의미가 이에 한정되는 것은 아니다.
다양한 실시 예에 따르면, 제2 사용자 단말(120)이 학습이 완료된 제2 딥러닝 모델을 이용하여 수신한 메시지(130)를 기초로 결정한 제1 사용자 단말 사용자의 감정이 중립 대응 감정인 경우, 제2 사용자 단말(120)은 메시지가 출력되는 화면의 배경색(122)을 초록색으로 결정할 수 있다. 여기서, 초록색의 의미는 조화와 평화일 수 있으나, 초록색의 의미가 이에 한정되는 것은 아니다.
다양한 실시 예에 따르면, 제2 사용자 단말(120)은 학습이 완료된 제2 딥러닝 모델을 이용하여 수신한 메시지(130)를 기초로 결정한 제1 사용자 단말 사용자의 감정에 대응하는 진동(131, 132)을 출력할 수 있다. 여기서 제1 사용자 단말 사용자의 감정은 긍정 대응 감정, 부정 대응 감정 및 중립 대응 감정 중 적어도 어느 하나 일 수 있다.
다양한 실시 예에 따르면, 제2 사용자 단말(120)은 학습이 완료된 제2 딥러닝 모델을 이용하여 수신한 메시지(130)를 기초로 결정한 제1 사용자 단말 사용자의 감정에 따라 출력하는 진동(131, 132)의 패턴을 변경할 수 있다.
다양한 실시 예에 따르면, 제2 사용자 단말(120)이 학습이 완료된 제2 딥러닝 모델을 이용하여 수신한 메시지(130)를 기초로 결정한 제1 사용자 단말 사용자의 감정이 긍정 대응 감정인 경우, 제2 사용자 단말(120)은 제4 진동수(예컨대, 500Hz ~ 600Hz)의 진동을 제1 시간 간격(예컨대, 0.2 초)으로 제2 사용자 단말(120)에 포함된 진동 모듈 전체에서 미리 설정된 시간(예컨대, 5초 등) 동안 출력할 수 있다.
다양한 실시 예에 따르면, 제2 사용자 단말(120)이 학습이 완료된 제2 딥러닝 모델을 이용하여 수신한 메시지(130)를 기초로 결정한 제1 사용자 단말 사용자의 감정이 부정 대응 감정인 경우, 제2 사용자 단말(120)은 제5 진동수(예컨대, 20Hz ~ 30Hz)의 진동을 불규칙적인 시간 간격으로 제2 사용자 단말(120)에 포함된 진동 모듈의 일부분(예컨대, 진동 모듈에 포함된 6열의 진동자 중 1열 등)이 위에서 아래로 순차적으로 내려가며 진동의 위치를 바꿔가며 미리 설정된 시간(예컨대, 5초 등) 동안 출력할 수 있다.
다양한 실시 예에 따르면, 제2 사용자 단말(120)이 학습이 완료된 제2 딥러닝 모델을 이용하여 수신한 메시지(130)를 기초로 결정한 제1 사용자 단말 사용자의 감정이 중립 대응 감정인 경우, 제2 사용자 단말(120)은 제6 진동수(예컨대, 150Hz ~ 250Hz)의 진동을 제4 시간 간격(예컨대, 0.5 초)으로 제2 사용자 단말(120)에 포함된 진동 모듈 중심부(예컨대, 진동 모듈에 포함된 6열의 진동자 중 3열과 4열 등)에서 미리 설정된 시간(예컨대, 5초 등) 동안 출력할 수 있다.
다양한 실시 예에 따르면, 제2 사용자 단말(120)은 제1 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제1 사용자 단말 사용자 이미지(133) 및 제1 사용자 단말 사용자의 감정에 대응하는 진동(131, 132) 패턴을 출력할 수 있다.
다양한 실시 예에 따르면, 제2 사용자 단말(120)은 제1 사용자 단말 사용자의 감정에 대응하는 배경색(122), 제1 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제1 사용자 단말 사용자 이미지(133) 및 제1 사용자 단말 사용자의 감정에 대응하는 진동(131, 132) 패턴을 출력할 수 있다.
다양한 실시 예에 따르면, 제2 사용자 단말(120)은 제1 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제1 사용자 단말 사용자 이미지(133) 및 제1 사용자 단말 사용자의 감정에 대응하는 진동(131, 132) 패턴을 동시에 출력할 수 있다.
다양한 실시 예에 따르면, 제2 사용자 단말(120)은 제1 사용자 단말 사용자의 감정에 대응하는 배경색(122), 제1 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제1 사용자 단말 사용자 이미지(133) 및 제1 사용자 단말 사용자의 감정에 대응하는 진동(131, 132) 패턴을 동시에 출력할 수 있다.
다양한 실시 예에 따르면, 제1 사용자 단말(100) 및 제2 사용자 단말(120)은 사용자의 키 조작에 따라 AP를 포함한 통신 중개장치를 이용하여 각종 데이터를 송수신할 수 있는 단말기를 말하는 것이며, 스마트 폰, 폴더블 스마트 폰, 태블릿 PC(Tablet PC), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 스마트폰(Smart Phone), 개인휴대용 정보단말기(PDA: Personal Digital Assistant) 및 이동통신 단말기(Mobile Communication Terminal) 등 중 어느 하나일 수 있으나 제1 사용자 단말(100) 및 제2 사용자 단말(120)이 이에 한정되는 것은 아니다.
다양한 실시 예에 따르면, 제1 사용자 단말(100) 및 제2 사용자 단말(120)은 AP 및 통신망을 이용하여 음성 또는 데이터 통신을 수행하는 단말기이며, AP 및 통신망을 경유하여 외부 장치와 통신하기 위한 프로그램 또는 프로토콜을 저장하기 위한 메모리, 해당 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하고 있는 단말기를 의미한다. 즉, 제1 사용자 단말(100) 및 제2 사용자 단말(120)은 AP 및 통신망을 이용하여 통신이 가능하다면 그 어떠한 단말기도 가능하며, 노트북 컴퓨터, 이동통신 단말기, PDA 등 여하한 통신 컴퓨팅 장치를 모두 포함하는 넓은 개념이다.
다양한 실시 예에 따르면, 제1 사용자 단말(100) 및 제2 사용자 단말(120)은 사용자의 조작을 통한 입출력을 수행하기 위해 터치 스크린을 구비한 형태로 제작되는 것이 바람직하며, 사용자의 조작에 따른 입력을 통해 프로그램을 구동할 수 있다.
다양한 실시 예에 따르면, 제1 사용자 단말(100) 및 제2 사용자 단말(120)은 비디오 게임용 단말기, 오락실용 단말기, 휴대용 단말기, PC용 단말기, 유선 또는 무선 단말기를 적어도 하나 이상 포함하여 이루어지는 것이 바람직하며, 단말기에 구비된 소정의 키입력수단은 키보드, 마우스, 게임조작 유니트, 아날로그 유니트, 터치 스크린을 적어도 하나 이상 포함할 수 있다.
다양한 실시 예에 따르면, 제1 사용자 단말(100) 및 제2 사용자 단말(120)은 사용자 장비, 모바일, 무선 통신이 가능한 PC, 핸드폰, 키오스크, 셀룰러 폰, 셀룰러, 셀룰러 단말, 가입자 유닛, 가입자국, 이동국, 단말, 원격국, PDA, 원격 단말, 액세스 단말, 사용자 에이전트, 무선 접속 기능을 구비하는 휴대용 장치, 무선 모뎀과 같은, 무선 접속 메커니즘을 사용할 수 있는 임의의 장치 등으로 지칭될 수 있으나, 이들로 한정되지는 않는다. 제1 사용자 단말(100) 및 제2 사용자 단말(120)은 단말기 또는 피어로 지칭될 수도 있다.
도 2는 일 실시예에 따라 감정 표현 시스템에 포함된 사용자 단말의 구성을 나타내는 도면이다.
제1 사용자 단말(100) 및 제2 사용자 단말(120)은 동일한 기능을 수행하므로 반복되는 설명을 피하기 위하여 도 2에서 한번만 설명하기로 한다.
도 2를 참조하면, 감정 표현 시스템에 포함된 사용자 단말(200)은 프로세서(210), 입출력 인터페이스 모듈(220) 및 메모리(230)를 포함한다.
다양한 실시 예에 따르면, 사용자 단말(200)에 포함된 프로세서(210), 입출력 인터페이스 모듈(220) 및 메모리(230)는 상호 연결되어 있으며, 상호 데이터를 전송하는 것이 가능하다.
다양한 실시 예에 따르면, 프로세서(210)는 메모리(230)에 저장된 프로그램들 또는 명령들을 실행시킬 수 있다. 여기서, 메모리(230)에는 사용자 단말(200)을 동작시키기 위한 동작프로그램(예컨대, OS)이 저장될 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 사용자 단말(200)에 대한 정보를 관리하기 위한 프로그램을 실행시킬 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 사용자 단말(200)의 동작을 관리하기 위한 프로그램을 실행시킬 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 입출력 인터페이스 모듈(220)의 동작을 관리하기 위한 프로그램을 실행시킬 수 있다.
다양한 실시 예에 따르면, 사용자 단말(200)은 사용자 단말 사용자 또는 다른 사용자 단말 사용자의 감정을 결정할 수 있는 학습이 완료된 딥러닝 모델을 포함할 수 있다. 여기서, 학습이 완료된 딥러닝 모델은 Bidirectional Encoder Representation from Transformers(BERT, 이하 "BERT"라 한다), BERT 기반의 한국어 BERT 일 수 있으나, 학습이 완료된 딥러닝 모델이 이에 한정되는 것은 아니다.
다양한 실시 예에 따르면, 사용자 단말(200)은 사용자 단말 사용자 또는 다른 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 사용자 단말 사용자 이미지를 생성할 수 있는 학습이 완료된 이미지 생성 네트워크를 포함할 수 있다. 여기서, 학습이 완료된 이미지 생성 네트워크는 생성적 적대신경망(Generative Adversarial Network, GAN) 일 수 있으나, 학습이 완료된 이미지 생성 네트워크가 이에 한정되는 것은 아니다.
다양한 실시 예에 따르면, 사용자 단말(200)은 복수개의 진동자가 포함된 진동 모듈을 포함할 수 있다.
다양한 실시 예에 따르면, 사용자 단말(200)은 촬영 장치(예컨대, 카메라)를 포함할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 입출력 인터페이스 모듈(220)을 통해 다른 사용자 단말이 전송한 메시지를 획득할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 학습이 완료된 딥러닝 모델을 이용하여 획득한 메시지에서 다른 사용자 단말 사용자의 감정을 결정할 수 있다. 여기서, 학습이 완료된 딥러닝 모델은 BERT, BERT 기반의 한국어 BERT 일 수 있으나, 학습이 완료된 딥러닝 모델이 이에 한정되는 것은 아니다.
다양한 실시 예에 따르면, 프로세서(210)는 획득한 메시지를 토큰화하여 학습이 완료된 딥러닝 모델에 입력할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 학습이 완료된 딥러닝 모델이 분류한 다른 사용자 단말 사용자의 감정을 획득할 수 있다. 여기서, 다른 사용자 단말 사용자의 감정은 긍정 감정, 부정 감정 및 중립 감정 중 적어도 어느 하나일 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 입출력 인터페이스 모듈(220)을 통해 사용자 단말이 전송한 메시지에 대응하여 다른 사용자 단말이 전송한 메시지를 획득할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 학습이 완료된 딥러닝 모델을 이용하여 획득한 메시지에서 다른 사용자 단말 사용자의 감정을 결정할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 획득한 메시지를 토큰화하여 학습이 완료된 딥러닝 모델에 입력할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 학습이 완료된 딥러닝 모델이 분류한 다른 사용자 단말 사용자의 감정을 획득할 수 있다. 여기서, 다른 사용자 단말 사용자의 감정은 긍정 대응 감정, 부정 대응 감정 및 중립 대응 감정 중 적어도 어느 하나일 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 입출력 인터페이스 모듈(220)을 통해 다른 사용자 단말로부터 사용자 단말 사용자에 대한 이미지 전송 요청을 획득할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 다른 사용자 단말의 사용자 단말 사용자에 대한 이미지 전송 요청에 응답하여 사용자 단말(200)에 포함된 촬영 장치(예컨대, 카메라)를 이용하여 사용자 단말 사용자의 이미지(예컨대, 사용자 단말 사용자의 사진 등)를 획득할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 입출력 인터페이스 모듈(220)을 통해 사용자 단말 사용자에 대한 이미지 전송 요청에 응답하여 획득한 사용자 단말 사용자의 이미지(예컨대, 사용자 단말 사용자의 사진 등)를 다른 사용자 단말로 전송할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 다른 사용자 단말을 식별하기 위한 식별정보(예컨대, 다른 사용자 단말의 전화 번호 등)를 획득할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 입출력 인터페이스 모듈(220)을 통해 획득한 다른 사용자 단말을 식별하기 위한 식별정보(예컨대, 다른 사용자 단말의 전화 번호 등)를 기초로 다른 사용자 단말로 다른 사용자 단말 사용자에 대한 이미지(예컨대, 다른 사용자 단말 사용자의 사진 등) 전송을 요청할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 입출력 인터페이스 모듈(220)을 통해 다른 사용자 단말 사용자에 대한 이미지 전송 요청에 응답하여 다른 사용자 단말이 전송한 다른 사용자 단말 사용자의 이미지(예컨대, 다른 사용자 단말 사용자의 사진 등)를 획득할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 획득한 다른 사용자 단말 사용자의 이미지(예컨대, 다른 사용자 단말 사용자의 사진 등)를 기초로 다른 사용자 단말 사용자 이미지를 생성하도록 이미지 생성 네트워크를 학습시킬 수 있다. 여기서, 이미지 생성 네트워크는 생성적 적대신경망(Generative Adversarial Network, GAN) 일 수 있으나, 이미지 생성 네트워크가 이에 한정되는 것은 아니다.
다양한 실시 예에 따르면, 프로세서(210)는 획득한 다른 사용자 단말 사용자의 이미지(예컨대, 다른 사용자 단말 사용자의 사진 등)를 기초로 다른 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 다른 사용자 단말 사용자 이미지를 생성하도록 이미지 생성 네트워크를 학습시킬 수 있다. 여기서, 이미지 생성 네트워크는 생성적 적대신경망(Generative Adversarial Network, GAN, 이하 "GAN"이라 한다) 일 수 있으나, 이미지 생성 네트워크가 이에 한정되는 것은 아니다.
다양한 실시 예에 따르면, 프로세서(210)는 획득한 다른 사용자 단말 사용자의 이미지(예컨대, 다른 사용자 단말 사용자의 사진 등)를 기초로 다른 사용자 단말 사용자의 감정 모두와 각각 대응하는 표정을 갖는 다른 사용자 단말 사용자 이미지를 각각 생성하도록 하나의 이미지 생성 네트워크를 학습시킬 수 있다. 여기서, 다른 사용자 단말 사용자의 감정은 긍정 감정, 부정 감정, 중립 감정, 긍정 대응 감정, 부정 대응 감정 및 중립 대응 감정 중 적어도 어느 하나에 해당할 수 있으나, 다른 사용자 단말 사용자의 감정이 이에 한정되는 것은 아니다.
다양한 실시 예에 따르면, 프로세서(210)는 획득한 다른 사용자 단말 사용자의 이미지(예컨대, 다른 사용자 단말 사용자의 사진 등)를 기초로 다른 사용자 단말 사용자의 긍정 감정에 대응하는 표정을 갖는 다른 사용자 단말 사용자 이미지를 생성하도록 이미지 생성 네트워크를 학습시킬 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 획득한 다른 사용자 단말 사용자의 이미지(예컨대, 다른 사용자 단말 사용자의 사진 등)를 기초로 다른 사용자 단말 사용자의 부정 감정에 대응하는 표정을 갖는 다른 사용자 단말 사용자 이미지를 생성하도록 이미지 생성 네트워크를 학습시킬 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 획득한 다른 사용자 단말 사용자의 이미지(예컨대, 다른 사용자 단말 사용자의 사진 등)를 기초로 다른 사용자 단말 사용자의 중립 감정에 대응하는 표정을 갖는 다른 사용자 단말 사용자 이미지를 생성하도록 이미지 생성 네트워크를 학습시킬 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 획득한 다른 사용자 단말 사용자의 이미지(예컨대, 다른 사용자 단말 사용자의 사진 등)를 기초로 다른 사용자 단말 사용자의 긍정 대응 감정에 대응하는 표정을 갖는 다른 사용자 단말 사용자 이미지를 생성하도록 이미지 생성 네트워크를 학습시킬 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 획득한 다른 사용자 단말 사용자의 이미지(예컨대, 다른 사용자 단말 사용자의 사진 등)를 기초로 다른 사용자 단말 사용자의 부정 대응 감정에 대응하는 표정을 갖는 다른 사용자 단말 사용자 이미지를 생성하도록 이미지 생성 네트워크를 학습시킬 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 획득한 다른 사용자 단말 사용자의 이미지(예컨대, 다른 사용자 단말 사용자의 사진 등)를 기초로 다른 사용자 단말 사용자의 중립 대응 감정에 대응하는 표정을 갖는 다른 사용자 단말 사용자 이미지를 생성하도록 이미지 생성 네트워크를 학습시킬 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 이미지 생성 네트워크(예컨대, 생성적 적대신경망(Generative Adversarial Network, GAN))를 학습시킬 때, 다음 [수학식 1]을 이용하여 각각의 커런트 이터레이션(current iteration)의 생성자 손실(Generator loss)() 및 판별자 손실(Discriminator loss)()를 결정할 수 있다.
[수학식 1]
여기서, 는 fake data에 대한 기대 값이고, 는 오목 함수(concave function)이고, 는 생성자가 생성한 fake data에 대한 판별자의 출력이고, 는 real data에 대한 기대 값이고, 는 real data에 대한 판별자의 출력이다.
다양한 실시 예에 따르면, 프로세서(210)는 상대적 손실 텀(relative loss terms)을 이용하여 생성자 손실(Generator loss)()과 판별자 손실(Discriminator loss)()을 비교할 수 있다. 여기서, 상대적 손실 텀(relative loss terms)은 현재 손실 값과 이전 손실 값의 차이를 계산하고 그 차이를 손실 크기로 정규화 한 것으로 정의될 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 다음 [수학식 2]를 이용하여 생성자 및 판별자에 대한 상대적 변화 손실 텀(relative change loss terms)을 결정할 수 있다.
[수학식 2]
여기서, 는 생성자 손실 변화 비율(generator loss change ratios)이고, 는 판별자 손실 변화 비율(discriminator loss change ratios)이고, 는 커런트 이터레이션(current iteration)의 생성자 손실(Generator loss)이고, 는 커런트 이터레이션(current iteration)의 판별자 손실(Discriminator loss)이고, 는 이전 생성자 손실(Generator loss)이고, 는 이전 판별자 손실(Discriminator loss)이다.
다양한 실시 예에 따르면, 프로세서(210)는 GAN을 구성하는 한 구성 요소(예컨대, 생성자)의 업데이트 순위를 다른 구성 요소(예컨대, 판별자)보다 우선시하기 위하여 계수 를 사용할 수 있다. 여기서, 계수 의 범위는 1 ~ 10 사이의 정수일 수 있으나, 계수 의 범위가 이에 한정되는 것은 아니다.
다양한 실시 예에 따르면, 프로세서(210)는 생성자 손실 변화 비율, 판별자 손실 변화 비율 및 계수를 기초로 GAN을 구성하는 구성 요소의 업데이트 순위를 결정할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 다음 [수학식 3]을 만족하는 경우, GAN을 구성하는 구성 요소 중 판별자를 업데이트 할 수 있다.
[수학식 3]
다양한 실시 예에 따르면, 프로세서(210)는 [수학식 3]이외의 경우, GAN을 구성하는 구성 요소 중 생성자를 업데이트 할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 획득한 다른 사용자 단말 사용자의 이미지(예컨대, 다른 사용자 단말 사용자의 사진 등)를 기초로 학습이 완료된 이미지 생성 네트워크를 이용하여 다른 사용자 단말 사용자 이미지를 생성할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 획득한 다른 사용자 단말 사용자의 이미지(예컨대, 다른 사용자 단말 사용자의 사진 등)를 기초로 학습이 완료된 하나의 이미지 생성 네트워크를 이용하여 다른 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 다른 사용자 단말 사용자 이미지를 생성할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 획득한 다른 사용자 단말 사용자의 이미지(예컨대, 다른 사용자 단말 사용자의 사진 등)를 기초로 다른 사용자 단말 사용자의 감정 각각과 대응되는 학습이 완료된 복수개의 이미지 생성 네트워크를 이용하여 다른 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 다른 사용자 단말 사용자 이미지를 생성할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 사용자 단말(200)에서 출력되는 메시지의 크기에 맞추어 생성한 다른 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 다른 사용자 단말 사용자 이미지의 크기를 조절할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 크기를 조절한 다른 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 다른 사용자 단말 사용자 이미지를 수신한 메시지를 기준으로 설정된 미리 설정된 위치(예컨대, 메시지의 좌측 등)에 출력할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 학습이 완료된 딥러닝 모델을 이용하여 수신한 메시지를 기초로 결정한 다른 사용자 단말 사용자의 감정에 대응하는 배경색을 결정할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 입출력 인터페이스 모듈(220)을 통해 학습이 완료된 딥러닝 모델을 이용하여 수신한 메시지를 기초로 결정한 다른 사용자 단말 사용자의 감정에 대응하는 배경색을 출력할 수 있다. 여기서 다른 사용자 단말 사용자의 감정은 긍정 감정, 부정 감정, 중립 감정, 긍정 대응 감정, 부정 대응 감정 및 중립 대응 감정 중 적어도 어느 하나 일 수 있다.
다양한 실시 예에 따르면, 프로세서(210)가 학습이 완료된 딥러닝 모델을 이용하여 수신한 메시지를 기초로 결정한 다른 사용자 단말 사용자의 감정이 긍정 대응 감정인 경우, 프로세서(210)는 메시지가 출력되는 화면의 배경색을 노란색으로 결정할 수 있다. 여기서, 노란색의 의미는 희망과 자신감 일 수 있으나, 노란색의 의미가 이에 한정되는 것은 아니다.
다양한 실시 예에 따르면, 프로세서(210)가 학습이 완료된 딥러닝 모델을 이용하여 수신한 메시지를 기초로 결정한 다른 사용자 단말 사용자의 감정이 부정 감정인 경우, 프로세서(210)는 메시지가 출력되는 화면의 배경색을 빨간색으로 결정할 수 있다. 여기서, 빨간색의 의미는 경고 일 수 있으나, 빨간색의 의미가 이에 한정되는 것은 아니다.
다양한 실시 예에 따르면, 프로세서(210)가 학습이 완료된 딥러닝 모델을 이용하여 수신한 메시지를 기초로 결정한 다른 사용자 단말 사용자의 감정이 중립 감정인 경우, 프로세서(210)는 메시지가 출력되는 화면의 배경색을 초록색으로 결정할 수 있다. 여기서, 초록색의 의미는 조화와 평화일 수 있으나, 초록색의 의미가 이에 한정되는 것은 아니다.
다양한 실시 예에 따르면, 프로세서(210)가 학습이 완료된 딥러닝 모델을 이용하여 수신한 메시지를 기초로 결정한 다른 사용자 단말 사용자의 감정이 긍정 대응 감정인 경우, 프로세서(210)는 메시지가 출력되는 화면의 배경색을 주황색으로 결정할 수 있다. 여기서, 주황색의 의미는 만족과 친근감 일 수 있으나, 주황색의 의미가 이에 한정되는 것은 아니다.
다양한 실시 예에 따르면, 프로세서(210)가 학습이 완료된 딥러닝 모델을 이용하여 수신한 메시지를 기초로 결정한 다른 사용자 단말 사용자의 감정이 부정 대응 감정인 경우, 프로세서(210)는 메시지가 출력되는 화면의 배경색을 분홍색으로 결정할 수 있다. 여기서, 분홍색의 의미는 부드러움 일 수 있으나, 분홍색의 의미가 이에 한정되는 것은 아니다.
다양한 실시 예에 따르면, 프로세서(210)가 학습이 완료된 딥러닝 모델을 이용하여 수신한 메시지를 기초로 결정한 다른 사용자 단말 사용자의 감정이 중립 대응 감정인 경우, 프로세서(210)는 메시지가 출력되는 화면의 배경색을 초록색으로 결정할 수 있다. 여기서, 초록색의 의미는 조화와 평화일 수 있으나, 초록색의 의미가 이에 한정되는 것은 아니다.
다양한 실시 예에 따르면, 프로세서(210)는 학습이 완료된 딥러닝 모델을 이용하여 수신한 메시지를 기초로 결정한 다른 사용자 단말 사용자의 감정에 대응하는 진동을 출력할 수 있다. 여기서 다른 사용자 단말 사용자의 감정은 긍정 감정, 부정 감정, 중립 감정, 긍정 대응 감정, 부정 대응 감정 및 중립 대응 감정 중 적어도 어느 하나 일 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 학습이 완료된 딥러닝 모델을 이용하여 수신한 메시지를 기초로 결정한 다른 사용자 단말 사용자의 감정에 따라 출력하는 진동의 패턴을 변경할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)가 학습이 완료된 딥러닝 모델을 이용하여 수신한 메시지를 기초로 결정한 다른 사용자 단말 사용자의 감정이 긍정 감정인 경우, 프로세서(210)는 입출력 인터페이스 모듈(220)을 통해 제1 진동수(예컨대, 300Hz ~ 400Hz)의 진동을 제1 시간 간격(예컨대, 0.2 초)으로 사용자 단말(200)에 포함된 진동 모듈 전체에서 미리 설정된 시간(예컨대, 5초 등) 동안 출력할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)가 학습이 완료된 딥러닝 모델을 이용하여 수신한 메시지를 기초로 결정한 다른 사용자 단말 사용자의 감정이 부정 감정인 경우, 프로세서(210)는 입출력 인터페이스 모듈(220)을 통해 제2 진동수(예컨대, 700Hz ~ 1000Hz)의 진동을 불규칙적인 시간 간격으로 사용자 단말(200)에 포함된 진동 모듈의 무작위(random)한 일부분에서 진동의 위치를 바꿔가며 미리 설정된 시간(예컨대, 5초 등) 동안 출력할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)가 학습이 완료된 딥러닝 모델을 이용하여 수신한 메시지를 기초로 결정한 다른 사용자 단말 사용자의 감정이 중립 감정인 경우, 프로세서(210)는 입출력 인터페이스 모듈(220)을 통해 제3 진동수(예컨대, 100Hz ~ 200Hz)의 진동을 제2 시간 간격(예컨대, 0.5 초)으로 사용자 단말(200)에 포함된 진동 모듈 중심부(예컨대, 진동 모듈에 포함된 6열의 진동자 중 3열과 4열 등)에서 미리 설정된 시간(예컨대, 5초 등) 동안 출력할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 학습이 완료된 딥러닝 모델을 이용하여 수신한 메시지를 기초로 결정한 다른 사용자 단말 사용자의 감정이 긍정 대응 감정인 경우, 사용자 단말(200)은 제4 진동수(예컨대, 500Hz ~ 600Hz)의 진동을 제1 시간 간격(예컨대, 0.2 초)으로 사용자 단말(200)에 포함된 진동 모듈 전체에서 미리 설정된 시간(예컨대, 5초 등) 동안 출력할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 학습이 완료된 딥러닝 모델을 이용하여 수신한 메시지를 기초로 결정한 다른 사용자 단말 사용자의 감정이 부정 대응 감정인 경우, 사용자 단말(200)은 제5 진동수(예컨대, 20Hz ~ 30Hz)의 진동을 불규칙적인 시간 간격으로 사용자 단말(200)에 포함된 진동 모듈의 일부분(예컨대, 진동 모듈에 포함된 6열의 진동자 중 1열 등)이 위에서 아래로 순차적으로 내려가며 진동의 위치를 바꿔가며 미리 설정된 시간(예컨대, 5초 등) 동안 출력할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 학습이 완료된 딥러닝 모델을 이용하여 수신한 메시지를 기초로 결정한 다른 사용자 단말 사용자의 감정이 중립 대응 감정인 경우, 사용자 단말(200)은 제6 진동수(예컨대, 150Hz ~ 250Hz)의 진동을 제4 시간 간격(예컨대, 0.5 초)으로 사용자 단말(200)에 포함된 진동 모듈 중심부(예컨대, 진동 모듈에 포함된 6열의 진동자 중 3열과 4열 등)에서 미리 설정된 시간(예컨대, 5초 등) 동안 출력할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 입출력 인터페이스 모듈(220)을 통해 다른 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 다른 사용자 단말 사용자 이미지 및 다른 사용자 단말 사용자의 감정에 대응하는 진동 패턴을 출력할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 입출력 인터페이스 모듈(220)을 통해 다른 사용자 단말 사용자의 감정에 대응하는 배경색, 다른 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 다른 사용자 단말 사용자 이미지 및 다른 사용자 단말 사용자의 감정에 대응하는 진동 패턴을 출력할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 입출력 인터페이스 모듈(220)을 통해 다른 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 다른 사용자 단말 사용자 이미지 및 다른 사용자 단말 사용자의 감정에 대응하는 진동 패턴을 동시에 출력할 수 있다.
다양한 실시 예에 따르면, 프로세서(210)는 입출력 인터페이스 모듈(220)을 통해 다른 사용자 단말 사용자의 감정에 대응하는 배경색, 다른 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 다른 사용자 단말 사용자 이미지 및 다른 사용자 단말 사용자의 감정에 대응하는 진동 패턴을 동시에 출력할 수 있다.
다양한 실시 예에 따르면, 입출력 인터페이스 모듈(220)은 네트워크를 통하여 외부 장치(예컨대, 기지국, 스마트 폰 등)와 연결될 수 있다.
다양한 실시 예에 따르면, 입출력 인터페이스 모듈(220)은 외부 장치로부터 데이터(예컨대, 메시지, 사용자 단말을 식별하기 위한 식별 정보, 다른 사용자 단말 사용자의 사진 등)를 획득할 수 있다.
다양한 실시 예에 따르면, 입출력 인터페이스 모듈(220)은 외부 장치(예컨대, 기지국, 스마트 폰 등)로 데이터를 전송할 수 있다.
다양한 실시 예에 따르면, 입출력 인터페이스 모듈(220)은 수신한 메시지를 출력할 수 있다.
다양한 실시 예에 따르면, 입출력 인터페이스 모듈(220)은 사용자의 입력을 획득할 수 있다.
다양한 실시 예에 따르면, 입출력 인터페이스 모듈(220)은 생성한 다른 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 다른 사용자 단말 사용자 이미지를 출력할 수 있다.
다양한 실시 예에 따르면, 입출력 인터페이스 모듈(220)은 다른 사용자 단말 사용자의 감정에 대응하는 배경색을 출력할 수 있다.
다양한 실시 예에 따르면, 입출력 인터페이스 모듈(220)은 진동을 출력할 수 있다.
다양한 실시 예에 따르면, 입출력 인터페이스 모듈(220)은 사용자 단말과 일체형으로 제공될 수 있다.
다양한 실시 예에 따르면, 입출력 인터페이스 모듈(220)은 사용자 단말에서 분리되어 제공될 수 있다.
다양한 실시 예에 따르면, 입출력 인터페이스 모듈(220)은 사용자 단말과 통신적으로 연결될 별도의 장치일 수 있다.
다양한 실시 예에 따르면, 입출력 인터페이스 모듈(220)은 외부 장치와 연결되기 위한 포트(예컨대, USB 포트)를 포함할 수 있다.
다양한 실시 예에 따르면, 입출력 인터페이스 모듈(220)은 모니터, 터치스크린, 마우스, 전자펜, 마이크로폰, 키보드, 스피커, 이어폰, 헤드폰 또는 터치패드를 포함할 수 있다.
다양한 실시 예에 따르면, 메모리(230)는 입출력 인터페이스 모듈(220)을 통해 획득한 데이터를 저장할 수 있다.
다양한 실시 예에 따르면, 메모리(230)는 입출력 인터페이스 모듈(220)을 통해 전송한 데이터를 저장할 수 있다.
다양한 실시 예에 따르면, 메모리(230)는 다른 사용자 단말 사용자의 이미지를 저장할 수 있다.
다양한 실시 예에 따르면, 메모리(230)는 프로세서(210)가 결정한 다른 사용자 단말 사용자의 감정을 저장할 수 있다.
다양한 실시 예에 따르면, 메모리(230)는 프로세서(210)가 생성한 다른 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 다른 사용자 단말 사용자 이미지 저장할 수 있다.
다양한 실시 예에 따르면, 메모리(230)는 프로세서(210)가 결정한 배경색을 저장할 수 있다.
다양한 실시 예에 따르면, 메모리(230)는 프로세서(210)가 변경한 진동 패턴을 저장할 수 있다.
다양한 실시 예에 따르면, 메모리(230)는 응용 프로그램을 저장할 수 있다.
도 3은 일 실시예에 따라 전송된 메시지에서 사용자 단말 사용자의 감정을 결정하는 모습을 나타내는 도면이다.
도 3을 참조하면, 사용자 단말은 다른 사용자 단말에서 전송된 메시지(301)를 수신할 수 있다.
다양한 실시 예에 따르면, 사용자 단말은 수신한 메시지(301)을 토큰화 할 수 있다.
다양한 실시 예에 따르면, 사용자 단말은 토큰화 한 메시지를 사용자 단말에 포함된 학습이 완료된 딥러닝 모델(300)에 입력할 수 있다. 여기서, 학습이 완료된 딥러닝 모델은 Bidirectional Encoder Representation from Transformers(BERT, 이하 "BERT"라 한다), BERT 기반의 한국어 BERT 일 수 있으나, 학습이 완료된 딥러닝 모델이 이에 한정되는 것은 아니다.
다양한 실시 예에 따르면, 사용자 단말에 포함된 딥러닝 모델(300)은 수신된 메시지(301)에서 다른 사용자 단말 사용자의 감정을 결정할 수 있다.
다양한 실시 예에 따르면, 사용자 단말에 포함된 딥러닝 모델(300)은 수신된 메시지(301)에서 다른 사용자 단말 사용자의 감정을 분류할 수 있는 분류기(Classifier)를 포함할 수 있다.
다양한 실시 예에 따르면, 사용자 단말에 포함된 딥러닝 모델(300)은 포함된 분류기(Classifier)를 이용하여 다른 사용자 단말 사용자의 감정을 긍정 감정, 부정 감정 및 중립 감정 중 어디에 속하는지를 확률로 표현할 수 있다.
다양한 실시 예에 따르면, 사용자 단말에 포함된 딥러닝 모델(300)은 포함된 분류기(Classifier)를 이용하여 다른 사용자 단말 사용자의 감정을 긍정 대응 감정, 부정 대응 감정 및 중립 대응 감정 중 어디에 속하는지를 확률로 표현할 수 있다.
다양한 실시 예에 따르면, 사용자 단말에 포함된 딥러닝 모델(300)은 분류기(Classifier)가 표현한 확률을 기초로 다른 사용자 단말 사용자의 감정을 결정할 수 있다.
다양한 실시 예에 따르면, 딥러닝 모델(300)이 결정한 다른 사용자 단말 사용자의 감정은 긍정 감정(310), 부정 감정(320) 및 중립 감정(330)일 수 있다.
다양한 실시 예에 따르면, 딥러닝 모델(300)은 사용자 단말이 전송한 메시지에 응답하여 전송된 메시지를 기초로 다른 사용자 단말 사용자의 감정을 결정할 수 있다.
다양한 실시 예에 따르면, 딥러닝 모델(300)이 사용자 단말이 전송한 메시지에 응답하여 전송된 메시지를 기초로 결정한 다른 사용자 단말 사용자의 감정은 긍정 대응 감정(340), 부정 대응 감정(350) 및 중립 대응 감정(360)일 수 있다.
도 4는 일 실시예에 따라 사용자 단말에 진동 모듈이 분포하는 모습을 나타내는 도면이다.
도 4를 참조하면, 사용자 단말(400)은 사용자 단말의 일 측에 진동자(401)를 포함할 수 있다.
다양한 실시 예에 따르면, 사용자 단말(400)은 사용자 단말의 일 측에 복수개의 진동자를 포함할 수 있다.
다양한 실시 예에 따르면, 사용자 단말(400)은 사용자 단말의 일 측에 복수개의 진동자를 규칙적으로 배치(410)할 수 있다.
다양한 실시 예에 따르면, 사용자 단말(400)은 사용자 단말의 일 측에 복수개의 진동자가 규칙적으로 배치된 진동 모듈을 포함할 수 있다.
다양한 실시 예에 따르면, 사용자 단말(400)은 사용자 단말(400)이 결정한 다른 사용자 단말 사용자의 감정이 긍정 감정인 경우, 사용자 단말(400)은 제1 진동수(예컨대, 300Hz ~ 400Hz)의 진동을 제1 시간 간격(예컨대, 0.2 초)으로 사용자 단말(400)에 포함된 진동 모듈 전체(예컨대, 410)에서 미리 설정된 시간(예컨대, 5초 등) 동안 출력할 수 있다.
다양한 실시 예에 따르면, 사용자 단말(400)은 사용자 단말(400)이 결정한 다른 사용자 단말 사용자의 감정이 부정 감정인 경우, 사용자 단말(400)은 제2 진동수(예컨대, 700Hz ~ 1000Hz)의 진동을 불규칙적인 시간 간격으로 사용자 단말(400)에 포함된 진동 모듈의 무작위(random)한 일부분에서 진동의 위치를 바꿔가며(예컨대, 420->421->422->423) 미리 설정된 시간(예컨대, 5초 등) 동안 출력할 수 있다.
다양한 실시 예에 따르면, 사용자 단말(400)은 사용자 단말(400)이 결정한 다른 사용자 단말 사용자의 감정이 중립 감정인 경우, 사용자 단말(400)은 제3 진동수(예컨대, 100Hz ~ 200Hz)의 진동을 제2 시간 간격(예컨대, 0.5 초)으로 사용자 단말(400)에 포함된 진동 모듈 중심부(예컨대, 430)에서 미리 설정된 시간(예컨대, 5초 등) 동안 출력할 수 있다.
다양한 실시 예에 따르면, 사용자 단말(400)은 사용자 단말(400)이 결정한 다른 사용자 단말 사용자의 감정이 긍정 대응 감정인 경우, 사용자 단말(400)은 제4 진동수(예컨대, 500Hz ~ 600Hz)의 진동을 제1 시간 간격(예컨대, 0.2 초)으로 사용자 단말(400)에 포함된 진동 모듈 전체(예컨대, 410)에서 미리 설정된 시간(예컨대, 5초 등) 동안 출력할 수 있다.
다양한 실시 예에 따르면, 사용자 단말(400)은 사용자 단말(400)이 결정한 다른 사용자 단말 사용자의 감정이 부정 대응 감정인 경우, 사용자 단말(400)은 제5 진동수(예컨대, 20Hz ~ 30Hz)의 진동을 불규칙적인 시간 간격으로 사용자 단말(400)에 포함된 진동 모듈의 일부분(예컨대, 440)이 위에서 아래로 순차적으로 내려가며 진동의 위치를 바꿔가며(예컨대, 진동자들이 횡을 이루어 440에서 순차적으로 441로 내려가며) 미리 설정된 시간(예컨대, 5초 등) 동안 출력할 수 있다.
다양한 실시 예에 따르면, 사용자 단말(400)은 사용자 단말(400)이 결정한 다른 사용자 단말 사용자의 감정이 중립 대응 감정인 경우, 사용자 단말(400)은 제6 진동수(예컨대, 150Hz ~ 250Hz)의 진동을 제4 시간 간격(예컨대, 0.5 초)으로 사용자 단말(400)에 포함된 진동 모듈 중심부(예컨대, 430)에서 미리 설정된 시간(예컨대, 5초 등) 동안 출력할 수 있다.
도 5는 일 실시예에 따른 감정 표현 방법을 나타내는 플로우 차트이다.
도 5를 참조하면, 감정 표현 방법은 제1 사용자 단말이 학습이 완료된 제1 딥러닝 모델 이용하여 상기 제2 사용자 단말이 전송한 메시지를 기초로 제2 사용자 단말 사용자의 감정을 결정하는 단계(S500), 제1 사용자 단말이 제2 사용자 단말로 제2 사용자 단말 사용자의 이미지 전송을 요청하는 단계(S510), 제1 사용자 단말이 학습이 완료된 제1 이미지 생성 네트워크를 이용하여 결정한 제2 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제2 사용자 단말 사용자 이미지를 생성하는 단계(S520), 제1 사용자 단말이 생성한 제2 사용자 단말 사용자 이미지, 제2 사용자 단말 사용자의 감정에 대응하는 배경색 및 제2 사용자 단말 사용자의 감정에 대응하는 진동을 출력하는 단계(S530), 제2 사용자 단말이 학습이 완료된 제2 딥러닝 모델을 이용하여 제2 사용자 단말이 전송한 메시지에 응답하여 제1 사용자 단말이 전송한 메시지를 기초로 제1 사용자 단말 사용자의 감정을 결정하는 단계(S540), 제2 사용자 단말이 제1 사용자 단말로 제1 사용자 단말 사용자의 이미지 전송을 요청하는 단계(S550), 제2 사용자 단말이 학습이 완료된 제2 이미지 생성 네트워크를 이용하여 결정한 상기 제1 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제1 사용자 단말 사용자 이미지를 생성하는 단계(S560) 및 제2 사용자 단말이 생성한 제1 사용자 단말 사용자 이미지, 제1 사용자 단말 사용자의 감정에 대응하는 배경색 및 제1 사용자 단말 사용자의 감정에 대응하는 진동을 출력하는 단계(S570)을 포함한다.
단계 S500에서, 제1 사용자 단말은 제2 사용자 단말이 전송한 메시지를 수신할 수 있다.
단계 S500에서, 제1 사용자 단말은 학습이 완료된 제1 딥러닝 모델을 이용하여 수신한 메시지에서 제2 사용자 단말 사용자의 감정을 결정할 수 있다. 여기서, 학습이 완료된 제1 딥러닝 모델은 Bidirectional Encoder Representation from Transformers(BERT, 이하 "BERT"라 한다), BERT 기반의 한국어 BERT 일 수 있으나, 학습이 완료된 제1 딥러닝 모델이 이에 한정되는 것은 아니다.
단계 S500에서, 제1 사용자 단말은 학습이 완료된 제1 딥러닝 모델을 이용하여 수신한 메시지를 기초로 제2 사용자 단말 사용자의 감정을 긍정 감정, 부정 감정 및 중립 감정 중 적어도 어느 하나로 결정할 수 있다.
단계 S510에서, 제1 사용자 단말은 제2 사용자 단말을 식별하기 위한 식별정보(예컨대, 제2 사용자 단말의 전화 번호 등)를 획득할 수 있다.
단계 S510에서, 제1 사용자 단말은 획득한 제2 사용자 단말을 식별하기 위한 식별정보(예컨대, 제2 사용자 단말의 전화 번호 등)를 기초로 제2 사용자 단말로 제2 사용자 단말 사용자에 대한 이미지(예컨대, 제2 사용자 단말 사용자의 사진 등) 전송을 요청할 수 있다.
단계 S510에서, 제1 사용자 단말은 제2 사용자 단말 사용자에 대한 이미지 전송 요청에 응답하여 제2 사용자 단말이 전송한 제2 사용자 단말 사용자의 이미지(예컨대, 제2 사용자 단말 사용자의 사진 등)를 획득할 수 있다.
단계 S520에서, 제1 사용자 단말은 획득한 제2 사용자 단말 사용자의 이미지(예컨대, 제2 사용자 단말 사용자의 사진 등)를 기초로 학습이 완료된 제1 이미지 생성 네트워크를 이용하여 제2 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제2 사용자 단말 사용자 이미지를 생성할 수 있다. 여기서, 학습이 완료된 제1 이미지 생성 네트워크는 생성적 적대신경망(Generative Adversarial Network, GAN) 일 수 있으나, 학습이 완료된 제1 이미지 생성 네트워크가 이에 한정되는 것은 아니다.
단계 S520에서, 제1 사용자 단말은 제1 사용자 단말에서 출력되는 메시지의 크기에 맞추어 생성한 제2 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제2 사용자 단말 사용자 이미지의 크기를 조절할 수 있다.
단계 S530에서, 제1 사용자 단말은 학습이 완료된 제1 딥러닝 모델을 이용하여 수신한 메시지를 기초로 결정한 제2 사용자 단말 사용자의 감정에 대응하는 배경색을 결정할 수 있다.
단계 S530에서, 제1 사용자 단말은 학습이 완료된 제1 딥러닝 모델을 이용하여 수신한 메시지를 기초로 결정한 제2 사용자 단말 사용자의 감정에 따라 출력하는 진동의 패턴을 변경할 수 있다.
단계 S530에서, 제1 사용자 단말은 제2 사용자 단말 사용자의 감정에 대응하는 배경색, 제2 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제2 사용자 단말 사용자 이미지 및 제2 사용자 단말 사용자의 감정에 대응하는 진동 패턴을 출력할 수 있다.
단계 S540에서, 제2 사용자 단말은 제2 사용자 단말이 전송한 메시지에 응답하여 제1 사용자 단말이 전송한 메시지를 수신할 수 있다.
단계 S540에서, 제2 사용자 단말은 학습이 완료된 제2 딥러닝 모델을 이용하여 수신한 메시지에서 제1 사용자 단말 사용자의 감정을 결정할 수 있다. 여기서, 학습이 완료된 제2 딥러닝 모델은 Bidirectional Encoder Representation from Transformers(BERT, 이하 "BERT"라 한다), BERT 기반의 한국어 BERT 일 수 있으나, 학습이 완료된 제2 딥러닝 모델이 이에 한정되는 것은 아니다.
단계 S540에서, 제2 사용자 단말은 학습이 완료된 제2 딥러닝 모델을 이용하여 수신한 메시지를 기초로 제1 사용자 단말 사용자의 감정을 긍정 감정, 부정 감정 및 중립 감정 중 적어도 어느 하나로 결정할 수 있다.
단계 S550에서, 제2 사용자 단말은 제1 사용자 단말을 식별하기 위한 식별정보(예컨대, 제1 사용자 단말의 전화 번호 등)를 획득할 수 있다.
단계 S550에서, 제2 사용자 단말은 획득한 제1 사용자 단말을 식별하기 위한 식별정보(예컨대, 제1 사용자 단말의 전화 번호 등)를 기초로 제1 사용자 단말로 제1 사용자 단말 사용자에 대한 이미지(예컨대, 제1 사용자 단말 사용자의 사진 등) 전송을 요청할 수 있다.
단계 S550에서, 제2 사용자 단말은 제1 사용자 단말 사용자에 대한 이미지 전송 요청에 응답하여 제1 사용자 단말이 전송한 제1 사용자 단말 사용자의 이미지(예컨대, 제1 사용자 단말 사용자의 사진 등)를 획득할 수 있다.
단계 S560에서, 제2 사용자 단말은 획득한 제1 사용자 단말 사용자의 이미지(예컨대, 제1 사용자 단말 사용자의 사진 등)를 기초로 학습이 완료된 제2 이미지 생성 네트워크를 이용하여 제1 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제1 사용자 단말 사용자 이미지를 생성할 수 있다. 여기서, 학습이 완료된 제2 이미지 생성 네트워크는 생성적 적대신경망(Generative Adversarial Network, GAN) 일 수 있으나, 학습이 완료된 제2 이미지 생성 네트워크가 이에 한정되는 것은 아니다.
단계 S560에서, 제2 사용자 단말은 제2 사용자 단말에서 출력되는 메시지의 크기에 맞추어 생성한 제1 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제1 사용자 단말 사용자 이미지의 크기를 조절할 수 있다.
단계 S570에서, 제2 사용자 단말은 학습이 완료된 제2 딥러닝 모델을 이용하여 수신한 메시지를 기초로 결정한 제1 사용자 단말 사용자의 감정에 대응하는 배경색을 결정할 수 있다.
단계 S570에서, 제2 사용자 단말은 학습이 완료된 제2 딥러닝 모델을 이용하여 수신한 메시지를 기초로 결정한 제1 사용자 단말 사용자의 감정에 따라 출력하는 진동의 패턴을 변경할 수 있다.
단계 S570에서, 제2 사용자 단말은 제1 사용자 단말 사용자의 감정에 대응하는 배경색, 제1 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제1 사용자 단말 사용자 이미지 및 제1 사용자 단말 사용자의 감정에 대응하는 진동 패턴을 출력할 수 있다.
이상에서, 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 실시예들의 목적 범위 안에서라면, 그 모든 구성 요소들이 적어도 하나로 선택적으로 결합하여 동작할 수도 있다.
또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다.
이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다.
기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명에서 개시된 방법들은 상술된 방법을 달성하기 위한 하나 이상의 동작들 또는 단계들을 포함한다. 방법 동작들 및/또는 단계들은 청구항들의 범위를 벗어나지 않으면서 서로 상호 교환될 수도 있다. 다시 말해, 동작들 또는 단계들에 대한 특정 순서가 명시되지 않는 한, 특정 동작들 및/또는 단계들의 순서 및/또는 이용은 청구항들의 범위로부터 벗어남이 없이 수정될 수도 있다.
본 발명에서 이용되는 바와 같이, 아이템들의 리스트 중 "그 중 적어도 하나" 를 지칭하는 구절은 단일 멤버들을 포함하여, 이들 아이템들의 임의의 조합을 지칭한다. 일 예로서, "a, b, 또는 c: 중의 적어도 하나" 는 a, b, c, a-b, a-c, b-c, 및 a-b-c 뿐만 아니라 동일한 엘리먼트의 다수의 것들과의 임의의 조합 (예를 들어, a-a, a-a-a, a-a-b, a-a-c, a-b-b, a-c-c, b-b, b-b-b, b-b-c, c-c, 및 c-c-c 또는 a, b, 및 c 의 다른 임의의 순서 화한 것) 을 포함하도록 의도된다.
본 발명에서 이용되는 바와 같이, 용어 "결정하는"는 매우 다양한 동작들을 망라한다. 예를 들어, "결정하는"는 계산하는, 컴퓨팅, 프로세싱, 도출하는, 조사하는, 룩업하는 (예를 들어, 테이블, 데이터베이스, 또는 다른 데이터 구조에서 룩업하는), 확인하는 등을 포함할 수도 있다. 또한, "결정하는"은 수신하는 (예를 들면, 정보를 수신하는), 액세스하는 (메모리의 데이터에 액세스하는) 등을 포함할 수 있다. 또한, "결정하는"은 해결하는, 선택하는, 고르는, 확립하는 등을 포함할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100...제1 사용자 단말
120...제2 사용자 단말

Claims (6)

  1. 복수개의 진동자가 배치된 진동 모듈을 포함하는 제1 사용자 단말 및 제2 사용자 단말을 포함하는 감정 표현 시스템에 있어서,
    학습이 완료된 제1 딥러닝 모델 이용하여 상기 제2 사용자 단말이 전송한 메시지를 기초로 제2 사용자 단말 사용자의 감정을 결정하고, 상기 결정한 상기 제2 사용자 단말 사용자의 감정에 대응하는 진동을 출력하는 제1 사용자 단말을 포함하고,
    상기 제2 사용자 단말은,
    학습이 완료된 제2 딥러닝 모델을 이용하여 상기 제2 사용자 단말이 전송한 메시지에 응답하여 상기 제1 사용자 단말이 전송한 메시지를 기초로 제1 사용자 단말 사용자의 감정을 결정하고, 상기 결정한 상기 제1 사용자 단말 사용자의 감정에 대응하는 진동을 출력하되,
    상기 제2 사용자 단말 사용자의 감정은,
    긍정 감정, 부정 감정 및 중립 감정 중 적어도 어느 하나에 해당하고,
    상기 제2 사용자 단말 사용자의 감정이 긍정 감정인 경우,
    상기 제1 사용자 단말은,
    300Hz ~ 400Hz의 진동을 0.2 초 간격으로 상기 제1 사용자 단말에 포함된 상기 진동 모듈 전체에서 5초 동안 출력하고,
    상기 제2 사용자 단말 사용자의 감정이 부정 감정인 경우,
    상기 제1 사용자 단말은,
    700Hz ~ 1000Hz의 진동을 불규칙적인 시간 간격으로 상기 제1 사용자 단말에 포함된 상기 진동 모듈의 무작위(random)한 일부분에서 진동의 위치를 바꿔가며 5초 등 동안 출력하고,
    상기 제2 사용자 단말 사용자의 감정이 중립 감정인 경우,
    상기 제1 사용자 단말은,
    100Hz ~ 200Hz의 진동을 0.5 초 간격으로 상기 제1 사용자 단말에 포함된 상기 진동 모듈 중심부에서 5초 동안 출력하고,
    상기 제1 사용자 단말 사용자의 감정은,
    긍정 대응 감정, 부정 대응 감정 및 중립 대응 감정 중 적어도 어느 하나에 해당하고,
    상기 제1 사용자 단말 사용자의 감정이 긍정 대응 감정인 경우,
    상기 제2 사용자 단말은,
    500Hz ~ 600Hz의 진동을 0.2 초 간격으로 상기 제2 사용자 단말에 포함된 상기 진동 모듈 전체에서 5초 동안 출력하고,
    상기 제1 사용자 단말 사용자의 감정이 부정 대응 감정인 경우,
    상기 제2 사용자 단말은,
    20Hz ~ 30Hz의 진동을 불규칙적인 시간 간격으로 상기 제2 사용자 단말에 포함된 상기 진동 모듈의 일부분이 위에서 아래로 순차적으로 내려가며 진동의 위치를 바꿔가며 5초 동안 출력하고,
    상기 제1 사용자 단말 사용자의 감정이 중립 대응 감정인 경우,
    상기 제2 사용자 단말은,
    150Hz ~ 250Hz의 진동을 0.5 초 간격으로 상기 제2 사용자 단말에 포함된 상기 진동 모듈 중심부에서 5초 동안 출력하고,
    상기 제1 사용자 단말은,
    상기 제2 사용자 단말을 식별하기 위한 식별정보를 기초로 상기 제2 사용자 단말로 제2 사용자 단말 사용자의 이미지 전송을 요청하고, 제2 사용자 단말 사용자에 대한 이미지 전송 요청에 응답하여 상기 제2 사용자 단말이 전송한 상기 제2 사용자 단말 사용자의 이미지를 획득하고,
    상기 획득한 제2 사용자 단말 사용자의 이미지를 기초로 학습이 완료된 제1 생성적 적대신경망(Generative Adversarial Network, GAN)을 이용하여 상기 결정한 상기 제2 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제2 사용자 단말 사용자 이미지를 생성하고, 상기 생성한 제2 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제2 사용자 단말 사용자 이미지를 출력하고,
    상기 제2 사용자 단말은,
    상기 제1 사용자 단말을 식별하기 위한 식별정보를 기초로 상기 제1 사용자 단말로 제1 사용자 단말 사용자의 이미지 전송을 요청하고, 제1 사용자 단말 사용자에 대한 이미지 전송 요청에 응답하여 상기 제1 사용자 단말이 전송한 상기 제1 사용자 단말 사용자의 이미지를 획득하고,
    상기 획득한 제1 사용자 단말 사용자의 이미지를 기초로 학습이 완료된 제2 생성적 적대신경망(Generative Adversarial Network, GAN)을 이용하여 상기 결정한 상기 제1 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제1 사용자 단말 사용자 이미지를 생성하고, 상기 생성한 제1 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제1 사용자 단말 사용자 이미지를 출력하는 감정 표현 시스템..
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 복수개의 진동자가 배치된 진동 모듈을 포함하는 제1 사용자 단말 및 제2 사용자 단말을 포함하는 감정 표현 시스템에서 수행되는 감정 표현 방법에 있어서,
    제1 사용자 단말이 학습이 완료된 제1 딥러닝 모델 이용하여 상기 제2 사용자 단말이 전송한 메시지를 기초로 제2 사용자 단말 사용자의 감정을 결정하는 단계;
    제1 사용자 단말이 상기 결정한 상기 제2 사용자 단말 사용자의 감정에 대응하는 진동을 출력하는 단계;
    제2 사용자 단말이 학습이 완료된 제2 딥러닝 모델을 이용하여 상기 제2 사용자 단말이 전송한 메시지에 응답하여 상기 제1 사용자 단말이 전송한 메시지를 기초로 제1 사용자 단말 사용자의 감정을 결정하는 단계; 및
    제2 사용자 단말이 상기 결정한 상기 제1 사용자 단말 사용자의 감정에 대응하는 진동을 출력하는 단계
    를 포함하되,
    상기 제2 사용자 단말은,
    학습이 완료된 제2 딥러닝 모델을 이용하여 상기 제2 사용자 단말이 전송한 메시지에 응답하여 상기 제1 사용자 단말이 전송한 메시지를 기초로 제1 사용자 단말 사용자의 감정을 결정하고, 상기 결정한 상기 제1 사용자 단말 사용자의 감정에 대응하는 진동을 출력하되,
    상기 제2 사용자 단말 사용자의 감정은,
    긍정 감정, 부정 감정 및 중립 감정 중 적어도 어느 하나에 해당하고,
    상기 제2 사용자 단말 사용자의 감정이 긍정 감정인 경우,
    상기 제1 사용자 단말은,
    300Hz ~ 400Hz의 진동을 0.2 초 간격으로 상기 제1 사용자 단말에 포함된 상기 진동 모듈 전체에서 5초 동안 출력하고,
    상기 제2 사용자 단말 사용자의 감정이 부정 감정인 경우,
    상기 제1 사용자 단말은,
    700Hz ~ 1000Hz의 진동을 불규칙적인 시간 간격으로 상기 제1 사용자 단말에 포함된 상기 진동 모듈의 무작위(random)한 일부분에서 진동의 위치를 바꿔가며 5초 등 동안 출력하고,
    상기 제2 사용자 단말 사용자의 감정이 중립 감정인 경우,
    상기 제1 사용자 단말은,
    100Hz ~ 200Hz의 진동을 0.5 초 간격으로 상기 제1 사용자 단말에 포함된 상기 진동 모듈 중심부에서 5초 동안 출력하고,
    상기 제1 사용자 단말 사용자의 감정은,
    긍정 대응 감정, 부정 대응 감정 및 중립 대응 감정 중 적어도 어느 하나에 해당하고,
    상기 제1 사용자 단말 사용자의 감정이 긍정 대응 감정인 경우,
    상기 제2 사용자 단말은,
    500Hz ~ 600Hz의 진동을 0.2 초 간격으로 상기 제2 사용자 단말에 포함된 상기 진동 모듈 전체에서 5초 동안 출력하고,
    상기 제1 사용자 단말 사용자의 감정이 부정 대응 감정인 경우,
    상기 제2 사용자 단말은,
    20Hz ~ 30Hz의 진동을 불규칙적인 시간 간격으로 상기 제2 사용자 단말에 포함된 상기 진동 모듈의 일부분이 위에서 아래로 순차적으로 내려가며 진동의 위치를 바꿔가며 5초 동안 출력하고,
    상기 제1 사용자 단말 사용자의 감정이 중립 대응 감정인 경우,
    상기 제2 사용자 단말은,
    150Hz ~ 250Hz의 진동을 0.5 초 간격으로 상기 제2 사용자 단말에 포함된 상기 진동 모듈 중심부에서 5초 동안 출력하고,
    상기 제1 사용자 단말은,
    상기 제2 사용자 단말을 식별하기 위한 식별정보를 기초로 상기 제2 사용자 단말로 제2 사용자 단말 사용자의 이미지 전송을 요청하고, 제2 사용자 단말 사용자에 대한 이미지 전송 요청에 응답하여 상기 제2 사용자 단말이 전송한 상기 제2 사용자 단말 사용자의 이미지를 획득하고,
    상기 획득한 제2 사용자 단말 사용자의 이미지를 기초로 학습이 완료된 제1 생성적 적대신경망(Generative Adversarial Network, GAN)을 이용하여 상기 결정한 상기 제2 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제2 사용자 단말 사용자 이미지를 생성하고, 상기 생성한 제2 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제2 사용자 단말 사용자 이미지를 출력하고,
    상기 제2 사용자 단말은,
    상기 제1 사용자 단말을 식별하기 위한 식별정보를 기초로 상기 제1 사용자 단말로 제1 사용자 단말 사용자의 이미지 전송을 요청하고, 제1 사용자 단말 사용자에 대한 이미지 전송 요청에 응답하여 상기 제1 사용자 단말이 전송한 상기 제1 사용자 단말 사용자의 이미지를 획득하고,
    상기 획득한 제1 사용자 단말 사용자의 이미지를 기초로 학습이 완료된 제2 생성적 적대신경망(Generative Adversarial Network, GAN)을 이용하여 상기 결정한 상기 제1 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제1 사용자 단말 사용자 이미지를 생성하고, 상기 생성한 제1 사용자 단말 사용자의 감정에 대응하는 표정을 갖는 제1 사용자 단말 사용자 이미지를 출력하는 감정 표현 방법.
KR1020230075183A 2023-06-12 2023-06-12 감정 표현 시스템 및 감정 표현 방법 KR102617115B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230075183A KR102617115B1 (ko) 2023-06-12 2023-06-12 감정 표현 시스템 및 감정 표현 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230075183A KR102617115B1 (ko) 2023-06-12 2023-06-12 감정 표현 시스템 및 감정 표현 방법

Publications (1)

Publication Number Publication Date
KR102617115B1 true KR102617115B1 (ko) 2023-12-21

Family

ID=89320589

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230075183A KR102617115B1 (ko) 2023-06-12 2023-06-12 감정 표현 시스템 및 감정 표현 방법

Country Status (1)

Country Link
KR (1) KR102617115B1 (ko)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100471669B1 (ko) * 2004-05-10 2005-03-14 에스케이 텔레콤주식회사 이동 통신 단말의 진동 장치를 이용한 감정 표현 방법 및이를 위한 이동 통신 단말
KR20140069122A (ko) * 2011-09-09 2014-06-09 퀄컴 인코포레이티드 햅틱 피드백으로서의 감정들의 전송
KR20160065670A (ko) * 2014-12-01 2016-06-09 삼성전자주식회사 컨텐트를 제공하는 방법 및 디바이스
KR20160078147A (ko) * 2014-12-24 2016-07-04 주식회사 케이티 감성 통신 장치 및 그 방법
KR101825134B1 (ko) 2016-10-20 2018-02-02 한국기술교육대학교 산학협력단 감정측정 디바이스를 활용한 드론 방범 시스템
KR20200035887A (ko) * 2018-09-27 2020-04-06 삼성전자주식회사 대화형 인터페이스를 제공하는 방법 및 시스템
KR20200113105A (ko) * 2019-03-22 2020-10-06 삼성전자주식회사 응답을 제공하는 전자 장치와 이의 동작 방법
KR20200133127A (ko) * 2019-05-17 2020-11-26 한국전자기술연구원 실시간 몰입형 콘텐츠 제공 시스템 및 이의 햅틱 효과 전송 방법
KR20210032159A (ko) * 2019-09-16 2021-03-24 주식회사 필링크코리아 무선 통신 기반의 감성표현장치
KR20230031107A (ko) * 2021-08-26 2023-03-07 삼성전자주식회사 감정 결합 컨텐츠의 생성 방법 및 장치

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100471669B1 (ko) * 2004-05-10 2005-03-14 에스케이 텔레콤주식회사 이동 통신 단말의 진동 장치를 이용한 감정 표현 방법 및이를 위한 이동 통신 단말
KR20140069122A (ko) * 2011-09-09 2014-06-09 퀄컴 인코포레이티드 햅틱 피드백으로서의 감정들의 전송
KR20160065670A (ko) * 2014-12-01 2016-06-09 삼성전자주식회사 컨텐트를 제공하는 방법 및 디바이스
KR20160078147A (ko) * 2014-12-24 2016-07-04 주식회사 케이티 감성 통신 장치 및 그 방법
KR101825134B1 (ko) 2016-10-20 2018-02-02 한국기술교육대학교 산학협력단 감정측정 디바이스를 활용한 드론 방범 시스템
KR20200035887A (ko) * 2018-09-27 2020-04-06 삼성전자주식회사 대화형 인터페이스를 제공하는 방법 및 시스템
KR20200113105A (ko) * 2019-03-22 2020-10-06 삼성전자주식회사 응답을 제공하는 전자 장치와 이의 동작 방법
KR20200133127A (ko) * 2019-05-17 2020-11-26 한국전자기술연구원 실시간 몰입형 콘텐츠 제공 시스템 및 이의 햅틱 효과 전송 방법
KR20210032159A (ko) * 2019-09-16 2021-03-24 주식회사 필링크코리아 무선 통신 기반의 감성표현장치
KR20230031107A (ko) * 2021-08-26 2023-03-07 삼성전자주식회사 감정 결합 컨텐츠의 생성 방법 및 장치

Similar Documents

Publication Publication Date Title
US10992619B2 (en) Messaging system with avatar generation
KR102044242B1 (ko) 영상 통화 서비스를 제공하는 단말 및 서버
JP6753707B2 (ja) コミュニケーションを支援する人工知能システム
US9674485B1 (en) System and method for image processing
CN108205627A (zh) 交互式助理模块对访问的有条件提供
CN109769213B (zh) 用户行为轨迹记录的方法、移动终端及计算机存储介质
CN101478399A (zh) 个人广告简档秘密照片验证过程
CN107632706A (zh) 多模态虚拟人的应用数据处理方法和系统
CN107548568A (zh) 用于设备功能的场境发现的系统和方法
CN109829432A (zh) 用于生成信息的方法和装置
CN108460324A (zh) 一种用于识别幼儿情绪的方法
WO2020258968A1 (zh) 信息传输方法、服务器、终端设备及介质
CN111753520B (zh) 一种风险预测方法、装置、电子设备及存储介质
CN108885637A (zh) 人物相关性平台
CN114722937A (zh) 一种异常数据检测方法、装置、电子设备和存储介质
CN110825863B (zh) 一种文本对融合方法及装置
CN109448069A (zh) 一种模板生成方法及移动终端
KR102617115B1 (ko) 감정 표현 시스템 및 감정 표현 방법
US11418757B1 (en) Controlled-environment facility video communications monitoring system
KR102650224B1 (ko) 감정 전달 시스템 및 감정 전달 방법
CN109447258A (zh) 神经网络模型的优化方法及装置、电子设备和存储介质
CN108187346A (zh) 一种防止应用外挂的方法、终端及存储介质
WO2017080246A1 (zh) 一种解锁方法、装置及设备
US9491568B2 (en) System and method for mobile terminal interactions
WO2023196456A1 (en) Adaptive wellness collaborative media system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant