KR102078209B1 - 텍스트 메시지를 브이모지로 표현하는 아바타 비주얼 변환 장치 및 메시지 변환 방법 - Google Patents
텍스트 메시지를 브이모지로 표현하는 아바타 비주얼 변환 장치 및 메시지 변환 방법 Download PDFInfo
- Publication number
- KR102078209B1 KR102078209B1 KR1020190081350A KR20190081350A KR102078209B1 KR 102078209 B1 KR102078209 B1 KR 102078209B1 KR 1020190081350 A KR1020190081350 A KR 1020190081350A KR 20190081350 A KR20190081350 A KR 20190081350A KR 102078209 B1 KR102078209 B1 KR 102078209B1
- Authority
- KR
- South Korea
- Prior art keywords
- code
- text
- visual
- avatar
- animation code
- Prior art date
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 84
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000008451 emotion Effects 0.000 claims abstract description 41
- 229910052797 bismuth Inorganic materials 0.000 claims description 37
- JCXGWMGPZLAOME-UHFFFAOYSA-N bismuth atom Chemical compound [Bi] JCXGWMGPZLAOME-UHFFFAOYSA-N 0.000 claims description 37
- 230000033001 locomotion Effects 0.000 claims description 37
- 230000002996 emotional effect Effects 0.000 claims description 32
- 230000008921 facial expression Effects 0.000 claims description 23
- 230000014509 gene expression Effects 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000003058 natural language processing Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 206010063659 Aversion Diseases 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000011426 transformation method Methods 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000010295 mobile communication Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/18—Commands or executable codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
-
- G06Q50/30—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/10—Multimedia information
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Marketing (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Transfer Between Computers (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Operations Research (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 메신저 서비스에 있어서 텍스트 메시지를 브이모지(V-moji)로 표현하여 새로운 사용자 경험을 제공할 수 있는 아바타 비주얼 변환 장치 및 메시지 변환 방법에 관한 것입니다. 구체적으로, 발신자 단말기에 텍스트를 입력하면, 비주얼 변환 장치가 그 의미를 분석하여 감정좌표를 설정하고 이를 이용해 아바타의 감정표현을 위한 애니메이션 코드를 생성합니다. 또한 TTS용 텍스트를 추출하여 보이스 데이터를 생성하고 각 음소에 대한 비즘 표현을 위한 비즘 코드를 생성합니다. 수신자 단말기는 보이스 데이터를 출력하면서, 비즘 코드 및 애니메이션 코드를 기준으로 아바타의 비주얼 영상을 제어합니다.
Description
본 발명은 메시지 변환 장치 및 방법에 관한 것으로서, 더욱 상세하게는 텍스트 메시지를 브이모지로 표현하는 아바타 비주얼 변환 장치 및 메시지 변환 방법에 관한 것이다.
일반적으로 메신저(messenger)는 인터넷에서 실시간으로 메시지와 데이터를 주고 받을 수 있는 소프트웨어로서, 사용자가 대화 상태를 등록하고 메신저 화면에 출력되는 대화 상대 목록에 있는 상대방과 메시지를 송수신할 수 있도록 하며, 최근에는 PC뿐만 아니라 이동 통신 단말의 모바일 환경에서도 메신저의 사용이 보편화되고 있다.
과거 메신저는 대부분 텍스트 위주로 의사를 전달했는데 데이터 사용량이 적다는 장점은 있지만 사용자의 감정이나 표정을 텍스트로만 표현하는 데는 많은 한계가 있었다. 이러한 한계를 극복하기 위해 다양한 표현 수단들이 등장하였다. 메신저 상의 사용자 표현 수단으로는 텍스트형과 이미지형으로 구분될 수 있는데, 텍스트형 메시지로는 문자, 기호, 숫자 등을 조합한 문자 그림(예를 들어, ^^, --;;;, ㅋㅋㅋ, ㅎㅎㅎ 등) 등이 있으며, 이미지형 메시지로는 이모티콘(emoticon), 스티커(sticker) 등이 있다. 특히 이미지형 메시지의 경우 정적 이미지뿐만 아니라 동적 이미지로도 표현되는데 누구나 보면 그 의미를 이해할 수 있고 사용자의 미묘한 감정을 표현하기에 용이하다는 장점이 있어 최근 들어 널리 이용되고 있다.
하지만 이미지형 메시지도 사용자의 개별적인 표현이나 감정을 전달하기에는 부족한 점이 있다. 기본적으로 메신저 서비스 업체가 여러 이미지형 메시지 샘플을 제공하고, 사용자는 이 샘플들 중 원하는 이미지형 메시지를 선택하여 사용한다. 즉, 이미지형 메시지는 정형화된 형태로 이루어져 있으며 다수의 공중이 함께 사용하는 것이다. 처음에 사용할 때는 재미있는 사용자 경험을 얻게 되지만 수회에 걸쳐 다수에 의해 반복 사용할 경우, 이미지형 메시지는 다소 상투적인 문구로 인식될 수 있기 때문에 본인만의 감정 표현을 제대로 전달하기 어려울 수 있다. 또한 사용자가 텍스트 메시지로 대화하는 중에 이미지형 메시지를 전송하고 하면 별도 메뉴선택을 통해 샘플들 중 원하는 이미지를 선택해야 하는데 이 또한 다소 번거로운 면이 있다.
본 발명이 해결하고자 하는 과제는, 메신저 서비스에 있어서 텍스트 메시지를 브이모지로 표현하여 새로운 사용자 경험을 제공할 수 있는 아바타 비주얼 변환 장치를 제공하고자 하는 것이다.
본 발명이 해결하고자 하는 다른 과제는, 이러한 장치를 이용한 메시지 변환 방법을 제공하고자 하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위한 본 발명의 일 실시예에 따른 비주얼 변환 장치는, 발신자 단말기가 수신자 단말기로 텍스트를 전송할 때 상기 텍스트가 아바타로 표현되도록 데이터를 처리하는 비주얼 변환 장치로서: 상기 발신자 단말기로부터 전송된 텍스트에서 TTS용 텍스트를 추출하고, 상기 텍스트의 의미를 분석하여 감정좌표를 설정하는 텍스트 분석부; 상기 TTS용 텍스트를 이용해 보이스 데이터를 생성하는 보이스 생성부; 및 상기 감정좌표를 기반으로 상기 아바타의 감정표현을 위한 애니메이션 코드를 생성하는 애니메이션 코드 생성부를 포함하되, 상기 수신자 단말기가 상기 비주얼 변환 장치로부터 상기 보이스 데이터 및 상기 애니메이션 코드를 수신하는 경우, 상기 보이스 데이터를 출력하는 동안 디스플레이 상에 상기 아바타를 표시하고 상기 애니메이션 코드를 기준으로 상기 아바타의 비주얼 영상을 제어할 수 있다.
상기 TTS용 텍스트를 구성하는 음소에 대해 비즘(viseme) 표현을 위한 비즘 코드를 생성하는 비즘 코드 생성부를 더 포함하고, 상기 수신자 단말기는 상기 보이스 데이터를 출력하는 동안 상기 비즘 코드를 기준으로 상기 아바타에 비즘을 표현할 수 있다.
상기 텍스트 분석부는 상기 텍스트와 상기 감정좌표 사이의 매핑관계를 사전에 정의한 빌트인 시퀀스(built-in sequence) 모듈, 기계학습에 의해 상기 매핑관계를 정의한 챗봇(ChatBot) 모듈, 또는 자연어 처리(Natural Language Processing) 모듈을 이용하여, 상기 감정좌표를 설정할 수 있다.
상기 감정좌표는 분노 지표, 공포 지표, 기대 지표, 놀람 지표, 기쁨 지표, 슬픔 지표, 신뢰 지표, 혐오 지표 또는 이들의 조합 지표로 이루어진 그룹에서 선택된 적어도 하나를 포함하고, 상기 텍스트는 상기 감정좌표의 지표들 중 적어도 하나에 매핑될 수 있다.
상기 애니메이션 코드는 상기 감정좌표마다 정의된 표정 애니메이션 코드 및 동작 애니메이션 코드를 포함하고, 상기 수신자 단말기는 상기 애니메이션 코드를 기준으로 상기 아바타의 표정과 동작을 제어할 수 있다.
상기 비즘 코드 생성부는 상기 보이스 데이터와 상기 비즘이 순차적으로 매칭되어 출력되도록 상기 비즘 코드의 구현 시간 정보를 생성할 수 있다.
상기 애니메이션 코드 생성부는 상기 보이스 데이터와 상기 비주얼 영상이 순차적으로 매칭되어 출력되도록 상기 애니메이션 코드의 구현 시간 정보를 생성할 수 있다.
상기 다른 과제를 달성하기 위한 본 발명의 일 실시예에 따른 메시지 변환 방법은, 발신자 단말기가 수신자 단말기로 텍스트를 전송할 때 상기 텍스트가 아바타로 표현되도록 메시지를 변환하는 방법으로서: 발신자 단말기가 입력된 텍스트를 비주얼 변환 장치로 전송하는 단계; 상기 비주얼 변환 장치가 상기 텍스트의 의미를 분석하여 감정좌표를 설정하고, 상기 텍스트에서 TTS용 텍스트를 추출하는 단계; 상기 비주얼 변환 장치가 상기 TTS용 텍스트를 이용해 보이스 데이터를 생성하고, 상기 감정좌표를 기반으로 상기 아바타의 감정표현을 위한 애니메이션 코드를 생성하는 단계; 및 수신자 단말기가 상기 비주얼 변환 장치로부터 상기 보이스 데이터 및 상기 애니메이션 코드를 수신하고, 상기 보이스 데이터를 출력하는 동안 디스플레이 상에 아바타를 표시하고 상기 애니메이션 코드를 기준으로 상기 아바타의 비주얼 영상을 제어하는 단계를 포함할 수 있다.
상기 비주얼 변환 장치가 상기 TTS용 텍스트를 구성하는 음소에 대해 비즘(viseme) 표현을 위한 비즘 코드를 생성하는 단계를 더 포함하고, 상기 수신자 단말기는 상기 보이스 데이터를 출력하는 동안 상기 비즘 코드를 기준으로 상기 아바타에 비즘을 표현할 수 있다.
기타 실시예들의 구체적인 사항들은 구체적인 내용 및 도면들에 포함되어 있다.
상술한 바와 같이 본 발명에 따른 아바타 비주얼 변환 장치 및 메시지 변환 방법에 따르면, 발신자가 메신저를 통해 텍스트를 입력하면 수신자 단말기는 아바타를 통해 해당 텍스트에 대응하는 보이스 정보(음성 정보)로 출력하고 동시에 텍스트에 담긴 발신자의 감정상태를 분석하고 이에 대응하여 아바타의 표정이나 동작을 제어하여 시각 정보로 표현한다. 따라서 수신자는 마치 애니메이션 등과 같은 비디오 출력물을 감상하는 효과를 가지게 되어, 발신자의 감정 표현을 생생히 전달할 수 있다.
아바타는 수신자 단말기마다 별도의 정의될 수 있으며, 아바타가 표현하는 음성 정보와 시각 정보는 발신자의 텍스트에 따라 매번 달라지기 때문에 수신자는 항상 새로운 사용자 경험을 하게 되어 식상함을 느끼기 어렵다. 또한, 발신자는 단순히 메신저를 통해 텍스트만을 입력하면 되기 때문에 번거로움이 없다.
발신자 단말기와 비주얼 변환 장치 사이에는 텍스트 정보가, 비주얼 변환 장치와 수신자 단말기 사이에는 보이스 정보, 비즘 코드 및 애니메이션 코드가 송수신된다. 전반적으로 적은 데이터량(킬로바이트 단위의 낮은 용량)으로도 동영상 전송과 실질적으로 동일한 효과를 얻을 수 있다.
도 1은 본 발명의 일 실시예에 따른 비주얼 변환 시스템의 구성을 개략적으로 나타낸 블록도이다.
도 2는 도 1의 비주얼 변환 장치의 구성을 개략적으로 나타낸 블록도이다.
도 3은 도 1의 수신자 단말기의 구성을 개략적으로 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 메시지 변환 방법을 순차적으로 나타낸 순서도이다.
도 5은 본 발명의 일 실시예에 따른 비주얼 변환 시스템이 적용된 메신저 서비스를 개념적으로 나타낸 도면이다.
도 2는 도 1의 비주얼 변환 장치의 구성을 개략적으로 나타낸 블록도이다.
도 3은 도 1의 수신자 단말기의 구성을 개략적으로 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 메시지 변환 방법을 순차적으로 나타낸 순서도이다.
도 5은 본 발명의 일 실시예에 따른 비주얼 변환 시스템이 적용된 메신저 서비스를 개념적으로 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명에서 브이모지(V-moji)는 비디오(Video)와 이모지(Emoji)를 합성한 단어로서 기존 이모지를 대체하는 표현 수단이며, 비디오 동영상처럼 말, 표정, 행동 등으로 감정을 표현하는 애니메이션 캐릭터 또는 아바타(Avatar)이다. 아바타는 3차원이나 가상현실 게임, 인터넷 채팅, 메신저 등에서 사용자의 감정 및 대화를 대신 전달할 수 있는 그래픽 매개체이고, 이러한 그래픽 매개체는 임의의 형상으로 구현될 수 있으며 예를 들어 사람, 동물, 사물 등의 형상을 가질 수 있다.
본 발명의 비주얼 변환 장치는 발신자측 텍스트 메시지를 수신자측 아바타로 표현하는 인터넷 메신저 서비스를 제공하는 장치이다. 본 발명은 이에 제한되지 않으며 기존 문자 메시지(SMS, LMS, MMS 등)에 연동되어 텍스트 메시지를 아바타로 변환하는 서비스를 제공할 수도 있다.
도 1은 본 발명의 일 실시예에 따른 비주얼 변환 시스템의 구성을 개략적으로 나타낸 블록도이다. 도 2는 도 1의 비주얼 변환 장치의 구성을 개략적으로 나타낸 블록도이다. 도 3은 도 1의 수신자 단말기의 구성을 개략적으로 나타낸 블록도이다. 본 발명의 비주얼 변환 시스템은 발신자 단말기(100), 비주얼 변환 장치(200) 및 수신자 단말기(300)를 포함한다.
도 1을 참조하면, 발신자 단말기(100)는 메신저 서비스를 구현하기 위한 메신저 애플리케이션(messenger application)이 내부 메모리에 설치된 모든 단말 장치를 포함할 수 있다. 예를 들어, 발신자 단말기(100)는 사용자가 이동하며 휴대할 수 있는 무선 통신 기능을 갖는 단말장치를 포함할 수 있다. 그와 같은 단말기로는 이동통신 네트워크를 통하여 통신 접속을 할 수 있는 이동통신 단말 장치, 네비게이션 단말 장치, 스마트폰, 태블릿 PC, 웨어러블 스마트장치, PDA 등이 있다. 또한 발신자 단말기(100)는 유무선 네트워크를 통해 비주얼 변환 장치(200)에 연결되어 메시지 관련 정보를 송수신하는 유선 또는 무선 통신 기능을 갖는 단말 장치를 포함할 수 있다. 예를 들어, 컴퓨터, 노트북, 디지털 TV, 스마트폰, 태블릿 PC, 웨어러블 스마트장치, PDA, 사물인터넷(IoT) 가전기기 등이 사용될 수 있다.
발신자 단말기(100)는 프로세서, 내부 메모리, 입력수단 및 출력수단을 포함한다. 발신자 단말기(100)의 입력수단은 소프트웨어 또는 하드웨어 입력기를 포함할 수 있으며, 본 실시예에서는 메신저 서비스에 사용되는 텍스트 입력부(110)를 포함한다. 예를 들어, 사용자가 발신자 단말기(100)의 텍스트 입력부(110)를 통해 텍스트 정보를 입력하게 되고, 발신자 단말기(100)는 이 텍스트 정보를 비주얼 변환 장치(200)로 전송한다. 출력수단은 스피커와 디스플레이 등을 포함한다. 디스플레이는 운영체제 소프트웨어의 UI/UX, 응용 소프트웨어의 UI/UX에 있어서 사용자의 터치입력을 감지하는 수단으로서 사용자 인터페이스를 포함할 수 있다. 디스플레이는 화면을 출력하는 수단임과 동시에 사용자의 터치 이벤트를 감지하는 입력수단의 기능을 함께 실행하는 터치스크린으로 이루어질 수 있다.
발신자 단말기(100)의 내부 메모리는 일반적으로 디바이스에 사용되는 컴퓨터 코드 및 데이터를 저장하는 장소를 제공한다. 본 발명의 일 실시예에 따른 발신자 단말기(100)의 내부 메모리에는 메신저 애플리케이션 및 이의 구동/관리에 필요한 리소스뿐만 아니라 기본적인 입출력 시스템, 운영 체제, 다양한 프로그램들, 애플리케이션들, 또는 디바이스에서 실행되는 사용자 인터페이스 기능들, 프로세서 기능들 등을 포함하는 임의의 디바이스용 펌웨어(firmware)가 저장될 수 있다.
비주얼 변환 장치(200)는 발신자 단말기(100)와 수신자 단말기(300)간에 메시지나 데이터 등을 실시간으로 송수신 할 수 있는 메신저 서비스를 제공하는 시스템일 수 있다. 비주얼 변환 장치(200)는 데이터베이스와 같은 저장수단들과, 데이터를 관리하고 처리하며 송수신하기 위한 수단들과, 외부 디바이스나 외부 시스템과의 통신을 처리하는 수단들과, 인증과 보안을 위한 수단들을 더 포함하며, 여기에는 다양한 하드웨어 장비, 서버 장치, 소프트웨어들이 포함될 수 있다. 비주얼 변환 장치(200)는 모바일 애플리케이션 소프트웨어를 사용자 단말기들에 제공할 수 있으며, 웹 사이트 등의 웹 기반의 플랫폼을 제공할 수도 있다.
도 2를 참조하면, 비주얼 변환 장치(200)는 텍스트 분석부(210), 보이스 생성부(220), 비즘 코드 생성부(230) 및 애니메이션 코드 생성부(240), 데이터베이스(250)를 포함한다.
텍스트 분석부(210)는 발신자 단말기(100)로부터 전송된 텍스트를 분석한다. 구체적으로, 텍스트 분석부(210)는 빌트인 시퀀스(built-in sequence) 모듈, 챗봇(ChatBot) 모듈, 또는 자연어 처리(Natural Language Processing) 모듈 등을 이용하여 텍스트의 의미 내용을 분석하여 이에 대응하는 감정좌표를 설정할 수 있다. 여기서 빌트인 시퀀스 모듈은 다양한 텍스트마다 이에 대응하는 감정좌표를 사전에 매핑 해두고 특정 텍스트가 입력될 때 즉시 대응하는 감정좌표를 불러온다. 챗봇 모듈은 기계학습에 의해 텍스트와 감정좌표 간의 매핑관계를 정의한다. 자연어 처리 모듈은 입력된 텍스트에 대해 자연어 처리를 수행하여 감정좌표를 설정한다.
감정좌표(emotional coordinates)는 데이터베이스(250)의 감정 좌표계(254)에 저장된 데이터로서, 사람의 정신상태 또는 감성상태를 여러 가지 비선형 파라미터로 정량화한 것이다. 감정좌표는 소정의 개수의 기본 감정(primary emotion)과, 이들의 결합된 결합 감정으로 이루어질 수 있다. 예를 들어, 기본 감정으로는, 서로 반대되는 4쌍의 감정, 즉 분노(anger), 공포(fear), 기대(anticipation), 놀람(surprise), 기쁨(joy), 슬픔(sadness), 신뢰(trust), 혐오(disgust) 등이 있을 수 있다. 결합 감정으로는 1차 이중감정(primary dyad)과 2차 이중감정(secondary dyad)이 있을 수 있다. 1차 이중감정은 서로 인접한 두 개의 기본 감정들 사이에 결합된 감정으로서 상대적으로 자주 느낄 수 있는 감정들이다. 예를 들어, 사랑(love = 기쁨 + 신뢰), 순종(submission = 신뢰 + 공포), 경외(awe = 공포 + 놀람), 반감(disapproval = 놀람 + 슬픔), 자책(remorse = 슬픔 + 혐오), 경멸(contempt = 혐오 + 분노), 공격성(aggressiveness = 분노 + 기대), 낙관(optimism = 기대 + 기쁨) 등이 있을 수 있다. 2차 이중감정은 서로 떨어져 있는 기본 감정들 사이에 결합된 감정으로서 상대적으로 가끔씩 느낄 수 있는 감정들이다. 예를 들어, 죄책감(= 기쁨 + 공포), 절망(= 공포 + 슬픔), 선망(= 슬픔 + 분노), 자부심(= 분노 + 기쁨), 호기심(= 신뢰 + 놀람), 불신(= 놀람 + 혐오), 희망(= 기대 + 신뢰) 등이 있을 수 있다. 나아가 결합 감정은 세 개 이상의 기본 감정들의 결합으로 이루어질 수도 있다. 이상의 예에서, 본 발명의 일 실시예에 따른 감정좌표는 분노 지표, 공포 지표, 기대 지표, 놀람 지표, 기쁨 지표, 슬픔 지표, 신뢰 지표, 혐오 지표 또는 이들의 조합 지표로 이루어진 그룹에서 선택된 적어도 하나를 포함하고, 텍스트 분석부(210)는 발신자 단말기(100)로부터 전송된 텍스트를 감정좌표의 지표들 중 적어도 하나에 매핑할 수 있다.
텍스트 분석부(210)는 발신자 단말기(100)로부터 전송된 텍스트(이를 '미가공 텍스트'라 함)에서 TTS(text to speech)용 텍스트를 추출할 수 있다. 만일 미가공 텍스트에 특수기호(예를 들어, &, *, ^, % 등)나 낱자(예를 들어, ㅋㅋ, ㅎㅎ, ㅇㅋ 등) 등이 포함되어 있는 경우, 보이스 생성부(220)는 이들에 대한 보이스 신호를 생성하기 어려울 수 있다. 따라서 텍스트 분석부(210)는 미가공 텍스트에 포함된 특수기호, 낱자 등을 제거하거나 새로운 문자/글자 등으로 치환하여 TTS용 텍스트를 추출한다. 경우에 따라 텍스트 분석부(210)는 미가공 텍스트에 별도의 데이터 처리를 수행하지 않고 TTS용 텍스트로 사용할 수도 있다.
보이스 생성부(220)는 TTS용 텍스트를 이용해 보이스 데이터를 생성한다. 즉, TTS용 텍스트로부터 문자를 인식하여 이를 음성으로 변환하여 보이스 데이터를 생성한다.
비즘 코드 생성부(230)는 TTS용 텍스트를 구성하는 음소에 대해 비즘(viseme) 표현을 위한 비즘 코드를 생성할 수 있다. 여기서 음소(phoneme)란 말의 의미를 나누어 뜻을 구별하게 하는 소리의 단위를 의미하고, 비즘(viseme)은 특정한 소리를 묘사하는 데에 사용될 수 있는 영상, 즉 시각적 음소를 의미한다. 예를 들어, 비즘은 각 음소에 대응하는 입 모양 영상일 수 있다.
비즘 코드 생성부(230)는 데이터 베이스(250)에 저장된 발음 좌표계(252)를 참조하여 각 음소에 비즘 데이터를 매핑시키고, 추후 수신자 단말기(300)에서 해당 비즘 데이터 또는 비즘 템플릿을 불러올 수 있도록 비즘 코드를 생성한다. 즉, 비주얼 변환 장치(200)가 비즘과 같은 영상 정보를 수신자 단말기(300)에 직접 전송하기 보다는 수신자 단말기(300)에서 아바타에 비즘을 표현할 수 있는 비즘 코드를 전송함으로써 데이터 전송량을 줄일 수 있다.
발음 좌표계(252)는 자음 좌표계와 모음 좌표계로 구성될 수 있다. 자음좌표계의 경우, 소리를 내는 자리(조음점)에 따라 입술소리(양순음), 혀끝소리(설단음), 센입천장소리(경구개음) 등으로 구분될 수 있고, 소리를 내는 방법(조음 방식)에 따라 파열음, 마찰음, 파찰음, 유음(설측음, 설전음), 비음 등으로 구분될 수 있고, 소리를 내는 힘의 정도에 따라 예사소리(평음), 된소리(경음), 거센소리(격음) 등으로 구분될 수 있고, 소리의 울림 유무에 따라 울림소리(유성음), 안울림소리(무성음) 등으로 구분될 수 있다. 모음좌표계의 경우, 혀의 앞뒤 위치에 따라 전설 모음, 후설 모음 등으로 구분될 수 있고, 혀의 높이에 따라 고모음, 중모음, 저모음 등으로 구분될 수 있고, 입술의 모양에 따라 원순 모음, 평순 모음 등으로 구분될 수 있고, 입이 열리는 정도에 따라 폐모음, 반폐반개모음, 개모음 등으로 구분될 수 있다. 이상과 같이 발음 좌표계(252)에는 음소의 구성에 따라 입(즉, 입술과 혀)의 모양, 즉 비즘이 매핑되어 있다.
비즘 코드 생성부(230)는 보이스 데이터와 이에 대응하는 비즘이 순차적으로 매칭되어 출력될 수 있도록 각 비즘 또는 비즘 코드가 구현되는 시간 정보(이를 '비즘 코드의 구현 시간 정보'라 함)를 비즘 코드와 함께 생성하는 것이 바람직하다.
애니메이션 코드 생성부(240)는 감정좌표를 기반으로 아바타의 감정표현을 위한 애니메이션 코드를 생성할 수 있다. 애니메이션 코드는 각 감정좌표마다 정의된 표정 애니메이션 코드 및 동작 애니메이션 코드를 포함할 수 있다. 예를 들어, 감정좌표가 '기쁨'인 경우, 표정 애니메이션 코드는 아바타가 웃는 표정을 짓도록 하는 움직임으로 정의되고, 동작 애니메이션 코드는 아바타가 두 팔을 들어 만세를 부르는 움직임으로 정의될 수 있다. 애니메이션 코드 생성부(240)는 보이스 데이터와 이에 대응하는 비주얼 영상(표정 및 동작)이 순차적으로 매칭되어 출력될 수 있도록 각 비주얼 영상 또는 애니메이션 코드가 구현되는 시간 정보(이를 '애니메이션 코드의 구현 시간 정보'라 함)를 애니메이션 코드와 함께 생성하는 것이 바람직하다.
도 3을 참조하면, 수신자 단말기(300)는 메신저 서비스를 구현하기 위한 메신저 애플리케이션이 설치된 모든 단말 장치를 포함할 수 있다. 예를 들어, 수신자 단말기(300)는 사용자가 이동하며 휴대할 수 있는 무선 통신 기능을 갖는 단말장치를 포함할 수 있다. 그와 같은 단말기로는 이동통신 네트워크를 통하여 통신 접속을 할 수 있는 이동통신 단말 장치, 네비게이션 단말 장치, 스마트폰, 태블릿 PC, 웨어러블 스마트장치, PDA 등이 있다. 또한 수신자 단말기(300)는 유무선 네트워크를 통해 비주얼 변환 장치(200)에 연결되어 메시지 관련 정보를 송수신하는 유선 또는 무선 통신 기능을 갖는 단말 장치를 포함할 수 있다. 예를 들어, 컴퓨터, 노트북, 디지털 TV, 스마트폰, 태블릿 PC, 웨어러블 스마트장치, PDA, 사물인터넷(IoT) 가전기기 등이 사용될 수 있다.
수신자 단말기(300)는 아바타 생성부(310), 보이스 출력부(320), 아바타 비주얼 제어부(330), 디스플레이(340) 및 데이터베이스(350)를 포함할 수 있다. 수신자 단말기(300)는 비주얼 변환 장치(200)로부터 보이스 데이터, 비즘 코드 및 애니메이션 코드를 수신하고 이를 이용하여 메신저 애플리케이션 상에서 음성과 함께 아바타의 비주얼 영상을 출력한다.
아바타 생성부(310)는 사용자에게 기본적인 아바타 템플릿을 제공하여 사용자가 원하는 대로 수정 또는 변경을 가하여 아바타를 생성할 수도 있고, 촬영 이미지 또는 영상을 기반으로 특징점을 추출하여 아바타를 생성할 수도 있다.
보이스 출력부(320)는 비주얼 변환 장치(200)로부터 전송된 보이스 데이터를 스피커 등의 출력수단을 통해 외부로 출력한다.
아바타 비주얼 제어부(330)는 보이스 데이터가 출력되는 동안 디스플레이(340) 상에 아바타를 표시하고 비즘 코드 및 애니메이션 코드를 기준을 아바타의 비주얼 영상을 제어한다.
구체적으로 아바타 비주얼 제어부(330)는 보이스 데이터가 출력되는 동안 비즘 코드를 기준으로 아바타에 비즘을 표현한다. 데이터 베이스(350)는 비즘 코드에 대응하는 비즘 템플릿(352)이 저장되어 있고, 비즘 템플릿(352)은 각 비즘 코드에 정의된 비즘 영상 또는 비즘을 구현하기 위한 입 움직임 정보가 저장되어 있다. 따라서 아바타 비주얼 제어부(330)는 비즘 코드에 매핑된 비즘 템플릿(352)을 이용하여 아바타에 비즘을 표현할 수 있다.
마찬가지로, 아바타 비주얼 제어부(330)는 보이스 데이터가 출력되는 동안 애니메이션 코드를 기준으로 아바타의 표정과 동작을 제어한다. 데이터 베이스(350)는 애니메이션 코드에 대응하는 표정 템플릿(354)과 동작 템플릿(356)이 저장되어 있고, 표정 템플릿(354)은 각 표정 애니메이션 코드에 정의된 표정 영상 또는 표정을 구현하기 위한 얼굴 움직임 정보가 저장되어 있고, 동작 템플릿(356)은 각 동작 애니메이션 코드에 정의된 동작 영상 또는 동작을 구현하기 위한 신체 움직임 정보가 저장되어 있다. 따라서 아바타 비주얼 제어부(330)는 애니메이션 코드에 매핑된 표정 템플릿(354) 및 동작 템플릿(356)을 이용하여 아바타의 표정과 동작을 제어할 수 있다. 여기서 아바타 비주얼 제어부(330)는 비즘 코드의 구현 시간 정보와, 애니메이션 코드의 구현 시간 정보를 참조하여 보이스 출력과 아바타의 표정/움직임을 정확히 일치시킬 수 있다.
이하 도 4를 참조하여 본 발명의 일 실시예에 따른 메시지 변환 방법에 대해 자세히 설명한다. 도 4는 본 발명의 일 실시예에 따른 메시지 변환 방법을 순차적으로 나타낸 순서도이다.
본 발명은 발신자 단말기가 수신자 단말기로 텍스트를 전송할 때 텍스트가 아바타로 표현되도록 메시지를 변환하는 방법에 관한 것이다. 구체적으로 다음과 같은 과정을 거친다.
먼저, 사용자가 발신자 단말기(100)에 텍스트를 입력하면, 발신자 단말기(100)는 비주얼 변환 장치로 입력된 텍스트를 전송한다.
비주얼 변환 장치(200)는 텍스트의 의미를 분석하고(S10), 감정 좌표계(254)에 매핑된 데이터를 기준으로 해당 텍스트에 대응하는 감정좌표를 설정한다(S20).
그리고 비주얼 변환 장치(200)는 수신된 텍스트에서 TTS용 텍스트를 추출한다(S30). 비주얼 변환 장치(200)는 TTS용 텍스트를 이용해 보이스 데이터를 생성하고(S32), TTS용 텍스트를 구성하는 음소에 대해 비즘 표현을 위한 비즘 코드를 생성한다(S34). 여기서 비주얼 변환 장치(200)는 보이스 데이터와 이에 대응하는 비즘이 순차적으로 매칭되어 출력될 수 있도록 비즘 코드의 구현 시간 정보를 함께 생성할 수 있다.
한편 비주얼 변환 장치(200)는 감정좌표를 기반으로 아바타의 감정표현을 위해 표정 및 동작에 관한 애니메이션 코드를 생성한다(S40). 여기서 비주얼 변환 장치(200)는 보이스 데이터와 이에 대응하는 표정/동작이 순차적으로 매칭되어 출력될 수 있도록 애니메이션 코드의 구현 시간 정보를 함께 생성할 수 있다.
수신자 단말기(300)가 비주얼 변환 장치(200)로부터 보이스 데이터, 비즘 코드 및 애니메이션 코드를 수신하면, 수신자 단말기(300) 보이스 데이터를 출력하는데(S50), 그 동안 디스플레이 상에 아바타를 표시하고 비즘 코드 및 애니메이션 코드를 기준으로 아바타의 비주얼 영상을 제어한다(S60).
도 5은 본 발명의 일 실시예에 따른 비주얼 변환 시스템이 적용된 메신저 서비스를 개념적으로 나타낸 도면이다. 본 실시예에서 발신자 단말기(100)에 "기분 좋아"라는 텍스트가 입력되면, 수신자 단말기(300)에서는 웃는 표정의 아바타가 "기분 좋아"라고 말하는 모습과 음성이 출력된다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 발신자 단말기
110: 텍스트 입력부
200: 비주얼 변환 장치
210: 텍스트 분석부
220; 보이스 생성부
230: 비즘 코드 생성부
240: 애니메이션 코드 생성부
250: 데이터 베이스
252: 발음 좌표계
254: 감정 좌표계
300: 수신자 단말기
310: 아바타 생성부
320: 보이스 출력부
330: 아바타 비주얼 제어부
340: 디스플레이
350: 데이터 베이스
352: 비즘 템플릿
354: 표정 템플릿
356: 동작 템플릿
110: 텍스트 입력부
200: 비주얼 변환 장치
210: 텍스트 분석부
220; 보이스 생성부
230: 비즘 코드 생성부
240: 애니메이션 코드 생성부
250: 데이터 베이스
252: 발음 좌표계
254: 감정 좌표계
300: 수신자 단말기
310: 아바타 생성부
320: 보이스 출력부
330: 아바타 비주얼 제어부
340: 디스플레이
350: 데이터 베이스
352: 비즘 템플릿
354: 표정 템플릿
356: 동작 템플릿
Claims (9)
- 메신저 애플리케이션이 설치된 발신자 단말기가 인터넷 메신저 서비스를 통해 메신저 애플리케이션이 설치된 수신자 단말기로 미가공 텍스트를 전송할 때 상기 미가공 텍스트가 아바타로 표현되도록 데이터를 처리하는 비주얼 변환 장치로서:
상기 발신자 단말기로부터 전송된 미가공 텍스트에서 TTS용 텍스트를 추출하고, 상기 미가공 텍스트의 의미를 분석하여 감정좌표를 설정하는 텍스트 분석부;
상기 TTS용 텍스트를 이용해 보이스 데이터를 생성하는 보이스 생성부; 및
상기 감정좌표를 기반으로 상기 아바타의 감정표현을 위한 애니메이션 코드를 생성하는 애니메이션 코드 생성부를 포함하되(상기 애니메이션 코드는 상기 감정좌표마다 정의된 표정 애니메이션 코드 및 동작 애니메이션 코드를 포함함),
상기 수신자 단말기가 상기 비주얼 변환 장치로부터 상기 보이스 데이터 및 상기 애니메이션 코드를 수신하는 경우, 상기 보이스 데이터를 출력하는 동안 디스플레이 상에 상기 아바타를 표시하고 상기 애니메이션 코드를 기준으로 상기 아바타의 비주얼 영상을 제어하고,
상기 수신자 단말기는 상기 미가공 텍스트 대신에 이를 데이터 처리한 상기 보이스 데이터, 상기 표정 애니메이션 코드 및 상기 동작 애니메이션 코드를 수신하고,
상기 수신자 단말기에는 상기 표정 애니메이션 코드에 대해 정의된 얼굴 움직임 정보로 이루어진 표정 템플릿과, 상기 동작 애니메이션 코드에 대해 정의된 신체 움직임 정보로 이루어진 동작 템플릿이 사전에 저장되어 있어서, 상기 수신자 단말기가 상기 표정 애니메이션 코드 및 상기 동작 애니메이션 코드를 수신하면 각각에 매핑된 표정 템플릿 및 동작 템플릿을 이용해 상기 아바타의 표정 및 동작을 제어하는 것을 특징으로 하는 비주얼 변환 장치. - 제1항에 있어서,
상기 TTS용 텍스트를 구성하는 음소에 대해 비즘(viseme) 표현을 위한 비즘 코드를 생성하는 비즘 코드 생성부를 더 포함하고, 상기 수신자 단말기는 상기 보이스 데이터를 출력하는 동안 상기 비즘 코드를 기준으로 상기 아바타에 비즘을 표현하는 것을 특징으로 하는 비주얼 변환 장치. - 제1항에 있어서,
상기 텍스트 분석부는 상기 미가공 텍스트와 상기 감정좌표 사이의 매핑관계를 사전에 정의한 빌트인 시퀀스(built-in sequence) 모듈, 기계학습에 의해 상기 매핑관계를 정의한 챗봇(ChatBot) 모듈, 또는 자연어 처리(Natural Language Processing) 모듈을 이용하여, 상기 감정좌표를 설정하는 것을 특징으로 하는 비주얼 변환 장치. - 제1항에 있어서,
상기 감정좌표는 분노 지표, 공포 지표, 기대 지표, 놀람 지표, 기쁨 지표, 슬픔 지표, 신뢰 지표, 혐오 지표 또는 이들의 조합 지표로 이루어진 그룹에서 선택된 적어도 하나를 포함하고, 상기 미가공 텍스트는 상기 감정좌표의 지표들 중 적어도 하나에 매핑되는 것을 특징으로 하는 비주얼 변환 장치. - 삭제
- 제2항에 있어서,
상기 비즘 코드 생성부는 상기 보이스 데이터와 상기 비즘이 순차적으로 매칭되어 출력되도록 상기 비즘 코드의 구현 시간 정보를 생성하는 것을 특징으로 하는 비주얼 변환 장치. - 제1항에 있어서,
상기 애니메이션 코드 생성부는 상기 보이스 데이터와 상기 비주얼 영상이 순차적으로 매칭되어 출력되도록 상기 애니메이션 코드의 구현 시간 정보를 생성하는 것을 특징으로 하는 비주얼 변환 장치. - 메신저 애플리케이션이 설치된 발신자 단말기가 인터넷 메신저 서비스를 통해 메신저 애플리케이션이 설치된 수신자 단말기로 미가공 텍스트를 전송할 때 상기 미가공 텍스트가 아바타로 표현되도록 메시지를 변환하는 방법으로서:
발신자 단말기가 입력된 미가공 텍스트를 비주얼 변환 장치로 전송하는 단계;
상기 비주얼 변환 장치가 상기 미가공 텍스트의 의미를 분석하여 감정좌표를 설정하고, 상기 미가공 텍스트에서 TTS용 텍스트를 추출하는 단계;
상기 비주얼 변환 장치가 상기 TTS용 텍스트를 이용해 보이스 데이터를 생성하고, 상기 감정좌표를 기반으로 상기 아바타의 감정표현을 위한 애니메이션 코드를 생성하는 단계(상기 애니메이션 코드는 상기 감정좌표마다 정의된 표정 애니메이션 코드 및 동작 애니메이션 코드를 포함함); 및
수신자 단말기가 상기 비주얼 변환 장치로부터 상기 보이스 데이터 및 상기 애니메이션 코드를 수신하고, 상기 보이스 데이터를 출력하는 동안 디스플레이 상에 아바타를 표시하고 상기 애니메이션 코드를 기준으로 상기 아바타의 비주얼 영상을 제어하는 단계를 포함하되,
상기 수신자 단말기는 상기 미가공 텍스트 대신에 이를 데이터 처리한 상기 보이스 데이터, 상기 표정 애니메이션 코드 및 상기 동작 애니메이션 코드를 수신하고,
상기 수신자 단말기에는 상기 표정 애니메이션 코드에 대해 정의된 얼굴 움직임 정보로 이루어진 표정 템플릿과, 상기 동작 애니메이션 코드에 대해 정의된 신체 움직임 정보로 이루어진 동작 템플릿이 사전에 저장되어 있어서, 상기 수신자 단말기가 상기 표정 애니메이션 코드 및 상기 동작 애니메이션 코드를 수신하면 각각에 매핑된 표정 템플릿 및 동작 템플릿을 이용해 상기 아바타의 표정 및 동작을 제어하고,
상기 감정좌표는 복수의 서로 반대되는 감정 쌍으로 이루어진 기본감정 지표와, 상기 기본감정 지표 간의 결합으로 이루어진 결합감정 지표를 포함하고, 상기 결합감정 지표는 느끼는 빈도에 따라 1차 이중감정 지표와 2차 이중감정 지표로 구분되는 것을 특징으로 하는 메시지 변환 방법. - 제8항에 있어서,
상기 비주얼 변환 장치가 상기 TTS용 텍스트를 구성하는 음소에 대해 비즘(viseme) 표현을 위한 비즘 코드를 생성하는 단계를 더 포함하고, 상기 수신자 단말기는 상기 보이스 데이터를 출력하는 동안 상기 비즘 코드를 기준으로 상기 아바타에 비즘을 표현하는 것을 특징으로 하는 메시지 변환 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190081350A KR102078209B1 (ko) | 2019-07-05 | 2019-07-05 | 텍스트 메시지를 브이모지로 표현하는 아바타 비주얼 변환 장치 및 메시지 변환 방법 |
| PCT/KR2020/008637 WO2021006538A1 (ko) | 2019-07-05 | 2020-07-02 | 텍스트 메시지를 브이모지로 표현하는 아바타 비주얼 변환 장치 및 메시지 변환 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190081350A KR102078209B1 (ko) | 2019-07-05 | 2019-07-05 | 텍스트 메시지를 브이모지로 표현하는 아바타 비주얼 변환 장치 및 메시지 변환 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102078209B1 true KR102078209B1 (ko) | 2020-02-17 |
Family
ID=69670482
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190081350A KR102078209B1 (ko) | 2019-07-05 | 2019-07-05 | 텍스트 메시지를 브이모지로 표현하는 아바타 비주얼 변환 장치 및 메시지 변환 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102078209B1 (ko) |
| WO (1) | WO2021006538A1 (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021006538A1 (ko) * | 2019-07-05 | 2021-01-14 | 주식회사 데커드에이아이피 | 텍스트 메시지를 브이모지로 표현하는 아바타 비주얼 변환 장치 및 메시지 변환 방법 |
| WO2022051497A1 (en) * | 2020-09-03 | 2022-03-10 | Sony Interactive Entertainment Inc. | Facial animation control by automatic generation of facial action units using text and speech |
| WO2023027297A1 (ko) * | 2021-08-26 | 2023-03-02 | 삼성전자주식회사 | 감정 결합 컨텐츠의 생성 방법 및 장치 |
| JP2023177594A (ja) * | 2022-06-02 | 2023-12-14 | ソフトバンク株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
| US12112413B2 (en) | 2021-08-26 | 2024-10-08 | Samsung Electronics Co., Ltd. | Device and method for generating emotion combined content |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100813034B1 (ko) * | 2006-12-07 | 2008-03-14 | 한국전자통신연구원 | 캐릭터 형성방법 |
| KR20090007932A (ko) * | 2007-07-16 | 2009-01-21 | 주식회사 케이티프리텔 | 단문메시지를 멀티미디어 메시지로 변환하여 전송하는이동통신 시스템 및 그 방법 |
| KR20090051851A (ko) * | 2007-11-20 | 2009-05-25 | 경원대학교 산학협력단 | 수신된 문자메시지를 아바타에 의하여 음성으로 출력하는이동통신단말기 및 그 제어방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101496515B1 (ko) * | 2012-07-03 | 2015-02-26 | 김인수 | 감성 메시지 작성 및 표현 방법 |
| US10116598B2 (en) * | 2012-08-15 | 2018-10-30 | Imvu, Inc. | System and method for increasing clarity and expressiveness in network communications |
| KR102078209B1 (ko) * | 2019-07-05 | 2020-02-17 | 주식회사 데커드에이아이피 | 텍스트 메시지를 브이모지로 표현하는 아바타 비주얼 변환 장치 및 메시지 변환 방법 |
-
2019
- 2019-07-05 KR KR1020190081350A patent/KR102078209B1/ko active IP Right Grant
-
2020
- 2020-07-02 WO PCT/KR2020/008637 patent/WO2021006538A1/ko active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100813034B1 (ko) * | 2006-12-07 | 2008-03-14 | 한국전자통신연구원 | 캐릭터 형성방법 |
| KR20090007932A (ko) * | 2007-07-16 | 2009-01-21 | 주식회사 케이티프리텔 | 단문메시지를 멀티미디어 메시지로 변환하여 전송하는이동통신 시스템 및 그 방법 |
| KR20090051851A (ko) * | 2007-11-20 | 2009-05-25 | 경원대학교 산학협력단 | 수신된 문자메시지를 아바타에 의하여 음성으로 출력하는이동통신단말기 및 그 제어방법 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021006538A1 (ko) * | 2019-07-05 | 2021-01-14 | 주식회사 데커드에이아이피 | 텍스트 메시지를 브이모지로 표현하는 아바타 비주얼 변환 장치 및 메시지 변환 방법 |
| WO2022051497A1 (en) * | 2020-09-03 | 2022-03-10 | Sony Interactive Entertainment Inc. | Facial animation control by automatic generation of facial action units using text and speech |
| US11756251B2 (en) | 2020-09-03 | 2023-09-12 | Sony Interactive Entertainment Inc. | Facial animation control by automatic generation of facial action units using text and speech |
| WO2023027297A1 (ko) * | 2021-08-26 | 2023-03-02 | 삼성전자주식회사 | 감정 결합 컨텐츠의 생성 방법 및 장치 |
| US12112413B2 (en) | 2021-08-26 | 2024-10-08 | Samsung Electronics Co., Ltd. | Device and method for generating emotion combined content |
| JP2023177594A (ja) * | 2022-06-02 | 2023-12-14 | ソフトバンク株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021006538A1 (ko) | 2021-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102078209B1 (ko) | 텍스트 메시지를 브이모지로 표현하는 아바타 비주얼 변환 장치 및 메시지 변환 방법 | |
| CN110609620B (zh) | 基于虚拟形象的人机交互方法、装置及电子设备 | |
| Sandel et al. | Unpacking and describing interaction on Chinese WeChat: A methodological approach | |
| RU2488232C2 (ru) | Сеть связи и устройства для преобразования текста в речь и текста в анимацию лица | |
| US20160259502A1 (en) | Diverse emojis/emoticons | |
| CN110400251A (zh) | 视频处理方法、装置、终端设备及存储介质 | |
| US20140351720A1 (en) | Method, user terminal and server for information exchange in communications | |
| CN107085495B (zh) | 一种信息展示方法、电子设备及存储介质 | |
| US11960792B2 (en) | Communication assistance program, communication assistance method, communication assistance system, terminal device, and non-verbal expression program | |
| EA005642B1 (ru) | Способ передачи информации в компьютерных сетях | |
| WO2018186416A1 (ja) | 翻訳処理方法、翻訳処理プログラム、及び、記録媒体 | |
| US20220405994A1 (en) | Communication assistance system and communication assistance program | |
| CN110311856A (zh) | 即时通信方法、设备及计算机可读存储介质 | |
| CN114630135A (zh) | 一种直播互动方法及装置 | |
| KR20080045924A (ko) | 원격대화에서 감정 및 의사의 표현 방법과 이를 위한 리얼이모티콘 시스템 | |
| KR20110012491A (ko) | 영상데이터 및 아바타를 이용한 메시지 전송 시스템, 관리서버, 단말 및 방법 | |
| Hamzah et al. | Voice4Blind: The talking braille keyboard to assist the visual impaired users in text messaging | |
| Kalsoom et al. | Semiotic representation of gender in Google emojis: a liberal feminist perspective | |
| KR102274161B1 (ko) | 어학 학습용 이모티콘 및 시스템과 방법 | |
| An et al. | EmoWear: Exploring Emotional Teasers for Voice Message Interaction on Smartwatches | |
| CN113382311A (zh) | 在线教学交互方法、装置、存储介质以及终端 | |
| KR20220016009A (ko) | 인공지능과 빅데이터를 이용한 한자 학습용 이모티콘, 시스템 및 인스턴트 메시지 서비스 시스템과 방법 | |
| KR102274162B1 (ko) | 한자 학습용 이모티콘 및 시스템과 방법 | |
| Bieling et al. | Interactive inclusive–Designing tools for activism and empowerment | |
| KR100799160B1 (ko) | 메신저와 로봇 연동 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |