KR101376292B1 - 통화 중 감정 분석 서비스 제공 방법 및 장치 - Google Patents
통화 중 감정 분석 서비스 제공 방법 및 장치 Download PDFInfo
- Publication number
- KR101376292B1 KR101376292B1 KR1020120045519A KR20120045519A KR101376292B1 KR 101376292 B1 KR101376292 B1 KR 101376292B1 KR 1020120045519 A KR1020120045519 A KR 1020120045519A KR 20120045519 A KR20120045519 A KR 20120045519A KR 101376292 B1 KR101376292 B1 KR 101376292B1
- Authority
- KR
- South Korea
- Prior art keywords
- terminal
- emotion
- emotion analysis
- analysis result
- display content
- Prior art date
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 577
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000000926 separation method Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 23
- 230000002996 emotional effect Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/50—Business processes related to the communications industry
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
- H04W88/18—Service support devices; Network management devices
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Telephonic Communication Services (AREA)
Abstract
본 발명은 상대방 단말과 통화 중인 사용자 단말에서 상대방 단말로부터의 감정분석결과를 이용하여 통화 중 감정분석을 표시하는 실시간 양방향 감정분석서비스 제공 방법 및 장치에 관한 것으로, 통화 중 감정분석 서비스 제공 방법은, 통화를 수행하는 제1 단말과 제2 단말 간의 통화 중 감정 분석 서비스 제공 방법으로서, 제1 단말이 통화를 수행하는 상대방 단말인 제2 단말 측으로 감정 분석 요청 신호를 전송하는 제1 단계-여기에서, 제2 단말은 감정 분석 요청 신호에 상응하여 제2 단말 사용자의 음성 또는 영상 신호를 입력으로 감정 분석을 수행하여 감정 분석 결과 데이터를 생성함-와, 제1 단말이 제2 단말로부터 감정 분석 결과 데이터를 수신하는 제2 단계와, 제1 단말이 감정 분석 결과 데이터에 기초하여 감정 분석 결과를 표시하는 제3 단계를 포함한다.
Description
본 발명은 통화 중 감정분석서비스 제공 방법 및 장치에 관한 것으로, 보다 상세하게는, 상대방 단말과 통화 중인 사용자 단말에서 상대방 단말로부터의 감정분석결과를 이용하여 통화 중 감정분석을 표시하는 실시간 양방향 감정분석서비스 제공 방법 및 장치에 관한 것이다.
종래의 통화 중 감정 분석 기술은 통화 중인 상대방의 감정 분석을 원하는 쪽에서 상대방 단말로부터 수신되는 음성 신호를 사용자 단말에서 분석하거나 별도의 서비스 제공 서버를 통해 감정 분석 결과를 받아 이용하도록 이루어진다. 이러한 종래 기술의 일례가 대한민국 공개특허공보 제10-2006-0087270호에 개시되어 있다.
따라서, 종래의 통화 중 감정 분석 기술은 사용자 단말에 탑재된 분석 엔진 입장에서 볼 때 사용자 음성, 사용자 주변 음성 및 통화로를 통해 전송되는 상대방 음성 등의 서로 다른 다수의 음성이 분석 엔진의 입력으로 작용하므로 통계적 데이터를 확보하는 데 상대적으로 오랜 시간이 소요되는 문제점이 있고, 아울러, 서로 다른 다수의 음성 입력으로 인해 감정 분석 결과의 신뢰도가 낮은 단점이 있다.
또한, 감정 분석 결과를 표현함에 있어 사용자 단말에 미리 저장된 이미지 등의 콘텐츠를 사용하여 표시하는 경우가 대부분인데, 그 경우, 한정된 콘텐츠를 사용할 수밖에 없어 감정 분석 결과의 표현에 대한 다양성이 제한되거나 개성 있는 콘텐츠 표시에 한계가 있는 단점이 있다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위하여 도출된 것으로, 본 발명의 목적은 통화 중인 상대방에 대한 감정 분석을 상대방 단말에서 수행하도록 하고 상대방 단말로부터의 감정 분석 결과를 이용하여 사용자 단말에서 감정 분석을 표시하도록 함으로써, 상대적으로 신속하고 정확한 감정 분석 결과를 제공할 수 있는 통화 중 감정분석서비스 제공 방법 및 장치를 제공하는 것이다.
또한, 본 발명의 목적은, 상대방 단말에서의 감정 분석 결과를 이용할 뿐만 아니라 감정 분석 결과를 표시하기 위한 감정 표시 콘텐츠를 감정 표시 콘텐츠 서버로부터 다운로드 하여 표시하도록 함으로써, 보다 신뢰성 있는 감정 분석 결과를 제공하면서 다양하고 개성 있는 콘텐츠로 감정 표현을 할 수 있는 통화 중 감정분석서비스 제공 방법 및 장치를 제공하는 것이다.
상기 기술적 과제를 해결하기 위하여 본 발명의 일 측면에 따른 통화 중 감정 분석 서비스 제공 방법은, 통화를 수행하는 제1 단말과 제2 단말 간의 통화 중 감정 분석 서비스 제공 방법에 있어서, 제1 단말이 통화를 수행하는 상대방 단말인 제2 단말 측으로 감정 분석 요청 신호를 전송하는 제1 단계-여기에서, 제2 단말은 감정 분석 요청 신호에 상응하여 제2 단말 사용자의 음성 또는 영상 신호를 입력으로 감정 분석을 수행하여 감정 분석 결과 데이터를 생성함-; 제1 단말이 제2 단말로부터 상기 생성된 감정 분석 결과 데이터를 수신하는 제2 단계; 및 제1 단말이 상기 수신한 감정 분석 결과 데이터에 기초하여 감정 분석 결과를 표시하는 제3 단계를 포함한다.
일 실시예에서, 통화 중 감정 분석 서비스 제공 방법은, 제3 단계에서 감정 분석 결과를 표시하기 전에, 제1 단말이, 감정 분석 결과 데이터에 상응하는 감정 표시 콘텐츠가 콘텐츠 저장부에 저장되어 있는지 확인하는 단계; 감정 표시 콘텐츠가 콘텐츠 저장부에 저장되어 있지 않으면, 네트워크를 통해 연결되는 감정 표시 콘텐츠 서버에 감정 표시 콘텐츠를 요청하는 단계; 및 감정 표시 콘텐츠 서버로부터 상기 요청한 감정 표시 콘텐츠를 다운로드 받는 단계를 더 포함한다.
일 실시예에서, 통화 중 감정 분석 서비스 제공 방법은, 제1 단말이 통화를 수행하는 상대방 단말인 제2 단말로부터 감정 분석 요청 신호를 수신하는 제4 단계; 제1 단말이 제2 단말로부터 수신한 감정 분석 요청 신호에 응하여 제1 단말 사용자의 음성 또는 영상 신호를 입력으로 감정 분석을 수행하고 감정 분석 결과 데이터를 생성하는 제5 단계; 및 제1 단말이 제5 단계에서 생성된 감정 분석 결과 데이터를 제2 단말로 전송하는 제6 단계를 더 포함하되, 제2 단말은 제1 단말로부터 수신한 감정 분석 결과 데이터에 기초하여 제1 단말 사용자에 대한 감정 분석 결과를 표시한다.
본 발명의 다른 일 측면에 따른 통화 중 감정 분석 서비스 제공 방법은, 통화를 수행하는 제1 단말과 제2 단말 간의 통화 중 감정 분석 서비스 제공 방법에 있어서, 제2 단말이 통화를 수행하는 상대방 단말인 제1 단말로부터 감정 분석 요청 신호를 수신하는 제1 단계; 제2 단말이 상기 수신한 감정 분석 요청 신호에 응하여 감정 분석을 수행하고 감정 분석 결과 데이터를 생성하는 제2 단계; 제2 단말이 상기 생성된 감정 분석 결과 데이터를 제1 단말로 전송하는 제3 단계를 포함하되, 여기에서 제1 단말은 상기 수신한 감정 분석 결과 데이터에 기초하여 감정 분석 결과를 표시한다.
일 실시예에서, 통화 중 감정 분석 서비스 제공 방법은, 제1 단말이 감정 분석 결과를 표시하기 전에, 제1 단말이, 감정 분석 결과 데이터에 상응하는 감정 표시 콘텐츠가 콘텐츠 저장부에 저장되어 있는지 확인하고, 감정 표시 콘텐츠가 콘텐츠 저장부에 저장되어 있지 않으면, 네트워크를 통해 연결되는 감정 표시 콘텐츠 서버에 감정 표시 콘텐츠를 요청하고, 감정 표시 콘텐츠 서버로부터 상기 요청한 감정 표시 콘텐츠를 다운로드 받는다.
일 실시예에서, 통화 중 감정 분석 서비스 제공 방법은, 제2 단말이 감정 분석 결과 데이터에 기초하여 감정 분석 결과를 제2 단말에 표시하는 단계를 더 포함한다. 그 경우, 통화 중 감정 분석 서비스 제공 방법은, 제2 단말이 감정 분석 결과를 표시하기 전에, 제2 단말이, 감정 분석 결과 데이터에 상응하는 감정 표시 콘텐츠가 콘텐츠 저장부에 저장되어 있는지 확인하고, 감정 표시 콘텐츠가 콘텐츠 저장부에 저장되어 있지 않으면, 네트워크를 통해 연결되는 감정 표시 콘텐츠 서버에 감정 표시 콘텐츠를 요청하고, 감정 표시 콘텐츠 서버로부터 상기 요청한 감정 표시 콘텐츠를 다운로드 받는다.
본 발명의 일 측면에 따른 통화 중 감정 분석 서비스 제공 장치는, 제1 단말과 제2 단말 사이에서 통화 수행시 제1 단말에 구비되는 통화 중 감정 분석 서비스 제공 장치로서, 통화를 수행하는 상대방 단말인 제2 단말 측으로 감정 분석 요청 신호를 전송하는 감정 분석 제어부; 제2 단말로부터 감정 분석 결과 데이터를 수신하는 감정 분석 결과 수신부; 및 감정 분석 결과 데이터에 기초하여 감정 분석 결과를 표시하는 감정 분석 표시부를 구비하되, 여기에서, 제2 단말이 제1 단말의 감정 분석 요청 신호에 응하여 제2 단말 사용자의 감정 분석을 수행하고 감정 분석 결과 데이터를 생성한다.
일 실시예에서, 통화 중 감정 분석 서비스 제공 장치를 포함하는 제1 단말은, 감정 분석 결과 데이터에 상응하는 감정 표시 콘텐츠를 저장하는 감정 표시 콘텐츠 관리부를 더 구비하되, 여기에서, 감정 표시 콘텐츠 관리부는, 감정 분석 결과 데이터에 상응하는 감정 표시 콘텐츠가 제1 단말 내에 저장되어 있지 않을 때, 네트워크를 통해 연결되는 감정 표시 콘텐츠 서버에 감정 표시 콘텐츠를 요청하고 감정 표시 콘텐츠 서버로부터 감정 표시 콘텐츠를 다운로드 받는다.
일 실시예에서, 통화 중 감정 분석 서비스 제공 장치를 포함하는 제1 단말은, 음성 신호 분리부, 감정 분석 엔진, 및 감정 분석 결과 송신부를 더 구비한다. 여기에서, 감정 분석 제어부는 통화를 수행하는 상대방 단말인 제2 단말 측으로부터 감정 분석 요청 신호를 수신하고, 음성 신호 분리부는 감정 분석 제어부의 요청에 따라 제1 단말 사용자의 음성 신호를 분리하며, 감정 분석 엔진은 음성 신호 분리부에서 분리된 음성 신호에 기초하여 감정 분석을 수행하고 감정 분석 결과 데이터를 생성하며, 감정 분석 결과 송신부는 감정 분석 제어부의 제어에 따라 감정 분석 엔진으로부터의 감정 분석 결과 데이터를 제2 단말로 전송한다.
본 발명의 또 다른 일 측면에 따른 통화 중 감정 분석 서비스 제공 장치는, 제1 단말과 제2 단말 사이에서 통화 수행시 제2 단말에 구비되는 통화 중 감정 분석 서비스 제공 장치로서, 통화를 수행하는 상대방 단말인 제1 단말 측으로부터 감정 분석 요청 신호를 수신하는 감정 분석 제어부; 감정 분석 제어부의 요청에 따라 제2 단말 사용자의 음성 신호를 분리하는 음성 신호 분리부; 음성 신호 분리부에서 분리된 음성 신호에 기초하여 감정 분석을 수행하고 감정 분석 결과 데이터를 생성하는 감정 분석 엔진; 및 감정 분석 제어부의 제어에 따라 감정 분석 엔진으로부터의 감정 분석 결과 데이터를 제1 단말로 전송하는 감정 분석 결과 송신부를 구비하되, 여기에서, 제1 단말은 제2 단말로부터 수신한 감정 분석 결과 데이터에 기초하여 감정 분석 결과를 표시한다.
일 실시예에서, 통화 중 감정 분석 서비스 제공 장치를 개별적으로 포함하는 제1 단말, 제2 단말 또는 이들 모두는, 감정 분석 결과 데이터에 상응하는 감정 표시 콘텐츠를 콘텐츠 저장부에 저장하고 감정 분석 표시부에 제공하는 감정 표시 콘텐츠 관리부를 구비하되, 여기에서, 감정 표시 콘텐츠 관리부는, 감정 분석 결과 데이터에 상응하는 감정 표시 콘텐츠가 콘텐츠 저장부에 저장되어 있는지 확인하고, 감정 표시 콘텐츠가 콘텐츠 저장부에 저장되어 있지 않으면, 네트워크를 통해 연결되는 감정 표시 콘텐츠 서버에 감정 표시 콘텐츠를 요청하고, 감정 표시 콘텐츠 서버로부터 감정 표시 콘텐츠를 다운로드 받는다.
일 실시예에서, 통화 중 감정 분석 서비스 제공 장치를 구비하는 제2 단말은, 감정 분석 결과 데이터에 기초하여 감정 분석 결과를 표시하는 감정 분석 표시부를 더 구비한다.
본 발명에 의하면, 상대방의 감정 분석을 상대방 단말에서 수행하도록 하고 상대방 단말로부터의 감정 분석 결과를 이용하여 사용자 단말에서 상대방 단말 사용자의 감정 분석 결과에 따른 콘텐츠를 표시하도록 함으로써, 상대적으로 신속하고 정확한 감정 분석 결과를 제공할 수 있는 양방향으로 통화 중 실시간 감정분석서비스 제공 방법 및 장치를 제공할 수 있다. 다시 말해서, 본 발명에 의하면, 감정분석을 원하는 사용자 단말 측에서 상대방 단말 측으로부터 수신된 음성 신호를 이용하여 상대방의 감정 분석을 수행하는 것이 아니라 상대방 단말 즉, 상대방 단말 사용자의 음성 신호가 입력되는 상대방 단말 측에서 감정 분석을 직접 수행하고 그 결과를 사용자 단말로 전송하도록 함으로써, 감정 분석 엔진 측면에서 한 사람의 음성(상대방 단말 사용자의 음성)을 지속적으로 분석할 수 있고, 그것에 의해 종래에 비해 상대적으로 신속하게 통계적 데이터를 수집할 수 있으며, 따라서 종래보다 신뢰성 있는 감정 분석 결과를 제공할 수 있는 통화 중 감정 분석 서비스 제공 방법 및 장치를 제공할 수 있다.
또한, 본 발명에 의하면, 통화 중인 상대방의 감정 분석 결과를 상대방 단말로부터 수신하여 사용자 단말에 표시함에 있어 사용자 단말이 감정 표시 콘텐츠 서버로부터 실시간 감정 표시 콘텐츠를 수신하여 표시할 수 있도록 함으로써, 사용자 단말에서는 신뢰성 있는 감정 분석 결과의 획득과 함께 다양하고 개성 있는 감정 표시 콘텐츠를 사용하여 상대방의 감정 상태를 통화 중 실시간으로 표시할 수 있는 통화 중 감정 분석 서비스 제공 방법 및 장치를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 통화 중 감정 분석 서비스 제공 방법을 채용할 수 있는 통화 중 감정 분석 서비스 제공 시스템의 개략적인 구성도이다.
도 2는 본 발명의 일 실시예에 따른 통화 중 감정 분석 서비스 제공 방법에 대한 개략적인 흐름도이다.
도 3은 도 2의 방법을 채용할 수 있는 통화 중 감정 분석 서비스 제공 장치의 일 실시예에 대한 개략적인 구성도이다.
도 4는 본 발명의 다른 일 실시예에 따른 통화 중 감정 분석 서비스 제공 방법에 대한 개략적인 흐름도이다.
도 5는 본 발명의 또 다른 일 실시예에 따른 통화 중 감정 분석 서비스 제공 방법에 대한 개략적인 흐름도이다.
도 6은 도 4 및 도 5의 방법을 채용할 수 있는 통화 중 감정 분석 서비스 제공 장치의 일 실시예에 대한 개략적인 구성도이다.
도 7은 본 발명에 따른 통화 중 감정 분석 서비스 제공 장치를 구비하는 사용자 단말의 동작 과정의 일 실시예를 설명하기 위한 도면이다.
도 8은 본 발명에 따른 통화 중 감정 분석 서비스 제공 장치를 구비하는 사용자 단말의 동작 과정의 또 다른 일 실시예를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 통화 중 감정 분석 서비스 제공 방법에 대한 개략적인 흐름도이다.
도 3은 도 2의 방법을 채용할 수 있는 통화 중 감정 분석 서비스 제공 장치의 일 실시예에 대한 개략적인 구성도이다.
도 4는 본 발명의 다른 일 실시예에 따른 통화 중 감정 분석 서비스 제공 방법에 대한 개략적인 흐름도이다.
도 5는 본 발명의 또 다른 일 실시예에 따른 통화 중 감정 분석 서비스 제공 방법에 대한 개략적인 흐름도이다.
도 6은 도 4 및 도 5의 방법을 채용할 수 있는 통화 중 감정 분석 서비스 제공 장치의 일 실시예에 대한 개략적인 구성도이다.
도 7은 본 발명에 따른 통화 중 감정 분석 서비스 제공 장치를 구비하는 사용자 단말의 동작 과정의 일 실시예를 설명하기 위한 도면이다.
도 8은 본 발명에 따른 통화 중 감정 분석 서비스 제공 장치를 구비하는 사용자 단말의 동작 과정의 또 다른 일 실시예를 설명하기 위한 도면이다.
이하, 첨부 도면을 참조하여 본 발명에 의한 실시예를 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 통화 중 감정 분석 서비스 제공 방법을 채용할 수 있는 통화 중 감정 분석 서비스 제공 시스템의 개략적인 구성도이다.
도 1을 참조하면, 본 실시예에 따른 감정 분석 서비스 제공 시스템은 기존의 통신 네트워크를 통해 서로 연결되는 제1 단말(10), 제2 단말(20) 및 서버(30)를 구비한다.
기존의 통신 네트워크는 유선전화망, 이동전화망, VoIP망 등의 유무선 통신망을 포함한다. 또한, 기존의 통신 네트워크는 유선전화망, 이동전화망, VoIP망 등의 유무선 전화망에 연결되는 인터넷 등의 데이터 통신망을 포함한다. 데이터 통신망은 제1 단말(10)과 제2 단말(20) 간에 상호 제어 및 정보 전달이 가능하도록 통신 채널을 제공할 수 있는 네트워크로서 회선교환망, 패킷교환망 등을 포함한다.
제1 단말(10)은 본 발명에 따른 감정 분석 서비스를 구현하는 사용자 단말이다. 즉, 제1 단말(10)은 감정 분석 서비스를 수행하는 감정 분석 서비스 제공 장치를 구비하는 사용자 단말에 대응된다. 그리고, 제1 단말(10)은 제2 단말(20)과 음성 통화 또는 영상 통화를 위한 통화로가 연결되는 발신 단말 또는 착신 단말에 대응될 수 있다. 또한, 제1 단말(10)은 제2 단말(20)의 사용자에 대한 감정 분석을 제2 단말(20)에 요청하는 사용자 단말 측에 대응하거나, 제2 단말(20)의 상대방 단말로서 제2 단말(20)로부터 감정 분석 요청 신호를 수신하는 상대방 단말 측에 대응될 수 있다. 단, 이하의 설명에서는 설명의 편의상, 제1 단말(10)이 상대방 단말인 제2 단말(20)의 사용자에 대한 감정 분석을 제2 단말(20)에 요청하는 사용자 단말 측에 대응되는 것으로 가정한다.
제2 단말(20)은 본 발명에 따른 감정 분석 서비스를 구현하는 또 다른 사용자 단말이다. 즉, 제2 단말(20)은 감정 분석 서비스를 수행하는 감정 분석 서비스 제공 장치를 구비하는 또 다른 사용자 단말에 대응된다. 그리고, 제2 단말(20)은 제1 단말(10)에 대하여 착신 단말 또는 발신 단말일 수 있다. 또한, 제2 단말(20)은 제1 단말(10)의 사용자에 대한 감정 분석을 제1 단말(10)에 요청하는 사용자 단말 측에 대응하거나, 제1 단말(20)의 상대방 단말로서 제1 단말(20)로부터 감정 분석 요청 신호를 수신하는 상대방 단말 측에 대응될 수 있다. 단, 이하의 설명에서는 설명의 편의상 제2 단말(20)을 제1 단말(10) 측으로부터 감정 분석 요청 신호를 수신하고 수신한 감정 분석 요청 신호에 응하여 제2 단말 사용자의 감정 분석을 수행하고 감정 분석 결과를 제1 단말(10)로 전송하는 상대방 단말(제1 단말의 상대방 단말) 측에 대응되는 것으로 가정한다.
전술한 제1 단말(10) 및 제2 단말(20)은 이하에서 설명하는 본 발명의 감정 분석 프로세스를 처리할 수 있는 감정 분석 프로그램이나 어플리케이션을 설치할 수 있는 스마트 단말인 것이 바람직하나, 본 발명은 그러한 구성으로 한정되지 않고, 상기 감정 분석 프로그램이나 감정 분석 어플리케이션을 설치할 수 있는 사용자 단말기라면 유선 전화기, 이동 전화기, VoIP 전화기 등의 유무선 사용자 단말기를 포함할 수 있다. 여기에서, 스마트 단말은 애플사의 아이폰 등의 스마트폰으로 대표되는 이동 단말기를 포함하며, 유무선 사용자 단말기는 유무선 통신 네트워크를 통해 음성 통화나 영상 통화를 수행하고 데이터 통신망을 통해 데이터를 송수신할 수 있는 모든 단말기를 지칭한다. 데이터 통신망을 통해 송수신 되는 데이터는 감정 분석 요청 신호 등의 감정 분석 제어 신호와 감정 분석 요청 신호에 대응하는 감정 분석 결과 데이터를 포함한다.
서버(30)는 선택가능한 또는 생략가능한 구성요소로서 감정분석 결과 표시에 사용되는 이미지, 동영상 등의 콘텐츠를 저장 및 관리한다. 감정 분석 결과에 따른 감정 표시 콘텐츠를 제1 단말(10) 또는 제2 단말(20)에 제공하기 위한 것이다. 본 실시예의 서버(30)는 미리 정해진 감정 분석 결과에 대응하는 다양한 종류와 형태의 감정 표시 콘텐츠를 저장하고, 제1 단말(10) 또는 제2 단말(20)의 요청에 따라 제1 단말(10) 또는 제2 단말(20)에 감정 표시 콘텐츠를 제공하며, 이하의 설명에서 언급되는 감정 표시 콘텐츠 서버에 대응한다.
본 실시예에 따른 감정 분석 서비스 제공 시스템은 제2 단말 사용자에 대한 제1 단말(10)에서의 감정 분석 요청 신호에 응하여 제2 단말(20)이 제2 단말 사용자에 대한 감정 분석을 수행한 후 감정 분석 결과를 생성하고, 제1 단말(10)이 제2 단말(20)로부터의 감정 분석 결과에 기초하여 제2 단말 사용자에 대한 감정 상태를 제1 단말(10) 상에 표시하도록 동작한다.
본 실시예에서 언급한 감정 분석 서비스 제공 과정에 대하여 제1 단말(10)을 중심으로 그리고 제2 단말(20)을 중심으로 좀더 상세히 설명하기로 한다.
도 2는 도 1의 시스템에 채용가능한 통화 중 감정 분석 서비스 제공 방법의 일 실시예에 대한 개략적인 흐름도이다.
본 실시예에 따른 통화 중 감정 분석 서비스 제공 방법은, 호 설정(S21)에 의해 통화로가 연결(S22)된 후 서로 통화를 수행하는 제1 단말(10)과 제2 단말(20) 간의 통화 중(S23), 제1 단말(10)의 상대방 단말인 제2 단말(20)에 제2 단말 사용자에 대한 감정 분석을 요청하는 제1 단말(10)의 입장에서 설명된다.
도 2를 참조하면, 본 실시예에 따른 통화 중 감정 분석 서비스 제공 방법은, 우선 제1 단말(10)이 통화를 수행하는 상대방 단말인 제2 단말(20) 측으로 감정 분석 요청 신호를 전송한다(S24). 여기에서, 제2 단말(20)은 제1 단말(10)로부터의 감정 분석 요청 신호에 응하여 제2 단말 사용자의 감정 분석을 수행하고(S25), 수행한 감정 분석 결과에 따라 감정 분석 결과 데이터를 생성한다(S26).
다음, 제1 단말(10)은 제2 단말(20)로부터 감정 분석 결과 데이터를 수신한다(S27). 그 다음에, 제1 단말(10)은 제2 단말(20)로부터 수신한 감정 분석 결과 데이터에 기초하여 감정 분석 결과를 표시한다(S28).
본 실시예에 의하면, 제1 단말(10)에서는 통화를 수행하는 상대방 단말인 제2 단말(20)의 사용자에 대한 감정 분석을 제2 단말(20)에 요청하여 제2 단말(20)로부터 통화 상대방(제2 단말 사용자)에 대한 감정 분석 결과 데이터를 받고, 이 감정 분석 결과 데이터에 기초하여 상대방의 감정 상태를 표시할 수 있다. 따라서, 제1 단말(10)에서는 상대방의 음성 분석에 기초한 감정 분석시 상대방이 사용하고 있는 제2 단말(20)에서 직접 감정 분석을 수행하도록 함으로써 외부의 다른 음성 입력이나 잡음의 영향을 최소화하여 상대방 음성 입력에 기초한 통계적 데이터를 빠르게 수집할 수 있고, 그것에 의해 실질적으로 신속하고 정확도가 향상된 감정 분석 결과를 제공할 수 있다. 또한, 제1 단말(10)에서는 소정의 감정 표시 콘텐츠에 대응하도록 미리 정해진 감정 분석 결과를 포함하는 데이터(감정 분석 결과 데이터)를 제2 단말(20)로부터 받고, 받은 감정 분석 결과 데이터에 따른 콘텐츠(감정 표시 콘텐츠)를 표시하도록 구성되므로, 통화 중 상대방의 감정 상태를 매우 효과적으로 표시할 수 있게 된다.
도 3은 도 2의 방법을 채용할 수 있는 통화 중 감정 분석 서비스 제공 장치의 일 실시예에 대한 개략적인 구성도이다.
도 3을 참조하면, 본 실시예에 따른 통화 중 감정 분석 서비스 제공 장치는 통화 중 감정 분석을 요청하는 측에 속한 감정 분석 서비스 제공 장치와 통화 중 감정 분석 요청을 받는 측에 속한 감정 분석 서비스 제공 장치로 구분할 수 있다. 본 실시예에서 통화 중 감정 분석을 요청하는 측은 제1 단말(10)이며, 통화 중 감정 분석 요청을 받는 측은 제2 단말(20)이다.
우선, 통화 중 감정 분석을 요청하는 측으로서 감정 분석 서비스 제공 장치를 구비하는 제1 단말(10)은, 감정분석 제어부(11), 감정분석결과 수신부(15), 감정분석 표시부(16) 및 호 처리부(18)를 구비한다.
감정분석 제어부(11)는 제1 단말(10)이 제2 단말(20)과 유무선 통신망을 통해 통화를 수행하는 동안 데이터 통신망을 통해 상대방 단말인 제2 단말(20) 측으로 감정 분석 요청 신호를 전송한다. 감정분석 제어부(11)는 감정 분석 서비스 제공 장치의 각 구성부를 제어하고, 통화 중 상대방 단말(제2 단말)의 감정분석 제어부(21)와 연동한다.
감정분석결과 수신부(15)는 통화 중 데이터 통신망을 통해 감정분석 제어부(11)가 요청한 감정 분석 요청 신호에 대응하는 감정 분석 결과 데이터를 제2 단말(20)로부터 수신한다.
감정분석 표시부(16)는 제2 단말(20)로부터 수신한 감정 분석 결과 데이터에 기초하여 감정 분석 결과를 표시한다. 감정 분석 결과의 표시는 기본적으로 제1 단말(10)에 탑재되거나 연결된 디스플레이 장치의 화면에 감정 분석 결과 데이터에 대응하도록 미리 정해진 감정 표시 콘텐츠를 표시하는 것을 지칭하지만, 본 발명은 그러한 구성으로 한정되지 않고, 소정의 효과음 등을 미리 정해진 감정 분석 항목의 레벨이나 지수 등에 따라 스피커를 통해 출력하는 것도 포함할 수 있다. 그 경우, 효과음의 출력은 음성 통화나 영상 통화를 크게 방해하지 않는 범위 내에서 적절히 설정되는 것이 바람직하다.
호 처리부(18)는 유선전화망, 이동전화망, VoIP망 등의 유무선 통신망을 통해 제1 단말(10)이 제2 단말(20)과 음성 통화 또는 영상 통화를 수행하기 위한 호 설정을 처리하고 통화로를 연결하도록 기능한다. 호 설정을 위해 호 처리부(18)는 유무선 통신망 내의 통신 설비를 통해 제2 단말(20)의 호 처리부(28)와 미리 정해진 프로토콜로 통신할 수 있다.
한편, 통화 중 감정 분석 요청을 받는 측으로서 감정 분석 서비스 제공 장치를 구비하는 제2 단말(20)은, 감정분석 제어부(21), 음성신호 분리부(22), 감정 분석 엔진(23), 감정분석결과 송신부(24) 및 호 처리부(28)를 구비한다.
감정분석 제어부(21)는 제2 단말(20)이 제1 단말(10)과 유무선 통신망을 통해 통화를 수행하는 동안 데이터 통신망을 통해 상대방 단말인 제1 단말(10) 측으로 감정 분석 요청 신호를 수신한다.
음성신호 분리부(22)는 감정분석 제어부(21)의 요청에 따라 제2 단말 사용자의 음성 신호를 지속적으로 분리 또는 추출하고, 추출한 음성 신호를 감정 분석 엔진(23)으로 전달한다. 본 실시예에서 음성신호 분리부(22)는 제2 단말(20)의 마이크에서의 입력으로부터 제2 단말 사용자의 음성 신호를 효과적으로 분리한다. 즉, 음성신호 분리부(22)가 제2 단말(20)의 마이크에 가장 가까운 위치에서 입력되는 제2 단말 사용자의 음성 신호를 쉽게 선택하거나 추출하여 분리할 수 있음은 당연하다.
감정 분석 엔진(23)은 음성신호 분리부(22)에서 분리된 음성 신호에 기초하여 감정 분석을 수행하고 감정 분석 결과를 주기적으로 감정분석 제어부(21)에 보고한다. 일 실시예에서, 감정 분석 엔진(23)은 통화 중 제2 단말(20)의 마이크에 입력되는 제2 단말 사용자의 말을 음성 스트리밍 데이터로 획득하는 입력부, 이 입력부로부터의 음성 스트리밍 데이터를 제2 단말(20)의 데이터베이스(또는 소정의 저장부)에 기저장된 음성분석 정보테이블에 기초하여 분석하는 음성 분석부, 및 음성 분석부로부터의 분석 결과를 미리 정해진 형태의 감정 분석 결과 데이터로 생성하는 출력부를 구비하도록 구성될 수 있다. 이러한 구성에 의하면, 감정 분석 엔진(23)은 음성 스트리밍 데이터로 앞서 언급된 음성 신호를 입력으로 신호의 세기 또는 에너지(Energy), 템포(Tempo), 소리의 높낮이/음색/피치(Pitch), 거침/엄격함(Harshnes) 등을 기반으로 감정을 분석하고 이를 종합하여 감정 분석을 수행할 수 있다. 이러한 감정 분석 엔진(23)은 기존의 다양한 음성 분석 기법 중 적어도 어느 하나로 음성 분석을 수행하는 음성 분석 엔진을 이용하여 구현될 수 있다.
감정분석결과 송신부(24)는 감정분석 제어부(21)의 제어에 따라 감정 분석 엔진(23)으로부터의 일정 분량의 감정 분석 결과 데이터를 주기적으로 제1 단말(10)로 전송한다.
본 실시예에서, 전술한 감정분석결과 수신부(15)와 감정분석결과 송신부(24)는 제1 단말(10)과 제2 단말(20) 간에 감정 분석 결과 데이터를 송신하고 수신하기 위한 것으로서, 제1 단말(10)이 통화 중 감정 분석 요청을 받는 측이 되고, 제2 단말(20)이 통화 중 감정 분석을 요청하는 측이 되는 경우, 그 역할이 뒤바뀔 수 있다. 이처럼, 본 실시예의 감정분석결과 수신부(15)와 감정분석결과 송신부(24)는 동일한 구성의 감정분석결과 송수신부에 대응할 수 있다.
호 처리부(28)는 제2 단말(20)이 제1 단말(10)과 음성 통화 또는 영상 통화를 수행하기 위한 호 설정을 처리한다. 호 설정을 위해 호 처리부(28)는 유무선 통신망 내의 통신 설비를 통해 제1 단말(10)의 호 처리부(18)와 미리 정해진 프로토콜로 통신하고 통화로를 개설할 수 있다.
한편, 전술한 실시예에 있어서, 감정 분석 결과에 따른 콘텐츠를 표시할 때, 제1 단말(10)은 기본적으로 제1 단말(10)의 콘텐츠 저장부에 저장되어 있는 감정 표시 콘텐츠를 이용하여 표시하게 되는데, 본 발명은 그러한 구성으로 한정되지 않고, 네트워크를 통해 외부 서버(30)에서 해당 감정 표시 콘텐츠를 다운로드 받아 이용할 수 있다.
도 4는 본 발명의 다른 일 실시예에 따른 통화 중 감정 분석 서비스 제공 방법에 대한 개략적인 흐름도이다.
도 4를 참조하면, 본 실시예에 따른 통화 중 감정 분석 서비스 제공 방법에 있어서, 우선 도 2의 대응 부분과 유사하게 호 설정(S21)에 의해 제1 단말(10)과 제2 단말(20) 간에 통화로가 연결(S22)된 후 제1 단말(10)과 제2 단말(20) 간의 통화 도중(S23), 제1 단말(10)은 상대방 단말인 제2 단말(20)에 제2 단말 사용자에 대한 감정 분석을 요청하고(S24), 제1 단말(10)의 감정 분석 요청 신호에 따라 제2 단말(20)에서 감정 분석 결과로 생성된 제2 단말 사용자에 대한 감정 분석 결과 데이터를 제2 단말(20)로부터 수신한다(S25, S26, S27).
다음, 제1 단말(10)은 제2 단말(20)로부터 수신한 감정 분석 결과에 따른 콘텐츠를 표시하기 전에 제1 단말(10)에 구비된 콘텐츠 저장부에 감정 분석 결과 데이터에 대응하는 콘텐츠가 저장되어 있는지 확인한다(S41).
상기 확인 결과, 감정 분석 결과 데이터에 상응하는 감정 표시 콘텐츠가 저장되어 있지 않으면, 제1 단말(10)은 데이터 통신망을 통해 연결되는 감정 표시 콘텐츠 서버(30)에 해당 감정 표시 콘텐츠를 요청한다(S42). 제1 단말(10)의 요청에 따라 감정 표시 콘텐츠 서버(30)는 서버 측의 별도의 콘텐츠 저장부 또는 데이터베이스에서 해당 감정 표시 콘텐츠를 추출하고(S43), 제1 단말(10)에서 상기 추출한 감정 표시 콘텐츠를 다운로드 받을 수 있도록 동작한다.
다음으로, 상기 확인 결과에서 감정 분석 결과 데이터에 상응하는 감정 표시 콘텐츠가 콘텐츠 저장부에 저장되어 있거나 서버(30)로부터 감정 표시 콘텐츠의 다운로드가 완료되어 해당 감정 표시 콘텐츠가 제1 단말(10)에 설치되면, 제1 단말(10)은 제2 단말(20)과의 통화 중에 제2 단말 사용자에 대한 감정분석결과 데이터에 따른 감정 표시 콘텐츠를 화면상에 표시한다.
한편, 본 실시예에 있어서, 제2 단말(20)은 제1 단말(10)로부터 제2 단말 사용자에 대한 감정 분석을 요청받고 감정 분석을 수행한 후 감정 분석 결과를 제1 단말(10)로 전송하도록 구성되지만, 본 발명은 그러한 구성으로 한정되지 않고, 제2 단말(20)도 감정 분석 결과 데이터에 기초하여 자신의 감정 상태를 표시하거나, 제1 단말(10)로 제1 단말 사용자에 대한 감정 분석 요청 신호를 전송하고 제1 단말(10)로부터의 감정 분석 결과 데이터에 기초하여 제1 단말 사용자의 감정 상태를 표시할 수 있다.
도 5는 본 발명의 또 다른 일 실시예에 따른 통화 중 감정 분석 서비스 제공 방법에 대한 개략적인 흐름도이다.
본 실시예에 따른 통화 중 감정 분석 서비스 제공 방법은, 호 설정(S21)에 의해 통화로가 연결(S22)된 후 제1 단말(10)과 제2 단말(20) 간의 통화 중(S23), 제2 단말(20)의 상대방 단말인 제1 단말(10)로부터 제2 단말 사용자에 대한 감정 분석을 요청받는 제2 단말(20)의 입장에서 설명된다.
도 5를 참조하면, 본 실시예에 따른 통화 중 감정 분석 서비스 제공 방법에 있어서, 우선 도 2의 대응 부분과 유사하게 호 설정(S21)에 의해 제1 단말(10)과 제2 단말(20) 간에 통화로가 연결(S22)된 후 제1 단말(10)과 제2 단말(20) 간의 통화 도중(S23), 제2 단말(20)은 상대방 단말인 제1 단말(10)로부터 제2 단말 사용자에 대한 감정 분석 요청 신호를 수신하고(S24), 제1 단말(10)의 감정 분석 요청 신호에 따라 제2 단말(20)에서 감정 분석 결과로 생성된 제2 단말 사용자에 대한 감정 분석 결과 데이터를 제1 단말(10)로 전송한다(S25, S26, S27). 제1 단말(10)은 제2 단말(20)로부터 수신한 감정 분석 결과 데이터에 따른 콘텐츠를 표시한다(S28).
한편, 제2 단말(20)은 제1 단말(10)로 전송한 감정 분석 결과 데이터에 따른 콘텐츠를 제2 단말에 표시할 수 있는데, 그 경우 제2 단말(20)은 먼저 제2 단말(20)에 구비된 콘텐츠 저장부에 감정 분석 결과 데이터에 대응하는 감정 표시 콘텐츠가 저장되어 있는지 확인한다(S51).
상기 확인 결과, 감정 분석 결과 데이터에 상응하는 감정 표시 콘텐츠가 저장되어 있지 않으면, 제2 단말(20)은 데이터 통신망 등의 네트워크를 통해 연결되는 감정 표시 콘텐츠 서버(30)에 해당 감정 표시 콘텐츠를 요청한다(S52). 제2 단말(20)의 요청에 따라 감정 표시 콘텐츠 서버(30)는 서버 측에 구비된 별도의 콘텐츠 저장부 또는 데이터베이스에서 해당 감정 표시 콘텐츠를 추출하고(S53), 추출한 감정 표시 콘텐츠를 제2 단말(20)에서 다운로드 받을 수 있도록 제2 단말(20)에 제공한다(S54).
다음으로, 상기 확인 결과에서 감정 분석 결과 데이터에 상응하는 감정 표시 콘텐츠가 콘텐츠 저장부에 저장되어 있거나 서버(30)로부터 감정 표시 콘텐츠의 다운로드가 완료되어 해당 감정 표시 콘텐츠가 제2 단말(20)에 설치되면, 제2 단말(20)은 제1 단말(10)과의 통화 중 제1 단말(10)에 자신의 감정 상태로 표시되는 동일한 감정 표시 콘텐츠를 제2 단말의 화면상에 표시한다.
전술한 바와 같이, 본 발명에 따른 실시예에서는 제1 단말(10)이 상대방 단말인 제2 단말(20)의 사용자에 대한 감정 분석을 제2 단말(20)에 요청하고, 제2 단말(20)이 제1 단말(10)로부터의 감정 분석 요청 신호에 응하여 제2 단말 사용자의 감정 분석을 수행하고 감정 분석 결과를 제1 단말(10)로 전송하도록 함으로써 통화 중 감정 분석 서비스를 효과적으로 제공할 수 있으며, 제2 단말(20)도 자신의 감정 분석 결과를 표시할 수 있도록 하고, 또한 제1 단말(10) 또는 제2 단말(20)이 서버(30)로부터 제2 단말 사용자의 감정 분석 결과에 따른 감정 표시 콘텐츠를 다운로드 받아 이용할 수 있도록 함으로써, 서버측에서 제공하는 개성 있고 다양한 콘텐츠로 감정 표시 콘텐츠를 표시할 수 있도록 한다.
도 6은 도 4 및 도 5의 방법을 채용할 수 있는 통화 중 감정 분석 서비스 제공 장치의 일 실시예에 대한 개략적인 구성도이다.
도 6을 참조하면, 본 실시예에 따른 통화 중 감정 분석 서비스 제공 장치는 통화 중 감정 분석을 요청하는 측에 속한 감정 분석 서비스 제공 장치와 통화 중 감정 분석의 요청을 받는 측에 속한 감정 분석 서비스 제공 장치를 포함한다. 본 실시예에서 제1 단말(10)은 전술한 실시예의 경우와 유사하게 통화 중 감정 분석을 요청하는 측에 대응하고, 제2 단말(20)은 통화 중 감정 분석의 요청을 받는 측에 대응한다.
한편, 전술한 제1 단말(10) 및 제2 단말(20)의 구성은 단지 일 실시예이며, 본 실시예의 통화 중 감정 분석 서비스 제공 장치에 있어서, 제1 단말(10)은 통화 중 감정 분석을 요청하는 측에 대응할 뿐만 아니라 통화 중 감정 분석 요청을 받는 측에 대응할 수 있고, 제2 단말(20)은 통화 중 감정 분석 요청을 받는 측에 대응할 뿐만 아니라 통화 중 감정 분석을 요청하는 측에 대응할 수 있다. 이 경우, 제1 단말(10)은 제2 단말(20)에 속한 구성요소 예컨대, 음성신호 분리부, 감정 분석 엔진 및 감정분석결과 송신부를 더 포함하며 제2 단말(20)의 각 구성요소의 기능을 추가로 수행하게 되고, 이와 유사하게 제2 단말(20)도 제1 단말(10)에 속한 구성요소 예컨대, 감정분석결과 수신부 및 감정분석 표시부를 더 포함하며 제1 단말(10)의 각 구성요소의 기능을 추가로 수행하게 된다.
또한, 본 실시예에 따른 통화 중 감정 분석 서비스 제공 장치가 각각 구비되는 제1 단말(10) 및 제2 단말(20)은, 감정 분석 결과 데이터에 상응하는 감정 표시 콘텐츠를 저장하는 감정 표시 콘텐츠 관리부(17; 27)를 각각 구비할 수 있다.
감정 표시 콘텐츠 관리부(17)는, 감정분석 표시부의 요청에 따라 감정 분석 결과 데이터에 상응하는 감정 표시 콘텐츠를 감정분석 표시부에 제공하도록 동작하는데, 해당 감정 표시 콘텐츠가 제1 단말(10) 내에 저장되어 있지 않을 때, 네트워크를 통해 연결되는 감정 표시 콘텐츠 서버(30)에 감정 표시 콘텐츠를 요청하고 감정 표시 콘텐츠 서버(30)로부터 감정 표시 콘텐츠를 다운로드 받는다. 이와 유사하게, 감정 표시 콘텐츠 관리부(27)는, 감정분석 표시부의 요청에 따라 감정 분석 결과 데이터에 상응하는 감정 표시 콘텐츠를 감정분석 표시부에 제공하도록 동작하는데, 해당 감정 표시 콘텐츠가 제2 단말(20) 내에 저장되어 있지 않을 때, 네트워크를 통해 연결되는 감정 표시 콘텐츠 서버(30)에 감정 표시 콘텐츠를 요청하고 감정 표시 콘텐츠 서버(30)로부터 감정 표시 콘텐츠를 다운로드 받는다.
본 실시예에서, 감정 표시 콘텐츠 서버(30)는 데이터 통신망을 통해 제1 단말(10) 또는 제2 단말(20)과 연결되며, 제1 단말(10) 또는 제2 단말(20)로부터 감정 표시 콘텐츠 요청 신호를 수신하고 적적한 콘텐츠를 선택하여 제1 단말(10) 또는 제2 단말(20)에 제공하는 콘텐츠 관리부(31)와 이 콘텐츠 관리부(31)에 연결되며 감정 표시 콘텐츠를 저장하는 콘텐츠 저장부(32)를 구비하도록 구성될 수 있다.
한편, 전술한 감정 표시 콘텐츠 관리부(17; 27)는 사용자 단말의 설정에 따라 통화 프로그램이나 어플리케이션 또는 감정 분석 프로그램이나 어플리케이션의 실행에 상관없이 감정 표시 콘텐츠 서버(30)에 저장된 감정 표시 콘텐츠를 임의의 시간에 일괄적으로 다운로드 받아 저장할 수 있다.
도 7은 본 발명에 따른 통화 중 감정 분석 서비스 제공 장치를 구비하는 사용자 단말의 동작 과정의 일 실시예를 설명하기 위한 도면이다.
도 7을 참조하면, 제1 단말(10)은 주소록을 표시하는 제1 화면(71)에서 특정 수신자(예컨대, 제이크)를 선택하여 영상통화를 발신한다. 영상통화 발신 중에 제1 단말(10)의 제2 화면(72)에는 제1 단말 사용자(예컨대, 제시카)의 얼굴이 큰 화면 또는 전체 화면에 표시되고 제1 단말의 주소록에 기저장된 수신자의 사진이 작은 화면(예컨대, 전체 화면 속의 창 형태의 작은 화면)에 표시될 수 있다.
호 설정에 의해 통화로가 연결되면, 제1 단말(10)의 제3 화면(73)에는 상대방(제이크)의 얼굴이 큰 화면 또는 전체 화면에 표시되고, 발신자(제시카)의 얼굴이 작은 화면에 표시될 수 있다. 통화 중에 제시카가 하단 메뉴 중 감정분석 메뉴(70)를 선택하면, 제1 단말(10)은 제이크의 감정 분석을 요청하는 감정 분석 요청 신호를 상대방 단말(제이크의 사용자 단말)로 전송하고, 상대방 단말로부터 감정 분석 결과 데이터를 수신한 후 감정 분석 결과 데이터에 따른 콘텐츠를 화면(73)에 표시한다. 예를 들면, 제3 화면(73)에는 감정 표시 콘텐츠로서 사랑지수의 하트 레벨 표시기와 그 레벨 값(%) 및 그에 따른 소정 개수의 하트 모양이 표시될 수 있다. 전술한 감정분석 메뉴(70)는 일례이며, 또 다른 일 실시예에서 영상통화의 설정 메뉴에서 감정 분석 서비스가 자동으로 수행되도록 설정할 수 있음은 당연하다.
영상통화가 종료되면, 제1 단말(10)의 제4 화면(74)에는 영상통화 중 수행된 상대방 단말 사용자에 대한 감정 분석 결과가 상세보기 형태로 표시될 수 있다. 예를 들면, 상대방의 이름, 통화일시, 사랑지수(감정 분석 항목들 중 하나), 및 사랑지수에 대한 상세 정보(예컨대, 집중지수, 당황지수, 기대지수 등)가 5단계 레벨로 구분되어 표시될 수 있다.
도 8은 본 발명에 따른 통화 중 감정 분석 서비스 제공 장치를 구비하는 사용자 단말의 동작 과정의 또 다른 일 실시예를 설명하기 위한 도면이다.
도 8을 참조하면, 제2 단말(20)은 제1 단말(10)로부터 영상 전화를 수신한다. 이때, 제2 단말(20)의 제1 화면(82)에는 제2 단말 사용자(예컨대, 제이크)의 얼굴이 큰 화면 또는 전체 화면으로 표시되고 제2 단말(20)의 주소록에 저장된 발신자(예컨대, 제시카)의 사진이 작은 화면(또는 전체 화면 속의 작은 화면)으로 표시될 수 있다.
호 설정에 의해 통화로가 연결되면, 제2 단말(20)의 제2 화면(83)에는 발신자 또는 상대방 단말 사용자(제시카)의 얼굴이 큰 화면 또는 전체 화면에 표시되고, 수신자 또는 제2 단말 사용자(제이크)의 얼굴이 작은 화면에 표시될 수 있다.
통화 중에 제1 단말 또는 상대방 단말로부터 제이크의 감정 분석 요청 신호가 수신되면, 제2 단말(20)은 상대방 단말인 제1 단말로부터의 감정 분석 요청 신호에 응하여 제2 단말 사용자(제이크)의 음성 신호에 기초한 감정 분석을 수행하고, 감정 분석 결과 데이터를 생성한 후 생성한 감정 분석 결과 데이터를 상대방 단말로 전송한다.
한편, 통화 중 제2 단말(20)에서 감정분석 메뉴(80)가 선택되면, 제2 단말(20)은 상대방 단말 사용자인 제시카의 감정 분석을 요청하는 감정 분석 요청 신호를 상대방 단말(제시카의 사용자 단말) 또는 제1 단말로 전송하고, 상대방 단말인 제1 단말로부터 감정 분석 결과 데이터를 수신한 후 감정 분석 결과 데이터에 따른 콘텐츠를 화면(83)에 표시한다. 예를 들면, 제2 화면(83)에는 감정 표시 콘텐츠로서 진실도(감정 분석 항목들 중 하나)의 별 레벨 표시기와 그 레벨 값(%) 및 그에 따른 아이콘(예컨대, 장난감 해머)가 상대방 얼굴의 이마 부분을 내려치듯이 표시될 수 있다.
또 한편으로, 통화 중에 제2 단말(20)에서 감정표시 메뉴(81)가 선택되면, 제2 단말(20)은 제2 단말 사용자인 자신의 감정 분석 결과에 따른 감정 표시 콘텐츠를 제2 단말(20) 상에 표시할 수 있다. 전술한 감정분석 메뉴(80)나 감정표시 메뉴(81)는 일례이며, 또 다른 일 실시예에서 영상통화의 설정 메뉴에서 감정 분석 서비스가 자동으로 수행되도록 설정될 때 상대방의 감정분석과 자신의 감정표시가 함께 표시되도록 설정할 수 있음은 당연하다.
영상통화가 종료되면, 제2 단말(20)에서 감정 분석 서비스를 수행한 경우, 제2 단말(20)의 제3 화면(84)에는 영상통화 중 수행된 상대방 단말 사용자(제시카)에 대한 감정 분석 결과가 상세보기 형태로 표시될 수 있다. 예를 들면, 상대방의 이름, 통화일시, 진실도(감정 분석 항목들 중 하나), 및 진실도에 대한 상세 정보(예컨대, 진실 횟수, 부정확 횟수, 대화회피 횟수, 흥분 스트레스 횟수, 판단 스트레스 횟수, 일반 스트레스 횟수 등)가 표시될 수 있다.
전술한 실시예에 의하면, 유선이나 무선 네트워크를 통한 음성 통화 또는 영상 통화 중에 상대방의 감정을 분석하고 그 결과를 사용자 단말에 표시할 수 있다. 또한, 사용자 단말이 통화 상대방의 감정 분석 결과를 감정 표시 콘텐츠 서버에서 제공하는 감정 표시 콘텐츠를 이용하여 표시함으로써, 감정 분석 결과를 활용한 다양한 엔터테인먼트 서비스 환경을 제공할 수 있다.
한편, 전술한 실시예에서는 통화 중 상대방 단말에서 상대방의 음성 신호를 분리하여 감정 분석을 수행하는 것을 중심으로 설명하였지만, 본 발명은 그러한 구성으로 한정되지 않고, 통화 중 상대방 단말에서 상대방의 영상 신호에서 감정 분석을 수행하는 것에 기초하여 감정 분석 서비스를 제공하는 것을 포함하고, 아울러 상대방의 음성 신호와 영상 신호 모두에 기초하여 상대방 단말에서 감정 분석을 수행하고 상대방 단말에서 수행한 감정 분석 결과를 이용하여 사용자 단말이 상대방에 대한 감정 상태를 자신의 단말에 표시하는 감정 분석 서비스를 제공하는 것을 포함할 수 있음은 당연하다. 영상 신호를 이용하여 감정 분석을 수행하는 것은 상대방 얼굴에 대한 영상 신호를 이용하여(예컨대, 눈, 코, 입의 위치 관계, 얼굴 모양, 얼굴 색상 등을 이용하여) 상대방의 감정 분석을 수행하는 종래의 다양한 방법에서 이미 널리 알려져 있으므로, 그에 대한 상세 설명은 생략한다.
또한, 전술한 실시예들에서는 주로 제2 단말이 제2 단말 사용자에 대한 감정 분석 요청 신호를 제1 단말로부터 수신하고 감정 분석 요청 신호에 응하여 제2 단말 사용자의 음성 또는 영상 신호를 입력으로 하여 감정분석으로 수행하고 그 감정 분석 결과를 제1 단말로 전송하여 제1 단말에 표시되도록 구성되는 것으로 설명하였지만, 본 발명은 그러한 구성으로 한정되지 않고, 제1 단말이 제1 단말 사용자에 대한 감정 분석 요청을 제2 단말로부터 수신하고 수신한 감정 분석 요청 신호에 응하여 제1 단말 사용자의 음성 또는 영상 신호를 입력으로 하여 감정분석을 수행한 후 그 감정 분석 결과를 제2 단말로 전송하여 제2 단말에 표시되도록 구성되는 것을 포함한다. 이러한 구성은 제1 단말과 제2 단말 간의 통화 수행 중에 양방향으로 동시에 수행될 수 있다.
이상에서, 바람직한 실시예들을 참조하여 본 발명을 설명하였으나, 본 발명은 상기의 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명은 첨부한 특허청구범위 및 도면 등의 전체적인 기재를 참조하여 해석되어야 할 것이며, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
10: 제1 단말
20: 제2 단말
30: 감정 표시 콘텐츠 서버
20: 제2 단말
30: 감정 표시 콘텐츠 서버
Claims (13)
- 통화를 수행하는 제1 단말과 제2 단말 간의 통화 중 감정 분석 서비스 제공 방법에 있어서,
제1 단말이 통화를 수행하는 상대방 단말인 제2 단말 측으로 감정 분석 요청 신호를 전송하는 제1 단계-여기에서, 상기 제2 단말은 상기 감정 분석 요청 신호에 상응하여 제2 단말 사용자의 음성 또는 영상 신호를 입력으로 감정 분석을 수행하여 감정 분석 결과 데이터를 생성함-;
상기 제1 단말이 상기 제2 단말로부터 상기 생성된 감정 분석 결과 데이터를 수신하는 제2 단계; 및
상기 제1 단말이 상기 수신한 감정 분석 결과 데이터에 기초하여 제2 단말 사용자에 대한 감정 분석 결과를 표시하는 제3 단계
를 포함하고,
상기 제3 단계에서 상기 감정 분석 결과를 표시하기 전에,
상기 제1 단말이,
상기 감정 분석 결과 데이터에 상응하는 감정 표시 콘텐츠가 콘텐츠 저장부에 저장되어 있는지 확인하는 단계;
상기 감정 표시 콘텐츠가 콘텐츠 저장부에 저장되어 있지 않으면, 네트워크를 통해 연결되는 감정 표시 콘텐츠 서버에 감정 표시 콘텐츠를 요청하는 단계; 및
상기 감정 표시 콘텐츠 서버로부터 상기 요청한 감정 표시 콘텐츠를 다운로드 받는 단계
를 포함하는 통화 중 감정 분석 서비스 제공 방법. - 삭제
- 제1항에 있어서,
상기 제1 단말이 통화를 수행하는 상대방 단말인 제2 단말로부터 감정 분석 요청 신호를 수신하는 제4 단계;
상기 제1 단말이 상기 제2 단말로부터 수신한 감정 분석 요청 신호에 응하여 제1 단말 사용자의 음성 또는 영상 신호를 입력으로 감정 분석을 수행하고 감정 분석 결과 데이터를 생성하는 제5 단계;
상기 제1 단말이 상기 제5 단계에서 생성된 감정 분석 결과 데이터를 상기 제2 단말로 전송하는 제6 단계
를 포함하되,
상기 제2 단말은 상기 제1 단말로부터 수신한 감정 분석 결과 데이터에 기초하여 제1 단말 사용자에 대한 감정 분석 결과를 표시하는 것을 특징으로 하는 통화 중 감정 분석 서비스 제공 방법. - 통화를 수행하는 제1 단말과 제2 단말 간의 통화 중 감정 분석 서비스 제공 방법에 있어서,
제2 단말이 통화를 수행하는 상대방 단말인 제1 단말로부터 감정 분석 요청 신호를 수신하는 제1 단계;
상기 제2 단말이 상기 수신한 감정 분석 요청 신호에 응하여 제2 단말 사용자의 음성 또는 영상 신호를 입력으로 감정 분석을 수행하고 감정 분석 결과 데이터를 생성하는 제2 단계;
상기 제2 단말이 상기 생성된 감정 분석 결과 데이터를 상기 제1 단말로 전송하는 제3 단계
를 포함하되,
상기 제1 단말은 상기 수신한 감정 분석 결과 데이터에 기초하여 감정 분석 결과를 표시하고,
상기 제1 단말이 상기 감정 분석 결과를 표시하기 전에, 상기 제1 단말은,
상기 감정 분석 결과 데이터에 상응하는 감정 표시 콘텐츠가 콘텐츠 저장부에 저장되어 있는지 확인하고, 상기 감정 표시 콘텐츠가 콘텐츠 저장부에 저장되어 있지 않으면, 네트워크를 통해 연결되는 감정 표시 콘텐츠 서버에 감정 표시 콘텐츠를 요청하고, 상기 감정 표시 콘텐츠 서버로부터 상기 요청한 감정 표시 콘텐츠를 다운로드 받는 것을 특징으로 하는 통화 중 감정 분석 서비스 제공 방법. - 삭제
- 제4항에 있어서,
상기 제2 단말이 상기 감정 분석 결과 데이터에 기초하여 제2 단말 사용자에 대한 감정 분석 결과를 제2 단말에 표시하는 단계를 더 포함하는 통화 중 감정 분석 서비스 제공 방법. - 제6항에 있어서,
상기 제2 단말이 감정 분석 결과를 표시하기 전에, 상기 제2 단말은,
상기 감정 분석 결과 데이터에 상응하는 감정 표시 콘텐츠가 콘텐츠 저장부에 저장되어 있는지 확인하고, 상기 감정 표시 콘텐츠가 콘텐츠 저장부에 저장되어 있지 않으면, 네트워크를 통해 연결되는 감정 표시 콘텐츠 서버에 감정 표시 콘텐츠를 요청하고, 상기 감정 표시 콘텐츠 서버로부터 상기 요청한 감정 표시 콘텐츠를 다운로드 받는 것을 특징으로 하는 통화 중 감정 분석 서비스 제공 방법. - 제1 단말과 제2 단말 사이에서 통화 수행시 제1 단말에 구비되는 통화 중 감정 분석 서비스 제공 장치에 있어서,
통화를 수행하는 상대방 단말인 제2 단말 측으로 감정 분석 요청 신호를 전송하는 감정 분석 제어부;
상기 제2 단말로부터 감정 분석 결과 데이터를 수신하는 감정 분석 결과 수신부; 및
상기 감정 분석 결과 데이터에 기초하여 감정 분석 결과를 표시하는 감정 분석 표시부
를 구비하되,
상기 제2 단말은 상기 제1 단말의 감정 분석 요청 신호에 상응하여 제2 단말 사용자의 음성 또는 영상 신호를 입력으로 감정 분석을 수행하고 감정 분석 결과 데이터를 생성하고,
상기 제1 단말은, 상기 감정 분석 결과 데이터에 상응하는 감정 표시 콘텐츠를 저장하는 감정 표시 콘텐츠 관리부를 더 구비하되,
상기 감정 표시 콘텐츠 관리부는, 상기 감정 분석 결과 데이터에 상응하는 감정 표시 콘텐츠가 저장되어 있지 않을 때, 네트워크를 통해 연결되는 감정 표시 콘텐츠 서버에 상기 감정 표시 콘텐츠를 요청하고 상기 감정 표시 콘텐츠 서버로부터 상기 감정 표시 콘텐츠를 다운로드 받는 것을 특징으로 하는 통화 중 감정 분석 서비스 제공 장치. - 삭제
- 제8항에 있어서,
상기 제1 단말은, 음성 신호 분리부, 감정 분석 엔진, 및 감정 분석 결과 송신부를 더 구비하고,
상기 감정 분석 제어부는 통화를 수행하는 상대방 단말인 제2 단말 측으로부터 감정 분석 요청 신호를 수신하고,
상기 음성 신호 분리부는 상기 감정 분석 제어부의 요청에 따라 제1 단말 사용자의 음성 신호를 분리하며,
상기 감정 분석 엔진은 상기 음성 신호 분리부에서 분리된 음성 신호에 기초하여 감정 분석을 수행하고 감정 분석 결과 데이터를 생성하며,
상기 감정 분석 결과 송신부는 상기 감정 분석 제어부의 제어에 따라 상기 감정 분석 엔진으로부터의 감정 분석 결과 데이터를 상기 제2 단말로 전송하는 것을 특징으로 하는 통화 중 감정 분석 서비스 제공 장치. - 제1 단말과 제2 단말 사이에서 통화 수행시 제2 단말에 구비되는 통화 중 감정 분석 서비스 제공 장치에 있어서,
통화를 수행하는 상대방 단말인 제1 단말 측으로부터 감정 분석 요청 신호를 수신하는 감정 분석 제어부;
상기 감정 분석 제어부의 요청에 따라 제2 단말 사용자의 음성 신호를 분리하는 음성 신호 분리부;
상기 음성 신호 분리부에서 분리된 음성 신호에 기초하여 감정 분석을 수행하고 감정 분석 결과 데이터를 생성하는 감정 분석 엔진; 및
상기 감정 분석 제어부의 제어에 따라 상기 감정 분석 엔진으로부터의 감정 분석 결과 데이터를 상기 제1 단말로 전송하는 감정 분석 결과 송신부
를 구비하되,
상기 제1 단말은 상기 제2 단말로부터 수신한 감정 분석 결과 데이터에 기초하여 감정 분석 결과를 표시하고,
상기 제1 단말, 상기 제2 단말 또는 이들 모두는, 상기 감정 분석 결과 데이터에 상응하는 감정 표시 콘텐츠를 저장하는 감정 표시 콘텐츠 관리부를 구비하되,
상기 감정 표시 콘텐츠 관리부는, 상기 감정 분석 결과 데이터에 상응하는 감정 표시 콘텐츠가 콘텐츠 저장부에 저장되어 있는지 확인하고, 상기 감정 표시 콘텐츠가 콘텐츠 저장부에 저장되어 있지 않으면, 네트워크를 통해 연결되는 감정 표시 콘텐츠 서버에 감정 표시 콘텐츠를 요청하고, 상기 감정 표시 콘텐츠 서버로부터 감정 표시 콘텐츠를 다운로드 받는 것을 특징으로 하는 통화 중 감정 분석 서비스 제공 장치. - 삭제
- 제11항에 있어서,
상기 제2 단말이 상기 감정 분석 결과 데이터에 기초하여 감정 분석 결과를 표시하는 감정 분석 표시부를 더 구비하는 것을 특징으로 하는 통화 중 감정 분석 서비스 제공 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120045519A KR101376292B1 (ko) | 2012-04-30 | 2012-04-30 | 통화 중 감정 분석 서비스 제공 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120045519A KR101376292B1 (ko) | 2012-04-30 | 2012-04-30 | 통화 중 감정 분석 서비스 제공 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130122300A KR20130122300A (ko) | 2013-11-07 |
| KR101376292B1 true KR101376292B1 (ko) | 2014-03-20 |
Family
ID=49852122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120045519A KR101376292B1 (ko) | 2012-04-30 | 2012-04-30 | 통화 중 감정 분석 서비스 제공 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101376292B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210034288A (ko) | 2019-09-20 | 2021-03-30 | 주식회사 세븐지엔씨 | 통화 감정 분석 장치 및 방법 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102034838B1 (ko) | 2017-12-15 | 2019-10-21 | 주식회사 하이퍼커넥트 | 영상 통화 서비스를 제공하는 단말과 서버 |
| KR102044241B1 (ko) | 2017-12-28 | 2019-11-13 | 주식회사 하이퍼커넥트 | 영상 통화 서비스를 제공하는 단말 |
| KR101891495B1 (ko) * | 2018-01-16 | 2018-08-27 | 주식회사 머니브레인 | 사용자 발화 입력에 대한 대화 응답 후보를 표시하도록 하는 디스플레이 제어 방법, 컴퓨터 판독가능 기록 매체 및 컴퓨터 장치 |
| KR102362285B1 (ko) * | 2021-02-01 | 2022-02-14 | 주식회사 바바커뮤니케이션즈 | 통화 대기 시간 및 통화 시간을 활용한 콘텐츠 제공 시스템 및 방법 |
| KR102517651B1 (ko) * | 2022-01-26 | 2023-04-04 | 동국대학교 산학협력단 | 화상회의에 참여한 상대방의 표정에 대한 분석 정보를 제공하는 화상회의 서비스를 운영하기 위한 화상회의 서비스 서버 및 그 동작 방법 |
-
2012
- 2012-04-30 KR KR1020120045519A patent/KR101376292B1/ko active IP Right Grant
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210034288A (ko) | 2019-09-20 | 2021-03-30 | 주식회사 세븐지엔씨 | 통화 감정 분석 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130122300A (ko) | 2013-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11114091B2 (en) | Method and system for processing audio communications over a network | |
| KR101376292B1 (ko) | 통화 중 감정 분석 서비스 제공 방법 및 장치 | |
| CN105989165B (zh) | 在即时聊天工具中播放表情信息的方法、装置及系统 | |
| CN109032746B (zh) | 一种可穿戴设备的显示界面自定义方法、系统及电子设备 | |
| JP6400445B2 (ja) | 会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム | |
| KR20100061582A (ko) | 이동통신단말기에서 감정 표시 서비스를 제공하기 위한 장치 및 방법 | |
| US7925293B2 (en) | Automated communication using image capture | |
| CN111739553A (zh) | 会议声音采集、会议记录以及会议记录呈现方法和装置 | |
| KR20210060196A (ko) | 아바타 메시지 서비스를 제공하는 서버, 방법 및 사용자 단말 | |
| JP2018513511A (ja) | メッセージ送信方法、メッセージ処理方法及び端末 | |
| JP2015514273A (ja) | ウェブページ上における漫画ストーリー形式の対話を支援するモバイルチャットシステム | |
| US11128679B2 (en) | Real-time media streams | |
| US9959083B2 (en) | System and method for sharing screen | |
| CN108364635A (zh) | 一种语音识别的方法和装置 | |
| US10002611B1 (en) | Asynchronous audio messaging | |
| CN109754816B (zh) | 一种语音数据处理的方法及装置 | |
| KR20130015472A (ko) | 디스플레이장치, 그 제어방법 및 서버 | |
| KR20120065090A (ko) | 이동통신 단말 기반의 심리치료 장치 | |
| US20230056862A1 (en) | Hearing device, and method for adjusting hearing device | |
| US20230074113A1 (en) | Dialogue user emotion information providing device | |
| US20210043214A1 (en) | Programmable Voice Extension Framework | |
| KR20130012250A (ko) | 애니메이션 실행이 지원되는 만화 스토리 형식의 모바일 채팅 시스템 | |
| JP2018081147A (ja) | コミュニケーション装置、サーバ、制御方法、および情報処理プログラム | |
| KR20110050483A (ko) | 통신 방법, 통신 관련 시스템 및 관련 변환부 | |
| JP2020119043A (ja) | 音声翻訳システムおよび音声翻訳方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20170222 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20180223 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20190306 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20200302 Year of fee payment: 7 |