KR20080095052A

KR20080095052A - 영상통화 시 상대방의 감정상태를 분석하여 표시하는 방법및 장치

Info

Publication number: KR20080095052A
Application number: KR20070039360A
Authority: KR
Inventors: 안희중; 박시우
Original assignee: 주식회사 케이티프리텔
Priority date: 2007-04-23
Filing date: 2007-04-23
Publication date: 2008-10-28
Also published as: KR100940088B1

Abstract

본 발명은 영상통화 시 상대방의 감정상태를 분석하여 표시하는 방법 및 장치에 관한 것으로, 음성분석기를 통하여 상대방의 음성을 분석하여 발신자가 이를 쉽게 확인할 수 있도록 비주얼한 데이터로 변환하여 화면을 통해 영상과 함께 제공하는 방법 빛 장치가 제공된다.

영상통화, 감정표현, 음성분석기, 3G 이통통신

Description

영상통화 시 상대방의 감정상태를 분석하여 표시하는 방법 및 장치{METHOD AND DEVICE FOR DISPLAYING EMOTION OF TELEPHONEE IN VIDEO COMMUNICATION}

도 1은 본 발명의 일 실시예에 따른 이동통신 서버의 블록도.

도 2는 본 발명의 다른 실시예에 따른 이동통신 서버의 블록도.

도 3은 본 발명의 일 실시예에 따른 영상통화 시 상대방의 감정상태를 분석하여 표시하는 방법을 도시한 흐름도.

도 4는 본 발명의 다른 실시예에 따른 영상통화시 상대방의 감정상태를 분석하여 표시하는 방법을 도시한 흐름도.

도 5는 영상통화 종료 후, 발신자의 단말기로 통화내용 분석결과를 MMS로 전송하는 방법을 도시한 흐름도.

핫키를 이용한 다양한 영상통화서비스를 제공하는 방법의 개략도.

< 도면의 주요 부분에 대한 설명 >

100, 200 : 이동통신 서버

110, 210 : 통신모듈

120, 220 : 서비스제어모듈

130, 230 : 영상통화모듈

140, 240 : 감정상태분석모듈

141, 241 : 음성추출모듈

143, 243 : 음성분석기

145, 245 : 데이터 변환모듈

본 발명은 영상통화 시 상대방의 감정상태를 분석하여 표시하는 방법 및 장치에 관한 것으로, 특히 영상통화 시 상대방(착신자)의 음성을 추출하여 음성분석기(voice analyst)를 통해 상대방의 감정상태를 분석하고, 이를 발신자의 단말기로 실시간으로 전송해 줌으로써 화면을 통해 영상과 함께 상대방의 감정상태를 확인할 수 있도록 하기 위한 방법 및 장치에 관한 것이다.

이동통신 기술이 발전함에 따라 대용량의 데이터를 고속으로 전송할 수 있는 제 3세대 이동통신망 (예를 들면, W-CDMA망 또는 HSDPA망)이 구축되면서, 기존의 음성통화 서비스에만 국한되었던 것을 탈피해 통화자 간 영상을 통해 얼굴을 직접 보면서 통화하는 영상통화도 가능하게 되었다. 이에 따라 이동통신사들은 제 3세대 이동통신망의 가입자들을 먼저 선점하기 위해 더욱더 다양한 특수 기능의 통화서비스를 개발하여 제공하고 있다.

이러한 특수 기능의 서비스들은 이를 테면, 음성/영상통화 통화 중 사용자 단말기를 통하여 통화내용을 녹음하고, 발신자와 착신자 간에 서로 이모티콘, 이미지, 플래시 및 동영상 등과 같은 멀티미디어 컨텐츠를 주고 받음으로써 통화에 더 욱 재미와 흥미를 더할 뿐 아니라, 더 나아가 음성분석을 통해 상대방의 상태 및 감정까지도 표시해주는 감성통화 서비스에 이르기까지 더욱더 다양해지고 있다.

본원에서는 이러한 감성통화를 가능하게 하는 특수 기능의 영상통화를 제공하는 것에 초점을 맞춘다.

즉, 종래에는 통화중 상대방에 대한 감정상태의 정보가 없어 상대방을 배려하는 감성통화가 불가능하였다. 그러나, 본 발명으로 상대방(착신자)의 감정상태를 분석하여 그 결과를 즉시 확인하기 쉽도록 그래프, 이미지, 캐릭터 및 아바타 또는 사랑지수/진실지수/스트레스지수 등과 같은 비주얼 데이터로 변환하고, 이러한 비주얼 데이터를 영상과 함께 일정비율로 구성된 화면으로 실시간으로 발신자에게 제공함으로써 상대자의 감정상태를 쉽게 파악할 수 있도록 하며, 그에 따라 이모티콘, 플래시 및 동영상과 같은 멀티미디어 컨텐츠를 전송함으로써 더욱더 재미있고 효과적인 감성통화를 가능하게 한다.

본 발명은 통화 시, 더욱 자세하게는 영상통화 시, 주기적으로 상대방의 음성을 추출하여 음성분석기를 통해 상대방의 감정상태를 분석하고 이를 화면을 통해 비주얼하게 실시간으로 전송함해 줌으로써 상대방의 감정상태를 확인하도록 하는데 그 목적이 있다.

상기 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 영상통화 시 상대방의 감정상태를 분석하여 표시하는 이통통신 서버는 이동통신망을 통하여 이동 통신 단말기와 신호를 송수신하는 통신모듈과, 상기 수신된 신호에 따른 통화서비스를 제공하기 위해 각 서비스 동작모드로 신호를 제어하는 서비스제어모듈과, 상기 제어된 신호에 따라 그에 해당하는 영상호 접속이 완료되고 영상통화가 개시되는 영상통화모듈 그리고 상기 영상통화모듈로부터 주기적으로 착신자의 음성을 분석하여 착신자의 감정상태를 비주얼 데이터로 생성하는 감정상태분석모듈을 포함한다.

또한, 상기 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 영상통화 시 상대방의 감정상태를 분석하여 표시하는 방법은 이동통신망을 통하여 발신 단말기로부터 발신된 신호를 수신하는 단계와, 상기 수신 신호에 포함된 영상통화 식별자 및 피쳐코드를 식별하여 그에 따른 통화서비스를 제공하기 위한 서비스 동작모드로 신호를 제어하는 단계와, 상기 제어된 신호에 따라 해당 영상호 접속이 완료되고 영상통화가 개시되는 단계와, 상기 제어된 신호에 따라 주기적으로 착신자의 음성을 분석하여 착신자의 감정상태를 비주얼 데이터로 생성하는 단계 그리고 상기 영상과 상기 생성된 비주얼 데이터를 발신 단말기로 각각 전송하는 단계를 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태 로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 본 발명의 실시예들에 의하여 영상통화 시 상대방의 감정상태를 분석하여 표시하는 방법 및 장치를 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 이동통신 서버(100)의 블록도이다.

도 1을 참조하면, 영상통화 시 상대방의 감정상태를 분석하여 표시하기 위한 이동통신 서버(100)는 크게 통신모듈(110), 서비스제어모듈(120), 영상통화모듈(130), 감정상태분석모듈(140) 및 이미지통합모듈(150)로 구성된다.

상기 통신모듈(110)은 사용자(발신자)의 단말기로부터 원하는 특수 기능의 통화서비스를 요청하는 호 접속 요청 신호를 수신한다. 이때, 상기 호 접속 요청 신호에는 다수의 특수 기능의 통화서비스에 따라 다르게 설정된 피쳐코드(feature code)와 착신번호 그리고 영상통화인지 음성통화인지를 구별하는 식별자가 포함되어 있으며 상기 이동통신 서버(100)에서는 이를 다시 착신 단말기로 전송하여 호 접속을 완성시킨다. 이렇게 발신 단말기로부터 요청된 호 접속 요청 신호에 응답하여 호 접속이 완성되면 상기 이동통신 서버(100)에서는 발신자가 요청한 특수 기능의 통화서비스를 제공하기 위하여 일련의 작업이 수행되고 그 결과를 상기 통신모듈(110)을 통하여 발신 단말기로 전송한다. 즉, 상기 통신모듈(110)은 이동통신 단 말기와 신호를 송수신하는 역할을 한다.

그리고 특수 기능의 통화서비스에는 여러 가지가 있을 수 있으나 본원에서는 특히 영상통화 시 상대방의 감정상태를 분석하여 표시하는 통화서비스에 초점을 맞춘다. 이에 따라 쉽고 명료하게 설명을 위해 상기 호 접속 요청 신호에 포함된 영상통화 식별자는 '*'로 표시하고 상대방의 감정상태를 분석하여 발신자의 단말기 화면에 표시해 주는 통화서비스의 피쳐코드는 '001'인 것으로 한다.

상기 서비스제어모듈(120)은 상기 통신모듈(101)로부터 수신된 호 접속 요청 신호의 영상통화 식별자 '*'를 포함하는 신호를 제어하여 영상통화모듈(130)로 전송하고, 상기 호 접속 요청 신호의 피쳐코드 '001'를 포함하는 신호를 제어하여 음성추출모듈(141)로 전송한다.

상기 영상통화모듈(130)은 상기 서비스제어모듈(120)로부터 제어된 영상통화 식별자 '*'를 포함하는 신호에 따라 착신 단말기에 영상호 접속을 요청하며 그에 대한 응답으로 영상호 접속이 완료되면 영상통화를 개시하도록 하는 역할을 한다.

상기 서비스제어모듈(120)로부터 제어된 피쳐코드 '001'을 포함하는 신호에 따라 상기 영상통화모듈(130)로부터 영상통화가 개시되면, 이때부터 착신자의 음성을 추출하여 감정상태를 분석하기 위한 감정상태분석모듈이 작동된다.

상기 감정상태분석모듈(140)은 상대방의 음성분석을 통한 감정상태를 효과적으로 표현하기 위해 다시 음성추출모듈(141), 음성분석기(143) 및 데이터변환모듈(145)로 구성되며, 하기에 각 동작 및 역할을 설명하도록 한다.

상기 음성추출모듈(141)은 주기적으로 착신자의 음성을 추출하여 음성분석 기(143)로 전송하는 역할을 한다.

상기 음성분석기(143)는 상기 음성추출모듈(141)로부터 주기적으로 추출된 착신자의 음성정보(이를 테면, 개개인의 음성주파수에 따라 다른 파형, 주기, 진폭 등)를 분석하는 역할을 하며, 이로써 상기 음성정보에 기초한 착신자의 다양한 감정상태를 그에 대응하는 각각의 레벨값으로 분류하여 하나의 테이블로 저장할 수 있도록 한다.

여기서 상기 음성분석기는 종래에 사용되는 다양한 음성분석기들 중 어느 하나일 수 있다.

상기 데이터변환모듈(145)은 상기 음성분석기(143)로부터 저장된 상기 테이블을 기초로 하여 발신자가 상대방의 감정상태를 쉽게 확인할 수 있도록 그래프와 같은 비주얼 데이터로 변환하거나, 또는 각 감정상태 레벨값들의 비교분석을 통하여 사랑지수/진실지수/스트레스지수와 같은 수치 데이터로 변환하여 전송할 수 있도록 한다.

또한, 상기 감정상태분석모듈(140)은 상기 음성추출기(141)의 동작 전 상기 영상통화모듈(130)으로부터 주기적으로 감정분석 개시 신호 또는 감정분석 중지 신호를 감지하여 이를 제어하는 감정분석제어모듈(도시하지 않음)을 더 포함할 수 있다.

상기 감정분석제어모듈을 더 포함함으로써 다수의 영상통화서비스 리스트 중 상대방의 감정을 분석하기 위한 통화서비스가 선택되었을 경우, 영상통화 개시와 함께 시작된 상대방의 감정상태를 분석하기 위한 감정상태분석모듈(140)의 동작을 사용자의 요청에 따라 중지하거나 중지 후 다시 감정상태분석모듈(140)의 동작을 개시할 수 있다. 즉, 상기 감정분석제어모듈은 상기 영상통화모듈(130)으로부터 주기적으로 감정상태분석모듈(140)의 동작 개시 신호 또는 감정상태분석모듈(140)의 동작 중지 신호를 감지하여 이를 제어하는 역할을 한다.

예를 들면, 다수의 영상통화서비스 중 상대방의 감정을 분석하기 위한 영상통화서비를 선택하여 영상통화가 개시된 이후, 사용자는 '*'키를 누름으로써 상대방의 감정분석을 중지하고 영상통화 만을 이용할 수 있으며, 이렇게 영상통화 만을 이용하던 중 '*'키를 또 다시 누름으로써 중지되었던 상대방의 감정분석을 개시하도록 하는 영상통화서비스가 제공될 수 있다. 여기서 '*'키는 상기 영상통화 식별자와는 다른 것으로서, 영상통화 개시된 이후 감정상태분석모듈(140)의 동작 중 '*'키를 누르면 감정상태분석모듈(140)의 동작이 중지되고, '*'키를 다시 한번 누르면 다시 감정상태분석모듈(140)의 동작이 개시되는 토글기능을 갖는 키이다.

또는 감정상태분석모듈(140)의 동작을 제어하기 위해서 '1'번키에 감정상태분석모듈(140)의 동작 개시를, '2'번키에 감정상태분석모듈(140)의 동작 중지를, '3'번키에 컨텐츠 추가등 DTMF를 인식하여 다양한 사용자 요구를 제어하여 제공할 수 있도록 할 수 있으며, 이러한 메뉴는 영상통화 화면에 표시해줌으로써 고객이 쉽게 이용할 수 있도록 한다.

상기 이미지통합모듈(150)은 상기 영상통화모듈(130)로부터 전송된 영상과 상기 데이터변환모듈(145)로부터 변환되어 전송된 데이터(이를테면, 앞서 언급한 바와 같은 그래프 또는 사랑지수/진실지수/스트레스지수)를 일정비율로 결합시켜 하나의 이미지로 통합하여 전송하는 역할을 한다.

물론, 상기 이미지통합모듈(150)을 거치지 않고 영상통화모듈(130)로부터 전송된 영상과 상기 감정상태분석모듈(140)의 데이터변환모듈(145)로부터 전송된 영상을 사용자의 단말기 창으로 각각 전송하여 분할된 화면으로 나타내어 상대방의 영상과 함께 그의 감정상태를 표시할 수도 있다.

이로써, 발신자는 영상통화 시 이동통신 단말기의 화면을 통하여 상대방의 영상은 물론 화면의 일정부분에 상대방의 감정상태를 표시하는 그래프 및 사랑지수/진실지수/스트레스지수를 실시간으로 동시에 확인할 수 있다.

또한, 발신자는 상대방의 감정상태를 단말기 창에 나타난 그래프와 같은 비주얼 데이터를 보고 발신 단말기에 미리 저장되어 있거나 유/무선인터넷을 통하여 다운로드할 수 있는 이모티콘, 플래시 및 동영상과 같은 멀티미디어 컨텐츠를 상대방의 감정상태에 맞도록 선택하여 착신자에게 전송할 수 있다.

도 2은 본 발명의 다른 실시예에 따른 이동통신 서버(200)의 개략적인 구성도이다.

도 2를 참조하면, 영상통화 시 상대방의 감정상태를 분석하여 표시하기 위한 이동통신 서버(200)는, 도 1에 도시된 바와 같은 이동통신 서버(100)에 감정표현 컨텐츠 DB(260), 통화내용분석모듈(270), 메시지 생성모듈(280)을 추가로 포함하여 구성된다.

상기 감정표현 컨텐츠 DB(260)는 데이터변환모듈(245)에서 음성분석을 통한 레벨값을 발신자가 확인하기 쉬운 데이터로 변환할 때, 더욱더 다양한 비쥬 얼(visual)을 제공하기 위해 감정상태에 따른 다양한 컨텐츠를 저장하고 있는 데이터베이스(DB)이다.

이를 테면, 상기 감정표현 컨텐츠 DB(260)는 다양한 감정상태 레벨값에 따라 그에 상응하는 다양한 캐릭터 또는 다양한 표정의 아바타들을 저장하고 있다. 또한, 통화내용과 감정상태 분석을 통한 각각의 사랑지수/진실지수/스트레스지수에 상응하는 다양한 이모티콘, 플래시 또는 동영상과 같은 멀티미디어 컨텐츠를 저장하고 있다.

이로써, 상기 데이터변환모듈(245)에서는 음성분석을 통한 다양한 감정상태 레벨값을 상기 감정표현 컨텐츠 DB(260)에 미리 저장되어 있는 그에 상응하는 캐릭터, 아바타 또는 멀티미디어 컨텐츠들을 채택하여 상황에 따라 적절하게 표현할 수 있도록 데이터 변환된다.

따라서, 발신자는 상대방의 감정상태를 상기 감정표현 컨텐츠 DB(260)로부터 데이터 변환하여 단말기 창에 나타낸 그래프, 캐릭터 또는 아바타와 같은 비주얼 데이터를 보고 발신 단말기에 미리 저장되어 있거나 유/무선인터넷을 통하여 다운로드할 수 있는 이모티콘, 플래시 및 동영상과 같은 멀티미디어 컨텐츠를 상대방의 감정상태에 맞도록 선택하여 착신자에게 전송할 수 있다.

또한, 상대방의 감정상태 레벨값이나 사랑지수/진실지수/스트레스지수가 미리 설정된 값에 상응하거나 초과할 경우 그에 상응하는 멀티미디어 콘텐츠를 자동 생성하여 상대방에게 전송할 수도 있다. 이를 테면, 감정상태를 나타낼 수 있는 레벨값이 1부터 100이라고 한다면 대표적인 감정상태를 5 가지(예를 들어, 감정상 태 레벨값이 10 : 아주 나쁨/ 30 : 나쁨/ 50 : 보통/ 70 : 좋음 / 90 : 아주 좋음)로 분류하여 각 레벨로 변경될 때마다 그에 맞는 이모티콘, 플래시 및 동영상을 자동생성하여 착신자에게 전송할 수도 있다.

상기 통화내용분석모듈(270)은 영상통화모듈(230)로부터 주기적으로 통화내용을 수신하고, 음성분석기(243)로부터 주기적으로 감정상태를 수신하며, 영상통화가 끝난 후 이를 종합적으로 분석하며, 그 분석결과에 따라 상기 감정표현 컨텐츠 DB(260)로부터 그에 상응하는 이모티콘, 플래시 또는 동영상과 같은 멀티미디어 컨텐츠를 채택하여 메시지생성모듈로 전송한다.

상기 메시지생성모듈(280)은 상기 통화내용분석모듈(270)로부터 채택된 컨텐츠에 따라 멀티미디어 메시지(MMS)를 작성하여 단말기로 전송할 수 있도록 한다.

또한, 상기 이동통신 서버(100,200)는 영상통화 중 제공된 모든 통화서비스를 인터넷망을 통화여 해당 웹서버로 실시간으로 전송해 줌으로써 웹상에서도 제공된 통화서비스를 보관, 열람 및 관리할 수 있도록 한다.

도 3은 본 발명의 일 실시예에 따른 영상통화 시 상대방의 감정상태를 분석하여 표시하는 방법을 도시한 흐름도이다.

도 3에 도시된 바와 같이, 영상통화시 상대방의 감정상태를 분석하여 표시하는 방법은 발신자가 핫키를 이용하여 호 접속을 요청하거나 사용자가 원하는 통화서비스의 피쳐코드를 직접 입력하여 발신된 호 접속 요청 신호를 수신하는 단계(S310), 상기 발신 신호에 포함된 영상통화 식별자 '*'와 피쳐코드 '001'를 식별하여 그에 따른 각 서비스 동작모드로 신호를 제어하는 단계(S320), 상기 제어된 신호('*' 포함된 신호)에 따라 영상호 접속이 완료되고 영상통화가 개시되는 단계(S330), 상기 제어된 신호('001' 포함된 신호)에 따라 영상통화모듈로부터 주기적으로 착신자의 음성을 분석하여 착신자의 감정상태를 비주얼 데이터로 생성하는 단계(S340), 상기 생성된 비주얼 데이터와 영상을 일정비율로 결합시켜 하나의 이미지로 통합하는 단계(S50), 상기 통합된 이미지를 발신자의 단말기로 전송하는 단계(S360)를 포함한다.

상기 단계 S330과 S340 사이에, 즉, 상대방의 감정상태를 분석하기 위한 영상통화서비스가 개시된 이후에 사용자의 요청에 따라 상대방의 감정상태 분석 개시 또는 중지하기 위하여, 상기 영상통화모듈(130)으로부터 주기적으로 감정상태분석모듈(140)의 동작 개시 신호 또는 감정상태분석모듈(140)의 동작 중지 신호를 감지하여 해당 신호에 따라 상대방의 감정상태분석을 제어하고, 제어된 신호에 따라 감정상태분석모듈(140)의 동작을 개시하거나 중지하는 단계(도시하지 않음)를 더 포함할 수 있다.

이로써, 영상통화 중 사용자의 편의에 따라 언제든지 상대방의 감정상태분석을 개시 후 중지 또는 중지 후 개시하여 이용할 수 있도록 함으로써 사용자 중심의 영상통화서비스를를 제공할 수 있도록 한다.

또한, 상기 착신자의 감정상태를 비주얼 데이터로 생성하는 단계(S340)는 주기적으로 착신자의 음성을 추출하여 음성분석기로 전송하는 단계(S341), 상기 추출된 착신자의 음성을 분석하여 착신자의 감정상태를 레벨화시키는 단계(S343), 상기 감정상태 레벨에 따라 발신자 화면에 효과적으로 표시하기 위하여 그래프 또는 사 랑지수/진실지수/스트레스지수와 같은 비주얼 데이터로 변환시키는 단계(S345)를 포함한다.

도 4는 본 발명의 다른 실시예에 따른 영상통화시 상대방의 감정상태를 분석하여 표시하는 방법을 도시한 흐름도이다.

도 4에 도시된 바와 같이, 영상통화시 상대방의 감정상태를 분석하여 표시하는 또 다른 방법은 도 3에 도시된 방법과 유사하나, S440 단계에서, 감정상태를 화면에 표시할 때 좀더 비주얼적인 측면을 강화하기 위하여 감정표현 컨텐츠 DB(208)를 추가로 구비하여 이로부터 상기 감정상태 레벨에 상응하는 컨텐츠를 채택하는 단계(S445)를 더 포함한다. 따라서, 다양한 감정상태 레벨값에 따라 그에 상응하는 다양한 캐릭터 또는 다양한 표정의 아바타들을 저장하고 있는 감정상태 컨텐츠 DB(260)로부터 채택된 컨텐츠에 따라 그에 상응하는 비주얼 데이터로 변환시킨다(S447).

도 5는 영상통화 종료 후, 발신자의 단말기로 통화내용 분석결과를 MMS로 전송하는 방법을 도시한 흐름도이다.

도 5에 도시된 바와 같이, 발신자의 단말기로 통화내용 분석결과에 따라 진실지수/사랑지수/스트레스지수를 MMS로 전송하는 방법은, 영상통화 중 주기적으로 전송된 영상통화 신호와 음성분석결과를 기초로 종합적인 통화내용을 분석하는 단계(S510), 상기 분석결과에 따라 감정표현 컨텐츠 DB(260)로부터 그에 상응하는 컨텐츠를 채택하는 단계(S520), 상기 채택된 컨텐츠에 따라 멀티미디어 MMS 메시지를 작성하는 단계(S530), 이를 발신자의 단말기로 전송하는 단계(S540)를 포함한다.

마지막으로, 상기에 기술된 영상통화 중 제공된 모든 통화서비스는 인터넷망을 통화여 해당 웹서버로 실시간으로 전송하는 단계를 더 포함함으로써 웹상에서도 제공된 통화서비스를 보관, 열람 및 관리할 수 있도록 한다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

본 발명에 따르면, 영상통화 시 상대방의 감정상태를 분석하여 이를 화면을 통해 비주얼하게 실시간으로 표시해 줌으로써 상대방의 감정상태를 즉시 확인가능하고, 또한 그에 대응하여 다양한 멀티미디어 컨텐츠를 전송하도록 함으로써 좀더 재미있고 효과적인 감성통화를 가능하게 한다.

Claims

이동통신망을 통하여 이동통신 단말기와 신호를 송수신하는 통신모듈;

상기 수신된 신호에 따른 통화서비스를 제공하기 위해 각 서비스 동작모드로 신호를 제어하는 서비스제어모듈;

상기 제어된 신호에 따라 그에 해당하는 영상호 접속이 완료되고 영상통화가 개시되는 영상통화모듈; 및

상기 영상통화모듈로부터 주기적으로 착신자의 음성을 분석하여 착신자의 감정상태를 비주얼 데이터로 생성하는 감정상태분석모듈을 포함하는, 영상통화 시 상대방의 감정상태를 분석하여 표시하는 이통통신 서버.
제 1 항에 있어서, 상기 생성된 비주얼 데이터와 영상을 하나의 이미지로 통합하는 이미지 통합모듈을 더 포함하는, 영상통화 시 상대방의 감정상태를 분석하여 표시하는 이통통신 서버.
제 1 항에 있어서, 상기 서비스제어모듈에서 수신된 상기 신호는 영상통화 식별자 및 피쳐코드를 포함하는, 영상통화 중 상대방의 감정상태를 확인하여 표시하는 이동통신 서버.
제 1 항에 있어서, 상기 감정상태분석모듈은

주기적으로 착신자의 음성을 추출하여 음성분석기로 전송하는 음성추출모듈;

상기 추출된 착신자의 음성을 분석하여 착신자의 감정상태를 레벨화시키는 음성분석기;

상기 감정상태 레벨에 상응하는 데이터와 대응시켜 비주얼 데이터로 변환하는 데이터변환모듈을 포함하는, 영상통화 중 상대방의 감정상태를 확인하여 표시하는 이동통신 서버.
제 4 항에 있어서, 상기 감정상태분석모듈은 상기 영상통화모듈로부터 주기적으로 감정상태분석모듈의 동작 개시 신호 또는 감정상태분석모듈의 동작 중지 신호를 감지하여 제어하는 감정분석제어모듈을 더 포함하는, 영상통화 시 이를 녹화하여 관리하는 이통통신 서버.
제 4 항에 있어서, 상기 데이터변환모듈과 연동되며, 상기 감정상태 레벨에 상응하는 다수의 감정표현 컨텐츠들을 저장하고 있는 감정표현 컨텐츠 DB를 더 포함하는, 영상통화 시 상대방의 감정상태를 분석하여 표시하는 이통통신 서버.
제 1 항 내지 제 6항에 있어서,

상기 영상통화모듈 및 상기 음성분석기로부터 주기적으로 전송된 신호를 종합적으로 분석한 후 상기 감정표현 컨텐츠 DB로부터 그에 상응하는 컨텐츠를 채택하는 통화내용분석모듈; 및

상기 채택된 컨텐츠에 따라 멀티미디어 메시지를 생성하는 메시지 생성 모듈을 더 포함하는, 영상통화 시 상대방의 감정상태를 분석하여 표시하는 이통통신 서버.
제 1항 내지 제 7항에 있어서, 영상통화 중 사용된 모든 서비스는 인터넷 망을 통하여 웹서버로 실시간으로 전송하는, 영상통화 시 상대방의 감정상태를 분석하여 표시하는 이통통신 서버.
이동통신망을 통하여 발신 단말기로부터 발신된 신호를 수신하는 단계;

상기 수신 신호에 포함된 영상통화 식별자 및 피쳐코드를 식별하여 그에 따른 통화서비스를 제공하기 위한 서비스 동작모드로 신호를 제어하는 단계;

상기 제어된 신호에 따라 해당 영상호 접속이 완료되고 영상통화가 개시되는 단계;

상기 제어된 신호에 따라 주기적으로 착신자의 음성을 분석하여 착신자의 감정상태를 비주얼 데이터로 생성하는 단계; 및

상기 영상과 상기 생성된 비주얼 데이터를 발신 단말기로 각각 전송하는 단계를 포함하는, 영상통화 시 상대방의 감정상태를 분석하여 표시하는 방법.
제 9 항에 있어서, 영상통화 개시 이후 상기 개시된 영상통화로부터 주기적으로 감정상태분석모듈의 동작 개시 신호 또는 감정상태분석모듈의 동작 중지 신호 를 감지하여 제어하는 단계; 및

상기 제어된 신호에 따라 상기 감정상태분석모듈의 동작을 개시하거나 중지하는 단계를 더 포함하는, 영상통화 시 이를 녹화하여 관리하는 방법.
제 9 항에 있어서, 상기 생성된 비주얼 데이터와 영상을 하나의 이미지로 통합하는 단계; 및

상기 통합된 이미지를 발신 단말기로 전송하는 단계를 더 포함하는, 영상통화 시 상대방의 감정상태를 분석하여 표시하는 방법.
제 9 항에 있어서, 상기 비주얼 데이터 생성 단계는

주기적으로 착신자의 음성을 추출하여 음성분석기로 전송하는 단계;

상기 추출된 착신자의 음성을 분석하여 착신자의 감정상태를 레벨화시키는 단계; 및

상기 감정상태 레벨에 상응하는 데이터와 대응시켜 비주얼 데이터로 변환하는 단계를 포함하는, 영상통화 중 상대방의 감정상태를 확인하여 표시하는 이동통신 서버.
제 9 항에 있어서, 상기 데이터 변환 전 상기 감정상태 레벨값에 따라 감정상태 컨텐츠 DB로부터 그에 상응하는 컨텐츠를 대응시켜 변환하는 단계를 더 포함하는, 영상통화 시 상대방의 감정상태를 분석하여 표시하는 방법.
제 9 항에 있어서, 상기 데이터 변환 후 상기 감정상태 레벨값이 미리 설정된 감정상태값에 상응 또는 초과할 때마다에 그에 상응하는 멀티미디어 컨텐츠를 자동생성하여 착신자에게 전송하는 단계를 더 포함하는, 영상통화 시 상대방의 감정상태를 분석하여 표시하는 방법.
제 9 항에 있어서,

상기 영상통화 종료 후 주기적으로 전송된 영상통화 신호와 상기 감정상태 레벨에 기초하여 종합적으로 통화내용을 분석하는 단계;

상기 분석결과에 따라 감정표현 컨텐츠 DB로부터 그에 상응하는 컨텐츠를 채택하는 단계;

상기 채택된 컨텐츠에 따라 멀티미디어 메시지를 생성하는 단계; 및

상기 메시지를 발신자 단말기로 전송하는 단계를 더 포함하는, 영상통화 시 상대방의 감정상태를 분석하여 표시하는 방법.
제 9 항에 있어서, 영상통화 중 사용된 모든 서비스는 인터넷 망을 통하여 웹서버로 실시간으로 전송되는 단계를 더 포함하는, 영상통화 시 상대방의 감정상태를 분석하여 표시하는 방법.