KR20110068260A - 영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공 시스템 및 방법, 그 햅틱서버 - Google Patents

영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공 시스템 및 방법, 그 햅틱서버 Download PDF

Info

Publication number
KR20110068260A
KR20110068260A KR1020090125126A KR20090125126A KR20110068260A KR 20110068260 A KR20110068260 A KR 20110068260A KR 1020090125126 A KR1020090125126 A KR 1020090125126A KR 20090125126 A KR20090125126 A KR 20090125126A KR 20110068260 A KR20110068260 A KR 20110068260A
Authority
KR
South Korea
Prior art keywords
voice
terminal
haptic
data
information
Prior art date
Application number
KR1020090125126A
Other languages
English (en)
Inventor
김현욱
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020090125126A priority Critical patent/KR20110068260A/ko
Publication of KR20110068260A publication Critical patent/KR20110068260A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/20—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/18—Service support devices; Network management devices
    • H04W88/184—Messaging devices, e.g. message centre

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공 시스템 및 방법, 그 햅틱서버에 관한 것으로서, 제1단말기와 제2단말기의 영상통화 수행 시 제1 단말로부터 전송되는 동영상데이터를 수집하여 음성데이터를 추출한 후, 음성데이터를 분석하여 분석결과에 따라 제1단말기 사용자의 감정상태를 나타내는 햅틱컨텐츠를 추출하고, 이를 제2단말기로 전송함으로써, 제2단말기 사용자가 제1단말기 사용자의 감정상태를 명확하게 확인할 수 있도록 하는 효과가 있다.
영상통화, 화상통화, 감정상태, 햅틱컨텐츠, 음성데이터

Description

영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공 시스템 및 방법, 그 햅틱서버{System and Method for Providing of Haptic Contents using Audio Data in Video Telephony, and Haptic Server}
본 발명은 햅틱컨텐츠를 제공하는 방법에 관한 것으로, 특히, 제1 단말과 제2 단말의 영상통화 수행 시 제1 단말로부터 수신된 동영상데이터에 포함된 음성데이터를 분석하여 분석결과에 따라 추출된 햅틱컨텐츠를 제2 단말로 전송하는 영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공 시스템 및 방법, 그 햅틱서버에 관한 것이다.
이동통신 기술이 발전함에 따라 대용량의 데이터를 고속으로 전송할 수 있는 이동통신망이 구축되면서, 기존의 음성통화 서비스에만 국한되었던 통화 서비스를 탈피하여 통화자 간에 얼굴을 보면서 통화를 수행할 수 있는 영상통화 서비스의 제공이 가능하게 되었다.
또한, 이러한 영상통화 서비스의 활성화를 위해 이동통신 사업자들은 영상통화 시 영상데이터에 아이콘 등의 이미지를 삽입시킬 수 있도록 하여 영상통화를 이용하는 사용자들의 감정상태를 보다 재미있고 명확하게 확인할 수 있도록 하는 서 비스를 제공한다.
일반적으로, 현재 감정상태를 나타내는 서비스는 사용자들이 자신의 감정상태를 나타내는 아이콘 등의 이미지를 선택하여 영상데이터에 삽입하거나, 사용자의 음성데이터를 분석하여 분석결과에 대응되는 이미지를 영상데이터에 삽입하는 방식을 사용한다.
그러나 상기와 같은 방식은 단순히 아이콘 등의 이미지만을 이용하여 사용자의 감정상태를 나타내기 때문에 사용자의 감정상태 명확하게 표현할 수 없는 문제점이 발생한다.
이러한 상기한 종래의 문제점을 해결하기 위해 제안된 것으로서, 영상통화 중에 동영상데이터에서 음성데이터를 추출한 후, 음성데이터를 분석하여 분석결과에 따라 햅틱컨텐츠를 상대방에게 전달하는 영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공 시스템 및 방법, 그 햅틱서버를 제공하는 데 그 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공 시스템은, 상기 네트워크를 통해 제2단말기와 영상통화를 수행 중인 상기 제1단말기로부터 동영상데이터를 수집하면 상기 동영상데이터에서 음성데이터를 추출하고, 상기 음성데이터를 분석하여 상기 제1단말기 사용자의 감정상태를 인식한 후, 상기 감정상태를 나타내는 햅틱컨텐츠를 추출하여 상기 네트워크를 통해 전송하는 햅틱서버 및 상기 햅틱서버로부터 상기 추출된 햅틱컨텐츠를 수신하면 출력장치를 통해 상기 동영상데이터와 함께 출력을 하는 제2단말기를 포함한다.
상기와 같은 목적을 달성하기 위한 본 발명의 햅틱서버는, 네트워크를 통해 제1단말기 또는 제2 단말기와 데이터 송수신을 위한 통신부, 햅틱컨텐츠를 저장하는 저장부, 상기 네트워크를 통해 상기 제2단말기와 영상통화를 수행 중인 상기 제1단말기로부터 상기 통신부를 통해 동영상데이터를 수집하면 상기 동영상데이터에서 음성데이터를 추출하고, 상기 음성데이터를 분석하여 상기 제1단말기의 사용자 감정상태를 인식한 후, 상기 저장부에서 상기 감정상태를 나타내는 햅틱컨텐츠를 추출하여 상기 통신부를 통해 상기 제2단말기로 전송하는 제어부를 포함한다.
본 발명의 햅틱서버에 있어서, 상기 제어부는, 상기 음성데이터로부터 음성의 세기, 속도 또는 주파수 정보 중 적어도 하나를 포함하는 음성정보를 추출하고, 기 설정된 음성설정정보와 비교하여 상기 감정상태를 인식하는 것을 특징으로 한다.
본 발명의 햅틱서버에 있어서, 상기 제어부는, 상기 제1단말기로부터 제1단말기가 평상시 사용자의 음성을 받아 생성한 음성설정데이터를 수신하면 상기 제1단말기 사용자의 음성설정정보를 추출하여 저장한 후, 상기 음성데이터로부터 음성의 세기, 속도 또는 주파수 정보 중 적어도 하나를 포함하는 음성정보를 추출하고, 상기 음성설정정보와 비교하여 상기 감정상태를 인식하는 것을 특징으로 한다.
본 발명의 햅틱서버에 있어서, 상기 제어부는, 상기 음성데이터로부터 추출한 음성정보를 상기 음성설정정보와 평균값을 계산하여 상기 음성설정정보를 갱신하는 것을 특징으로 한다.
본 발명의 햅틱서버에 있어서, 상기 제어부는, 상기 제1단말기 식별정보를 상기 음성설정정보와 함께 상기 저장부에 저장하고, 상기 음성데이터로부터 상기 음성정보를 추출하면 상기 제1단말기 식별정보를 참조해 상기 음성설정정보와 비교하는 것을 특징으로 한다.
본 발명의 햅틱서버에 있어서, 상기 주파수 정보는 음성의 주파수 파형, 주기, 진폭을 포함하는 정보인 것을 특징으로 한다.
본 발명의 햅틱서버에 있어서, 상기 제어부는, 상기 음성데이터를 분석하고, 상기 제1 단말 사용자의 감정상태가 변화됨을 인식하면, 상기 변화된 감정상태를 나타내는 햅틱컨텐츠를 재추출하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공 방법은, 햅틱서버가 네트워크를 통해 영상통화를 수행 중인 제1 단말로부터 동영상데이터를 수신하는 수신단계, 상기 햅틱서버가 상기 동영상데이터에서 음성데이터를 추출하는 추출단계, 상기 햅틱서버가 상기 음성데이터를 분석하여 상기 제1 단말 사용자의 감정상태를 인식하는 인식단계, 상기 햅틱서버가 상기 인식된 사용자의 감정상태를 나타내는 햅틱컨텐츠를 추출하여 제2 단말로 전송하는 전송단계를 포함한다.
본 발명의 영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공 방법에 있어서, 상기 인식단계는, 상기 햅틱서버가 상기 음성데이터로부터 음성의 세기, 속도 또는 주파수 정보 중 적어도 하나를 포함하는 음성정보를 추출하고, 기 설정된 음성설정정보와 비교하여 상기 음성데이터를 분석하는 것을 특징으로 한다.
본 발명의 영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공 방법은, 상기 수신단계이전에, 상기 햅틱서버가 상기 제1단말기로부터 제1단말기가 평상시 사용자의 음성을 받아 생성한 음성설정데이터를 수신하면, 상기 제1단말기 사용자의 음성설정정보를 저장하는 설정단계를 더 포함하고, 상기 인식단계는, 상기 햅틱서버가 상기 음성데이터로부터 음성의 세기, 속도 또는 주파수 정보 중 적어도 하나를 포함하는 음성정보를 추출하고, 상기 음성설정정보와 비교하여 상기 감정상태를 인 식하는 것을 특징으로 하는 영상통화 시 음성데이터를 이용하는 것을 특징으로 한다.
본 발명의 영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공 방법은, 상기 인식단계 이후에, 상기 햅틱서버가, 상기 음성데이터로부터 추출한 음성정보를 상기 음성설정정보에 갱신하여 저장하는 갱신단계를 더 포함하는 것을 특징으로 한다.
본 발명의 영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공 방법에 있어서, 상기 주파수 정보는 음성의 주파수 파형, 주기, 진폭을 포함하는 정보인 것을 특징으로 한다.
본 발명의 영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공 방법에 있어서, 상기 전송단계는, 상기 인식단계에서 상기 햅틱서버가 상기 음성데이터를 분석하여 상기 제1 단말 사용자의 감정상태가 변화됨을 인식하면, 상기 햅틱서버가 상기 변화된 감정상태를 나타내는 햅틱컨텐츠를 재추출하는 것을 특징으로 하는 영상통화 시 음성데이터를 이용한 것을 특징으로 한다.
본 발명에 의하면, 영상통화 수행 중에 동영상데이터에서 음성데이터를 분석하여 분석결과에 따라 햅틱컨텐츠를 상대방에게 전달함으로써, 상대방이 사용자의 감정상태를 명확하게 확인할 수 있다.
또한, 본 발명은 사용자의 감정상태를 햅틱컨텐츠로 출력하도록 함으로써, 사용자에게 더욱 재미있는 영상통화 서비스를 제공할 수 있는 이점이 있다.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다.
본 명세서에 있어서 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는, 직접 데이터 또는 신호를 전송할 수 있으며 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 전송할 수 있음을 의미한다.
도 1은 본 발명의 제1 실시예에 따른 영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공 시스템의 구성도이다. 도 1을 참조하면, 본 실시예의 햅틱컨텐츠 제공 시스템은 제1단말기(10), 햅틱서버(20), 제2단말기(30), 네트워크(40)를 포함하여 구성된다.
네트워크(40)는 제1단말기(10), 햅틱서버(20), 제2단말기(30)간의 데이터 전송, 정보 교환을 위한 데이터 통신망을 의미한다. 본 발명의 네트워크(40)는 인터넷, 인트라넷, 익스트라넷 또는 기타 널리 공지되었거나 향후 개발될 유선, 무선 또는 이들의 결합망을 포함한다.
제1단말기(10), 제2단말기(30)는 네트워크(40)를 이용하여 데이터를 송수신할 수 있는 컴퓨터 등의 장비를 의미한다. 본 발명의 제1단말기(10), 제2단말기(30)는 PC(Personal Computer), 가전기기, 이동통신기기 등 현재 개발되어 상용화되었거나 향후 개발될 모든 장비를 포함하는 개념으로 해석되어야 한다.
본 발명의 제1단말기(10) 및 제2단말기(30)는 특히 영상통화가 가능하도록 카메라 등의 장치를 구비하고 있는 단말기를 말한다.
한편, 본 발명의 제1단말기(10)는 발신단말기를, 제2단말기(30)는 착신단말기를 일컫는 것은 아니며, 제1단말기(10)는 통화 중 햅틱컨텐츠를 전송하고자 하는 단말기를 말하며, 제2단말기(30)는 통화 중 햅틱컨텐츠를 수신하는 단말기를 말한다.
햅틱서버(20)는 본 발명에 따른 영상통화 시 음성데이터를 이용한 햅틱컨텐츠를 제공하는 서비스를 구현하기 위해 제1단말기(10) 또는 제2단말기(30)와 네트워크(40)로 연결되는 서버이다.
본 발명의 햅틱서버(20)는 제1단말기(10)와 제2단말기(30)가 영상통화를 수행할 때, 제1단말기(10)로부터 제2단말기(30)로 전송되는 동영상데이터를 스니퍼(sniffer)한다. 즉, 동영상데이터는 제1단말기(10)와 제2단말기(30)가 영상통화를 수행하기 위해 카메라 등의 장치로 입력 받는 데이터를 말하며, 햅틱서버(20)는 제1단말기(10)로부터 제2단말기(30)로 전송되는 동영상데이터의 패킷을 엿보고, 이를 가로채어 수집한다.
이때, 제1단말기(10)와 제2단말기(30)가 영상통화를 수행하기 전에 제1단말 기(10)의 입력장치 등을 통해 제1단말기(10)의 사용자의 입력을 받아 햅틱서버(20)로 동영상데이터의 스니퍼를 허용하는 제어신호를 전송하여 햅틱서버(20)가 제1단말기(10)로부터 전송되는 동영상데이터를 수집할 수 있으며, 또한 제1단말기(10)와 제2단말기(30)가 영상통화를 수행하는 도중에 제1단말기(10)의 입력장치 등을 통해 제1단말기(10)의 사용자의 입력을 받아 햅틱서버(20)로 제어신호를 전송하여 햅틱서버(20)가 제1단말기(10)로부터 전송되는 동영상데이터를 수집할 수도 있다.
햅틱서버(20)는 수집한 동영상데이터에서 음성데이터를 추출하고, 추출한 음성데이터로부터 제1단말기(10) 사용자의 음성정보를 추출한다.
음성정보는 음성의 세기, 속도, 주파수 정보 중 적어도 하나를 포함하는 정보로, 제1단말기(10) 사용자의 감정상태를 분석하기 위한 파라미터로 사용되는 정보이다.
또한, 음성설정정보는 제1단말기(10) 사용자의 감정상태를 인식하기 위해 음성정보의 비교 기준이 되는 정보를 말한다. 이는 default 값으로 일반적인 사용자의 음성을 기준으로 설정될 수 있으며, 또한 사용자마다 성대, 음색, 주파수 말할 때의 운율 등이 다르기 때문에 사용자 고유의 음성을 바탕으로 설정될 수도 있다.
음성의 세기 정보는 음성의 강도를 나타내며, 음성 속도 정보는 음성의 빠르기를 나타내는 정보이다.
또한, 음성의 주파수 정보는 주파수 파형, 주기, 진폭을 포함하는 정보로, 예를 들어 유성음 신호에서 가장 크기가 큰 신호에서 다음 크기가 큰 신호 또는 유사한 모양이 반복되는 주기를 말하는 피치(pitch), 사람의 성도(vocal tract)가 공 진시키는 일련의 주파수를 말하는 포만트 주파수(formant frequency) 등이 포함될 수 있으나, 이에 한정되는 것은 아니다.
햅틱서버(20)는 추출한 음성정보와 기 설정된 일반적인 사용자의 음성에서의 음성설정정보를 비교하여 차이가 존재하는 경우, 차이 값에 따라 제1단말기(10) 사용자의 감정상태, 즉 슬픔, 화남, 기쁨, 놀람 등을 인식한다.
이때, 제1단말기(10)의 사용자는 제2단말기(30)와 영상통화를 수행하는 것과는 무관하게 햅틱서버(20)에 접속하여, 자신만의 고유의 음성정보를 설정하기 위해 음성을 입력 받아 생성한 음성설정데이터를 햅틱서버(20)에 전송할 수 있으며, 이 경우 햅틱서버(20)는 수신한 음성설정데이터로부터 제1단말기(10) 사용자의 음성설정정보를 추출하여 내부에 저장하고, 제1단말기(10)와 제2단말기(30)가 영상통화를 수행 시, 제1단말기(10)로부터 수집한 동영상데이터에 포함된 음성데이터로부터 추출한 음성정보와 저장된 제1단말기(10) 사용자의 음성설정정보와 비교할 수도 있다.
또한, 햅틱서버(20)는 제1단말기(10)와 제2단말기(30)의 영상통화 시 추출한 음성정보와 default 값으로 혹은 사용자에 의하여 설정된 음성설정정보와 평균값을 계산하여 음성설정정보를 갱신하고, 이 후 제1단말기(10)가 영상통화를 재수행할 때 제1단말기(10)로부터 수집한 동영상데이터에 포함된 음성데이터로부터 추출한 음성정보와 갱신된 음성설정정보와 비교할 수도 있다.
햅틱서버(20)는 음성정보로부터 인지된 감정상태에 매핑되어 저장된 햅틱컨텐츠를 내부에서 추출하고, 제2단말기(30)로 전송한다.
이때, 음성정보와 음성설정정보와의 음성의 세기, 속도, 주파수의 차이 값이 기 설정된 임계치 이상으로 변화하여, 제1단말기(10) 사용자의 감정상태가 변화됨을 인식하는 경우, 변화된 감정상태를 나타내는 햅틱컨텐츠를 재추출하여 제2단말기(30)로 전송할 수 있다.
햅틱컨텐츠는 제2단말기(30)로 출력되는 컨텐츠로, 제2단말기(30)의 사용자가 촉각을 통해 인지할 수 있는 컨텐츠라면 모두 포함된다.
제2단말기(30)는 햅틱컨텐츠를 수신하면 이를 출력하고, 제2단말기(30)의 사용자는 제1단말기(10) 사용자의 감정상태에 따른 햅틱컨텐츠가 출력되면 이를 인지하게 된다.
도 2는 본 발명의 제1 실시예에 따른 햅틱서버(20)의 구성도이다. 도 1 및 도 2를 참조하면, 본 실시예의 햅틱서버(20)는 통신부(21), 저장부(23), 제어부(25)를 포함하여 구성된다.
통신부(21)는 네트워크(40)를 매개로 제1단말기(10) 또는 제2단말기(30)와 데이터 송수신을 수행하기 위한 인터페이스를 가진다.
저장부(23)는 제1단말기(10) 사용자의 감정상태와 매핑되는 햅틱컨텐츠를 저장한다. 또한, 음성설정정보와 제1단말기(10)의 식별정보를 저장할 수 있다.
본 발명의 제어부(25)는 제1단말기(10)와 제2단말기(30)가 영상통화를 수행할 때, 제1단말기(10)로부터 제2단말기(30)로 전송되는 동영상데이터를 스니퍼(sniffer)한다. 즉, 제어부(25)는 제1단말기(10)로부터 제2단말기(30)로 전송되는 동영상데이터의 패킷을 엿보고, 이를 가로채어 수집한다.
이때, 제어부(25)는 제1단말기(10)와 제2단말기(30)가 영상통화를 수행하기 전 또는 제1단말기(10)와 제2단말기(30)가 영상통화를 수행하는 도중에 제1단말기(10)로부터 제어신호를 수신하여 제1단말기(10)로부터의 동영상데이터를 수집할 수도 있다.
제어부(25)는 수집한 동영상데이터에서 음성데이터를 추출하고, 추출한 음성데이터로부터 제1단말기(10) 사용자의 음성의 세기, 속도 또는 주파수 정보 중 적어도 하나를 포함하는 사용자의 음성정보를 추출한다.
제어부(25)는 추출한 음성정보와 기 설정된 일반적인 사용자의 음성에서의 음성정보를 비교하여 차이가 존재하는 경우, 즉 음성 세기, 속도 또는 주파수 차이 값에 따라 제1단말기(10) 사용자의 감정상태, 즉 슬픔, 화남, 기쁨, 놀람 등을 인식한다.
이때, 제1단말기(10)의 사용자는 제2단말기(30)와 영상통화를 수행하는 것과는 무관하게 자신만의 고유의 음성정보를 설정하기 위해 음성을 입력할 수 있으며, 제어부(25)는 통신부(21)를 통해 제1단말기(10)로부터 제1단말기(10)가 사용자 음성을 입력 받아 생성한 음성설정데이터를 수신하면, 제1단말기(10) 사용자의 음성설정정보를 추출하여 저장부(23)에 저장하고, 제1단말기(10)와 제2단말기(30)가 영상통화를 수행 시, 제1단말기(10)로부터 수집한 동영상데이터에 포함된 음성데이터로부터 추출한 음성정보와 저장된 제1단말기(10) 사용자의 음성설정정보와 비교할 수도 있다.
또한, 제어부(25)는 제1단말기(10)와 제2단말기(30)의 영상통화 시 추출한 음성정보와 default 값으로 혹은 사용자에 의하여 설정된 음성설정정보와 평균값을 계산하여 음성설정정보를 갱신하고, 이 후 제1단말기(10)가 영상통화를 재수행할 때 제1단말기(10)로부터 수집한 동영상데이터에 포함된 음성데이터로부터 추출한 음성정보와 갱신된 음성설정정보와 비교할 수도 있다. 이와 같이 계속적으로 제1단말기(10)의 사용자의 음성정보를 누적하여 평균값을 계산해 갱신하고, 갱신한 음성설정정보와 영상통화 시 추출한 음성정보와 비교함으로써, 제1단말기(10)의 사용자의 음성을 이용해 감정상태를 보다 정확하게 인식할 수 있게 된다.
한편, 제어부(25)는 MIN(Mobile Identification Number), ESN(Electronic Serial Number)와 같은 해당 단말기의 고유 식별자(terminal identifier)를 나타내는 제1단말기(10)의 식별정보를 인지하여 제1단말기(10)의 음성설정정보와 함께 저장하고, 제1단말기(10)와 제2단말기(30)의 영상통화 중 수집한 동영상데이터에 포함된 음성데이터로부터 음성정보를 추출하면, 제1단말기(10)의 식별정보를 참조하여 음성설정정보와 비교할 수도 있다.
제어부(25)는 음성정보로부터 인지된 감정상태에 매핑되어 저장된 햅틱컨텐츠를 저장부(23)에서 추출하고, 통신부(21)를 통해 제2단말기(30)로 전송한다.
이때, 음성정보와 음성설정정보와의 음성의 세기, 속도, 주파수의 차이값이 기 설정된 임계치 이상으로 변화하여, 제1단말기(10) 사용자의 감정상태가 변화됨을 인식하는 경우, 변화된 감정상태를 나타내는 햅틱컨텐츠를 재추출하여 제2단말기(30)로 전송할 수 있다.
도 3은 본 발명의 제1 실시예에 따른 영상통화 시 음성데이터를 이용한 햅틱 컨텐츠 제공 방법을 나타내는 흐름도이다. 도 1 및 도 4를 참조하면, 제1단말기(10)와 제2단말기(30)는 영상통화를 수행한다(S31).
단계(S31)에서 제1단말기(10)와 제2단말기(30)가 영상통화를 수행하는 중에, 햅틱서버(20)는 제1단말기(10)로부터 제2단말기(30)로 전송되는 동영상데이터를 스니퍼(sniffer)하며, 즉 햅틱서버(20)는 제1단말기(10)로부터 제2단말기(30)로 전송되는 동영상데이터의 패킷을 엿보고, 이를 가로채어 수집한다(S33).
이때, 햅틱서버(20)는 제1단말기(10)와 제2단말기(30)가 영상통화를 수행하기 전 또는 제1단말기(10)와 제2단말기(30)가 영상통화를 수행하는 도중에 제1단말기(10)로부터 제어신호를 수신하여 제1단말기(10)로부터의 동영상데이터를 수집할 수도 있다.
단계(S33)에서 동영상데이터를 수집한 햅틱서버(20)는 동영상데이터에서 음성데이터를 추출한다(S35).
단계(S35)에서 음성데이터를 추출한 햅틱서버(20)는 음성데이터로부터 제1단말기(10) 사용자의 음성의 세기, 속도, 주파수 정보 중 적어도 하나를 포함하는 사용자의 음성정보를 추출한다(S37).
단계(S37)에서 음성정보를 추출한 햅틱서버(20)는 기 설정된 일반적인 사용자의 음성의 세기, 속도, 주파수 정보 중 적어도 하나를 포함하는 음성정보와 비교한다(S39).
이때, 햅틱서버(20)는 제1단말기(10)와 제2단말기(30)의 영상통화 시 추출한 음성정보와 default 값으로 설정된 음성설정정보와 평균값을 계산하여 음성설정정 보를 갱신하고, 이 후 제1단말기(10)가 영상통화를 재수행할 때 제1단말기(10)로부터 수집한 동영상데이터에 포함된 음성데이터로부터 추출한 음성정보와 갱신된 음성설정정보와 비교할 수도 있다.
또한, 햅틱서버(20)는 음성설정정보를 갱신할 때, 제1단말기(10)의 식별정보를 인지하여 제1단말기(10)의 음성설정정보와 함께 저장하고, 제1단말기(10)와 제2단말기(30)의 영상통화 중 수집한 동영상데이터에 포함된 음성데이터로부터 음성정보를 추출하면, 제1단말기(10)의 식별정보를 참조하여 음성설정정보와 비교할 수도 있다.
단계(S39)에서 음성 정보의 차이값에 따라, 제1단말기(10) 사용자의 감정상태, 즉 슬픔, 화남, 기쁨, 놀람 등을 인식한다(S41).
단계(S41)에서 제1단말기(10) 사용자의 감정상태를 인식한 햅틱서버(20)는 제1단말기(10) 사용자의 감정상태에 매핑되어 저장된 햅틱컨텐츠를 내부에서 추출한다(S43).
이때, 음성정보와 음성설정정보와의 음성의 세기, 속도, 주파수의 차이값이 기 설정된 임계치 이상으로 변화하여, 제1단말기(10) 사용자의 감정상태가 변화됨을 인식하는 경우, 변화된 감정상태를 나타내는 햅틱컨텐츠를 재추출할 수도 있다.
단계(S43)에서 햅틱컨텐츠를 추출한 햅틱서버(20)는 햅틱컨텐츠를 네트워크를 통해 제2단말기(30)으로 전송한다(S45).
단계(S45)에서 햅틱컨텐츠를 수신한 제2단말기(30)는 햅틱컨텐츠를 출력하고(S47), 제2단말기(30) 사용자는 제1단말기(10) 사용자의 감정상태에 따른 햅틱컨 텐츠를 인지하게 된다.
도 4는 본 발명의 제2 실시예에 따른 음성정보를 설정한 경우 영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공 방법을 나타내는 흐름도이다.
제1단말기(10)는 제1단말기(10)사용자의 음성의 세기, 속도 또는 주파수 정보 중 적어도 하나를 포함하는 음성정보를 설정하기 위해, 제1단말기(10) 사용자로부터 마이크 등 음성입력장치를 통해 음성을 입력 받는다(S51).
단계(S51)에서 음성을 입력 받은 제1단말기(10)는 음성설정데이터를 생성하여 햅틱서버(20)로 전송한다(S53).
단계(S53)에서 제1단말기(10) 사용자의 음성설정데이터를 수신한 햅틱서버(20)는 음성설정데이터로부터 음성의 세기, 속도 또는 주파수 정보 중 적어도 하나를 포함하는 음성설정정보를 추출한다(S55).
단계(S55)에서 음성설정정보를 추출한 햅틱서버(20)는 내부에 저장한다(S57).
이때, 햅틱서버(20)는 제1단말기(10)의 식별정보를 인지하여 제1단말기(10)의 음성설정정보와 함께 내부에 저장할 수 있다.
단계(S59) 내지 단계(S65)는 도 3의 단계(S31) 내지 단계(S37)과 동일한 과정이므로 설명을 생략한다.
단계(S65)에서 음성정보를 추출한 햅틱서버(20)는 음성정보와 내부에 저장된 제1단말기(10) 사용자의 음성설정정보를 비교한다(S67).
이때, 햅틱서버(20)는 제1단말기(10)와 제2단말기(30)의 영상통화 시 추출한 음성정보와 제1단말기(10) 사용자에 의하여 설정된 음성설정정보와 평균값을 계산하여 음성설정정보를 갱신하고, 이 후 제1단말기(10)가 영상통화를 재수행할 때 제1단말기(10)로부터 수집한 동영상데이터에 포함된 음성데이터로부터 추출한 음성정보와 갱신된 음성설정정보와 비교할 수 있다.
또한, 제1단말기(10)의 식별정보를 참조하여 음성설정정보와 비교할 수도 있다.
단계(S69) 내지 단계(S73)는 도 3의 단계(S41) 내지 단계(S47)과 동일한 과정이므로 설명을 생략한다.
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것은 아니며, 기술적 사상의 범주를 일탈함 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
본 발명에 의하면 영상통화 시, 단말기기에 별도의 장치를 필요로 하지 않아 추가적인 비용 발생을 최소화한다. 특히, 영상통화를 하는 사용자가 증가하는 추세를 감안하면, 본 발명의 사용자의 음성데이터를 분석하여 햅틱컨텐츠를 제공하는 방안은 그 활용도가 적지 않을 것이다.
도 1은 본 발명의 제1 실시예에 따른 영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공 시스템의 구성도이다.
도 2는 본 발명의 제1 실시예에 따른 햅틱서버의 구성도이다.
도 3은 본 발명의 제1 실시예에 따른 영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공 방법을 나타내는 흐름도이다.
도 4는 본 발명의 제2 실시예에 따른 음성정보를 설정한 경우 영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공 방법을 나타내는 흐름도이다.
<도면의 주요부분에 대한 설명>
10: 제1단말기 20: 햅틱서버
21: 통신부 23: 저장부
25: 제어부 30: 제2단말기
40: 네트워크

Claims (14)

  1. 네트워크를 통해 제2단말기와 영상통화를 수행 중인 제1단말기로부터 동영상데이터를 수집하면 상기 동영상데이터에서 음성데이터를 추출하고, 상기 음성데이터를 분석하여 상기 제1단말기 사용자의 감정상태를 인식한 후, 상기 감정상태를 나타내는 햅틱컨텐츠를 추출하여 상기 네트워크를 통해 전송하는 햅틱서버;
    상기 햅틱서버로부터 상기 추출된 햅틱컨텐츠를 수신하면 출력장치를 통해 상기 동영상데이터와 함께 출력을 하는 제2단말기;
    를 포함하는 것을 특징으로 하는 영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공 시스템.
  2. 네트워크를 통해 제1단말기 또는 제2 단말기와 데이터 송수신을 위한 통신부;
    햅틱컨텐츠를 저장하는 저장부;
    상기 네트워크를 통해 상기 제2단말기와 영상통화를 수행 중인 상기 제1단말기로부터 상기 통신부를 통해 동영상데이터를 수집하면 상기 동영상데이터에서 음성데이터를 추출하고, 상기 음성데이터를 분석하여 상기 제1단말기의 사용자 감정상태를 인식한 후, 상기 저장부에서 상기 감정상태를 나타내는 햅틱컨텐츠를 추출하여 상기 통신부를 통해 상기 제2단말기로 전송하는 제어부;
    를 포함하는 것을 특징으로 하는 햅틱서버.
  3. 제2항에 있어서, 상기 제어부는,
    상기 음성데이터로부터 음성의 세기, 속도 또는 주파수 정보 중 적어도 하나를 포함하는 음성정보를 추출하고, 기 설정된 음성설정정보와 비교하여 상기 감정상태를 인식하는 것을 특징으로 하는 햅틱서버.
  4. 제2항에 있어서, 상기 제어부는,
    상기 제1단말기로부터 상기 제1단말기가 평상시 사용자의 음성을 받아 생성한 음성설정데이터를 수신하면 상기 제1단말기 사용자의 음성설정정보를 추출하여 저장한 후, 상기 음성데이터로부터 음성의 세기, 속도 또는 주파수 정보 중 적어도 하나를 포함하는 음성정보를 추출하고, 상기 음성설정정보와 비교하여 상기 감정상태를 인식하는 것을 특징으로 하는 햅틱서버.
  5. 제3항 또는 제4항에 있어서,
    상기 제어부는, 상기 음성데이터로부터 추출한 상기 음성정보를 상기 음성설정정보와 평균값을 계산하여 상기 음성설정정보를 갱신하는 것을 특징으로 하는 햅틱서버.
  6. 제5항에 있어서, 상기 제어부는,
    상기 제1단말기 식별정보를 상기 음성설정정보와 함께 상기 저장부에 저장하 고, 상기 음성데이터로부터 상기 음성정보를 추출하면 상기 제1단말기 식별정보를 참조해 상기 음성설정정보와 비교하는 것을 특징으로 하는 햅틱서버.
  7. 제3항 또는 제4항에 있어서,
    상기 주파수 정보는 음성의 주파수 파형, 주기, 진폭을 포함하는 정보인 것을 특징으로 하는 햅틱서버.
  8. 제2항에 있어서, 상기 제어부는,
    상기 음성데이터를 분석하고, 상기 제1 단말 사용자의 감정상태가 변화됨을 인식하면, 상기 변화된 감정상태를 나타내는 햅틱컨텐츠를 재추출하는 것을 특징으로 하는 햅틱서버.
  9. 햅틱서버가 네트워크를 통해 영상통화를 수행 중인 제1 단말로부터 동영상데이터를 수신하는 수신단계;
    상기 햅틱서버가 상기 동영상데이터에서 음성데이터를 추출하는 추출단계;
    상기 햅틱서버가 상기 음성데이터를 분석하여 상기 제1 단말 사용자의 감정상태를 인식하는 인식단계;
    상기 햅틱서버가 상기 인식된 사용자의 감정상태를 나타내는 햅틱컨텐츠를 추출하여 제2 단말로 전송하는 전송단계;
    를 포함하는 것을 특징으로 하는 영상통화 시 음성데이터를 이용한 햅틱컨텐 츠 제공 방법.
  10. 제9항에 있어서, 상기 인식단계는,
    상기 햅틱서버가 상기 음성데이터로부터 음성의 세기, 속도 또는 주파수 정보 중 적어도 하나를 포함하는 음성정보를 추출하고, 기 설정된 음성설정정보와 비교하여 상기 음성데이터를 분석하는 것을 특징으로 하는 영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공 방법.
  11. 제9항에 있어서, 상기 수신단계이전에,
    상기 햅틱서버가 상기 제1단말기로부터 상기 제1단말기가 평상시 사용자의 음성을 받아 생성한 음성설정데이터를 수신하면, 상기 제1단말기 사용자의 음성설정정보를 저장하는 설정단계;를 더 포함하고,
    상기 인식단계는, 상기 햅틱서버가 상기 음성데이터로부터 음성의 세기, 속도 또는 주파수 정보 중 적어도 하나를 포함하는 음성정보를 추출하고, 상기 음성설정정보와 비교하여 상기 감정상태를 인식하는 것을 특징으로 하는 영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공 방법.
  12. 제10항 또는 제11항에 있어서, 상기 인식단계 이후에,
    상기 햅틱서버가, 상기 음성데이터로부터 추출한 상기 음성정보를 상기 음성설정정보에 갱신하여 저장하는 갱신단계;
    를 더 포함하는 것을 특징으로 하는 영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공방법.
  13. 제10항 또는 제11항에 있어서,
    상기 주파수 정보는 음성의 주파수 파형, 주기, 진폭을 포함하는 정보인 것을 특징으로 하는 영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공 방법.
  14. 제9항에 있어서, 상기 전송단계는,
    상기 인식단계에서 상기 햅틱서버가 상기 음성데이터를 분석하여 상기 제1 단말 사용자의 감정상태가 변화됨을 인식하면, 상기 햅틱서버가 상기 변화된 감정상태를 나타내는 햅틱컨텐츠를 재추출하는 것을 특징으로 하는 영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공 방법.
KR1020090125126A 2009-12-15 2009-12-15 영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공 시스템 및 방법, 그 햅틱서버 KR20110068260A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090125126A KR20110068260A (ko) 2009-12-15 2009-12-15 영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공 시스템 및 방법, 그 햅틱서버

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090125126A KR20110068260A (ko) 2009-12-15 2009-12-15 영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공 시스템 및 방법, 그 햅틱서버

Publications (1)

Publication Number Publication Date
KR20110068260A true KR20110068260A (ko) 2011-06-22

Family

ID=44400533

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090125126A KR20110068260A (ko) 2009-12-15 2009-12-15 영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공 시스템 및 방법, 그 햅틱서버

Country Status (1)

Country Link
KR (1) KR20110068260A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9819716B2 (en) 2015-12-15 2017-11-14 Line Corporation Method and system for video call using two-way communication of visual or auditory effect

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9819716B2 (en) 2015-12-15 2017-11-14 Line Corporation Method and system for video call using two-way communication of visual or auditory effect
US10182095B2 (en) 2015-12-15 2019-01-15 Line Corporation Method and system for video call using two-way communication of visual or auditory effect

Similar Documents

Publication Publication Date Title
CN104834847B (zh) 身份验证方法及装置
CN108182944A (zh) 控制智能终端的方法、装置及智能终端
JP6400445B2 (ja) 会話分析装置、会話分析システム、会話分析方法及び会話分析プログラム
CN108347512B (zh) 一种身份识别方法及移动终端
US9854439B2 (en) Device and method for authenticating a user of a voice user interface and selectively managing incoming communications
CN101789990A (zh) 一种在通话过程中判断对方情绪的方法及移动终端
CN104144108B (zh) 一种消息响应方法、装置及系统
CN107481721A (zh) 用于可穿戴电子设备的语音交互方法和可穿戴电子设备
CN108197572A (zh) 一种唇语识别方法和移动终端
CN102497481A (zh) 语音拨号方法、装置及系统
CN108877813A (zh) 人机识别的方法、装置和系统
CN107222629B (zh) 来电处理方法及相关产品
KR101376292B1 (ko) 통화 중 감정 분석 서비스 제공 방법 및 장치
WO2014013886A1 (ja) 情報処理装置、サーバ、情報処理方法、および情報処理システム
KR20200129772A (ko) 단말기, 서버 및 그것의 동작 방법
CN109561002A (zh) 家电设备的语音控制方法及装置
KR100965380B1 (ko) 이동통신망을 이용한 화상 통화 시스템 및 화상 통화 방법
CN109065017B (zh) 语音数据生成方法及相关装置
KR101337229B1 (ko) 영상통화 시 사용자의 감정상태 제공 시스템, 햅틱서버 및 방법
CN105554233B (zh) 一种去电提醒方法及终端
KR20110023524A (ko) 영상통화 중 감정 전달 시스템 및 방법
CN105100435A (zh) 移动通讯应用方法和装置
KR20110068260A (ko) 영상통화 시 음성데이터를 이용한 햅틱컨텐츠 제공 시스템 및 방법, 그 햅틱서버
KR101119867B1 (ko) 다중 감정 센싱 기반으로 사용자의 감정정보를 제공하는 장치
CN107154996B (zh) 来电拦截方法、装置、存储介质及终端

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application