KR100768666B1 - 화자에 따라 자연스럽게 동작하는 아바타를 이용한화상통화 방법 및 시스템 - Google Patents

Abstract

본 발명은 화자에 따라 자연스럽게 동작하는 아바타를 이용한 화상통화 방법 및 시스템에 관한 것으로서, 화상전화기를 이용한 통화 중 아바타 통화를 선택하는 경우, 상대방 화상전화기로 말을 하고 있지 않는 형태의 아바타 데이터를 호출하여, 상대방 화상전화기로 전송하는 전송단계와; 사용자의 음성과 상대방의 음성을 감시하고, 화자를 결정하는 화자결정단계와; 결정된 화자에 따라, 말을 듣고 있는 형태의 아바타 데이터를 호출하거나, 말을 하고 있는 형태의 아바타 데이터를 호출하여 상대방 화상전화기로 전송하는 아바타동작단계를 포함한다.

본 발명에 따르면 화자에 따라, 자연스럽게 동작하는 아바타를 이용한 화상 통화를 할 수 있게 된다.

아바타, 화상통화, 화상전화기, 화자감시

Description

화자에 따라 자연스럽게 동작하는 아바타를 이용한 화상통화 방법 및 시스템{Method and System of Video Phone Calling using Talker Sensitive Avata}

도1은 본 발명의 실시예에 따른 화자에 따라 동작하는 아바타를 이용한 화상통화 시스템의 연결상태를 나타낸 개념도.

도2는 화자에 따라 동작하는 아바타를 이용한 화상통화 시스템에 사용되는 화상전화기의 구성을 나타낸 구성도.

도3은 화자에 따라 동작하는 아바타를 이용한 화상통화 시스템의 아바타 동작 방법을 나타낸 순서도.

도4는 본 발명의 다른 실시예에 따른 화자에 따라 작동하는 아바타를 이용한 화상통화 시스템에 연결되는 아바타서버의 구성을 나타낸 구성도.

본 발명은 화자에 따라 자연스럽게 동작하는 아바타를 이용한 화상통화 방법 및 시스템으로서, 보다 상세하게는 화상통화가 가능한 전화기를 이용하여 전화통화를 하면서 실제 사용자의 화상 대신 아바타를 전송하고, 사용자의 음성과 상대방의 음성을 감시하고, 화자에 따라 자연스럽게 동작하는 아바타를 이용한 화상통화 방법 및 시스템에 관한 것이다.

앞서 등록한 아바타를 이용한 화상통화 방법은 아바타를 이용한 화상 통화시에 말을 하고 있지 않는 형태의 아바타를 전송하다가, 사용자가 말을 하면, 말을 하고 있는 형태의 아바타 데이터를 호출하여 전송하는 기술이었다.

하지만, 상대방이 말을 하는 동안, 사용자의 아바타는 단순히 말을 하고 있지 않은 형태의 아바타를 전송할 뿐, 적절히 제어되지 않아 아바타를 이용한 통화에 부자연스러움과 불편함이 있었다.

본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 화상전화기를 이용하여 전화통화를 하는 동안, 화자에 따라 말을 듣고 있거나 또는 말을 하고 있는 형태의 사용자 아바타가 상대방 화상전화기에 표시되도록 하는 화상통화 방법 및 시스템을 제공하는 것을 목적으로 한다.

상기한 문제점을 해결하기 위한 본 발명은 화자에 따라 자연스럽게 동작하는 아바타를 이용한 화상통화 방법으로서, 화상전화기를 이용한 통화 중 아바타 통화를 선택하는 경우, 말을 하고 있지 않는 형태의 아바타 데이터를 호출하여, 상대방 화상전화기로 전송하는 전송단계와; 사용자의 음성과 상대방의 음성을 감시하고, 화자를 결정하는 화자결정단계와; 화자에 따라, 말을 듣고 있는 형태의 아바타 데이터를 호출하거나, 말을 하고 있는 형태의 아바타 데이터를 호출하여 상대방 화상전화기로 전송하는 아바타동작단계를 포함한다.

여기서 상기 화자결정단계는 단순히 진폭이나 주파수의 변화를 감지하는 에너지 감지 기술이나, 보다 전문적인 음성작동감지(VAD) 기술 등을 이용할 수 있을 것이다.

이때, 사용자의 음성과 상대방의 음성이 동시에 감지되는 경우는 사용자를 현재의 화자로 결정하고, 말을 하고 있는 형태의 아바타를 전송하는 것을 특징으로 한다.

또한, 화자가 결정이 되는 경우, 화자의 음성을 다양한 음성 분석 기술을 이용하여, 분석함으로써, 아바타의 입술모양이나 말하는 형태 또는 듣는 형태를 좀더 세분화 할 수도 있을 것이다.

이러한 다양한 음성 분석 기술의 예로는 소리의 크기 또는 패턴 분석, 음소인식, 음성인식 등이 있을 것이다.

이하, 도면을 참조하여 본 발명의 실시예에 따른 화자에 따라 동작하는 아바타를 이용한 화상통화 방법 및 시스템을 설명한다.

실시예1

도1은 본 발명의 실시예에 따른 화자에 따라 자연스럽게 동작하는 아바타를 이용한 화상통화 시스템(이하 "화상통화 시스템"이라 함)의 연결상태를 나타낸 개념도이며, 이를 참조하여 설명한다.

화상통화 시스템은 다수의 화상전화기(100, 200), 아바타서버(300), 전화망(400)으로 이루어진다.

화상전화기(100, 200)는 발신자 화상전화기(100)와 수신자 화상전화기(200)로 나누어지며, 카메라를 통하여 사용자의 화상을 상대방 사용자에게 전달할 수 있는 모든 전화기를 의미한다. 즉, 일반 유선전화기, 이동통신 단말기, PDA 등의 모든 단말기가 포함될 수 있다.

아바타서버(300)는 다수의 아바타 데이터를 저장하여 사용자가 특정 아바타를 전송하도록 요청하면 상대방에게 전달한다.

전화망(400)은 일반 유무선 전화통신망을 모두 포함하며, 음성, 화상 또는 데이터 통신이 가능한 통신망을 의미한다.

도2는 화상통화 시스템에 사용되는 화상전화기의 구성을 나타낸 구성도이며, 이를 참조하여 설명한다.

화상전화기(100, 200)는 발신자측과 수신자측의 모든 단말기를 의미하며, 여기에서는 편의상 발신자측 단말기를 위주로 설명한다.

화상전화기(100)는 카메라(102), 마이크(104), 키패드(106), 화상 및 음성 혼합부(108), 아바타 출력부(110), 화자결정부(112), 아바타 DB(114), 제어부(116), 스피커(151), 음성 및 영상 처리부(153), 디스플레이장치(154) 를 포함한다.

카메라(102)는 사용자의 화상을 촬영하여 전기신호로 변환하는 장치이며, 화상전화기나 디지털 카메라에 일반적으로 사용되는 카메라이다.

마이크(104)는 사용자의 음성을 전기신호로 변환하는 장치이며, 전화기나 핸드폰 등에 일반적으로 사용되는 마이크이다.

키패드(106)는 숫자와 특수문자를 입력할 수 있는 장치이며, 사용자가 특정한 숫자나 문자를 누르면 이에 대응하는 전기적 신호를 발생하는 장치로서 전화기나 핸드폰 등에서 숫자를 입력하는데 사용되는 일반적인 키패드이다.

화상 및 음성 혼합부(108)는 제어부(116)의 요구 또는 아바타 데이터의 특성에 따라 카메라(102) 와 마이크(104)로부터 입력되는 사용자의 화상 및 음성을 아바타 출력부(110)에서 출력되는 아바타 이미지 및 소리 또는 음성과 적절히 혼합하거나 선택하여 전화망(400)을 통하여 전송할 수 있는 형태의 데이터로 변환시킨다.

아바타 출력부(110)는 제어부(116) 에 의해 요구된 아바타를 아바타 DB 로부터 호출하여, 화상 및 음성 혼합부(108) 로 출력한다.

화자결정부(112)는 마이크(104)를 통하여 입력되는 사용자의 음성이나 수신된 상대방의 음성을 감시하고 현재의 화자를 결정함으로써 제어부(116)가 이에 대응하는 아바타를 전송할 수 있도록 한다.

한편, 화자가 결정이 되면, 화자의 음성을 다양한 음성 분석 기술을 이용하여, 분석하고, 제어부(116)가 보다 세분화된 형태의 아바타를 전송하도록 할 수도 있을 것이다.

아바타 DB(114)는 사용자가 전송하려는 아바타에 대한 데이터를 저장한다. 여기에 저장되는 아바타에 대한 데이터는 사람이나 동물, 사물, 아이콘, 그림문자 등을 포함하며, 정지된 형태의 아바타와 움직이는 형태의 아바타를 모두 포함한다.

여기서, 아바타 데이터는 일반적으로 GIF 와 같은 애니메이션이 가능한 그림 데이터 형태이거나, 움직임이나, 모양 등을 담을 수 있는 벡터 또는 좌표 데이터 형태 등이 모두 가능할 것이다.

한편, 아바타 데이터는 소리 또는 음성을 포함할 수 있다. 예를 들어 말을 듣고 있는 형태의 아바타를 표시하면서 동시에 '으흥~, 아하~'와 같은 맞장구를 쳐주는 소리를 출력하면 사용자는 아바타만 보면서 통화를 하는 것보다 훨씬 친근감을 느낄 수 있게 될 것이다.

여기서, 아바타 데이터는 웹사이트 또는 PC 등을 통해 다양한 방식으로 다운로드 받을 수 있다.

제어부(116)는 화자결정부(112)에서 입력되는 신호와, 키패드(106)를 통하여 입력되는 신호를 바탕으로 특정 형태의 아바타를 표시하는 데이터를 출력할 것을 아바타 출력부(110)로 요구한다.

한편, 사용자는 화상통화를 하다가 또는 아바타 통화를 하다가 상호 변경할 수도 있다. 즉, 아바타를 표시하면서 통화를 하다가 키패드(106)의 조작을 통해 사용자의 화상을 전송할 수 있으며, 그 역의 방법도 가능하다.

또한 사용자의 화상과 아바타를 동시에 상대방 화상전화기에 표시하여 통화를 할 수도 있을 것이다.

이러한 조작은 키패드(106)를 통하여 입력되는 지정 명령을 제어부(116)에서 인식함으로써 구현할 수 있다.

스피커(151) 는 전기적 신호를 사람이 들을 수 있게 변환하는 장치이며, 일반적인 유무선 전화기의 스피커를 의미한다.

화상 및 음성 처리부(153) 은 상기 전화망으로부터 수신되는 데이터를 화상 및 음성 데이터로 변환한다.

디스플레이장치(154) 는 전기적 신호를 사람이 볼 수 있도록 변환하는 장치로써, 일반적인 유무선 화상 전화기의 액정화면 등을 의미한다.

도3은 화상통화 시스템의 아바타 동작 방법을 나타낸 순서도이며, 이를 참조하여 설명한다.

발신자가 화상전화기(100)를 이용하여 전화를 거는 경우, 화상통화를 할 것인지, 아바타를 이용한 통화를 할 것인지, 또는 화상기능을 제거하고 통화를 할 것인지를 선택할 수 있다.

발신자가 키패드(106)를 이용하여 아바타를 이용한 통화를 선택하는 경우,(S100) 제어부(116)는 아바타 DB(114)에 저장된 아바타에 대한 데이터 중에서 발신자가 선택할 수 있는 아바타의 목록을 제시한다.

발신자가 수신자 화상전화기(200)에 전송할 아바타를 선택하고,(S102) 특정 수신자의 전화번호를 입력하면 아바타를 이용한 화상통화가 개시된다.(S104)

통화가 개시되면 제어부(116)는 아바타 DB(114)에 저장된 다수의 아바타 데이터 중에서 말을 하고 있지 않는 형태의 아바타를 표시하는 아바타 데이터를 호출하도록 아바타 출력부(110)에 요구하고, 화상 및 음성 혼합부(108)는 아바타 출력부(110)로부터 출력된 말을 하고 있지 않는 형태의 아바타의 데이터를 수신자 화상전화기(200)로 전송하여, 수신자 화상전화기(200)에 아바타가 표시되도록 한다.(S106)

말을 하고 있지 않는 형태의 아바타란 정지된 형태 또는 입을 움직이지는 않지만 손가락을 까딱거리거나 가볍게 목을 움직이는 것과 같이 말을 하지 않는 상태에서 작은 동작을 하는 형태의 아바타를 말한다.

즉, 사용자에게 말을 하지는 않지만 계속 통화가 연결된 상태라는 것을 표시하기에 적당할 정도로 작은 움직임이 있는 아바타를 말하며, 이로 인하여 상대방도 통화가 계속되고 있다는 것을 인식할 수 있게 된다.

화자결정부(112)는 화상통화가 계속되는 도중에 마이크(104)를 통하여 발신자의 음성이나, 상대방의 음성이 수신되는지를 감시하고, 현재의 화자를 결정한다.(S107)

상기 화자결정부(112)에 의해 현재의 화자가 사용자로 결정된 경우, 제어부(116)는 아바타 DB(114)에 저장된 다수의 아바타 데이터 중에서 말을 하고 있는 형태의 아바타를 표시하는 아바타 데이터를 호출하고, 화상 및 음성 혼합부(108)는 호출된 말을 하고 있는 형태의 아바타의 데이터를 수신자 화상전화기(200)로 전송하여, 수신자 화상전화기(200)에 말을 하고 있는 형태의 아바타가 표시되도록 한다.(S108)

말을 하고 있는 형태의 아바타란 입을 움직이거나 또는 말을 하고 있음을 표현하는 동작을 하는 형태의 아바타를 말한다.

화자결정부(112)에 의해 현재의 화자가 상대방으로 결정된 경우, 제어부(116)는 아바타 DB(114)에 저장된 다수의 아바타 데이터 중에서 말을 듣고 있는 형태의 아바타를 표시하는 아바타 데이터를 호출하고, 화상 및 음성 혼합부(108)는 호출된 말을 듣고 있는 형태의 아바타 데이터를 수신자 화상전화기(200)로 전송하여, 수신자 화상전화기(200)에 말을 듣고 있는 형태의 아바타가 표시되도록 한다.(S109)

말을 듣고 있는 형태의 아바타란 가끔씩 고개를 끄덕이거나 귀를 기울이는 등의 동작을 통해 상대방의 얘기를 듣고 있음을 표현할 수 있는 형태의 아바타를 의미한다.

상기 말을 하고 있거나 듣고 있는 형태의 아바타는 다양한 모양으로 제작될 수 있는데, 화자결정부(112)에서 화자가 결정된 경우, 화자 음성의 크기나 변화를 일정한 단계로 분석하거나 분류하여 아바타의 모양을 제어할 수도 있을 것이다.

실시예2

도4는 본 발명의 다른 실시예에 따른 화자에 따라 동작하는 아바타를 이용한 화상통화 시스템에 연결되는 아바타서버의 구성을 나타낸 구성도이며, 이를 참조하여 설명한다.

전술한 화상전화기(100)에는 아바타에 대한 데이터를 저장하는 아바타 DB와 화자결정부 등이 하나로 구비되어 있어서, 별도의 서버나 장치를 통하지 않고도 이러한 아바타를 이용한 화상통화를 구현할 수 있었다.

그러나 이러한 구성요소를 화상전화기(100)가 아닌 전화망에 연결된 별도의 서버에 설치하여 본 서비스를 구현할 수도 있다.

이를 위해서는 별도의 아바타서버(300)가 필요하게 되는데, 아바타서버(300)는 웹서버모듈(310), 아바타제어모듈(320), 화자결정모듈(330), 아바타 DB(360)를 포함한다.

웹서버모듈(310)는 전화망(400)에 연결되어 화상전화기(100, 200)와 데이터 송수신을 가능하게 하는 브라우져를 제공한다.

아바타제어모듈(320)은 전술한 실시예에서의 제어부(116) 와 동일한 작용을 하며, 화자결정모듈(330)로부터 입력되는 신호에 따라, 미리 정해진 아바타에 대한 데이터를 호출하고, 이를 상대방 화상전화기로 전송 할 수 있게 한다.

화자결정모듈(330)은 전술한 실시예에서의 화자결정부(112)와 동일한 작용을 하며, 현재 화자를 결정하고, 미리 정해진 형태의 아바타를 전송할 수 있도록 하는 것으로서, 전술한 바와 같이 에너지 감지 기술이나, VAD 기술 등을 이용하여 구현할 수 있을 것이다.

아바타 DB(360)는 전술한 실시예에서의 아바타 DB(114)와 동일한 작용을 하며, 사용자가 전송하려는 아바타에 대한 데이터를 저장한다.

아바타서버(300)는 화상통화 개시시에 상대방 화상전화기에 말을 하고 있지 않는 형태의 아바타를 전송하여 표시하고, 화자가 결정되면, 이를 감지하여 자연스럽게 말을 듣거나 말을 하고 있는 형태의 아바타를 사용자의 화상 또는 음성과 적절히 혼합하거나, 선택하여 상대방 화상전화기로 전송하여 표시한다.

따라서 화상통화에 필요한 별도의 구성요소들을 화상전화기(100, 200)에 추가하지 않고도 아바타를 이용한 화상통화 시스템을 구축할 수 있게 된다.

이상에서 본 발명의 실시예에 따른 화자에 따라 자연스럽게 동작하는 아바타를 이용한 화상통화 방법 및 시스템을 설명하였으나, 본 발명의 권리범위는 이러한 실시예에 제한되지 않는다.

본 발명에 따르면 아바타 통화시에 사용자는 자신이 말을 하면, 말을 듣고 있는 형태의 상대방 아바타를 보게 되며, 상대방이 말을 하면, 말을 하고 있는 형태의 상대방 아바타를 보게 되므로, 보다 자연스럽게 반응하는 상대방 아바타를 보면서 화상통화를 즐길 수 있게 된다.

Claims (3)

1. 화상통화시 아바타를 전송하는 방법에 있어서,

   사용자의 음성과 상대방의 음성을 감시하고, 현재의 화자를 결정하는 화자결정단계와;

   화자가 결정되면, 말을 듣고 있는 형태의 아바타 데이터를 호출하거나, 말을 하고 있는 형태의 아바타 데이터를 호출하여 상대방 화상전화기로 전송하도록 제어하는 아바타동작단계;를

   포함하는 화자에 따라 자연스럽게 동작하는 아바타를 이용한 화상통화 방법
2. 제1항에 있어서,

   사용자의 음성과 상대방의 음성이 동시에 감지되는 경우, 말을 하고 있는 형태의 아바타 데이터를 호출하여 상대방 화상전화기로 전송하도록 제어하는 것을 특징으로 하는 화자에 따라 자연스럽게 동작하는 아바타를 이용한 화상통화 방법
3. 화상통화시 아바타를 전송하는 시스템에 있어서,

   사용자의 음성과 상대방 음성을 감시하고, 현재의 화자를 결정하는 화자결정부와;

   상기 화자결정부로부터 화자가 결정이 되면, 말을 듣고 있는 형태 또는 말을 하고 있는 형태의 아바타 데이터를 호출하도록 제어하는 제어부;를

   포함하는 화자에 따라 자연스럽게 동작하는 아바타를 이용한 화상통화 시스템

Images