KR100450319B1 - 가상 환경에서 참여자간의 의사전달 장치 및 방법 - Google Patents

Abstract

본 발명은 온라인 가상환경에서 참여자간의 의사소통에 관한 것으로, 특히 참여자간의 문자메시지로 의사소통 중에 특정인의 문자 메시지에 대해서는 문자 메시지를 고유의 음색을 가진 음성으로 변환하고, 음향효과를 추가하여 수신자의 스피커로 메시지를 재생하여 온라인 게임이나 채팅 등의 다양한 가상환경에서 사용자간 실감있는 의사를 전달할 수 있는 것이다.

본 발명은 네트워크의 부하는 문자메시지를 송수신할 때와 같으면서 사용자간에 온라인상에서 의사전달을 음성으로 할 수 있는 것으로, 사용자의 단말기로 수신한 문자메시지를 음성으로 변환하여 스피커로 출력하는 문자음성변환기를 사용하여 특정인의 문자데이터를 음성으로 변환하여 들을 수 있고, 메시지를 송신하는 사람과 수신하는 사람의 위치 관계를 고려한 3D 입체 음향 기술, 그리고 수신자가 현재있는 가상 공간의 환경을 이용한 음향 효과를 적용하여, 실제 전송자가 비슷한 환경에서 실제로 말로써 의사를 전달하는 것과 같은 효과를 낼 수 있으며, 보다 실감있고 참여자에 따라서 차별화된 의사전달을 할 수 있는 것이다.

Description

가상 환경에서 참여자간의 의사전달 장치 및 방법 {Apparatus and Method for Communication with Reality in Virtual Environments}

본 발명은 온라인 가상환경에서 참여자간의 의사소통에 관한 것으로, 특히 참여자간의 문자메시지로 의사소통 중에 특정인의 문자 메시지에 대해서는 문자 메시지를 고유의 음색을 가진 음성으로 변환하고, 음향효과를 추가하여 수신자의 스피커로 메시지를 재생하여 온라인 게임이나 채팅 등의 다양한 가상환경에서 네트워크의 부하는 영향을 주지 않으면서 사용자간에 실감있게 의사를 전달할 수 있는 가상환경에서 참여자간의 의사전달 장치 및 방법에 관한 것이다.

일반적으로 다수의 사용자가 참여하는 온라인 게임과 같은 가상공간에서 참여자들은 서로의 의사를 전달하기 위하여 키보드를 이용하여 문자열을 타이핑하고, 가상 공간 서버에서는 송신자가 입력한 문자열을 받아 현재 사용자를 볼 수 있는 주변의 다른 참여자에게 해당 문자열을 보내게 된다. 서버로부터 다른 사람의 메시지를 수신하면 해당 캐릭터의 특정 위치 또는 별도의 채팅 창에 수신된 문자 메시지를 표시하여 준다. 따라서 사용자는 문자 메시지를 보고 다른 사용자로부터 수신된 메시지를 알 수 있으며, 이러한 방법을 이용하여 참여자간의 의사 전달을 할 수 있게 된다.

그러나, 같은 가상 공간에 존재하는 사용자가 많을 경우, 각기 한마디씩만 하더라도 화면에는 전달하고자 하는 글자로 뒤덥히게 되고 사용자간에 의사 전달을 위한 문자 전송이 오히려 의사 전달을 방해할 수 있는 요소가 될 수 있으며, 모든 참여자는 문자 기반의 채팅 방법이라는 똑같은 의사 전달 수단을 사용하게 되어 자기의 친분 여하에 따른 의사 전달 방법에 차별화가 되지 않는 문제가 있다.

종래의 한국특허 공개번호 1998-038400 " 가상환경에서의 음성채팅 지원장치"는 서버-클라이언트 구조에서 음성 압축을 통한 메시지의 전달에 관한 것이다.

종래의 한국특허는 각자의 음성데이터를 다른 모든 사용자 장치에 전송하여야 하는데, 그에 따른 음성데이터의 처리량이 너무 많아 네트워크의 병목현상이 발생되는 문제점이 있다.

종래의 한국특허 출원번호 10-1999-0010989 "게임 전용 오디오 채팅 방법 및 장치"는 인터넷 게임을 하면서 같은 편끼리 의사소통이 가능하게 하는 오디오 채팅 방법으로, 메시지는 각각의 클라이언트에서 서버로 전달되고, 같은 그룹만으로 메시지를 선택적으로 전송하는 것이다. 네트워크의 부하가 감소하면서 참여자끼리 원활한 의사 소통이 가능하지만 음성데이터의 처리량이 너무 많아 네트워크의 병목현상이 발생하는 문제점이 있다.

종래의 한국특허 공개번호 2000-072831호 " 인터넷을 이용한 통화시스템:"은 서버를 통하여 접속하여 음성 전송의 효율성은 고려하지 않았으며, 중앙 서버를 통하여 음성통화, 대역폭에 관한 고려가 없는 문제점이 있다.

상술한 바와 같이, 종래의 네크워크로 음성을 이용한 의사 전달 방법은 네트웍의 대역폭이 많이 필요하다는 단점이 있으며, 자신의 목소리가 그대로 가상환경에 노출되게 되는 문제가 있다.

본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 네트워크의 부하는 변동이 없으면서 사용자간에 온라인 상에서 의사전달을 음성으로 할 수 있는 것으로, 사용자의 단말기로 수신한 문자메시지를 음성으로 변환하여 스피커로 출력하는 문자음성변환기를 사용하여 특정인의 문자데이터를 음성으로 변환하여 들을 수 있고, 메시지를 송신하는 사람과 수신하는 사람의 위치관계를 고려한 3D 입체 음향기술, 그리고 수신자가 현재있는 가상 공간의 환경을 이용한 음향 효과를 적용하여, 실제 전송자가 비슷한 환경에서 실제로 말로써 의사를 전달하는 것과 같은 효과를 낼 수 있으며, 보다 실감있고 참여자에 따라 차별화된 의사 전달을 할 수 있는 가상환경에서 참여자간의 의사전달 장치 및 방법을 제공하는 것을 그 목적으로 한다.

도 1 은 본 발명에 따른 사용자가 설정한 특정인의 문자메시지를 음성으로 송수신할 수 있는 장치의 구성도.

도 2 은 본 발명에서 송신측으로부터 문자메시지를 수신받아 음성메시지로 변환하여 처리하는 흐름도.

도 3은 문자메시지를 음성으로 변환하는 의사전달장치의 개략도.

<도면의 주요 부호에 대한 설명>

10, 12 : 단말기 14 : 인터넷망

16 : 서버 40 : 의사전달장치

42 : 문자메시지 수단 44 : 음소구분수단

46 : 문자음성변환수단 48 : 음성합성수단

50 : 음색생성수단 52 : 음향효과수단

상술한 목적을 달성하기 위한 본 발명은 네트웍으로 연결된 다수의 참여자가 가상공간에서 의사를 전달하는데 있어서, 다수의 송신자가 메시지를 문자로 입력하여 전송하는 단계, 수신자는 다수의 송신자 중에서 원하는 송신자의 문자메시지를 음성으로 변환하여 수신할 것을 선택하는 단계, 송신자의 문자메시지를 음성으로 변환하여 수신자는 스피커를 통하여 음성으로 수신하며 다른 참여자와는 문자로 메시지를 송수신하는 단계를 포함한다.

또한, 본 발명의 수신자는 원하는 송신자의 문자메시지를 음성으로 수신할 것을 선택하는 단계는, 송신자의 아이디를 선택하는 단계, 송신자의 가상음성을 설정하는 단계, 송신자의 가상위치를 파악하여 음악 등의 음향효과를 설정하는 단계를 포함한다.

또한, 본 발명은 설정한 사용자로부터 문자메시지를 수신하는 문자메시지 수신수단, 문자메시지 수신수단에서 송신자가 전송한 문자메시지를 음소단위로 구분하는 구분수단, 구분수단에서 음소단위로 구분된 문자별로 음성으로 변환하는 문자음성변환수단, 음성에 음악이나 효과음을 제공하는 음향효과 제공수단을 포함한다.

또한, 문자음성 변환수단은, 문자별로 변환된 음성을 어휘별로 합성하는 음성합성수단을 포함하며, 음향효과 제공수단은, 음성의 음색과 액센트, 억양을 제공하는 음색생성 수단을 포함한다.

이하, 본 발명의 실시 예를 첨부한 도면을 참조하여 상세히 설명한다.

도 1 은 본 발명에 따른 사용자가 가상환경 상에서 온라인 게임이나 채팅 등 다수의 사용자와 문자메시지를 송수신중에 사용자가 설정한 특정인의 문자메시지는 음성으로 송수신할 수 있는 시스템의 구성도이다.

구성은 스피커가 있는 단말기(10, 12)와 가상환경을 연결하는 인터넷(14)과 가상환경에서 인터넷 서비스를 제공하는 서버(16) 등으로 이루어진다.

사용자가 단말기(10)를 사용하여 인터넷(14)을 통하여 가상환경에서 게임이나 채팅을 실시를 한다. 채팅이나 게임의 제공은 서버(16)에서 이루어진다.

한편, 사용자가 단말기(10)를 사용하여 게임이나 채팅 등에서 문자메시지를 송수신 중에 사용자가 원하는 상대방의 문자메시지는 음성변환을 선택하면, 상대방이 보내는 문자메시지는 음성으로 변환하여 수신할 수 있는 것이다.

이 때 사용자의 단말기(10)에는 본 발명에 따른 문자를 음성으로 변환하고, 상대방의 음색을 설정, 위치에 따른 음향효과 등을 제공할 수 있는 의사전달장치가 구비되어 있다.

송신측에서는 메시지 입력을 위하여 키보드를 이용하여 문자메시지를 입력하면, 가상 공간 서버를 통해 송신측 메시지에 관련된 참여자에게 문자 형태의 메시지를 전송하게 된다. 수신측 단말기(12)에서는 메시지를 수신받아 송신자의 아이디에 따라 종래의 방식대로 문자메시지의 출력 여부를 결정하며, 음성으로 출력 여부를 결정하면 송신자의 고유의 음성으로 송신자와 수신자의 3D 위치 관계와 주변 환경을 고려하여 실감있는 음성으로 출력하게 된다.

이 때 가상환경내의 각 사용자는 메시지를 음성으로 재생하는 상대편 사용자의 아이디를 설정할 수 있으며, 음성으로 재생해야 되는 사용자의 아이디는 미리 데이터베이스로 서버 또는 사용자의 단말기(10, 12) 내에 가지고 있다. 또한, 각각의 사용자는 상대편이 재생되는 메시지의 음색만으로도 자신을 알 수 있게 하기 위해 음성 재생 시에 사용하는 고유의 음색 코드를 가지고 있어, 남자의 굵은 톤의 목소리, 여자의 소프라노 음성과 같은 고유의 음색 코드를 가질 수 있게 된다.

도 2는 본 발명에서 송신측으로부터 문자메시지를 수신 받아 음성메시지로 변환하여 처리하는 흐름도이다.

가상 환경 내에서 사용자가 게임이나 채팅 등을 실시 중에 상대방이 송신한 문자메시지를 수신하는 경우, 수신 메시지 블럭은 송신자의 고유 아이디와 송신하는 메시지에 대한 문자열로 구성된다(스텝 S20, S22).

수신자의 단말기(10)에서는 수신된 메시지에서 송신자의 아이디를 분리해 낸 뒤, 미리 정의된 음성 혹은 문자 출력 여부가 정의되어 있는 아이디 목록에서 송신자에 대한 출력 방법을 검색하게 된다(스텝 S24).

문자로 출력하는 아이디인 경우에는 종래의 채팅 방식과 마찬가지로 해당 캐릭터의 위나 별도의 메시지 창에 문자메시지를 출력한다(스텝 S26).

음성으로 출력이 저장된 아이디인 경우에는 송신자의 아이디를 이용하여 송신자의 고유 음색을 검색한다. 음색은 송신자가 남성, 여성과 굵은 목소리, 기계소리 등으로 설정을 한다. 한편, 송신자의 문자메시지를 음성으로 변환하는 아이디의 설정은 문자메시지를 송수신하는 중에도 설정이 가능하다(스텝 S28).

송신자의 문자 메시지를 문자음성변환기(Text-to-speech) 엔진에 송신자의 고유 음색 코드를 이용하여 음성으로 만든 다음 버퍼에 저장한다(스텝 S30).

그리고, 가상 공간내에서 송신자의 3차원 위치(X,Y,Z)를 검색한 다음, 자신의 위치로부터 상대적인 3차원 위치(X, Y, Z)를 계산해 낸다. 즉 게임 중일 경우 송신자와 수신자의 위치를 계산하는 것이다(스텝 S32, S34).

그리고, 버퍼에 저장된 송신자의 음성 메시지를 수신자의 위치를 기준으로 한 3D 입체음향으로 변환하고, 게임 중의 수신자의 위치가 동굴, 숲속 등에 있을 경우 수신자의 주변 환경에 따른 음향 효과를 적용하여 최종적으로 사용자의 스피커를 통해 출력하게 된다(스텝 S36, S38).

도 3은 본 발명에 따른 의사전달장치(40)의 개략도이다.

구성은 문자메시지 수신수단(52), 음소구분수단(44), 문자음성변환수단(46),음성합성수단(48), 음색생성수단(50), 음향효과수단(52)으로 이루어진다.

문자메시지 수신수단(52)은 설정한 송신자로부터 문자메시지를 수신하는 것이며, 음소구분수단(44)은 문자메시지 수신수단(52)에서 사용자가 전송한 문자메시지를 음성으로 변환시키기 위해 음소단위로 구분을 하는 것이다.

문자음성변환수단(46)은 음소단위로 구분된 문자를 음성으로 변환하는 것이며, 음성합성수단(48)은 문자별로 변환된 음성을 어휘별로 합성하여 말하는 것과 같은 음성을 합성을 한다.

또한, 음색생성수단(50)은 음성의 톤, 굵기 등의 음색과 액센트, 억양 등을 선택하여 사용할 수 있도록 제공하며, 음향효과 수단(52)은 게임이나 채팅 중에 사용자의 위치가 동굴, 숲속, 기타의 위치에 있을 경우에 적당한 음악이나 효과음을 제공하는 음향효과 수단(52)으로 이루어진다.

상술한 바와 같이, 본 발명은 문자음성변환기엔진의 방법에 따라 진행되는 것으로, 문자열을 음소 단위로 분할하고, 분할된 음소를 음파신호로 생성하고, 이를 스피커로 증폭하여 보내게 되며, 문자가 음성으로 재생되데 되는 것이다.

이상과 같이, 본 발명은 네트워크로 연결된 가상 환경에서 많은 참여자간의 문자메시지를 음성으로 변환하여 의사를 전달하는 것에 관한 것으로, 가상공간에서 많은 사용자가 문자메시지를 사용하여 의사를 전달할 경우 화면에 메시지 전달을 위한 문자가 너무 많아 식별이 어려워지는 문제가 발생될 수 있으나, 사용자의 선택에 따라 특정 사용자의 메시지는 문자메시지를 음성 합성에 의하여 음성으로 변환하여 메시지를 전달할 수 있으며, 나머지 사용자는 문자로 메시지를 송수신할 수 있는 것이다.

따라서, 참여자에 따라 가상공간에서의 의사소통을 문자와 음성으로 차별화를 기할 수 있으며, 자칫 스팸 메시지로 전락될 수 있는 문자메시지를 사용자의 선택에 따라 음성과 문자와 같은 우선순위를 두어 구분할 수 있는 장점이 있다.

또한, 사용자마다 음성재생을 위한 다양한 음성 합성 변수를 부여하여 사용자만의 음색으로 의사 전달을 할 수 있어 가상 공간에서 자신의 고유한 목소리를 가질 수 있으며, 가상 공간에서의 의사 전달이 쉽고 실감있게 이루어 질 수 있게 된다.

그리고, 상대방이 자신의 왼쪽에 있으며, 재생되는 음성 메시지도 왼쪽에서 재생되는 사용자의 위치를 고려한 3D 입체 음향 기술과 동굴, 거실 등 주변환경에 맞는 음향효과를 통해 가상 공간내에서의 메시지 전달이 실제 환경과 같은 실감을 제시하는 효과가 있다.

또한, 네트워크 상에서의 메시지 전달은 문자메시지로 전송이 이루어지므로 네트워크의 부하에는 거의 영향을 미치지 않으면서 음성으로 메시지를 들을 수 있는 실감있는 의사 소통이 가능한 장점이 있다.

Claims (6)

1. 삭제
2. 삭제
3. 네트웍으로 연결된 다수의 참여자가 가상공간에서 의사를 전달하기 위한 가상환경에서 참여자간의 의사소통 방법에 있어서,

   (a)다수의 송신자로부터 전송된 문자메시지를 수신하는 단계;

   (b)상기 다수의 송신자로부터 전송된 문자메시지 중에서 특정 송신자로부터 전송된 문자메시지를 음성메시지로 변환하는 단계; 및,

   (c)상기 음성메시지로 변환된 음성은 스피커로 출력하고, 다른 송신자와는 문자로 메시지를 송수신하는 단계를 포함하며,

   상기 (b)단계는,

   (d)상기 전송된 문자메시지가 음성으로 출력하고자 설정된 특정 송신자로부터 전송된 것인지 상기 송신자의 아이디를 판단하는 단계;

   (e)상기 특정 송신자의 아이디인 경우, 상기 전송된 문자메시지를 특정 송신자에 대응하는 가상음성으로 변환하는 단계; 및,

   (f)상기 송신자의 가상위치를 파악하여 음악 등의 음향효과를 상기 가상음성과 매칭시켜 출력하는 단계를 포함하며,

   상기 (f)단계는,

   상기 송신자의 3차원 위치검색을 한 다음, 상기 수신자의 위치로부터 상대적인 3차원 위치를 계산하여 상기 수신자의 위치를 기준으로 하는 3차원 입체음향으로 변환하는 것을 특징으로 하는 가상환경에서 참여자간의 의사소통 방법.
4. 삭제
5. 삭제
6. 삭제