KR20010091677A - 음성합성을 이용한 선택형 온라인 대화시스템의 구성 및운용방법 - Google Patents

Abstract

본 발명은 인터넷 및 온라인으로 연결되어진 네트워크 상에서 음성, 텍스트, 화상대화를 자유롭게 연결하여 시각장애자, 청각장애자, 언어장애자 들도 자유롭게 대화를 나눌 수 있고, 자동번역 서비스를 통하여 통역 없이 누구나 자유롭게 대화를 나눌 수 있는 음성합성을 이용한 선택형 온라인 대화시스템의 구성 및 운용방법을 제공한다. 본 발명의 온라인 대화시스템에 따르면, 사용자들이 온라인상에 서로 대화를 할 수 있도록 사용자의 접속을 연결하고 대화를 할 수 있도록 관리하여주는 인터넷상의 메인서버와, 사용자가 접속을 위해 사용하는 통신부가 포함된 전용 접속용 프로그램이 설치된 클라이언트로 구성된다.

Description

음성합성을 이용한 선택형 온라인 대화시스템의 구성 및 운용방법{selective on-line interactive system using voice synthesis and method therefore}

본 발명은 인터넷 등과 같은 네트워크 상에서의 대화 서비스 분야에 관한 것으로, 특히 음성합성을 이용한 선택형 온라인 대화시스템의 구성 및 운용방법에 관한 것이다.

기존의 인터넷 대화 서비스로는 채팅서비스, 인스턴트 메시지 서비스, 화상채팅, 일반전화로 연결하여 음성통화를 하는 인터넷폰 등 다양한 대화 서비스를 제공하고 있다. 하지만 이들 방법들은 다음과 같은 제약요소들을 가지고 있다.

즉, 채팅사이트나 인스턴트 메세지의 경우 문자대 문자로 같은 매개체의 통신만이 가능하고 시각장애자나 한글을 모르는 외국인과는 자유롭게 대화 할 수 없다는 단점을 가지고 있다. 화상채팅과, 음성채팅, 인터넷폰 같이 타이핑 없이 음성을 위주로 하는 서비스에서는 대화가 끊어지는 끊김 현상과 울림현상등 아직 대화의 부자연스러움과 청각장애자나 언어장애자, 한글을 모르는 외국인들과는 대화가 어렵고 온라인 회의같이 여러 사람이 업무나 학술적 목적을 가지고 회의나 토론을 하는 경우 대화에 대한 기록을 하기가 어렵다는 문제점을 가져왔다.

따라서, 본 발명의 목적은 상기한 종래의 단점 및 문제점을 보완하여 보다 효과적으로 대화를 할 수 있도록 온라인 대화시스템을 구축하여 대화가 가능한 사람이 전화나 컴퓨터로 서로 대화를 주고받을 수 있게 하는데 있다.

본 발명의 다른 목적은 이용자에게 음성대 문자, 문자대 음성 대화서비스를 제공하여 컴퓨터대 전화, 전화대 컴퓨터로 대화하도록 하는 시스템 및 운용방법을 제공함에 있다.

본 발명의 또 다른 목적은 대화내용을 텍스트로 변환하여 저장하는 기능을 제공하여 온라인 회의에서 별도로 회의록을 작성할 필요 없이 자동으로 저장되는 서비스를 제공함에 있다.

본 발명의 또 다른 목적은 영어, 일본어, 중국어, 불어등 외국어를 자동으로 번역하여 이용자가 별도의 통역 없이도 외국인과 대화할 수 있도록 제공하는데 있다.

본 발명의 또 다른 목적도 인터넷을 이용하는 웹상의 사용자들이 타국언어장애나, 시각장애, 청각장애, 언어장애를 가짐의 유무에 구애받음이 없이 모든 사용자들이 원활한 의사소통을 행할 수 있게 함에 의해 서로 대화가 가능하도록 하는 서비스를 제공할 수 있는 선택형 온라인 대화시스템 및 운용방법을 제공함에 있다.

상기한 목적을 달성하기 위한 본 발명의 온라인 대화시스템에 따르면, 사용자들이 온라인상에 서로 대화를 할 수 있도록 사용자의 접속을 연결하고 대화를 할 수 있도록 관리하여주는 인터넷상의 메인서버와, 사용자가 접속을 위해 사용하는 통신부가 포함된 전용 접속용 프로그램이 설치된 클라이언트로 구성된다. 상기 클라이언트에 설치된 접속전용 프로그램은 사용자의 음성을 텍스트로 변환하여 서버에 보내주고 서버에서 받은 텍스트 메세지를 다시 음성으로 변환하여 주는 음성문자변환부와 문자음성변환부로 구성되어진다.

또한, 인터넷망의 컴퓨터, 인터넷폰 등과 일반전화망으로 연결된 유선전화, 이동전화, 및 팩스 시스템과 연결된 메인서버로서의 선택형 온라인 대화시스템의 운용방법에 따르면, 대화관련 접속 프로그램을 설치한 클라이언트 컴퓨터로부터의 접속요구가 있을 경우에 회원가입여부를 확인후 로그인을 제공하는 단계와; 상기 클라이언트로부터 원하는 대화방이나 대화를 원하는 사용자의 주소나 아이디가 수신될 시 그에 대응되는 대화인을 찾아 연결을 행하는 단계와; 상기 클라이언트의화면상에 대화방법 선택 메뉴를 제공하여 음성으로 대화 할 것인지 텍스트로 대화 할 것인지, 또한, 화상연결과 대화내용을 기록할 것인지의 유무를 상기 클라이언트가 선택하도록 하는 대화옵션 선택 메뉴 제공단계와; 상기 클라이언트가 선택한 대화옵션 지정에 따라 대화를 제공하는 단계와; 대화의 종료요구시, 상기 클라이언트와 상기 상대 대화인간의 연결을 해제하고, 대화내용을 파일로 저장하여 사용자계정의 보관함에 보관하는 단계를 가짐을 특징으로 한다.

상기한 구성에 따르면, 어느 대화유형이나 서로 대화가 가능하므로 컴퓨터대 컴퓨터뿐만 아니라 컴퓨터대 전화로도 서로 대화가 가능하고 또한 자동번역 기능을 포함하므로 언어가 다른 외국인과의 대화도 자유롭게 할 수 있다. 또한, 손을 잘 사용하지 못하는 신체장애자나 사고로 손을 다친 환자의 경우도 음성문자변환을 통하여 음성으로 타이핑이 가능하기 때문에 음성대화 뿐만 아니라 문자대화도 자유롭게 할 수 있게 되는 것이다.

본 발명에 의한 음성대 음성의 대화의 경우 음성문자변환에 의하여 문자로 변환되고 암호화되고 압축되어 통신이 되므로 일반적인 방법으로 도청이 불가능하게 되므로 통신보안효과의 기능도 있다.

또한, 1:1 대화뿐만 아니라 여러 사람이 동시에 대화를 나눌 수 있어 온라인회의가 가능하고 사용자 선택에 의하여 대화의 내용이 자동으로 기록되므로 회의기록이 저장될 수 있다.

도 1은 본 발명에 따른 선택형 온라인 대화시스템의 전체 구성도

도 2는 도 1내의 음성문자변환부의 일 예를 보인 세부구성도

도 3은 도 1내의 문자음성변환부의 일 예를 보인 세부구성도

도 4는 본 발명의 실시예에 따른 통신유형의 구성도

도 5는 본 발명에 적용되는 통신망 연결 개요도

도 6은 본 발명에 따른 대화서비스의 동작흐름도

이하에서, 온라인으로 연결되어 대화를 이용하고자 하는 사용자의 컴퓨터나 전화; 사용자의 접속을 허락하고 대화서비스를 제공하는 온라인상의 대화시스템과, 사용자 유형에 맞는 맞춤형 대화를 실시간적으로 제공하는 음성합성을 이용한 운용방법에 관한 바람직한 실시예가 첨부된 도면들을 참조하여 상세히 설명된다.

먼저, 음성합성을 이용한 선택형 온라인 대화시스템의 블록구성을 도 1을 참조한다. 도면에서, 인터넷으로 사용자의 접속을 연결하여주는 웹서버(102), 회원으로 가입된 사용자의 정보가 저장되고 사용자가 접속시 사용자확인을 참조하게 되는 회원데이타베이스(104), 회원간에 음성과 문자메일의 송수신을 관리하는 메일관리부(106), 회원간에 음성, 문자, 화상으로 서로 대화할 수 있는 접속공간을 서비스하는 채팅부(108), 외국인과 대화 시에 자동으로 사용자의 국가언어로 번역하여주는 자동번역부(110), 회원간 대화 시에 사용자의 선택에 따라 대화내용을 문서로 기록하여 주는 대화기록부(112), 메시지의 송수신을 담당하는 통신부(114)로 이루어진 대화시스템 메인서버(100)와;

상기 메인서버(100)에 접속하여 대화를 하기 위해 사용자의 컴퓨터에 설치되는 문자메세지를 음성메세지로 변환하여주는 문자음성변환부(122), 음성메세지를 문자메세지로 변환하여주는 음성문자변환부(124), 음성이나 문자메세지들을 서버와 송수신하는 통신부(126)로 이루어지며 접속프로그램(110)을 내장한 클라이언트로 구성된 것이 도시된다.

상기 대화시스템 메인서버(100)에 접속하여 대화서비스를 제공받기 위하여 사용자의 컴퓨터에 설치되는 접속프로그램(110)에서 음성메세지가 문자메세지로 변환되는 음성문자변환부의 구성과 동작순서는 도 2에 보여진다.

도 2 에 도시된 바와 같이 먼저 음성메세지를 입력받으면 노이즈제거부(202)에서 음성신호중 사용자메세지 이외에 섞여 들어오는 잡음을 분리하여 제거하여 음성메세지만을 추출하고, 이어서 음성모델판별부(204)에서 음성메세지의 음색과 특색, 파형 등의 특성을 분석하여 음성모델데이타베이스(206)에 저장하여 사용자의 음성의 특색을 분석하고 특정 값을 추출하고 보다 정확한 인식을 위해 자기학습을 시킨다. 다시 음성모델판별부(204)에서는 음성메세지를 분석하여 문장, 단어를 분리하여 다음 단계로 넘긴다. 이어서 문자변환부(208)에서는 이전단계에서 넘겨받은 메시지들을 바로 문자로 변환되어 문자메세지로 바뀌어져 나가게 된다.

문자음성변환부(122)의 구성과 동작과정은 도 3에 도시된 바와 같이 입력된 문자메세지를 문자판별부(302)에서 판별하여 한 문장씩 분류하며 다음단계로 보낸다. 음성변환부(304)에서는 이전단계에서 온 문자메세지를 음성신호로 변환하여 준다. 이어서 음성모델선택부(306)에서는 송신측에서 보내어진 음색이나 파형의 특성 값을 받은 경우에는 음성모델데이타베이스(308)에서 특성 값에 맞는 음성 모델을 추출하고 송신측에서의 음색이나 파형의 특색 값이 없을 경우 수신측 사용자가 선호하여 지정된 음성모델을 음성모델데이타베이스(308)에서 추출하여 음성신호와 함께 다음단계로 보내어진다. 음성합성부(310)에서는 음성신호와 음성모델을 합성하여 수신측 사용자에게 음성메세지로 나가게 된다.

한편, 음성대 음성의 경우에서는 송신측 클라이언트에서 음성메세지를 음성문자변환(STT:Speech To Text)을 통하여 이를 서버에 전송하고 서버에서는 사용자옵션에 의하여 저장하고 또한 선택된 국가의 언어로 자동번역을 하게 된다. 이렇게 변환된 텍스트가 다시 수신측 클라이언트로 전송되어 문자음성변환(TTS:Text To Speech)을 통하여 다시 음성메세지로 바뀌어 수신측 사용자에게 전달됨으로써 서로가 대화를 할 수 있게 된다.

또한, 문자대 문자의 경우에서는 텍스트가 전달됨에 있어서 사용자 옵션에 의하여 대화내용저장과 선택된 국가의 언어로 자동번역기능을 선택할 수 있다.

이렇게 사용자의 접속 프로그램에서 보내어진 음성메세지나 문자 메시지들은 도 4에 도시된 바와 같이 대화서비스를 제공하는 메인서버로 연결하여 서로 음성메세지, 문자메세지, 또는 음성+문자메세지를 주고받아서 대화를 할 수 있고, 사용자 선택에 의하여 화상서비스와 함께 대화 할 수 있게 된다.

이러한 방법으로 대화 시스템을 구축하면 도 5에 도시된 바와 같이 메인서버와 연결된 인터넷망의 컴퓨터, 인터넷폰 등과 일반전화망(PSTN)으로 연결된 유선전화, 이동전화, 팩스 시스템과 연결하여 종합적인 통신망을 만들어 서비스하게 되는 것이다.

실시 예로 컴퓨터를 사용하는 두 사용자가 접속하여 음성으로 대화하는 방법을 설명하면 사용자는 먼저 상기 본 사이트에서 회원으로 가입한 후 접속 프로그램을 다운 받아 컴퓨터에 설치하게 된다. 이렇게 설치된 접속 프로그램으로 접속하여 대화 서비스를 이용하는 순서는 도 6에 도시된 바와 같이 대화서비스 메인서버(100)에 접속하여 회원가입여부를 확인하는 사용자확인 단계(602)를 거쳐 서버에 로그인 한 다음 자신이 원하는 대화방이나 대화를 원하는 사용자의 주소나아이디를 찾아 대화인을 설정하고 연결하는 단계(604)를 거쳐 대화하고자 하는 사용자와 연결한다. 그리고 대화방법선택 단계(606)에서 음성으로 대화 할 것인지 텍스트로 대화 할 것인지를 선택한다. 이어서 화상연결과 대화내용을 기록할 것인지를 선택하는 대화옵션선택 단계(608)를 거쳐 사용자가 선택한 사항에 따라 대화를 시작(610)한다. 결국, 단계(606 및 608)의 수행에 의해 사용자는 상대방과 대화를 할 경우, 먼저 서비스 받고자 하는 대화 유형을 원하는 대로 선택할 수 있다. 여기서, 문자대 문자로 일반적인 채팅서비스와, 음성대 음성, 문자대 음성, 음성대 문자로의 대화유형 선택과, 옵션 기능으로 화상지원, 대화내용기록, 자동번역기능을 선택적으로 지정하여 단계(610)에서 대화를 시작한다. 원하는 대화가 끝나고 대화종료단계(612)가 되면 연결된 사용자들은 서로 연결이 끊기고 기록되고 있던 대화내용도 기록을 중단하고 파일로 저장하여 서버에 있는 사용자계정의 보관함에 보관한다. 그리고 필요시 사용자의 대화내용이 기록된 파일을 서버 내에 있는 사용자계정의 보관함으로부터 파일을 열거나 파일을 사용자의 컴퓨터로 다운 받아 조회할 수 있는 것이다. 이렇게 대화가 끊나게 되면 사용자는 서버로부터 접속을 해지하게 되는 것이다.

본 발명에 의한 방법으로 온라인 대화 시스템을 구축하게 되면 전화망과 컴퓨터통신을 연결하여 문자대 문자, 음성대 음성으로 대화를 하는 것을 포함하고 문자대 음성, 음성대 문자 음성+문자 대 음성+문자로 대화하게 되므로 음성대 음성으로 대화하면서 자동으로 대화내용이 문자로 변환되어 서버에 대화기록을 기록 할 수 있어 1:1 대화나 다수의 대화등 온라인 회의에서도 자동으로 그 기록이 저장되고 사용자가 서버에 접속을 하지 않은 상태에서 전화대 전화로 통화를 하고 있는 상태에서 전화기에 연결된 컴퓨터에 통화 내역을 바로 기록 할 수 있는 것이다.

또한 음성에서 문자로 변환하고 다시 문자에서 음성으로 변환하는 과정에서 문자가 기록으로 남는 것 이외에 외국인과 대화 시에 사용자의 국가에 맞는 언어로 서버에서 자동으로 번역하여 이를 전송하여 사용자에게 들려줌으로써 통역 없이 누구나가 자연스럽게 대화를 할 수 있는 것이다.

이러한 방법으로 문자대 음성대화가 가능함으로 언어나 청각장애자, 신체부자유자도 문자 입력으로 자연스럽게 대화를 할 수 있다. 그리고 음성대 문자 대화로 시각장애자도 음성만으로 자동으로 문자로 변환되므로 일반적인 문자 대화도 가능하게 되므로 전세계 어느 나라나 언어나 신체장애에 상관없이 의사소통이 가능한 사람이면 보다 쉽고 자연스럽게 어느 누구와도 대화를 나눌 수 있게 되는 것이다.

또한, 음성인식에 의한 음성문자변환을 함에 있어서 사용자의 음성을 실시간적으로 변환하는 것뿐만 아니라 사용자음성의 파형을 기록하고 패턴을 분석하여 저장하고 스스로 학습함으로써 감기 등으로 목이 잠기거나 목이 쉬어도 완벽하게 인식하게 된다. 또한 음성합성에 의한 문자음성변환에서는 실시간적으로 텍스트를 음성으로 변환하고 여러가지 패턴의 음성 데이타베이스를 가지고 있어 성별, 나이에 따른 음성의 특성을 사용자가 선택하거나 송신측의 사용자에 맞는 음성유형을 전송 받아 그에 맞는 음성을 듣게 되므로 보다 친숙하고 자연스러운 음성메세지를 사용자가 듣게 된다.

또한 이런 변환 과정을 거치기 때문에 기존의 방법에서와 같이 음성의 떨림,울림 등의 통화불량이 없어지게 되어 부가적인 기능 뿐 아니라 보다 질 높은 대화를 할 수 있게 되는 것이다.

본 발명에 의한 대화에서 사용자의 음성이 변환되므로 업무상이나 중요한 대화나 회의에서 본인의 여부를 확인하기 위하여 화상의 기능이 배제된 상태에서도 사용자가 대화를 위하여 서버에 접속할 때 사용자 인증을 거치는 단계를 거치게 되므로 타인이 아이디를 도용하여 악용하는 하는 일을 방지할 수 있다.

상술한 바와 같은, 본 발명에 따른 음성합성을 이용한 선택형 온라인 대화시스템에 의하면 기존에 음성대 음성, 문자대 문자로의 같은 유형의 방법으로만 대화했던 한계를 극복하고 컴퓨터대 컴퓨터 또는 전화대 전화로만 통신하여 대화가 가능했던 것이 개선되어 전화와 컴퓨터 사이에도 자유롭게 대화가 가능하게 되는 효과가 있다.

특히, 음성문자변환과 문자음성변환을 통하여 시각장애, 청각장애, 언어장애등의 장애자들도 일반사람들과 자연스러운 대화를 할 수 있고 또한, 자동번역기능을 이용하여 외국어를 모르는 사람도 부담 없이 자연스럽게 외국인과 대화할 수 있으므로 언어의 장벽을 허물고 전세계적으로 어느 누구와도 대화를 하고 정보를 나눌 수 있게 되는 것이다.

Claims (7)

1. 인터넷으로 사용자의 접속을 연결하여주는 웹서버(102), 회원으로 가입된 사용자의 정보가 저장되고 사용자가 접속시 사용자확인을 참조하게 되는 회원데이타베이스(104), 회원간에 음성과 문자메일의 송수신을 관리하는 메일관리부(106), 회원간에 음성, 문자, 화상으로 서로 대화할 수 있는 접속공간을 서비스하는 채팅부(108), 외국인과 대화 시에 자동으로 사용자의 국가언어로 번역하여주는 자동번역부(110), 회원간 대화 시에 사용자의 선택에 따라 대화내용을 문서로 기록하여 주는 대화기록부(112), 및 메시지의 송수신을 담당하는 통신부(114)로 이루어진 대화시스템 메인서버(100)와;

   상기 메인서버(100)에 접속하여 대화를 하기 위해 사용자의 컴퓨터에 설치되는 문자메세지를 음성메세지로 변환하여주는 문자음성변환부(122), 음성메세지를 문자메세지로 변환하여주는 음성문자변환부(124), 음성이나 문자메세지들을 서버와 송수신하는 통신부(126)로 이루어진 접속프로그램(110)부를 포함하는 클라이언트들로 구성된 것을 특징으로 하는 음성합성을 이용한 선택형 온라인 대화시스템.
2. 제 1 항에 있어서, 음성대화 내용은 자동으로 문자로 변환하여 대화내용을 기록하여 서버의 사용자계정의 보관함에 파일로 저장하는 것을 특징으로 하는 음성합성을 이용한 선택형 온라인 대화시스템.
3. 제 1 항에 있어서, 송신측 사용자 접속프로그램부에서 음성을 자동으로 문자로 변환하여 전송하여 서버에서 메시지를 수신측 사용자의 국가언어에 맞는 언어로 자동으로 번역하여 전송하여 수신측 사용자의 접속프로그램부에서 음성으로 변환되는 것을 특징으로 하는 음성합성을 이용한 선택형 온라인 대화시스템.
4. 제 1 항에 있어서, 송신측 사용자의 접속프로그램부에서 음성을 분석하여 음색, 파형의 특정 값을 메시지와 함께 수신측에 전달하여 수신측 사용자의 접속 프로그램에서 전달받은 음성의 음색, 파형의 특정 값을 가지고 음성모델데이타베이스에서 특정 값에 맞는 음성을 찾아 송신측 사용자의 음성과 같은 음성으로 변환하여 전달하여 주는 것을 특징으로 하는 음성합성을 이용한 선택형 온라인 대화시스템.
5. 제 1 항에 있어서, 사용자의 접속프로그램부에서 사용자의 음성을 입력받아 음성의 음색, 파형의 특성 값을 분석하고 특성 값을 음성모델데이타베이스에 입력하여 자기학습을 통하여 자주 사용하는 사용자의 음성의 특성 값을 여러번 반복적으로 기록하여 반복적이고 특성적인 특성값으로 발전시켜 보다 정확한 음성의 특성값을 저장하는 것을 특징으로 하는 음성합성을 이용한 선택형 온라인 대화시스템.
6. 제 1 항에 있어서, 음성문자변환과 문자음성변환을 통하여 시각장애, 청각장애, 언어장애등의 장애자들도 일반사람들과 자연스러운 대화를 하고, 자동번역기능을 이용하여 외국어를 모르는 사람도 부담 없이 자연스럽게 외국인과 대화하며, 메인서버에 접속하는 컴퓨터와 전화, 팩스, 이동전화의 전화망을 연결하여 음성으로 문자 메일을 보내고, 음성으로 팩스를 실시간 또는 정해진 시간을 예약하여 보내는 것을 특징으로 하는 음성합성을 이용한 선택형 온라인 대화시스템.
7. 인터넷망의 컴퓨터, 인터넷폰 등과 일반전화망으로 연결된 유선전화, 이동전화, 및 팩스 시스템과 연결된 메인서버로서의 선택형 온라인 대화시스템의 운용방법에 있어서:

   대화관련 접속 프로그램을 설치한 클라이언트 컴퓨터로부터의 접속요구가 있을 경우에 회원가입여부를 확인후 로그인을 제공하는 단계와;

   상기 클라이언트로부터 원하는 대화방이나 대화를 원하는 사용자의 주소나 아이디가 수신될 시 그에 대응되는 대화인을 찾아 연결을 행하는 단계와;

   상기 클라이언트의 화면상에 대화방법 선택 메뉴를 제공하여 음성으로 대화 할 것인지 텍스트로 대화 할 것인지, 또한, 화상연결과 대화내용을 기록할 것인지의 유무를 상기 클라이언트가 선택하도록 하는 대화옵션 선택 메뉴 제공단계와;

   상기 클라이언트가 선택한 대화옵션 지정에 따라 대화를 제공하는 단계와;

   대화의 종료요구시, 상기 클라이언트와 상기 상대 대화인간의 연결을 해제하고, 대화내용을 파일로 저장하여 사용자계정의 보관함에 보관하는 단계를 가짐을 특징으로 하는 방법.