KR100571866B1 - 멀티미디어 기능을 갖는 메신저와 음성 단말기 간의쌍방향 대화를 위한 브로커링 시스템 및 방법 - Google Patents

Abstract

본 발명은 멀티미디어 기능을 갖는 메신저와 음성 단말기 간의 쌍방향 대화를 위한 브로커링 시스템 및 방법에 관한 것이다. 본 발명에 따른 브로커링 시스템은 멀티미디어 기능을 갖는 메신저 프로그램이 설치된 메신저 단말기와 음성 단말기 간의 쌍방향 대화를 위한 브로커링 시스템으로서, 메신저 단말기와 음성 단말기 간의 호 처리를 수행하기 위한 호 처리부, 입력된 텍스트를 음성으로 변환하여 출력하는 음성 합성부, 메신저로부터 텍스트를 수신하는 경우 텍스트를 음성 합성부로 전송하는 텍스트 처리부, 음성 합성부에서 변환된 음성을 음성 단말기로 전송하는 음성 재생부, 음성 단말기로부터 수신된 음성의 끝점을 검출하여 음성을 문장 단위의 음성으로 구분하는 음성 끝점 검출부, 및 음성 끝점 검출부에서 구분된 문장 단위의 음성을 메신저로 출력하는 음성 스트리밍부를 포함한다.

메신저, 음성 단말기, 브로커링 시스템, 끝점 검출부, 음성 합성부

Description

멀티미디어 기능을 갖는 메신저와 음성 단말기 간의 쌍방향 대화를 위한 브로커링 시스템 및 방법{BROKERING SYSTEM AND METHOD FOR INTERACTIVE CHATTING BETWEEN MULTIMEDIA MESSENGER AND VOICE TERMINAL}

도 1은 본 발명의 일실시예에 따른 브로커링 시스템을 개략적으로 도시한 것이다.

도 2는 본 발명의 일실시예에 따른 음성 끝점 검출부의 내부 구성을 보다 구체적으로 도시한 것이다.

도 3은 본 발명의 일실시예에 따른 음성 전화 단말기에서 메신저 단말기로 대화 연결을 요청하는 경우 브로커링 시스템의 동작 흐름도이다.

도 4는 본 발명의 일실시예에 따른 메신저 단말기에서 음성 전화 단말기로 대화 연결을 요청하는 경우 브로커링 시스템의 동작 흐름도이다.

도 5는 본 발명의 일실시예에 따른 브로커링 동작을 도시한 순서도이다.

본 발명은 메시징 시스템에 관한 것으로, 더욱 상세하게는 멀티미디어 재생 기능이 있는 메신저와 음성 단말기 간의 쌍방향 대화를 위한 브로커링 시스템 및 방법에 관한 것이다.

기존의 다양한 미디어를 통합하는 기술에는 H.323 등을 이용한 브이오아이피(VoIP) 혹은 음성과 화상을 동시에 전달하는 브이투오아이피(V^2oIP) 등이 있다.

또한, 텍스트 메시징과 음성을 통합하는 경우, 텍스트 메시지를 음성 합성 장치(Text-to-speech)를 통하여 음성으로 전환하고, 음성 통화를 상대방에게 전달하는 시스템이 존재하게 된다. 또한 VoIP 등을 이용한 인터넷폰, 혹은 유엠에스(UMS: Unified Messaging System) 등의 통합 사서함이 있으나, 이는 사용자에게 식별 번호를 할당하여 기존의 음성 전화 시스템에서 통화를 하도록 한 것으로서, 실시간 대화가 불가능하다는 단점이 있었다.

현재 논의되고 있는 기술로서, 메신저에 VoIP를 포함하고, 식별 번호를 발급하여 음성 단말기와 실시간으로 대화를 나눌 수 있도록 하는 것이 있다. 그러나, 이러한 방법은 메신저측 단말기에 미리 스피커와 마이크를 설치해야 하는 단점이 있다. 즉, 메신저가 실제로 설치되는 사용자 단말기(개인용 컴퓨터)에 스피커는 대부분 설치되어 있으나, 마이크는 거의 설치되어 있지 않고, 음성 송신을 위한 환경 자체가 주변의 잡음 제거 등의 기술이 컴퓨터에 설치된 범용 마이크에는 적용되지 않은 경우가 많아, 물리적 대화 전용 장치가 있지 않을 때에는 거의 사용되지 않는 것이 현실이다.

또한, 음성 전화 시스템을 텍스트 기반 메신저와 연계시키기 위한 종래의 기술로서, 국내 공개특허공보 제2002-0019654호, 제2002-0028438호 등에 개시된 것이 있다.

이러한 국내 공개특허공보에 개시된 기술은 음성 합성 장치 이외에 음성 인식 장치(ASR: Automatic Speech Recognition)를 활용함으로써, 텍스트 메신저에서는 텍스트로 음성 전화 단말기에서는 음성으로만 실시간 대화를 하고자 하는 기술이다. 그러나, 이러한 방법은 현재의 음성 인식 기술이 자연어를 인식하는데 많은 기술적인 난점이 존재하여 실용화되기 어려운 문제가 있다.

본 발명의 목적은 멀티미디어 기능을 갖는 메신저와 음성 단말기 간의 쌍방향 대화를 위한 브로커링 시스템 및 방법을 제공하기 위한 것이다.

또한, 메신저 이용자와 음성 단말기 이용자 간의 텍스트와 음성의 대화가 자연스럽게 이루어지도록 하는 브로커링 시스템 및 방법을 제공하기 위한 것이다.

상기 과제를 달성하기 위하여, 본 발명의 하나의 특징에 따른 브로커링 시스템은 멀티미디어 기능을 갖는 메신저 프로그램이 설치된 메신저 단말기와 음성 단말기 간의 쌍방향 대화를 위한 브로커링 시스템으로서, 상기 메신저 단말기와 상기 음성 단말기 간의 호 처리를 수행하기 위한 호 처리부; 입력된 텍스트를 음성으로 변환하여 출력하는 음성 합성부; 상기 메신저로부터 텍스트를 수신하는 경우 상기 텍스트를 상기 음성 합성부로 전송하는 텍스트 처리부; 상기 음성 합성부에서 변환된 음성을 상기 음성 단말기로 전송하는 음성 재생부; 상기 음성 단말기로부터 수신된 음성의 끝점을 검출하여 상기 음성을 문장 단위의 음성으로 구분하는 음성 끝 점 검출부; 및 상기 음성 끝점 검출부에서 구분된 문장 단위의 음성을 상기 메신저로 출력하는 음성 스트리밍부를 포함한다.

본 발명의 하나의 특징에 따른 브로커링 시스템에 있어서, 상기 음성 끝점 검출부는, 상기 음성 단말기로부터 음성을 수신하는 음성 수신부, 상기 음성의 끝점을 검출하는 끝점 확인부, 상기 음성을 임시 저장하기 위한 버퍼, 및 상기 끝점 확인부가 상기 끝점을 검출하는 경우 상기 버퍼에 저장된 음성을 상기 음성 스트리밍부로 전송하는 음성 파일 전송부를 포함한다.

본 발명의 하나의 특징에 따른 브로커링 방법은 멀티미디어 기능을 갖는 메신저 프로그램이 설치된 메신저 단말기와 음성 단말기 간의 쌍방향 대화를 위한 브로커링 방법으로서, 상기 메신저 단말기로부터 텍스트가 수신되는 경우 상기 텍스트를 음성으로 변환하여 상기 음성 단말기로 전송하는 제1 단계; 상기 음성 단말기로부터 음성을 수신하는 경우 상기 음성의 끝점을 검출하여 상기 음성을 문장으로 구분하는 제2 단계; 및 상기 문장으로 구분된 음성을 순차적으로 상기 메신저 단말기로 전송하는 제3 단계를 포함한다.

본 발명의 하나의 특징에 따른 브로커링 방법에 있어서, 상기 제2 단계는, 상기 음성 단말기로부터 미리 정해진 소정의 시간 동안 음성이 수신되지 않는 경우 음성의 끝점으로 인식한다.

이하, 본 발명의 실시예를 도면을 참조하여 상세히 설명한다.

도 1은 본 발명의 일실시예에 따른 브로커링 시스템을 개략적으로 도시한 것이다.

도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 브로커링 시스템(300)은 네트워크를 통하여 메신저 프로그램(110)이 설치된 단말기(100, 이하 '메신저 단말기'라고 한다), 음성 전화 단말기(200), 및 음성 합성부(400)와 연결되어 있다.

메신저 단말기(100)는 메신저 프로그램(110)이 설치된 개인용 컴퓨터 또는 모바일 단말기로서, 사용자는 메신저 단말기(100)로 브로커링 시스템(300)에 접속함으로써 음성 전화 단말기(200)와 대화를 나눌 수 있게 된다. 이 때, 메신저 프로그램(110)은 멀티미디어 재생 기능을 포함하고 있는 것으로서, 수신되는 미디어에 음성 미디어가 포함되는 경우, 메신저 단말기(100)에 설치된 스피커로 음성 미디어가 재생되도록 한다.

또한, 음성 전화 단말기(200)는 음성 통신을 수행할 수 있는 단말기로서, 유무선 단말기를 포함한다. 도 1에서는 음성 전화 단말기(200)가 유선 단말기인 경우를 도시하였으나, 인터넷 전화, 무선 전화 등 다양한 음성 전화 단말기가 이용될 수 있다.

브로커링 시스템(300)은 메신저 단말기(100)와 음성 전화 단말기(200)를 연결하고, 양측의 미디어를 적절한 형태의 포맷으로 변경함으로써, 메신저 단말기(100)와 음성 전화 단말기(200) 간의 대화가 가능하도록 한다.

본 발명의 일실시예에 따르면, 브로커링 시스템(300)은 호 처리부(310), 인터페이스부(320), 텍스트 처리부(330), 음성 재생부(340), 음성 끝점 검출부(350), 및 음성 스트리밍부(360)를 포함한다.

호 처리부(310)는 메신저 단말기(100) 또는 음성 전화 단말기(200)와의 호 설정(call establishment), 호 유지(call maintenance), 호 해제(call tear down) 등의 호 관련 처리를 수행하는 것으로서, 연결에 필요한 자원 할당 및 연결 관리를 수행한다. 구체적으로, 호 처리부(310)는 메신저 단말기(100) 또는 음성 전화 단말기(200) 중 일측으로부터 다른 측으로의 호 접속 요구가 있는 경우, 메신저 단말기(100)와 음성 전화 단말기(200)와의 인터페이스를 위한 자원들을 할당하고, 어느 일측으로부터 호 해제 요구가 있는 경우에는 메신저 단말기(100)와 음성 전화 단말기(200) 간의 호 접속을 해제시킨다.

인터페이스부(320)는 메신저 단말기(100)가 음성 전화 단말기(200)와 서로 다른 네트워크를 사용하는 경우, 서로 연결될 수 있도록 하는 상호 프로토콜 변환 및 인터페이스 정합을 수행한다. 구체적으로는, 메신저 단말기(100)가 개인용 컴퓨터이고 음성 전화 단말기(200)가 유무선 전화인 경우, 또는 메신저 단말기(100)가 통신 전화 단말기이고 음성 전화 단말기(200)가 인터넷 전화 단말기인 경우에 사용된다.

텍스트 처리부(330)는 메신저 단말기(100)로부터 텍스트를 수신하는 경우, 텍스트 정보를 음성 합성부(400)로 전송하여 텍스트에 대응되는 음성으로 변환하도록 한다. 음성 재생부(340)는 재생큐(도시되지 않음)를 포함하고, 음성 합성부(400)에서 변환된 음성을 재생큐에 저장한 후 음성 전화 단말기(200)로 전송하여 음성이 재생되도록 한다.

음성 끝점 검출부(350)는 음성 전화 단말기(200)로부터 음성을 수신하는 경 우 음성의 끝점을 검출하여 연속적인 음성 스트림(stream)을 문장 단위의 음성으로 구분한다. 음성 스트리밍부(360)는 음성 끝점 검출부(350)로부터 문장 단위로 구분된 음성을 메신저 단말기(100)로 전송한다.

음성 합성부(400)는 브로커링 시스템(300)으로부터 입력된 텍스트를 음성으로 변환하여 다시 브로커링 시스템(300)으로 출력한다. 텍스트를 음성으로 변환하는 음성 합성부(TTS: Text-to-speech)에 대해서는 이미 당업계에 널리 알려진 것이므로 그 구성 및 동작에 대한 구체적인 설명은 생략하기로 한다.

본 발명의 일실시예에 따른 브로커링 시스템(300)은 상기와 같은 구성을 취함으로써 메신저 단말기(100)와 음성 전화 단말기(200) 간의 쌍방향 대화를 중계할 수 있게 된다.

상기 설명에서, 본 발명의 일실시예에 따른 음성 끝점 검출부(350)는 문장 단위로 음성을 구분해내는 것으로 설명하였으나, 실시예에 따라서 일정한 음성 길이 등으로 음성을 나눌 수 있다. 또한, 도 1에 도시된 네트워크는 메신저 단말기(100), 음성 전화 단말기(200), 및 브로커링 시스템(300)이 서로 연결될 수 있도록 하는 유무선 네트워크를 포함한다.

도 2는 본 발명의 일실시예에 따른 음성 끝점 검출부(350)의 내부 구성을 보다 구체적으로 도시한 것이다.

도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 음성 끝점 검출부(350)는 음성 수신부(351), 끝점 확인부(352), 버퍼(353), 및 음성 파일 전송부(354)를 포함한다.

음성 수신부(351)는 음성 전화 단말기(200)로부터 수신되는 음성을 끝점 확인부(352)로 전송하고, 끝점 확인부(352)는 수신되는 음성을 버퍼(353)로 전송하여 저장한다. 이 때, 끝점 확인부(352)는 음성 수신부(351)에서 전송되는 음성의 끝점을 검출하고, 음성의 끝점이 검출되면, 음성 파일 전송부(354)에게 버퍼(353)에 저장된 음성을 음성 스트리밍부(360)로 전송할 것을 요청한다.

본 발명의 일실시예에 따르면, 끝점 확인부(352)는 미리 정해진 기준 시간 동안 음성이 수신되지 않는 구간 또는 기준 시간동안 음성이 지속되는 구간을 특징으로 하여 긴 음성의 끝점을 검출해낸다. 예를 들어, 끝점 확인부(352)는 3초 이상 음성이 수신되지 않을 때 마지막 수신 음성을 끝점으로 인식할 수 있고, 혹은 5초 단위로 마지막 수신음성을 끝점으로 인식할 수도 있다.

이로써, 연속되는 음성을 문장 단위로 나누어 메신저 단말기(100)로 전송함으로써, 메신저 이용자와 일반 전화 이용자간의 텍스트와 음성의 대화가 자연스럽게 이루어지도록 할 수 있다.

도 3 및 도 4는 본 발명의 일실시예에 따른 메신저 단말기(100)와 음성 전화 단말기(200) 간의 대화를 연결시키는 방법을 도시한 것으로서, 도 3은 음성 전화 단말기(200) 측에서 호 설정을 요청하는 경우를 도시한 것이고, 도 4는 메신저 단말기(100) 측에서 호 설정을 요청하는 경우를 도시한 것이다.

도 3에 도시된 바와 같이, 음성 전화 단말기(200)가 메신저 단말기(100)와 대화를 나누고자 하는 경우, 음성 전화 단말기(200)는 브로커링 시스템(300)에 접속을 요청하고, 대화를 나누고자 하는 메신저의 ID를 전송한다(S301).

브로커링 시스템(300)은 수신된 메신저 ID에 대응되는 메신저 단말기(100)에 호설정 메시지를 전송함으로써, 호설정을 요청하게 된다(S302).

이 후, 메신저 단말기(100)에서 텍스트 입력 등의 방법으로 호설정 요청에 대응되는 메시지를 입력하게 되면(S303), 음선 전화 단말기(100)에 메신저 단말기(100)와 통화가 연결되었다는 전송과 함께 음성호를 연결시킨다(S304).

이 후, 브로커링 시스템(300)은 음성 호에 대응되는 멀티미디어 재생 채널을 메신저 단말기(100)에 연결시킨 후(S305), 음성 전화 단말기(200)와 메신저 단말기 (100)가 실시간 대화가 진행되도록 한다(S306).

이 후, 음성 전화 단말기(200)와 메신저 단말기(100) 중 한 쪽에서 대화를 종료시킬 경우에 브로커링 시스템(300)은 호를 끊고 대화를 종료한다(S307).

이하에서는, 메신저 단말기(100)에서 음성 전화 단말기(200)로 대화를 요청하는 경우에 대하여 설명한다.

도 4에 도시된 바와 같이, 메신저 단말기(100)에서 메신저 프로그램(110)을 실행시켜 대화를 원하는 음성 전화 단말기(200)를 지정한 후 메시지를 입력하면 (S401), 브로커링 시스템(300)에서 대화하고자 하는 음성 전화 단말기를 호출하여 호설정을 요청하게 된다(S402).

이 후, 브로커링 시스템(300)과 음성 전화 단말기(200) 간의 음성 호가 연결되면(S403), 브로커링 시스템(300)은 메신저 단말기(100)와 멀티미디어 호를 연결하게 된다(S404).

이 후, 메신저 단말기(100)와 음성 전화 단말기(200) 간에 실시간 대화가 이루어지고(S405), 적절한 시간의 실시간 대화가 완료된 이후, 어느 한측에서 대화를 종료하고자 하는 경우 대화를 종료시킨다(S406).

도 5는 본 발명의 일실시예에 따른 브로커링 과정을 도시한 것이다.

도 5에 도시된 바와 같이, 브로커링 시스템(300)이 메신저 단말기(100)로부터 미디어를 수신하는 경우(S501), 텍스트 처리부(330)는 수신된 미디어가 텍스트 정보인지를 판단한다(S502). 수신된 미디어가 텍스트 정보인 경우, 텍스트 처리부(330)는 음성 합성부(400)로 텍스트 정보를 전송하여 텍스트 정보가 음성 미디어로 변환되도록 한다(S503).

이 후, 음성 재생부(340)는 음성 합성부(400)로부터 음성 미디어를 수신하여 재생큐에 저장하고, 재생큐에 저장된 음성 미디어를 음성 전화 단말기(200)로 전송하여 음성으로 재생시킨다(S504).

이 후, 메신저 단말기(100)에서 메신저 프로그램(110)을 종료시키거나, 음성 전화 단말기(200)에서 전화를 끊는 경우, 대화를 종료하여 브로커링 동작을 완료한다(S505).

이상으로 본 발명의 일실시예에 따른 멀티미디어 기능을 갖는 메신저와 전화 단말기 간의 쌍방향 대화를 위한 브로커링 시스템 및 방법에 대하여 설명하였다. 상기 설명된 실시예는 본 발명의 개념이 적용된 일실시예로서, 본 발명의 범위가 상기 실시예에 한정되는 것은 아니며, 본 발명의 개념을 그대로 이용하여 여러 가지 변형된 실시예를 형성할 수 있음은 당업자에게 자명하다.

또한, 본 발명에 따른 상기의 각 단계는 일반적인 프로그래밍 기법을 이용하여 소프트웨어적으로 또는 하드웨어적으로 다양하게 구현할 수 있다. 그리고, 본 발명의 일부 단계들은, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 잇는 데이터가 저장되어 있는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, CD-RW, 자기 테이프, 플로피디스크, HDD, 광 디스크, 광자기 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.

본 발명에 따르면, 불완전한 음성 인식 기술을 활용하지 않고서도 메신저와 음성 전화 단말기 간의 쌍방향 대화를 지원할 수 있다.

또한, 음성 전화 단말기에서 수신되는 연속되는 음성을 문장별로 나누어 메신저로 전송함으로써, 음성 전화 단말기와 메신저 간의 대화가 자연스럽게 이루어지도록 할 수 있다.

Claims (4)

1. 멀티미디어 기능을 갖는 애플리케이션 프로그램이 설치된 메신저 단말기와 음성 단말기 간의 쌍방향 대화를 위한 브로커링 시스템에 있어서,

   a) 상기 메신저 단말기와 상기 음성 단말기 간의 호 처리를 수행하기 위한 호 처리부;

   b) 상기 메신저 단말기로부터 입력된 텍스트를 음성으로 변환하여 출력하는 음성 합성부;

   c) 상기 메신저 단말기로부터 수신된 텍스트를 상기 음성 합성부로 전송하는 텍스트 처리부;

   d) 상기 음성 합성부에서 변환된 음성을 상기 음성 단말기로 전송하는 음성 재생부;

   e) 상기 음성 단말기로부터 수신된 음성의 끝점을 검출하여 상기 음성을 문장 단위의 음성으로 구분하는 음성 끝점 검출부; 및

   f) 상기 음성 끝점 검출부에서 구분된 문장 단위의 음성을 구분 단위로 상기 메신저 단말기로 출력하여 상기 메신저 단말기의 멀티미디어 기능을 통해 상기 메신저 단말기 사용자에게 제공되도록 하는 음성 스트리밍부를 포함하고,

   상기 음성 끝점 검출부는,

   상기 음성 단말기로부터 음성을 수신하는 음성 수신부,

   상기 음성의 끝점을 검출하는 끝점 확인부,

   상기 음성을 임시 저장하기 위한 버퍼, 및

   상기 끝점 확인부가 상기 끝점을 검출하는 경우 상기 버퍼에 저장된 음성을 상기 음성 스트리밍부로 전송하는 음성 파일 전송부를 포함하는 브로커링 시스템.
2. 삭제
3. 멀티미디어 기능을 갖는 애플리케이션 프로그램이 설치된 메신저 단말기와 음성 단말기 간의 쌍방향 대화를 위한 브로커링 방법에 있어서,

   a) 상기 메신저 단말기로부터 텍스트를 수신하는 경우 상기 텍스트를 음성으로 변환하여 상기 음성 단말기로 전송하는 제1 단계;

   b) 상기 음성 단말기로부터 음성을 수신하는 경우 상기 음성의 끝점을 검출하여 상기 음성을 문장으로 구분하며, 상기 음성 단말기로부터 기준 시간 동안 음성이 수신되지 않는 경우 음성의 끝점으로 인식하거나, 기준 시간 동안 음성이 수신되는 경우 음성의 끝점으로 인식하는 제2 단계; 및

   c) 상기 문장으로 구분된 음성을 순차적으로 상기 메신저 단말기로 전송하여, 상기 음성이 상기 메신저 단말기의 멀티미디어 기능을 통해 상기 메신저 단말기 사용자에게 제공되는 제3 단계

   를 포함하는 브로커링 방법.
4. 삭제

Images