KR100571866B1 - Brokering system and method for interactive chatting between multimedia messenger and voice terminal - Google Patents

Brokering system and method for interactive chatting between multimedia messenger and voice terminal Download PDF

Info

Publication number
KR100571866B1
KR100571866B1 KR1020040012626A KR20040012626A KR100571866B1 KR 100571866 B1 KR100571866 B1 KR 100571866B1 KR 1020040012626 A KR1020040012626 A KR 1020040012626A KR 20040012626 A KR20040012626 A KR 20040012626A KR 100571866 B1 KR100571866 B1 KR 100571866B1
Authority
KR
South Korea
Prior art keywords
voice
terminal
messenger
unit
text
Prior art date
Application number
KR1020040012626A
Other languages
Korean (ko)
Other versions
KR20050086228A (en
Inventor
문장원
문정훈
Original Assignee
엔에이치엔(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔에이치엔(주) filed Critical 엔에이치엔(주)
Priority to KR1020040012626A priority Critical patent/KR100571866B1/en
Publication of KR20050086228A publication Critical patent/KR20050086228A/en
Application granted granted Critical
Publication of KR100571866B1 publication Critical patent/KR100571866B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B42—BOOKBINDING; ALBUMS; FILES; SPECIAL PRINTED MATTER
    • B42F—SHEETS TEMPORARILY ATTACHED TOGETHER; FILING APPLIANCES; FILE CARDS; INDEXING
    • B42F1/00—Sheets temporarily attached together without perforating; Means therefor
    • B42F1/006—Fasteners comprising two co-operating jaws closed by spring action and that can be manually opened, e.g. clamps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B42—BOOKBINDING; ALBUMS; FILES; SPECIAL PRINTED MATTER
    • B42F—SHEETS TEMPORARILY ATTACHED TOGETHER; FILING APPLIANCES; FILE CARDS; INDEXING
    • B42F1/00—Sheets temporarily attached together without perforating; Means therefor
    • B42F1/02—Paper-clips or like fasteners
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B43—WRITING OR DRAWING IMPLEMENTS; BUREAU ACCESSORIES
    • B43K—IMPLEMENTS FOR WRITING OR DRAWING
    • B43K23/00—Holders or connectors for writing implements; Means for protecting the writing-points
    • B43K23/001—Supporting means
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F23/00—Advertising on or in specific articles, e.g. ashtrays, letter-boxes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B42—BOOKBINDING; ALBUMS; FILES; SPECIAL PRINTED MATTER
    • B42P—INDEXING SCHEME RELATING TO BOOKS, FILING APPLIANCES OR THE LIKE
    • B42P2221/00—Books or filing appliances with additional arrangements
    • B42P2221/06—Books or filing appliances with additional arrangements with information carrying means, e.g. advertisement
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16B—DEVICES FOR FASTENING OR SECURING CONSTRUCTIONAL ELEMENTS OR MACHINE PARTS TOGETHER, e.g. NAILS, BOLTS, CIRCLIPS, CLAMPS, CLIPS OR WEDGES; JOINTS OR JOINTING
    • F16B2/00—Friction-grip releasable fastenings
    • F16B2/02—Clamps, i.e. with gripping action effected by positive means other than the inherent resistance to deformation of the material of the fastening
    • F16B2/16—Clamps, i.e. with gripping action effected by positive means other than the inherent resistance to deformation of the material of the fastening using rollers or balls

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 멀티미디어 기능을 갖는 메신저와 음성 단말기 간의 쌍방향 대화를 위한 브로커링 시스템 및 방법에 관한 것이다. 본 발명에 따른 브로커링 시스템은 멀티미디어 기능을 갖는 메신저 프로그램이 설치된 메신저 단말기와 음성 단말기 간의 쌍방향 대화를 위한 브로커링 시스템으로서, 메신저 단말기와 음성 단말기 간의 호 처리를 수행하기 위한 호 처리부, 입력된 텍스트를 음성으로 변환하여 출력하는 음성 합성부, 메신저로부터 텍스트를 수신하는 경우 텍스트를 음성 합성부로 전송하는 텍스트 처리부, 음성 합성부에서 변환된 음성을 음성 단말기로 전송하는 음성 재생부, 음성 단말기로부터 수신된 음성의 끝점을 검출하여 음성을 문장 단위의 음성으로 구분하는 음성 끝점 검출부, 및 음성 끝점 검출부에서 구분된 문장 단위의 음성을 메신저로 출력하는 음성 스트리밍부를 포함한다. The present invention relates to a brokering system and method for interactive conversation between a messenger having a multimedia function and a voice terminal. The brokering system according to the present invention is a brokering system for two-way conversation between a messenger terminal and a voice terminal having a messenger program having a multimedia function, and includes a call processing unit for performing a call processing between the messenger terminal and the voice terminal and inputted text. A voice synthesizer for converting and outputting a voice, a text processing unit for transmitting text to a voice synthesizer when receiving a text from a messenger, a voice reproducing unit for transmitting the voice converted from the voice synthesizer to a voice terminal, and a voice received from a voice terminal. A voice endpoint detection unit for detecting the end point of the voice and divides the voice into speech in sentence units, and a voice streaming unit for outputting the voice in the sentence unit divided by the voice endpoint detection unit to the messenger.

메신저, 음성 단말기, 브로커링 시스템, 끝점 검출부, 음성 합성부Messenger, voice terminal, brokering system, endpoint detector, voice synthesizer

Description

멀티미디어 기능을 갖는 메신저와 음성 단말기 간의 쌍방향 대화를 위한 브로커링 시스템 및 방법{BROKERING SYSTEM AND METHOD FOR INTERACTIVE CHATTING BETWEEN MULTIMEDIA MESSENGER AND VOICE TERMINAL}BROKERING SYSTEM AND METHOD FOR INTERACTIVE CHATTING BETWEEN MULTIMEDIA MESSENGER AND VOICE TERMINAL}

도 1은 본 발명의 일실시예에 따른 브로커링 시스템을 개략적으로 도시한 것이다.1 schematically illustrates a brokering system according to an embodiment of the present invention.

도 2는 본 발명의 일실시예에 따른 음성 끝점 검출부의 내부 구성을 보다 구체적으로 도시한 것이다.2 illustrates the internal configuration of the voice endpoint detection unit in detail according to an embodiment of the present invention.

도 3은 본 발명의 일실시예에 따른 음성 전화 단말기에서 메신저 단말기로 대화 연결을 요청하는 경우 브로커링 시스템의 동작 흐름도이다. 3 is a flowchart illustrating an operation of a brokering system when a voice connection is requested from a voice telephone terminal to a messenger terminal according to an embodiment of the present invention.

도 4는 본 발명의 일실시예에 따른 메신저 단말기에서 음성 전화 단말기로 대화 연결을 요청하는 경우 브로커링 시스템의 동작 흐름도이다. 4 is a flowchart illustrating an operation of a brokering system when a messenger terminal requests a conversation connection to a voice telephone terminal according to an embodiment of the present invention.

도 5는 본 발명의 일실시예에 따른 브로커링 동작을 도시한 순서도이다. 5 is a flowchart illustrating a brokering operation according to an embodiment of the present invention.

본 발명은 메시징 시스템에 관한 것으로, 더욱 상세하게는 멀티미디어 재생 기능이 있는 메신저와 음성 단말기 간의 쌍방향 대화를 위한 브로커링 시스템 및 방법에 관한 것이다.The present invention relates to a messaging system, and more particularly, to a brokering system and method for interactive conversation between a messenger having a multimedia playback function and a voice terminal.

기존의 다양한 미디어를 통합하는 기술에는 H.323 등을 이용한 브이오아이피(VoIP) 혹은 음성과 화상을 동시에 전달하는 브이투오아이피(V^2oIP) 등이 있다.Existing technologies that integrate various media include VIP using H.323 or V ^ 2oIP that delivers voice and video at the same time.

또한, 텍스트 메시징과 음성을 통합하는 경우, 텍스트 메시지를 음성 합성 장치(Text-to-speech)를 통하여 음성으로 전환하고, 음성 통화를 상대방에게 전달하는 시스템이 존재하게 된다. 또한 VoIP 등을 이용한 인터넷폰, 혹은 유엠에스(UMS: Unified Messaging System) 등의 통합 사서함이 있으나, 이는 사용자에게 식별 번호를 할당하여 기존의 음성 전화 시스템에서 통화를 하도록 한 것으로서, 실시간 대화가 불가능하다는 단점이 있었다.In addition, when integrating voice with text messaging, there is a system for converting a text message into voice through a text-to-speech and delivering a voice call to the other party. In addition, there is an integrated mailbox such as an Internet phone using VoIP, or a Unified Messaging System (UMS). However, this means that an identification number is assigned to a user to make a call in an existing voice telephone system. There was a downside.

현재 논의되고 있는 기술로서, 메신저에 VoIP를 포함하고, 식별 번호를 발급하여 음성 단말기와 실시간으로 대화를 나눌 수 있도록 하는 것이 있다. 그러나, 이러한 방법은 메신저측 단말기에 미리 스피커와 마이크를 설치해야 하는 단점이 있다. 즉, 메신저가 실제로 설치되는 사용자 단말기(개인용 컴퓨터)에 스피커는 대부분 설치되어 있으나, 마이크는 거의 설치되어 있지 않고, 음성 송신을 위한 환경 자체가 주변의 잡음 제거 등의 기술이 컴퓨터에 설치된 범용 마이크에는 적용되지 않은 경우가 많아, 물리적 대화 전용 장치가 있지 않을 때에는 거의 사용되지 않는 것이 현실이다.As a technology currently being discussed, there is a method of including a VoIP in a messenger and issuing an identification number so that a conversation can be made with a voice terminal in real time. However, this method has a disadvantage in that a speaker and a microphone must be installed in advance in the messenger terminal. That is, although most of the speakers are installed in the user terminal (personal computer) where the messenger is actually installed, the microphone is hardly installed, and the environment for transmitting the voice is used in the general-purpose microphone in which the technology such as noise reduction is installed in the computer. In many cases, it is not used, and it is rarely used when there is no device for physical conversation.

또한, 음성 전화 시스템을 텍스트 기반 메신저와 연계시키기 위한 종래의 기술로서, 국내 공개특허공보 제2002-0019654호, 제2002-0028438호 등에 개시된 것이 있다. In addition, as a conventional technology for associating a voice telephone system with a text-based messenger, there is one disclosed in Korean Patent Laid-Open Publication Nos. 2002-0019654, 2002-0028438, and the like.

이러한 국내 공개특허공보에 개시된 기술은 음성 합성 장치 이외에 음성 인식 장치(ASR: Automatic Speech Recognition)를 활용함으로써, 텍스트 메신저에서는 텍스트로 음성 전화 단말기에서는 음성으로만 실시간 대화를 하고자 하는 기술이다. 그러나, 이러한 방법은 현재의 음성 인식 기술이 자연어를 인식하는데 많은 기술적인 난점이 존재하여 실용화되기 어려운 문제가 있다.The technology disclosed in the Korean Patent Laid-Open Patent Publication is a technology for real-time conversation using only speech recognition device (ASR: Automatic Speech Recognition) in addition to the speech synthesis device, text only in the text messenger, text only in the voice telephone terminal. However, this method has a lot of technical difficulties in the current speech recognition technology to recognize the natural language, there is a problem that is difficult to be practical.

본 발명의 목적은 멀티미디어 기능을 갖는 메신저와 음성 단말기 간의 쌍방향 대화를 위한 브로커링 시스템 및 방법을 제공하기 위한 것이다.It is an object of the present invention to provide a brokering system and method for interactive conversation between a messenger having a multimedia function and a voice terminal.

또한, 메신저 이용자와 음성 단말기 이용자 간의 텍스트와 음성의 대화가 자연스럽게 이루어지도록 하는 브로커링 시스템 및 방법을 제공하기 위한 것이다.Another object of the present invention is to provide a brokering system and method for allowing text and voice conversations to occur naturally between a messenger user and a voice terminal user.

상기 과제를 달성하기 위하여, 본 발명의 하나의 특징에 따른 브로커링 시스템은 멀티미디어 기능을 갖는 메신저 프로그램이 설치된 메신저 단말기와 음성 단말기 간의 쌍방향 대화를 위한 브로커링 시스템으로서, 상기 메신저 단말기와 상기 음성 단말기 간의 호 처리를 수행하기 위한 호 처리부; 입력된 텍스트를 음성으로 변환하여 출력하는 음성 합성부; 상기 메신저로부터 텍스트를 수신하는 경우 상기 텍스트를 상기 음성 합성부로 전송하는 텍스트 처리부; 상기 음성 합성부에서 변환된 음성을 상기 음성 단말기로 전송하는 음성 재생부; 상기 음성 단말기로부터 수신된 음성의 끝점을 검출하여 상기 음성을 문장 단위의 음성으로 구분하는 음성 끝 점 검출부; 및 상기 음성 끝점 검출부에서 구분된 문장 단위의 음성을 상기 메신저로 출력하는 음성 스트리밍부를 포함한다.In order to achieve the above object, a brokering system according to an aspect of the present invention is a brokering system for a two-way conversation between a messenger terminal and a voice terminal in which a messenger program having a multimedia function is installed, and between the messenger terminal and the voice terminal. A call processing unit for performing call processing; A speech synthesizer which converts the input text into speech and outputs the speech; A text processing unit for transmitting the text to the speech synthesis unit when receiving a text from the messenger; A voice reproducing unit for transmitting the voice converted by the voice synthesizing unit to the voice terminal; A voice end point detector for detecting an end point of a voice received from the voice terminal and dividing the voice into a sentence unit of voice; And a voice streaming unit for outputting a sentence unit of speech divided by the voice endpoint detector to the messenger.

본 발명의 하나의 특징에 따른 브로커링 시스템에 있어서, 상기 음성 끝점 검출부는, 상기 음성 단말기로부터 음성을 수신하는 음성 수신부, 상기 음성의 끝점을 검출하는 끝점 확인부, 상기 음성을 임시 저장하기 위한 버퍼, 및 상기 끝점 확인부가 상기 끝점을 검출하는 경우 상기 버퍼에 저장된 음성을 상기 음성 스트리밍부로 전송하는 음성 파일 전송부를 포함한다.In the brokering system according to an aspect of the present invention, the voice endpoint detector includes a voice receiver for receiving a voice from the voice terminal, an endpoint checker for detecting the voice endpoint, and a buffer for temporarily storing the voice. And a voice file transmitter for transmitting the voice stored in the buffer to the voice streaming unit when the endpoint checker detects the endpoint.

본 발명의 하나의 특징에 따른 브로커링 방법은 멀티미디어 기능을 갖는 메신저 프로그램이 설치된 메신저 단말기와 음성 단말기 간의 쌍방향 대화를 위한 브로커링 방법으로서, 상기 메신저 단말기로부터 텍스트가 수신되는 경우 상기 텍스트를 음성으로 변환하여 상기 음성 단말기로 전송하는 제1 단계; 상기 음성 단말기로부터 음성을 수신하는 경우 상기 음성의 끝점을 검출하여 상기 음성을 문장으로 구분하는 제2 단계; 및 상기 문장으로 구분된 음성을 순차적으로 상기 메신저 단말기로 전송하는 제3 단계를 포함한다.The brokering method according to an aspect of the present invention is a brokering method for a two-way conversation between a messenger terminal and a voice terminal having a messenger program having a multimedia function, and converts the text into voice when text is received from the messenger terminal. A first step of transmitting to the voice terminal; A second step of detecting an end point of the voice and dividing the voice into a sentence when receiving a voice from the voice terminal; And a third step of sequentially transmitting the voice divided by the sentence to the messenger terminal.

본 발명의 하나의 특징에 따른 브로커링 방법에 있어서, 상기 제2 단계는, 상기 음성 단말기로부터 미리 정해진 소정의 시간 동안 음성이 수신되지 않는 경우 음성의 끝점으로 인식한다.In the brokering method according to an aspect of the present invention, the second step is recognized as an end point of the voice when the voice is not received from the voice terminal for a predetermined time.

이하, 본 발명의 실시예를 도면을 참조하여 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 일실시예에 따른 브로커링 시스템을 개략적으로 도시한 것이다.1 schematically illustrates a brokering system according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 브로커링 시스템(300)은 네트워크를 통하여 메신저 프로그램(110)이 설치된 단말기(100, 이하 '메신저 단말기'라고 한다), 음성 전화 단말기(200), 및 음성 합성부(400)와 연결되어 있다.As shown in Figure 1, the brokering system 300 according to an embodiment of the present invention is a terminal (100, hereinafter referred to as a "messenger terminal") installed a messenger program 110 over a network, voice telephone terminal ( 200, and the speech synthesis unit 400.

메신저 단말기(100)는 메신저 프로그램(110)이 설치된 개인용 컴퓨터 또는 모바일 단말기로서, 사용자는 메신저 단말기(100)로 브로커링 시스템(300)에 접속함으로써 음성 전화 단말기(200)와 대화를 나눌 수 있게 된다. 이 때, 메신저 프로그램(110)은 멀티미디어 재생 기능을 포함하고 있는 것으로서, 수신되는 미디어에 음성 미디어가 포함되는 경우, 메신저 단말기(100)에 설치된 스피커로 음성 미디어가 재생되도록 한다.The messenger terminal 100 is a personal computer or mobile terminal in which a messenger program 110 is installed, and a user can communicate with the voice telephone terminal 200 by accessing the brokering system 300 with the messenger terminal 100. . At this time, the messenger program 110 includes a multimedia playback function. When the received media includes voice media, the messenger program 110 allows the voice media to be played by the speaker installed in the messenger terminal 100.

또한, 음성 전화 단말기(200)는 음성 통신을 수행할 수 있는 단말기로서, 유무선 단말기를 포함한다. 도 1에서는 음성 전화 단말기(200)가 유선 단말기인 경우를 도시하였으나, 인터넷 전화, 무선 전화 등 다양한 음성 전화 단말기가 이용될 수 있다.In addition, the voice telephone terminal 200 is a terminal capable of performing voice communication, and includes a wired and wireless terminal. Although FIG. 1 illustrates a case in which the voice telephone terminal 200 is a wired terminal, various voice telephone terminals such as an internet phone and a wireless phone may be used.

브로커링 시스템(300)은 메신저 단말기(100)와 음성 전화 단말기(200)를 연결하고, 양측의 미디어를 적절한 형태의 포맷으로 변경함으로써, 메신저 단말기(100)와 음성 전화 단말기(200) 간의 대화가 가능하도록 한다.The brokering system 300 connects the messenger terminal 100 and the voice telephone terminal 200 and changes the media on both sides into an appropriate format so that the conversation between the messenger terminal 100 and the voice telephone terminal 200 is performed. Make it possible.

본 발명의 일실시예에 따르면, 브로커링 시스템(300)은 호 처리부(310), 인터페이스부(320), 텍스트 처리부(330), 음성 재생부(340), 음성 끝점 검출부(350), 및 음성 스트리밍부(360)를 포함한다. According to an embodiment of the present invention, the brokering system 300, the call processing unit 310, the interface unit 320, the text processing unit 330, the voice playback unit 340, the voice endpoint detection unit 350, and the voice It includes a streaming unit 360.

호 처리부(310)는 메신저 단말기(100) 또는 음성 전화 단말기(200)와의 호 설정(call establishment), 호 유지(call maintenance), 호 해제(call tear down) 등의 호 관련 처리를 수행하는 것으로서, 연결에 필요한 자원 할당 및 연결 관리를 수행한다. 구체적으로, 호 처리부(310)는 메신저 단말기(100) 또는 음성 전화 단말기(200) 중 일측으로부터 다른 측으로의 호 접속 요구가 있는 경우, 메신저 단말기(100)와 음성 전화 단말기(200)와의 인터페이스를 위한 자원들을 할당하고, 어느 일측으로부터 호 해제 요구가 있는 경우에는 메신저 단말기(100)와 음성 전화 단말기(200) 간의 호 접속을 해제시킨다.The call processing unit 310 performs call-related processing such as call establishment, call maintenance, call tear down with the messenger terminal 100 or the voice telephone terminal 200, Perform resource allocation and connection management required for the connection. Specifically, the call processing unit 310 is for the interface between the messenger terminal 100 and the voice telephone terminal 200 when there is a call connection request from one side of the messenger terminal 100 or the voice telephone terminal 200 to the other side. When resources are allocated and a call release request is received from either side, the call connection between the messenger terminal 100 and the voice telephone terminal 200 is released.

인터페이스부(320)는 메신저 단말기(100)가 음성 전화 단말기(200)와 서로 다른 네트워크를 사용하는 경우, 서로 연결될 수 있도록 하는 상호 프로토콜 변환 및 인터페이스 정합을 수행한다. 구체적으로는, 메신저 단말기(100)가 개인용 컴퓨터이고 음성 전화 단말기(200)가 유무선 전화인 경우, 또는 메신저 단말기(100)가 통신 전화 단말기이고 음성 전화 단말기(200)가 인터넷 전화 단말기인 경우에 사용된다.When the messenger terminal 100 uses a different network from the voice telephone terminal 200, the interface unit 320 performs mutual protocol conversion and interface matching to be connected to each other. Specifically, when the messenger terminal 100 is a personal computer and the voice telephone terminal 200 is a wired or wireless telephone, or when the messenger terminal 100 is a communication telephone terminal and the voice telephone terminal 200 is an internet telephone terminal. do.

텍스트 처리부(330)는 메신저 단말기(100)로부터 텍스트를 수신하는 경우, 텍스트 정보를 음성 합성부(400)로 전송하여 텍스트에 대응되는 음성으로 변환하도록 한다. 음성 재생부(340)는 재생큐(도시되지 않음)를 포함하고, 음성 합성부(400)에서 변환된 음성을 재생큐에 저장한 후 음성 전화 단말기(200)로 전송하여 음성이 재생되도록 한다. When the text processing unit 330 receives the text from the messenger terminal 100, the text processing unit 330 transmits the text information to the speech synthesis unit 400 to convert the text into a voice corresponding to the text. The voice reproducing unit 340 includes a reproducing queue (not shown), stores the voice converted by the voice synthesizing unit 400 in the reproducing queue, and transmits the reproducing voice to the voice telephone terminal 200 to reproduce the voice.

음성 끝점 검출부(350)는 음성 전화 단말기(200)로부터 음성을 수신하는 경 우 음성의 끝점을 검출하여 연속적인 음성 스트림(stream)을 문장 단위의 음성으로 구분한다. 음성 스트리밍부(360)는 음성 끝점 검출부(350)로부터 문장 단위로 구분된 음성을 메신저 단말기(100)로 전송한다. When the voice endpoint detection unit 350 receives the voice from the voice telephone terminal 200, the voice endpoint detection unit 350 detects the voice endpoint and divides the continuous voice stream into voice in sentence units. The voice streaming unit 360 transmits the voice divided by the sentence unit from the voice endpoint detector 350 to the messenger terminal 100.

음성 합성부(400)는 브로커링 시스템(300)으로부터 입력된 텍스트를 음성으로 변환하여 다시 브로커링 시스템(300)으로 출력한다. 텍스트를 음성으로 변환하는 음성 합성부(TTS: Text-to-speech)에 대해서는 이미 당업계에 널리 알려진 것이므로 그 구성 및 동작에 대한 구체적인 설명은 생략하기로 한다. The speech synthesizer 400 converts the text input from the brokering system 300 into voice and outputs the text to the brokering system 300 again. A text synthesis unit (TTS: Text-to-speech) for converting text to speech is already well known in the art, and thus a detailed description of the construction and operation thereof will be omitted.

본 발명의 일실시예에 따른 브로커링 시스템(300)은 상기와 같은 구성을 취함으로써 메신저 단말기(100)와 음성 전화 단말기(200) 간의 쌍방향 대화를 중계할 수 있게 된다.The brokering system 300 according to an embodiment of the present invention can relay the two-way conversation between the messenger terminal 100 and the voice telephone terminal 200 by taking the above configuration.

상기 설명에서, 본 발명의 일실시예에 따른 음성 끝점 검출부(350)는 문장 단위로 음성을 구분해내는 것으로 설명하였으나, 실시예에 따라서 일정한 음성 길이 등으로 음성을 나눌 수 있다. 또한, 도 1에 도시된 네트워크는 메신저 단말기(100), 음성 전화 단말기(200), 및 브로커링 시스템(300)이 서로 연결될 수 있도록 하는 유무선 네트워크를 포함한다.In the above description, the voice endpoint detecting unit 350 according to an embodiment of the present invention divides the voice in sentence units, but according to the exemplary embodiment, the voice may be divided by a predetermined voice length. In addition, the network illustrated in FIG. 1 includes a wired / wireless network that allows the messenger terminal 100, the voice telephone terminal 200, and the brokering system 300 to be connected to each other.

도 2는 본 발명의 일실시예에 따른 음성 끝점 검출부(350)의 내부 구성을 보다 구체적으로 도시한 것이다. 2 illustrates the internal configuration of the voice endpoint detection unit 350 according to an embodiment of the present invention in more detail.

도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 음성 끝점 검출부(350)는 음성 수신부(351), 끝점 확인부(352), 버퍼(353), 및 음성 파일 전송부(354)를 포함한다.As shown in FIG. 2, the voice endpoint detector 350 according to an exemplary embodiment of the present invention uses the voice receiver 351, the endpoint checker 352, the buffer 353, and the voice file transmitter 354. Include.

음성 수신부(351)는 음성 전화 단말기(200)로부터 수신되는 음성을 끝점 확인부(352)로 전송하고, 끝점 확인부(352)는 수신되는 음성을 버퍼(353)로 전송하여 저장한다. 이 때, 끝점 확인부(352)는 음성 수신부(351)에서 전송되는 음성의 끝점을 검출하고, 음성의 끝점이 검출되면, 음성 파일 전송부(354)에게 버퍼(353)에 저장된 음성을 음성 스트리밍부(360)로 전송할 것을 요청한다.The voice receiver 351 transmits the voice received from the voice telephone terminal 200 to the endpoint checker 352, and the endpoint checker 352 transmits and stores the received voice to the buffer 353. At this time, the endpoint checking unit 352 detects the end point of the voice transmitted from the voice receiving unit 351, and when the end point of the voice is detected, voice streams the voice stored in the buffer 353 to the voice file transmission unit 354. Request to be sent to section 360.

본 발명의 일실시예에 따르면, 끝점 확인부(352)는 미리 정해진 기준 시간 동안 음성이 수신되지 않는 구간 또는 기준 시간동안 음성이 지속되는 구간을 특징으로 하여 긴 음성의 끝점을 검출해낸다. 예를 들어, 끝점 확인부(352)는 3초 이상 음성이 수신되지 않을 때 마지막 수신 음성을 끝점으로 인식할 수 있고, 혹은 5초 단위로 마지막 수신음성을 끝점으로 인식할 수도 있다.According to an embodiment of the present invention, the endpoint checking unit 352 detects the end point of the long voice, characterized by a section in which no voice is received for a predetermined reference time or a section in which the voice continues for the reference time. For example, the endpoint checking unit 352 may recognize the last received voice as an end point when no voice is received for more than 3 seconds, or may recognize the last received voice as an end point in 5 second units.

이로써, 연속되는 음성을 문장 단위로 나누어 메신저 단말기(100)로 전송함으로써, 메신저 이용자와 일반 전화 이용자간의 텍스트와 음성의 대화가 자연스럽게 이루어지도록 할 수 있다.As a result, the continuous voice is divided into sentence units and transmitted to the messenger terminal 100, so that a text and voice conversation between the messenger user and the general telephone user can be naturally performed.

도 3 및 도 4는 본 발명의 일실시예에 따른 메신저 단말기(100)와 음성 전화 단말기(200) 간의 대화를 연결시키는 방법을 도시한 것으로서, 도 3은 음성 전화 단말기(200) 측에서 호 설정을 요청하는 경우를 도시한 것이고, 도 4는 메신저 단말기(100) 측에서 호 설정을 요청하는 경우를 도시한 것이다. 3 and 4 illustrate a method of connecting a conversation between a messenger terminal 100 and a voice telephone terminal 200 according to an embodiment of the present invention, and FIG. 3 shows a call setup at the voice telephone terminal 200 side. 4 shows a case of requesting call setup from the messenger terminal 100 side.

도 3에 도시된 바와 같이, 음성 전화 단말기(200)가 메신저 단말기(100)와 대화를 나누고자 하는 경우, 음성 전화 단말기(200)는 브로커링 시스템(300)에 접속을 요청하고, 대화를 나누고자 하는 메신저의 ID를 전송한다(S301).As shown in FIG. 3, when the voice telephone terminal 200 wants to talk with the messenger terminal 100, the voice telephone terminal 200 requests a connection to the brokering system 300, and has a conversation. The ID of the desired messenger is transmitted (S301).

브로커링 시스템(300)은 수신된 메신저 ID에 대응되는 메신저 단말기(100)에 호설정 메시지를 전송함으로써, 호설정을 요청하게 된다(S302).The brokering system 300 transmits a call setup message to the messenger terminal 100 corresponding to the received messenger ID, thereby requesting call setup (S302).

이 후, 메신저 단말기(100)에서 텍스트 입력 등의 방법으로 호설정 요청에 대응되는 메시지를 입력하게 되면(S303), 음선 전화 단말기(100)에 메신저 단말기(100)와 통화가 연결되었다는 전송과 함께 음성호를 연결시킨다(S304).Thereafter, when the messenger terminal 100 inputs a message corresponding to the call setup request by using a text input method (S303), the call terminal 100 is connected to the messenger terminal 100 with the transmission that the call is connected. The voice call is connected (S304).

이 후, 브로커링 시스템(300)은 음성 호에 대응되는 멀티미디어 재생 채널을 메신저 단말기(100)에 연결시킨 후(S305), 음성 전화 단말기(200)와 메신저 단말기 (100)가 실시간 대화가 진행되도록 한다(S306).Thereafter, the brokering system 300 connects the multimedia playback channel corresponding to the voice call to the messenger terminal 100 (S305), so that the voice telephone terminal 200 and the messenger terminal 100 can perform a real-time conversation. (S306).

이 후, 음성 전화 단말기(200)와 메신저 단말기(100) 중 한 쪽에서 대화를 종료시킬 경우에 브로커링 시스템(300)은 호를 끊고 대화를 종료한다(S307).Thereafter, when one of the voice telephone terminal 200 and the messenger terminal 100 ends the conversation, the brokering system 300 ends the call and ends the conversation (S307).

이하에서는, 메신저 단말기(100)에서 음성 전화 단말기(200)로 대화를 요청하는 경우에 대하여 설명한다.Hereinafter, a case of requesting a conversation from the messenger terminal 100 to the voice telephone terminal 200 will be described.

도 4에 도시된 바와 같이, 메신저 단말기(100)에서 메신저 프로그램(110)을 실행시켜 대화를 원하는 음성 전화 단말기(200)를 지정한 후 메시지를 입력하면 (S401), 브로커링 시스템(300)에서 대화하고자 하는 음성 전화 단말기를 호출하여 호설정을 요청하게 된다(S402).As illustrated in FIG. 4, when the messenger terminal 100 executes the messenger program 110 to designate a voice telephone terminal 200 to be talked with and then inputs a message (S401), the brokering system 300 talks. The call is made to the voice telephone terminal to request a call setup (S402).

이 후, 브로커링 시스템(300)과 음성 전화 단말기(200) 간의 음성 호가 연결되면(S403), 브로커링 시스템(300)은 메신저 단말기(100)와 멀티미디어 호를 연결하게 된다(S404).Thereafter, when the voice call between the brokering system 300 and the voice telephone terminal 200 is connected (S403), the brokering system 300 connects the messenger terminal 100 and the multimedia call (S404).

이 후, 메신저 단말기(100)와 음성 전화 단말기(200) 간에 실시간 대화가 이루어지고(S405), 적절한 시간의 실시간 대화가 완료된 이후, 어느 한측에서 대화를 종료하고자 하는 경우 대화를 종료시킨다(S406).Thereafter, a real-time conversation is made between the messenger terminal 100 and the voice telephone terminal 200 (S405), and after the real-time conversation of the appropriate time is completed, the conversation is terminated if one side wants to terminate the conversation (S406). .

도 5는 본 발명의 일실시예에 따른 브로커링 과정을 도시한 것이다.5 illustrates a brokering process according to an embodiment of the present invention.

도 5에 도시된 바와 같이, 브로커링 시스템(300)이 메신저 단말기(100)로부터 미디어를 수신하는 경우(S501), 텍스트 처리부(330)는 수신된 미디어가 텍스트 정보인지를 판단한다(S502). 수신된 미디어가 텍스트 정보인 경우, 텍스트 처리부(330)는 음성 합성부(400)로 텍스트 정보를 전송하여 텍스트 정보가 음성 미디어로 변환되도록 한다(S503).As shown in FIG. 5, when the brokering system 300 receives media from the messenger terminal 100 (S501), the text processing unit 330 determines whether the received media is text information (S502). If the received media is text information, the text processing unit 330 transmits the text information to the speech synthesis unit 400 so that the text information is converted into the voice media (S503).

이 후, 음성 재생부(340)는 음성 합성부(400)로부터 음성 미디어를 수신하여 재생큐에 저장하고, 재생큐에 저장된 음성 미디어를 음성 전화 단말기(200)로 전송하여 음성으로 재생시킨다(S504).Thereafter, the voice reproducing unit 340 receives the voice media from the voice synthesizing unit 400 and stores the voice media in the reproduction queue, and transmits the voice media stored in the reproduction queue to the voice telephone terminal 200 to reproduce the voice (S504). ).

이 후, 메신저 단말기(100)에서 메신저 프로그램(110)을 종료시키거나, 음성 전화 단말기(200)에서 전화를 끊는 경우, 대화를 종료하여 브로커링 동작을 완료한다(S505).Thereafter, when the messenger terminal 100 terminates the messenger program 110 or hangs up the call in the voice telephone terminal 200, the conversation ends to complete the brokering operation (S505).

이상으로 본 발명의 일실시예에 따른 멀티미디어 기능을 갖는 메신저와 전화 단말기 간의 쌍방향 대화를 위한 브로커링 시스템 및 방법에 대하여 설명하였다. 상기 설명된 실시예는 본 발명의 개념이 적용된 일실시예로서, 본 발명의 범위가 상기 실시예에 한정되는 것은 아니며, 본 발명의 개념을 그대로 이용하여 여러 가지 변형된 실시예를 형성할 수 있음은 당업자에게 자명하다.The brokering system and method for two-way conversation between a messenger having a multimedia function and a telephone terminal according to an embodiment of the present invention have been described above. The embodiment described above is an embodiment to which the concept of the present invention is applied, and the scope of the present invention is not limited to the above embodiment, and various modified embodiments may be formed using the concept of the present invention as it is. Is apparent to those skilled in the art.

또한, 본 발명에 따른 상기의 각 단계는 일반적인 프로그래밍 기법을 이용하여 소프트웨어적으로 또는 하드웨어적으로 다양하게 구현할 수 있다. 그리고, 본 발명의 일부 단계들은, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 잇는 데이터가 저장되어 있는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, CD-RW, 자기 테이프, 플로피디스크, HDD, 광 디스크, 광자기 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.In addition, each of the above steps according to the present invention can be implemented in a variety of software or hardware using a general programming technique. In addition, some steps of the present invention may be embodied as computer readable codes on a computer readable recording medium. Computer-readable recording media include all types of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, CD-RW, magnetic tape, floppy disks, HDDs, optical disks, magneto-optical storage devices, and carrier wave (e.g., Internet It also includes the implementation in the form of). The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

본 발명에 따르면, 불완전한 음성 인식 기술을 활용하지 않고서도 메신저와 음성 전화 단말기 간의 쌍방향 대화를 지원할 수 있다.According to the present invention, it is possible to support two-way conversation between a messenger and a voice telephone terminal without utilizing incomplete speech recognition technology.

또한, 음성 전화 단말기에서 수신되는 연속되는 음성을 문장별로 나누어 메신저로 전송함으로써, 음성 전화 단말기와 메신저 간의 대화가 자연스럽게 이루어지도록 할 수 있다.In addition, by dividing the continuous voice received by the voice telephone terminal by the sentence to the messenger, it is possible to facilitate the conversation between the voice telephone terminal and the messenger.

Claims (4)

멀티미디어 기능을 갖는 애플리케이션 프로그램이 설치된 메신저 단말기와 음성 단말기 간의 쌍방향 대화를 위한 브로커링 시스템에 있어서,A brokering system for interactive conversation between a messenger terminal and a voice terminal having an application program having a multimedia function, a) 상기 메신저 단말기와 상기 음성 단말기 간의 호 처리를 수행하기 위한 호 처리부;a call processing unit for performing call processing between the messenger terminal and the voice terminal; b) 상기 메신저 단말기로부터 입력된 텍스트를 음성으로 변환하여 출력하는 음성 합성부;b) a voice synthesizer for converting text input from the messenger terminal into voice and outputting the voice; c) 상기 메신저 단말기로부터 수신된 텍스트를 상기 음성 합성부로 전송하는 텍스트 처리부;c) a text processing unit for transmitting the text received from the messenger terminal to the speech synthesis unit; d) 상기 음성 합성부에서 변환된 음성을 상기 음성 단말기로 전송하는 음성 재생부;a voice reproducing unit for transmitting the voice converted by the voice synthesizing unit to the voice terminal; e) 상기 음성 단말기로부터 수신된 음성의 끝점을 검출하여 상기 음성을 문장 단위의 음성으로 구분하는 음성 끝점 검출부; 및e) a voice end point detector for detecting an end point of the voice received from the voice terminal and dividing the voice into a sentence unit of voice; And f) 상기 음성 끝점 검출부에서 구분된 문장 단위의 음성을 구분 단위로 상기 메신저 단말기로 출력하여 상기 메신저 단말기의 멀티미디어 기능을 통해 상기 메신저 단말기 사용자에게 제공되도록 하는 음성 스트리밍부를 포함하고, f) a voice streaming unit for outputting the speech in the sentence unit divided by the voice endpoint detection unit to the messenger terminal to be provided to the messenger terminal user through a multimedia function of the messenger terminal, 상기 음성 끝점 검출부는, The voice endpoint detection unit, 상기 음성 단말기로부터 음성을 수신하는 음성 수신부,A voice receiver for receiving a voice from the voice terminal, 상기 음성의 끝점을 검출하는 끝점 확인부,An endpoint confirmation unit for detecting an endpoint of the voice; 상기 음성을 임시 저장하기 위한 버퍼, 및A buffer for temporarily storing the voice, and 상기 끝점 확인부가 상기 끝점을 검출하는 경우 상기 버퍼에 저장된 음성을 상기 음성 스트리밍부로 전송하는 음성 파일 전송부를 포함하는 브로커링 시스템.And a voice file transmitter for transmitting the voice stored in the buffer to the voice streaming unit when the endpoint checker detects the endpoint. 삭제delete 멀티미디어 기능을 갖는 애플리케이션 프로그램이 설치된 메신저 단말기와 음성 단말기 간의 쌍방향 대화를 위한 브로커링 방법에 있어서,In the brokering method for a two-way conversation between a messenger terminal and a voice terminal installed with an application program having a multimedia function, a) 상기 메신저 단말기로부터 텍스트를 수신하는 경우 상기 텍스트를 음성으로 변환하여 상기 음성 단말기로 전송하는 제1 단계;a) converting the text into voice and transmitting the text to the voice terminal when receiving the text from the messenger terminal; b) 상기 음성 단말기로부터 음성을 수신하는 경우 상기 음성의 끝점을 검출하여 상기 음성을 문장으로 구분하며, 상기 음성 단말기로부터 기준 시간 동안 음성이 수신되지 않는 경우 음성의 끝점으로 인식하거나, 기준 시간 동안 음성이 수신되는 경우 음성의 끝점으로 인식하는 제2 단계; 및b) When the voice is received from the voice terminal, the end point of the voice is detected and the voice is divided into sentences. If the voice is not received from the voice terminal during the reference time, the voice is recognized as the end point of the voice or the voice is received during the reference time. A second step of recognizing the end point of the voice when it is received; And c) 상기 문장으로 구분된 음성을 순차적으로 상기 메신저 단말기로 전송하여, 상기 음성이 상기 메신저 단말기의 멀티미디어 기능을 통해 상기 메신저 단말기 사용자에게 제공되는 제3 단계c) a third step of sequentially transmitting the voice divided by the sentence to the messenger terminal, wherein the voice is provided to the messenger terminal user through a multimedia function of the messenger terminal; 를 포함하는 브로커링 방법.Brokering method comprising a. 삭제delete
KR1020040012626A 2004-02-25 2004-02-25 Brokering system and method for interactive chatting between multimedia messenger and voice terminal KR100571866B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040012626A KR100571866B1 (en) 2004-02-25 2004-02-25 Brokering system and method for interactive chatting between multimedia messenger and voice terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040012626A KR100571866B1 (en) 2004-02-25 2004-02-25 Brokering system and method for interactive chatting between multimedia messenger and voice terminal

Publications (2)

Publication Number Publication Date
KR20050086228A KR20050086228A (en) 2005-08-30
KR100571866B1 true KR100571866B1 (en) 2006-04-17

Family

ID=37270161

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040012626A KR100571866B1 (en) 2004-02-25 2004-02-25 Brokering system and method for interactive chatting between multimedia messenger and voice terminal

Country Status (1)

Country Link
KR (1) KR100571866B1 (en)

Also Published As

Publication number Publication date
KR20050086228A (en) 2005-08-30

Similar Documents

Publication Publication Date Title
US9621852B2 (en) Videoconferencing systems with recognition ability
US7822050B2 (en) Buffering, pausing and condensing a live phone call
US6801604B2 (en) Universal IP-based and scalable architectures across conversational applications using web services for speech and audio processing resources
EP2274870B1 (en) Open architecture based domain dependent real time multi-lingual communication service
JP3237566B2 (en) Call method, voice transmitting device and voice receiving device
US20070263604A1 (en) Ring back notification system and method therefor
US10051115B2 (en) Call initiation by voice command
CN100502571C (en) Communications method and system
ES2232188T3 (en) SYSTEM AND METHOD FOR IP-BASED COMMUNICATIONS THAT HAVE TEXT GENERATED FROM THE TALK.
US6556563B1 (en) Intelligent voice bridging
JP2004159335A (en) Automatic interpretation system and method for tripartite talking scheme
CN113612759B (en) High-performance high-concurrency intelligent broadcasting system based on SIP protocol and implementation method
CN107809409A (en) A kind of method and device of the transmission of speech data, reception and interaction
US20060077967A1 (en) Method to manage media resources providing services to be used by an application requesting a particular set of services
US6501751B1 (en) Voice communication with simulated speech data
KR100571866B1 (en) Brokering system and method for interactive chatting between multimedia messenger and voice terminal
US20160234384A1 (en) Efficient allocation and usage of communication channels for text streams
US20020191754A1 (en) Remote voice interactive computer systems
JP4655008B2 (en) Recording notification method by portable terminal device, portable terminal device, and communication system
JPH10215331A (en) Voice conference system and its information terminal equipment
CN1984353B (en) Method and device for mixing sound
US10818295B1 (en) Maintaining network connections
KR100370973B1 (en) Method of Transmitting with Synthesizing Background Music to Voice on Calling and Apparatus therefor
CN113365108A (en) Audio and video transcoding system and method based on color ring back tone
KR100929531B1 (en) Information provision system and method in wireless environment using speech recognition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110411

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130329

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160329

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170328

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20190401

Year of fee payment: 14