KR100911717B1 - 멀티미디어 동시통역 시스템의 송신부 및 이를 포함하는멀티미디어 동시통역 시스템 - Google Patents

멀티미디어 동시통역 시스템의 송신부 및 이를 포함하는멀티미디어 동시통역 시스템 Download PDF

Info

Publication number
KR100911717B1
KR100911717B1 KR1020070115428A KR20070115428A KR100911717B1 KR 100911717 B1 KR100911717 B1 KR 100911717B1 KR 1020070115428 A KR1020070115428 A KR 1020070115428A KR 20070115428 A KR20070115428 A KR 20070115428A KR 100911717 B1 KR100911717 B1 KR 100911717B1
Authority
KR
South Korea
Prior art keywords
signal
interpreter
input unit
voice
multimedia
Prior art date
Application number
KR1020070115428A
Other languages
English (en)
Other versions
KR20090049244A (ko
Inventor
이상운
서종수
김형도
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020070115428A priority Critical patent/KR100911717B1/ko
Publication of KR20090049244A publication Critical patent/KR20090049244A/ko
Application granted granted Critical
Publication of KR100911717B1 publication Critical patent/KR100911717B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/027—Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L2013/021—Overlap-add techniques

Abstract

본 발명은 멀티미디어 동시통역 시스템의 송신부 및 이를 포함하는 멀티미디어 동시통역 시스템에 관한 것이다. 보다 상세하게는 통역자의 음성 및 발표자의 발표 영상과 더불어, 발표자의 발표 내용을 자막으로 볼 수 있도록 함으로써 통역 대상자가 강조하는 포인트를 캐취하기 용이하도록 하고, 보다 생생한 현장감을 제공할 뿐만 아니라, 통역자의 오역으로 인한 오해를 방지하고 보다 회의에 몰입할 수 있도록 하는 멀티미디어 동시통역 시스템의 송신부 및 이를 포함하는 멀티미디어 동시통역 시스템에 관한 것이다.
멀티미디어, 동시통역 시스템, 영상, 음성, 자막

Description

멀티미디어 동시통역 시스템의 송신부 및 이를 포함하는 멀티미디어 동시통역 시스템{Transmitter of multimedia simultaneous translation system and Multimedia simultaneous translation system including the same}
본 발명은 멀티미디어 동시통역 시스템의 송신부 및 이를 포함하는 멀티미디어 동시통역 시스템에 관한 것이다. 보다 상세하게는 통역자의 음성 및 발표자의 발표 영상과 더불어, 발표자의 발표 내용을 자막으로 볼 수 있도록 함으로써 통역 대상자가 강조하는 포인트를 캐취하기 용이하도록 하고, 보다 생생한 현장감을 제공할 뿐만 아니라, 통역자의 오역으로 인한 오해를 방지하고 보다 회의에 몰입할 수 있도록 하는 멀티미디어 동시통역 시스템의 송신부 및 이를 포함하는 멀티미디어 동시통역 시스템에 관한 것이다.
국제간의 학술교류, 기업간 국제합작 등이 활성화되면서 동시통역(simultaneous translation)의 중요성이 증가하고 있다. 대규모 국제회의는 물론 소규모 회의 등의 다양한 성격의 회의에까지 동시통역의 사용영역이 점차로 확대되고 있다.
동시통역의 큰 장점은 시차 없이 통역이 진행되기 때문에 시간의 사용이 효 율적이며, 또한 발표자의 발언과 동시에 통역이 이루어질 수 있어 많은 정보량을 처리할 수 있고 시간효율을 극대화할 수 있다. 발표자의 말이 끝난 다음에 통역을 하는 순차통역(consecutive translation)에 비해 동시통역은 시차 없이 동시에 통역을 하므로 순차통역에 비해 회의시간을 거의 절반으로 줄일 수 있다.
우리나라에서는 걸프전 이후 동시통역에 대한 관심과 효율이 잘 알려졌다. 동시통역의 역사는 제2차 세계대전으로 거슬러 올라가며, 전쟁 이후의 전범처리를 위한 회의에서 신속한 처리를 하기 위해 본격적으로 도입되어 사용되었다. 동시통역은 대규모 국제회의, 심포지엄, 세미나, 워크샵 등에서 많이 사용된다. 국제회의 통역사들은 통역부스에서 헤드폰을 끼고 발표자의 발언을 들으면서 동시에 다른 언어로 통역한다.
통상적인 동시통역 시스템에서는 발표자의 발표 내용을 통역사가 동시통역하고, 이와 같이 동시통역된 통역사의 음성만이 회의 참석자에게 제공된다. 회의장의 규모가 큰 경우에는 회의 참석자들이 발표자의 발표 모습을 제대로 볼 수 없으며, 오직 동시통역된 통역사의 단조로운 음성만으로 발표 내용을 파악할 수밖에 없어 발표에 대한 몰입도가 떨어진다. 또한, 발표자는 발표를 하면서 각종 제스쳐를 동반하기도 하고, 단조로운 음성으로 일관되게 발표하는 것이 아니라 특정 파트의 강조를 위해 음량을 크게 하기도 한다. 그러나, 상기와 같은 통상적인 동시통역 시스템에서는 통역사의 음성만 제공되므로 발표자의 발표모습을 통해 발표자가 강조하는 포인트를 파악하기 힘들고, 현장감이 현저하게 떨어진다는 문제점이 있다.
더불어, 동시통역을 진행하는 통역사는 회의의 성격에 따라 그 분야의 전문 가가 참석하는 것이 일반적이나, 통역사가 해당 분야에 대해 웬만한 지식을 보유하고 있더라도 특정 전문용어의 경우 신속하고 정확하게 번역하는 것이 용이하지 않으며 원어의 뉘앙스를 충분히 반영하지 못하는 경우도 허다하다. 이러한 통역상의 오류로 인해 회의 참석자는 발표자의 발표 내용을 제대로 이해하지 못하는 경우가 발생할 수 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 특히 통역 대상자가 강조하는 포인트를 캐취하기 용이하도록 하고, 보다 생생한 현장감을 제공할 뿐만 아니라, 통역자의 오역으로 인한 오해를 방지하고 보다 회의에 몰입할 수 있도록 하는 멀티미디어 동시통역 시스템의 송신부 및 이를 포함하는 멀티미디어 동시통역 시스템을 제공하는 데 그 목적이 있다.
상기 목적을 달성하기 위해 안출된 본 발명의 일 측면에 따른 멀티미디어 동시통역 시스템의 송신부는 통역 대상자의 영상신호를 입력받아 디지털 신호로 변환하고 부호화하는 영상신호 입력부; 상기 통역 대상자의 발표내용을 동시통역한 통역자의 음성신호를 입력받아 디지털 신호로 변환하고 부호화하는 음성신호 입력부; 상기 영상신호 입력부로부터 입력된 영상신호와 상기 음성신호 입력부로부터 입력된 음성신호를 합성하는 신호 합성부를 포함하는 것을 특징으로 한다.
또한, 상기 영상신호 입력부는 상기 통역 대상자의 영상신호를 획득하여 전기적인 신호로 변환하는 카메라; 상기 카메라의 출력 신호를 디지털 신호로 변환하는 아날로그/디지털 변환기; 및 상기 아날로그/디지털 변환기의 출력 신호를 부호화하는 영상 인코더를 포함할 수 있다.
또한, 상기 음성신호 입력부는 상기 통역자의 음성신호를 획득하여 전기적인 신호로 변환하는 마이크로폰; 상기 마이크로폰의 출력 신호를 디지털 신호로 변환 하는 아날로그/디지털 변환기; 및 상기 아날로그/디지털 변환기의 출력 신호를 부호화하는 음성 인코더를 포함할 수 있다.
또한, 멀티미디어 동시통역 시스템의 송신부는 상기 상기 신호 합성부의 출력 신호를 무선 전송이 가능하도록 변조하는 변조부; 및 상기 변조부의 출력 신호를 증폭하는 증폭부를 더 포함할 수 있다.
본 발명의 일 측면에 따른 멀티미디어 동시통역 시스템은 상기 송신부; 및 상기 송신부로부터 송신된 신호를 무선 채널로 수신하여 상기 통역 대상자의 영상과 상기 통역자의 음성을 제공하는 수신부를 포함하는 것을 특징으로 한다.
또한, 상기 수신부는 상기 통역 대상자의 영상신호를 수신하여 디스플레이하는 영상 수신기; 및 상기 통역자의 음성신호를 수신하는 음성 수신기를 포함할 수 있다.
본 발명의 다른 측면에 따른 멀티미디어 동시통역 시스템의 송신부는 통역 대상자의 영상신호를 입력받아 디지털 신호로 변환하고 부호화하는 영상신호 입력부; 상기 통역 대상자의 발표내용을 동시통역한 통역자의 음성신호를 입력받아 디지털 신호로 변환하고 부호화하는 음성신호 입력부; 상기 통역 대상자의 발표내용을 문자화한 자막 데이터를 입력받아 패킷으로 전환하고 자막용 신호를 생성하는 자막 입력부; 및 상기 영상신호 입력부로부터 입력된 영상신호와 상기 음성신호 입력부로부터 입력된 음성신호 및 상기 자막 입력부로부터 입력된 자막 데이터를 합성하는 신호 합성부를 포함하는 것을 특징으로 한다.
또한, 상기 자막 입력부는 상기 통역 대상자의 발표 내용을 자막 데이터화하 는 문자 입력기; 상기 문자 입력기를 통해 입력된 데이터를 패킷으로 변환하는 데이터 패킷 변환기; 및 상기 데이터 패킷 변환기로부터 수신된 데이터 패킷을 복호화하여 자막용 신호를 생성하는 자막 신호 생성기를 포함할 수 있다.
또한, 본 발명의 다른 측면에 따른 멀티미디어 동시통역 시스템은 상기 송신부; 및 상기 송신부로부터 송신된 신호를 무선 채널로 수신하여 상기 통역 대상자의 영상과 상기 통역자의 음성 및 상기 통역 대상자의 발표 내용과 동일한 자막을 제공하는 수신부를 포함하는 것을 특징으로 한다.
본 발명에 의하면 국제회의 등에서 이루어지는 동시통역에 있어 통역자의 음성뿐만 아니라 발표자의 발표 영상을 함께 제공함으로써 통역 대상자가 강조하는 포인트를 캐취하기 용이하도록 하고 보다 생생한 현장감을 제공하여 한차원 높은 동시통역 시스템을 제공하는 효과가 있다.
또한, 본 발명에 의하면 통역자의 음성 및 발표자의 발표 영상과 더불어, 발표자의 발표 내용을 자막으로 볼 수 있도록 함으로써 상기와 같은 효과 이외에도 통역자의 오역으로 인한 오해를 방지하고 보다 회의에 몰입할 수 있도록 하는 효과가 있다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가 지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
먼저, 본 발명의 일 실시예에 따른 멀티미디어 동시통역 시스템에 대해 설명한다.
도 1은 본 발명의 일 실시예에 따른 멀티미디어 동시통역 시스템의 블록도이다. 도 2는 도 1 중 영상신호 입력부의 상세 블록도이고, 도 3은 도 1 중 음성신호 입력부의 상세 블록도이다.
본 발명의 일 실시예에 따른 멀티미디어 동시통역 시스템은, 도 1을 참조하면, 송신부(100)와 수신부(200)를 포함하여 이루어진다.
송신부(100)는 국제 회의 등에서의 발표자, 즉 통역의 대상이 되는 "통역 대상자"의 영상과, 통역 대상자의 발표 내용을 동시통역하는 통역자의 음성을 전기적인 신호로 변환하고 이를 무선통신에 적합하도록 가공하여 무선 채널을 통하여 전송한다. 송신부(100)는 영상신호 입력부(110), 음성신호 입력부(120), 신호 합성부(130), 변조부(140), 및 증폭부(150)를 포함한다.
영상신호 입력부(110)는 통역 대상자의 영상신호를 입력받아 디지털 신호로 변환하고 부호화하는 역할을 수행한다. 이를 위해 영상신호 입력부(110)는, 도 2를 참조하면, 카메라(112), 아날로그/디지털 변환기(114)(이하, "A/D 변환기"), 영상 인코더(116)를 포함한다.
카메라(112)는 통역 대상자의 영상신호를 획득하여 전기적인 신호로 변환하는 역할을 수행한다. 카메라(112)는 통역 대상자의 정지영상을 얻을 수도 있으나, 보다 현장감을 높이고 통역 대상자에 대한 주의 집중을 위해 동영상을 얻는 것이 바람직하다. 이때, 카메라(112)는 동시통역이 이루어지는 국제회의 등의 형식에 따라 1대 또는 여러 대로 구성될 수 있다. 예를 들어 참석자 중 1인이 단상에서 발표를 하고 나머지 참석자들이 각자의 자리에 앉아서 이를 경청하는 경우, 발표자가 위치하는 단상에만 1대의 카메라가 설치되면 충분하다. 다만, 이 경우에도 발표자의 다양한 영상을 제공하기 위해 복수의 카메라가 구비될 수도 있음은 물론이다. 한편, 모든 참석자가 원탁에 둘러앉아 발표와 상호간의 질의가 연속적으로 이루어지는 경우, 각 참석자당 1대씩의 카메라가 구비되는 것이 바람직하다. 이러한 경우에는 참석자마다 동시통역을 진행할 통역자가 배치되어야 함은 물론이다.
A/D 변환기(114)는 카메라(112)를 통해 전기적인 신호로 변환된 영상 신호를 디지털 신호로 변환한다. 디지털 신호는 통역자의 음성 정보를 100% 재현할 수는 없는 단점이 존재하나, 전송 중 발생되는 에러를 자동으로 복구할 수 있는 알고리즘의 구현이 용이하고 아날로그 전송에 비해 상대적으로 잡음에 강하며 한번 양자화되면 그 특성이 변하지 않는 장점을 가지고 있다. 국제회의 등에서 통역자의 미묘한 음성 정보까지 전송될 필요는 없으며 비교적 좁은 장소에서 근거리 전송이 이루어지므로, A/D 변환기(114)를 통해 영상을 디지털 신호로 변환한 후 전송하는 것이 바람직하다.
영상 인코더(116)는 A/D 변환기(114)를 통해 디지털 신호로 변환된 영상 신호를 부호화하는 역할을 수행한다. 카메라(112)를 통해 획득한 동영상은 시계열적으로 연속된 정지영상들의 모임이며, 이러한 정지영상들끼리는 서로 유사한 부분이 많으므로 모든 프레임을 전송하는 것보다는 프레임간 유사도를 파악하여 중첩되는 부분을 압축하여 전송되는 것이 바람직하다. 이를 위해 프레임내 모드(intra mode)와 프레임간 모드(inter mode)를 사용하여 부호화할 수 있으며, MPEG 계열 또는 H.264/AVC 등의 동영상 압축 표준을 이용하여 부호화할 수 있다. 이때, 이산여현변환(Discrete Cosing Transformation), 양자화 및 엔트로피 코딩 등의 과정이 포함될 수 있다.
음성신호 입력부(120)는 통역 대상자의 발표내용을 동시통역한 통역자의 음성신호를 입력받아 디지털 신호로 변환하고 부호화하는 역할을 수행한다. 음성신호는 발표자의 발표내용을 듣고 동시통역에 능통한 통역자가 실시간으로 자신의 음성을 통해 통역을 진행함으로써 입력될 수 있고, 한편 통역 대상자의 발표내용을 미리 입수할 수 있는 경우에는 통역자가 이를 번역하여 통역 대상자의 발표와 동시에 또는 발표 후 연속적으로 통역을 진행함으로써 입력될 수도 있다. 이를 위해 음성신호 입력부(120)는, 도 3을 참조하면, 마이크로폰(microphone)(122), A/D 변환기(124), 및 음성 인코더(126)를 포함한다.
마이크로폰(122)은 통역자의 음성신호를 획득하여 전기적인 신호로 변환하는 역할을 수행한다. 마이크로폰(122)은 바람직하게는 회의 참석자의 수만큼 구비되어, 각 마이크로폰(122)을 통하여 통역자가 동시통역을 수행하고 개별적으로 수행 된 동시통역의 음성을 각 회의 참석자가 청취할 수 있도록 한다. 한편, 마이크로폰(122)은 전체 회의 참석자를 사용언어에 따라 분류하고, 이와 같이 분류된 사용언어의 수만큼 구비될 수도 있다. 동일한 언어 사용권에 속하는 회의 참석자를 그룹화하고 그 수에 따라 통역자와 마이크로폰(122)을 구비함으로써 비용을 절감할 수 있다.
A/D 변환기(124)는 마이크로폰(122)의 출력 신호를 디지털 신호로 변환하는 역할을 수행한다. A/D 변환기(124)는 시간적으로 연속적인 음성신호를 샘플링하고 이를 양자화함으로써 아날로그 신호를 디지털 신호로 변환한다. 이때, 샘플링 주기는 음질과 데이터 전송량을 모두 고려하여 적절한 수준으로 설정한다.
음성 인코더(126)는 A/D 변환기(124)를 통해 디지털 신호로 변환된 음성 신호를 부호화하는 역할을 수행한다. 이를 위해 음성 인코더(126)는 MPEG 계열 또는 AC3 등의 음성 압축 표준을 이용하여 부호화할 수 있다.
신호 합성부(130)는 영상신호 입력부(110)로부터 입력된 영상신호와 음성신호 입력부(120)로부터 입력된 음성신호를 기저대역에서 합성하는 역할을 수행한다. 이때, 영상신호와 음성신호의 동기를 위해 영상 데이터와 음성 데이터에 동일한 값의 타임스탬프(time stamp)를 기록하는 방식이 사용될 수 있다.
변조부(140)는 신호 합성부(130)의 출력 신호를 무선 전송이 가능하도록 변조한다.
증폭부(150)는 변조부(140)의 출력 신호를 증폭하는 역할을 수행한다.
수신부(200)는 송신부(100)로부터 송신된 신호를 무선 채널로 수신하여 통역 대상자의 영상과 통역자의 음성을 제공한다. 송신부(100)와 수신부(200)의 송수신 방식으로는 블루투스(Bluetooth), 무선랜(wireless LAN)과 같은 근거리 통신 방식 또는 FM(Frequency Modulation) 송수신 방식 등이 사용될 수 있으며, 여기서 송수신 방식을 한정하는 것은 아니다. 수신부(200)는 통역 대상자의 영상신호를 수신하여 디스플레이하는 영상 수신기(210)와 통역자의 음성신호를 수신하는 음성 수신기(220)를 포함한다. 도시되지 않았으나, 송수신 방식으로 블루투스 방식을 사용하는 경우 수신부(200)는 고주파(Radio Frequency : RF) 수신부, 베이스 밴드(Base band)부를 구비할 수 있으며, 800MHz대 또는 1.8GHz대의 주파수 대역을 사용하는 이동통신망과의 주파수 혼선에 의한 데이터 오류를 방지하기 위해 이동통신망의 주파수 대역과 구분되는 2.4GHz 내지 2.4835GHz대의 주파수 대역을 사용하며, 다수개의 채널을 사용하여 주파수 호핑을 수행할 수 있다. 또한, 도시되지 않았으나 송수신 방식으로 FM 송수신 방식을 사용하는 경우 수신부(200)는 RF 수신부, 베이스 밴드부를 구비할 수 있으며, 이동통신망의 주파수 대역과는 구분되는 88MHz 내지 108MHz대의 주파수 대역으로 데이터를 수신할 수 있다.
영상 수신기(210)로는 데스크 탑(desk-top) 컴퓨터, 랩탑(lap-top) 컴퓨터, PDA(Personal Digital Assistants), 이동통신 단말기 등이 사용될 수 있다.
음성 수신기(220)로는 스피커, 이어폰, 헤드셋 등이 사용될 수 있다. 수신부(200)는 신호 합성부(130)에서 타임 스탬프 등으로 동기시킨 영상신호와 음성신호가 서로 동기를 맞추어 출력될 수 있도록 한다.
이와 같이 함으로써 본 발명의 일 실시예에 따른 멀티미디어 동시통역 시스 템은 통역 대상자의 발표 내용이 동시통역된 음성을 들으면서 발표하고 있는 통역 대상자의 영상을 볼 수 있도록 하여, 통역 대상자가 강조하는 포인트를 캐취하기 용이하도록 하고 현장감을 제공할 수 있도록 한다.
다음으로, 본 발명의 다른 실시예에 따른 멀티미디어 동시통역 시스템에 대해 설명한다.
도 4는 본 발명의 다른 실시예에 따른 멀티미디어 동시통역 시스템의 블록도이고, 도 5는 도 4 중 자막 입력부의 상세 블록도이다. 도 4의 실시예는 자막 입력부(330)를 구비하여 통역 대상자의 발표 내용을 자막으로 볼 수 있도록 한 점 이외에는 도 1의 실시예와 유사하므로, 차이점을 중심으로 설명한다.
본 발명의 다른 실시예에 따른 멀티미디어 동시통역 시스템은, 도 4를 참조하면, 송신부(300)와 수신부(400)를 포함하여 이루어진다.
송신부(300)는 영상신호 입력부(310), 음성신호 입력부(320), 자막 입력부(330), 신호 합성부(350), 변조부(360), 및 증폭부(370)를 포함한다.
자막 입력부(330)는 통역 대상자의 발표내용을 문자화한 자막 데이터를 입력받아 패킷으로 전환하고 자막용 신호를 생성한다. 특히, 통역 대상자의 사용 언어가 영어일 경우, 빠른 속도로 발표하는 내용의 리스닝(listening)은 힘들 수 있으나 발표 내용을 그대로 자막화한 문자를 리딩(Reading)하는 것은 상대적으로 쉬울 수 있으므로 자막 서비스는 강력한 힘을 발휘할 수 있다. 또한, 동시통역된 내용을 들을 경우 통역자가 그 분야의 전문가가 아니면 특정 분야에서만 사용되는 전문 용 어의 번역 정확도가 떨어질 수 있다. 이때, 자막 입력부(330)를 통하여 입력된 자막 데이터가 함께 제공되면 통역된 음성과 원문 자막을 함께 보면서 이해도를 증진시킬 수 있다. 이를 위해 자막 입력부(330)는, 도 5를 참조하면, 문자 입력기(332), 데이터 패킷 변환기(334), 및 자막 신호 생성기(336)를 구비한다.
문자 입력기(332)는 통역 대상자의 발표 내용을 데이터화하는 부분이다. 발표 내용이 미리 문서화되어 있는 경우에는 실시간으로 문서 내용을 입력하거나 문서 내용을 미리 타이핑하여 데이터화할 수 있고, 미리 준비된 문서 없이 바로 발표가 이루어지는 경우에는 리스닝(listening)에 정통한 사람 또는 원어민이 발표 내용을 들으면서 실시간으로 타이핑함으로써 데이터화할 수 있다. 문자 입력기(332)로는 키보드 등이 이용될 수 있으며, 특히 속기 타입의 전용 키보드가 바람직하다. 한편, 문자 입력기(332)로는 키보드 대신 음성인식(Speech To Text : STT) 기능을 이용한 자막 생성기가 사용될 수도 있다. 예컨대, 이는 발표자의 음성을 전기적인 신호로 변환하는 마이크, 마이크를 통해 전기적인 신호로 변환된 음성신호를 문자신호로 변환시키는 음성인식장치, 음성인식장치에 연결된 변환기, 및 변환기에 연결된 모니터로 구성될 수 있다. 상기 음성인식장치는 음성 및 문자 데이터가 저장된 메모리가 내장되어, 마이크를 통해 입력된 음성신호를 분석하여 문자신호로 변환시키는 기능을 수행한다. 보다 상세하게는 음성인식장치가 마이크에 의해 변환된 음성신호를 디지털 신호로 변환시킨 후 메모리에 기록된 음향패턴과 입력된 음향패턴을 비교함으로써 음성을 인식하여 문자신호로 출력한다. 상기 변환기는 음성인식장치에서 출력되는 문자신호를 전기신호로 변환하게 된다.
데이터 패킷 변환기(334)는 문자 입력기(332)를 통해 입력된 데이터를 패킷(packet)으로 변환하는 역할을 수행한다. 데이터 패킷 변환기(334)는 패킷화된 데이터 포맷 형식에 따라 데이터를 변환하여 자막 신호 생성기(336)로 전송한다. 데이터 포맷 형식에는 아래 표 1과 같이 필요에 따라 에러 체크 기능 등이 포함될 수 있다.
STX 데이터 길이 패킷 번호 데이터 체크썸 ETX
데이터 패킷 변환기(334)와 자막 신호 생성기(336) 사이에는 전송 규약을 정함으로써 문자 데이터의 전송시 발생할 수 있는 에러를 최소화하는 것이 바람직하다. 표 1에는 표현하지 않았으나 데이터 포맷 형식에 예비 코드를 확보함으로써 추후 확장에 유연하게 대처할 수도 있음은 물론이다. 또한, 데이터 패킷 변환기(334)는 문자 데이터를 보낼 때 한 패킷의 시작과 끝을 알리는 STX(Start TeXt)와 ETX(End TeXt), 데이터 길이와 패킷 번호 및 체크썸(checksum)을 같이 보내는 것이 바람직하다.
자막 신호 생성기(336)는 데이터 패킷 변환기(334)로부터 전송된 데이터 패킷을 복호화하여 자막용 신호를 생성한다. 자막 신호 생성기(336)는 전송된 데이터로부터 패킷 번호와 체크썸을 확인하여 데이터가 에러없이 수신되었을 때에는 ACK(ACKnowledge)를, 에러가 있을 때는 NACK(Negative ACKnowledge)를 데이터 패킷 변환기(334)에 전송함으로써 에러가 발생한 데이터 패킷에 대한 재전송을 요구할 수도 있다. 이때, 데이터 패킷 변환기(334)는 ACK를 수신한 경우에는 다음 데이터 패킷을 전송하고 NACK를 수신한 경우에는 이전에 전송하였던 데이터 패킷을 재차 송신하게 된다. 연속적인 NACK로 인하여 같은 문자 데이터에 대한 데이터 패킷이 무한히 전송되는 것을 회피하기 위하여 하나의 데이터 패킷에 대한 재전송 회수를 사용자가 임의로 제한할 수 있도록 하는 것도 가능하다.
신호 합성부(350)는 영상신호 입력부(310)로부터 입력된 영상신호와 음성신호 입력부(320)로부터 입력된 음성신호 및 자막 입력부(330)로부터 입력된 자막 데이터를 합성하는 역할을 수행한다. 이때, 영상신호, 음성신호, 자막 데이터의 동기를 위하여 동일한 타임 스탬프를 기록하는 방법이 사용될 수 있으며, 자막 데이터를 영상신호의 수직 소거 기간에 삽입하여 송신하는 것도 가능하다. 여기서 영상신호와 음성신호 및 자막 데이터의 동기를 확보하는 방법을 한정하는 것은 아니다.
신호 합성부(350)에서 합성된 신호는 변조부(360)를 통해 변조되고 증폭부(370)에서 증폭된 후 송신 안테나를 통해 송출되며, 무선 링크를 통해 수신부(400)로 전송된다.
수신부(400)는 송신부(300)로부터 송신된 신호를 무선 채널로 수신하여 통역 대상자의 영상과 통역자의 음성 및 통역 대상자의 발표내용과 동일한 자막을 제공한다. 이를 위해 수신부(400)는 영상 및 자막 수신기(410)와 음성 수신기(420)를 구비한다.
영상 및 자막 수신기(410)는 통역 대상자의 발표 영상과, 발표 내용을 문자로 표현한 자막을 제공한다. 이때, 자막은 영상의 수직 소거 기간 등을 이용하여 화면에 로딩된다.
음성 수신기(420)는 영상 및 자막 수신기(410)의 영상, 자막과 동기화된 통역자의 음성을 제공한다.
이와 같이 함으로써 본 발명의 다른 실시예에 따른 멀티미디어 동시통역 시스템은 통역 대상자의 발표 내용이 동시통역된 음성을 들으면서 통역 대상자의 발표 내용을 원문으로 확인함과 동시에, 발표하고 있는 통역 대상자의 영상을 볼 수 있도록 하여, 통역자의 오역으로 인한 오해를 방지하고 보다 회의에 몰입할 수 있도록 한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 동시통역된 음성뿐만 아니라, 발표자의 발표 영상과 자막을 제공함으로써 멀티미디어 정보를 제공하는 동시통역 시스템에 이용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 멀티미디어 동시통역 시스템의 블록도,
도 2는 도 1 중 영상신호 입력부의 상세 블록도,
도 3은 도 1 중 음성신호 입력부의 상세 블록도,
도 4는 본 발명의 다른 실시예에 따른 멀티미디어 동시통역 시스템의 블록도,
도 5는 도 4 중 자막 입력부의 상세 블록도이다.
<도면의 주요 부분에 대한 부호의 설명>
100, 300 - 송신부 200, 400 - 수신부
110, 310 - 영상신호 입력부 120, 320 - 음성신호 입력부
112 - 카메라 114, 124 - A/D 변환기
116 - 영상 인코더 122 - 마이크로 폰
126 - 음성 인코더 130, 350 - 신호 합성부
140, 360 - 변조부 150, 370 - 증폭부
210 - 영상 수신기 220, 420 - 음성 수신기
332 - 문자 입력기 334 - 데이터 패킷 변환기
336 - 자막 신호 생성기 410 - 영상 및 자막 수신기

Claims (9)

  1. 멀티미디어 정보를 제공하는 동시통역 시스템의 송신부에 있어서,
    통역 대상자의 영상신호를 입력받아 디지털 신호로 변환하고 부호화하는 영상신호 입력부;
    상기 통역 대상자의 발표내용을 동시통역한 통역자의 음성신호를 입력받아 디지털 신호로 변환하고 부호화하는 음성신호 입력부;
    상기 통역 대상자의 발표 내용을 자막 데이터화하기 위해 음성인식(Speech To Text : STT) 기능을 이용한 문자 입력기;
    상기 문자 입력기를 통해 입력된 데이터를 패킷으로 변환하는 데이터 패킷 변환기;
    상기 데이터 패킷 변환기로부터 수신된 데이터 패킷을 복호화하여 자막용 신호를 생성하는 자막 신호 생성기; 및
    상기 영상신호 입력부로부터 입력된 영상신호와 상기 음성신호 입력부로부터 입력된 음성신호 및 상기 자막 입력부로부터 입력된 자막 데이터를 합성하는 신호 합성부;를 포함하고,
    상기 자막 신호 생성기는 상기 데이터 패킷 변환기로부터 수신된 데이터에 에러 체크를 위해 포함되는 패킷 번호와 체크썸을 확인하여 에러가 발생한 경우, 상기 데이터 패킷 변환기에 상기 데이터의 재전송 신호를 전송하는 것
    을 특징으로 하는 멀티미디어 동시통역 시스템의 송신부.
  2. 제1항에 있어서, 상기 영상신호 입력부는
    상기 통역 대상자의 영상신호를 획득하여 전기적인 신호로 변환하는 카메라;
    상기 카메라의 출력 신호를 디지털 신호로 변환하는 아날로그/디지털 변환기; 및
    상기 아날로그/디지털 변환기의 출력 신호를 부호화하는 영상 인코더
    를 포함하는 것을 특징으로 하는 멀티미디어 동시통역 시스템의 송신부.
  3. 제1항에 있어서, 상기 음성신호 입력부는
    상기 통역자의 음성신호를 획득하여 전기적인 신호로 변환하는 마이크로폰;
    상기 마이크로폰의 출력 신호를 디지털 신호로 변환하는 아날로그/디지털 변환기; 및
    상기 아날로그/디지털 변환기의 출력 신호를 부호화하는 음성 인코더
    를 포함하는 것을 특징으로 하는 멀티미디어 동시통역 시스템의 송신부.
  4. 제1항에 있어서,
    상기 신호 합성부의 출력 신호를 무선 전송이 가능하도록 변조하는 변조부; 및
    상기 변조부의 출력 신호를 증폭하는 증폭부
    를 더 포함하는 것을 특징으로 하는 멀티미디어 동시통역 시스템의 송신부.
  5. 멀티미디어 정보를 제공하는 동시통역 시스템에 있어서,
    제1항 내지 제4항 중 어느 한 항에 따른 송신부; 및
    상기 송신부로부터 송신된 신호를 무선 채널로 수신하여 상기 통역 대상자의 영상과 상기 통역자의 음성 및 상기 통역 대상자의 발표 내용과 동일한 자막을 제공하는 수신부
    를 포함하는 것을 특징으로 하는 멀티미디어 동시통역 시스템.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
KR1020070115428A 2007-11-13 2007-11-13 멀티미디어 동시통역 시스템의 송신부 및 이를 포함하는멀티미디어 동시통역 시스템 KR100911717B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070115428A KR100911717B1 (ko) 2007-11-13 2007-11-13 멀티미디어 동시통역 시스템의 송신부 및 이를 포함하는멀티미디어 동시통역 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070115428A KR100911717B1 (ko) 2007-11-13 2007-11-13 멀티미디어 동시통역 시스템의 송신부 및 이를 포함하는멀티미디어 동시통역 시스템

Publications (2)

Publication Number Publication Date
KR20090049244A KR20090049244A (ko) 2009-05-18
KR100911717B1 true KR100911717B1 (ko) 2009-08-10

Family

ID=40858021

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070115428A KR100911717B1 (ko) 2007-11-13 2007-11-13 멀티미디어 동시통역 시스템의 송신부 및 이를 포함하는멀티미디어 동시통역 시스템

Country Status (1)

Country Link
KR (1) KR100911717B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101192207B1 (ko) * 2012-03-05 2012-10-17 전정환 온라인 생방송을 위한 실시간 다국어 자막 서비스 시스템 및 그 방법
KR102041730B1 (ko) 2018-10-25 2019-11-06 강병진 양방향 동시통역 서비스 제공 시스템 및 그 방법
KR20200049404A (ko) 2018-10-31 2020-05-08 강병진 장애인을 위한 동시통역 서비스 제공 시스템 및 그 방법
KR20230080849A (ko) 2021-11-30 2023-06-07 중앙대학교 산학협력단 실시간 온라인 전문 강의용 주제 친화적 자막 생성 방법 및 시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101257043B1 (ko) * 2012-06-02 2013-04-24 주식회사 동원시스템 동시통역 방송장치 제어방법
KR101454745B1 (ko) * 2013-03-28 2014-11-06 주식회사 두드림 멀티 코덱, 멀티 채널 기반의 동시통역 서비스 제공 시스템 및 방법
KR102359962B1 (ko) * 2020-01-30 2022-02-09 (주)아큐플라이에이아이 강의 통역 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020020660A (ko) * 2000-09-09 2002-03-15 이돈신 다민족 티브이 영상/음성 신호 송수신 시스템, 티브이영상/음성 송신기 및 영상/음성 수신기
JP2005341072A (ja) 2004-05-26 2005-12-08 Sharp Corp 翻訳テレビジョン装置
KR20060017982A (ko) * 2004-08-23 2006-02-28 주식회사 팬택 티브이 녹화 기능을 가진 이동 통신 단말기 및 그 운용방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020020660A (ko) * 2000-09-09 2002-03-15 이돈신 다민족 티브이 영상/음성 신호 송수신 시스템, 티브이영상/음성 송신기 및 영상/음성 수신기
JP2005341072A (ja) 2004-05-26 2005-12-08 Sharp Corp 翻訳テレビジョン装置
KR20060017982A (ko) * 2004-08-23 2006-02-28 주식회사 팬택 티브이 녹화 기능을 가진 이동 통신 단말기 및 그 운용방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101192207B1 (ko) * 2012-03-05 2012-10-17 전정환 온라인 생방송을 위한 실시간 다국어 자막 서비스 시스템 및 그 방법
WO2013133477A1 (ko) * 2012-03-05 2013-09-12 Jeon Jeong-Hwan 온라인 생방송을 위한 실시간 다국어 자막 서비스 시스템 및 그 방법
KR102041730B1 (ko) 2018-10-25 2019-11-06 강병진 양방향 동시통역 서비스 제공 시스템 및 그 방법
KR20200049404A (ko) 2018-10-31 2020-05-08 강병진 장애인을 위한 동시통역 서비스 제공 시스템 및 그 방법
KR20230080849A (ko) 2021-11-30 2023-06-07 중앙대학교 산학협력단 실시간 온라인 전문 강의용 주제 친화적 자막 생성 방법 및 시스템

Also Published As

Publication number Publication date
KR20090049244A (ko) 2009-05-18

Similar Documents

Publication Publication Date Title
KR100911717B1 (ko) 멀티미디어 동시통역 시스템의 송신부 및 이를 포함하는멀티미디어 동시통역 시스템
US7929021B2 (en) Methods and systems for A/V input device to display networking
US20080062252A1 (en) Apparatus and method for video mixing and computer readable medium
US20100039498A1 (en) Caption display method, video communication system and device
EP1511280A3 (en) Mobile terminal and moving picture recording/reproducing system
CN107885732A (zh) 语音翻译方法、系统和装置
CN100473163C (zh) 动静态混合画面的投影方法和投影系统
US20220021980A1 (en) Terminal, audio cooperative reproduction system, and content display apparatus
CN107707726A (zh) 一种用于正常人与聋哑人通讯的终端和通话方法
JP2009065696A (ja) 映像合成装置、方法およびプログラム
CN111885412B (zh) Hdmi信号传屏方法及无线传屏器
CN106303750A (zh) 一种移动导播平台
US20110208523A1 (en) Voice-to-dactylology conversion method and system
CN109802968B (zh) 一种会议发言系统
KR101263717B1 (ko) 음향을 이용한 데이터 통신 장치 및 방법
CN100507215C (zh) 矿山救援可视化指挥装置
TWI774129B (zh) 語音信號中繼轉傳方法及無線電網路閘道器
CN105872451A (zh) 高清远程视频会议通讯方法
JP2006222663A (ja) 通信端末及び通信データ量制御方法
CN218941188U (zh) 一种带有导播功能的无线直播系统
CN101383939B (zh) 用于影像电话的影音处理装置及其相关方法
CN102075725A (zh) 一种在可视终端中显示网络状态的方法与装置
CN207603795U (zh) 一种基于宽带无线信道的高清视频应急通信装置
CN115714846B (zh) 视频会议终端的网络传屏方法及系统
KR20180068655A (ko) 음성 신호에 기초한 문자 생성 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee