KR20140121516A - 실시간 통역 자막 제공 시스템 및 방법 - Google Patents

실시간 통역 자막 제공 시스템 및 방법 Download PDF

Info

Publication number
KR20140121516A
KR20140121516A KR1020130037241A KR20130037241A KR20140121516A KR 20140121516 A KR20140121516 A KR 20140121516A KR 1020130037241 A KR1020130037241 A KR 1020130037241A KR 20130037241 A KR20130037241 A KR 20130037241A KR 20140121516 A KR20140121516 A KR 20140121516A
Authority
KR
South Korea
Prior art keywords
caption
real time
subtitle
real
subtitles
Prior art date
Application number
KR1020130037241A
Other languages
English (en)
Inventor
이현철
Original Assignee
이현철
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이현철 filed Critical 이현철
Priority to KR1020130037241A priority Critical patent/KR20140121516A/ko
Publication of KR20140121516A publication Critical patent/KR20140121516A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/40—
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Abstract

실시간 통역 자막 제공 시스템 및 방법이 개시된다. 통역자의 통역 음성을 입력받아 음성 인식하고 인식된 음성을 해당 통역 언어의 자막으로 실시간 자동 변환하여 송신하는 자막 생성 단말; 수화자의 모국어 자막을 요청하고, 요청에 상응하는 자막을 수신하여 디스플레이에 실시간 표시하는 자막 표시 단말; 상기 자막 생성 단말로부터 상기 변환된 자막을 수신하고, 상기 자막 표시 단말로부터 상기 수화자의 모국어 자막을 요청받으면, 상기 수신된 자막 중에서 상기 요청받은 모국어 자막에 상응하는 자막을 선택하여 상기 자막 표시 단말로 실시간 중계하는 실시간 자막 중계 서버를 구성한다. 상기와 같은 실시간 통역 자막 제공 시스템 및 방법에 의하면, 발화자의 음성에 대한 실시간 통역 자막을 자동으로 제공하고 통역자가 실시간으로 세세하게 수정하여 자막 표시 단말에 제공함으로써, 수화자는 회의/세미나에 대한 이해도와 집중도가 높아지는 효과가 있다. 또한, 자막 표시 단말에 발화자의 실시간 영상을 동기화하여 표시함으로써, 수화자는 자막 표시 단말만을 통해 통역 자막과 발화자의 제스쳐, 감정 등을 쉽게 파악할 수 있는 효과가 있다.

Description

실시간 통역 자막 제공 시스템 및 방법{SYSTEM AND METHOD FOR OFFERING REAL-TIME TRANSLATED SUBTITLES}
본 발명은 자막 제공 시스템 및 방법에 관한 것으로서, 좀 더 구체적으로는 실시간 통역 자막 제공 시스템 및 방법에 관한 것이다.
종래 각종 국제 회의나 세미나의 경우 다양한 국가에서 참가하기 때문에 토론이나 연설에 있어서 언어적인 장벽이 큰 문제가 된다.
이에, 미리 준비된 연설문은 미리 번역하여 대형 스크린 상에 자막을 제공하는 방식으로 운영되고 있다.
다른 방식으로서, 실시간 통역 서비스를 하는 경우에는, 실시간 통역 음성을 이어폰을 통해 전해 듣거나, 또는 통역된 음성을 자막 처리하여 참가자의 단말에 표시하는 기능이 있으나, 상당한 지연 시간을 갖고 통역 자막이 제공될 뿐이며(대한민국 등록특허공보 제10-1192207호), 실시간으로 통역된 자막을 제공하는 기술은 개시되어 있지 않다. 종래의 통역 자막 제공 시스템 및 방법은 상당한 지연 시간을 갖고 통역 자막이 제공되기 때문에, 회의나 세미나에 참가한 참가자들은 연설자나 발화자의 음성이나 프리젠테이션 파일과 싱크율이 맞지 않아 매우 불편하다는 문제점이 있다.
또한, 이러한 경우 회의나 세미나의 수화자은 연단의 연설자의 표정이나 제스쳐보다는 단말의 자막을 읽어 나가는 데 집중하게 될 수밖에 없다는 문제점이 있다. 즉, 연단의 프리젠테이션 파일 내용이나 연설자/발화자의 눈짓, 표정, 제스쳐를 놓치기 쉽다는 문제점이 있다.
이처럼, 종래의 지연된 통역 자막이나 통역 자막만을 집중해서 봐야 하는 문제점으로 인해 회의/세미나의 원활한 진행이나 참가에 어려움이 있다.
본 발명의 목적은 실시간 통역 자막 제공 시스템을 제공하는 데 있다.
본 발명의 다른 목적은 실시간 통역 자막 제공 방법을 제공하는 데 있다.
상술한 본 발명의 목적에 따른 실시간 통역 자막 제공 시스템은, 통역자의 통역 음성을 입력받아 음성 인식하고 인식된 음성을 해당 통역 언어의 자막으로 실시간 자동 변환하여 송신하는 자막 생성 단말; 수화자의 모국어 자막을 요청하고, 요청에 상응하는 자막을 수신하여 디스플레이에 실시간 표시하는 자막 표시 단말; 상기 자막 생성 단말로부터 상기 변환된 자막을 수신하고, 상기 자막 표시 단말로부터 상기 수화자의 모국어 자막을 요청받으면, 상기 수신된 자막 중에서 상기 요청받은 모국어 자막에 상응하는 자막을 선택하여 상기 자막 표시 단말로 실시간 중계하는 실시간 자막 중계 서버를 포함하도록 구성될 수 있다.
여기에서, 상기 자막 생성 단말은, 상기 실시간 자동 변환된 자막을 디스플레이에 표시하고, 표시된 자막을 상기 통역자에 의해 수정하여 송신 가능하도록 구성될 수 있다.
한편, 상기 실시간 자막 중계 서버는, 발화자의 영상을 실시간 수신하고, 수신된 영상을 해당 자막과 동기화하여 상기 자막 표시 단말로 실시간 중계하고, 상기 자막 표시 단말은, 상기 실시간 중계되는 영상을 상기 실시간 표시되는 자막과 동기화하여 표시하도록 구성될 수 있다.
상술한 본 발명의 다른 목적에 따른 실시간 통역 자막 제공 방법은, 자막 생성 단말이 통역자의 통역 음성을 입력받는 단계; 상기 자막 생성 단말이 상기 입력받은 통역 음성을 음성 인식하는 단계; 상기 자막 생성 단말이 상기 음성 인식된 통역 음성을 해당 통역 언어의 자막으로 실시간 자동 변환하여 디스플레이에 표시하되, 상기 통역자가 수정 입력하면 수정 입력된 자막을 표시하는 단계; 상기 자막 생성 단말이 상기 표시된 자막을 실시간 자막 중계 서버로 송신하되, 상기 통역자에 의해 수정 입력된 경우에는 상기 수정 입력되어 표시된 자막을 송신하는 단계; 상기 실시간 자막 중계 서버가 상기 자막을 수신하는 단계; 상기 실시간 자막 중계 서버가 자막 표시 단말로부터 미리 또는 실시간으로 요청받은 수화자의 모국어 자막을 상기 수신된 자막 중에서 선택하여 상기 자막 표시 단말로 실시간 중계하는 단계; 상기 자막 표시 단말이 상기 실시간 중계된 자막을 수신하여 디스플레이에 실시간 표시하는 단계를 포함하도록 구성될 수 있다.
이때, 상기 실시간 자막 중계 서버가 상기 자막을 수신하는 단계는, 상기 발화자의 영상을 실시간으로 더 수신하고, 상기 실시간 자막 중계 서버가 자막 표시 단말로부터 미리 또는 실시간으로 요청받은 수화자의 모국어 자막을 상기 수신된 자막 중에서 선택하여 상기 자막 표시 단말로 실시간 중계하는 단계는, 상기 실시간으로 수신된 영상을 상기 선택된 자막과 동기화하여 상기 자막 표시 단말로 실시간 중계하고, 상기 자막 표시 단말이 상기 실시간 중계된 자막을 수신하여 디스플레이에 실시간 표시하는 단계는, 상기 실시간 중계된 영상을 상기 실시간 표시되는 자막과 동기화하여 상기 디스플레이에 표시하도록 구성되는 것이 바람직하다.
상기와 같은 실시간 통역 자막 제공 시스템 및 방법에 의하면, 발화자의 음성에 대한 실시간 통역 자막을 자동으로 제공하고 통역자가 실시간으로 세세하게 수정하여 자막 표시 단말에 제공함으로써, 수화자는 회의/세미나에 대한 이해도와 집중도가 높아지는 효과가 있다.
또한, 자막 표시 단말에 발화자의 실시간 영상을 동기화하여 표시함으로써, 수화자는 자막 표시 단말만을 통해 통역 자막과 발화자의 제스쳐, 감정 등을 쉽게 파악할 수 있는 효과가 있다.
한편, 연설자의 프리젠테이션 파일도 자막 표시 단말에 함께 제공함으로써, 자막 표시 단말의 효용성을 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 실시간 통역 자막 제공 시스템의 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 자막 생성 단말의 화면 예시도이다.
도 3은 본 발명의 일 실시예에 따른 자막 표시 단말의 화면 예시도이다.
도 4는 본 발명의 일 실시예에 따른 실시간 통역 자막 제공 방법의 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 발명을 실시하기 위한 구체적인 내용에 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 실시간 통역 자막 제공 시스템의 블록 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 실시간 통역 자막 제공 시스템(100)은 자막 생성 단말(110), 자막 표시 단말(120), 실시간 자막 중계 서버(130)을 포함하도록 구성될 수 있다.
실시간 통역 자막 제공 시스템(100)은 자막 생성 단말(110)에서 자동으로 실시간 통역 자막을 생성하고 통역자가 이를 실시간 수정하여 제공하도록 하고, 자막 표시 단말(120)에서는 신속하고 정확한 실시간 통역 자막을 통해 발화자의 연설이나 대화를 지연없이 볼 수 있도록 구성된다. 또한, 자막 표시 단말(120)을 통해 발화자의 실시간 영상이나 프리젠테이션 파일을 함께 동기화하여 제공함으로써, 자막 표시 단말(120)과 발화자를 번갈아 가며 보면서 통역 자막이나 발화자의 제스쳐 등을 놓칠 염려가 없도록 구성된다. 이하, 세부적인 구성에 대하여 설명한다.
자막 생성 단말(110)은 통역자의 통역 음성을 입력받아 음성 인식하고 인식된 음성을 해당 통역 언어의 자막으로 실시간 자동 변환하도록 구성될 수 있다. 즉, 음성 인식 기능과 함께 인식된 음성을 자동으로 통역하여 번역하도록 구성된다.
이때, 자막 생성 단말(110)은 해당 통역 언어의 통역자가 이용하는 단말로서, 자막 생성 단말(110)에는 실시간 자동 변환된 자막이 디스플레이에 표시되도록 구성될 수 있다.
그리고 자막 생성 단말(110)의 디스플레이에는 앞서 표시된 자막이 해당 통역자에 의해 수정되도록 구성될 수 있다. 자동 통역의 경우 발화자의 음성이 부정확하거나 노이즈가 삽입되는 경우 정확한 통역이 되지 않는 경우가 있다. 이에, 통역자가 실시간 통역 자막을 보고 이를 직접 수정 가능하도록 구성되어 정확성을 기할 수 있다.
그리고 자막 생성 단말(110)은 실시간 통역 자막을 실시간 자막 중계 서버(130)로 송신하도록 구성될 수 있다.
자막 표시 단말(120)은 먼저 수화자의 모국어 자막을 실시간 자막 중계 서버(130)로 요청하도록 구성될 수 있다. 자막 표시 단말(120)은 수화자에게 배정되는 단말로서, 수화자가 실시간 통역 자막을 볼 수 있도록 하기 위한 구성이다. 자막 표시 단말(120)은 앞선 요청에 상응하는 모국어의 자막을 수신하여 디스플레이에 실시간 표시하도록 구성될 수 있다. 이때, 모국어 자막이 아니더라도 수화자가 원하는 언어의 자막을 요청 가능함은 물론이다.
실시간 자막 중계 서버(130)는 자막 생성 단말(110)로부터 앞서 변환된 자막을 수신하도록 구성될 수 있다. 그리고 자막 표시 단말(120)로부터 수화자의 모국어 자막을 미리 또는 실시간으로 요청받도록 구성될 수 있다. 즉, 실시간 자막 중계 서버(130)는 통역자로부터 다양한 실시간 통역 자막을 취합/수신하고, 수화자로부터도 원하는 언어 자막을 요청받는다.
실시간 자막 중계 서버(130)는 자막 생성 단말(110)로부터 수신된 자막 중에서 자막 표시 단말(120)로부터 요청받은 모국어 자막에 상응하는 자막을 선택하여 자막 표시 단말(120)로 실시간 중계하도록 구성될 수 있다. 이에, 수화자는 자막 표시 단말(120)에 표시되는 실시간 통역 자막을 통해 발화자의 연설/대화 내용을 실시간으로 이해할 수 있다.
한편, 실시간 자막 중계 서버(130)는 발화자의 영상을 회의 영상 제어 장치(미도시) 등의 영상 처리 장치로부터 실시간 수신하도록 구성될 수 있다. 여기서, 그 영상을 자막 표시 단말(120)의 해당 자막과 각각 동기화하여 자막 표시 단말(120)로 실시간 중계하도록 구성될 수 있다. 이때, 실시간 자막 중계 서버(130)에 미리 저장된 발화자의 프리젠테이션 파일도 함께 동기화하여 자막 표시 단말(120)로 실시간 중계하는 것이 바람직하다.
자막 표시 단말(120)은 실시간 자막 중계 서버(130)로부터 실시간 중계되는 영상 및/또는 프리젠테이션 파일을 실시간 표시되는 자막과 동기화하여 표시하도록 구성될 수 있다. 이에, 자막 표시 단말(120)의 디스플레이에는 3면 분할되어 실시간 통역 자막, 발화자의 영상, 프리젠테이션 파일이 동기화되어 표시될 수 있다.
다른 실시 예로서, 각 참가자들은 회의와 무관하게 자유롭게 대화를 하고 싶을 때, 원하는 상대방을 자막 표시 단말(120)에서 상대방의 자막 표시 단말(120)로 호출하도록 구성될 수 있다. 이때, 자막 표시 단말(120)에 미리 구비된 마이크로폰을 통해 대화를 하고 해당 통역자의 자막 생성 단말(110)은 이를 실시간 통역하여 실시간 통역 자막을 상대방의 자막 표시 단말(120)로 송신하도록 구성될 수 있다. 상대방 역시 자유롭게 대화에 응할 수 있으며, 이러한 양방향 대화는 풀-듀플렉스(full-duplex) 통신 방식이나 하프-듀플렉스(half-duplex) 통신 방식이 모두 이용될 수 있다.
도 2는 본 발명의 일 실시예에 따른 자막 생성 단말의 화면 예시도이다.
도 2를 참조하면, 자막 생성 단말(110)의 화면은 상단 박스, 하단 박스, 저장 버튼, 수정 버튼, 전송 버튼이 구비되어 있다.
여기에서, 상단 박스는 자막 생성 단말(110)에서 실시간으로 자동 통역하여 번역한 내용을 도시하기 위한 구성이다. 그리고 하단 박스는 통역자가 실시간 통역 자막에 오류가 없음을 확인하였거나 또는 통역자가 실시간 통역 자막의 오류를 수정한 내용이 표시되기 위한 구성이다. 그리고 저장 버튼은 통역자가 실시간 통역 자막에 오류가 없음을 확인하기 위한 입력 버튼이고, 수정 버튼은 실시간 통역 자막에 오류가 있을 때 통역자가 오류를 있음을 확인하고 수정을 개시하기 위한 입력 버튼이다. 마지막으로 전송 버튼은 통역자가 최종 확인 또는 수정된 자막의 전송 명령을 입력하기 위한 버튼이다. 이하, 도 2의 (A) 내지 (E)를 통해 실시간 통역 자막의 확인 및 수정에 대한 프로세스를 좀 더 구체적으로 설명한다.
먼저, 도 2의 (A)는 자막 생성 단말(110)에서 자동으로 음성 인식을 하여 실시간 통역한 후 상단 박스에 실시간 통역 자막을 표시하는 것을 나타낸다. 여기에서, 통역자가 상단 박스의 실시간 통역 자막에 오류가 없는지 육안으로 확인한다.
도 2의 (A)에서 오류가 없으면, 통역자는 도 2의 (B)에서처럼 저장 버튼을 누른다. 저장 버튼을 누르면 상단 박스의 자막은 하단 박스로 옮겨져 실시간 자막 중계 서버(130)로 송신할 준비가 된다.
그리고 자막 생성 단말(110)의 실시간 통역 자막은 다음 어절들에 대해 연속적으로 상단 박스에 표시하게 된다. 도 2의 (C)를 참조하면, 상단 박스에는 '비고적 간단하게'라고 표시되어 있고, 하단 박스에는 이미 오류 없음이 확인된 '우리의 시스템은'이 표시되어 있음을 알 수 있다.
여기에서, 상단 박스의 '비고저 간단하게'는 '비교적 간단하게'의 통역 오류이며, 통역자는 이를 수정할 필요가 있다. 도 2의 (D)는 자막의 수정에 대한 화면이다. 도 2의 (D)를 참조하면, 통역자는 상단 박스의 통역 오류를 육안으로 확인하고 수정 버튼을 누른다. 그리하면, 상단 박스의 내용이 사라지고, 하단 박스로 옮겨지지 않는다. 그리고 통역자가 마이크로폰(미도시)를 통해 제대로 '비교적 간단하게'라고 음성 입력을 하면 하단 박스에 '우리의 시스템은 비교적 간단하게'라고 수정되어 표시된다.
다음으로, 도 2의 (E)에서 보듯이, 전송 버튼을 입력하면 '우리의 시스템은 비교적 간단하게'라는 자막이 실시간 자막 중계 서버(130)로 바로 전송된다. 그리고 실시간 자동 번역되는 내용은 상단 박스에 '회담을 번역'과 같이 표시된다.
도 3은 본 발명의 일 실시예에 따른 자막 표시 단말의 화면 예시도이다.
도 3을 참조하면, 자막 표시 단말(120)의 화면에 발화자의 영상과 실시간 통역 자막이 동기화되어 표시된 것을 알 수 있다. 실시간 통역 자막은 도 2에서 수정된 통역 자막이 수신되어 표시되어 있다. 여기에서, 프리젠테이션 파일이 있는 경우에는 프리젠테이션 파일도 표시되도록 구성될 수 있음은 앞서 설명한 바와 같다.
도 4는 본 발명의 일 실시예에 따른 실시간 통역 자막 제공 방법의 흐름도이다.
도 4를 참조하면, 먼저, 자막 생성 단말(110)이 통역자의 통역 음성을 입력받는다(S101).
다음으로, 자막 생성 단말(110)이 앞서 입력받은 통역 음성을 음성 인식한다(S102).
다음으로, 자막 생성 단말(110)이 음성 인식된 통역 음성을 해당 통역 언어의 자막으로 실시간 자동 변환하여 디스플레이에 표시한다(S103). 이때, 통역자가 수정 입력하면 수정 입력된 자막이 표시된다.
다음으로, 자막 생성 단말(110)이 디스플레이에 표시된 자막을 실시간 자막 중계 서버(130)로 송신한다(S104). 이때, 자막 생성 단말(110)은 자동 통역된 자막이 통역자에 의해 수정 입력된 경우에는 수정 입력되어 표시된 자막을 송신한다.
다음으로, 실시간 자막 중계 서버(130)가 자막을 수신한다(S105). 이때, 발화자의 영상을 실시간으로 더 수신하는 것이 바람직하다.
다음으로, 실시간 자막 중계 서버(130)가 자막 표시 단말(120)로부터 미리 또는 실시간으로 요청받은 수화자의 모국어 자막을 앞서 수신된 자막 중에서 선택하여 자막 표시 단말(120)로 실시간 중계한다(S106). 이때, 실시간 자막 중계 서버(130)는 실시간으로 수신된 영상을 앞서 선택된 자막과 동기화하여 자막 표시 단말(120)로 실시간 중계하도록 구성될 수 있다. 또한, 프리젠테이션 파일이 있는 경우 프리젠테이션 파일도 함께 동기화하여 실시간 중계하는 것이 바람직하다.
다음으로, 자막 표시 단말(120)이 실시간 중계된 자막을 수신하여 디스플레이에 실시간 표시한다(S107). 이때, 자막 표시 단말(120)은 실시간 중계된 영상 및/또는 프리젠테이션 파일을 실시간 표시되는 자막과 동기화하여 디스플레이에 표시하도록 구성될 수 있다.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (5)

  1. 통역자의 통역 음성을 입력받아 음성 인식하고 인식된 음성을 해당 통역 언어의 자막으로 실시간 자동 변환하여 송신하는 자막 생성 단말;
    수화자의 모국어 자막을 요청하고, 요청에 상응하는 자막을 수신하여 디스플레이에 실시간 표시하는 자막 표시 단말;
    상기 자막 생성 단말로부터 상기 변환된 자막을 수신하고, 상기 자막 표시 단말로부터 상기 수화자의 모국어 자막을 요청받으면, 상기 수신된 자막 중에서 상기 요청받은 모국어 자막에 상응하는 자막을 선택하여 상기 자막 표시 단말로 실시간 중계하는 실시간 자막 중계 서버를 포함하는 실시간 통역 자막 제공 시스템.
  2. 제1항에 있어서, 상기 자막 생성 단말은,
    상기 실시간 자동 변환된 자막을 디스플레이에 표시하고, 표시된 자막을 상기 통역자에 의해 수정하여 송신 가능하도록 구성되는 것을 특징으로 하는 실시간 통역 자막 제공 시스템.
  3. 제2항에 있어서,
    상기 실시간 자막 중계 서버는,
    발화자의 영상을 실시간 수신하고, 수신된 영상을 해당 자막과 동기화하여 상기 자막 표시 단말로 실시간 중계하고,
    상기 자막 표시 단말은,
    상기 실시간 중계되는 영상을 상기 실시간 표시되는 자막과 동기화하여 표시하는 것을 특징으로 하는 실시간 통역 자막 제공 시스템.
  4. 자막 생성 단말이 통역자의 통역 음성을 입력받는 단계;
    상기 자막 생성 단말이 상기 입력받은 통역 음성을 음성 인식하는 단계;
    상기 자막 생성 단말이 상기 음성 인식된 통역 음성을 해당 통역 언어의 자막으로 실시간 자동 변환하여 디스플레이에 표시하되, 상기 통역자가 수정 입력하면 수정 입력된 자막을 표시하는 단계;
    상기 자막 생성 단말이 상기 표시된 자막을 실시간 자막 중계 서버로 송신하되, 상기 통역자에 의해 수정 입력된 경우에는 상기 수정 입력되어 표시된 자막을 송신하는 단계;
    상기 실시간 자막 중계 서버가 상기 자막을 수신하는 단계;
    상기 실시간 자막 중계 서버가 자막 표시 단말로부터 미리 또는 실시간으로 요청받은 수화자의 모국어 자막을 상기 수신된 자막 중에서 선택하여 상기 자막 표시 단말로 실시간 중계하는 단계;
    상기 자막 표시 단말이 상기 실시간 중계된 자막을 수신하여 디스플레이에 실시간 표시하는 단계를 포함하는 실시간 통역 자막 제공 방법.
  5. 제4항에 있어서,
    상기 실시간 자막 중계 서버가 상기 자막을 수신하는 단계는,
    상기 발화자의 영상을 실시간으로 더 수신하고,
    상기 실시간 자막 중계 서버가 자막 표시 단말로부터 미리 또는 실시간으로 요청받은 수화자의 모국어 자막을 상기 수신된 자막 중에서 선택하여 상기 자막 표시 단말로 실시간 중계하는 단계는,
    상기 실시간으로 수신된 영상을 상기 선택된 자막과 동기화하여 상기 자막 표시 단말로 실시간 중계하고,
    상기 자막 표시 단말이 상기 실시간 중계된 자막을 수신하여 디스플레이에 실시간 표시하는 단계는,
    상기 실시간 중계된 영상을 상기 실시간 표시되는 자막과 동기화하여 상기 디스플레이에 표시하는 것을 특징으로 하는 실시간 통역 자막 제공 방법.
KR1020130037241A 2013-04-05 2013-04-05 실시간 통역 자막 제공 시스템 및 방법 KR20140121516A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130037241A KR20140121516A (ko) 2013-04-05 2013-04-05 실시간 통역 자막 제공 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130037241A KR20140121516A (ko) 2013-04-05 2013-04-05 실시간 통역 자막 제공 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20140121516A true KR20140121516A (ko) 2014-10-16

Family

ID=51992976

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130037241A KR20140121516A (ko) 2013-04-05 2013-04-05 실시간 통역 자막 제공 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20140121516A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016206929A (ja) * 2015-04-22 2016-12-08 株式会社東芝 通訳装置、方法およびプログラム
CN109327613A (zh) * 2018-10-15 2019-02-12 华为技术有限公司 一种基于语音通话翻译能力的协商方法及电子设备
CN109658919A (zh) * 2018-12-17 2019-04-19 深圳市沃特沃德股份有限公司 多媒体文件的翻译方法、装置及翻译播放设备
KR101981091B1 (ko) 2017-12-20 2019-05-22 충남대학교산학협력단 감정시각화자막 생성장치
KR20210039834A (ko) 2019-10-02 2021-04-12 중앙대학교 산학협력단 인공지능 기반 실시간 자막번역 시스템 및 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016206929A (ja) * 2015-04-22 2016-12-08 株式会社東芝 通訳装置、方法およびプログラム
KR101981091B1 (ko) 2017-12-20 2019-05-22 충남대학교산학협력단 감정시각화자막 생성장치
CN109327613A (zh) * 2018-10-15 2019-02-12 华为技术有限公司 一种基于语音通话翻译能力的协商方法及电子设备
US11886830B2 (en) 2018-10-15 2024-01-30 Huawei Technologies Co., Ltd. Voice call translation capability negotiation method and electronic device
CN109658919A (zh) * 2018-12-17 2019-04-19 深圳市沃特沃德股份有限公司 多媒体文件的翻译方法、装置及翻译播放设备
KR20210039834A (ko) 2019-10-02 2021-04-12 중앙대학교 산학협력단 인공지능 기반 실시간 자막번역 시스템 및 방법

Similar Documents

Publication Publication Date Title
JP5564459B2 (ja) ビデオ会議に翻訳を追加するための方法及びシステム
US6181778B1 (en) Chronological telephone system
US8174559B2 (en) Videoconferencing systems with recognition ability
CN108063820B (zh) 一种云会议的投屏同步方法
KR20140121516A (ko) 실시간 통역 자막 제공 시스템 및 방법
JP2003345379A6 (ja) 音声映像変換装置及び方法、音声映像変換プログラム
WO2003079328A1 (fr) Appareil, procede et programme de conversion audio video
JP7467635B2 (ja) 使用者端末、ビデオ通話装置、ビデオ通話システム、及びその制御方法
KR101606128B1 (ko) 언어권 인식을 이용한 자동 번역 메신저가 탑재된 스마트기기
US20210249007A1 (en) Conversation assistance device, conversation assistance method, and program
CN111554280A (zh) 对利用人工智能的翻译内容和口译专家的口译内容进行混合的实时口译服务系统
TW201608414A (zh) 結合行動裝置之演講輔助系統
US20200372902A1 (en) Language presentation device, language presentation method, and language presentation program
WO2024008047A1 (zh) 数字人手语播报方法、装置、设备及存储介质
WO2018001088A1 (zh) 一种交流信息展示方法、装置及设备、机顶盒
JP7467636B2 (ja) 使用者端末、放送装置、それを含む放送システム、及びその制御方法
CN111355918A (zh) 一种智能远程视频会议系统
JP2011086123A (ja) 情報処理装置、会議システム、情報処理方法及びコンピュータプログラム
KR20190071405A (ko) 스마트 글라스를 이용한 발화자 선택 장치 및 방법
CN112764549B (zh) 翻译方法、装置、介质和近眼显示设备
KR20190101681A (ko) 실시간 다자 통역 무선 송수신 시스템 및 그 방법
KR100395491B1 (ko) 아바타 기반 음성 언어 번역 시스템에서의 화상 통신 방법
US20220366156A1 (en) Translation system, translation apparatus, translation method, and translation program
US20240154833A1 (en) Meeting inputs
KR20200012104A (ko) 실시간 다자 통역 무선 이어셋 및 이를 이용한 송수신 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application