KR20150137383A - 실시간 번역을 통한 디지털 방송의 다국어 자막 제공 서비스 장치 및 방법 - Google Patents

실시간 번역을 통한 디지털 방송의 다국어 자막 제공 서비스 장치 및 방법 Download PDF

Info

Publication number
KR20150137383A
KR20150137383A KR1020140065144A KR20140065144A KR20150137383A KR 20150137383 A KR20150137383 A KR 20150137383A KR 1020140065144 A KR1020140065144 A KR 1020140065144A KR 20140065144 A KR20140065144 A KR 20140065144A KR 20150137383 A KR20150137383 A KR 20150137383A
Authority
KR
South Korea
Prior art keywords
translation
data
caption
unit
time
Prior art date
Application number
KR1020140065144A
Other languages
English (en)
Other versions
KR101582574B1 (ko
Inventor
나형율
고경섭
이교훈
Original Assignee
주식회사 마인미디어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 마인미디어 filed Critical 주식회사 마인미디어
Priority to KR1020140065144A priority Critical patent/KR101582574B1/ko
Publication of KR20150137383A publication Critical patent/KR20150137383A/ko
Application granted granted Critical
Publication of KR101582574B1 publication Critical patent/KR101582574B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4886—Data services, e.g. news ticker for displaying a ticker, e.g. scrolling banner for news, stock exchange, weather data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 사용자가 원하는 디지털 방송 프로그램과 언어를 선택하면 선택한 디지털 방송 프로그램을 스트리밍하면서 자막을 분석하고 분석한 자막을 원하는 언어로 번역하여 선택한 디지털 방송 프로그램과 동기화하여 제공하는 디지털 방송의 다국어 자막 제공 서비스 장치 및 방법을 제공한다.

Description

실시간 번역을 통한 디지털 방송의 다국어 자막 제공 서비스 장치 및 방법{APPARATUS AND SERVICE METHOD FOR PROVIDING MANY LANGUAGES OF DIGITAL BROADCASTING USING REAL TIME TRANSLATION}
본 발명은 디지털 방송의 자막 제공 장치 및 방법에 관한 것으로, 상세하게는 실시간 번역을 통해 디지털 방송에 대한 자막을 다양한 언어로 제공할 수 있는 디지털 방송의 다국어 자막 제공 서비스 장치 및 방법에 관한 것이다.
최근 방송 신호를 전송하는 방식이 발전함에 따라 디지털 전송 방식을 적용한 디지털 TV가 보급되고 있다. 특히, 위성, 지상파, 케이블을 통해 방송되는 고화질, 고음질의 디지털 방송은 여러 장점들을 가지고 있어서 기존의 아날로그 방송에 비해 고화질, 고음질이고 다양한 부가 정보를 제공할 수 있다.
다양한 부가 서비스 중 하나로서, 디지털 방송은 방송 신호에서 자막 신호를 추출하여 이를 자신이 원하는 언어로 자동 번역함으로써 시청자가 이해 가능한 언어의 자막으로 방송을 시청할 수 있도록 하는 방송자막 기계 번역 시스템에 대한 요구가 증대되고 있는 실정이다.
여기서, 방송 자막이란 방송사에서 송출하는 영상 신호에 자막 신호가 삽입된 것으로서, 최근에는 많은 방송사들이 청각 장애인을 위해 이러한 자막 방송을 시행하고 있다. 미국의 경우에는 1990년도부터 13인치 이상의 텔레비젼에 대해 자막 기능을 의무화하였고, 국내의 경우에도 텔레비젼 방송사 및 CATV에서 자막 방송 프로그램을 확대하고 있으며, CNN, NHK, AFKN 등의 외국어 자막 방송의 지속적인 확대가 예상되고 있다.
그러나, TV 방송자막에서는 뉴스뿐만 아니라 드라마, 교양시사, 오락프로그램 등 다양한 방송 장르에서 구어체와 문어체가 혼용되어 사용되고 있고, 뉴스에서는 모든 분야에 걸쳐 전문용어 및 표현들이 다양하게 나타나기 때문에 상용화 가능한 수준의 높은 번역 성능을 갖는 방송자막 기계번역 시스템을 개발하기에는 기술적으로 상당한 어려움이 있다.
이와 같은 기술적 어려움을 해결하기 위한 것으로, 한국 특허공개 제1997-56985호(공개일: 1997.07.31)에는 TV내에 한국어 및 외국어 번역부를 별도로 구비하여 방송자막 데이터를 사용자의 요구에 따라 모국어 또는 외국어로 디스플레이시켜 시청자들에게 편리한 시청을 제공할 수 있는 '방송자막 번역 기능을 갖는 티브이'가 개시되어 있다.
그러나, 상기 방송자막 번역 기능을 갖는 티브이는 수신되는 방송신호에서 방송 자막 데이터를 추출한 후 사용자의 요구에 따라 자막 데이터를 번역하여 이를 TV화면에 디스플레이하는 방식을 취하고 있기 때문에, 별도로 방송자막 지원이 가능한 텔레비젼을 구입해야 하는 단점이 있다. 또한, 위성 셋탑박스, 비디오 플레이어, DMB 단말기 등 텔레비젼이 아닌 다른 미디어 장치를 통해 방송신호가 입력되는 경우 이에 대한 자막 번역 기능은 제공할 수 없다는 문제점을 갖고 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 사용자가 원하는 디지털 방송 프로그램과 언어를 선택하면 선택한 디지털 방송 프로그램을 스트리밍하면서 자막을 분석하고 분석한 자막을 원하는 언어로 번역하여 디지털 방송 프로그램과 함께 동기화하여 송출하는 디지털 방송의 다국어 자막 제공 서비스 장치 및 방법을 제공하는 데 그 목적이 있다.
이를 위하여, 본 발명의 일 실시 예에 따른 실시간 번역을 통한 디지털 방송의 다국어 자막 제공 서비스 장치는, 사용자 단말의 요청에 의해 스트리밍하는 디지털 방송 데이터로부터 자막을 추출하여 복호화하는 자막 추출부; 상기 자막 추출부에서 추출한 자막 데이터를 형태소 단위로 분석하고 번역을 요청할 하나의 문장 형태로 재구성하는 자막 분석부; 상기 자막 분석부에서 재구성한 자막 데이터를 미리 정해진 번역 서비스 장치로 번역 의뢰하는 번역 의뢰부; 상기 번역 의뢰에 의해 번역된 자막 데이터를 수신하여 취합하는 번역 결과 취합부; 및 상기 사용자 단말로부터 번역할 언어에 대하여 입력받고 상기 번역 결과 취합부를 통해 취합한 번역된 자막 데이터를 상기 디지털 방송 데이터와 동기화하여 송출하는 번역 자막 송출부를 포함한다.
상기 번역 결과 취합부는 상기 번역된 자막 데이터의 재생 시간을 상기 디지털 방송 데이터의 음성 신호에 기초하여 매칭할 수 있다.
또한, 상기 번역 결과 취합부는 상기 번역 의뢰부에서 의뢰한 시간과 번역된 자막 데이터를 수신하는 시간을 확인하여 번역 과정에 소요되는 시간을 산출하고, 상기 번역 과정에 소요되는 시간이 일정 시간을 경과한 경우 경과한 시간만큼 상기 디지털 방송 데이터의 영상 데이터를 딜레이하도록 요청할 수 있다.
또한, 본 발명의 일 실시 예에 따른 실시간 번역을 통한 디지털 방송의 다국어 자막 제공 서비스 장치는, 상기 번역 의뢰부로부터 번역 의뢰가 요청되면 상기 자막 분석부에서 재구성한 자막 데이터를 수신하여 자동 번역을 수행하는 번역 서비스 장치를 더 포함할 수 있다.
상기 디지털 방송 데이터는 실시간 방송 데이터, 주문형 비디오(VOD: Video On Demand) 데이터를 포함할 수 있다.
한편, 본 발명의 다른 실시 예에 따른 실시간 번역을 통한 디지털 방송의 다국어 자막 제공 서비스 방법은, 다국어 자막 제공 서비스 장치(이하, 서비스 장치)가 사용자 단말로부터 디지털 방송 프로그램 및 시청할 자막 언어에 대하여 선택을 입력받는 단계; 상기 사용자 단말의 요청에 의해 스트리밍하는 디지털 방송 데이터로부터 상기 서비스 장치가 자막을 추출하여 복호화하는 단계; 상기 서비스 장치가 복호화한 자막을 형태소 단위로 분석하여 번역을 요청한 하나의 문장으로 재구성하는 단계; 상기 서비스 장치가 재구성한 자막 데이터를 미리 정해진 번역 서비스 장치로 번역 의뢰하는 단계; 상기 서비스 장치가 번역 서비스 장치로부터 번역된 자막 데이터를 수신하여 취합하는 단계; 및 상기 서비스 장치가 취합한 번역 자막 데이터를 상기 디지털 방송 데이터와 동기화하여 송출하는 단계를 포함한다.
상기 서비스 장치가 번역된 자막 데이터를 취합하는 단계에서, 상기 서비스 장치가 번역 서비스 장치로 번역을 의뢰하는 시간과, 번역 서비스 장치로부터 번역된 자막 데이터를 수신하는 시간을 확인하여 번역 과정에 소요되는 시간을 산출하고, 상기 번역 과정에 소요되는 시간이 일정 시간을 경과한 경우 경과한 시간만큼 상기 디지털 방송 데이터의 영상 데이터를 딜레이하도록 요청할 수 있다. 이때, 상기 요청이 발생하면 상기 디지털 방송 데이터와 동기화하여 송출하는 단계에 반영할 수 있다.
상기 서비스 장치가 번역된 자막 데이터를 취합하는 단계에서, 상기 디지털 방송 데이터로부터 추출되는 자막 데이터의 재생 시간과 영상 데이터의 재생 시간간 지연 시간에 기초하여 영상 데이터의 재생 시간을 딜레이하도록 요청할 수 있다.
이러한 본 발명에 따르면, 디지털 방송 프로그램을 시청 시 사용자가 원하는 언어로 번역한 자막을 동시에 시청할 수 있으므로 사용자의 편의성을 극대화할 수 있다. 특히, 디지털 방송 프로그램이 번역되어 데이터베이스화할 때까지 기다릴 필요없이 바로 디지털 방송의 시청이 가능한 효과가 있다.
도 1은 본 발명의 실시 예에 따른 다국어 자막 제공 장치의 네트워크 연결 구성도.
도 2는 본 발명의 실시 예에 따른 다국어 자막 제공 장치의 세부 구성도.
도 3은 본 발명의 실시 예에 따른 다국어 자막 제공 서비스 방법을 설명하기 위한 흐름도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.
도 1은 본 발명의 실시 예에 따른 다국어 자막 제공 장치의 네트워크 연결 구성도이고, 도 2는 본 발명의 실시 예에 따른 다국어 자막 제공 장치의 세부 구성도이다.
먼저 도 1을 참조하면, 본 발명의 실시 예에 따른 다국어 자막 제공 서비스 장치(100)는 기본적으로 동영상의 자막을 다국어로 실시간 번역하여 제공하는 기능을 수행한다.
특히, 본 발명의 실시 예에 따른 다국어 자막 제공 서비스 장치(100)는 방송 사업자와 사용자 단말(200)간을 연동하여 방송 사업자가 제공하는 디지털 방송 데이터를 스트리밍하면서 이와 동시에 디지털 방송 데이터의 자막을 원하는 언어로 번역하여 실시간으로 제공한다. 이처럼, 본 발명의 실시 예에 따른 다국어 자막 제공 서비스 장치(100)는 실시간 번역 기술을 제공함에 특징으로 한다.
방송 사업자는 방송 콘텐츠를 제작, 편집 및 변경하여 방송 수신부(1)로 제공하는 역할을 한다. 방송 사업자는 프로그램 공급자(Program Provider: PP), 지상파 또는 콘텐츠 제공자(Contents Provider: CP) 등을 포함할 수 있다.
방송 사업자에 의하여 제공되는 디지털 방송 데이터는 기존 방송 데이터와 인터넷 상의 다양한 동영상 데이터를 모두 포함할 수 있다. 예컨대, 실시간 방송 데이터, 주문형 비디오(Video On Demand: 이하 VOD) 데이터, 케이블 방송 데이터 등을 포함한다.
디지털 방송 데이터는 일반적으로 방송 수신부(1)를 통해 수신하고 스트리밍 처리부(2)를 거쳐 사용자 단말(200)의 환경에 적합한 포맷으로 데이터 변환된다. 그리고 변환된 형태로 방송 송출부(3)를 통해 사용자 단말(200)로 송출된다. 이때, 사용자 단말(200)로의 송출 방법은 브로드캐스팅(broadcasting) 또는 유니캐스팅(unicasting) 중 하나를 이용하거나 또는 이들의 혼합 방식을 이용할 수 있다.
또는, 디지털 방송 데이터는 VOD(Video On Demand) 서버(4)에 사전 구축해 두었다가, 사용자 단말(200)의 요청에 따라 추출하여 제공될 수 있다.
스트리밍 처리부(2)는 아래의 도 2에서 구체적으로 설명하기로 한다.
이러한 구성을 토대로 본 발명의 실시 예에 따른 다국어 자막 제공 서비스 장치(100)는 자막 추출부(110), 자막 분석부(120), 번역 의뢰부(130), 번역 결과 취합부(140), 번역 자막 관리부(150), 번역 자막 송출부(160)를 포함하여 구현할 수 있다.
자막 추출부(110)는 방송 수신부(1)를 통해 스트리밍하는 디지털 방송 데이터로부터 자막을 추출하여 복호화한다. 디지털 방송 데이터에 자막 데이터가 포함되어 있는 경우 이의 추출은 쉽게 수행할 수 있다. 즉, 방송 수신부(1)를 통해 수신한 디지털 방송 데이터는 보통 영상 데이터, 음성 데이터가 포함되어 있고, 이들과 구분되는 텍스트 형태의 자막 데이터가 존재하는 경우 이를 취합하여 하나의 파일로 제공된다. 따라서, 자막 데이터의 추출은 당업자가 용이하게 수행할 수 있다.
자막 추출부(110)는 도 1에 도시한 구성과 같이 방송 수신부(1)의 후단에서 방송 수신부(1)를 통해 스트리밍하는 디지털 방송 데이터로부터 직접 추출하는 것도 가능하지만, 방송 수신부(1)를 통해 스트리밍하는 디지털 방송 데이터를 영상, 음성, 자막으로 분리하는 스트리밍 처리부(2)의 동영상 분리부(21)와 연계하여 추출할 수도 있다.
추출시 자막 데이터에 영상 데이터와 동기화하기 위한 자막 시작 시간도 함께 추출한다.
이때, 자막 시작 시간은 보통 방송 수신부(1)를 통해 영상 데이터와 함께 수신되는 경우 영상 데이터의 재생 시간과 매칭이 잘 이루어지지만, 청각장애인의 시청권을 확보하기 위해 폐쇄 자막(closed caption) 시스템을 이용하여 자막 데이터가 추가 포함된 경우 영상 데이터의 재생 시간 대비 몇 초 정도의 지연될 수 있다.
자막 분석부(120)는 자막 추출부(110)에서 추출한 자막 데이터를 단어, 문자, 부호 등의 형태소 단위로 분석하고, 번역을 요청할 하나의 문장 형태로 재구성한다. 이 외, 자막 분석부(120)는 자막 데이터를 구, 이를 포함한 문장 단위로 분석할 수도 있다.
번역 의뢰부(130)는 번역할 장치(이하, 번역 서비스 장치)를 미리 정해두고, 자막 분석부(120)에서 분석한 자막 데이터를 번역 서비스 장치(300)로 전달하여 번역을 의뢰한다.
번역 서비스 장치(300)는 번역 의뢰부(130)를 통해 의뢰된 자막 데이터를 원하는 언어로 자동 번역한다. 이러한 번역 서비스 장치(300)는 외부의 번역업체와 연계되는 구성으로 별개의 독립적인 장치로 구분될 수 있음은 물론, 본 발명의 다국어 자막 제공 서비스 장치(100)에 포함될 수도 있다. 예컨대, 번역 서비스 장치(300)는 전문 번역기, 구글(google) 사이트와 같은 번역 사이트 등이 될 수 있다.
본 실시 예에서, 번역 서비스 장치(300)는 다국어 지원이 가능하도록 다양한 언어에 대한 데이터베이스 자료가 구축되어야 한다. 데이터베이스 자료는 단어 대 단어, 문장 대 문장 단위로 대응되는 언어 모델링 자료를 포함할 수 있다. 또한, 원 문장을 분석할 때 번역할 언어마다 단어 기반 또는 단어열, 구 형태를 기반으로 통계 분석하는 방법이 다르듯이 다양한 분석 알고리즘에 대해서도 데이터베이스 자료에 구축된다.
번역 결과 취합부(140)는 번역 서비스 장치(300)로부터 번역된 자막 데이터(이하, 번역 자막 데이터)를 수신하고 이를 취합한다.
이때, 번역 결과 취합부(140)는 번역 자막 데이터의 재생 시간을 디지털 방송 데이터의 음성 신호에 기초하여 매칭할 수 있다. 즉, 디지털 방송 데이터의 음성 신호가 발생하는 구간에 해당 자막 데이터를 매칭하여 취합함으로써 디지털 방송 데이터에 번역 자막 데이터를 동기화한다.
동기화를 위해, 번역 결과 취합부(140)는 번역 자막 데이터를 수신하는 시간과 번역 의뢰부(130)에서 의뢰한 시간을 확인하여 번역 과정에 소요되는 시간을 산출한다. 따라서, 번역 과정에 소요되는 시간이 일정 시간을 경과하여 지연되는 경우 경과한 시간만큼 디지털 방송 데이터의 영상 데이터를 딜레이하도록 요청할 수 있다.
또한, 디지털 방송 데이터에서 원 자막 데이터가 영상 데이터의 재생 시간 대비 몇 초 정도 지연되는 경우(예컨대, 원 자막 데이터가 청각장애인의 시청권 보호를 위해 인력에 의해 실시간으로 입력되는 폐쇄 자막 데이터인 경우), 번역 결과 취합부(140)는 디지털 방송 데이터로부터 추출되는 자막 데이터(즉, 원 자막 데이터)의 재생 시간과 영상 데이터의 재생 시간간 지연 시간에 기초하여 영상 데이터의 재생 시간을 딜레이하도록 요청할 수 있다. 즉, 번역 결과 취합부(140)는 원 자막 데이터의 재생 시간과 영상 데이터의 재생 시간간 지연 시간을 산출한 값에 기초하여 그 지연 시간만큼 영상 데이터의 재생 시간을 딜레이하도록 요청할 수 있다
번역 자막 관리부(150)는 디지털 방송 데이터에 대한 원 자막 데이터와, 번역 결과 취합부(140)를 통해 취합한 번역 자막 데이터를 데이터베이스에 저장하고 추후 활용하기 적합한 파일 형식으로 재구성하는 등 데이터를 관리한다.
번역 자막 송출부(160)는 사용자 단말(200)로부터 번역할 언어에 대하여 입력받으며, 번역 결과 취합부(140)를 통해 취합한 번역 자막 데이터를 스트리밍하는 디지털 방송 데이터와 동기화하여 송출한다.
특히, 번역 결과 취합부(140)에서 디지털 방송 데이터의 영상 데이터에 대한 딜레이 요청이 발생하면, 번역 자막 송출부(160)에서 지연 시간만큼 디지털 방송 데이터의 영상 데이터를 딜레이하여 송출한다.
다음으로 도 2를 참조하면, 스트리밍 처리부(2)는 방송 수신부(도 1의 1)를 통해 스트리밍하는 디지털 방송 데이터를 영상, 음성으로 분리하여 데이터 처리 후 동기화하는 구성을 포함할 수 있다.
이를 위한 구성으로, 스트리밍 처리부(2)는 동영상 분리부(21), 음성신호 특징 분석부(22), 음성시작시간 기록부(23), 통합부(24)를 포함한다.
동영상 분리부(21)는 방송 수신부(도 1의 1)를 통해 스트리밍하는 디지털 방송 데이터로부터 영상 데이터와 음성 데이터를 분리한다. 이러한 동영상 분리부(21)는 구체적으로 방송 수신부를 통해 스트리밍하는 디지털 방송 데이터로부터 영상 데이터를 추출하는 영상 추출부(21a), 및 음성 데이터를 추출하는 음성 추출부(21b)로 구성될 수 있다.
음성신호 특징 분석부(22)는 음성 추출부(21b)를 통해 추출한 음성 데이터를 분석하여 동영상 내 음성시작 시간을 검출한다. 음성시작 시간은 자막 데이터를 동기화할 때 자막 시작 시간을 결정하는 데 기준이 된다.
음성 데이터의 분석은 음성신호의 주파수, 피크치(Peak), 에지 검출(edge detection), 노이즈(noise) 분석 등을 활용할 수 있다.
음성시작시간 기록부(23)는 음성신호 특징 분석부(22)를 통해 분석한 정보에 기초하여 영상 내에 음성시작 시간이 판단되는 지점의 시간들을 기록한다.
통합부(24)는 영상 추출부(21a) 및 음성 추출부(21b)를 통해 추출한 영상 데이터 및 음성 데이터를 통합하여 하나의 방송 데이터로 구성한다. 이때, 음성 데이터는 음성시작시간 기록부(23)를 거쳐 음성시작시간이 포함된 형태로 통합된다.
또한, 통합부(24)는 앞서 설명한 다국어 자막 제공 서비스 장치(도 1의 100)에서 실시간 번역한 번역 자막 데이터를 수신하여 영상 데이터와 함께 통합할 수 있다.
이러한 구성을 통해 본 실시 예는 공중파에서 방송하는 실시간 방송 데이터에 대해서도 사용자가 원하는 언어로 번역하여 실시간 방송 데이터와 함께 스트리밍할 수 있다.
이하, 도 1 및 2의 구성에 기초하여 다국어 자막 데이터를 제공하는 서비스 방법에 대하여 구체적으로 설명한다.
도 3을 참조하면, 처음 단계(S1)에서, 다국어 자막 제공 서비스 장치(이하, 서비스 장치)(100)가 사용자 단말로부터 시청할 디지털 방송 데이터 및 언어에 대한 선택 입력을 수신한다.
다음 단계(S2)에서, 서비스 장치(100)가 자막 추출부(110)을 통해, 사용자 단말의 요청에 의해 스트리밍하는 디지털 방송 데이터로부터 자막을 추출한다.
다음 단계(S3)에서, 서비스 장치(100)의 자막 분석부(120)가 추출한 자막 데이터를 단어 또는 구 등을 단위로 분석하고 번역을 요청한 하나의 문장으로 재구성한다.
다음 단계(S4)에서, 서비스 장치(100)의 번역 의뢰부(130)가 재구성한 자막 데이터를 미리 정해진 번역 서비스 장치로 번역을 의뢰한다. 의뢰시 번역할 언어의 선택 정보도 함께 전달한다.
다음 단계(S5)에서, 서비스 장치(100)의 번역 결과 취합부(140)가 번역 서비스 장치로부터 번역된 자막 데이터를 수신하여 취합한다. 그리고 취합한 번역 자막 데이터를 원 자막 데이터와 매칭하여 번역 자막 관리부(150)의 데이터베이스에 저장할 수 있다.
취합 단계에서, 서비스 장치(100)의 번역 결과 취합부(140)는 번역 서비스 장치로 번역을 의뢰하는 시간과 번역 자막 데이터를 수신하는 시간으로부터 번역 과정에 소요되는 시간을 확인할 수 있다. 확인 결과 번역 과정에 소요되는 시간이 지연되는 경우 이를 보상하고자 지연 시간만큼 디지털 방송 데이터의 영상 데이터를 딜레이하여 송출하도록 요청할 수 있다.
또한, 서비스 장치(100)의 번역 결과 취합부(140)가 폐쇄 자막의 경우 폐쇄 자막의 재생 시간과 영상 데이터의 재생 시간간 지연 시간을 산출하여 지연 시간만큼 영상 데이터의 재생 시간을 딜레이하도록 요청할 수 있다.
다음 단계(S6, S7)에서, 서비스 장치(100)의 번역 자막 송출부(160)가 번역 결과 취합부에서 취합한 번역 자막 데이터를 디지털 방송 데이터와 동기화하고, 번역 자막 데이터를 포함한 디지털 방송 데이터를 송출한다. 송출시 번역 결과 취합부(140)에서 보상 요청이 발생하면 지연 시간만큼 영상 데이터를 딜레이하여 정확한 동기화가 이루어지도록 한다.
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
1: 방송 수신부 2: 데이터 처리부
3: 방송 송출부 4: VOD 서버
100: 다국어 자막 제공 서비스 장치
110: 자막 추출부 120: 자막 분석부
130: 번역 의뢰부 140: 번역 결과 취합부
150: 번역 자막 관리부 160: 번역 자막 송출부
200: 사용자 단말 300: 번역 서비스 장치

Claims (9)

  1. 사용자 단말의 요청에 의해 스트리밍하는 디지털 방송 데이터로부터 자막을 추출하여 복호화하는 자막 추출부;
    상기 자막 추출부에서 추출한 자막 데이터를 형태소 단위로 분석하고 번역을 요청할 하나의 문장 형태로 재구성하는 자막 분석부;
    상기 자막 분석부에서 재구성한 자막 데이터를 미리 정해진 번역 서비스 장치로 번역 의뢰하는 번역 의뢰부;
    상기 번역 의뢰에 의해 번역된 자막 데이터를 수신하여 취합하는 번역 결과 취합부; 및
    상기 사용자 단말로부터 번역할 언어에 대하여 입력받고 상기 번역 결과 취합부를 통해 취합한 번역된 자막 데이터를 상기 디지털 방송 데이터와 동기화하여 송출하는 번역 자막 송출부
    를 포함하는 실시간 번역을 통한 디지털 방송의 다국어 자막 제공 서비스 장치.
  2. 제1항에 있어서,
    상기 번역 결과 취합부는
    상기 번역된 자막 데이터의 재생 시간을 상기 디지털 방송 데이터의 음성 신호에 기초하여 매칭하는 것을 특징으로 하는 실시간 번역을 통한 디지털 방송의 다국어 자막 제공 서비스 장치.
  3. 제2항에 있어서,
    상기 번역 결과 취합부는
    상기 번역 의뢰부에서 의뢰한 시간과 번역된 자막 데이터를 수신하는 시간을 확인하여 번역 과정에 소요되는 시간을 산출하고,
    상기 번역 과정에 소요되는 시간이 일정 시간을 경과한 경우 경과한 시간만큼 상기 디지털 방송 데이터의 영상 데이터를 딜레이하도록 요청하는 것을 특징으로 하는 실시간 번역을 통한 디지털 방송의 다국어 자막 제공 서비스 장치.
  4. 제1항에 있어서,
    상기 번역 의뢰부로부터 번역 의뢰가 요청되면 상기 자막 분석부에서 재구성한 자막 데이터를 수신하여 자동 번역을 수행하는 번역 서비스 장치
    를 더 포함하는 것을 특징으로 하는 실시간 번역을 통한 디지털 방송의 다국어 자막 제공 서비스 장치.
  5. 제1항에 있어서,
    상기 디지털 방송 데이터는 실시간 방송 데이터, 주문형 비디오(VOD: Video On Demand) 데이터를 포함하는 것을 특징으로 하는 실시간 번역을 통한 디지털 방송의 다국어 자막 제공 서비스 장치.
  6. 다국어 자막 제공 서비스 장치(이하, 서비스 장치)가 사용자 단말로부터 디지털 방송 프로그램 및 시청할 자막 언어에 대하여 선택을 입력받는 단계;
    상기 사용자 단말의 요청에 의해 스트리밍하는 디지털 방송 데이터로부터 상기 서비스 장치가 자막을 추출하여 복호화하는 단계;
    상기 서비스 장치가 복호화한 자막을 형태소 단위로 분석하여 번역을 요청한 하나의 문장으로 재구성하는 단계;
    상기 서비스 장치가 재구성한 자막 데이터를 미리 정해진 번역 서비스 장치로 번역 의뢰하는 단계;
    상기 서비스 장치가 번역 서비스 장치로부터 번역된 자막 데이터를 수신하여 취합하는 단계; 및
    상기 서비스 장치가 취합한 번역 자막 데이터를 상기 디지털 방송 데이터와 동기화하여 송출하는 단계
    를 포함하는 실시간 번역을 통한 디지털 방송의 다국어 자막 제공 서비스 방법.
  7. 제6항에 있어서,
    상기 서비스 장치가 번역된 자막 데이터를 취합하는 단계에서,
    상기 서비스 장치가 번역 서비스 장치로 번역을 의뢰하는 시간과, 번역 서비스 장치로부터 번역된 자막 데이터를 수신하는 시간을 확인하여 번역 과정에 소요되는 시간을 산출하고,
    상기 번역 과정에 소요되는 시간이 일정 시간을 경과한 경우 경과한 시간만큼 상기 디지털 방송 데이터의 영상 데이터를 딜레이하도록 요청하는 것을 특징으로 하는 실시간 번역을 통한 디지털 방송의 다국어 자막 제공 서비스 방법.
  8. 제7항에 있어서,
    상기 요청이 발생하면 상기 디지털 방송 데이터와 동기화하여 송출하는 단계에 반영하는 것을 특징으로 하는 실시간 번역을 통한 디지털 방송의 다국어 자막 제공 서비스 방법.
  9. 제6항에 있어서,
    상기 서비스 장치가 번역된 자막 데이터를 취합하는 단계에서,
    상기 디지털 방송 데이터로부터 추출되는 자막 데이터의 재생 시간과 영상 데이터의 재생 시간간 지연 시간에 기초하여 영상 데이터의 재생 시간을 딜레이하도록 요청하는 것을 특징으로 하는 실시간 번역을 통한 디지털 방송의 다국어 자막 제공 서비스 방법.
KR1020140065144A 2014-05-29 2014-05-29 실시간 번역을 통한 디지털 방송의 다국어 자막 제공 서비스 장치 및 방법 KR101582574B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140065144A KR101582574B1 (ko) 2014-05-29 2014-05-29 실시간 번역을 통한 디지털 방송의 다국어 자막 제공 서비스 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140065144A KR101582574B1 (ko) 2014-05-29 2014-05-29 실시간 번역을 통한 디지털 방송의 다국어 자막 제공 서비스 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150137383A true KR20150137383A (ko) 2015-12-09
KR101582574B1 KR101582574B1 (ko) 2016-01-05

Family

ID=54873324

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140065144A KR101582574B1 (ko) 2014-05-29 2014-05-29 실시간 번역을 통한 디지털 방송의 다국어 자막 제공 서비스 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101582574B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180119101A (ko) * 2017-04-24 2018-11-01 주식회사 소리보기 방송자막 제작 시스템 및 방법
KR20190051498A (ko) * 2017-11-07 2019-05-15 서울대학교산학협력단 자막 싱크 조절 방법 및 시스템
KR102152337B1 (ko) * 2019-08-21 2020-09-04 (주)이투엘네트웍 케이블 방송용 셋탑 박스 및 그를 포함하는 자막 동기화 시스템
KR20210009775A (ko) * 2019-07-18 2021-01-27 북스타트 교육 주식회사 실시간 번역을 통한 디지털 방송의 자막 제공 서비스 장치
KR102446966B1 (ko) * 2022-05-12 2022-09-23 김경철 웹브라우저 번역 시스템 및 이를 제공하는 방법
US11955118B2 (en) 2019-09-17 2024-04-09 Samsung Electronics Co., Ltd. Method and apparatus with real-time translation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030030687A (ko) * 2001-10-12 2003-04-18 한국전자통신연구원 셋탑박스의 캡션 신호 처리 장치
KR100580149B1 (ko) * 2006-04-06 2006-05-15 주식회사 현대홈쇼핑 홈쇼핑 방송을 데이터통신망을 통해 다국어로 제공하는다국어 제공 홈쇼핑 데이터방송 시스템 및 그 방법
KR20090074631A (ko) * 2008-01-02 2009-07-07 주식회사 대우일렉트로닉스 자막 번역 서비스 제공 방법
KR20130039575A (ko) * 2011-10-12 2013-04-22 엘지전자 주식회사 영상표시장치 및 그 동작방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030030687A (ko) * 2001-10-12 2003-04-18 한국전자통신연구원 셋탑박스의 캡션 신호 처리 장치
KR100580149B1 (ko) * 2006-04-06 2006-05-15 주식회사 현대홈쇼핑 홈쇼핑 방송을 데이터통신망을 통해 다국어로 제공하는다국어 제공 홈쇼핑 데이터방송 시스템 및 그 방법
KR20090074631A (ko) * 2008-01-02 2009-07-07 주식회사 대우일렉트로닉스 자막 번역 서비스 제공 방법
KR20130039575A (ko) * 2011-10-12 2013-04-22 엘지전자 주식회사 영상표시장치 및 그 동작방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180119101A (ko) * 2017-04-24 2018-11-01 주식회사 소리보기 방송자막 제작 시스템 및 방법
KR20190051498A (ko) * 2017-11-07 2019-05-15 서울대학교산학협력단 자막 싱크 조절 방법 및 시스템
KR20210009775A (ko) * 2019-07-18 2021-01-27 북스타트 교육 주식회사 실시간 번역을 통한 디지털 방송의 자막 제공 서비스 장치
KR102152337B1 (ko) * 2019-08-21 2020-09-04 (주)이투엘네트웍 케이블 방송용 셋탑 박스 및 그를 포함하는 자막 동기화 시스템
US11955118B2 (en) 2019-09-17 2024-04-09 Samsung Electronics Co., Ltd. Method and apparatus with real-time translation
KR102446966B1 (ko) * 2022-05-12 2022-09-23 김경철 웹브라우저 번역 시스템 및 이를 제공하는 방법

Also Published As

Publication number Publication date
KR101582574B1 (ko) 2016-01-05

Similar Documents

Publication Publication Date Title
KR101582574B1 (ko) 실시간 번역을 통한 디지털 방송의 다국어 자막 제공 서비스 장치 및 방법
US11463779B2 (en) Video stream processing method and apparatus, computer device, and storage medium
TWI332358B (en) Media player apparatus and method thereof
EP2356654B1 (en) Method and process for text-based assistive program descriptions for television
US9060193B2 (en) System and method for broadcasting video with a secondary audio source
CN106340294A (zh) 基于同步翻译的新闻直播字幕在线制作系统
KR101899588B1 (ko) 수어 애니메이션 데이터를 자동으로 생성하는 시스템과 이를 이용한 방송시스템 및 방송방법
US8931024B2 (en) Receiving apparatus and subtitle processing method
CN106791913A (zh) 数字电视节目同声翻译输出方法及系统
KR20040039432A (ko) 다중 언어 필사 시스템
US20140003792A1 (en) Systems, methods, and media for synchronizing and merging subtitles and media content
US20110138418A1 (en) Apparatus and method for generating program summary information regarding broadcasting content, method of providing program summary information regarding broadcasting content, and broadcasting receiver
KR20110072181A (ko) 방송통신시스템에서 ｄｔｖ 자막 처리 장치 및 방법
KR20150120963A (ko) 영상 표시 장치 및 그 동작 방법
KR20130032653A (ko) 동영상 자막을 키워드로 이용한 영상 검색 시스템 및 방법
Matsumura et al. Personalization of broadcast programs using synchronized internet content
JP5202217B2 (ja) 放送コンテンツから時事性のあるキーワードを抽出する放送受信装置及びプログラム
US6993789B1 (en) DTV data service application and receiver mechanism
KR102229130B1 (ko) 실시간 번역을 통한 디지털 방송의 자막 제공 서비스 장치
KR20020071436A (ko) 출력 정보 제어 장치
JP2004207821A (ja) 字幕放送受信装置、字幕放送受信方法及び字幕放送受信プログラム
US10796089B2 (en) Enhanced timed text in video streaming
US8925011B2 (en) Apparatus and method for processing broadcast content
Villa Real et al. Dynamic adjustment of subtitles using audio fingerprints
KR100878909B1 (ko) 대화형 디엠비 방송 제공시스템 및 이의 제공방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee