KR101192207B1 - System for providing real-time subtitles service of many languages for online live broadcasting and method thereof - Google Patents

System for providing real-time subtitles service of many languages for online live broadcasting and method thereof Download PDF

Info

Publication number
KR101192207B1
KR101192207B1 KR1020120022134A KR20120022134A KR101192207B1 KR 101192207 B1 KR101192207 B1 KR 101192207B1 KR 1020120022134 A KR1020120022134 A KR 1020120022134A KR 20120022134 A KR20120022134 A KR 20120022134A KR 101192207 B1 KR101192207 B1 KR 101192207B1
Authority
KR
South Korea
Prior art keywords
packet
server
time
viewer
terminal
Prior art date
Application number
KR1020120022134A
Other languages
Korean (ko)
Inventor
전정환
정지돈
김규훈
박웅권
김준영
김태균
유진호
Original Assignee
전정환
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전정환 filed Critical 전정환
Priority to KR1020120022134A priority Critical patent/KR101192207B1/en
Priority to PCT/KR2012/002892 priority patent/WO2013133477A1/en
Application granted granted Critical
Publication of KR101192207B1 publication Critical patent/KR101192207B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2223—Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

PURPOSE: A system for providing real-time subtitles service of many languages for an online live broadcast and a method thereof are provided to transmit translated multilingual subtitles in real time while selectively delaying and transmitting a broadcast in consideration of global Internet environments. CONSTITUTION: An encoder(220) transmits a packet generated from a broadcast signal received from a broadcast center. A streaming server(230) transmits the packet. A subtitle service web server(240) transmits the packet to viewer terminals(300-1~300-N) and interpreter terminals(400-1). The subtitle service web server provides a chatting module to the interpreter terminals. The subtitle service web server transmits a subtitle inputted through the chatting module to the viewer terminals. [Reference numerals] (100) Broadcasting center; (210) Broadcasting receiving unit; (220) Encoder; (230) Streaming server; (240) Subtitle service web; (300-1) Viewer terminal; (300-N) Viewer terminal; (400-1) Interpreter terminals; (AA) Communication network

Description

온라인 생방송을 위한 실시간 다국어 자막 서비스 시스템 및 그 방법{System for providing real-time subtitles service of many languages for online live broadcasting and method thereof} System for providing real-time subtitles service of many languages for online live broadcasting and method thereof}

본 발명은 온라인 생방송을 위한 실시간 다국어 자막 서비스 시스템 및 그 방법에 관한 것으로, 특히, 전세계 지역별 시청자들의 인터넷 환경을 고려하여 방송을 선별적으로 지연시키는 동시에 통역사에 의해 다국어 자막의 정확도를 향상시킬 수 있는 온라인 생방송을 위한 실시간 다국어 자막 서비스 시스템 및 그 방법에 관한 것이다.The present invention relates to a real-time multilingual subtitle service system for online live broadcasting and a method thereof. In particular, it is possible to selectively delay the broadcast in consideration of the Internet environment of local viewers around the world and to improve the accuracy of multilingual subtitles by an interpreter. A real-time multilingual subtitle service system for online live broadcasting, and a method thereof.

인터넷 환경의 발달로 인해 전세계의 정보에 쉽게 접근할 수 있게 되었고, 사용자들은 더 많은 정보를 제공받기 위한 요구가 증대하고 있다. 이러한 요구에 따라 언어권이 다른 국가에 대한 정보를 제공하기 위해 많은 번역 프로그램 및 서비스가 등장하고 있다. The development of the Internet environment has made it easier to access information around the world, and users are increasingly in need of more information. In response to this demand, many translation programs and services are emerging to provide information on countries with different languages.

특히, 이동통신의 발달로 언제 어디서나 인터넷에 접속할 수 있게 되면서 인터넷 상에서 실시간으로 번역된 자막을 제공하는 서비스가 등장하고 있다. 전세계에서 일어나는 주요 사건들에 대하여 문자 중계 방송을 제공하는 서비스가 이루어지고 있다. 그러나 이러한 서비스는 실시간 중계에 중점을 두어 영상을 배제하기 때문에 사용자에게 더 많은 정보를 제공하지 못하며, 더욱이 발생한 사건을 입수한 서비스 제공업자가 번역을 한 후 온라인상에 유포되기 때문에 정보를 실시간으로 제공하지 못하는 문제점이 있다.In particular, with the development of mobile communication, anytime, anywhere access to the Internet has emerged a service providing real-time translated subtitles on the Internet. There is a service that provides text broadcasting for major events occurring around the world. However, these services do not provide more information to users because they exclude video by focusing on real-time relaying. Furthermore, the information is provided in real time because the service provider who received the incident has been translated and distributed online. There is a problem that can not be.

최근 인기를 얻고 있는 유튜브 동영상 서비스는 전세계에서 발생하는 일 또는 개인이 제작한 다양한 동영상을 제공하는 서비스로서, 임의의 사용자가 언어 장벽을 해소하기 위해 다국어로 번역된 자막을 업로드하면, 동영상과 자막파일이 합쳐져 재생됨으로써 동영상에 따른 다국어 자막을 제공할 수 있다. 그러나 이러한 다국어 자막 서비스는 일반적으로 자동 번역 시스템 또는 개인적 성향에 따라 번역되기 때문에 다양한 표현에 대한 번역 성공률이 매우 낮으며, 더욱이, 동영상에 포함되는 소리를 기반으로 하기 때문에 번역의 오류 확률이 매우 높다. 게다가, 방언, 사투리, 시대적 배경에 따라 사용이 다른 언어의 정보를 다양하게 적용하지 못하기 때문에 정확하게 번역된 경우에도 표현이 다소 부자연스러운 문제점이 있다. Recently popular YouTube video service is a service that provides a variety of videos produced by people around the world or personally produced, if a user uploads multi-language translated subtitles to solve language barriers, video and subtitle files The combined and reproduced files can provide multilingual subtitles according to a video. However, since the multilingual subtitle service is generally translated according to an automatic translation system or personal inclination, the translation success rate for various expressions is very low, and furthermore, the error probability of translation is very high because it is based on the sound included in the video. In addition, because the dialect, dialect, and historical background do not vary the information of different languages, the expression is somewhat unnatural even when correctly translated.

상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명은 지역별로 싱크율을 조정하는 동시에 통역사에 의해 각 콘텐츠에 최적화된 자막을 다국어로 서비스할 수 있는 온라인 생방송을 위한 실시간 다국어 자막 서비스 시스템 및 그 방법을 제공하고자 한다.In order to solve the above problems of the prior art, the present invention provides a real-time multilingual subtitle service system for online live broadcasting that can adjust the sync rate for each region and simultaneously provide subtitles optimized for each content by an interpreter and multilingual services. To provide a method.

위와 같은 과제를 해결하기 위한 본 발명은 온라인 생방송의 특수성을 고려하여 전세계 시청자들의 인터넷 환경에 따라 싱크를 조절할 수 있도록 지역별로 지연 시간을 설정한다. 특히, 온라인 생방송이 실시간으로 진행되는 특성상 동시 통역에 시간이 소요되기 때문에 이에 대한 지연 시간을 고려하여 방송을 전송한다. 즉, 지역별로 정확한 싱크율을 달성하기 위하여 각 지역에 배치된 에지 서버마다 다른 지연 시간을 설정함으로써, 생방송 콘텐츠를 시청하는 시청자들은 약 10초 이내의 지연된 생방송을 다국어 자막과 함께 시청할 수 있다. The present invention for solving the above problems is to set the delay time for each region to adjust the sync according to the Internet environment of viewers around the world in consideration of the specificity of online live broadcasting. In particular, due to the nature of online live broadcasting in real time, it takes time for simultaneous interpretation, so the broadcast is transmitted in consideration of the delay time. That is, by setting different delay times for edge servers disposed in each region in order to achieve an accurate sync rate for each region, viewers who watch live broadcast content can watch a delayed live broadcast within about 10 seconds with multilingual subtitles.

또한, 기계적 번역이 아닌 실시간 통역 개념의 자막 서비스를 제공하여 다국어 자막의 정확도를 향상시킬 수 있도록 각 국가별로 동시 통역사를 통하여 실시간으로 제공되는 방송을 번역함으로써, 연예, 시사, 시대별, 주제별 드라마 등의 각종 콘텐츠에 최적화된 다국어 자막 서비스를 제공하며, 특히 해당 콘텐츠의 사전 조사 및 배경을 기반으로 하여 완벽하게 의역된 다국어 자막 서비스를 제공한다. 이를 위해 동시 통역사들에게는 지연 없는 방송을 제공한다. In addition, by providing a subtitle service with a real-time interpretation concept rather than a mechanical translation, translations are provided in real time through simultaneous interpreters for each country to improve the accuracy of multilingual subtitles. It provides a multilingual subtitle service optimized for various contents of the company, and in particular, provides a fully translated multilingual subtitle service based on preliminary investigation and background of the corresponding content. To this end, simultaneous interpreters are provided without delay.

일 실시예에서, 온라인 생방송을 위한 실시간 다국어 자막 서비스 시스템은 방송 센터로부터 방송 신호를 수신하여 다수의 시청자 단말에 대응하는 프로토콜로 변환하는 엔코더; 상기 변환되는 패킷을 전송하는 스트리밍 서버; 다수의 에지 서버를 포함하며, 상기 스트리밍 서버로부터 전송되는 패킷을 상기 다수의 에지 서버별로 설정된 시간에 따라 지연시키는 자막 서비스 웹 서버; 및 상기 다수의 에지 서버중 하나로부터 지연 없이 상기 패킷을 실시간으로 수신하고, 통역자에 의해 상기 수신되는 패킷에 대응하는 방송에 대하여 설정된 언어로 번역된 다국어 자막이 실시간으로 입력되는 다수의 통역자 단말;을 포함하되, 상기 자막 서비스 웹 서버는 상기 지연되는 패킷과 함께 상기 다수의 통역자 단말로부터 실시간으로 입력되는 다국어 자막을 상기 각각의 에지 서버에 대응하는 상기 다수의 시청자 단말로 전송할 수 있다.In one embodiment, a real-time multilingual subtitle service system for online live broadcasting includes: an encoder for receiving a broadcast signal from a broadcasting center and converting the broadcast signal into a protocol corresponding to a plurality of viewer terminals; A streaming server for transmitting the converted packet; A caption service web server including a plurality of edge servers and delaying a packet transmitted from the streaming server according to a time set for each of the plurality of edge servers; And a plurality of interpreter terminals for receiving the packets in real time without delay from one of the plurality of edge servers, and receiving multi-language subtitles translated into a language set for a broadcast corresponding to the received packets by an interpreter in real time. The subtitle service web server may include multilingual subtitles input in real time from the plurality of interpreter terminals together with the delayed packets to the plurality of viewer terminals corresponding to the respective edge servers.

일 실시예에서, 상기 엔코더는 상기 방송 센터로부터 수신되는 방송 신호를 RTMP(Real Time Messaging Protocol) 프로토콜로 변환할 수 있다.In one embodiment, the encoder may convert the broadcast signal received from the broadcast center into a Real Time Messaging Protocol (RTMP) protocol.

상기에 부가하여, 상기 엔코더는 H.264/AAC 코덱을 포함할 수 있다.In addition to the above, the encoder may include an H.264 / AAC codec.

다른 실시예에서, 상기 스트리밍 서버는 Wowza 스트리밍 서버일 수 있다.In another embodiment, the streaming server may be a Wowza streaming server.

또 다른 실시예에서, 상기 에지 서버는 RTSP(Real Time Streaming Protocol) 서버, HLS(HTTP Live Streaming) 서버 또는 IPTV 서버일 수 있다.In another embodiment, the edge server may be a Real Time Streaming Protocol (RTSP) server, an HTTP Live Streaming (HLS) server, or an IPTV server.

일 실시예에서, 상기 자막 서비스 웹 서버는, 상기 다수의 통역자 단말에 대한 사용자 정보가 저장되는 데이터베이스; 및 상기 다수의 에지 서버의 지연 시간을 설정하고, 상기 다수의 통역자 단말이 상기 데이터베이스에 등록된 사용자인지를 검색하여 등록된 사용자인 경우 상기 다수의 통역자 단말로부터 입력되는 다국어 자막을 상기 다수의 에지 서버로 전송하도록 제어하는 제어부를 추가로 포함할 수 있다. In one embodiment, the caption service web server, a database that stores user information for the plurality of interpreter terminal; And setting a delay time of the plurality of edge servers, searching for whether the plurality of interpreter terminals are registered users in the database, and when the registered users are registered, multilingual subtitles input from the plurality of interpreter terminals. It may further include a control unit for controlling to transmit to.

상기에 부가하여, 상기 다수의 에지 서버 각각은, 상기 스트리밍 서버로부터 패킷을 수신하는 패킷 수신부; 상기 제어부에서 설정된 지연 시간에 따라 상기 패킷을 지연시킨 후 상기 실시간 입력되는 다국어 자막과 함께 상기 시청자 단말로 전송하도록 제어하는 지연 제어부; 상기 패킷을 지연시키도록 일시 저장하는 임시 저장부; 및 상기 방송에 대응하여 지연되는 패킷과 상기 실시간 다국어 자막을 상기 다수의 시청자 단말로 전송하는 패킷 송신부를 포함할 수 있다.In addition to the above, each of the plurality of edge servers, the packet receiving unit for receiving a packet from the streaming server; A delay controller configured to delay the packet according to a delay time set by the controller and to transmit the packet to the viewer terminal together with the multilingual subtitles input in real time; A temporary storage unit temporarily storing the packet to delay the packet; And a packet transmitter configured to transmit a packet delayed in response to the broadcast and the real-time multilingual subtitles to the plurality of viewer terminals.

일 실시예에서, 상기 시청자 단말은, 상기 지연 수신되는 패킷에 대응하는 방송을 디스플레이하는 스트리밍 뷰어; 및 상기 실시간 전송되는 다국어 자막이 시청자가 설정한 언어로 디스플레이되는 채팅 뷰어를 포함할 수 있다.In one embodiment, the viewer terminal, the streaming viewer for displaying a broadcast corresponding to the delayed packet received; And a chat viewer in which the multilingual subtitles transmitted in real time are displayed in a language set by the viewer.

일 실시예에서, 상기 다수의 통역자 단말 각각은, 설정된 언어로 상기 통역자에 의해 번역된 다국어 자막이 입력되는 입력부; 상기 입력되는 다국어 자막이 상기 시청자 단말의 채팅 뷰어에 디스플레이 되도록 변환하는 채팅 모듈; 상기 설정된 언어에 대한 어휘 사전이 저장되는 저장부; 및 상기 입력되는 다국어 자막을 상기 저장부의 어휘 사전에 따라 오타 여부를 확인하여 수정하는 오타 수정부를 포함할 수 있다. In one embodiment, each of the plurality of interpreter terminal, the input unit for inputting a multilingual subtitle translated by the interpreter in a set language; A chat module for converting the input multilingual subtitles to be displayed in a chat viewer of the viewer terminal; A storage unit storing a lexical dictionary for the set language; And a typo correcting unit for checking and correcting the input multilingual subtitle according to the vocabulary dictionary of the storage unit.

또한, 본 발명은 다수의 에지 서버 및 스트리밍 서버를 포함하는 미디어 서버가 방송과 관련하여 다수의 통역자 단말로부터 다국어로 번역된 자막을 다수의 시청자 단말로 서비스하는 온라인 생방송을 위한 실시간 다국어 자막 서비스 방법을 제공한다. In addition, the present invention provides a real-time multi-language subtitle service method for online live broadcasting in which a media server including a plurality of edge server and a streaming server serves a multi-language subtitle translated from a plurality of interpreter terminals to a plurality of viewer terminals in relation to broadcasting to provide.

일 실시예에서, 방송 센터로부터 방송 신호를 수신하여 상기 다수의 시청자 단말에 대응하는 프로토콜로 변환하는 수신 단계; 상기 다수의 시청자 단말로 전송할 상기 변환되는 방송 신호를 상기 다수의 에지 서버별로 설정된 시간에 따라 지연시키는 지연 단계; 상기 방송 신호를 지연 없이 상기 다수의 통역자 단말로 실시간 전송하여 통역자에 의해 상기 방송에 대하여 설정된 언어로 번역된 다국어 자막이 실시간으로 입력되는 입력 단계; 상기 지연되는 방송 신호를 상기 각각의 에지 서버에 대응하는 상기 다수의 시청자 단말로 전송하는 동시에 상기 다수의 통역자 단말로부터 입력되는 다국어 자막을 상기 다수의 시청자 단말로 실시간 전송하는 전송 단계;를 포함할 수 있다.In one embodiment, a receiving step of receiving a broadcast signal from a broadcasting center and converting it into a protocol corresponding to the plurality of viewer terminals; A delay step of delaying the converted broadcast signal to be transmitted to the plurality of viewer terminals according to a time set for each of the plurality of edge servers; An input step of transmitting the broadcast signal to the plurality of interpreter terminals in real time without delay and inputting, in real time, a multilingual subtitle translated into a language set for the broadcast by an interpreter; Transmitting the delayed broadcast signal to the plurality of viewer terminals corresponding to the respective edge servers, and simultaneously transmitting multilingual subtitles input from the plurality of interpreter terminals to the plurality of viewer terminals. have.

본 발명은 상기 다수의 에지 서버별로 상기 방송 신호의 지연 시간을 설정하는 설정 단계를 추가로 포함할 수 있다.The present invention may further include a setting step of setting a delay time of the broadcast signal for each of the plurality of edge servers.

일 실시예에서, 상기 수신 단계는, 상기 방송 센터로부터 수신되는 방송 신호를 RTMP(Real Time Messaging Protocol) 프로토콜로 변환하는 엔코딩 단계를 포함할 수 있다.In an embodiment, the receiving step may include an encoding step of converting a broadcast signal received from the broadcasting center into a Real Time Messaging Protocol (RTMP) protocol.

상기에 부가하여, 상기 입력 단계는, 상기 입력되는 다국어 자막을 저장되는 어휘 사전에 따라 오타 여부를 확인하여 수정하는 수정 단계를 포함할 수 있다.In addition to the above, the input step may include a correcting step of checking and correcting the input multilingual subtitle according to a lexical dictionary stored.

본 발명은 상기 다수의 시청자 단말 각각이 상기 지연 전송되는 방송을 디스플레이하는 동시에 상기 실시간 전송되는 다국어 자막을 시청자가 설정한 언어로 디스플레이하는 디스플레이 단계를 추가로 포함할 수 있다. The present invention may further include a display step in which each of the plurality of viewer terminals displays the delayed broadcast and simultaneously displays the real-time transmitted multilingual subtitles in a language set by the viewer.

본 발명에 따른 온라인 생방송을 위한 실시간 다국어 자막 서비스 시스템 및 그 방법은 온라인 생방송의 특수성 및 전세계 지역별 인터넷 환경을 고려하여 방송의 선택적으로 지연 송출하는 동시에 통역사에 의해 번역된 다국어 자막을 실시간으로 전송함으로써, 각 콘텐츠 및 지역의 특성에 맞는 다국어 자막의 정확도를 향상시킬 수 있는 효과가 있다.Real-time multi-language subtitle service system and method for online live broadcasting according to the present invention by delaying the selective transmission of the broadcasting in consideration of the characteristics of online live broadcasting and the global Internet environment by region, and simultaneously transmitting the multilingual subtitles translated by an interpreter, There is an effect that can improve the accuracy of the multilingual subtitles to suit the characteristics of each content and region.

또한 본 발명은 다국어 자막의 정확도를 향상시킴으로써 서비스 사용자가 전세계에서 제공하는 콘텐츠를 실시간으로 시청할 수 있어 시간별 및 지역별 차이에 의한 시청의 제한을 극복할 수 있다. In addition, the present invention improves the accuracy of multilingual subtitles so that service users can view content provided from all over the world in real time, thereby overcoming the limitation of viewing due to time and regional differences.

또한, 본 발명은 정확도가 향상된 다국어 자막에 의해 서비스 사용자가 언어 장벽 없이 다른 언어권 국가에서 제공하는 다양한 콘텐츠를 시청할 수 있어 콘텐츠의 선택을 다양화시킬 수 있는 동시에 서비스 사용자의 폭 넓은 요구를 만족시킬 수 있다. In addition, the present invention enables the service user to watch a variety of contents provided by different language countries without language barriers by improving the accuracy of multilingual subtitles, thereby diversifying the selection of contents and satisfying the wide demands of the service users. have.

도 1은 본 발명의 실시예에 따른 온라인 생방송을 위한 실시간 다국어 자막 서비스 시스템의 개략적 구성도이다.
도 2는 도 1의 자막 서비스 웹 서버의 상세 블록도이다.
도 3은 도 2의 에지 서버의 상세 블록도이다.
도 4는 도 1의 시청자 단말의 디스플레이 상태도이다.
도 5는 도 1의 통역자 단말의 상세 블록도이다.
도 6은 본 발명의 실시예에 따른 온라인 생방송을 위한 실시간 다국어 자막 서비스 방법의 흐름도이다. 1 is a schematic diagram of a real-time multilingual subtitle service system for online live broadcasting according to an embodiment of the present invention.
FIG. 2 is a detailed block diagram of the caption service web server of FIG. 1.
3 is a detailed block diagram of the edge server of FIG.
4 is a view illustrating a display state of the viewer terminal of FIG. 1.
5 is a detailed block diagram of the interpreter terminal of FIG. 1.
6 is a flowchart of a real-time multilingual subtitle service method for online live broadcasting according to an embodiment of the present invention.

이하, 본 발명을 바람직한 실시예와 첨부한 도면을 참고로 하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되는 것은 아니다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention.

먼저, 도 1 내지 도 5를 참조하여 본 발명의 한 실시예에 따른 온라인 생방송을 위한 실시간 다국어 자막 서비스 시스템을 설명하다. First, a real-time multilingual subtitle service system for online live broadcasting according to an embodiment of the present invention will be described with reference to FIGS. 1 to 5.

도 1은 본 발명의 실시예에 따른 온라인 생방송을 위한 실시간 다국어 자막 서비스 시스템의 개략적 구성도이다. 1 is a schematic diagram of a real-time multilingual subtitle service system for online live broadcasting according to an embodiment of the present invention.

실시간 다국어 자막 서비스 시스템(10)은 방송을 송출하는 방송 센터(100), 다국어 번역 자막 서비스를 제공하는 미디어 서버(200), 지연된 방송과 다국어 번역 자막을 실시간으로 수신하는 다수의 시청자 단말(300), 해당 방송에 대한 다국어 자막이 입력되는 다수의 통역자 단말(400), 및 다국어 자막을 실시간으로 수신하는 다수의 시청자 단말(300)을 포함할 수 있다. The real-time multilingual subtitle service system 10 includes a broadcasting center 100 for transmitting a broadcast, a media server 200 for providing a multilingual translation subtitle service, and a plurality of viewer terminals 300 for receiving delayed broadcasting and multilingual translation subtitles in real time. It may include a plurality of interpreter terminal 400 is input multi-language subtitles for the broadcast, and a plurality of viewer terminal 300 for receiving the multi-language subtitles in real time.

이러한 실시간 다국어 자막 서비스 시스템(10)은 지역별 싱크를 조절하기 위하여 접속 단말에 따라 사용자를 분류하고 지연 시간을 결정한다. 즉, 방송을 다국어로 번역하기 위한 통역자 단말(400)로 지연 없이 방송을 제공하고, 일반 시청자인 시청자 단말(300)로 지역별로 미리 설정된 시간에 따라 지연된 방송을 제공한다. 여기서, 동시 통역사에 의해 통역자 단말(400)로부터 입력되는 다국어 자막 서비스는 단방향 채팅과 유사한 방식으로 통역자 단말(400)에서 입력되는 다국어 자막은 일반 시청자인 시청자 단말(300)로 전달된다. The real-time multilingual subtitle service system 10 classifies users according to access terminals and determines delay times in order to adjust regional syncs. That is, the broadcaster provides the broadcast without delay to the interpreter terminal 400 for translating the broadcast into multiple languages, and provides the delayed broadcast according to a preset time for each region to the viewer terminal 300 which is a general viewer. Here, the multilingual subtitle service input from the interpreter terminal 400 by the simultaneous interpreter is transmitted to the viewer terminal 300 which is a general viewer in a manner similar to the one-way chat.

방송 센터(100)는 미디어 서버(200)에 미리 등록된 방송을 제작하여 전송한다. 이러한 방송 센터(100)는 일반적인 방송국만을 의미하는 것은 아니며, 일반 사용자가 제작하여 인터넷 등에 유포하는 동영상을 포함할 수 있다. The broadcast center 100 produces and transmits a broadcast registered in advance in the media server 200. The broadcast center 100 does not mean only a general broadcasting station, but may include a video produced by a general user and distributed to the Internet.

미디어 서버(200)는 온라인 생방송을 위한 실시간 다국어 자막 서비스 시스템의 주요 구성으로서, 방송 센터(100)로부터 방송 신호를 수신하는 방송 수신부(210), 수신된 방송 신호를 정해진 포맷의 패킷으로 변환하는 엔코더(220), 변환되는 패킷을 전송하는 스트리밍 서버(230), 및 방송에 대응하는 패킷을 설정된 시간에 따라 지연시켜 시청자 단말(300)로 전송하고 통역자 단말(400)로부터 수신되는 다국어 자막을 실시간으로 시청자 단말(300)로 전송하는 자막 서비스 웹 서버(240)를 포함할 수 있다. The media server 200 is a main component of a real-time multilingual subtitle service system for online live broadcasting. The media server 200 includes a broadcast receiver 210 for receiving a broadcast signal from the broadcast center 100 and an encoder for converting the received broadcast signal into a packet having a predetermined format. 220, the streaming server 230 for transmitting the converted packet, and delays the packet corresponding to the broadcast according to the set time to the viewer terminal 300 and transmits the multilingual subtitles received from the interpreter terminal 400 in real time. It may include a subtitle service web server 240 to transmit to the viewer terminal (300).

방송 수신부(210)는 방송 센터(100)로부터 전송되는 방송 신호를 수신한다. 이러한 방송 수신부(210)는 임의의 무선 또는 유선 통신 방식으로 방송 신호를 수신할 수 있다. The broadcast receiver 210 receives a broadcast signal transmitted from the broadcast center 100. The broadcast receiver 210 may receive a broadcast signal by any wireless or wired communication method.

엔코더(220)는 방송 센터(100)로부터 방송 신호를 수신하여 다수의 시청자 단말(300)에 대응하는 프로토콜로 변환하며, H.264/AAC 코덱을 포함할 수 있다. 따라서, 엔코더(220)는 방송 센터(100)로부터 실시간으로 수신되는 방송 신호를 임의의 기기로 구성된 시청자 단말(300)에서 재생 가능하도록 H.264/AAC 코덱으로 코딩할 수 있다. 여기서, 방송에 대한 영상은 매우 높은 데이터 압축률을 가지는 H.264 방식으로 방송에 대한 음성은 애플의 아이폰, 아이팟, 아이튠즈에 사용되는 기본 오디오 포맷인 AAC(Advanced Audio Coding) 방식으로 변환하여 H.264/AAC 패킷을 생성할 수 있다. 이러한 패킷은 RTMP(Real Time Messaging Protocol) 프로토콜로 변환하여 스트리밍 서버(230)로 전송될 수 있다. The encoder 220 receives a broadcast signal from the broadcast center 100, converts the broadcast signal into a protocol corresponding to the plurality of viewer terminals 300, and may include an H.264 / AAC codec. Therefore, the encoder 220 may code the broadcast signal received in real time from the broadcast center 100 with the H.264 / AAC codec to enable playback on the viewer terminal 300 configured with any device. Here, the broadcast video is H.264 with a very high data compression rate, and the voice for the broadcast is converted to H.264 by converting it to AAC (Advanced Audio Coding), which is a basic audio format used by Apple's iPhone, iPod, and iTunes. / AAC packet can be generated. Such a packet may be converted to a Real Time Messaging Protocol (RTMP) protocol and transmitted to the streaming server 230.

스트리밍 서버(230)는 RTSP 또는 HLS와 같은 표준 비디오 스트리밍 프로토콜에 의해 엔코더(220)로부터 패킷을 수신하며 자막 서비스 웹 서버(240)로 전송할 수 있다. 여기서, 스트리밍 서버(230)는 Wowza 스트리밍 서버일 수 있다. 이러한 스트리밍 서버(230)는 엔코더(220)에서 변환된 H.264/AAC 패킷을 수신하여 각 기기들에 맞는 프로토콜로 실시간 전송할 준비가 되어 있는 상태이며, 후술하는 바와 같이, 선택적으로 다수의 에지 서버(250)로 패킷을 전송할 수 있다. The streaming server 230 may receive a packet from the encoder 220 by a standard video streaming protocol such as RTSP or HLS and transmit it to the subtitle service web server 240. Here, the streaming server 230 may be a Wowza streaming server. The streaming server 230 is ready to receive the H.264 / AAC packet converted by the encoder 220 in real time to transmit the protocol for each device, as will be described later, optionally a plurality of edge servers The packet may be sent to 250.

자막 서비스 웹 서버(240)는, 도 2를 참조하여 후술하는 바와 같이, 스트리밍 서버(230)로부터 전송되는 패킷을 다수의 에지 서버(250)별로 설정된 시간에 따라 지연시킬 수 있다. 이러한 자막 서비스 웹 서버(240)는 지연되는 패킷과 함께 통역자 단말(400)로부터 실시간으로 입력되는 다국어 자막을 각각의 에지 서버(250)에 대응하는 다수의 시청자 단말(300)로 전송할 수 있다.As described below with reference to FIG. 2, the subtitle service web server 240 may delay a packet transmitted from the streaming server 230 according to a time set for each of the plurality of edge servers 250. The subtitle service web server 240 may transmit a multilingual subtitle input in real time from the interpreter terminal 400 to the plurality of viewer terminals 300 corresponding to each edge server 250 together with the delayed packet.

또한, 자막 서비스 웹 서버(240)는 통역자 단말(400)로 채팅 프로그램을 포함하는 채팅 모듈(420)을 제공하는데, 이러한 채팅 프로그램은 등록된 사용자만이 입력이 가능하며, 그외에 시청자들과 같은 일반 사용자는 입력이 불가능하다. In addition, the subtitle service web server 240 provides a chat module 420 including a chat program to the interpreter terminal 400, and the chat program can be input only by a registered user. The user cannot input.

또한, 자막 서비스 웹 서버(240)는 방송을 수신하여 시청할 수 있는 JW 플레이어 및 다국어 자막 입력과 자막 시청을 위한 Wowza 채팅 모듈을 시청자 단말(300) 및 통역자 단말(400)로 전송한다. In addition, the caption service web server 240 transmits a JW player capable of receiving and watching broadcasts, and a Wowza chat module for multilingual caption input and caption viewing to the viewer terminal 300 and the interpreter terminal 400.

도 2는 도 1의 자막 서비스 웹 서버의 상세 블록도이다. FIG. 2 is a detailed block diagram of the caption service web server of FIG. 1.

자막 서비스 웹 서버(240)는 지연 시간이 설정되는 다수의 에지 서버(250), 다수의 에지 서버(250)의 지연 시간을 설정하는 제어부(224), 등록된 사용자 정보가 저장되는 데이터베이스(246)를 포함할 수 있다. The caption service web server 240 may include a plurality of edge servers 250 having delay times set, a controller 224 for setting delay times of the plurality of edge servers 250, and a database 246 storing registered user information. It may include.

다수의 에지 서버(250)는 설치되는 국가 등의 지역적 환경과 제공되는 서비스에 따라 여러 형태로 구성될 수 있으며, 예를 들면, Wowza 스트리밍 서버와 동일한 프로토콜을 갖는 RTSP 서버, HLS 서버 또는 인터넷 프로토콜을 사용하여 디지털 텔레비전 서비스를 제공하는 IPTV 서버일 수 있다.The plurality of edge servers 250 may be configured in various forms according to the local environment of the country in which it is installed and services provided. For example, an RTSP server, an HLS server, or an Internet protocol having the same protocol as the Wowza streaming server may be used. It may be an IPTV server that provides digital television service.

이러한 다수의 에지 서버(250)는, 도 1에 도시된 바와 같이, 시청자 단말(300)로 지연된 패킷을 전송하는 사용자 모드와 통역자 단말(400)로 패킷을 지연 없는 패킷을 전송하는 관리자 모드로 운영될 수 있다. 예를 들면, 다수의 에지 서버(250) 중 어느 하나는 관리자 모드로 운영되며, 스트리밍 서버(230)로부터 전송되는 패킷을 지연 없이 다수의 통역자 단말(400)로 실시간으로 전송할 수 있다. 또한, 그외의 에지 서버(250)는 사용자 모드로 운영되며, 스트리밍 서버(230)로부터 전송되는 패킷을 설정된 시간에 따라 지연시킨 후 다수의 시청자 단말(300)로 전송할 수 있다. As shown in FIG. 1, the plurality of edge servers 250 operate in a user mode for transmitting a delayed packet to the viewer terminal 300 and in a manager mode for transmitting a packet without delay to the interpreter terminal 400. Can be. For example, any one of the plurality of edge servers 250 operates in the manager mode, and may transmit packets transmitted from the streaming server 230 to the plurality of interpreter terminals 400 in real time without delay. In addition, the other edge server 250 operates in a user mode, and may delay the packet transmitted from the streaming server 230 according to a set time and then transmit the packet to a plurality of viewer terminals 300.

도 3은 도 2의 에지 서버의 상세 블록도이다.3 is a detailed block diagram of the edge server of FIG.

다수의 에지 서버(250) 각각은 스트리밍 서버(230)로부터 패킷을 수신하는 패킷 수신부(252), 패킷을 설정된 시간에 따라 지연시키도록 제어하는 지연 제어부(254), 패킷을 일시 저장하는 임시 저장부(256), 및 지연된 패킷을 시청자 단말(300)로 전송하는 패킷 송신부(258)를 포함할 수 있다.Each of the plurality of edge servers 250 includes a packet receiver 252 for receiving a packet from the streaming server 230, a delay controller 254 for controlling the packet to be delayed according to a set time, and a temporary storage unit for temporarily storing the packet. 256, and a packet transmitter 258 for transmitting the delayed packet to the viewer terminal 300.

패킷 수신부(252)는 해당 에지 서버(250)의 포맷에 따라 스트리밍 서버(230)로부터 전송되는 패킷을 수신할 수 있다. 이러한 패킷 수신부(252)는 해당 에지 서버(250)의 서비스 포맷에 대응하는 방식으로 패킷을 수신하도록 구성될 수 있다. The packet receiver 252 may receive a packet transmitted from the streaming server 230 according to the format of the edge server 250. The packet receiver 252 may be configured to receive a packet in a manner corresponding to the service format of the edge server 250.

지연 제어부(254)는 자막 서비스 웹 서버(240)의 제어부(224)에서 설정된 지연 시간에 따라 수신된 패킷을 지연시키는데, 예를 들면, 스트리밍 서버(230)로부터 수신되는 첫번째 패킷부터 지정된 시간 동안의 패킷을 임시 저장부(256)에 저장하도록 제어할 수 있다. The delay control unit 254 delays the received packet according to the delay time set by the control unit 224 of the subtitle service web server 240. For example, the delay control unit 254 may perform a designated time from the first packet received from the streaming server 230. The packet may be controlled to be stored in the temporary storage unit 256.

또한, 지연 제어부(254)는 통역자 단말(400)로부터 실시간 입력되는 다국어 자막과 함께 임시 저장부(256)에 저장된 패킷을 시청자 단말(300)로 전송하도록 제어할 수 있다. In addition, the delay controller 254 may control to transmit the packet stored in the temporary storage unit 256 to the viewer terminal 300 together with the multilingual subtitles input in real time from the interpreter terminal 400.

임시 저장부(256)는 지연 제어부(254)의 제어에 따라 지연시키고자 하는 패킷을 일시 저장하며, 예를 들면, 캐쉬 또는 큐일 수 있다. The temporary storage unit 256 temporarily stores a packet to be delayed under the control of the delay controller 254, and may be, for example, a cache or a queue.

패킷 송신부(258)는 방송에 대응하여 지연되는 패킷과 함께 통역자 단말(400)로부터 실시간으로 전송되는 실시간 다국어 자막을 다수의 시청자 단말(300)로 전송할 수 있다. 이러한 패킷 수신부(252)는 해당 에지 서버(250)의 서비스 포맷 및 시청자 단말(300)의 기기 형태에 대응하는 방식으로 패킷을 송신하도록 구성될 수 있다. The packet transmitter 258 may transmit a real-time multilingual subtitle transmitted in real time from the interpreter terminal 400 to the plurality of viewer terminals 300 together with the packet delayed in response to the broadcast. The packet receiver 252 may be configured to transmit a packet in a manner corresponding to the service format of the corresponding edge server 250 and the device type of the viewer terminal 300.

이러한 에지 서버(250)는 스트리밍 서버(230)로부터 수신되는 첫번째 패킷부터 지정된 시간 동안의 패킷을 임시 저장부(256)에 저장하였다가 다수의 시청자 단말(300)로 전송할 수 있으며, 결과적으로 시청자 단말(300)은 일정 시간 후부터 방송 센터(100)에서 전송되는 방송의 영상을 수신할 수 있다. The edge server 250 may store the packet for a predetermined time from the first packet received from the streaming server 230 in the temporary storage unit 256 and transmit the packet to the plurality of viewer terminals 300. The 300 may receive an image of a broadcast transmitted from the broadcasting center 100 after a predetermined time.

도 2에 도시된 바와 같이, 제어부(224)는 다수의 에지 서버(250)의 지연 시간을 설정할 수 있다. 여기서, 다수의 에지 서버(250)에 대한 지연은 각 시청자 단말(300)별 국가 통계치를 기초로 결정할 수 있는데, 자막 서비스 웹 서버(240)와 시청자 국가간의 서로 다른 지연 시간이 있기 때문에 에지 서버(250)에 따라 국가별로 설정한다. 이때 지연 시간은 초단위로 설정할 수 있다. As illustrated in FIG. 2, the controller 224 may set delay times of the plurality of edge servers 250. Here, the delays for the plurality of edge servers 250 may be determined based on country statistics for each viewer terminal 300. Since there is a different delay time between the subtitle service web server 240 and the viewer country, the edge server ( Per country). The delay time can be set in seconds.

또한, 제어부(224)는 통역자 단말(400)이 자막 서비스 웹 서버(240)에 접속하는 경우, 접속된 통역자 단말(400)이 데이터베이스(246)에 등록된 사용자인지를 검색하며, 검색 결과 등록된 사용자인 경우, 예를 들면 통역자 단말(400)의 사용자가 허가된 동시 통역자인 경우, 통역자 단말(400)로부터 입력되는 다국어 자막을 다수의 에지 서버(250)로 전송하도록 제어할 수 있다. In addition, when the interpreter terminal 400 accesses the caption service web server 240, the controller 224 searches whether the connected interpreter terminal 400 is a user registered in the database 246, and the search result is registered. In the case of a user, for example, when the user of the interpreter terminal 400 is an authorized simultaneous interpreter, the multilingual subtitles input from the interpreter terminal 400 may be controlled to be transmitted to the plurality of edge servers 250.

데이터베이스(246)는 후술하는 바와 같은 채팅 프로그램을 사용하여 입력이 가능한 사용자 정보가 저장되며, 예를 들면, 다수의 통역자 단말(400)에 대한 사용자 정보로서, 등록된 통역자 정보를 포함할 수 있다. The database 246 stores user information that can be input using a chat program as described below. For example, the database 246 may include registered interpreter information as user information for a plurality of interpreter terminals 400.

도 1에 도시된 바와 같이, 시청자 단말(300)은 자막 서비스 웹 서버(240)에 접속하여 선택하는 방송을 다국어 자막과 함께 실시간으로 수신할 수 있다. 이러한 시청자 단말(300)은 자막 서비스 웹 서버(240)로부터 제공되는 다국어 자막 서비스를 시청자가 원하는 언어로 선택할 수 있다. 여기서, 시청자 단말(300)이 선택하는 방송은 드라마와 같이 일반적인 방송 프로그램에 제한되지 않으며, 자막 서비스 웹 서버(240)에서 제공하는 다양한 형태의 동영상일 수 있다. As illustrated in FIG. 1, the viewer terminal 300 may access a caption service web server 240 and receive a broadcast selected in real time along with multilingual captions. The viewer terminal 300 may select a multilingual subtitle service provided by the subtitle service web server 240 in a language desired by the viewer. Here, the broadcast selected by the viewer terminal 300 is not limited to a general broadcast program such as a drama, but may be various types of videos provided by the subtitle service web server 240.

도 4는 도 1의 시청자 단말의 디스플레이 상태도이다.4 is a view illustrating a display state of the viewer terminal of FIG. 1.

시청자 단말(300)은 시청하고자 하는 방송의 영상이 디스플레이되는 스트리밍 뷰어(302) 및 영상에 대응하는 다국어 자막이 디스플레이되는 채팅 뷰어(304)를 포함할 수 있다. The viewer terminal 300 may include a streaming viewer 302 in which an image of a broadcast to be watched is displayed, and a chat viewer 304 in which multilingual subtitles corresponding to the image are displayed.

스트리밍 뷰어(302)는 자막 서비스 웹 서버(240)로부터 제공된 JW 플레이어에 의해 실행되며, 지연 수신되는 패킷에 대응하는 방송의 영상을 디스플레이할 수 있다. The streaming viewer 302 is executed by the JW player provided from the subtitle service web server 240, and may display an image of a broadcast corresponding to a delayed packet.

채팅 뷰어(304)는 자막 서비스 웹 서버(240)로부터 제공된 Wowza 채팅 모듈에 의해 실행되며, 사용자가 설정한 언어로 번역된 다국어 자막이 디스플레이될 수 있다. 여기서, 채팅 뷰어(304)는 시청자의 선택에 따라 그 위치가 변경될 수 있다. The chat viewer 304 is executed by the Wowza chat module provided from the subtitle service web server 240, and multilingual subtitles translated into a language set by a user may be displayed. Here, the chat viewer 304 may change its location according to the viewer's selection.

도 1에 도시된 바와 같이, 통역자 단말(400)은 다수의 에지 서버(250) 중 어느 하나로부터 지연 없이 패킷을 실시간으로 수신하고, 동시 통역자에 의해 수신되는 패킷에 대응하는 방송에 대하여 설정된 언어로 번역된 다국어 자막이 실시간으로 입력될 수 있다. 예를 들면, 동시 통역자는 JW 플레이어에 의해 실행되는 방송의 영상을 지연 없이 실시간으로 시청하면서, 설정된 언어로 번역하여 통역자 단말(400)로 입력할 수 있다. As illustrated in FIG. 1, the interpreter terminal 400 receives a packet in real time without delay from any one of the plurality of edge servers 250, and in a language set for broadcasting corresponding to the packet received by the simultaneous interpreter. The translated multilingual subtitles can be input in real time. For example, the simultaneous interpreter may translate the inputted language into the interpreter terminal 400 while watching the video of the broadcast executed by the JW player in real time without delay.

도 5는 도 1의 통역자 단말의 상세 블록도이다. 5 is a detailed block diagram of the interpreter terminal of FIG. 1.

다수의 통역자 단말(400) 각각은 동시 통역자에 의해 번역된 다국어 자막이 입력되는 입력부(410), 채팅 방식으로 다국어 자막을 제공하기 위한 채팅 모듈(420), 입력되는 다국어 자막의 오타를 수정하는 오타 수정부(430), 및 번역을 위한 어휘 사전이 저장되는 저장부(440)를 포함할 수 있다. Each of the plurality of interpreter terminals 400 includes an input unit 410 for inputting multilingual subtitles translated by a simultaneous interpreter, a chat module 420 for providing multilingual subtitles in a chat method, and a typo for correcting a typo of input multilingual subtitles. The correction unit 430 may include a storage unit 440 that stores a lexicon for translation.

입력부(410)는 통역자 단말(400)에 구비된 키보드와 같은 입력 장치로서, 번역하고자 하는 언어를 지원하는 입력 장치일 수 있다. 이러한 입력부(410)는 설정된 언어로 해당 동시 통역자에 의해 번역된 다국어 자막이 입력될 수 있다. The input unit 410 is an input device such as a keyboard provided in the interpreter terminal 400, and may be an input device supporting a language to be translated. The input unit 410 may input a multilingual subtitle translated by a corresponding simultaneous interpreter in a set language.

채팅 모듈(420)은 자막 서비스 웹 서버(240)로부터 제공되며, 동시 통역자에 의해 입력되는 다국어 자막이 채팅 방식으로 시청자 단말(300)의 채팅 뷰어(304)에 디스플레이 되도록 변환할 수 있다. 이러한, 채팅 모듈(420)은 Wowza 채팅 모듈일 수 있으며, 동시 통역자는 채팅 모듈(420)에 의해 실행되는 채팅 프로그램에 따라 번역된 다국어 자막을 입력할 수 있다. 여기서, 자막 서비스 웹 서버(240)로부터 제공되는 채팅 프로그램은 지연이 없이 실시간으로 입력된 자막을 전송하기 때문에 결과적으로 동시 통역자가 통역자 단말(400)에 번역된 다국어 자막을 입력하는 순간 시청자 단말(300)의 채팅 뷰어(304)에 디스플레이될 수 있다. The chat module 420 may be provided from the subtitle service web server 240, and may convert the multilingual subtitles input by the simultaneous interpreter to be displayed in the chat viewer 304 of the viewer terminal 300 in a chat manner. Such a chat module 420 may be a Wowza chat module, and a simultaneous interpreter may input translated multilingual subtitles according to a chat program executed by the chat module 420. Here, since the chat program provided from the subtitle service web server 240 transmits the subtitles input in real time without delay, as a result, the simultaneous interpreter inputs the translated multilingual subtitles to the interpreter terminal 400. ) Can be displayed in the chat viewer 304.

오타 수정부(430)는 입력부(410)로부터 입력되는 다국어 자막을 저장부(440)의 어휘 사전에 따라 오타 여부를 확인하여 수정할 수 있다. 이러한, 오타 수정부(430)는 동시 통역사에 의해 번역된 입력 자막 중에서 단어에 해당하는 오타를 자동으로 수정한다. 여기서, 오타의 수정은 저장부(440)에 저장된 어휘 사전을 기초로 하여 단어에 대한 오타 수정을 의미하는 것으로 설명하였으나, 이에 제한되지 않고, 해당 언어의 기초 문법에 대응하여 조사 등의 어휘에 대한 오타도 수정할 수 있다. The typo corrector 430 may check and correct a multilingual subtitle input from the input unit 410 according to a lexical dictionary of the storage unit 440. The typo correcting unit 430 automatically corrects a typo corresponding to a word among input subtitles translated by a simultaneous interpreter. Here, the correction of the typo is described as a typo correction for the word based on the lexicon stored in the storage unit 440, but is not limited to this, and is not limited to this, for the vocabulary such as the survey in response to the basic grammar of the language. You can also correct typos.

저장부(440)는 동시 통역자에 대하여 설정된 언어에 대한 어휘 사전이 저장될 수 있다. 여기서, 어휘 사전은 해당 언어에 대한 단어만을 포함하는 것으로 설명하였으나, 이에 제한되지 않고, 해당 언어의 기초 문법을 포함할 수 있다.The storage unit 440 may store a lexical dictionary for a language set for the simultaneous interpreter. Here, the lexical dictionary is described as including only words for the language, but is not limited thereto and may include a basic grammar of the language.

본 실시예에서, 입력되는 다국어 자막을 수정하는 오타 수정부(430)가 통역자 단말(400)에 구비되는 것으로 설명하였으나, 이에 제한되지 않고, 통역자 단말(400)로부터 입력된 다국어 자막을 수신하는 자막 서비스 웹 서버(240)에서 구현될 수도 있다. In the present exemplary embodiment, the typo corrector 430 for correcting the input multilingual caption is described as being provided in the interpreter terminal 400, but the present invention is not limited thereto, and the caption for receiving the multilingual caption input from the interpreter terminal 400 is provided. It may be implemented in the service web server 240.

결과적으로 오타 수정부(430)가 통역자 단말(400)에 구비되는 경우, 또는 자막 서비스 웹 서버(240)에 구비되는 경우 모두 다국어 자막이 시청자 단말(300)로 전송되기 전에 오타가 수정되기 때문에 시청자 단말(300)은 오타가 수정된 다국어 자막만을 수신함으로써 시청자는 정확하게 수정된 다국어 자막만을 시청할 수 있다. As a result, when the typo correcting unit 430 is provided in the interpreter terminal 400 or the subtitle service web server 240, the typo is corrected before the multilingual caption is transmitted to the viewer terminal 300. The terminal 300 receives only a multilingual subtitle in which a typo is corrected, and thus the viewer can watch only the multilingual subtitle in which the typo is corrected.

이하, 도 6을 참조하여 본 발명의 온라인 생방송을 위한 실시간 다국어 자막 서비스 방법을 설명한다.Hereinafter, a real time multilingual subtitle service method for online live broadcasting of the present invention will be described with reference to FIG. 6.

도 6은 본 발명의 실시예에 따른 온라인 생방송을 위한 실시간 다국어 자막 서비스 방법의 흐름도이다. 6 is a flowchart of a real-time multilingual subtitle service method for online live broadcasting according to an embodiment of the present invention.

도 6에서, 먼저, 방송 센터(100)에서 송출된 방송 신호를 미디어 서버(200)가 수신하여 이를 PC 또는 스마트 기기 등과 같이 시청자 단말(300)에 적합한 기기에 대응하는 포맷으로 변환한다. 변환된 방송 신호는 지연 없이 실시간으로 통역자 단말(400)로 제공되거나 미리 설정된 시간에 따라 전송이 지연된다. 실시간 방송을 수신한 동시 통역사는 이를 기초로 설정된 언어로 번역을 하여 통역자 단말(400)에 입력하고, 동시 통역사에 의해 입력되는 다국어 자막은 미디어 서버(200)로 실시간으로 전달된다. 미디어 서버(200)는 지연된 방송 신호를 시청자 단말(300)로 전송하는 동시에 통역자 단말(400)로부터 전송된 다국어 자막을 시청자 단말(300)로 실시간으로 전송한다. 결과적으로 시청자는 특정 온라인 생방송에 최적화된 자막을 원하는 언어로 영상과 함께 시청할 수 있다. In FIG. 6, first, the media server 200 receives a broadcast signal transmitted from the broadcast center 100 and converts the broadcast signal into a format corresponding to a device suitable for the viewer terminal 300 such as a PC or a smart device. The converted broadcast signal is provided to the interpreter terminal 400 in real time without delay or is delayed according to a preset time. The simultaneous interpreter receiving the real-time broadcast is translated into a language set based on this, input to the interpreter terminal 400, and the multilingual subtitles input by the simultaneous interpreter are delivered to the media server 200 in real time. The media server 200 transmits the delayed broadcast signal to the viewer terminal 300 and simultaneously transmits the multilingual subtitles transmitted from the interpreter terminal 400 to the viewer terminal 300 in real time. As a result, viewers can watch subtitles optimized for a particular online live broadcast with the video in the desired language.

먼저, 지역별로 싱크를 위한 설정을 수행할 수 있다. 단계 S601에서, 다수의 에지 서버(250)별로 시청자 단말(300)로 제공하고자 하는 방송 신호의 지연 시간을 설정할 수 있다. 여기서, 다수의 에지 서버(250)에 대한 지연은 각 시청자 단말(300)별 국가 통계치를 기초로 설정할 수 있는데, 자막 서비스 웹 서버(240)와 시청자 국가간의 서로 다른 지연 시간이 있기 때문에 에지 서버(250)에 따라 국가별로 설정한다. 이때 지연 시간은 초단위로 설정할 수 있다. First, a setting for sinking may be performed for each region. In operation S601, a delay time of a broadcast signal to be provided to the viewer terminal 300 for each of the plurality of edge servers 250 may be set. Here, the delays for the plurality of edge servers 250 may be set based on country statistics for each viewer terminal 300. Since there is a different delay time between the subtitle service web server 240 and the viewer country, the edge server ( Per country). The delay time can be set in seconds.

다음, 방송 센터(100)로부터 방송 신호를 수신하여 다수의 시청자 단말(300)에 대응하는 프로토콜로 변환할 수 있다. 단계 S602에서, 방송 센터(100)로부터 전송되는 방송을 수신할 수 있다. 이때, 수신되는 방송은 일반적인 방송국으로부터 전송되는 방송뿐만 아니라 일반 사용자가 제작하여 인터넷 등에 유포하는 동영상을 포함할 수 있다. 단계 S603에서, 방송 센터(100)로부터 수신되는 방송 신호를 시청자 단말(300)에 따른 형태로 변환할 수 있다. 여기서, 방송 신호는 패킷으로 변환되며, RTMP 프로토콜로 변환될 수 있다. Next, the broadcast signal may be received from the broadcast center 100 and converted into a protocol corresponding to the plurality of viewer terminals 300. In operation S602, a broadcast transmitted from the broadcast center 100 may be received. In this case, the received broadcast may include not only a broadcast transmitted from a general broadcasting station but also a video produced by a general user and distributed to the Internet. In operation S603, the broadcast signal received from the broadcast center 100 may be converted into a form according to the viewer terminal 300. Here, the broadcast signal may be converted into a packet and converted into an RTMP protocol.

다음, 다수의 시청자 단말(300)로 전송할 방송 신호를 다수의 에지 서버(250)별로 설정된 시간에 따라 지연시킬 수 있다. 단계 S604에서, 방송 신호를 설정된 시간에 따라 지연시키는데, 예를 들면, 스트리밍 서버(230)로부터 수신되는 첫번째 패킷부터 지정된 시간 동안의 패킷을 일시 저장하였다가 다수의 시청자 단말(300)로 전송할 수 있다. 결과적으로 시청자 단말(300)은 일정 시간 후부터 방송의 영상을 수신할 수 있다. 이와 동시에, 단계 S605에서, 방송 신호를 지연 없이 다수의 통역자 단말(400)로 실시간 전송할 수 있다. Next, the broadcast signals to be transmitted to the plurality of viewer terminals 300 may be delayed according to the time set for each of the plurality of edge servers 250. In operation S604, the broadcast signal is delayed according to a set time. For example, the first packet received from the streaming server 230 may be temporarily stored and then transmitted to a plurality of viewer terminals 300. . As a result, the viewer terminal 300 may receive an image of a broadcast after a predetermined time. At the same time, in step S605, the broadcast signal may be transmitted in real time to the plurality of interpreter terminals 400 without delay.

다음, 동시 통역자에 의해 해당 방송에 대하여 설정된 언어로 번역된 다국어 자막이 실시간으로 입력될 수 있다. 단계 S606에서, 동시 통역자는 실시간으로 수신되는 방송을 시청하면서 해당 방송에 대응하는 설정된 언어로 번역하고 통역자 단말(400)을 통하여 번역된 다국어 자막을 입력할 수 있다. 이때, 입력되는 다국어 자막은 채팅 방식으로 입력되며, 자막 서비스 웹 서버(240)로부터 제공되는 채팅 프로그램은 지연이 없이 실시간으로 입력된 자막을 전송하기 때문에 결과적으로 동시 통역자가 통역자 단말(400)에 번역된 다국어 자막을 입력하는 순간 시청자 단말(300)의 채팅 뷰어(304)에 디스플레이될 수 있다. Next, the multilingual subtitles translated into the language set for the broadcast by the simultaneous interpreter may be input in real time. In operation S606, the simultaneous interpreter may translate the multi-language subtitles through the interpreter terminal 400 by translating into a set language corresponding to the corresponding broadcast while watching the broadcast received in real time. At this time, the input multilingual subtitles are input in a chat method, and since the chat program provided from the subtitle service web server 240 transmits the input subtitles in real time without delay, the simultaneous interpreter translates to the interpreter terminal 400. The instant input of the multilingual subtitles may be displayed on the chat viewer 304 of the viewer terminal 300.

단계 S607에서, 동시 통역자에 의해 통역자 단말(400)로 입력되는 다국어 자막을 저장되는 어휘 사전에 따라 오타 여부를 확인하여 수정할 수 있다. 이때, 오타의 수정은 미리 저장된 어휘 사전을 기초로 하여 단어에 대한 오타 수정에 제한되지 않고, 해당 언어의 기초 문법에 대응하여 조사 등의 어휘에 대한 오타도 수정할 수 있다. In step S607, the multilingual subtitles inputted by the simultaneous interpreter to the interpreter terminal 400 may be checked and corrected according to a stored lexical dictionary. In this case, the correction of the typo is not limited to the correction of the typo for the word based on the pre-stored lexical dictionary, and the typo for the vocabulary such as the survey may be corrected corresponding to the basic grammar of the corresponding language.

다음, 지연되는 방송 신호를 각각의 에지 서버(250)에 대응하는 다수의 시청자 단말(300)로 전송하는 동시에 다수의 통역자 단말(400)로부터 입력되는 다국어 자막을 다수의 시청자 단말(300)로 실시간 전송할 수 있다. 단계 S608에서, 통역자 단말(400)은 동시 통역자에 의해 번역된 다국어 자막을 자막 서비스 웹 서버(240)로 실시간 전송할 수 있다. 단계 S609에서, 에지 서버(250) 별로 지연된 방송 신호를 다수의 시청자 단말(300)로 전송하는 동시에 통역자 단말(400)로부터 입력되는 다국어 자막을 다수의 시청자 단말(300)로 실시간으로 전송할 수 있다. Next, the multi-language subtitles input from the plurality of interpreter terminals 400 are simultaneously transmitted to the plurality of viewer terminals 300 while transmitting the delayed broadcast signal to the plurality of viewer terminals 300 corresponding to the respective edge servers 250. Can transmit In operation S608, the interpreter terminal 400 may transmit the multilingual subtitles translated by the simultaneous interpreter to the subtitle service web server 240 in real time. In operation S609, the broadcast signal delayed for each edge server 250 may be transmitted to the plurality of viewer terminals 300, and at the same time, the multilingual subtitles input from the interpreter terminal 400 may be transmitted to the plurality of viewer terminals 300 in real time.

다음, 본 발명은 다수의 시청자 단말(300) 각각이 지연 전송되는 방송을 디스플레이하는 동시에 실시간 전송되는 다국어 자막을 시청자가 설정한 언어로 디스플레이할 수 있다. 단계 S610에서, 시청자 단말(300)은 지연된 방송 신호를 수신하여 디스플레이하는 동시에 시청자의 설정에 따른 언어로 번역된 다국어 자막이 디스플레이될 수 있다. Next, the present invention may display a broadcast in which each of the plurality of viewer terminals 300 is delayed and simultaneously display the multilingual subtitles transmitted in real time in a language set by the viewer. In operation S610, the viewer terminal 300 may receive and display a delayed broadcast signal and simultaneously display a multilingual subtitle translated into a language according to the viewer's setting.

이와 같이, 수신된 방송을 지연시켜 시청자 단말(300)로 제공하는 한편, 지연 없이 실시간으로 통역자 단말(400)로 제공하고, 동시 통역사에 의해 번역된 다국어 자막을 채팅 방식으로 시청자 단말(300)로 실시간으로 제공하는 동시에 지연된 방송을 수신함으로써, 시청자는 온라인 생방송을 원하는 언어로 제공되는 자막을 통해 실시간 시청할 수 있다. As such, the received broadcast is delayed and provided to the viewer terminal 300, while the delay is provided to the interpreter terminal 400 in real time, and the multilingual subtitles translated by the simultaneous interpreter are transmitted to the viewer terminal 300 in a chat manner. By receiving delayed broadcasts while providing in real time, viewers can watch online live broadcasts in real time through subtitles provided in a desired language.

상기에서는 본 발명의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 본 발명의 기술 사상 범위 내에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 첨부된 특허 청구 범위에 속하는 것은 당연하다.Although the preferred embodiments of the present invention have been described above, the present invention is not limited thereto, and various modifications can be made within the scope of the technical idea of the present invention, and it is obvious that the present invention belongs to the appended claims. Do.

10 : 실시간 다국어 자막 서비스 시스템
100 : 방송 센터 200 : 미디어 서버
210 : 방송 수신부 220 : 엔코더
230 : 스트리밍 서버 240 : 자막 서비스 웹 서버
244 : 제어부 246 : 데이터베이스
250 : 에지 서버 252 : 패킷 수신부
254 : 지연 제어부 256 : 임시 저장부
258 : 패킷 송신부 300 : 시청자 단말
302 : 스트리밍 뷰어 304 : 채팅 뷰어
400 : 통역자 단말 410 : 입력부
420 : 채팅 모듈 430 : 오타 수정부
440 : 저장부
10: Real time multilingual subtitle service system
100: broadcasting center 200: media server
210: broadcast receiving unit 220: encoder
230: streaming server 240: subtitle service web server
244 control unit 246 database
250: edge server 252: packet receiving unit
254: delay control unit 256: temporary storage unit
258: packet transmitter 300: viewer terminal
302: Streaming Viewer 304: Chat Viewer
400: interpreter terminal 410: input unit
420: chat module 430: typo correction
440: storage unit

Claims (14)

방송 센터로부터 수신된 방송 신호로부터 생성된 패킷을 전송하는 엔코더;
상기 엔코더로부터 수신된 상기 패킷을 전송하는 스트리밍 서버;
상기 스트리밍 서버로부터 전송되는 상기 패킷을 시청자 단말 및 통역자 단말에 전송하며, 상기 통역자 단말에 채팅모듈을 제공하고 상기 채팅모듈을 통해 입력된 자막을 상기 시청자 단말에 전송하는 자막 서비스 웹 서버를 포함하되,
상기 자막 서비스 웹 서버는,
기설정된 시간에 따라 지연된 상기 패킷과 상기 패킷에 대응되는 상기 자막을 상기 시청자 단말에 전송하는 제1 에지 서버; 및
실시간으로 상기 패킷을 상기 통역자 단말에 전송하는 제2 에지 서버를 구비하는 것을 특징으로 하는 온라인 생방송을 위한 실시간 다국어 자막 서비스 시스템.An encoder for transmitting a packet generated from the broadcast signal received from the broadcast center;
A streaming server for transmitting the packet received from the encoder;
A subtitle service web server for transmitting the packet transmitted from the streaming server to a viewer terminal and an interpreter terminal, providing a chat module to the interpreter terminal, and transmitting the caption input through the chat module to the viewer terminal,
The caption service web server,
A first edge server configured to transmit the packet delayed according to a preset time and the subtitle corresponding to the packet to the viewer terminal; And
And a second edge server for transmitting the packet to the interpreter terminal in real time. 제1항에 있어서,
상기 엔코더는 상기 방송 신호를 RTMP(Real Time Messaging Protocol) 프로토콜로 변환하는 것을 특징으로 하는 온라인 생방송을 위한 실시간 다국어 자막 서비스 시스템.The method of claim 1,
And the encoder converts the broadcast signal into a Real Time Messaging Protocol (RTMP) protocol. 제1항에 있어서,
상기 엔코더는 상기 방송 신호를 AAC(Advanced Audio Coding) 방식으로 변환하여 H.264/AAC 패킷을 생성하는 것을 특징으로 하는 온라인 생방송을 위한 실시간 다국어 자막 서비스 시스템.The method of claim 1,
The encoder converts the broadcast signal into an AAC (Advanced Audio Coding) scheme to generate a H.264 / AAC packet, real-time multilingual subtitle service system for on-line live broadcasting. 제1항에 있어서,
상기 스트리밍 서버는 Wowza 스트리밍 서버인 것을 특징으로 하는 온라인 생방송을 위한 실시간 다국어 자막 서비스 시스템.The method of claim 1,
The streaming server is a real-time multilingual subtitle service system for online live broadcasting, characterized in that the Wowza streaming server. 제1항에 있어서,
상기 에지 서버는 RTSP(Real Time Streaming Protocol) 서버, HLS(HTTP Live Streaming) 서버, IPTV 서버 중 어느 하나인 것을 특징으로 하는 온라인 생방송을 위한 실시간 다국어 자막 서비스 시스템.The method of claim 1,
The edge server is a real-time multilingual subtitle service system for online live broadcasting, characterized in that any one of a Real Time Streaming Protocol (RTSP) server, HTTP Live Streaming (HLS) server, IPTV server. 제1항에 있어서,
상기 자막 서비스 웹 서버는,
상기 통역자 단말에 대한 사용자 정보가 저장되는 데이터베이스; 및
상기 제1 에지 서버의 지연시간을 설정하며, 상기 통역자 단말을 통해 접속한 사용자를 상기 데이터베이스에 저장된 상기 사용자 정보와 비교하여, 상기 통역자 단말로부터 입력된 자막을 상기 제1 에지 서버로 전송하도록 허용하는 제어부를 더 구비하는 것을 특징으로 하는 온라인 생방송을 위한 실시간 다국어 자막 서비스 시스템.The method of claim 1,
The caption service web server,
A database storing user information on the interpreter terminal; And
Setting a delay time of the first edge server and comparing a user connected through the interpreter terminal with the user information stored in the database to allow subtitles input from the interpreter terminal to be transmitted to the first edge server. A real-time multilingual subtitle service system for online live broadcasting, further comprising a control unit. 제1항에 있어서,
상기 제1 에지서버는,
상기 스트리밍 서버로부터 패킷을 수신하는 패킷 수신부;
상기 기설정된 시간에 따라 상기 패킷을 지연시킨 후 상기 자막과 함께 상기 시청자 단말로 전송하도록 제어하는 지연 제어부;
상기 패킷을 지연시키도록 일시 저장하는 임시 저장부; 및
상기 임시 저장부에 저장된 상기 패킷과 상기 자막을 상기 시청자 단말로 전송하는 패킷 송신부를 포함하는 것을 특징으로 하는 온라인 생방송을 위한 실시간 다국어 자막 서비스 시스템.The method of claim 1,
The first edge server,
A packet receiver for receiving a packet from the streaming server;
A delay controller configured to delay the packet according to the preset time and transmit the delayed packet to the viewer terminal together with the subtitles;
A temporary storage unit temporarily storing the packet to delay the packet; And
And a packet transmitter for transmitting the packet and the subtitle stored in the temporary storage unit to the viewer terminal. 제1항에 있어서,
상기 자막 서비스 웹 서버는 상기 시청자 단말에 상기 패킷에 대응하는 방송을 디스플레이하는 스트리밍 뷰어 및 상기 자막을 디스플레이하는 채팅 뷰어를 제공하는 것을 특징으로 하는 온라인 생방송을 위한 실시간 다국어 자막 서비스 시스템.The method of claim 1,
The caption service web server is a real-time multi-language caption service system for online live broadcasting, characterized in that the viewer terminal provides a streaming viewer for displaying the broadcast corresponding to the packet and the chat viewer for displaying the subtitle. 제1항에 있어서,
상기 통역자 단말은,
기설정된 언어에 따른 상기 자막이 입력되는 입력부;
상기 자막이 상기 시청자 단말에 디스플레이 되도록 변환하는 채팅 모듈;
상기 언어에 대한 어휘사전이 저장되는 저장부; 및
상기 자막을 상기 저장부의 어휘 사전에 따라 오타 여부를 확인하여 수정하는 오타 수정부를 포함하는 것을 특징으로 하는 온라인 생방송을 위한 실시간 다국어 자막 서비스 시스템.The method of claim 1,
The interpreter terminal,
An input unit to input the subtitle according to a preset language;
A chat module for converting the subtitles to be displayed on the viewer terminal;
A storage unit storing a lexicon for the language; And
And a typo correcting unit configured to check and correct the subtitle according to the lexical dictionary of the storage unit. 엔코더를 통해 방송 센터로부터 수신된 방송 신호로부터 패킷을 생성하여 전송하는 단계;
스트리밍 서버를 통해 상기 엔코더로부터 수신된 상기 패킷을 전송하는 단계;
자막 서비스 웹 서버를 통해 상기 스트리밍 서버로부터 수신된 상기 패킷을 시청자 단말 및 통역자 단말에 전송하며, 상기 자막 서비스 웹 서버는 상기 통역자 단말에 채팅모듈을 제공하고 상기 채팅모듈을 통해 입력된 자막을 상기 시청자 단말에 전송하는 단계를 포함하되,
상기 자막 서비스 웹 서버를 통해 상기 패킷을 전송하는 단계는,
제1 에지 서버를 통해 상기 패킷을 기설정된 시간에 따라 지연하여 상기 자막과 함께 상기 시청자 단말에 전송하며, 제2 에지 서버를 통해 상기 패킷을 실시간으로 상기 통역자 단말에 전송하는 것을 특징으로 하는 온라인 생방송을 위한 실시간 다국어 자막 서비스 방법.Generating and transmitting a packet from a broadcast signal received from a broadcast center through an encoder;
Transmitting the packet received from the encoder via a streaming server;
The caption service web server transmits the packet received from the streaming server to a viewer terminal and an interpreter terminal, and the caption service web server provides a chat module to the interpreter terminal and displays the caption input through the chat module. Including the step of transmitting to the terminal,
The transmitting of the packet through the caption service web server may include:
The packet is delayed according to a predetermined time through a first edge server and transmitted to the viewer terminal along with the subtitles, and the packet is transmitted to the interpreter terminal in real time through a second edge server. Real-time multilingual subtitle service method for. 제10항에 있어서,
상기 방법은 상기 제1 에지 서버에 대한 지연 시간을 설정하는 단계를 더 포함하는 것을 특징으로 하는 온라인 생방송을 위한 실시간 다국어 자막 서비스 방법.The method of claim 10,
The method further comprises setting a delay time for the first edge server. 제10항에 있어서,
상기 엔코더를 통해 상기 패킷을 생성하는 단계는 상기 방송 신호를 RTMP(Real Time Messaging Protocol) 프로토콜로 변환하는 단계를 포함하는 것을 특징으로 하는 온라인 생방송을 위한 실시간 다국어 자막 서비스 방법.The method of claim 10,
The generating of the packet through the encoder may include converting the broadcast signal into a Real Time Messaging Protocol (RTMP) protocol. 제10항에 있어서,
상기 제1 에지 서버가 상기 자막을 상기 시청자 단말에 전송하는 단계는 상기 자막을 저장된 어휘 사전에 따라 오타 여부를 확인하여 수정하는 단계를 더 포함하는 것을 특징으로 하는 온라인 생방송을 위한 실시간 다국어 자막 서비스 방법.The method of claim 10,
The step of transmitting the subtitles to the viewer terminal by the first edge server further comprises the step of checking and correcting the subtitles according to the stored vocabulary dictionary, real-time multi-language subtitle service method for live online . 제10항에 있어서,
상기 방법은 상기 시청자 단말이 상기 패킷에 대응하는 방송과 상기 자막을 디스플레이하는 단게를 더 포함하는 것을 특징으로 하는 온라인 생방송을 위한 실시간 다국어 자막 서비스 방법.The method of claim 10,
The method further comprises the step of the viewer terminal to display the broadcast corresponding to the packet and the subtitles, real-time multilingual subtitle service for live on-line.
KR1020120022134A 2012-03-05 2012-03-05 System for providing real-time subtitles service of many languages for online live broadcasting and method thereof KR101192207B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120022134A KR101192207B1 (en) 2012-03-05 2012-03-05 System for providing real-time subtitles service of many languages for online live broadcasting and method thereof
PCT/KR2012/002892 WO2013133477A1 (en) 2012-03-05 2012-04-17 System and method for providing real-time multi-language caption service for online live broadcast

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120022134A KR101192207B1 (en) 2012-03-05 2012-03-05 System for providing real-time subtitles service of many languages for online live broadcasting and method thereof

Publications (1)

Publication Number Publication Date
KR101192207B1 true KR101192207B1 (en) 2012-10-17

Family

ID=47288186

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120022134A KR101192207B1 (en) 2012-03-05 2012-03-05 System for providing real-time subtitles service of many languages for online live broadcasting and method thereof

Country Status (2)

Country Link
KR (1) KR101192207B1 (en)
WO (1) WO2013133477A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017010690A1 (en) * 2015-07-16 2017-01-19 네이버비즈니스플랫폼 주식회사 Video providing apparatus, video providing method, and computer program
KR20170030075A (en) * 2015-08-12 2017-03-16 (주)지엘컴 Method for providing interpreting sound information, customized interpretation of server and system implementing the same
KR101832464B1 (en) * 2017-10-16 2018-02-26 네이버 주식회사 Device and method for providing moving picture, and computer program for executing the method

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016047818A1 (en) * 2014-09-23 2016-03-31 (주)두드림 System and method for providing simultaneous interpretation on basis of multi-codec, multi-channel
CN112019884B (en) 2015-07-06 2022-04-19 Lg电子株式会社 Method and apparatus for transmitting broadcast signal and method and apparatus for receiving broadcast signal
CN107371054B (en) * 2017-06-20 2020-09-04 武汉斗鱼网络科技有限公司 Bullet screen processing method and device
CN110035323A (en) * 2019-03-20 2019-07-19 苏州佳世达光电有限公司 Adjust automatically shows the multi-medium play method and system of subtitle language
CN110610444A (en) * 2019-08-27 2019-12-24 格局商学教育科技（深圳）有限公司 Background data management system based on live broadcast teaching cloud
CN115474065B (en) * 2021-06-11 2024-05-28 北京有竹居网络技术有限公司 Subtitle processing method and device, electronic equipment and storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008072586A (en) 2006-09-15 2008-03-27 Matsushita Electric Ind Co Ltd Digital av stream reproducing apparatus
KR100911717B1 (en) * 2007-11-13 2009-08-10 연세대학교 산학협력단 Transmitter of multimedia simultaneous translation system and Multimedia simultaneous translation system including the same
JP2010278790A (en) 2009-05-28 2010-12-09 Nec Casio Mobile Communications Ltd Digital data receiver and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070044334A (en) * 2005-10-24 2007-04-27 주식회사 어가람닷컴 Interpretation System and How to Use Paid Community for Foreigners
KR100580149B1 (en) * 2006-04-06 2006-05-15 주식회사 현대홈쇼핑 System of multi-language provision home shopping data broadcasting service providing home shopping broadcasting service in multi-language using data communication network and methods thereof
KR101015234B1 (en) * 2008-10-23 2011-02-18 엔에이치엔(주) Method, system and computer-readable recording medium for providing web contents by translating one language included therein into the other language

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008072586A (en) 2006-09-15 2008-03-27 Matsushita Electric Ind Co Ltd Digital av stream reproducing apparatus
KR100911717B1 (en) * 2007-11-13 2009-08-10 연세대학교 산학협력단 Transmitter of multimedia simultaneous translation system and Multimedia simultaneous translation system including the same
JP2010278790A (en) 2009-05-28 2010-12-09 Nec Casio Mobile Communications Ltd Digital data receiver and program

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017010690A1 (en) * 2015-07-16 2017-01-19 네이버비즈니스플랫폼 주식회사 Video providing apparatus, video providing method, and computer program
KR101789221B1 (en) * 2015-07-16 2017-10-23 네이버 주식회사 Device and method for providing moving picture, and computer program for executing the method
CN108028966A (en) * 2015-07-16 2018-05-11 纳宝商务平台株式会社 video providing device, video providing method and computer program
JP2018528730A (en) * 2015-07-16 2018-09-27 ネイバー ビジネス プラットフォーム コーポレーション Movie providing apparatus, movie providing method, and computer program therefor
US10595067B2 (en) 2015-07-16 2020-03-17 Naver Business Platform Corporation Video providing apparatus, video providing method, and computer program
CN108028966B (en) * 2015-07-16 2021-06-08 纳宝商务平台株式会社 Video providing device, video providing method, and computer program
KR20170030075A (en) * 2015-08-12 2017-03-16 (주)지엘컴 Method for providing interpreting sound information, customized interpretation of server and system implementing the same
KR101897968B1 (en) * 2015-08-12 2018-09-12 (주)지엘컴 Method for providing interpreting sound information, customized interpretation of server and system implementing the same
KR101832464B1 (en) * 2017-10-16 2018-02-26 네이버 주식회사 Device and method for providing moving picture, and computer program for executing the method

Also Published As

Publication number Publication date
WO2013133477A1 (en) 2013-09-12

Similar Documents

Publication Publication Date Title
KR101192207B1 (en) System for providing real-time subtitles service of many languages for online live broadcasting and method thereof
US11272257B2 (en) Method and apparatus for pushing subtitle data, subtitle display method and apparatus, device and medium
US8045054B2 (en) Closed captioning language translation
US8549569B2 (en) Alternative audio content presentation in a media content receiver
US9621963B2 (en) Enabling delivery and synchronization of auxiliary content associated with multimedia data using essence-and-version identifier
US20140237532A1 (en) Closed-captioning uniform resource locator capture system and method
CN112616062B (en) Subtitle display method and device, electronic equipment and storage medium
EP2574054B1 (en) Method for synchronising subtitles with audio for live subtitling
US9942620B2 (en) Device and method for remotely controlling the rendering of multimedia content
US20110283324A1 (en) Method and apparatus of digital broadcasting service using automatic keyword generation
WO2012028851A1 (en) Method and system for additional service synchronisation
TW201320721A (en) Real-time translation system and method of digital televisions
US20140003792A1 (en) Systems, methods, and media for synchronizing and merging subtitles and media content
US20170139904A1 (en) Systems and methods for cloud captioning digital content
CN112601102A (en) Method and device for determining simultaneous interpretation of subtitles, electronic equipment and storage medium
CA2938478A1 (en) Methods and apparatus for creation of a reference time index for audio/video programming
CN202231825U (en) IPTV system realizing personalized interface display
KR20110049099A (en) Hybrid broadcasting service system using metadata
JP7551286B2 (en) Subtitle conversion device, content distribution system, program, and content distribution method
US10796089B2 (en) Enhanced timed text in video streaming
KR102200827B1 (en) Mothod and server for generating re-transmission broadcast data including subtitles
KR100994827B1 (en) Apparatus for providing additional information based on an insert title and broadcast receiver thereof
KR101229346B1 (en) Broadcasting terminal, system and method for providing relatend to contents
KR101384740B1 (en) Subtitle processing system and method using image recognition technology
KR101403969B1 (en) How to recognize the point of the subtitles of the video playback time code is lost

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150828

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161007

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171012

Year of fee payment: 6