KR101984178B1 - Method and system for controlling subtitle sync - Google Patents

Method and system for controlling subtitle sync Download PDF

Info

Publication number
KR101984178B1
KR101984178B1 KR1020170147246A KR20170147246A KR101984178B1 KR 101984178 B1 KR101984178 B1 KR 101984178B1 KR 1020170147246 A KR1020170147246 A KR 1020170147246A KR 20170147246 A KR20170147246 A KR 20170147246A KR 101984178 B1 KR101984178 B1 KR 101984178B1
Authority
KR
South Korea
Prior art keywords
subtitle
sentences
sentence
sync
translation
Prior art date
Application number
KR1020170147246A
Other languages
Korean (ko)
Other versions
KR20190051498A (en
Inventor
윤성로
유재윤
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020170147246A priority Critical patent/KR101984178B1/en
Publication of KR20190051498A publication Critical patent/KR20190051498A/en
Application granted granted Critical
Publication of KR101984178B1 publication Critical patent/KR101984178B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Studio Circuits (AREA)

Abstract

자막 싱크 조절 방법 및 시스템이 제공된다. 자막 싱크 조절 시스템은 제1 언어의 제1 자막 및 상기 제1 언어와 상이한 제2 언어의 제2 자막을 준비하는 자막 준비부, 상기 제1 자막이 상기 제 2 언어로 번역된 제1 번역 자막을 생성하는 자막 번역부 및 상기 제1 번역 자막의 문장들과 상기 제2 언어의 제2 자막의 문장들을 매칭하고, 상기 매칭된 상기 제1 번역 자막의 문장들과 상기 제2 자막의 문장들의 타임 스탬프를 일치시킨다. A method and system for adjusting subtitle sync are provided. The subtitle sync control system includes a caption preparation unit for preparing a first caption of a first language and a second caption of a second language different from the first language, a caption preparation unit for capturing a first caption of the first language, The sentences of the first caption and the second caption of the second language are matched with the sentences of the second caption of the second language, .

Description

자막 싱크 조절 방법 및 시스템{Method and system for controlling subtitle sync}[0001] The present invention relates to a method and system for controlling subtitle sync,

본 발명은 자막 싱크 조절 방법 및 시스템에 관한 것으로, 구체적으로 싱크가 맞지 않는(Out of sync) 자막의 문장을 싱크가 맞는(In sync) 자막의 문장을 서로 비교, 매칭함으로써 싱크를 조절할 수 있는 방법 및 시스템에 관한 것이다.The present invention relates to a subtitle sync control method and system, and more particularly, to a method and apparatus for adjusting a sync by comparing and matching sentences of subtitles in which an out sync is incompatible (In sync) And a system.

해외 영화, 드라마를 시청하기 위해서는 언어적인 장벽이 큰 문제가 된다. 이를 보완하기 위해 더빙을 하기도 하나, 일반적으로는 영화, 드라마의 음성과 대응되는 자막을 생성, 재생되는 화면에 함께 표시한다.Language barriers are a big problem to watch foreign movies and dramas. In order to compensate for this, the subtitles corresponding to the voices of the movie and the drama are displayed together with the reproduced screen.

영상과 함께 표시되는 자막은 1차적으로는 번역의 품질이 중요하나, 출력되는 음성과 자막이 표시되는 시간이 일치하지 않는 경우, 시청자는 해당 영상에 집중할 수 없고, 내용을 이해할 수 없다. 따라서, 자막의 표시에 있어 음성 데이터와의 싱크(Sync)도 매우 중요한 요소에 해당한다.The quality of the translation is primarily important for the subtitles displayed together with the video but the viewer can not concentrate on the video and can not understand the contents if the output audio and the subtitles are not displayed at the same time. Therefore, sync with audio data is also a very important factor in the display of subtitles.

종래 자막의 싱크를 조절하는 방법은 두 가지로 분류할 수 있다. 첫 번째 방식은 자막의 각 문장마다 사람이 수동적으로 조절하는 방법이며, 두 번째 방법은 자막의 각 문장 단위가 아닌 자막 전체를 동일한 시간만큼 조정하는 방법이다. 첫 번째 방법은 사람의 노력과 시간을 지나치게 많이 요구하는 단점이 있으며, 두 번째 방법은 각 문장마다 싱크가 맞지 않는 경우에는 적용이 불가능한 문제점이 있다.Conventionally, there are two methods for controlling the synchronization of subtitles. The first method manually controls each sentence of each subtitle, and the second method adjusts the whole subtitle not the unit of each sentence of the subtitle but the same time. The first method has a disadvantage that it takes too much effort and time by a person, and the second method has a problem that it can not be applied when a sync does not fit in each sentence.

따라서, 자막의 싱크 조절을 문장 단위로 효율적으로 조절할 수 있는 방법 및 시스템이 요구되고 있다.Accordingly, there is a demand for a method and system that can efficiently control the sink adjustment of a caption in units of sentences.

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 빠른 시간 내에 자동으로 자막의 각 문장 단위로 조정할 수 있는 자막 싱크 조절 방법 및 시스템을 제공한다.Disclosure of Invention Technical Problem [8] The present invention has been made to solve the above-mentioned problems, and provides a method and system for adjusting a subtitle sync that can be automatically adjusted for each sentence of subtitles within a short period of time.

본 명세서의 일 실시예에 자막 싱크 조절 시스템은 제1 언어의 제1 자막 및 상기 제1 언어와 상이한 제2 언어의 제2 자막을 준비하는 자막 준비부, 상기 제1 자막이 상기 제 2 언어로 번역된 제1 번역 자막을 생성하는 자막 번역부 및 상기 제1 번역 자막의 문장들과 상기 제2 언어의 제2 자막의 문장들을 매칭하고, 상기 매칭된 상기 제1 번역 자막의 문장들과 상기 제2 자막의 문장들의 타임 스탬프를 일치시키는 싱크 조절부를 포함한다.In one embodiment of the present invention, the subtitle synchronization control system includes a caption preparation unit for preparing a first caption of a first language and a second caption of a second language different from the first language, A subtitle translation unit for generating a translated first translation subtitle, and sentences of the first translation subtitle and the second subtitle of the second language are matched with each other, And a sync adjusting unit for matching the time stamps of the sentences of the two subtitles.

일 실시예에서, 상기 싱크 조절부는 상기 제1 번역 자막에 포함된 각 문장과 상기 제2 자막의 문장들과의 일치도를 수치화하고, 상기 각 문장 별 일치도의 합계가 최대가 되도록 상기 제1 자막의 문장들과 상기 제2 자막의 문장들을 매칭할 수 있다.In one embodiment, the sync controller may quantify the degree of correspondence between each sentence included in the first translation subtitles and the sentences of the second subtitles, and calculate a sum of the degree of match for each sentence, The sentences and the sentences of the second caption may be matched.

일 실시예에서, 상기 제1 번역 자막의 문장들은 상기 제2 자막의 문장들과 매칭되지 않는 문장을 포함하고, 상기 싱크 조절부는 상기 일치도의 합계가 최대가 되고, 상기 매칭되지 않는 문장의 수가 최소가 되도록 상기 제1 자막의 문장들과 상기 제2 자막의 문장들을 매칭할 수 있다.In one embodiment, the sentences of the first translation subtitle include a sentence that does not match the sentences of the second subtitle, and the sink control unit determines that the sum of the degrees of match is the maximum and the number of non- The sentences of the first caption and the sentences of the second caption may be matched.

일 실시예에서, 상기 싱크 조절부는 상기 매칭되지 않는 문장들의 타임 스탬프를 선행 문장 및 후행 문장의 타임 스탬프 조절 및 종래 시간 차이를 감안하여 조절할 수 있다. In one embodiment, the sync controller may adjust the time stamps of the unmatched sentences in consideration of the time stamp adjustment of the preceding sentence and the following sentence, and the conventional time difference.

일 실시예에서, 상기 제2 자막은 싱크가 맞는(In sync) 자막이고, 상기 싱크 조절부는 상기 제2 자막의 타임 스탬프를 기준으로 상기 매칭된 상기 제1 번역 자막의 문장들과 상기 제2 자막의 문장들의 타임 스탬프가 일치하도록 상기 제1 번역 자막의 싱크를 조절하고, 상기 싱크가 조절된 제1 번역 자막을 기준으로 상기 제1 자막의 싱크를 조절할 수 있다.In one embodiment, the second subtitle is an in-sync subtitle, and the sink adjuster adjusts the matching of the sentences of the matched first subtitle and the second subtitle, based on the time stamp of the second subtitle, The synchronization of the first translatable subtitles may be adjusted to adjust the synchronization of the first subtitles based on the first translatable subtitles whose sync is adjusted.

일 실시예에서, 상기 제1 자막은 싱크가 맞는(In sync) 자막이고, 상기 싱크 조절부는 상기 제1 번역 자막의 타임 스탬프를 기준으로 상기 매칭된 상기 제1 번역 자막의 문장들과 상기 제2 자막의 문장들의 타임 스탬프가 일치하도록 상기 제2 자막의 싱크를 조절할 수 있다.In one embodiment, the first subtitle is an in-sync subtitle, and the sink adjuster adjusts the matching of the sentences of the matched first translatory subtitles and the second subtitles based on the time stamp of the first translatable subtitles, It is possible to adjust the sync of the second caption so that the time stamps of the caption's sentences match.

일 실시예에서, 상기 자막 준비부는 영상에서 재생되는 음성을 인식하는 음성 인식부를 더 포함하고, 상기 음성 인식부는 음성의 내용, 음성의 출력 시간을 각각 인식하여 상기 제1 자막 또는 제2 자막을 생성할 수 있다.In one embodiment, the caption preparation unit further includes a voice recognition unit that recognizes a voice to be reproduced in the image, and the voice recognition unit recognizes the output time of the voice and the voice, respectively, and generates the first caption or the second caption can do.

본 명세서의 일 실시예에 자막 싱크 조절 방법은 제1 언어의 제1 자막 및 상기 제1 언어와 상이한 제2 언어의 제2 자막을 준비하는 단계, 상기 제1 자막이 상기 제 2 언어로 번역된 제1 번역 자막을 생성하는 단계 및 상기 제1 번역 자막의 문장들과 상기 제2 언어의 제2 자막의 문장들을 매칭하고, 상기 매칭된 상기 제1 번역 자막의 문장들과 상기 제2 자막의 문장들의 타임 스탬프를 일치시키는 싱크 조절 단계를 포함한다.According to an embodiment of the present invention, there is provided a subtitle synchronization method comprising the steps of: preparing a first subtitle of a first language and a second subtitle of a second language different from the first language; The method comprising the steps of: generating a first translation subtitle; matching the sentences of the first translation subtitle and the second subtitle of the second language to generate sentences of the matched first translation subtitles and sentences of the second subtitle; And a sync adjustment step of matching the time stamps of the plurality of frames.

일 실시예에서, 상기 싱크 조절 단계는, 상기 제1 번역 자막에 포함된 각 문장과 상기 제2 자막의 문장들과의 일치도를 수치화하고, 상기 각 문장 별 일치도의 합계가 최대가 되도록 상기 제1 자막의 문장들과 상기 제2 자막의 문장들을 매칭하는 것을 포함할 수 있다.In one embodiment, the sink adjustment step may include a step of digitizing the degree of agreement between each sentence included in the first translation subtitles and the sentences of the second subtitles, and comparing the degree of match with the sentences of the second subtitles, And matching the sentences of the caption with the sentences of the second caption.

일 실시예에서, 상기 제1 번역 자막의 문장들은 상기 제2 자막의 문장들과 매칭되지 않는 문장을 포함하고, 상기 싱크 조절 단계는 상기 싱크 조절부는 상기 일치도의 합계가 최대가 되고, 상기 매칭되지 않는 문장의 수가 최소가 되도록 상기 제1 자막의 문장들과 상기 제2 자막의 문장들을 매칭하는 것을 포함할 수 있다.In one embodiment, the sentences of the first translatable subtitles include sentences that do not match the sentences of the second subtitles, and in the sink adjusting step, the sink adjusting unit obtains a maximum sum of the degrees of matching, And matching the sentences of the first subtitle with the sentences of the second subtitle so that the number of non-existent sentences is minimized.

일 실시예에서, 상기 싱크 조절 단계는 상기 매칭되지 않는 문장들의 타임 스탬프를 선행 문장 및 후행 문장의 타임 스탬프 조절 및 종래 시간 차이를 감안하여 조절하는 것을 포함할 수 있다.In one embodiment, the sink adjustment step may include adjusting the time stamps of the unmatched sentences to take into account the time stamp adjustment of the preceding sentence and the following sentence and the conventional time difference.

일 실시예에서, 상기 제2 자막은 싱크가 맞는(In sync) 자막이고, 상기 싱크 조절 단계는 상기 제2 자막의 타임 스탬프를 기준으로 상기 매칭된 상기 제1 번역 자막의 문장들과 상기 제2 자막의 문장들의 타임 스탬프가 일치하도록 상기 제1 번역 자막의 싱크를 조절하고, 상기 싱크가 조절된 제1 번역 자막을 기준으로 상기 제1 자막의 싱크를 조절하는 단계를 포함할 수 있다.In one embodiment, the second subtitle is an in-sync subtitling, and the sink adjusting step adjusts the sentences of the matched first translatable subtitles and the second subtitles based on the time stamp of the second subtitle, Adjusting the synchronization of the first translatable subtitles so that the time stamps of the sentences of the subtitles coincide with each other and adjusting the synchronization of the first subtitles based on the first translatable subtitles controlled by the sink.

일 실시예에서, 상기 제1 자막은 싱크가 맞는(In sync) 자막이고, 상기 싱크 조절 단계는 상기 제1 번역 자막의 타임 스탬프를 기준으로 상기 매칭된 상기 제1 번역 자막의 문장들과 상기 제2 자막의 문장들의 타임 스탬프가 일치하도록 상기 제2 자막의 싱크를 조절하는 단계를 포함할 수 있다.In one embodiment, the first subtitle may be an in-sync subtitle, and the sink adjustment may be performed based on the matched transcripts of the first translatable subtitles, And adjusting the synchronization of the second caption so that the time stamps of the captions of the two captions coincide with each other.

일 실시예에서, 상기 제2 자막은 싱크가 맞는 자막이고, 상기 제2 자막은 영상에서 재생되는 음성을 인식하여 준비될 수 있다.In one embodiment, the second caption is a caption suitable for sinking, and the second caption may be prepared by recognizing a voice reproduced from the image.

일 실시예에 따른 컴퓨터 프로그램은, 하드웨어와 결합되어 전술한 실시예들에 따른 자막 싱크 조절 방법을 실행하기 위한 것으로서, 컴퓨터로 판독 가능한 매체에 저장될 수 있다.A computer program according to one embodiment is for executing a method of adjusting subtitle sync according to the above-described embodiments in combination with hardware, and can be stored in a computer-readable medium.

본 발명의 일 실시예에 따른 자막 싱크 조절 방법 및 시스템은 싱크가 맞지 않는 자막과 싱크가 맞는 다른 언어의 자막을 비교하여 자동으로 싱크의 조절이 수행될 수 있는 바, 사람의 수도적인 노력이 요구되지 않는다.The method and system for controlling subtitling sync according to an embodiment of the present invention can automatically adjust the sync by comparing subtitles that do not fit in sync with subtitles in other languages that are in sync with each other, It does not.

또한, 두 자막을 비교할 때 각 문장 별로 서로 비교하는 바, 문장마다 싱크 조절이 수행될 수 있다.Also, when comparing two subtitles, a comparison may be made for each sentence, and a sink adjustment may be performed for each sentence.

도 1은 본 발명의 일 실시예에 따른 자막 싱크 조절 시스템의 블록도이다.
도 2 및 도 3은 자막 싱크 조절 과정을 예시적으로 나타낸 도면이다.
도 4는 본 발명의 다른 실시예에 따른 자막 싱크 조절 시스템의 블록도이다.
도 5는 본 발명의 또 다른 실시예에 따른 자막 싱크 조절 시스템의 블록도이다.
도 6는 본 발명의 일 실시예에 따른 자막 싱크 조절 방법의 순서도이다.1 is a block diagram of a subtitle sync control system according to an embodiment of the present invention.
FIG. 2 and FIG. 3 illustrate a process of adjusting a subtitle sync.
4 is a block diagram of a subtitle sync control system according to another embodiment of the present invention.
5 is a block diagram of a subtitle sync control system according to another embodiment of the present invention.
6 is a flowchart illustrating a method of adjusting a subtitle sync according to an exemplary embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당 업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있다. 따라서, 후술하는 상세한 설명은 한정적인 의미로 기술된 것이 아니며, 본 발명의 범위는 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에서 동일하거나 유사한 기능을 지칭한다.The following detailed description of the invention refers to the accompanying drawings, which illustrate, by way of illustration, specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. The various embodiments of the present invention are different but need not be mutually exclusive. For example, certain features, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the invention in connection with an embodiment. Furthermore, the position or arrangement of individual components within each disclosed embodiment may be varied without departing from the spirit and scope of the present invention. The following detailed description is, therefore, not to be taken in a limiting sense, and the scope of the present invention is to be limited only by the appended claims, along with the full scope of equivalents to which the claims are entitled. In the drawings, like reference numerals refer to the same or similar functions in various aspects.

본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.As used herein, terms used in the present specification are selected from the general terms that are currently widely used, while taking into consideration the functions, but these may vary depending on the intention or custom of the artisan or the emergence of new techniques. Also, in certain cases, there may be a term selected by the applicant at will, in which case the meaning will be described in the description part of the corresponding specification. Therefore, the terms used in the present specification should be interpreted based on the meaning of the term rather than on the name of a simple term, and on the contents throughout the specification.

도 1은 본 발명의 일 실시예에 따른 자막 싱크 조절 시스템의 블록도이고, 도 2 내지 도 3은 자막 싱크 조절 과정을 예시적으로 나타낸 도면이다.FIG. 1 is a block diagram of a subtitle sync control system according to an embodiment of the present invention, and FIGS. 2 to 3 illustrate a subtitle sync control process. Referring to FIG.

도 1 내지 도 3을 참조하면, 본 실시예에 따른 자막 싱크 조절 시스템(10)은 자막 준비부(100), 자막 번역부(110), 싱크 조절부(120)를 포함한다. 실시예들에 따른 자막 싱크 조절 시스템 및 이를 구성하는 각각의 장치 또는 부(unit)는, 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 자막 싱크 조절 시스템의 각각의 구성요소는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 하드웨어는 CPU(Central Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다. 예를 들어, 자막 번역부(100)는 입력된 자막을 번역하기 위한 하드웨어 및 이를 제어하여 처리함으로써 후속 처리를 위한 형태로 변환하는 소프트웨어의 조합을 지칭할 수 있다.1 to 3, the caption synchronization control system 10 according to the present embodiment includes a subtitle preparation unit 100, a caption translation unit 110, and a sync adjustment unit 120. The subtitle sync control system according to the embodiments and each apparatus or unit constituting the subtitle sync control system may be entirely hardware or partially hardware and partly software. For example, each component of the subtitle sync control system is intended to refer to a combination of hardware and software driven by that hardware. The hardware may be a data processing device including a central processing unit (CPU) or other processor. Also, the software driven by the hardware may refer to a running process, an object, an executable, a thread of execution, a program, and the like. For example, the subtitle translation unit 100 may refer to a combination of hardware for translating an input subtitle and software for controlling and processing the subtitle to convert it into a form for subsequent processing.

자막 준비부(100)는 제1 자막(S1) 및 제2 자막(S2)을 준비할 수 있다. 제1 자막(S1) 및 제2 자막(S2)은 특정 영상의 대화, 설명 등을 나타내기 위해 특정 영상과 함께 표시되는 자막일 수 있다. 여기서, 제1 자막(S1)과 제2 자막(S2)을 구성하는 각 문장들은 동일한 의미일 수 있으나, 작성된 언어 체계가 상이할 수 있다. 즉, 제1 자막(S1)은 제1 언어로 준비될 수 있으며, 제2 자막(S2)은 제1 언어와 상이한 제2 언어로 준비될 수 있다. 예시적으로, 제1 언어는 한글일 수 있고, 제2 언어는 영어일 수 있으나 이에 한정되는 것은 아니다. The caption preparation unit 100 may prepare the first caption S1 and the second caption S2. The first subtitle S1 and the second subtitle S2 may be subtitles displayed together with a specific image to indicate a dialogue, a description, etc. of a specific image. Here, the sentences constituting the first subtitle S1 and the second subtitle S2 may have the same meaning, but the created language systems may be different. That is, the first subtitle S1 may be prepared in a first language, and the second subtitle S2 may be prepared in a second language different from the first language. Illustratively, the first language may be Hangul, and the second language may be English, but is not limited thereto.

제1 자막(S1) 및 제2 자막(S2)에 포함된 각 문장들은 화면에 표시되는 시간에 해당하는 타임 스탬프를 포함할 수 있다. 각 문장들은 지정된 타임 스탬프에 대응하여 화면에 표시되었다가 사라질 수 있다. 여기서, 제1 자막(S1)의 문장의 타임 스탬프와 이에 대응되는 제2 언어로 작성된 제2 자막(S2)의 문장의 타임 스탬프는 상이할 수 있다. 즉, 제1 자막(S1), 제2 자막(S2) 중 어느 하나는 싱크가 맞는(In sync) 상태이고, 나머지 하나는 싱크가 맞지 않은(Out of sync) 상태일 수 있다. 싱크가 맞지 않다는 것은 자막에 포함된 적어도 하나의 문장이 표시되는 시간이 이에 대응되는 음성의 출력 시간과 일치하지 않은 것을 의미한다. 싱크가 맞는 자막은 종래 생성된 자막일 수 있으며, 싱크가 맞지 않은 자막은 신규로 생성된 자막일 수 있다. Each sentence included in the first subtitle S1 and the second subtitle S2 may include a time stamp corresponding to the time displayed on the screen. Each sentence is displayed on the screen corresponding to the designated time stamp and may disappear. Here, the time stamp of the sentence of the first subtitle S1 may be different from the time stamp of the sentence of the second subtitle S2 written in the second language corresponding to the time stamp. That is, any one of the first subtitle S1 and the second subtitle S2 may be in an in-sync state and the other may be in an out-of-sync state. The fact that the sync is not correct means that the time at which at least one sentence included in the subtitle is displayed does not coincide with the output time of the corresponding voice. The subtitle matching the sync may be a conventionally generated subtitle, and the subtitle not matching the sync may be a newly generated subtitle.

여기서, 제1 자막(S1)은 신규 생성된 한글 자막으로 싱크가 맞지 않은 상태일 수 있고, 제2 자막(S2)은 종래 완성된 영어 자막으로 싱크가 맞는 상태일 수 있다. 제2 자막(S2)은 싱크가 맞는 종래 완성된 자막으로, 재생되는 영상의 제목 등을 기반으로 웹 검색을 통해 준비될 수 있다. 다만, 이에 한정되는 것은 아니며 영상의 제작사에 무료 또는 유료 배포한 자막으로 해당 영상의 제작사의 홈페이지를 통해 준비될 수도 있다.Here, the first subtitle S1 may be in a state where the new subtitle may not be synchronized with the newly generated H1, and the second subtitle S2 may be in the state where the conventional English subtitle is in sync. The second subtitle S2 can be prepared through a web search based on the title of the reproduced video and the like, which is a conventional completed subtitle matching the sync. However, the present invention is not limited to this, and it may be prepared through the homepage of the producer of the corresponding image by subtitles distributed free of charge or paid to the producer of the video.

자막 준비부(100)는 상술한 상태로 준비된 제1 자막(S1) 및 제2 자막(S2) 중 한 자막을 자막 번역부(110)로 제공할 수 있고, 나머지 자막을 싱크 조절부(120)로 제공할 수 있다. 여기서, 자막 번역부(110)로 제공되는 자막은 번역이 보다 용이하고, 정확하게 수행될 수 있는 자막일 수 있다. 즉, 한글에서 영어로의 번역이 보다 용이하고, 정확하게 수행될 수 있는 경우 한글 자막인 제1 자막(S1)이 자막 번역부(110)로 제공될 수 있다.The caption preparation unit 100 may provide one of the first caption S1 and the second caption S2 prepared in the above-described state to the caption interpreting unit 110, . Here, the subtitle provided to the subtitle translation unit 110 may be a subtitle which can be translated easily and accurately. That is, if the translation from Hangul to English is more easily and accurately performed, the first subtitle S1, which is a Hangul subtitle, can be provided to the subtitle translation unit 110. [

자막 번역부(110)는 제1 언어의 제1 자막(S1)이 제1 언어와 상이한 제2 언어로 번역된 제1 번역 자막(S1')을 생성할 수 있다. 여기서, 제2 언어는 제2 자막(S2)을 구성하는 언어 체계일 수 있다. 제1 자막(S1)은 타임 스탬프에 따라 문장 단위로 번역될 수 있다. 제1 자막(S1) 에 포함된 문장들의 타임 스탬프와 제1 번역 자막(S1')에 포함된 문장들의 타임 스탬프는 동일할 수 있다. 예시적으로, 자막 번역부(110)는 한글 자막(S1)을 제공받을 수 있으며, 이를 영어로 번역할 수 있다. 한글 자막의 한 문장과 이를 번역한 영어 문장은 동일한 타임 스탬프를 가질 수 있다.The subtitle translation unit 110 can generate the first translation subtitle S1 'in which the first subtitle S1 of the first language is translated into the second language different from the first language. Here, the second language may be a language system constituting the second subtitle S2. The first subtitle S1 can be translated on a sentence-by-sentence basis according to a time stamp. The time stamps of the sentences included in the first subtitle S1 and the timestamps of the sentences included in the first interpreted subtitle S1 'may be the same. Illustratively, the subtitle translation unit 110 can receive the Korean subtitle S1 and translate it into English. One sentence of Hangul subtitles and the translated English sentence can have the same time stamp.

자막 번역부(110)는 자체 번역 프로그램을 포함할 수 있으나, 이에 한정되는 것은 아니며, 공개된 번역 웹사이트에 접속하여 각 문장 별로 기계 번역을 수행할 수도 있다. 자막 번역부(110)는 제공된 자막을 자체적으로 다른 언어로 번역할 수 있다. 자막 번역부(110)는 이후 진행될 제2 자막(S2)과의 용이한 매칭을 위해, 제2 자막(S2)을 구성하는 언어 체계로 제1 자막(S1)을 번역할 수 있고, 제1 번역 자막(S1')을 생성할 수 있다. The subtitle translation unit 110 may include a self translation program, but the present invention is not limited thereto. The subtitle translation unit 110 may access a published translation website and perform machine translation for each sentence. The subtitle translation unit 110 can translate the provided subtitle into a different language by itself. The subtitle translation unit 110 can translate the first subtitle S1 into the language system constituting the second subtitle S2 for easier matching with the second subtitle S2 to be processed later, The subtitle S1 'can be generated.

다만, 이에 한정되는 것은 아니며 자막 번역부(110)는 사전에 협조된 번역 웹사이트에 제1 자막(S1)에 대한 기계 번역을 요청하고, 기계 번역된 제1 자막(S1)을 수신하여 제1 번역 자막(S1')을 생성할 수도 있다. However, the present invention is not limited to this, and the subtitle translation unit 110 may request the machine translation of the first subtitle S1 to the previously translated web site, receive the first subtitle S1, A translation subtitle S1 'may be generated.

자막 번역부(110)는 제1 자막(S1) 및 제2 언어로 번역된 제1 번역 자막(S1')을 싱크 조절부(120)로 제공할 수 있다.The subtitle translation unit 110 may provide the first subtitle S1 and the first translation subtitle S1 'translated into the second language to the sync adjustment unit 120. [

싱크 조절부(120)는 제2 언어로 번역된 제1 번역 자막(S1')의 문장들과 제2 언어의 제2 자막(S2)의 문장들을 매칭할 수 있다. 싱크 조절부(120)는 제1 번역 자막(S1')의 문장들과 제2 자막(S2)의 문장들의 일치도가 최대가 되도록, 제1 번역 자막(S1')의 문장들과 제2 자막(S2)의 문장들을 매칭할 수 있다.The sink adjuster 120 may match the sentences of the first translation subtitle S1 'translated into the second language and the sentences of the second subtitle S2 of the second language. The sink adjuster 120 adjusts the sentences of the first translators S1 'and the second subtitles S2 so that the degree of agreement between the sentences of the first translatable subtitles S1' and the sentences of the second subtitles S2 becomes maximum, S2) can be matched.

제1 번역 자막(S1')에 포함된 각 문장은 제2 자막(S2)의 문장들과의 일치도가 산출될 수 있다. 또한, 제2 문장(S2)에 포함된 각 문장은 제1 번역 자막(S1')의 문장들과의 일치도가 산출될 수 있다. 제1 번역 자막(S1')의 문장들과 제2 자막(S2)의 문장들의 일치도는 GLEU score을 통해 판단될 수 있다. GLEU score는 두 문장이 얼마나 비슷한 의미를 지녔는지를 나타내는 수치이다. GLEU score는 0에서 1 이내의 값을 가지며 두 문장이 완전히 일치하는 문장인 경우 최대 1점을 부여하고, 완전히 상이한 문장인 경우 0점을 부여한다. Each sentence included in the first translation subtitle S1 'can be calculated to match the sentences of the second subtitle S2. In addition, each sentence included in the second sentence S2 can be calculated in agreement with the sentences of the first translated subtitle S1 '. The degree of agreement between the sentences of the first translation subtitle S1 'and the sentences of the second subtitle S2 can be determined through the GLEU score. The GLEU score is a measure of how similar the two sentences are. The GLEU score has a value from 0 to 1 and gives a maximum of 1 if the sentences are completely matched, and 0 if the sentences are completely different.

도 2에 도시된 바와 같이, 제2 자막(S2)의 제1 문장과 제1 번역 자막(S1')의 제1 문장은 완전히 일치하는 문장으로 1점을 부여 받으며, 제2 자막(S2)의 제1 문장과 제1 번역 자막(S1')의 제2 문장은 완전히 상이한 문장으로 0점을 부여 받는다. 또한, 제2 자막(S2)의 제2 문장과 제1 번역 자막(S2)의 제2 문장은 일부 일치하는 부분이 있는 바, 0.72점을 부여 받을 수 있다.2, the first sentence of the second subtitle S2 and the first sentence of the first transliter subtitle S1 'are given one point in a completely matching sentence, and the second sentence S2' The first sentence and the second sentence of the first translation subtitle S1 'are given 0 points in completely different sentences. In addition, the second sentence of the second subtitle S2 and the second sentence of the first translatory subtitle S2 partially match, so that 0.72 points can be given.

이러한, GLEU score는 제1 번역 자막(S1')의 전체 문장과 제2 자막(S2)의 전체 문장 사이에서 수행될 수 있다. 다만, 하나의 자막에 포함된 문장은 수천 개로 이러한 전체 문장을 서로 비교하는 것은 많은 계산 량이 요구되고, 실행 시간이 오래 걸릴 수 있다. 또한, 제1 번역 자막(S1')의 첫 번째 문장과 제2 자막(S2)의 마지막 문장은 문장간의 일치도가 높을 가능성이 매우 희박할 수 있다. 따라서, 싱크 조절부(120)는 제1 번역 자막(S1')의 첫 번째 문장과 제2 자막(S2)의 첫 번째 문장이 포함되는 일정 범위 내에서 위치하는 문장들과의 일치도를 산출할 수 있다. This GLEU score can be performed between the entire sentence of the first translation subtitle S1 'and the entire sentence of the second subtitle S2. However, comparing thousands of sentences included in one subtitle with each other requires a large amount of calculation, and execution time may be long. In addition, it is very unlikely that the first sentence of the first translatable subtitle S1 'and the last sentence of the second subtitle S2 have high agreement between the sentences. Accordingly, the sync controller 120 can calculate the degree of match between the first sentence of the first translation subtitle S1 'and the sentences located within a certain range including the first sentence of the second subtitle S2 have.

싱크 조절부(120)는 제1 번역 자막(S1')의 문장들을 타임 스탬프에 따라 순번을 설정할 수 있고, 제2 자막(S2)의 문장들도 타임 스탬프에 따라 순번을 설정할 수 있다. 싱크 조절부(120)는 제1 번역 자막(S1')의 제62 문장을 제2 자막(S2)의 제62번 문장의 주변 문장들과의 일치도를 계산할 수 있다. 예시적으로, 제62번 문장 전후로 50개의 문장들과의 일치도를 계산하는 경우, 싱크 조절부(120)는 제1 번역 자막(S1')의 제62 문장을 제2 자막(S2)의 제12 문장부터 제112 문장까지의 일치도를 계산할 수 있고, 1번째 문장부터 11번째 문장, 113번째 문장부터 마지막 문장까지의 일치도는 0점을 부여할 수 있다.The sync controller 120 can set the order of the sentences of the first translatable subtitles S1 'according to the time stamp and the order of the sentences of the second subtitles S2 according to the time stamp. The sync adjusting unit 120 may calculate the degree of match between the 62th sentence of the first translation subtitle S1 'and the surrounding sentences of the 62nd sentence of the second subtitle S2. Illustratively, when calculating the degree of agreement with 50 sentences before and after the sentence # 62, the sync controller 120 sets the 62th sentence of the first translation subtitle S1 'to the 12th sentence of the second subtitle S2 The degree of agreement from the sentence to the 112th sentence can be calculated, and the degree of agreement from the 1st sentence to the 11th sentence, 113th sentence to the last sentence can be given as 0 point.

상술한 방법을 통해 제1 번역 자막(S1')과 제2 자막(S2)의 일치도가 산출된 이후, 싱크 조절부(120)는 제1 번역 자막(S1')의 문장들과 제2 자막(S2)의 문장들의 일치도가 최대가 되도록, 제1 번역 자막(S1')의 문장들과 제2 자막(S2)의 문장들을 매칭할 수 있다. 여기서, 제1 번역 자막(S1')과 제2 자막(S2)은 제2 언어로 작성되어 실질적으로 동일한 내용으로 구성되어 있으나, 문장의 수는 상이할 수 있다. 즉, 제1 자막(S1)을 제1 번역 자막(S1')으로 번역과정에서 일부 오 번역이 발생할 수 있으며, 제1 자막(S1)을 준비하는 과정에서 부연적으로 들어간 표현에 따라 추가적인 문장이 삽입될 수도 있다. 이러한 추가적인 문장은 상술한 GLEU score를 수행하였을 때, 일치하는 문장이 없을 확률이 매우 높기 때문에 모든 문장들과의 사이에서 낮은 GLEU score를 받게 된다. 싱크 조절부(120)는 이러한 두 자막의 문장들을 서로 매칭할 수 있다. 싱크 조절부(120)는 각 문장 별로 측정된 GLEU score의 총 합이 최대가 되도록 각 문장들을 일치 시킬 수 있다. After the degree of agreement between the first translation subtitle S1 'and the second subtitle S2 is calculated through the above-described method, the sync adjustment unit 120 compares the sentences of the first translation subtitle S1' The sentences of the first translatable subtitles S1 'and the sentences of the second subtitles S2 may be matched such that the degree of agreement of the sentences of the second subtitles S2 is maximized. Here, the first translatable subtitles S1 'and the second subtitles S2 are written in the second language and have substantially the same contents, but the number of sentences may be different. That is, there may occur some misreading in the process of translating the first subtitle S1 into the first translatory subtitles S1 '. Further, in the process of preparing the first subtitle S1, additional sentences May be inserted. These additional sentences will receive a low GLEU score with all sentences when performing the GLEU score described above, since there is a high probability that there is no matching sentence. The sync controller 120 may match the sentences of the two subtitles with each other. The sync controller 120 may match the sentences so that the total sum of the GLEU scores measured for each sentence becomes maximum.

도 3(a)는 제1 번역 자막(S1')과 제2 자막(S2)의 제1 문장부터 제7 문장을 서로 비교한 표이며, 도 3(b)는 도 3(a)의 문장간의 GLEU score를 계산한 표이다. 도 3(a) 및 도 3(b)은 설명의 편의를 위해 예시적으로 도시한 도표이며, 설명의 편의를 위해 각 문장과 해당되는 타임 스탬프를 함께 기재하였다. 3 (a) is a table in which the first sentence to the seventh sentence of the first transliter film S1 'and the second subtitle S2 are compared with each other, FIG. 3 (b) GLEU score is calculated. 3 (a) and 3 (b) are illustrative tables for convenience of explanation. For convenience of explanation, the respective sentences and the corresponding time stamps are described together.

싱크 조절부(120)는 제1 번역 자막(S1')과 제2 자막(S2)의 문장간의 GLEU score를 계산하였을 때, GLEU score의 합계가 최대가 되도록 각 문장들을 매칭할 수 있다. 즉, 제1 번역 자막(S1')의 제2 문장과 제2 자막(S2)의 제1 문장, 제1 번역 자막(S1')의 제4 문장과 제2 자막(S2)의 제2 문장, 제1 번역 자막(S1')의 제5 문장과 제2 자막(S2)의 제3 문장, 제1 번역 자막(S1')의 제6 문장과 제2 자막(S2)의 제4 문장, 제1 번역 자막(S1')의 제7 문장과 제2 자막(S2)의 제5 문장이 각각 매칭될 수 있다. 제1 번역 자막(S1')의 제1 문장, 제3 문장은 상황에 대한 부연 설명에 관한 자막으로 제2 자막(S2)엔 존재하지 않은 자막일 수 있다. 제1 번역 자막(S1')의 제1 문장, 제3 문장은 제2 자막(S2)에 존재하지 않은 자막이므로 제2 자막(S2)의 문장들과 매칭되지 않을 수 있다. 싱크 조절부(120)는 GLEU score의 합계가 최대가 되고, 매칭되지 않은 문장의 수가 최소가 되도록 문장들을 매칭할 수 있다. 여기서, 문장들의 매칭은 현재 계산된 상태의 일치도 값을 합산하여 수행될 수 있으나, 이에 한정되는 것은 아니며, 계산된 일치도 값에 10배를 곱하여 점수를 더하며, 매칭되지 않은 공란에는 -1점을 부여하여 가장 높게 합산되도록 문장들을 매칭할 수도 있다.When the GLEU score is calculated between the sentences of the first translatable subtitles S1 'and the second subtitles S2, the sync regulator 120 may match the sentences such that the sum of the GLEU scores is maximized. That is, the second sentence of the first translation subtitle S1 'and the first sentence of the second subtitle S2, the fourth sentence of the first translation subtitle S1' and the second sentence of the second subtitle S2, The fifth sentence of the first translation subtitle S1 'and the third sentence of the second subtitle S2, the sixth sentence of the first translation subtitle S1' and the fourth sentence of the second subtitle S2, The seventh sentence of the translation subtitle S1 'and the fifth sentence of the second subtitle S2 may be matched, respectively. The first sentence and the third sentence of the first translation subtitle S1 'may be subtitles related to the explanation of the situation, and may be subtitles not present in the second subtitle S2. The first sentence and the third sentence of the first translation subtitle S1 'may not be matched with the sentences of the second subtitle S2 because they are subtitles that do not exist in the second subtitle S2. The sync controller 120 may match the sentences so that the sum of the GLEU scores is the maximum and the number of unmatched sentences is the smallest. Here, the matching of sentences can be performed by adding the matching degree values of the currently calculated states, but the present invention is not limited thereto. The calculated matching degree value is multiplied by 10 times to add a score, and -1 for unmatched blank The sentences can be matched to be added at the highest level.

싱크 조절부(120)는 매칭된 제1 번역 자막의 문장들과 제2 자막의 문장들의 타임 스탬프를 일치시킬 수 있다. 여기서, 제2 자막(S2)이 싱크가 맞는 자막이므로 제1 번역 자막(S1')은 제2 자막(S2)의 타임 스탬프에 따라 싱크가 조절될 수 있다. 예시적으로 제1 번역 자막(S1')의 제2 문장의 타임 스탬프(0:01:14~0:01:15)는 매칭된 제2 자막(S2)의 제1 문장의 타임 스탬프(0:02:14~0:02:15)로 조절될 수 있다. 여기서 제1 번역 자막(S1')의 제2 문장, 제4 문장은 60초만큼 타임 스탬프가 조절될 수 있고, 제1 번역 자막(S1')의 제5 문장, 제6 문장, 제7 문장은 59초만큼 타임 스탬프가 조정될 수 있다. 즉, 문장 별로 조정되는 시간 간격이 상이할 수 있고, 그만큼 정밀한 조정이 가능할 수 있다. The sync controller 120 may match the time stamps of the matched sentences of the first translation subtitle and the sentences of the second subtitle. Here, since the second subtitle S2 is a subtitle matching the sync, the first translatory subtitle S1 'can be adjusted in sync with the time stamp of the second subtitle S2. Illustratively, the time stamps (0: 01: 14-0: 01: 15) of the second sentence of the first translatable subtitle S1 'correspond to the time stamps of the first sentence of the matched second subtitle S2 (0: 02: 14 ~ 0: 02: 15). Here, the second sentence and the fourth sentence of the first translation subtitle S1 'can be timestamped by 60 seconds, and the fifth sentence, the sixth sentence, and the seventh sentence of the first translation subtitle S1' The time stamp can be adjusted by 59 seconds. That is, the time intervals adjusted for each sentence may be different, and the precise adjustment may be possible.

싱크 조절부(120)는 제2 자막(S2)과 매칭되지 않는 제1 번역 자막(S1')의 문장들은 선행 문장과 후행 문장의 타임 스탬프 조절 및 선행 문장과 후행 문장과의 종래 시간 차이를 고려하여 타임 스탬프를 조절할 수 있다. 예시적으로, 제1 문장은 제2 문장의 타임 스탬프 조절과 기존 시간 차이를 감안하여 0:02:11~0:02:12로 타임 스탬프가 조절되고, 제3 문장은 제2 문장 및 제4 문장의 타임 스탬프 조절과 기존 시간 차이를 감안하여 0:02:16~0:02:17로 타임 스탬프가 조절될 수 있다.The sink adjuster 120 determines that the sentences of the first translation subtitle S1 'that are not matched with the second subtitle S2 take into account the time difference between the preceding sentence and the trailing sentence and the conventional time difference between the preceding sentence and the trailing sentence So that the time stamp can be adjusted. Illustratively, the first sentence is timestamped from 0: 02: 11 to 0: 02: 12, taking into account the time stamp adjustment of the second sentence and the existing time difference, the third sentence being the second sentence and the fourth sentence The time stamp can be adjusted from 0: 02: 16 ~ 0: 02: 17 in consideration of the time stamp adjustment of the sentence and the difference of the existing time.

싱크 조절부(120)는 싱크가 조절된 제1 번역 자막(S1')에 대응되도록 제1 자막(S1)의 싱크를 조절할 수 있다. 즉, 제1 자막(S1)은 문장의 순번대로 제1 번역 자막(S1')과 매칭될 수 있으며, 제1 자막(S1)의 문장들은 대응되는 제1 번역 자막(S1')의 문장들의 타임 스탬프로 변경될 수 있다.The sync adjusting unit 120 may adjust the sync of the first subtitle S1 so that the sync is adjusted to the first translatable subtitle S1 'whose sync is adjusted. That is, the first subtitle S1 can be matched with the first transliter subtitle S1 'in the order of the sentences, and the sentences of the first subtitle S1 can be matched with the time of the corresponding sentences of the first subtitle S1' Can be changed to a stamp.

싱크 조절부(120)는 제2 자막(S2)의 싱크를 기준으로, 제1 번역 자막(S1')의 싱크를 조절하고, 조정된 제1 번역 자막(S1')의 싱크를 기준으로, 제1 자막(S1)의 싱크를 조절할 수 있다.The sync adjusting unit 120 adjusts the sync of the first transliter film S1 'on the basis of the sync of the second subtitle film S2 and, based on the sync of the adjusted first transliter film S1' It is possible to adjust the sync of the subtitle S1.

본 발명의 일 실시예에 따른 자막 싱크 조절 시스템(10)은 싱크가 맞지 않는 자막을 싱크가 맞는 자막의 언어로 번역하고, 양 자막을 매칭하여 싱크가 맞지 않은 자막을 싱크를 문장 단위로 조절한다. 자막 싱크의 조절이 문장 단위로 효과적이고 빠르게 수행될 수 있다.The subtitle sync control system 10 according to an exemplary embodiment of the present invention translates unsent subtitles into the language of the subtitles to which the subtitles are to be synchronized and matches the subtitles to adjust the subtitles to be unsynchronized . The adjustment of the subtitle sync can be performed effectively and quickly on a sentence level basis.

이하, 본 발명의 다른 실시예에 따른 자막 싱크 조절 시스템에 대해 설명하도록 한다. Hereinafter, a subtitle synchronization control system according to another embodiment of the present invention will be described.

도 4는 본 발명의 다른 실시예에 따른 자막 싱크 조절 시스템의 블록도이다.4 is a block diagram of a subtitle sync control system according to another embodiment of the present invention.

도 4를 참작하면, 본 발명의 다른 실시예에 따른 자막 싱크 조절 시스템(11)은 자막 준비부(101), 자막 번역부(111), 싱크 조절부(121)를 포함한다. 다른 실시예에 따른 자막 싱크 조절 시스템(11)의 구성은 상술한 일 실시예에 따른 자막 싱크 조절 시스템(10)과 일부 동일할 수 있는 바, 중복되는 설명은 생략하도록 한다.Referring to FIG. 4, the subtitle sync control system 11 according to another embodiment of the present invention includes a subtitle preparation unit 101, a subtitle translation unit 111, and a sync adjustment unit 121. The configuration of the subtitle sync control system 11 according to another embodiment may be the same as that of the subtitle sync control system 10 according to the above-described embodiment, and a duplicate description will be omitted.

자막 준비부(101)는 제1 자막(S1) 및 제2 자막(S2)을 준비할 수 있다. 제1 자막(S1) 및 제2 자막(S2)은 특정 영상의 대화, 설명 등을 나타내기 위해 특정 영상과 함께 표시되는 자막일 수 있다. 제1 자막(S1) 및 제2 자막(S2)에 포함된 각 문장들은 화면에 표시되는 시간에 해당하는 타임 스탬프를 포함할 수 있다. 여기서, 제1 자막(S1)의 문장의 타임 스탬프와 이에 대응되는 제2 언어로 작성된 제2 자막(S2)의 문장의 타임 스탬프는 상이할 수 있다. 즉, 제1 자막(S1), 제2 자막(S2) 중 어느 하나는 싱크가 맞는(In sync) 상태이고, 나머지 하나는 싱크가 맞지 않은(Out of sync) 상태일 수 있다. 여기서, 제1 자막(S1)은 종래 완성된 한글 자막으로 싱크가 맞는 상태일 수 있고, 제2 자막(S2)은 신규 생성된 영어 자막으로 싱크가 맞는 상태일 수 있다.The caption preparation unit 101 can prepare the first caption S1 and the second caption S2. The first subtitle S1 and the second subtitle S2 may be subtitles displayed together with a specific image to indicate a dialogue, a description, etc. of a specific image. Each sentence included in the first subtitle S1 and the second subtitle S2 may include a time stamp corresponding to the time displayed on the screen. Here, the time stamp of the sentence of the first subtitle S1 may be different from the time stamp of the sentence of the second subtitle S2 written in the second language corresponding to the time stamp. That is, any one of the first subtitle S1 and the second subtitle S2 may be in an in-sync state and the other may be in an out-of-sync state. Here, the first subtitle S1 may be in a state in which the first subtitle may be in sync with the conventional Hangeul subtitle, and the second subtitle S2 may be in the state of being adapted to the newly generated English subtitle.

자막 준비부(101)는 상술한 상태로 준비된 제1 자막(S1) 및 제2 자막(S2) 중 한 자막을 자막 번역부(111)로 제공할 수 있고, 나머지 자막을 싱크 조절부(121)로 제공할 수 있다. 예시적으로, 자막 준비부(101)는 한글 자막인 제1 자막(S1)을 자막 번역부(111)로 제공할 수 있다.The subtitle preparation unit 101 may provide one of the first subtitle S1 and the second subtitle S2 prepared in the above-described state to the subtitle translation unit 111, . Illustratively, the caption preparation unit 101 may provide the caption translation unit 111 with the first caption S1 as a caption.

자막 번역부(111)는 제1 언어의 제1 자막(S1)이 제1 언어와 상이한 제2 언어로 번역된 제1 번역 자막(S1')을 생성할 수 있다. 여기서, 자막 번역부(111)는 자체적인 프로그램을 포함할 수 있으나, 이에 한정되는 것은 아니며 공개된 번역 웹사이트에 접속하여 기계 번역을 수행하거나, 사전에 협조된 번역 웹사이트에 기계 번역을 요청하고, 완료된 자막을 수신하여 제1 번역 자막(S1)을 생성할 수도 있다.The subtitle translation unit 111 can generate the first translation subtitle S1 'in which the first subtitle S1 of the first language is translated into the second language different from the first language. Here, the subtitle translation unit 111 may include a program of its own, but the present invention is not limited thereto. The subtitle translation unit 111 accesses an open translation website to perform a machine translation, or requests a machine translation , And the first translatable subtitle S1 may be generated by receiving the completed subtitles.

제1 자막(S1)은 이후 진행될 제2 자막(S2)과의 용이한 매칭을 위해, 제2 자막(S2)을 구성하는 언어 체계로 번역될 수 있다. 예시적으로, 자막 번역부(111)는 한글 자막(S1)을 제공받을 수 있으며, 영어로 번역된 제1 번역 자막(S1')을 생성할 수 있다. 한글 자막의 한 문장과 이를 번역한 영어 문장은 동일한 타임 스탬프를 가질 수 있다. 자막 번역부(111)는 제1 자막(S1) 및 제2 언어로 번역된 제1 번역 자막(S1')을 싱크 조절부(121)로 제공할 수 있다.The first subtitle S1 may be translated into a language system constituting the second subtitle S2 for easy matching with the second subtitle S2 to be processed later. Illustratively, the subtitle translation unit 111 can receive the Korean subtitle S1 and can generate the first translation subtitle S1 'translated into English. One sentence of Hangul subtitles and the translated English sentence can have the same time stamp. The subtitle translation unit 111 may provide the first subtitle S1 and the first transliter subtitle S1 'translated into the second language to the sink adjustment unit 121. [

싱크 조절부(121)는 제2 언어로 번역된 제1 번역 자막(S1')의 문장들과 제2 언어의 제2 자막(S2)의 문장들을 매칭할 수 있다. 싱크 조절부(121)는 제1 번역 자막(S1')의 문장들과 제2 자막(S2)의 문장들의 일치도가 최대가 되도록, 제1 번역 자막(S1')의 문장들과 제2 자막(S2)의 문장들을 매칭할 수 있다. 문장들의 일치도가 최대가 되도록 하는 방법은 상술한 자막 싱크 조절 시스템(10)의 GLEU score가 적용될 수 있는 바, 상세한 설명은 생략하도록 한다.The sink adjuster 121 may match the sentences of the first translation subtitle S1 'translated into the second language and the sentences of the second subtitle S2 of the second language. The sink adjuster 121 adjusts the sentences of the first translators S1 'and the second subtitles S2 so that the degree of agreement between the sentences of the first translatable subtitles S1' and the sentences of the second subtitles S2 becomes maximum, S2) can be matched. Since the GLEU score of the above-described subtitle synchronization control system 10 can be applied to a method of maximizing the degree of agreement of sentences, a detailed description will be omitted.

싱크 조절부(121)는 매칭된 제1 번역 자막의 문장들과 제2 자막의 문장들의 타임 스탬프를 일치시킬 수 있다. 여기서, 제1 번역 자막(S1')이 싱크가 맞는 자막이므로 제2 자막(S2)은 제1 번역 자막(S1')의 타임 스탬프에 따라 싱크가 조절될 수 있다. The sync controller 121 may match the time stamps of the matched sentences of the first translation subtitles and the sentences of the second subtitles. Here, since the first translatable subtitle S1 'is a subtitle matching the sync, the second subtitles S2 can be adjusted in synchronization with the time stamp of the first translatable subtitle S1'.

본 발명의 다른 실시예에 따른 자막 싱크 조절 시스템(11)은 싱크가 맞는 자막을 싱크가 맞지 않는 자막의 언어로 번역하고, 양 자막을 매칭하여, 싱크가 맞지 않은 자막을 싱크를 문장 단위로 조절할 수 있게 한다. 이에 따라, 자막 싱크의 조절이 효과적이고 빠르게 수행될 수 있다.The subtitle sync control system 11 according to another embodiment of the present invention translates subtitles matching the sync into a language of the subtitle which does not fit in the sync and matches the subtitles to adjust the subtitles that do not match the sync to a sentence I will. Thus, adjustment of the subtitle sync can be performed effectively and quickly.

도 5는 본 발명의 또 다른 실시예에 따른 자막 싱크 조절 시스템의 블록도이다.5 is a block diagram of a subtitle sync control system according to another embodiment of the present invention.

도 5를 참작하면, 본 발명의 또 다른 실시예에 따른 자막 싱크 조절 시스템(12)은 자막 준비부(102), 자막 번역부(112), 싱크 조절부(122)를 포함한다.Referring to FIG. 5, the subtitle sync control system 12 according to another embodiment of the present invention includes a caption preparation unit 102, a caption translation unit 112, and a sync adjustment unit 122.

자막 준비부(102)는 제1 자막(S1) 및 제2 자막(S2)을 준비할 수 있다. 제1 자막(S1) 및 제2 자막(S2)은 특정 영상의 대화, 설명 등을 나타내기 위해 특정 영상과 함께 표시되는 자막일 수 있다. 제1 자막(S1) 및 제2 자막(S2)에 포함된 각 문장들은 화면에 표시되는 시간에 해당하는 타임 스탬프를 포함할 수 있다. 여기서, 제1 자막(S1)의 문장의 타임 스탬프와 이에 대응되는 제2 언어로 작성된 제2 자막(S2)의 문장의 타임 스탬프는 상이할 수 있다. 즉, 제1 자막(S1), 제2 자막(S2) 중 어느 하나는 싱크가 맞는(In sync) 상태이고, 나머지 하나는 싱크가 맞지 않은(Out of sync) 상태일 수 있다. The caption preparation unit 102 can prepare the first caption S1 and the second caption S2. The first subtitle S1 and the second subtitle S2 may be subtitles displayed together with a specific image to indicate a dialogue, a description, etc. of a specific image. Each sentence included in the first subtitle S1 and the second subtitle S2 may include a time stamp corresponding to the time displayed on the screen. Here, the time stamp of the sentence of the first subtitle S1 may be different from the time stamp of the sentence of the second subtitle S2 written in the second language corresponding to the time stamp. That is, any one of the first subtitle S1 and the second subtitle S2 may be in an in-sync state and the other may be in an out-of-sync state.

여기서, 제1 자막(S1)은 신규 생성된 제1 언어로 구성된 자막으로 싱크가 맞지 않은 상태일 수 있다. 그리고, 제2 자막(S2)은 재생되는 영상의 제2 언어에 따른 음성을 인식하여 생성된 자막으로 싱크가 맞는 상태일 수 있다.Here, the first subtitle S1 may be a state in which the first subtitle S1 has not been synchronized with the subtitle composed of the newly generated first language. In addition, the second subtitle S2 may be in a state in which it is in sync with the subtitle generated by recognizing the audio according to the second language of the reproduced video.

본 실시예에 따른 자막 준비부(102)는 영상에서 재생되는 음성을 인식하는 음성 인식부(103)를 더 포함할 수 있다. 음성 인식부(103)는 음성의 내용, 음성의 출력 시간을 각각 인식하고, 음성의 내용에 따라 자막의 문장들을 생성하고, 음성의 출력 시간에 대응하여 각 문장들의 타임 스탬프를 설정하여 제2 자막(S2)을 생성할 수 있다.The caption preparation unit 102 according to the present embodiment may further include a voice recognition unit 103 for recognizing a voice to be reproduced from the image. The voice recognition unit 103 recognizes the contents of the voice and the output time of the voice, generates the captions of the captions according to the contents of the voice, sets the time stamps of the respective captions in accordance with the output time of the voice, (S2).

또 다른 실시예에 따른 자막 싱크 조절 시스템(12)의 나머지 구성은 상술한 일 실시예에 따른 자막 싱크 조절 시스템(10)과 일부 동일할 수 있는 바, 중복되는 설명은 생략하도록 한다.The rest of the configuration of the subtitle sync control system 12 according to another embodiment may be partially identical to the subtitle sync control system 10 according to the above-described embodiment, and a duplicate description will be omitted.

이하, 본 발명의 일 실시예에 따른 자막 싱크 조절 방법에 대해 설명하도록 한다. Hereinafter, a method of adjusting a subtitle sync according to an embodiment of the present invention will be described.

도 6는 본 발명의 일 실시예에 따른 자막 싱크 조절 방법의 순서도이다.6 is a flowchart illustrating a method of adjusting a subtitle sync according to an exemplary embodiment of the present invention.

도 6를 참조하면, 본 발명의 다른 실시예에 따른 자막 싱크 조절 방법은 자막 준비 단계(S100), 자막 번역 단계(S110), 싱크 조절 단계(S120)을 포함한다. 본 발명의 일 실시예에 따른 자막 싱크 조절 방법은 상술한 일 실시예에 따른 자막 싱크 조절 시스템(10)을 통해 수행되는 것으로, 중복되는 설명은 생략하도록 한다.Referring to FIG. 6, the method for adjusting a subtitle sync according to another embodiment of the present invention includes a caption preparation step S100, a subtitle translation step S110, and a sink adjustment step S120. The subtitle sync control method according to an embodiment of the present invention is performed through the subtitle sync control system 10 according to the embodiment described above, and a duplicated description will be omitted.

먼저, 자막을 준비한다(S100).First, subtitles are prepared (S100).

제1 자막(S1) 및 제2 자막(S2)이 준비될 수 있다. 제1 자막(S1) 및 제2 자막(S2)은 특정 영상의 대화, 설명 등을 나타내기 위해 특정 영상과 함께 표시되는 자막일 수 있다. 여기서, 제1 자막(S1)과 제2 자막(S2)을 구성하는 각 문장들은 동일한 의미일 수 있으나, 작성된 언어 체계가 상이할 수 있다. 즉, 제1 자막(S1)은 제1 언어로 준비될 수 있으며, 제2 자막(S2)은 제1 언어와 상이한 제2 언어로 준비될 수 있다. The first subtitle S1 and the second subtitle S2 may be prepared. The first subtitle S1 and the second subtitle S2 may be subtitles displayed together with a specific image to indicate a dialogue, a description, etc. of a specific image. Here, the sentences constituting the first subtitle S1 and the second subtitle S2 may have the same meaning, but the created language systems may be different. That is, the first subtitle S1 may be prepared in a first language, and the second subtitle S2 may be prepared in a second language different from the first language.

제1 자막(S1) 및 제2 자막(S2)에 포함된 각 문장들은 화면에 표시되는 시간에 해당하는 타임 스탬프를 포함할 수 있다. 각 문장들은 지정된 타임 스탬프에 대응하여 화면에 표시될 수 있다. 여기서, 제1 자막(S1)의 문장의 타임 스탬프와 이에 대응되는 제2 언어로 작성된 제2 자막(S2)의 문장의 타임 스탬프는 상이할 수 있다. 즉, 제1 자막(S1), 제2 자막(S2) 중 어느 하나는 싱크가 맞는(In sync) 상태이고, 나머지 하나는 싱크가 맞지 않은(Out of sync) 상태일 수 있다.Each sentence included in the first subtitle S1 and the second subtitle S2 may include a time stamp corresponding to the time displayed on the screen. Each sentence can be displayed on the screen corresponding to the designated time stamp. Here, the time stamp of the sentence of the first subtitle S1 may be different from the time stamp of the sentence of the second subtitle S2 written in the second language corresponding to the time stamp. That is, any one of the first subtitle S1 and the second subtitle S2 may be in an in-sync state and the other may be in an out-of-sync state.

여기서, 제1 자막(S1)은 신규 생성된 한글 자막으로 싱크가 맞지 않은 상태일 수 있고, 제2 자막(S2)은 종래 완성된 영어 자막으로 싱크가 맞는 상태일 수 있으나, 이에 한정되는 것은 아니며, 제1 자막(S1)은 한글 자막으로 싱크가 맞는 상태일 수 있고, 제2 자막(S2)은 신규 생성된 영어 자막으로 싱크가 맞지 않은 상태일 수도 있다.Here, the first subtitle S1 may be in a state where the new subtitle may not be synchronized with the newly generated H1, and the second subtitle S2 may be in a state where the conventional English subtitle is in the correct state, but the present invention is not limited thereto , The first subtitle S1 may be in the state of being synchronized with the Hangeul subtitle and the second subtitle S2 may be in a state where the new subtitle is not synchronized with the newly generated English subtitle.

이러한 제1 자막(S1) 및 제2 자막(S2)의 준비는 자막 준비부에서 수행될 수 있다. 여기서, 제2 자막(S2)은 싱크가 맞는 종래 완성된 자막일 수 있고, 재생되는 영상의 제목 등을 기반으로 웹 검색을 통해 준비될 수 있다. 다만, 이에 한정되는 것은 아니며 영상의 제작사에 무료 또는 유료 배포한 자막으로 해당 영상의 제작사의 홈페이지를 통해 준비될 수도 있다. 또한, 제2 자막(S2)은 싱크가 맞는 자막으로 영상에서 재생되는 음성을 인식하고, 인식된 음성을 토대로 준비될 수도 있다.The preparation of the first subtitle S1 and the second subtitle S2 may be performed in the subtitle preparation unit. Here, the second subtitle S2 may be a conventional completed subtitle matching a sync, and may be prepared through a web search based on the title of the video to be reproduced. However, the present invention is not limited to this, and it may be prepared through the homepage of the producer of the corresponding image by subtitles distributed free of charge or paid to the producer of the video. Also, the second subtitle S2 may be prepared based on the recognized speech, by recognizing the speech reproduced from the video as a subtitle which is suitable for synchronization.

자막 준비부는 제1 자막(S1) 및 제2 자막(S2) 중 한 자막을 자막 번역부로 제공할 수 있고, 나머지 자막을 싱크 조절부로 제공할 수 있다. The caption preparation unit may provide one caption of the first caption S1 and the second caption S2 to the caption interpreter, and provide the remaining captions to the sink controller.

다음으로, 자막을 번역한다(S110).Next, the subtitles are translated (S110).

제공된 자막이 제1 자막(S1)이라고 가정한다면, 제1 자막(S1)은 제2 자막(S2)을 구성하는 언어로 번역될 수 있다. 즉, 제1 자막(S1)은 제2 언어로 번역될 수 있다. 자막은 타임 스탬프에 따라 문장 단위로 번역할 수 있다. 제공된 자막에 포함된 문장의 타임 스탬프와 번역된 문장의 타임 스탬프는 동일할 수 있다. 자막 번역부는 제1 언어의 제1 자막(S1)이 제1 언어와 상이한 제2 언어로 번역된 제1 번역 자막(S1')을 생성할 수 있다. 여기서, 자막 번역부는 자체적인 프로그램을 포함할 수 있으나, 이에 한정되는 것은 아니며 공개된 번역 웹사이트에 접속하여 기계 번역을 수행하거나, 사전에 협조된 번역 웹사이트에 기계 번역을 요청하고, 완료된 자막을 수신하여 제1 번역 자막(S1)을 생성할 수도 있다.Assuming that the provided caption is the first caption S1, the first caption S1 may be translated into a language constituting the second caption S2. That is, the first subtitle S1 may be translated into a second language. Subtitles can be translated by sentence by time stamp. The timestamp of the sentence included in the provided caption and the timestamp of the translated sentence may be the same. The subtitle translation unit can generate the first translation subtitle S1 'in which the first subtitle S1 of the first language is translated into the second language different from the first language. Here, the caption translation unit may include its own program, but the present invention is not limited thereto. The caption translation unit can be connected to an open translation website to perform a machine translation, a machine translation is requested to a previously translated website, And generate the first translatable subtitle S1.

자막 번역부는 제1 자막(S1)과 제2 언어로 번역된 제1 번역 자막(S1')을 싱크 조절부로 제공할 수 있다. The subtitle translation unit may provide the first subtitle S1 and the first translation subtitle S1 'translated into the second language to the sink adjuster.

다음으로, 싱크를 조절한다(S120).Next, the sync is adjusted (S120).

제2 언어로 번역된 제1 번역 자막(S1')의 문장들과 제2 언어의 제2 자막(S2)의 문장들은 서로 매칭될 수 있다. 문장들의 매칭과 매칭된 문장들의 타임 스탬프 조절은 싱크 조절부에서 수행될 수 있다. 싱크 조절부는 제1 번역 자막(S1')의 문장들과 제2 자막(S2)의 문장들의 일치도가 최대가 되도록, 제1 번역 자막(S1')의 문장들과 제2 자막(S2)의 문장들을 매칭할 수 있다. 문장들의 일치도가 최대가 되도록 하는 방법은 상술한 자막 싱크 조절 시스템(10)의 GLEU score가 적용될 수 있는 바, 상세한 설명은 생략하도록 한다.The sentences of the first translation subtitle S1 'translated into the second language and the sentences of the second subtitle S2 of the second language can be matched with each other. The matching of the sentences and the adjustment of the time stamp of the matched sentences can be performed in the sink adjuster. The sink adjuster adjusts the sentences of the first translation subtitle S1 'and the sentences of the second subtitle S2 so that the matching degree of the sentences of the first translation subtitle S1' Can be matched. Since the GLEU score of the above-described subtitle synchronization control system 10 can be applied to a method of maximizing the degree of agreement of sentences, a detailed description will be omitted.

싱크 조절부는 매칭된 제1 번역 자막의 문장들과 제2 자막의 문장들의 타임 스탬프를 일치시킬 수 있다. The sync controller may match the time stamps of the matched sentences of the first translation subtitle and the sentences of the second subtitle.

제2 자막(S2)의 싱크가 맞는 자막인 경우, 제1 번역 자막(S1')은 제2 자막(S2)의 타임 스탬프에 따라 싱크가 조절될 수 있다. 싱크가 조절된 제1 번역 자막(S1')에 대응되도록 제1 자막(S1)은 싱크가 조절될 수 있다. 즉, 제1 자막(S1)은 문장의 순번대로 제1 번역 자막(S1')과 매칭될 수 있으며, 제1 자막(S1)의 문장들은 대응되는 제1 번역 자막(S1')의 문장들의 타임 스탬프로 변경될 수 있다. 제2 자막(S2)의 싱크를 기준으로 제1 번역 자막(S1')의 싱크가 조절되고, 조정된 제1 번역 자막(S1')의 싱크를 기준으로 제1 자막(S1)의 싱크가 조절될 수 있다.If the sync of the second subtitle S2 is the correct subtitle, the first translatory subtitle S1 'can be adjusted in sync with the time stamp of the second subtitle S2. The first subtitle S1 may be adjusted to correspond to the first translatable subtitle S1 'whose sync is adjusted. That is, the first subtitle S1 can be matched with the first transliter subtitle S1 'in the order of the sentences, and the sentences of the first subtitle S1 can be matched with the time of the corresponding sentences of the first subtitle S1' Can be changed to a stamp. Sync of the first transliter film S1 'is adjusted on the basis of the sync of the second subtitle film S2 and the sync of the first subtitle film S1 is adjusted on the basis of the sync of the adjusted first transliter film S1' .

반대로, 제1 번역 자막(S1')의 싱크가 맞는 자막인 경우, 제2 자막(S2)은 제1 번역 자막(S1')의 타임 스탬프에 따라 싱크가 조절될 수 있다.On the other hand, when the first transliter film S1 'is the correct subtitle, the second subtitle S2 can be adjusted in sync with the time stamp of the first transliter film S1'.

본 발명의 일 실시예에 따른 자막 싱크 조절 방법은 서로 다른 언어의 싱크가 맞는 자막과 싱크가 맞지 않은 자막을 각각 준비하고, 준비된 자막에서 하나를 번역하고, 싱크가 맞지 않는 자막을 싱크가 맞는 자막의 언어로 번역하고, 양 자막을 매칭하여 싱크가 맞지 않은 자막을 싱크를 문장 단위로 조절 한다. 자막 싱크의 조절이 문장 단위로 효과적이고 빠르게 수행될 수 있다. The method of adjusting a subtitle sync according to an exemplary embodiment of the present invention includes preparing a caption matching a sink of different languages and a caption not matching with a sink, interpreting one of the prepared subtitles, , And the subtitles are matched to adjust the sentences of the subtitles that are not suitable for the sync to sentences. The adjustment of the subtitle sync can be performed effectively and quickly on a sentence level basis.

이상에서 설명한 실시예들에 따른 자막 싱크 조절 방법에 의한 동작은, 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 자막 싱크 조절 방법에 의한 동작을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.The operations according to the method of adjusting the subtitle sync according to the above-described embodiments may be recorded in a computer-readable recording medium, which is at least partially implemented by a computer program. The program for implementing the operation of the subtitle sync control method according to the embodiments is recorded and the computer readable recording medium includes all kinds of recording apparatuses in which data that can be read by the computer is stored. Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like. The computer readable recording medium may also be distributed over a networked computer system so that computer readable code is stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present embodiment may be easily understood by those skilled in the art to which this embodiment belongs.

이상에서는 실시예들을 참조하여 설명하였지만 본 발명은 이러한 실시예들 또는 도면에 의해 한정되는 것으로 해석되어서는 안 되며, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments or constructions, It will be understood that the invention can be variously modified and changed without departing from the spirit and scope of the invention.

10, 11, 12: 자막 싱크 조절 시스템
100, 101, 102: 자막 준비부
110, 111, 112: 자막 번역부
120, 121, 122: 싱크 조절부
103: 음성 인식부10, 11, 12: Subtitle Sync Control System
100, 101, 102: Subtitle preparation unit
110, 111, 112: subtitle translation unit
120, 121 and 122:
103: Voice recognition unit

Claims (15)

제1 언어로 구성된 제1 자막 및 상기 제1 언어와 상이한 언어 체계를 가진 제2 언어로 구성된 제2 자막을 준비하는 자막 준비부;
상기 제1 자막의 모든 문장이 상기 제 2 언어로 번역된 제1 번역 자막을 생성하는 자막 번역부; 및
상기 제2 언어로 구성된 상기 제1 번역 자막의 각 문장과 상기 제2 언어로 구성된 제2 자막의 각 문장의 일치도를 산출하고, 상기 각 문장 별 일치도의 합계가 최대가 되도록 상기 제 1 번역 자막의 문장들과 상기 제2 자막의 문장들을 매칭하고, 상기 매칭된 상기 제1 번역 자막의 문장들과 상기 제2 자막의 문장들의 타임 스탬프를 일치시키는 싱크 조절부를 포함하되,
상기 일치도는 상기 제1 번역 자막의 각 문장의 의미와 상기 제2 자막의 각 문장의 의미를 비교하여 산출된 것으로, 두 문장이 얼마나 비슷한 의미를 지녔는 지를 나타내는 수치이고,
상기 제1 번역 자막의 각 문장과 상기 제2 자막의 각 문장이 완전히 일치하는 문장인 경우 최대 1점을 부여하고, 완전히 상이한 문장인 경우 0점을 부여하는 자막 싱크 조절 시스템.A subtitle preparation unit for preparing a first subtitle composed of a first language and a second subtitle composed of a second language having a language system different from the first language;
A subtitle translation unit for generating a first translation subtitle having all the sentences of the first subtitle translated into the second language; And
The degree of agreement between the respective sentences of the first translation subtitles constituted by the second language and the respective sentences of the second subtitles constituted by the second language are calculated and the degree of agreement of the respective sentences is maximized, And a sync controller for matching the sentences with the sentences of the second caption and matching the time stamps of the matched sentences of the first translated caption and the sentences of the second caption,
Wherein the degree of agreement is a value that is calculated by comparing the meaning of each sentence of the first translation subtitles and the meaning of each sentence of the second subtitles,
Wherein a maximum of one point is given when each sentence of the first translation subtitle film and a sentence of the second subtitle are completely matched and a point of zero is given when the sentence of completely different sentence is given. 삭제delete 제1 항에 있어서,
상기 제1 번역 자막의 문장들은 상기 제2 자막의 문장들과 매칭되지 않는 문장을 포함하고,
상기 싱크 조절부는 상기 일치도의 합계가 최대가 되고, 상기 매칭되지 않는 문장의 수가 최소가 되도록 상기 제1 자막의 문장들과 상기 제2 자막의 문장들을 매칭하는 자막 싱크 조절 시스템.The method according to claim 1,
The sentences of the first translation subtitle include a sentence that does not match the sentences of the second subtitle,
Wherein the sync adjusting unit matches the sentences of the first subtitle and the sentences of the second subtitle so that the sum of the degree of match becomes the maximum and the number of unmatched sentences becomes the smallest. 제3 항에 있어서,
상기 싱크 조절부는 상기 매칭되지 않는 문장들의 타임 스탬프를 선행 문장 및 후행 문장의 타임 스탬프 조절 및 종래 시간 차이를 감안하여 조절하는 자막 싱크 조절 시스템. The method of claim 3,
Wherein the sync controller adjusts the time stamps of the non-matching sentences by adjusting a time stamp of a preceding sentence and a following sentence, and considering a conventional time difference. 제1 항에 있어서,
상기 제2 자막은 싱크가 맞는(In sync) 자막이고,
상기 싱크 조절부는 상기 제2 자막의 타임 스탬프를 기준으로 상기 매칭된 상기 제1 번역 자막의 문장들과 상기 제2 자막의 문장들의 타임 스탬프가 일치하도록 상기 제1 번역 자막의 싱크를 조절하고, 상기 싱크가 조절된 제1 번역 자막을 기준으로 상기 제1 자막의 싱크를 조절하는 자막 싱크 조절 시스템.The method according to claim 1,
Wherein the second subtitle is an in-sync subtitle,
The sink controller adjusts the sink of the first translator film so that the time stamps of the matched translations of the first translator film and the sentences of the second caption match with each other based on the time stamp of the second caption, And adjusts the synchronization of the first subtitle on the basis of a first translation subtitle whose sync is adjusted. 제1 항에 있어서,
상기 제1 자막은 싱크가 맞는(In sync) 자막이고,
상기 싱크 조절부는 상기 제1 번역 자막의 타임 스탬프를 기준으로 상기 매칭된 상기 제1 번역 자막의 문장들과 상기 제2 자막의 문장들의 타임 스탬프가 일치하도록 상기 제2 자막의 싱크를 조절하는 자막 싱크 조절 시스템.The method according to claim 1,
Wherein the first subtitle is an in-sync subtitle,
Wherein the sync adjusting unit adjusts the sync of the second subtitle so that the time stamps of the matched sentences of the first translation subtitle and the sentences of the second subtitle match on the basis of the time stamp of the first translation subtitle, Conditioning system. 제1 항에 있어서,
상기 자막 준비부는 영상에서 재생되는 음성을 인식하는 음성 인식부를 더 포함하고,
상기 음성 인식부는 음성의 내용, 음성의 출력 시간을 각각 인식하여 상기 제1 자막 또는 제2 자막을 생성하는 자막 싱크 조절 시스템.The method according to claim 1,
Wherein the caption preparation unit further comprises a voice recognition unit for recognizing a voice to be reproduced in the video,
Wherein the speech recognition unit recognizes the speech content and the speech output time to generate the first caption or the second caption. 제1 언어로 구성된 제1 자막 및 상기 제1 언어와 상이한 언어 체계를 가진 제2 언어로 구성된 제2 자막을 준비하는 단계;
상기 제1 자막의 모든 문장이 상기 제 2 언어로 번역된 제1 번역 자막을 생성하는 단계; 및
상기 제2 언어로 구성된 상기 제1 번역 자막의 각 문장과 상기 제2 언어로 구성된 제2 자막의 각 문장의 일치도를 산출하고, 상기 각 문장 별 일치도의 합계가 최대가 되도록 상기 제1 번역 자막의 문장들과 상기 제2 자막의 문장들을 매칭하고, 상기 매칭된 상기 제1 번역 자막의 문장들과 상기 제2 자막의 문장들의 타임 스탬프를 일치시키는 싱크 조절 단계를 포함하되,
상기 일치도는 상기 제1 번역 자막의 각 문장의 의미와 상기 제2 자막의 각 문장의 의미를 비교하여 산출된 것으로, 두 문장이 얼마나 비슷한 의미를 지녔는 지를 나타내는 수치이고,
상기 제1 번역 자막의 각 문장과 상기 제2 자막의 각 문장이 완전히 일치하는 문장인 경우 최대 1점을 부여하고, 완전히 상이한 문장인 경우 0점을 부여하는 자막 싱크 조절 방법.Preparing a first subtitle composed of a first language and a second subtitle composed of a second language having a language system different from the first language;
Generating a first translation subtitle having all the sentences of the first subtitle translated into the second language; And
The degree of agreement between the respective sentences of the first translation subtitles constituted by the second language and the respective sentences of the second subtitles constituted by the second language are calculated and the degree of agreement of the respective sentences is maximized, Matching the sentences with the sentences of the second caption and matching the sentences of the matched first caption with the timestamps of the sentences of the second caption,
Wherein the degree of agreement is a value that is calculated by comparing the meaning of each sentence of the first translation subtitles and the meaning of each sentence of the second subtitles,
Wherein a maximum of one point is given when each sentence of the first translation subtitle film and a sentence of the second subtitle are completely matched and a point of zero is given when the sentence is completely different. 삭제delete 제8 항에 있어서,
상기 제1 번역 자막의 문장들은 상기 제2 자막의 문장들과 매칭되지 않는 문장을 포함하고,
상기 싱크 조절 단계는 상기 일치도의 합계가 최대가 되고, 상기 매칭되지 않는 문장의 수가 최소가 되도록 상기 제1 자막의 문장들과 상기 제2 자막의 문장들을 매칭하는 단계를 포함하는 자막 싱크 조절 방법.9. The method of claim 8,
The sentences of the first translation subtitle include a sentence that does not match the sentences of the second subtitle,
Wherein the sink adjusting step comprises matching sentences of the first subtitle and sentences of the second subtitle so that the sum of the degree of matching becomes the maximum and the number of unmatched sentences becomes the smallest. 제10 항에 있어서,
상기 싱크 조절 단계는 상기 매칭되지 않는 문장들의 타임 스탬프를 선행 문장 및 후행 문장의 타임 스탬프 조절 및 종래 시간 차이를 감안하여 조절하는 단계를 포함하는 자막 싱크 조절 방법.11. The method of claim 10,
Wherein the step of adjusting the sync comprises adjusting the time stamps of the non-matching sentences by adjusting the time stamps of the preceding sentence and the following sentence and considering the conventional time difference. 제8 항에 있어서,
상기 제2 자막은 싱크가 맞는(In sync) 자막이고,
상기 싱크 조절 단계는 상기 제2 자막의 타임 스탬프를 기준으로 상기 매칭된 상기 제1 번역 자막의 문장들과 상기 제2 자막의 문장들의 타임 스탬프가 일치하도록 상기 제1 번역 자막의 싱크를 조절하고, 상기 싱크가 조절된 제1 번역 자막을 기준으로 상기 제1 자막의 싱크를 조절하는 단계를 포함하는 자막 싱크 조절 방법.9. The method of claim 8,
Wherein the second subtitle is an in-sync subtitle,
Wherein the sink adjusting step adjusts the synchronization of the first translation subtitles so that the matched time stamps of the matched first translation subtitles match the time stamps of the sentences of the second subtitles based on the time stamp of the second subtitles, And adjusting the sync of the first subtitle on the basis of the first translatable subtitle having the sync adjusted. 제8 항에 있어서,
상기 제1 자막은 싱크가 맞는(In sync) 자막이고,
상기 싱크 조절 단계는 상기 제1 번역 자막의 타임 스탬프를 기준으로 상기 매칭된 상기 제1 번역 자막의 문장들과 상기 제2 자막의 문장들의 타임 스탬프가 일치하도록 상기 제2 자막의 싱크를 조절하는 단계를 포함하는 자막 싱크 조절 방법.9. The method of claim 8,
Wherein the first subtitle is an in-sync subtitle,
Wherein the step of adjusting the sync comprises adjusting the sync of the second subtitle so that the time stamp of the matched translators of the first transliter subtitle matches the time stamp of the sentences of the second subtitle based on the time stamp of the first translation subtitle, / RTI > 제8 항에 있어서,
상기 제2 자막은 싱크가 맞는 자막이고,
상기 제2 자막은 영상에서 재생되는 음성을 인식하여 준비되는 자막 싱크 조절 방법.9. The method of claim 8,
Wherein the second subtitle is a subtitle to be synchronized,
Wherein the second caption is prepared by recognizing a voice reproduced from an image. 하드웨어와 결합되어 제8항, 제10항 내지 제14항 중 어느 한 항에 따른 자막 싱크 조절 방법을 실행하도록 매체에 저장된 컴퓨터 프로그램.14. A computer program stored on a medium in combination with hardware to perform the subtitle sync adjustment method according to any one of claims 8, 10,
KR1020170147246A 2017-11-07 2017-11-07 Method and system for controlling subtitle sync KR101984178B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170147246A KR101984178B1 (en) 2017-11-07 2017-11-07 Method and system for controlling subtitle sync

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170147246A KR101984178B1 (en) 2017-11-07 2017-11-07 Method and system for controlling subtitle sync

Publications (2)

Publication Number Publication Date
KR20190051498A KR20190051498A (en) 2019-05-15
KR101984178B1 true KR101984178B1 (en) 2019-05-31

Family

ID=66579657

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170147246A KR101984178B1 (en) 2017-11-07 2017-11-07 Method and system for controlling subtitle sync

Country Status (1)

Country Link
KR (1) KR101984178B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102351408B1 (en) * 2021-03-26 2022-01-14 이광선 service method of automatically generating translated subtitles of video contents
KR102523813B1 (en) * 2021-04-06 2023-05-15 주식회사 한글과컴퓨터 Video streaming service server that enables keyword-based search for video and operating method thereof
KR102523814B1 (en) * 2021-04-15 2023-05-15 주식회사 한글과컴퓨터 Electronic apparatus that outputs subtitle on screen where video is played based on voice recognition and operating method thereof
KR102555701B1 (en) * 2022-08-25 2023-07-17 (주)마고 Automatic synchronization between musical audio signals and lyrics using artificial intelligence

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005045503A (en) * 2003-07-28 2005-02-17 Toshiba Corp Apparatus, method, and program for title signal processing
KR101478918B1 (en) * 2013-08-16 2014-12-31 한국방송공사 Apparatus and method for correcting caption subtitle

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101582574B1 (en) * 2014-05-29 2016-01-05 주식회사 마인미디어 Apparatus and service method for providing many languages of digital broadcasting using real time translation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005045503A (en) * 2003-07-28 2005-02-17 Toshiba Corp Apparatus, method, and program for title signal processing
KR101478918B1 (en) * 2013-08-16 2014-12-31 한국방송공사 Apparatus and method for correcting caption subtitle

Also Published As

Publication number Publication date
KR20190051498A (en) 2019-05-15

Similar Documents

Publication Publication Date Title
KR101984178B1 (en) Method and system for controlling subtitle sync
US20200336796A1 (en) Video stream processing method and apparatus, computer device, and storage medium
US11847425B2 (en) Machine translation system for entertainment and media
US8958013B2 (en) Aligning video clips to closed caption files
KR102481871B1 (en) Automated voice translation dubbing of pre-recorded videos
US8660850B2 (en) Method for the semi-automatic editing of timed and annotated data
US10021445B2 (en) Automatic synchronization of subtitles based on audio fingerprinting
CN106791913A (en) Digital television program simultaneous interpretation output intent and system
US20120010869A1 (en) Visualizing automatic speech recognition and machine
US20020087569A1 (en) Method and system for the automatic generation of multi-lingual synchronized sub-titles for audiovisual data
JP2012524446A (en) Check and synchronize files acquired separately from video content
KR101478918B1 (en) Apparatus and method for correcting caption subtitle
US8564721B1 (en) Timeline alignment and coordination for closed-caption text using speech recognition transcripts
KR20180129486A (en) Method for chunk-unit separation rule and display automated key word to develop foreign language studying, and system thereof
CN105898556A (en) Plug-in subtitle automatic synchronization method and device
US20160098395A1 (en) System and method for separate audio program translation
US11445266B2 (en) System and computerized method for subtitles synchronization of audiovisual content using the human voice detection for synchronization
EP3839953A1 (en) Automatic caption synchronization and positioning
US20230095557A1 (en) Content access devices that use local audio translation for content presentation
WO2016134043A1 (en) Use of a program schedule to facilitate modifying closed-captioning text
US9905221B2 (en) Automatic generation of a database for speech recognition from video captions
US9020817B2 (en) Using speech to text for detecting commercials and aligning edited episodes with transcripts
Aziz et al. Cross-lingual sentence compression for subtitles
Virkar et al. Prosodic alignment for off-screen automatic dubbing
Sepielak Translations| Synchronization Techniques in Multilingual Fiction: Voiced-Over Films in Poland

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right