KR102351408B1

KR102351408B1 - service method of automatically generating translated subtitles of video contents

Info

Publication number: KR102351408B1
Application number: KR1020210039717A
Authority: KR
Inventors: 이광선
Original assignee: 이광선
Priority date: 2021-03-26
Filing date: 2021-03-26
Publication date: 2022-01-14

Abstract

The present invention relates to a method for providing a translated subtitle service of a video to automatically generate subtitles on the basis of an audio signal of a video. According to the present invention, the method comprises the following steps: acquiring a subtitle sentence from an audio signal of a first language of a video, generating a first timetable by matching start time information and end time information of the corresponding voice signal with respect to each word of the subtitle sentence; dividing the subtitle sentence into a plurality of subtitle groups grouped by word unit of the first language on the basis of a subtitle display unit set as a multiple of a character unit of the first language, and generating a second timetable including start and end time information for each of the plurality of subtitle groups by referring to the first timetable; generating a translated sentence by translating the subtitle sentence into a second language; and dividing the group into a plurality of translated subtitle groups grouped by word unit of the second language on the basis of the translated subtitle display unit set as a multiple of the character unit of the second language and generating a third timetable including start time information and end time information for each of the translated subtitle groups to sequentially display the plurality of translated subtitle groups during a first timetable interval.

Description

{service method of automatically generating translated subtitles of video contents}

본 발명은 동영상의 자막을 제공하는 서비스 방법에 관한 것으로, 보다 상세하게는, 동영상의 음성신호로부터 자막을 자동으로 획득하고, 자막에 대한 번역을 통하여 번역자막을 획득하며, 동영상 재생시 설정된 방식에 따라 자막 및 번역자막을 제공하기 위한 서비스 방법에 관한 것이다.The present invention relates to a service method for providing subtitles for a moving picture, and more particularly, to automatically obtain subtitles from an audio signal of a moving image, to obtain translated subtitles through translation for subtitles, and to use a method set when playing a moving image. Accordingly, it relates to a service method for providing subtitles and translated subtitles.

최근 유튜브, 틱톡 등와 같이 이용자가 직접 생성한 컨텐츠를 취급하는 미디어 서비스가 급격히 확산되고 있다. 이러한 미디어 서비스에 의하여 제공되는 컨텐츠는 동영상이 대부분을 차지하는데, 동영상에 포함된 음성신호를 자막으로 제공하는 기술에 대한 연구와 관심 역시 크게 증가하고 있으며, 현재 다양한 형태로 자막제공 서비스가 이루어지고 있다.Recently, media services that handle user-generated content such as YouTube and TikTok are rapidly expanding. Most of the content provided by these media services is video, and research and interest in technology for providing audio signals included in video as captions are also greatly increasing, and captioning services are currently being provided in various forms. .

통상적으로 동영상의 자막은 작업자가 동영상의 음성을 듣고 작성하거나 동영상의 음성신호에 대한 음성인식(STT: Speech To Text) 결과에 기초하여 획득된다. 전자의 경우 매우 많은 시간과 비용 및 노력이 필요하다. 그리고 양자 모두는 동영상 재생시 획득된 자막을 음성신호와 동기시켜 표시하는 데에는 어려움이 있으며, 미디어 서비스에 따라 획일화된 길이로먼 자막을 제공할 수 있는 한계가 있다.In general, the caption of the moving picture is obtained based on the result of a speech recognition (STT: Speech To Text) for the voice signal of the moving picture or the operator listening to the voice of the moving picture. In the former case, very much time, money, and effort are required. Also, in both cases, it is difficult to display the subtitles acquired during video playback in synchronization with the audio signal, and there is a limitation in providing subtitles with a uniform length according to media services.

한편, 인터넷의 발달로 인하여 미디어 서비스에 의하여 제공되는 동영상은 제작된 언어가 아닌 다른 언어를 사용하는 글로벌 이용자들에 의해서도 널리 재생되는데, 동영상의 자막에 대한 번역자막에 대한 관심과 요구가 높다. 일부 미디어 서비스에서는 번역자막이 제공되고 있으나 그 수준이 소비자들을 만족시킬 정도에 이르지 못하였고, 보다 높은 수준의 번역자막을 위해서는 그에 따른 대가를 감수해야만 하는 것이 현실이다.On the other hand, due to the development of the Internet, moving images provided by media services are widely played by global users who speak languages other than the produced language, and there is a high interest and demand for translated subtitles for subtitles of moving images. Although translated subtitles are provided in some media services, the level has not reached the level that satisfies consumers.

이에 본 발명이 해결하고자 하는 기술적 과제는, 동영상의 음성신호에 기초하여 자막을 생성하고, 생성된 자막을 동영상 재생시 음성신호에 동기시켜 제공할 수 있는 동영상 자막의 자동생성 및 번역서비스 방법을 제공하는 것이다.Accordingly, the technical problem to be solved by the present invention is to provide a method for automatic creation and translation service of video captions, which can generate captions based on the audio signal of the video and synchronize the generated caption with the audio signal when playing the video will do

본 발명이 해결하고자 하는 다른 기술적 과제는, 동영상의 음성신호에 기초하여 생성된 자막을 다른 언어로 번역한 번역자막을 제공할 수 있는 동영상 자막의 자동생성 및 번역서비스 방법을 제공하는 것이다.Another technical problem to be solved by the present invention is to provide a method for automatically generating video captions and providing a translation service capable of providing translated captions in which captions generated based on audio signals of video are translated into other languages.

본 발명이 해결하고자 하는 또 다른 기술적 과제는, 동영상의 음성신호에 기초하여 생성되는 자막에 대한 번역자막을 생성하는 과정에서 번역오류를 수정할 수 있는 단계를 제공하는 동영상 자막의 자동생성 및 번역서비스 방법을 제공하는 것이다.Another technical problem to be solved by the present invention is an automatic creation and translation service method for video captions that provides a step of correcting a translation error in the process of generating translated captions for captions generated based on audio signals of video is to provide

본 발명이 해결하고자 하는 또 다른 기술적 과제는, 동영상의 음성신호에 기초하여 생성되는 자막과 그 번역자막이 표시되는 단위를 자유자재로 조절할 수 있는 동영상 자막의 자동생성 및 번역서비스 방법을 제공하는 것이다.Another technical problem to be solved by the present invention is to provide a method for automatically generating subtitles for moving images and providing a translation service in which subtitles generated based on audio signals of moving images and the units in which the translated subtitles are displayed can be freely adjusted. .

본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved by the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those of ordinary skill in the art to which the present invention belongs from the description below. will be able

상기 기술적 과제를 해결하기 위한 본 발명에 따른 동영상 번역자막제공 서비스 방법은, 동영상의 제1 언어의 음성신호로부터 자막문장을 획득하고, 상기 자막문장의 각 어절에 대해 대응되는 음성신호의 시작시간정보 및 종료시간정보를 매칭시켜 제1 타임테이블을 생성하는 단계; 상기 제1 언어의 글자단위 배수로 설정된 자막 표시단위에 기초하여, 상기 자막문장을 상기 제1 언어의 어절단위로 그루핑된 복수의 자막그룹으로 분할하고, 상기 제1 타임테이블을 참조하여 상기 복수의 자막그룹 각각에 대한 시작 및 종료시간정보를 포함하는 제2 타임테이블을 생성하는 단계; 상기 자막문장을 제2 언어로 번역하여 번역문장을 생성하는 단계; 및 상기 제2 언어의 글자단위의 배수로 설정된 번역자막 표시단위에 기초하여, 상기 제2 언어의 어절단위로 그루핑된 복수의 번역 자막그룹으로 분할하고, 상기 복수의 번역 자막그룹을 상기 제1 타임테이블 인터벌 동안 순차적으로 표시하도록 상기 번역 자막그룹 각각에 대한 시작시간정보 및 종료시간정보를 포함하는 제3 타임테이블을 생성하는 단계를 포함할 수 있다.In a video translation subtitle providing service method according to the present invention for solving the above technical problem, a subtitle sentence is obtained from a voice signal of a first language of a moving picture, and start time information of a voice signal corresponding to each word of the subtitle sentence and generating a first timetable by matching the end time information; Based on the subtitle display unit set as a multiple of the character unit of the first language, the subtitle sentence is divided into a plurality of subtitle groups grouped by word unit of the first language, and the plurality of subtitles are referenced in the first time table. generating a second timetable including start and end time information for each group; generating a translated sentence by translating the subtitle sentence into a second language; and based on the translated subtitle display unit set as a multiple of the character unit of the second language, divided into a plurality of translated subtitle groups grouped by word unit of the second language, and the plurality of translated subtitle groups are divided into the first time table and generating a third timetable including start time information and end time information for each of the translated subtitle groups to be sequentially displayed during the interval.

상기 동영상 번역자막제공 서비스 방법은, 상기 자막 표시단위에 대응되는 상기 제1 언어의 글자단위의 배수 또는 상기 번역자막 표시단위에 대응되는 상기 제2 언어의 글자단위의 배수를 변경하는 단계를 더 포함할 수 있다.The method for providing translated subtitles for a video further includes changing a multiple of a character unit of the first language corresponding to the subtitle display unit or a multiple of a character unit of the second language corresponding to the translated subtitle display unit can do.

상기 번역문장을 상기 복수의 번역 자막그룹으로 분할함에 있어서, 상기 번역자막 표시단위에 따른 마지막 위치가 특정 어절의 특정 글자까지인 경우, 상기 특정 어절까지를 하나의 번역 자막그룹으로 그루핑할 수 있다.In dividing the translated sentence into the plurality of translated subtitle groups, when the last position according to the translated subtitle display unit is up to a specific letter of a specific word, the group up to the specific word may be grouped into one translated caption group.

상기 번역문장을 상기 복수의 번역 자막그룹으로 분할함에 있어서, 상기 번역자막 표시단위에 따른 마지막 위치가 특정 어절의 특정 글자까지인 경우, 상기 특정 어절에서 상기 특정 글자까지의 글자수가, 상기 특정 어절의 글자수의 1/2 이상이면 상기 특정 어절까지를 하나의 번역 자막그룹으로 그루핑하고, 상기 특정 어절의 글자수의 1/2 미만이면 상기 특정 어절 이전의 어절까지를 하나의 번역 자막그룹으로 그루핑할 수 있다.In dividing the translated sentence into the plurality of translated subtitle groups, when the last position according to the translated subtitle display unit is up to a specific letter of a specific word, the number of characters from the specific word to the specific word is the number of characters of the specific word. If the number of characters is more than 1/2, up to the specific word is grouped as one translated caption group, and if the number of characters of the specific word is less than 1/2, up to the word before the specific word is grouped as one translated caption group. can

상기 복수의 번역 자막그룹의 표시전환 속도는, 상기 제1 타임테이블의 인터벌을 상기 번역 자막그룹의 개수로 나눈 값에 의하여 결정될 수 있다.The display switching speed of the plurality of translated subtitle groups may be determined by a value obtained by dividing an interval of the first time table by the number of translated subtitle groups.

상기 동영상 번역자막제공 서비스 방법은, 상기 자막/번역자막 공통표시 모드에서, 상기 복수의 자막그룹은, 상기 제2 타임테이블에 따라 순차적으로 표시하고, 상기 복수의 번역 자막그룹은, 상기 제3 타임테이블에 따라, 상기 복수의 자막그룹과는 다른 표시전환 속도로, 순차적으로 표시하도록 설정하는 단계를 더 포함할 수 있다.In the video translated subtitle providing service method, in the subtitle/translated subtitle common display mode, the plurality of subtitle groups are sequentially displayed according to the second time table, and the plurality of translated subtitle groups are displayed in the third time table. According to the table, the method may further include setting the plurality of subtitle groups to be displayed sequentially at a different display switching speed than that of the plurality of subtitle groups.

상기 동영상 번역자막제공 서비스 방법은, 모드에 따라 상기 복수의 자막그룹을 상기 음성신호에 동기시켜 상기 동영상과 함께 순차적으로 표시하거나 상기 복수의 번역 자막그룹을 순차적으로 표시하는 제1 영역과 상기 복수의 번역 자막그룹 리스트를 시간순으로 나열하여 표시하는 제2 영역을 이용자 단말기로 제공하는 단계; 상기 이용자 단말기에서 상기 제1 및 제2 영역 중 어느 하나에 표시된 특정 번역자막그룹의 특정어절이 선택되면, 번역자막 수정기능을 활성화하는 단계; 및 상기 특정 어절의 위치를 통하여 입력되는 문자에 따라 상기 제1 및 제2 영역 모두에 표시된 상기 특정 번역자막그룹을 수정하는 단계를 더 포함할 수 있다.The video translated caption providing service method includes a first area for sequentially displaying the plurality of translated caption groups by synchronizing the plurality of caption groups with the audio signal or sequentially displaying the plurality of translated caption groups according to a mode; providing a second area for displaying the translated subtitle group list in chronological order to the user terminal; activating a translated subtitle correction function when a specific word of a specific translated subtitle group displayed in any one of the first and second areas is selected in the user terminal; and modifying the specific translated subtitle group displayed in both the first and second regions according to a character input through the position of the specific word word.

상기 동영상 번역자막제공 서비스 방법은, 상기 특정 어절이 선택 또는 수정된 상태에서, 상기 이용자 단말기에 연결된 키보드의 방향키 조작을 통하여 번역자막 수정을 위한 문자 입력 위치를 변경하는 단계; 및 상기 변경된 위치를 통하여 입력되는 문자에 따라 상기 제1 및 제2 영역 모두에 표시된 상기 특정 번역자막그룹을 수정하는 단계를 더 포함할 수 있다.The method for providing translated subtitles for a video includes: changing a character input position for correcting translated subtitles by operating a direction key on a keyboard connected to the user terminal in a state in which the specific word is selected or modified; and modifying the specific translated subtitle group displayed in both the first and second regions according to the characters input through the changed position.

상기 제1 및 제2 영역 중 어느 하나에 표시된 상기 특정 번역자막그룹 중 상기 특정 어절의 선택은, 상기 동영상이 재생 중인 상태와 재생이 중단된 상태 모두에서 가능할 수 있다. 이때, 상기 동영상 번역자막제공 서비스 방법은, 상기 동영상이 재생 중인 상태에서 상기 특정 어절이 선택되면, 상기 동영상의 재생을 중단하는 단계를 더 포함할 수 있다.The selection of the specific word among the specific translated subtitle group displayed in any one of the first and second areas may be possible in both a state in which the video is being played and a state in which the playback is stopped. In this case, the method for providing translated subtitles for a video may further include stopping playback of the video when the specific word is selected while the video is being played.

상기 동영상 번역자막제공 서비스 방법은, 상기 이용자 단말기에서 상기 제1 및 제2 영역 중 어느 하나에서 상기 특정 어절이 선택되면, 상기 제1 및 제2 영역 중 나머지 하나에서도 대응되는 특정 어절이 선택되는 단계를 더 포함할 수 있다.The method for providing translated subtitles for a video includes, in the user terminal, when the specific word is selected from any one of the first and second areas, selecting a corresponding specific word from the other one of the first and second areas may further include.

상기 동영상 자막의 자동생성 및 번역서비스 방법은, 상기 동영상 재생 중, 상기 제1 및 제2 영역에 표시된 특정 번역자막그룹에 포함된 어절은, 상기 제3 타임테이블에 따라 순차적으로 선택되며, 선택된 어절은 다른 어절과 다르게 표시되는 단계를 더 포함할 수 있다.In the method for automatically generating and translating video subtitles, during the video playback, words included in a specific translated caption group displayed in the first and second areas are sequentially selected according to the third time table, and the selected words are may further include a step of being displayed differently from other words.

상기 제2영역에는, 상기 자막문장 및 상기 번역문장을 상기 제1 언어로 번역한 역번역문장이 더 표시될 수 있다. 이때, 상기 동영상 자막의 자동생성 및 번역서비스 방법은, 상기 특정 번역자막그룹의 수정 사항을 상기 역번역문장에 반영하는 단계를 더 포함할 수 있다.In the second area, the subtitle sentence and the reverse-translated sentence obtained by translating the translated sentence into the first language may be further displayed. In this case, the automatic generation and translation service method of the video subtitles may further include the step of reflecting corrections of the specific translated subtitle group in the reverse translation sentences.

상기 동영상 번역자막제공 서비스 방법은, 상기 자막문장에서 특정 위치가 선택되어 수정되는 단계; 및 상기 자막문장의 수정내용을 반영하여, 상기 번역문장 및 상기 역번역문장을 수정하는 단계를 더 포함할 수 있다.The method for providing translated subtitles for a video may include: selecting and modifying a specific position in the subtitle text; and correcting the translated sentence and the reverse-translated sentence by reflecting the corrected content of the subtitle sentence.

상기 자막문장, 상기 번역문장 및 상기 번역문장을 상기 제1 언어로 번역한 역번역문장을 이용자 단말기로 제공하는 단계;providing the subtitle text, the translated text, and a reverse-translated text obtained by translating the translated text into the first language to a user terminal;

상기 동영상 번역자막제공 서비스 방법은, 상기 이용자 단말기를 통하여 상기 번역문장 또는 상기 자막문장을 수정하는 단계; 및 상기 번역문장의 수정사항을 상기 번역문장에 반영하거나, 상기 자막문장의 수정사항을 상기 번역문장 및 상기 역번역문장에 반영하는 단계를 더 포함할 수 있다.The method of providing translated subtitles for a video may include: modifying the translated sentence or the subtitle sentence through the user terminal; and reflecting corrections of the translated sentences in the translated sentences or reflecting corrections of the subtitle sentences in the translated sentences and the reverse-translated sentences.

본 발명에 따른 동영상 번역자막제공 서비스 방법에 따르면, 동영상의 음성신호에 기초하여 자막을 자동 생성하고, 생성된 자막을 동영상 재생시 음성신호에 동기시켜 제공할 수 있다.According to the video translation subtitle providing service method according to the present invention, captions can be automatically generated based on the audio signal of the video, and the generated captions can be provided in synchronization with the audio signal when the video is reproduced.

그리고 본 발명에 따른 동영상 번역자막제공 서비스 방법에 따르면, 동영상의 음성신호에 기초하여 생성된 자막을 자동으로 다른 언어로 번역하여 번역자막을 제공할 수 있다.In addition, according to the method for providing translated subtitles for moving images according to the present invention, subtitles generated based on audio signals of moving images can be automatically translated into other languages to provide translated subtitles.

또한, 본 발명에 따른 동영상 번역자막제공 서비스 방법에 따르면, 동영상의 음성신호에 기초하여 생성되는 자막에 대한 번역자막을 생성하는 과정에서 번역오류를 수정할 수 있다.In addition, according to the method for providing translated subtitles for moving images according to the present invention, it is possible to correct a translation error in the process of generating translated subtitles for subtitles generated based on the audio signal of the moving images.

또한, 본 발명에 따른 동영상 번역자막제공 서비스 방법에 따르면, 동영상의 음성신호에 기초하여 생성되는 자막과 그 번역자막이 표시되는 단위를 자유자재로 조절할 수 있다.In addition, according to the method for providing translated subtitles for moving images according to the present invention, subtitles generated based on audio signals of moving images and the units in which the translated subtitles are displayed can be freely adjusted.

도 1은 본 발명에 따른 동영상 자막/번역자막제공 서비스 방법을 제공하기 위한 서비스 시스템(10)의 구성도이다.
도 2는 본 발명에 따른 동영상 자막/번역자막제공 서비스 방법을 나타내는 흐름도이다.
도 3 내지 도 11은 도 2에 도시된 동영상 자막/번역자막제공 서비스 방법에 따라, 동영상의 자막문장이 제공되는 방식들을 설명하기 위한 도면들이다.
도 3은 서비스 서버(20)에 의하여 자막제공의 대상이 되는 동영상(이하 '타겟 동영상'이라 함)의 음성 신호로부터 자막문장들이 획득되는 것을 나타낸다.
도 4는 도 3의 자막문장 1에 대해 서비스 서버(20)가 생성한 제1 타임테이블을 나타낸다.
도 5는 도 4의 제1 타임테이블에 따라 자막문장 1이 복수의 자막그룹으로 분할된 결과이다.
도 6은 도 5의 복수의 자막그룹이 어절단위로 그루핑되는 방식을 설명하기 위한 도면이다.
도 7은 상술한 본 발명에 따른 동영상 자막/번역자막제공 서비스 방법에 따라, 서비스 서버(20)가 자막문장들을 복수의 자막그룹으로 분할한 다음 이를 이용자 단말기(30)로 제공하는 예를 나타내는 GUI(100)이다.
도 8은 도 7에 도시된 GUI(100)에서 자막 표시단위 설정 영역(131)을 통하여 자막(한글) 표시단위가 "10"에서 "7"로 변경된 경우, 자막문장들에 대한 자막문장 분할 및 디스플레이가 변경되는 것을 나타낸다.
도 9는 도 4의 제1 타임테이블에 따라 자막문장 1이, 자막 표시단위인 "7"에 기초하여, 복수의 자막그룹으로 분할된 결과이고, 도 10은 도 9의 복수의 자막그룹이 어절단위로 그루핑되는 방식을 설명하기 위한 도면이다.
도 11은 본 발명의 다른 실시예에 따라 자막문장 1이 자막 표시단위인 "7"에 기초하여, 복수의 자막그룹으로 분할되는 방식을 설명하기 위한 도면이다.
도 12는 본 발명에 따른 동영상 자막/번역자막제공 서비스 방법에 따라 제공되는 자막을 수정하는 방식의 일예를 나타내는 흐름도이다.
도 13a 내지 도 13d는, 도 12에 도시된, 본 발명에 따른 동영상 자막/번역자막제공 서비스 방법에 따라 제공되는 GUI(100)를 통하여 자막을 수정하는 방법의 일예를 설명하기 위한 것이다.
도 14a 및 14b는, 도 12에 도시된, 본 발명에 따른 동영상 자막/번역자막제공 서비스 방법에 따라 제공되는 GUI(100)를 통하여 자막을 수정하는 방법의 다른 예를 설명하기 위한 것이다.
도 15는, 본 발명에 따른 동영상 자막/번역자막제공 서비스 방법에 따라, 도 13c 상태에서 커서를 이동하여 자막 수정하는 예를 나타낸다.
도 16은 본 발명에 따른 동영상 자막/번역자막제공 서비스 방법을 나타내는 흐름도이다.
도 17은 도 16에 도시된 동영상 자막/번역자막제공 서비스 방법에 따라, 서비스 서버(20)가 번역문장들을 복수의 번역 자막그룹으로 분할한 다음 이를 이용자 단말기(30)로 제공하는 예를 나타내는 GUI(100')이다.
도 18은, 도 16에 도시된 동영상 자막/번역자막제공 서비스 방법에 따라, 자막문장(123)의 수정이 번역문장(124) 및 역번역문장(125)에 반영되는 예를 설명하기 위한 도면이다.
도 19는, 도 16에 도시된 동영상 번역자막제공 서비스 방법에 따라, 자막/번역자막 공통표시 모드(즉, 이중 자막 모드)에서 자막문장과 번역문장이 제공되는 것을 설명하기 위한 GUI(100")이다.
도 20은 본 발명에 따른 동영상 자막/번역자막 제공방법에 따라 자막의 스타일을 설정하기 위한 자막 설정 영역(130)의 일예를 나타낸다.
도 21은 본 발명에 따라 동영상 재생 중 자막을 수정하는 과정의 일예를 설명하기 위한 것이다.
도 22a 및 도 22b는 본 발명에 따른 자막/번역자막 제공 서비스 방법에 따라 자막그룹을 병합하는 예를 나타내는 도면이다.1 is a block diagram of a service system 10 for providing a video caption/translated caption providing service method according to the present invention.
2 is a flowchart illustrating a video caption/translated caption providing service method according to the present invention.
3 to 11 are diagrams for explaining methods in which caption text of a video is provided according to the video caption/translated caption providing service method shown in FIG. 2 .
FIG. 3 shows that caption sentences are obtained from the audio signal of a moving picture to be provided by the service server 20 (hereinafter referred to as a 'target moving picture').
FIG. 4 shows a first timetable generated by the service server 20 for subtitle sentence 1 of FIG. 3 .
FIG. 5 is a result of dividing subtitle sentence 1 into a plurality of subtitle groups according to the first time table of FIG. 4 .
FIG. 6 is a diagram for explaining a method in which a plurality of subtitle groups of FIG. 5 are grouped in units of words.
7 is a GUI showing an example in which the service server 20 divides the subtitle sentences into a plurality of subtitle groups and then provides them to the user terminal 30 according to the above-described method for providing video subtitles/translated subtitles according to the present invention. (100).
FIG. 8 shows the division of subtitle sentences for subtitle sentences when the subtitle (Korean) display unit is changed from “10” to “7” through the subtitle display unit setting area 131 in the GUI 100 shown in FIG. Indicates that the display is changing.
9 is a result of dividing subtitle sentence 1 into a plurality of subtitle groups based on “7”, which is a subtitle display unit, according to the first time table of FIG. 4 , and FIG. It is a diagram for explaining a method of grouping in units.
11 is a diagram for explaining a method in which subtitle sentence 1 is divided into a plurality of subtitle groups based on "7", which is a subtitle display unit, according to another embodiment of the present invention.
12 is a flowchart illustrating an example of a method of modifying subtitles provided according to the method for providing video subtitles/translated subtitles according to the present invention.
13A to 13D are for explaining an example of a method of modifying a subtitle through the GUI 100 provided according to the method for providing video subtitles/translated subtitles according to the present invention shown in FIG. 12 .
14A and 14B are for explaining another example of a method of modifying a subtitle through the GUI 100 provided according to the method for providing video subtitles/translated subtitles according to the present invention, shown in FIG. 12 .
FIG. 15 shows an example of correcting subtitles by moving the cursor in the state of FIG. 13C according to the method for providing video subtitles/translated subtitles according to the present invention.
16 is a flowchart illustrating a video caption/translated caption providing service method according to the present invention.
FIG. 17 is a GUI showing an example in which the service server 20 divides the translated sentences into a plurality of translated subtitle groups and then provides them to the user terminal 30 according to the video subtitle/translated subtitle providing service method shown in FIG. 16 . (100').
18 is a diagram for explaining an example in which the correction of the subtitle sentence 123 is reflected in the translated sentence 124 and the reverse translated sentence 125 according to the video subtitle/translated subtitle providing service method shown in FIG. 16 . .
19 is a GUI 100" for explaining that subtitle sentences and translated sentences are provided in the subtitle/translated subtitle common display mode (ie, double subtitle mode) according to the video translated subtitle providing service method shown in FIG. 16 . to be.
20 shows an example of a subtitle setting area 130 for setting a style of a subtitle according to the method of providing subtitles/translated subtitles for a video according to the present invention.
21 is for explaining an example of a process of correcting subtitles during video playback according to the present invention.
22A and 22B are diagrams illustrating examples of merging subtitle groups according to the method for providing subtitles/translated subtitles according to the present invention.

본 발명과 본 발명의 동작상 또는 기능상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.In order to fully understand the present invention, the operational or functional advantages of the present invention, and the objects achieved by the practice of the present invention, reference should be made to the accompanying drawings illustrating preferred embodiments of the present invention and the contents described in the accompanying drawings.

이하, 첨부도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낼 수 있다.Hereinafter, the present invention will be described in detail by describing preferred embodiments of the present invention with reference to the accompanying drawings. The same reference numerals provided in the respective drawings may refer to the same members.

도 1은 본 발명에 따른 동영상 자막/번역자막제공 서비스 방법을 제공하기 위한 서비스 시스템(10)의 구성도이다. 상기 서비스 시스템(10)은 서비스 서버(20), 이용자 단말기(30), 동영상 제공 서버(40), 소비자 단말기(50) 및 회원 단말기(60)를 포함한다.1 is a block diagram of a service system 10 for providing a video caption/translated caption providing service method according to the present invention. The service system 10 includes a service server 20 , a user terminal 30 , a video providing server 40 , a consumer terminal 50 , and a member terminal 60 .

상기 서비스 서버(20)는 상기 이용자 단말기(30)로부터 요청받은 동영상의 음성신호를 STT(Speech To Text) 변환하여 자막을 생성하고, 상기 자막을 상기 동영상의 음성신호에 동기시켜 제공하도록 설정할 수 있다. 이용자는 이러한 설정 결과를 상기 동영상 제공 서버(40)로 업로드할 수 있다.The service server 20 may be set to convert the voice signal of the moving picture requested from the user terminal 30 to STT (Speech to Text) to generate a subtitle, and to synchronize the subtitle with the voice signal of the moving picture. . The user may upload the setting result to the video providing server 40 .

상기 동영상은 상기 이용자 단말기(30)에 저장되어 있는 것일 수도 있고, 상기 이용자 단말기(30)가 아니나 상기 이용자 단말기(30)로부터 지정되는 경로(예컨대, 유튜브 동영상의 URL)에 저장된 것일 수도 있다.The video may be stored in the user terminal 30 or may be stored in a path (eg, URL of a YouTube video) that is not the user terminal 30 but is designated from the user terminal 30 .

상기 서비스 서버(20)는 상기 이용자 단말기(30)로부터 요청받은 동영상에 대한 자막을 다른 종류의 언어로 번역한 번역자막을 상기 동영상의 재생에 맞추어 출력하도록 설정할 수 있다. 즉, 상기 서비스 서버(20)는 상기 번역자막이 원래의 자막이 제공될 시간에 매칭되어 제공되도록 설정할 수 있다. 이용자는 이러한 설정 결과를 상기 동영상 제공 서버(40)로 업로드할 수 있다.The service server 20 may set to output the translated subtitles obtained by translating the subtitles for the moving images requested from the user terminal 30 into other languages according to the playback of the moving images. That is, the service server 20 may set the translated subtitles to match and provide the original subtitles at a time when the subtitles are to be provided. The user may upload the setting result to the video providing server 40 .

그러므로 상기 서비스 서버(20)의 이용자는 대상 동영상을 상기 서비스 서버(20)로 제공하여 요청하는 것만으로 동영상에 대한 자막 및 번역자막을 용이하게 획득할 수 있다. 물론, 상기 이용자 단말기(30)를 통하여 상기 서비스 서버(20)에 의하여 획득된 동영상의 자막 또는 번역 자막에 대한 수정, 편집 등이 이루어질 수도 있다.Therefore, the user of the service server 20 can easily obtain subtitles and translated subtitles for the video by providing the target video to the service server 20 and making a request. Of course, correction, editing, etc. of subtitles or translated subtitles of the video acquired by the service server 20 may be performed through the user terminal 30 .

한편, 상기 서비스 서버(20)는 자막과 번역자막이 동영상과 함께 제공되는 경우, 설정에 따라 상기 자막과 번역자막이 표시되는 단위를 조절할 수 있다. 예컨대, 상기 서비스 서버(20)는 한 번에 표시되는 자막과 번역자막의 글자수를 독립적으로 조절할 수 있다. 이에 대해서는 향후 보다 상세히 살펴본다.Meanwhile, when subtitles and translated subtitles are provided together with a moving picture, the service server 20 may adjust the display unit of the subtitles and translated subtitles according to settings. For example, the service server 20 may independently adjust the number of characters of the subtitles and the translated subtitles displayed at a time. This will be looked at in more detail in the future.

상기 동영상 제공 서버(40)는, 유튜브(youtube)와 같이, 동영상 제공 서비스를 수행하는 서버일 수 있다. 상기 서비스 서버(20)는 상기 이용자 단말기(30)의 요청에 따라 동영상과 함께 그에 매칭되어 있는 자막 및 번역자막을 상기 동영상 제공 서버(40)로 업로드할 수 있다.The video providing server 40 may be a server that performs a video providing service, such as YouTube. The service server 20 may upload the subtitles and translated subtitles matched thereto along with the moving image to the moving image providing server 40 according to the request of the user terminal 30 .

그러면 상기 동영상 제공 서버(40)는, 상기 소비자 단말기(50)의 요청에 응답하여 업로드된 동영상을 매칭된 자막 및 번역자막과 함께 상기 소비자 단말기(50)로 제공할 수 있다. 물론, 상기 소비자 단말기(50)의 요청에 따라 동영상의 자막 및 번역자막의 제공여부는 선택적일 수 있다.Then, the video providing server 40 may provide the uploaded video to the consumer terminal 50 in response to the request of the consumer terminal 50 together with matched subtitles and translated subtitles. Of course, whether or not to provide subtitles and translated subtitles of the video according to the request of the consumer terminal 50 may be optional.

이상에서 살펴본 바와 같이, 본 발명은 기본적으로 상기 서비스 서버(20)에 의하여 수행되는 동영상에 대한 자막의 획득과 그 제공에 대한 설정방법에 관한 것이며, 나아가 자막에 대한 번역자막의 획득과 그 제공방식에 대한 설정방법에 관한 것이다.As described above, the present invention basically relates to a method of obtaining and providing a subtitle for a moving picture performed by the service server 20, and furthermore, a method of obtaining and providing translated subtitles for a subtitle It is about the setting method for .

만약, 상기 이용자 단말기(30)에 상술한 서비스 서버(20)의 기능 또는 역할을 수행하기 위한 소프트웨어가 탑재되어 있으면, 동영상의 자막 및 번역자막의 획득은 상기 이용자 단말기(30)에서 이루어질 수 있다. 이때에는 동영상과 그에 매칭된 자막 및 번역자막의 상기 동영상 제공 서버(40)로의 업로드는 상기 이용자 단말기(30)에 의하여 이루어질 수도 있다.If the user terminal 30 is equipped with software for performing the function or role of the service server 20 described above, the acquisition of subtitles and translated subtitles of the video may be performed in the user terminal 30 . In this case, the upload of the video and the subtitles and translated subtitles matched thereto to the video providing server 40 may be performed by the user terminal 30 .

한편, 상기 회원 단말기(60)는 상기 이용자 단말기(30)와 같이 동영상에 대한 자막 서비스를 제공받기 위하여 등록한 회원의 단말기일 수 있다. 그리고 상기 회원 단말기(60)는 상기 서비스 서버(20)와의 연동을 통하여 상기 서비스 서버(20)에서 제공하는 자막 및 번역자막 서비스의 수행과 관련된 기능을 수행할 수도 있다.Meanwhile, like the user terminal 30 , the member terminal 60 may be a terminal of a member registered to receive a caption service for a video. In addition, the member terminal 60 may perform functions related to the execution of subtitles and translated subtitle services provided by the service server 20 through interworking with the service server 20 .

예컨대, 상기 회원 단말기(60)는 상기 서비스 서버(20)에 의하여 획득된 동영상의 자막 또는 번역 자막에 대한 수정, 편집 등의 보조적 역할을 수행할 수 있다. 이때, 이러한 역할을 수행에 대해서는 상기 이용자 단말기(30) 및/또는 상기 서비스 서버(20)에 의하여 미리 설정되어 있는 보상이 상기 회원 단말기(60)로 제공될 수 있다.For example, the member terminal 60 may perform an auxiliary role, such as correcting or editing subtitles or translated subtitles of a video obtained by the service server 20 . In this case, for performing such a role, a reward preset by the user terminal 30 and/or the service server 20 may be provided to the member terminal 60 .

도 2는 본 발명에 따른 동영상 자막/번역자막제공 서비스 방법을 나타내는 흐름도이다.2 is a flowchart illustrating a video caption/translated caption providing service method according to the present invention.

먼저, 서비스 서버(20)는 이용자 단말기(30)의 요청에 따라 제공되는 동영상의 제1 언어 음성신호를 STT 변환하여 자막문장을 획득한다(S100). 상기 동영상은 상기 서비스 서버(20)에 접속한 이용자 단말기(30)에 저장된 것일 수 있고, 상기 이용자 단말기(30)에서 지정한 인터넷주소에 저장된 동영상(예컨대, 유튜브 동영상)일 수도 있다.First, the service server 20 obtains a caption sentence by STT-converting the first language audio signal of the video provided in response to the request of the user terminal 30 (S100). The video may be stored in the user terminal 30 connected to the service server 20 or may be a video (eg, YouTube video) stored in an Internet address designated by the user terminal 30 .

자막문장이 획득되면, 상기 서비스 서버(20)는 상기 자막문장의 각 어절에 대해 대응되는 음성신호 부분의 시작시간정보 및 종료시간정보를 매칭시켜 제1 타임테이블을 생성한다(S110). 그런 다음, 상기 서비스 서버(20)는 상기 자막문장에 대해 설정된 자막 표시단위에 기초하여 상기 자막문장을 상기 제1 언어의 어절단위로 그루핑된 복수의 자막그룹으로 분할한다(S120).When the subtitle sentence is obtained, the service server 20 generates a first time table by matching the start time information and the end time information of the audio signal part corresponding to each word of the subtitle sentence (S110). Then, the service server 20 divides the subtitle sentence into a plurality of subtitle groups grouped by word units of the first language based on the subtitle display unit set for the subtitle sentence (S120).

여기서 상기 제1 언어의 어절단위라 함은 상기 제1 언어의 띄어쓰기 단위일 수 있다. 그리고 상기 복수의 자막그룹은 상기 자막문장에 포함된 복수의 어절 중 적어도 하나의 어절을 포함할 수 있다.Here, the word unit of the first language may be a spacing unit of the first language. In addition, the plurality of subtitle groups may include at least one word among a plurality of words included in the subtitle sentence.

상기 자막 표시단위는 상기 이용자 단말기(30)에 의하여 설정된 것일 수 있고, 상기 서비스 서버(20)에 의하여 디폴트로 설정된 것일 수도 있다. 그리고 상기 자막 표시단위는 향후 최종 자막이 획득된 다음에 변경될 수도 있다.The subtitle display unit may be set by the user terminal 30 or may be set as a default by the service server 20 . In addition, the subtitle display unit may be changed after the final subtitle is acquired.

상기 자막표시 단위는 상기 제1 언어의 글자 단위의 배수일 수 있다. 예컨대, 상기 자막표시 단위는, 상기 제1 언어가 한국어인 경우에는 자음과 모음으로 이루어진 글자의 개수일 수 있고, 상기 제1 언어가 영어인 경우에는 알파벳 개수일 수 있고, 상기 제1 언어가 중국어인 경우에는 한자 한글자의 개수일 수 있다.The subtitle display unit may be a multiple of a character unit of the first language. For example, the subtitle display unit may be the number of characters consisting of consonants and vowels when the first language is Korean, and may be the number of alphabets when the first language is English, and the first language is Chinese. In the case of , it may be the number of Chinese and Korean characters.

상기 자막 표시단위는 숫자를 제1 언어의 글자 단위로 취급할 수 있다. 상기 자막 표시단위는 띄어쓰기 위한 공란이나 부호를 포함할 수도 있고 그렇지 않을 수도 있다.The subtitle display unit may treat a number as a character unit of the first language. The subtitle display unit may or may not include spaces or symbols for spacing.

상기 자막문장을 복수의 자막그룹으로 분할한 다음, 상기 서비스 서버(20)는 상기 복수의 자막그룹 각각에 대한 시작시간정보 및 종료시간정보를 포함하는 제2 타임테이블을 생성한다(S130). 상기 제2 타임테이블에서 특정 자막그룹의 시작시간정보는 상기 특정 자막그룹에 포함되는 복수의 어절 중 첫 어절의 시작시간정보일 수 있고, 상기 특정 자막그룹의 종료시간정보는 상기 특정 자막그룹에 복수의 어절 중 마지막 어절의 종료시간정보일 수 있다. After dividing the subtitle sentence into a plurality of subtitle groups, the service server 20 generates a second timetable including start time information and end time information for each of the plurality of subtitle groups (S130). In the second time table, the start time information of a specific subtitle group may be start time information of a first word among a plurality of words included in the specific subtitle group, and the end time information of the specific subtitle group includes a plurality of words in the specific subtitle group. It may be end time information of the last word of the word.

한편, 복수의 자막그룹 각각에 포함되는 어절들의 시작시간정보와 종료시간정보는 상기 제1 타임테이블로부터 획득될 수 있다. 만약, 특정 자막그룹에 하나의 특정 어절만 포함되는 경우, 상기 특정 자막그룹의 시작시간정보와 종료시간정보는 상기 제1 타임테이블에서 상기 특정 어절의 시작시간정보와 종료시간정보일 수 있다.Meanwhile, start time information and end time information of words included in each of the plurality of subtitle groups may be obtained from the first time table. If only one specific word is included in a specific subtitle group, the start time information and end time information of the specific subtitle group may be start time information and end time information of the specific word in the first time table.

상기 제2 타임테이블이 생성된 다음, 상기 서비스 서버(20)는 상기 동영상이 재생되는 경우, 상기 복수의 자막그룹을 자막그룹 단위로 상기 제2 타임테이블에 따라 상기 동영상의 음성신호에 동기시켜 순차적으로 표시하도록 설정한다(S140). After the second time table is generated, when the moving picture is played, the service server 20 synchronizes the plurality of subtitle groups with the audio signal of the moving picture according to the second time table in units of subtitle groups in sequence. It is set to display as (S140).

그러면, 사용자는 상술한 과정에 따른 동영상에 대한 자막 설정 결과를 상기 동영상 제공 서버(40)에 업로드할 수 있으며, 소비자는 상기 동영상 제공 서버(40)를 통하여 상기 동영상의 재생되면 설정에 따른 자막을 제공받을 수 있다.Then, the user can upload the result of setting the caption for the video according to the above-described process to the video providing server 40, and the consumer can display the caption according to the setting when the video is played through the video providing server 40 can be provided

상기 음성신호에 상기 복수의 자막그룹을 동기시키는 방법에는 여러 가지가 있을 수 있다. 첫 번째, 특정 자막그룹을 한 번에 화면에 표시한 다음 대응되는 음성신호 부분이 출력되는 동안 화면에 표시할 수 있다. 두 번째, 특정 자막 그룹을 첫 번째와 같이 표시한 다음 출력되는 음성신호 부분에 대응되는 어절을 다르게 표시할 수 있다. 그러나 본 발명의 범위가 상술한 예들로 한정되는 것은 아니다.There may be various methods for synchronizing the plurality of subtitle groups with the audio signal. First, a specific group of subtitles can be displayed on the screen at once, and then displayed on the screen while the corresponding audio signal part is output. Second, a specific subtitle group may be displayed as in the first, and then words corresponding to a portion of an output audio signal may be displayed differently. However, the scope of the present invention is not limited to the above-described examples.

도 3 내지 도 11은 도 2에 도시된 동영상 번역자막제공 서비스 방법에 따라, 동영상의 자막문장이 제공되는 방식들을 설명하기 위한 도면들이다.3 to 11 are diagrams for explaining methods of providing caption sentences of a video according to the method of providing translated captions for a video illustrated in FIG. 2 .

도 3은 서비스 서버(20)에 의하여 자막제공의 대상이 되는 동영상(이하 '타겟 동영상'이라 함)의 음성 신호로부터 자막문장들이 획득되는 것을 나타낸다.FIG. 3 shows that caption sentences are obtained from the audio signal of a moving picture to be provided by the service server 20 (hereinafter referred to as a 'target moving picture').

자막문장에는 대응되는 음성신호 문장의 시작/종료시간정보가 매칭된다. 이는 상기 자막문장이 상기 대응되는 음성신호 문장의 제공이 시작되고 종료되는 시간에 기초하여 자막으로 제공되는 것을 의미한다. 도면에 도시되지는 않았으나, 자막문장을 구성하는 어절들 각각은 음성신호 문장에서 대응되는 어절의 시작/종료시간정보에 매칭된다.Start/end time information of the corresponding voice signal sentence is matched to the subtitle sentence. This means that the subtitle sentence is provided as a subtitle based on the time when the provision of the corresponding audio signal sentence starts and ends. Although not shown in the drawing, each of the words constituting the subtitle sentence is matched with the start/end time information of the corresponding word in the voice signal sentence.

참고로 자막문장 1에는 STT 변환에 오류가 없으나, 자막문장 2에서는 2 부분의 STT 변환 오류 "이후 --> 유"와 "소통수단을 --> 소통수단 해"가 있는 것을 알 수 있다. 그리고 설명의 편의를 위하여 도 3에서는 마침표나 쉼표 등의 부호는 생략하였다. 그러나 본 발명의 다른 구현예에서는 이러한 부호가 포함될 수도 있다. 이는 자막문장뿐만 아니라 향후 살펴볼 번역자막문장에서도 마찬가지이다.For reference, there is no error in STT conversion in subtitle sentence 1, but it can be seen that in subtitle sentence 2 there are two STT conversion errors "After --> Yes" and "Means of communication --> Solve the means of communication". And for convenience of explanation, symbols such as periods and commas are omitted in FIG. 3 . However, in other embodiments of the present invention, these symbols may be included. This is true not only for subtitle sentences, but also for translated subtitle sentences that will be discussed in the future.

이하에서는 자막문장 1을 대상으로 하여 자막문장이 복수의 자막그룹으로 나누어져 제공되도록 설정되는 과정을 보다 구체적으로 살펴보고, 향후에는 자막문장 2의 오류를 수정하는 방법에 대해서도 살펴본다.Hereinafter, with respect to subtitle sentence 1, a process in which the subtitle sentence is divided into a plurality of subtitle groups and set to be provided will be described in more detail, and a method of correcting an error in subtitle sentence 2 will be described in the future.

도 4는 도 3의 자막문장 1에 대해 서비스 서버(20)가 생성한 제1 타임테이블을 나타낸다.FIG. 4 shows a first timetable generated by the service server 20 for subtitle sentence 1 of FIG. 3 .

도 4를 참조하면, 상기 제1 타임테이블에는 자막문장의 각 어절에 대해 시작/종료시간정보가 매칭되어 있는 것을 알 수 있다. 상기 각 어절의 시작/종료시간정보는 음성신호에서 대응되는 어절의 시간/종료시간정보에 대응된다. 한편, 도 4의 타임테이블에서는 초 단위의 소수점까지 상세히 제공되어 있으나, 향후 이를 활용하는 예들에서는 특별한 경우가 아니면 초 단위의 소수점은 생략한다.Referring to FIG. 4 , it can be seen that start/end time information for each word of a subtitle sentence is matched in the first time table. The start/end time information of each word corresponds to time/end time information of a corresponding word in the voice signal. Meanwhile, in the timetable of FIG. 4 , even the decimal point in units of seconds is provided in detail, but in future examples using this, the decimal point in units of seconds is omitted unless there is a special case.

도 5는 도 4의 제1 타임테이블에 따라 자막문장 1이, 자막 표시단위인 한글 "10글자"에 기초하여, 복수의 자막그룹으로 분할된 결과이고, 도 6은 도 5의 복수의 자막그룹이 어절단위로 그루핑되는 방식을 설명하기 위한 도면이다.FIG. 5 is the result of dividing subtitle sentence 1 into a plurality of subtitle groups based on the Korean “10 characters”, which is the subtitle display unit, according to the first time table of FIG. 4 , and FIG. 6 is the plurality of subtitle groups of FIG. 5 It is a diagram for explaining the method of grouping in units of words.

참고로, 적용되는 자막 표시단위에서 어절 사이의 띄어쓰기 부분은 자막 표시단위를 구성하는 한글 글자단위 배수에서 제외된다. 자막표시 단위에 따라 자막문장 1은 자막그룹 1 내지 자막그룹 3으로 분할되는데, 각 자막그룹은 시작/종료시간정보는 첫 번째 어절의 시작시간정보와 마지막 어절의 종료시간정보에 해당된다. 이는 향후 살펴볼 예들에도 동일하게 적용될 수 있다.For reference, the space between words in the applied subtitle display unit is excluded from the multiple of Hangul character units constituting the subtitle display unit. Subtitle sentence 1 is divided into subtitle group 1 to subtitle group 3 according to the subtitle display unit. In each subtitle group, start/end time information corresponds to start time information of the first word and end time information of the last word. This can be equally applied to examples to be considered in the future.

자막그룹 1과 자막그룹 2는 한글 10글자로 이루어져 있으나, 자막그룹 3은 4번째 어절에서 한글 10글자를 넘어 한글 13글자로 이루어진다. 이는 한글 10글자를 정확히 적용할 경우 자막그룹 3은 "그야말로 ... 자체였"으로 마무리가 되고, "습니다"는 다음 자막그룹 4에 포함되는 부자연스러운 결과를 방지하기 위함이다.Subtitle group 1 and subtitle group 2 consist of 10 Korean characters, but subtitle group 3 consists of 13 Korean characters beyond 10 Korean characters in the fourth word. This is to prevent the unnatural result of being included in the next subtitle group 4 with "it was" and "it was ... itself" in subtitle group 3 when exactly 10 Korean characters are applied.

즉, 본 발명에서는 자막문장을 복수의 자막그룹으로 분할함에 있어서, 자막 표시단위에 따른 마지막 위치가 특정 어절의 특정 글자까지인 경우에는, 특정 어절까지를 하나의 자막그룹으로 그루핑하는 것을 특징으로 한다. 예컨대, 자막그룹 3에서 자막 표시단위에 따른 마지막 위치가 4번째 어절의 첫 글자인 "자"인 경우를 가정하더라도 자막그룹 3은 "자체였습니다" 전체를 포함하도록 그루핑되는 것이다.That is, in the present invention, in dividing a subtitle sentence into a plurality of subtitle groups, when the last position according to the subtitle display unit is up to a specific letter of a specific word, it is characterized in that up to the specific word is grouped into one subtitle group. . For example, in subtitle group 3, even if it is assumed that the last position according to the subtitle display unit is “character”, which is the first letter of the fourth word, subtitle group 3 is grouped to include the entirety of “it was itself”.

도 7은 상술한 본 발명에 따른 동영상 자막/번역자막제공 서비스 방법에 따라, 서비스 서버(20)가 자막문장들을 복수의 자막그룹으로 분할한 다음 이를 이용자 단말기(30)로 제공하는 예를 나타내는 GUI(100)이다. 보다 구체적으로 상기 GUI(100)는 한글자막 제공관련 편집, 설정 등을 위한 것이다.7 is a GUI showing an example in which the service server 20 divides the subtitle sentences into a plurality of subtitle groups and then provides them to the user terminal 30 according to the above-described method for providing video subtitles/translated subtitles according to the present invention. (100). More specifically, the GUI 100 is for editing, setting, etc. related to providing Korean subtitles.

상기 GUI(100)는 제1 영역(110), 제2 영역(120) 및 제3 영역(130)을 포함한다. 상기 제1 영역(110)에는 동영상(111)과 자막(112)이 표시될 수 있다. 상기 제1 영역(110)에서, 자막은, 자막문장을 복수의 자막그룹으로 나누고 나누어진 자막그룹을 음성신호에 동기시켜 출력하는 형태로 제공될 수 있다.The GUI 100 includes a first area 110 , a second area 120 , and a third area 130 . A moving picture 111 and a subtitle 112 may be displayed in the first area 110 . In the first region 110 , the subtitles may be provided in the form of dividing a subtitle sentence into a plurality of subtitle groups and outputting the divided subtitle group in synchronization with an audio signal.

상기 제2 영역(120)에는 자막문장을 구성하는 자막그룹 리스트를 시간순으로 나열되어 표시될 수 있다. 이때, 자막그룹 각각에는 대응되는 시작/종료시간정보가 함께 제공될 수 있다. 상기 제2 영역(120)은 자막그룹 리스트를 제공하는 자막 제공 영역(121), 자막의 종류를 선택하기 위한 자막 선택 영역(122)을 포함한다.In the second area 120 , a list of subtitle groups constituting a subtitle sentence may be displayed in chronological order. In this case, corresponding start/end time information may be provided together with each subtitle group. The second area 120 includes a caption providing area 121 providing a caption group list and a caption selection area 122 for selecting a type of caption.

도 7은 상기 제1 영역(110)에는 자막 문장 1의 자막그룹 1이 제공되고 있고, 상기 제2 영역(120)에 표시된 자막그룹 리스트 중 자막문장 1의 자막그룹 1이 다른 자막그룹과는 식별되도록 음영처리된 것을 나타낸다. 이후 상기 제1 영역(110)에 자막그룹 2가 제공되는 경우에는 상기 제2 영역(120)에서는 상기 자막그룹 2가 음영처리된다.7 shows that subtitle group 1 of subtitle sentence 1 is provided in the first region 110, and subtitle group 1 of subtitle sentence 1 is identified from other subtitle groups in the subtitle group list displayed in the second region 120. Shaded as much as possible. Thereafter, when the caption group 2 is provided in the first area 110 , the caption group 2 is shaded in the second area 120 .

그리고 상기 제1 영역(110)에서 상기 자막그룹 1의 첫 번째 어절 "지난"은 음영 처리되어 있는데, 이는 음성신호에 동기된 어절임을 나타내는 것으로, 현재 동영상과 함께 음성신호 "지난"이 출력되고 있는 것을 나타낸다. 이때, 상기 제2 영역(120)에서도 자막그룹 1(121-1)의 어절 "지난"이 음영처리된다.And in the first area 110, the first word "past" of the subtitle group 1 is shaded, indicating that it is a word synchronized with the audio signal, and the audio signal "past" is output together with the current video. indicates that At this time, even in the second area 120 , the word “past” of the subtitle group 1 121-1 is shaded.

음영처리는 음성신호에 동기되어 수행되므로, 상기 제1 영역(110)에서 음절 "지난"에 대해 음영처리 상태가 유지되는 시간은 음성신호 "지난"의 시작/종료시간정보에 대응되는 "00:05 - 00:06" 초 동안이다(도 4 참조). 이는 상기 제2 영역(120)에서도 마찬가지이다.Since the shading is performed in synchronization with the voice signal, the time during which the shading state is maintained for the syllable “past” in the first region 110 is “00: 05 - 00:06" seconds (see Figure 4). This is also the case in the second region 120 .

그 후 동영상이 계속 재생되면, 음성신호에 동기되어 두 번째 음절 "2007"년"이 음영처리된 다음 세 번째 음절 "스티브"가 음영처리될 것이다. 이들의 음영처리 유지시간 역시 대응되는 음성신호의 출력시간에 매칭되어 있다. 이 또한, 상기 제2 영역(120)에서도 마찬가지이다.After that, if the moving picture continues to be played, the second syllable “2007” will be shaded in synchronization with the audio signal, and then the third syllable “Steve” will be shaded. It is matched with the output time, which is also the same in the second area 120 .

상기 제3 영역(130)은 자막으로 제공되는 문자에 대해 굵기, 기울기, 밑줄, 하이일라이트 등의 효과를 부여하거나, 상기 제1 영역(110)에서 자막이 표시되는 영역을 조정할 수 있는 자막 스타일링 영역이다. 그리고 상기 제3 영역(130)은 자막표시 단위를 설정 또는 변경하기 위한 자막 표시단위 설정 영역(131)을 포함할 수 있다. 상기 제3 영역(130)에 대해서는 향후 별도의 도면을 통하여 보다 상세히 살펴본다.In the third region 130 , effects such as thickness, inclination, underline, and highlighting are applied to characters provided as subtitles, or subtitle styling capable of adjusting the region in which subtitles are displayed in the first region 110 . is the area In addition, the third area 130 may include a caption display unit setting area 131 for setting or changing a caption display unit. The third region 130 will be described in more detail later through a separate drawing.

도 8은 도 7에 도시된 GUI(100)에서 자막 표시단위 설정 영역(131)을 통하여 자막(한글) 표시단위가 "10"에서 "7"로 변경된 경우, 자막문장들에 대한 자막문장 분할 및 디스플레이가 변경되는 것을 나타낸다. 참고로, 본 발명에서 자막 표시단위의 변경은 한글의 글자단위의 배수를 변경하는 것을 의미한다.FIG. 8 shows the division of subtitle sentences for subtitle sentences when the subtitle (Korean) display unit is changed from “10” to “7” through the subtitle display unit setting area 131 in the GUI 100 shown in FIG. Indicates that the display is changing. For reference, in the present invention, changing the subtitle display unit means changing the multiple of the character unit of Hangul.

도 9는 도 4의 제1 타임테이블에 따라 자막문장 1이, 자막 표시단위인 "7"에 기초하여, 복수의 자막그룹으로 분할된 결과이고, 도 10은 도 9의 복수의 자막그룹이 어절단위로 그루핑되는 방식을 설명하기 위한 도면이다.9 is a result of dividing subtitle sentence 1 into a plurality of subtitle groups based on “7”, which is a subtitle display unit, according to the first time table of FIG. 4 , and FIG. It is a diagram for explaining a method of grouping in units.

자막그룹 1은 자막 표시단위에 따른 위치가 2개의 어절의 마지막에 해당되므로 상기 2개의 어절로 그루핑된다. 그러나 자막그룹 2 내지 자막그룹 4 각각은 자막 표시단위에 따른 위치가 마지막 어절의 특정 글자까지이므로 마지막 어절까지 포함하는 것으로 그루핑된다. Subtitle group 1 is grouped into the two words because the position according to the subtitle display unit corresponds to the last of the two words. However, since the subtitle group 2 to the subtitle group 4 each have a position according to the subtitle display unit up to a specific character of the last word, they are grouped as including the last word.

이는 앞서 도 5 및 도 6을 참조하여 설명한 바와 같은 방식이다. 한편, 자막문장 2의 경우에도 이러한 방식에 의하여 복수의 자막그룹으로 분할되어 제공된다.This is the same method as previously described with reference to FIGS. 5 and 6 . On the other hand, even in the case of subtitle sentence 2, it is divided into a plurality of subtitle groups and provided in this way.

도 11은 본 발명의 다른 실시예에 따라 자막문장 1이 자막 표시단위인 "7"에 기초하여, 복수의 자막그룹으로 분할되는 방식을 설명하기 위한 도면이다.11 is a diagram for explaining a method in which subtitle sentence 1 is divided into a plurality of subtitle groups based on "7", which is a subtitle display unit, according to another embodiment of the present invention.

자막그룹 1은 7글자로 이루어진 2개의 어절로 그루핑된다. 자막그룹 1에 이어지는 자막그룹 2는 자막 표시단위에 따른 마지막 위치가 어절 "선보인"의 "선"까지이다. 그러나 "선"까지의 글자수가 어절에서의 글자수의 1/2 미만이므로 자막그룹 2는 이전 어절까지를 그루핑한 2개의 어절 "스티브 잡스가"로 그루핑된다.Subtitle group 1 is grouped into two words consisting of 7 letters. In subtitle group 2 following subtitle group 1, the last position according to the subtitle display unit is up to the "line" of the word "introduced". However, since the number of letters up to "line" is less than 1/2 of the number of letters in the word, subtitle group 2 is grouped with two words "Steve Jobs" grouped up to the previous word.

자막그룹 3 및 4는 자막 표시단위에 "7"에 따라 7글자로 이루어진 2개의 어절과 3개의 어절로 그루핑된다. 한편, 자막그룹 5의 경우 6개의 글자로 마무리된다. 자막문장 5는 자막문장 1의 마지막 어절이므로 자막 표시단위에 따른 글자수 카운팅은 마무리된다. 왜냐하면, 그 다음은 자막문장 2에 해당되기 때문에 새로운 카운팅이 시작되어야 하기 때문이다.Subtitle groups 3 and 4 are grouped into 2 words and 3 words consisting of 7 letters according to "7" in the subtitle display unit. On the other hand, in the case of subtitle group 5, it ends with 6 characters. Since subtitle sentence 5 is the last word of subtitle sentence 1, counting the number of characters according to the subtitle display unit is completed. This is because a new counting has to start because the next one corresponds to subtitle sentence 2.

도 11을 참조하여 살펴본 자막문장 분할 방식을 요약하면 다음과 같다.The method of dividing subtitle sentences examined with reference to FIG. 11 is summarized as follows.

(1) 자막문장에서 자막 표시단위에 따른 마지막 위치가 특정 어절의 특정 글자까지인데, 상기 특정 어절에서 상기 특정 글자까지의 글자수가 상기 특정 어절의 글자수의 1/2 이상이면, 상기 특정 어절까지를 하나의 자막그룹으로 그루핑한다.(1) In a subtitle sentence, the last position according to the subtitle display unit is up to a specific letter of a specific word. are grouped into one subtitle group.

(2) 그러나, 상기 특정 어절에서 상기 특정 글자까지의 글자수가 상기 특정 어절의 글자수의 1/2 미만이면 상기 특정 어절 이전의 어절까지를 하나의 자막그룹으로 그루핑한다.(2) However, if the number of characters from the specific word to the specific word is less than 1/2 of the number of characters of the specific word, up to the word before the specific word is grouped as one subtitle group.

도 12는 본 발명에 따른 동영상 자막/번역자막제공 서비스 방법에 따라 제공되는 자막을 수정하는 방식의 일예를 나타내는 흐름도이다. 12 is a flowchart illustrating an example of a method of modifying subtitles provided according to the method for providing video subtitles/translated subtitles according to the present invention.

타겟 동영상에 대한 음성신호 분석을 통하여 자막문장이 획득된 다음, 이용자 단말기(30)에 의하여 상기 타겟 동영상이 재생되면, 상기 이용자 단말기(30)의 GUI(100)를 통하여 자막문장이 복수의 자막그룹으로 분할되어 음성신호에 동기되어 순차적으로 표시된다(S200).When the target video is reproduced by the user terminal 30 after the caption text is obtained through audio signal analysis for the target video, the caption text is displayed in a plurality of caption groups through the GUI 100 of the user terminal 30 . are displayed sequentially in synchronization with the voice signal (S200).

이와 같은 동영상 재생 중 GUI(100)에서 동영상과 자막이 표시되는 제1 영역(110)과 자막문자의 자막그룹 리스트가 시간순으로 나열되어 표시되는 제2 영역(120) 중 어느 하나에서, 특정 자막그룹의 특정 어절이 선택된다(S210). In any one of the first area 110 in which the video and subtitles are displayed and the second area 120 in which the subtitle group list of subtitle characters are arranged in chronological order in the GUI 100 during the reproduction of the video, a specific subtitle group A specific word is selected (S210).

상기 특정 어절의 선택은 마우스를 이용한 클릭, 터치스크린을 통한 터치, 키보드의 특정 키조작 등에 의하여 이루어질 수 있다. 상기 특정 어절의 선택의 일예로, 상기 특정 어절이 음성신호에 동기되어 있는 상태에서 키보드를 통하여 특정키(예컨대, 엔터키) 조작이 포함될 수 있다. The selection of the specific word may be made by clicking using a mouse, touching through a touch screen, operating a specific key on a keyboard, and the like. As an example of selection of the specific word, manipulation of a specific key (eg, enter key) through a keyboard in a state in which the specific word is synchronized with a voice signal may be included.

그리고 상기 제1 영역(110) 및 상기 제2 영역(120) 중 어느 하나에서 상기 특정 어절이 선택되면, 상기 제1 영역(110) 및 상기 제2 영역(120) 중 나머지 하나에서도 대응되는 특정 어절이 선택될 수 있다.And when the specific word is selected in any one of the first area 110 and the second area 120 , the specific word corresponding to the other one of the first area 110 and the second area 120 also can be chosen.

상기 특정 어절이 선택되면, 동영상의 재생은 중단되며, 자막 수정기능이 활성화된다(S220). 이때, 상기 특정 어절은 다른 어절들과는 다르게 표시될 수 있는데, 그 방법으로는 하일라이트 처리, 밑줄 처리 등이 포함될 수 있다. 한편, 동영상 재생이 중단된 상태에서도 상기 특정 자막 그룹의 특정 어절의 선택을 통한 자막 수정기능은 활성화될 수 있다.When the specific word is selected, playback of the video is stopped, and the subtitle correction function is activated (S220). In this case, the specific word may be displayed differently from other words, and the method may include highlighting, underlining, and the like. Meanwhile, even in a state in which video playback is stopped, the subtitle correction function by selecting a specific word of the specific subtitle group may be activated.

자막 수정기능이 활성화된 상태에서, 상기 특정 어절을 통하여 수정을 위한 문자가 입력되면(S230), 이를 반영하여 상기 제1 영역(110) 및 제2 영역(120) 모두에서 상기 특정 어절이 수정된다(S240). 수정을 위한 문자의 입력은 실제 키보드 또는 터치입력이 가능한 가상의 키보드를 통하여 이루어질 수 있다.When the subtitle correction function is activated, when a character for correction is input through the specific word (S230), the specific word is corrected in both the first area 110 and the second area 120 by reflecting this. (S240). Input of characters for correction may be made through a real keyboard or a virtual keyboard capable of touch input.

상기 특정 어절이 선택되면 상기 특정 자막그룹 내에서 커서의 위치가 키보드의 방향키, 마우스의 클릭, 터치스크린을 통한 터치에 의하여 이동될 수 있다. 이러한 커서의 위치 이동은 수정을 위한 문자 입력의 위치가 변경되는 것을 의미한다.When the specific word is selected, the position of the cursor within the specific subtitle group may be moved by a direction key on a keyboard, a click of a mouse, or a touch through a touch screen. Such movement of the cursor means that the position of the character input for correction is changed.

도 13a 내지 도 13d는, 도 12에 도시된, 본 발명에 따른 동영상 자막/번역자막제공 서비스 방법에 따라 제공되는 GUI(100)를 통하여 자막을 수정하는 방법의 일예를 설명하기 위한 것이다. 13A to 13D are for explaining an example of a method of modifying a subtitle through the GUI 100 provided according to the method for providing video subtitles/translated subtitles according to the present invention shown in FIG. 12 .

도 13a는 타겟 동영상이 재생되고 이용자 단말기(30)를 통하여 제1 영역(110)과 제2 영역(120)을 통하여 자막문장 2의 자막그룹 1(112 및 121-2)이 제공되고 있으며 그 마지막 어절 "소통수단"에 대응되는 음성신호가 제공되고 있는 상태를 나타낸다. 참고로 상기 이용자 단말기(30)는 키보드와 마우스가 연결된 PC인 것을 가정한다.13A shows that the target video is played and the subtitle group 1 (112 and 121-2) of the subtitle sentence 2 is provided through the first area 110 and the second area 120 through the user terminal 30, and the last It indicates a state in which a voice signal corresponding to the word “communication means” is being provided. For reference, it is assumed that the user terminal 30 is a PC to which a keyboard and a mouse are connected.

도 13a 상태에서 서비스 이용자가 상기 자막그룹 1(121-2)의 첫 어절 "유"가 "이후"를 잘못 변환된 것을 확인하고 마우스를 이용하여 어절 "유"를 클릭하여 선택한다.In the state of FIG. 13A , the service user confirms that the first word “you” of the subtitle group 1 (121-2) is erroneously converted to “after” and clicks on the word “you” using the mouse to select it.

그러면 도 13b와 같이 상기 제2 영역(120)에서 어절 "유"가 선택됨과 동시에 동영상의 재생이 중단되고 자막 수정기능이 활성화된다. 그리고 상기 제1 영역(110)의 동영상(111)의 화면은 어절 "유"의 시작시간정보에 대응되는 화면으로 전환되고, 상기 자막(112)에서도 어절 "유"가 선택된다. "유"가 선택되는 다른 방법으로, "유"가 음성신호에 동기되어 있는 상태에서 키보드의 엔터키를 조작하는 것이 포함될 수 있다.Then, as shown in FIG. 13B , when the word “you” is selected in the second area 120, playback of the video is stopped and the caption correction function is activated. In addition, the screen of the moving picture 111 of the first region 110 is switched to a screen corresponding to the start time information of the word “you”, and the word “you” is also selected in the subtitle 112 . Another method in which "you" is selected may include operating the enter key of the keyboard in a state in which "you" is synchronized with the voice signal.

"유"가 선택된 상태에서, 도 13c에서와 같이, 이용자가 키보드를 통한 문자입력을 통하여 제2 영역(120)의 "유"를 "이후"로 수정한다. 그러면 상기 제1 영역(110)의 자막(112)에서도 이를 반영하여 수정이 함께 이루어진다.In a state in which “You” is selected, as in FIG. 13C , the user modifies “You” in the second area 120 to “After” through character input through the keyboard. Then, the caption 112 of the first area 110 also reflects this and the correction is made together.

도 14a 및 14b는, 도 12에 도시된, 본 발명에 따른 동영상 자막/번역자막제공 서비스 방법에 따라 제공되는 GUI(100)를 통하여 자막을 수정하는 방법의 다른 예를 설명하기 위한 것이다.14A and 14B are for explaining another example of a method of modifying a subtitle through the GUI 100 provided according to the method for providing video subtitles/translated subtitles according to the present invention, shown in FIG. 12 .

도 14a는 타겟 동영상이 재생되고 이용자 단말기(30)를 통하여 제1 영역(110)과 제2 영역(120)을 통하여 자막문장 2의 자막그룹 1(112 및 121-2)이 제공되고 있으며 그 마지막 어절 "소통수단"에 대응되는 음성신호가 제공되고 있는 상태에서, 이용자가 상기 제1 영역(110)에 표시된 자막그룹(112)의 어절 "유"를 마우스로 클릭하는 것을 나타낸다.14A shows that the target video is played and the subtitle group 1 (112 and 121-2) of the subtitle sentence 2 is provided through the first area 110 and the second area 120 through the user terminal 30, and the last It indicates that the user clicks on the word “you” of the subtitle group 112 displayed in the first area 110 with a mouse while the voice signal corresponding to the word “communication means” is being provided.

그러면, 도 14b와 같이, 상기 제1 영역(110) 및 상기 제2 영역(120) 모두에서 상기 자막그룹 1(112 및 121-2)에서 "유"가 선택되어 다른 어절과 다르게 표시된다. 이는 어절 "유"를 통한 자막 수정기능이 활성화된 것을 의미한다. 상기 제2 영역(120)의 "유"를 통하여 문자가 입력되면 상기 제1 영역(110) 및 제2 영역(120)의 자막그룹 1(112 및 121-2) 모두에 대해 수정이 이루어진다.Then, as shown in FIG. 14B , in both the first region 110 and the second region 120 , “you” is selected from the first subtitle group 112 and 121-2 and displayed differently from other words. This means that the subtitle correction function through the word “you” is activated. When a character is input through “Yes” in the second area 120 , all of the subtitle groups 112 and 121 - 2 of the first area 110 and the second area 120 are corrected.

도 15는, 본 발명에 따른 동영상 자막/번역자막제공 서비스 방법에 따라, 도 13c 상태에서 커서를 이동하여 자막 수정하는 예를 나타낸다.FIG. 15 shows an example of correcting subtitles by moving the cursor in the state of FIG. 13C according to the method for providing video subtitles/translated subtitles according to the present invention.

도 15의 (a)는 음성신호가 잘못 번역된 "유"를 "이후"로 수정한 도 13c의 자막그룹(121-2)을 나타낸다. 도 15의 (b)는 도 15의 (a)에서 수정이 필요한 위치로 커서를 이동하는 것을 나타낸다. 도면에 도시되지는 않았으나 커서의 위치에 대응되는 시간정보에 따라 제1 영역(110)을 통한 동영상(111)의 제공화면도 변경된다.FIG. 15A shows the subtitle group 121-2 of FIG. 13C in which "Yu", which is an erroneously translated audio signal, is changed to "After". FIG. 15(b) shows moving the cursor to a position requiring correction in FIG. 15(a). Although not shown in the drawing, the screen provided on the video 111 through the first area 110 is also changed according to time information corresponding to the position of the cursor.

커서의 이동은 키보드의 오른쪽 방향키 조작을 통하여 이루어질 수 있으며, 이러한 커서의 위치는 자막 수정을 위한 문자 입력위치가 변경된 것을 의미한다. 키보드는 실제 키보드일 수도 있고 터치스크린을 통하여 제공되는 가상의 키보드일 수도 있다.The cursor can be moved by manipulating the right arrow key on the keyboard, and the position of the cursor means that the character input position for subtitle correction is changed. The keyboard may be a real keyboard or a virtual keyboard provided through a touch screen.

도 15의 (c)는 도 15의 (b) 상태에서 문자 입력을 통하여 어절 "소통수단"을 "소통수단을"로 수정하는 것을 나타낸다. 이러한 수정 내용은 제1 영역(110)에 표시된 자막그룹에도 반영된다.Figure 15 (c) shows that the word "communication means" is modified to "communication means" through text input in the state of Figure 15 (b). This correction is also reflected in the subtitle group displayed in the first area 110 .

그리고 이용자는 상기 자막그룹(121-2)에서 "소통수단"을 삭제하고, 커서를 다음 자막그룹으로 이동하여 다음 자막그룹에서 "해"를 "소통수단을"로 수정함으로써 자막그룹을 바르게 수정할 수도 있다. 한편, 자막의 수정을 위한 문자 입력 위치의 변경은 특정 어절이 선택된 상태에서도 키보드의 방향키 조작을 통하여 이루어질 수도 있다.In addition, the user may correct the subtitle group by deleting "communication means" from the subtitle group 121-2, moving the cursor to the next subtitle group, and changing "sun" to "communication means" in the next subtitle group. have. On the other hand, the change of the character input position for the correction of the subtitle may be made through the manipulation of the direction key of the keyboard even when a specific word is selected.

또한, 이용자는 제1 영역(110)에 표시된 자막그룹(112)을 통해서도 자막의 수정과 커서의 이동을 통한 자막 수정을 위한 문자 입력 위치 변경 등을 수행할 수 있다. 그리고 상기 자막그룹(112)에서의 자막수정 역시 상기 제2 영역(120)에 표시된 자막그룹(121-2)에 반영된다. 다만, 상기 제1 영역(110)에서는 상기 제2 영역(120)과 같은 자막그룹 사이의 커서 이동은 수행될 수 없을 수 있다. 왜냐하면, 상기 제1 영역(110)에는 하나의 자막그룹만 표시될 수 있기 때문이다.In addition, the user can modify the caption through the caption group 112 displayed in the first area 110 and change the character input position for caption revision by moving the cursor. In addition, the caption correction in the caption group 112 is also reflected in the caption group 121 - 2 displayed in the second area 120 . However, in the first area 110 , it may not be possible to move the cursor between the same subtitle groups as in the second area 120 . This is because only one subtitle group can be displayed in the first area 110 .

이상의 내용을 요약하면, 상기 제2 영역(120)에서는 특정 어절이 선택되거나 수정된 상태이면, 이용자는 수정을 위한 문자 입력 위치를 상기 특정 어절이 포함된 자막그룹과 다른 자막그룹으로 변경하면서 자막을 수정할 수 있다. 그러면 상기 제1 영역(110)에도 그 수정 내용이 반영된다.To summarize the above, if a specific word is selected or corrected in the second area 120, the user changes the text input position for correction to a caption group different from the caption group including the specific word while changing the caption. Can be modified. Then, the correction is also reflected in the first area 110 .

그리고 상기 제1 영역(110)에서는 특정 어절이 선택되거나 수정된 상태에서는, 상기 특정 어절이 포함된 자막그룹 내에서만 수정을 위한 문자 입력 위치를 변경하여 자막을 수정할 수 있다. 상기 제1 영역(110)에는 하나의 자막그룹만이 표시되어 있기 때문이다. 물론, 상기 제1 영역(110)의 자막 수정 내용은 상기 제2 영역(120)에도 반영된다.In the first area 110 , when a specific word is selected or modified, the caption can be modified by changing the character input position for editing only within the caption group including the specific word. This is because only one subtitle group is displayed in the first area 110 . Of course, the caption correction in the first area 110 is also reflected in the second area 120 .

본 발명의 다른 예에서는 상기 제1 영역(110)에 표시된 자막그룹이 아닌 다른 자막그룹으로도 자막 수정을 위한 문자 입력 위치를 변경할 수 있도록 구현될 수 있다. 이때, 자막 수정을 위한 문자 입력 위치가 상기 다른 자막 그룹으로 변경되면 동영상(111) 화면도 상기 다른 자막 그룹의 시간정보에 따라 변경된다.In another example of the present invention, it may be implemented to change the character input position for subtitle correction even with a subtitle group other than the subtitle group displayed in the first area 110 . At this time, when the text input position for subtitle correction is changed to the other subtitle group, the screen of the moving picture 111 is also changed according to the time information of the other subtitle group.

도 16은 본 발명에 따른 동영상 자막/번역자막제공 서비스 방법을 나타내는 흐름도이다.16 is a flowchart illustrating a video caption/translated caption providing service method according to the present invention.

먼저, 서비스 서버(20)는 이용자 단말기(30)의 요청에 따라 제공되는 동영상의 제1 언어 음성신호를 STT 변환하여 자막문장을 획득한다(S300), 상기 자막문장의 각 어절에 대해 대응되는 음성신호 부분의 시작시간정보 및 종료시간정보를 매칭시켜 제1 타임테이블을 생성한다(S310).First, the service server 20 converts the first language audio signal of the video provided in response to the request of the user terminal 30 to STT to obtain a caption sentence (S300). A voice corresponding to each word of the caption text A first time table is generated by matching the start time information and the end time information of the signal part (S310).

그리고, 상기 서비스 서버(20)는 상기 자막문장에 대해 설정된 자막 표시단위에 기초하여 상기 자막문장을 상기 제1 언어의 어절단위로 그루핑된 복수의 자막그룹으로 분할하며(S120), 상기 복수의 자막그룹 각각에 대한 시작시간정보 및 종료시간정보를 포함하는 제2 타임테이블을 생성한다(S320). Then, the service server 20 divides the subtitle sentence into a plurality of subtitle groups grouped by word unit of the first language based on the subtitle display unit set for the subtitle sentence (S120), and the plurality of subtitles A second time table including start time information and end time information for each group is generated (S320).

그런 다음, 상기 서비스 서버(20)는 상기 자막문장을 제2 언어로 번역하여 번역문장을 생성한다(S330). 상기 번역문장은 상기 자막문장 전체(즉, 시작부터 종결어미까지)를 번역하여 생성될 수 있고, 상기 번역문장에 대해서는 상기 자막문장의 시작/종료시간정보에 대응되는 타임테이블이 생성될 수도 있다. 이 타임테이블은 상기 번역문장을 복수의 번역 자막그룹으로 나누는데 이용될 수 있다.Then, the service server 20 translates the subtitle text into a second language to generate a translated text (S330). The translated sentence may be generated by translating the entire subtitle sentence (ie, from the beginning to the ending ending), and a timetable corresponding to the start/end time information of the subtitle sentence may be generated for the translated sentence. This timetable may be used to divide the translated sentence into a plurality of translated subtitle groups.

번역문장이 생성된 다음, 상기 서비스 서버(20)는 상기 번역문장에 대해 설정된 번역자막 표시단위에 기초하여 상기 번역문장을 상기 제2 언어의 어절단위로 그루핑된 복수의 자막그룹으로 분할하며(S340), 상기 복수의 번역 자막그룹 각각에 대한 시작시간정보 및 종료시간정보를 포함하는 제3 타임테이블을 생성한다(S340). 자막문장에 대응되는 자막 표시단위와 번역문장에 대응되는 번역자막 표시단위는 각 언어의 글자단위의 배수로 변경될 수 있다.After the translation sentence is generated, the service server 20 divides the translated sentence into a plurality of subtitle groups grouped by word units of the second language based on the translated subtitle display unit set for the translated sentence (S340). ), a third time table including start time information and end time information for each of the plurality of translated caption groups is generated (S340). The subtitle display unit corresponding to the subtitle sentence and the translated subtitle display unit corresponding to the translated sentence may be changed by a multiple of the character unit of each language.

한편, 상기 번역문장을 상기 제2 언어의 어절단위로 그루핑하는 방법은, 앞서 도 3 내지 도 6 및 도 9 내지 도 11 등을 참하여 살펴본 자막문장의 그루핑 방법과 유사하므로, 이하 그 내용을 요약하고 구체적 실시예로 설명하지는 않는다.On the other hand, the method of grouping the translated sentence by word unit of the second language is similar to the grouping method of the subtitle sentence discussed above with reference to FIGS. 3 to 6 and FIGS. 9 to 11 , so the contents are summarized below. and will not be described with specific examples.

(1) 상기 번역문장을 상기 복수의 번역 자막그룹으로 분할함에 있어서, 상기 번역자막 표시단위에 따른 마지막 위치가 특정 어절의 특정 글자까지인 경우, 상기 특정 어절까지를 하나의 번역 자막그룹으로 그루핑할 수 있다.(1) In dividing the translated sentence into the plurality of translated subtitle groups, if the last position according to the translated subtitle display unit is up to a specific letter of a specific word, group up to the specific word into one translated caption group can

(2) 상기 번역문장을 상기 복수의 번역 자막그룹으로 분할함에 있어서, 상기 번역자막 표시단위에 따른 마지막 위치가 특정 어절의 특정 글자까지인 경우, 상기 특정 어절에서 상기 특정 글자까지의 글자수가, 상기 특정 어절의 글자수의 1/2 이상이면 상기 특정 어절까지를 하나의 번역 자막그룹으로 그루핑하고, 상기 특정 어절의 글자수의 1/2 미만이면 상기 특정 어절 이전의 어절까지를 하나의 번역 자막그룹으로 그루핑할 수 있다.(2) In dividing the translated sentence into the plurality of translated subtitle groups, when the last position according to the translated subtitle display unit is up to a specific letter of a specific word, the number of characters from the specific word to the specific letter is the If the number of characters of the specific word is more than 1/2, the group up to the specific word as one translated subtitle group can be grouped with

다시 도 16을 참조하면, 상기 서비스 서버(20)는 상기 동영상이 재생되는 경우, 상기 복수의 번역 자막그룹을 번역 자막그룹 단위로 상기 제3 타임테이블에 따라 상기 제1 타임테이블의 인터벌 동안 순차적으로 표시하도록 설정한다(S350). Referring back to FIG. 16 , when the moving picture is reproduced, the service server 20 sequentially divides the plurality of translated subtitle groups in units of translated subtitle groups during the interval of the first time table according to the third time table. It is set to display (S350).

상기 복수의 번역 자막그룹의 표시전환 속도는 상기 제1 타임테이블의 인터벌을 상기 번역 자막그룹의 개수로 나눈 값에 의하여 결정될 수 있다. 그리고 이러한 설정은 번역자막 표시모드와 자막/번역자막 공통표시 모드에 대하여 적용될 수 있다.The display switching speed of the plurality of translated subtitle groups may be determined by a value obtained by dividing an interval of the first time table by the number of translated subtitle groups. In addition, these settings may be applied to the translated subtitle display mode and the subtitle/translated subtitle common display mode.

예컨대, 자막/번역자막 공통표시모드에서 상기 자막문장을 구성하는 복수의 자막그룹은 제2 타임테이블에 따라 순차적으로 표시되며, 상기 번역문장을 구성하는 복수의 번역 자막그룹은 상기 제3 타임테이블에 따라 순차적으로 표시된다. 이때, 상기 복수의 자막그룹과 상기 복수의 번역 자막그룹의 전환속도 및 전환횟수는 서로 다를 수 있다. 그러나 이들은 모두 자막문장의 시작/종료시간정보 사이의 인터벌 동안 순차적으로 표시되는 것은 공통적이다.For example, in the subtitle/translated subtitle common display mode, a plurality of subtitle groups constituting the subtitle sentence are sequentially displayed according to a second time table, and the plurality of translated subtitle groups constituting the translated sentence are displayed in the third time table. are displayed sequentially. In this case, the switching speed and the switching number of the plurality of subtitle groups and the plurality of translated subtitle groups may be different from each other. However, it is common that all of them are sequentially displayed during the interval between the start/end time information of the subtitle sentence.

도 17은 도 16에 도시된 동영상 자막/번역자막제공 서비스 방법에 따라, 서비스 서버(20)가 번역문장들을 복수의 번역 자막그룹으로 분할한 다음 이를 이용자 단말기(30)로 제공하는 예를 나타내는 GUI(100')이다. 보다 구체적으로 상기 GUI(100)는 영어 번역자막 관련 편집, 설정 등을 위한 것이다.FIG. 17 is a GUI showing an example in which the service server 20 divides the translated sentences into a plurality of translated subtitle groups and then provides them to the user terminal 30 according to the video subtitle/translated subtitle providing service method shown in FIG. 16 . (100'). More specifically, the GUI 100 is for editing and setting related to English translation subtitles.

제1 영역(110')에는 동영상과 함께 번역문장을 구성하는 번역 자막그룹 중 하나(113)가 표시되어 있다. 만약, 자막표시 모드의 경우, 상기 제1 영역(110')에는 자막문장을 구성하는 자막그룹이 표시된다.In the first area 110', one of the translated subtitle groups 113 constituting the translated sentence together with the moving picture is displayed. In the case of the subtitle display mode, the subtitle group constituting the subtitle sentence is displayed in the first area 110 ′.

제2 영역(120')에는 자막문장(123), 상기 자막문장을 제2 언어(즉, 영어)로 번역한 번역문장(124) 및 상기 번역문장(124)을 한글로 다시 번역한 역번역문장(125)이 표시된다.In the second area 120', a subtitle sentence 123, a translation sentence 124 in which the subtitle sentence is translated into a second language (ie, English), and a reverse translation sentence in which the translated sentence 124 is translated back into Korean (125) is indicated.

상기 번역 문장(124)은 번역자막 표시단위인 글자수 30(즉, 알파벳 개수 30개)으로 그루핑된 복수의 번역 자막그룹(124-1 및 124-2)을 포함한다. 상기 제2 영역(120')에는 복수의 번역 자막그룹(124-1 및 124-2) 리스트가 시간순으로 나열되어 표시되며, 상기 복수의 번역 자막그룹(124-1 및 124-2) 각각에는 시작/종료시간정보가 매칭되어 있다.The translated sentence 124 includes a plurality of translated subtitle groups 124-1 and 124-2 grouped by the number of characters 30 (that is, the number of alphabets), which is the translated subtitle display unit. In the second area 120', a list of a plurality of translated subtitle groups 124-1 and 124-2 is displayed in chronological order, and a start of each of the plurality of translated subtitle groups 124-1 and 124-2 is displayed. /End time information is matched.

상기 제2 영역(120')을 통하여 이용자는 자막문장, 번역문장, 역번역문장을 모두 확인할 수 있는데, 역번역문장과 자막문장을 비교하면 번역문장이 제대로 영어로 번역되었는지를 체크할 수 있다. 상기 번역문장의 번역이 잘못되었다고 판단되면, 이용자는 번역문장을 수정할 수 있다. 그러므로 이러한 방식에 따르면 번역문장의 정확도가 높아질 수 있다.Through the second area 120', the user can check all of the subtitle sentences, the translated sentences, and the reverse translated sentences. By comparing the reversely translated sentences with the subtitle sentences, it is possible to check whether the translated sentences are properly translated into English. If it is determined that the translation of the translated sentence is incorrect, the user may correct the translated sentence. Therefore, according to this method, the accuracy of the translation can be increased.

번역문장의 수정을 위하여, 도 17에서는 이용자가 번역 자막그룹(124-1)의 특정 어절 "The"를 클릭하여 선택하였으며, 상기 제1 영역(110')에서도 그에 대응되는 어절이 선택되었다. In order to correct the translation, in FIG. 17 , the user clicks and selects a specific word “The” of the translated subtitle group 124-1, and a corresponding word is also selected in the first area 110'.

이와 같이 상기 제2 영역(120')을 통한 어절의 선택에 의하여 번역자막 수정 기능이 활성화된다. 그러면 상기 특정 어절의 위치를 통하여 입력되는 문자에 따라 번역자막을 수정할 수 있다.In this way, the translation subtitle correction function is activated by selecting a word through the second area 120'. Then, the translated subtitle can be corrected according to the character input through the position of the specific word.

번역자막의 수정을 위한 어절의 선택은 동영상이 재생중이거나 재생이 중단된 상태 모두에서 가능하다. 다만, 상기 동영상이 재생중인 상태에서 어절이 선택되면, 번역자막의 정확한 수정을 위하여 상기 동영상의 재생은 중단되는 것이 바람직하다.The selection of words for editing the translated subtitles is possible both while the video is being played or the playback is stopped. However, when a word is selected while the moving picture is being reproduced, it is preferable that the reproduction of the moving picture be stopped in order to correct the translated subtitles.

입력되는 문자에 따른 번역자막의 수정은 상기 제1 영역(110') 및 제2 영역(120') 모두에 반영된다. 그리고 역번역 문장에도 적용된다. 즉, 번역자막이 수정되면 상기 역번역문장도 그에 따라 변경되는데, 이를 통해 다시 한번 번역문장의 번역 정확도를 체크할 수 있다. 한편, 번역자막 수정 기능은 제1 영역(110')에 표시된 특정 어절의 선택에 따라 활성화되고, 그 위치를 통하여 입력되는 문자에 의하여 이루어질 수도 있다.The correction of the translated subtitles according to the input characters is reflected in both the first area 110 ′ and the second area 120 ′. And the same applies to back-translated sentences. That is, when the translated subtitle is corrected, the reverse-translated sentence is also changed accordingly. Through this, the translation accuracy of the translated sentence can be checked once again. Meanwhile, the translation subtitle correction function is activated according to the selection of a specific word displayed in the first area 110 ′, and may be performed by a character input through the position.

이상에서 살펴본 바와 같이, 이용자는 상기 제1 영역(110') 및 상기 제2 영역(120') 중 어느 하나에 표시된 특정 번역자막그룹의 특정 어절을 선택한 다음, 상기 특정 어절의 위치를 통한 문자입력으로 상기 제1 영역(110') 및 상기 제2 영역(120') 모두에 표시된 번역자막그룹을 수정할 수 있다. 이때, 상기 제1 영역(110) 및 상기 제2 영역(120') 중 어느 하나에서 상기 특정 어절이 선택되면, 상기 제1 영역(110') 및 상기 제2 영역(120') 중 나머지 하나에서도 대응되는 특정 어절이 선택된다.As described above, the user selects a specific word of a specific translated subtitle group displayed in any one of the first area 110' and the second area 120', and then inputs text through the location of the specific word. , the translated subtitle group displayed in both the first region 110' and the second region 120' can be modified. At this time, when the specific word is selected in any one of the first area 110 and the second area 120', the other one of the first area 110' and the second area 120' also The corresponding specific word is selected.

한편, 앞서 도 15를 참조하여 살펴본 바와 유사하게, 상기 특정 어절이 선택 또는 수정된 상태에서, 이용자는 이용자 단말기에 연결된 키보드의 방향키 조작을 통하여 번역자막 수정을 위한 문자 입력 위치를 변경할 수 있으며, 변경된 위치를 통한 문자 입력을 통해 제1 영역(110') 및 제2 영역(120') 모두의 번역 자막그룹을 수정할 수 있다.On the other hand, similar to the one described with reference to FIG. 15 above, in the state in which the specific word is selected or modified, the user can change the character input position for correcting the translated subtitles by operating the direction keys of the keyboard connected to the user terminal, The translated subtitle group in both the first region 110 ′ and the second region 120 ′ may be modified through character input through the location.

도 18은, 도 16에 도시된 동영상 자막/번역자막제공 서비스 방법에 따라, 자막문장(123)의 수정이 번역문장(124) 및 역번역문장(125)에 반영되는 예를 설명하기 위한 도면이다.FIG. 18 is a diagram for explaining an example in which the correction of the subtitle sentence 123 is reflected in the translated sentence 124 and the reverse translated sentence 125 according to the video subtitle/translated subtitle providing service method shown in FIG. 16 . .

도 18의 (a)는 상기 자막문장(123), 상기 번역문장(124) 및 상기 역번역문장(125)이 제공된 상태를 나타낸다. 도 18의 (b)는 이용자가 상기 자막문장(123)의 어절 "아이폰을"을 "갤럭시는"으로 수정하는 경우, 상기 번역문장(124) 및 상기 역번역문장(125)에서도 그 수정 결과가 반영되는 것을 나타낸다.18A shows a state in which the subtitle sentence 123, the translated sentence 124, and the reverse translated sentence 125 are provided. In (b) of FIG. 18 , when the user modifies the word “iPhone” of the subtitle sentence 123 to “Galaxy”, the correction result is also displayed in the translation sentence 124 and the reverse translation sentence 125. indicates that it is reflected.

이상에서 살펴본 예들과 달리, 본 발명의 다른 구현예에서는, 상기 자막문장, 상기 번역문장 및 상기 번역문장을 상기 제1 언어로 번역한 역번역문장을, 복수의 문장으로 구분하지 않고 하나의 문장으로, 이용자 단말기(30)로 제공할 수도 있다.Unlike the examples discussed above, in another embodiment of the present invention, the subtitle sentence, the translated sentence, and the reverse-translated sentence obtained by translating the translated sentence into the first language are not divided into a plurality of sentences but are converted into one sentence. , may be provided to the user terminal 30 .

그러면 이용자는 상기 이용자 단말기(30)를 통하여 상기 번역문장 또는 상기 자막문장을 수정할 수 있다. 그러면, 상기 번역문장의 수정사항이 상기 번역문장에 반영되거나, 상기 자막문장의 수정사항이 상기 번역문장 및 상기 역번역문장에 반영될 수 있다. 이와 같은 방법에 의해서도 이용자는 번역문장에 대한 정확도를 향상시킬 수 있다.Then, the user can modify the translated sentence or the subtitle sentence through the user terminal 30 . Then, the correction of the translated sentence may be reflected in the translated sentence, or the correction of the subtitle sentence may be reflected in the translated sentence and the reverse-translated sentence. Even in this way, the user can improve the accuracy of the translated sentence.

도 19는, 도 16에 도시된 동영상 자막/번역자막제공 서비스 방법에 따라, 자막/번역자막 공통표시 모드(즉, 이중 자막 모드)에서 자막문장과 번역문장이 제공되는 것을 설명하기 위한 GUI(100")이다. 이에 대해 자막문장 1(123)과 번역문장 1(124)을 예로 들어 상세히 살펴본다.19 is a GUI 100 for explaining that subtitle sentences and translated sentences are provided in the subtitle/translated subtitle common display mode (ie, double subtitle mode) according to the video subtitle/translated subtitle providing service method shown in FIG. 16 . "). For this, the subtitle sentence 1 (123) and the translation sentence 1 (124) will be described in detail.

제1 영역(110")에는 동영상 재생 시간에 대응되는 자막그룹과 번역 자막그룹이 하나씩 표시되며, 제2 영역(120")에는 자막문장들과 번역문장들에 대응되는 복수의 자막그룹과 복수의 번역 자막그룹이 시간순으로 나열되어 표시된다. 제3 영역(140)을 통하여, 이용자는 이중자막의 순서를 설정하거나 자막을 스타일링할 수 있다.In the first area 110", a subtitle group and a translated subtitle group corresponding to the video playback time are displayed one by one, and in the second area 120", a plurality of subtitle groups and a plurality of subtitle groups corresponding to the subtitle sentences and the translated sentences are displayed. The translated subtitle groups are displayed in chronological order. Through the third area 140 , the user can set the order of double subtitles or style the subtitles.

자막문장 1(123)은 자막 표시단위 "10"에 따라 3개의 자막그룹으로 분할되며(도 7참조), 번역문장 1(124)는 번역자막 표시단위 "30"에 의하여 2개의 번역 자막그룹으로 분할된다(도 17 참조). 상기 3개의 자막그룹과 상기 2개의 번역 자막그룹은 상기 자막문장의 제1 타임테이블의 인터벌 "00:05~00:11" 동안 순차적으로 표시된다. The subtitle sentence 1 (123) is divided into three subtitle groups according to the subtitle display unit “10” (see FIG. 7), and the translated sentence 1 124 is divided into two translated subtitle groups by the translated subtitle display unit “30”. divided (see Fig. 17). The three subtitle groups and the two translated subtitle groups are sequentially displayed during an interval “00:05 to 00:11” of the first time table of the subtitle sentence.

상기 제1 타임테이블의 인터벌 동안 상기 3개의 자막그룹은 다른 자막그룹으로 2번 전환되며, 상기 2개의 번역 자막그룹은 1회 전환된다. 상기 번역 자막그룹의 표시전환은 상기 제1 타임테이블의 인터벌 "6초"를 상기 번역 자막그룹의 개수인 "2"로 나눈 "3초" 후에 이루어지며, 이러한 시간정보는 상기 번역 자막그룹의 제3 타임테이블에 포함되어 있다. 그리고 상기 3개의 자막그룹의 제공은 상기 2개의 번역 자막그룹과는 독립된 제2 타임테이블에 따라 이루어질 수 있다.During the interval of the first timetable, the three subtitle groups are switched to another subtitle group twice, and the two translated subtitle groups are switched once. The display changeover of the translated subtitle group is performed after “3 seconds” by dividing the interval “6 seconds” of the first time table by “2”, which is the number of the translated subtitle groups. 3 included in the timetable. In addition, the three subtitle groups may be provided according to a second timetable independent of the two translated subtitle groups.

도 20은 본 발명에 따른 동영상 자막/번역자막 제공방법에 따라 자막(번역 자막 포함)의 스타일을 설정하기 위한 자막 설정 영역(130)의 일예를 나타낸다.20 shows an example of the subtitle setting area 130 for setting the style of subtitles (including translated subtitles) according to the method for providing video subtitles/translated subtitles according to the present invention.

상기 자막 설정 영역(130)은 이용자가 자막의 스타일을 설정하기 위한 상부 영역(132)과 이용자가 미리 설정해 놓은 스타일을 호출하여 적용하거나 추천 스타일을 적용하기 위한 하부 영역(133)을 포함한다. 상기 상부 영역(132)에는 적용 범위 지정 영역(134), 글자 설정 영역(135), 글자체 설정 영역(136) 및 자막 위치 조정 영역(137)을 포함한다.The caption setting area 130 includes an upper area 132 for a user to set a style of a caption, and a lower area 133 for calling and applying a style preset by the user or applying a recommended style. The upper region 132 includes an application range designation region 134 , a character setting region 135 , a font setting region 136 , and a caption position adjustment region 137 .

이용자는 상기 적용 범위 지정 영역(134)을 통하여 자막에 대한 설정이 자막 전체에 적용될지, 선택된 라인(즉, 선택된 자막그룹 또는 번역 자막그룹)에만 적용될지, 선택된 단어에만 적용될지를 지정할 수 있다. 이용자는 상기 글자 설정 영역(135)을 통하여 글자의 굵기, 기울임, 밑줄, 하일라이트, 색상 등을 설정할 수 있으며, 자막그룹이나 번역 자막그룹의 글자수(즉, 자막 표시단위 또는 번역자막 표시단위)를 설정할 수도 있다.The user can designate whether the subtitle setting is applied to the entire subtitle, only to the selected line (ie, the selected subtitle group or the translated subtitle group), or only to the selected word through the application range designation area 134 . The user can set the thickness, italicity, underline, highlight, color, etc. of the characters through the character setting area 135, and the number of characters in the subtitle group or the translated subtitle group (ie, the subtitle display unit or the translated subtitle display unit) can also be set.

그리고 상기 자막 위치 조정 영역(137)의 방향키 조작을 통하여 이용자는 자막의 위치를 조정할 수 있다. 자막 위치의 조정은 자막그룹이나 번역 자막그룹을 마우스를 클릭하여 선택한 다음 드래그로 이동하는 것으로 수행될 수도 있다.In addition, the user can adjust the position of the subtitle by operating the direction key in the subtitle position adjustment area 137 . Adjustment of the subtitle position may be performed by selecting the subtitle group or the translated subtitle group by clicking the mouse and then moving the subtitle group by dragging.

이상에서 살펴본 바와 같이, 본 발명에 따르면 동영상의 자막에 이용자가 원하는 다양한 스타일을 부여할 수 있고, 이러한 자막을 동영상에 매칭시켜 동영상 제공 서버(40)에 업로드할 수 있다. 그러므로 본 발명에 따르면 상기 동영상 제공 서버(40)를 통해서는 제공받을 수 없는 자막 스타일링 서비스를 제공받을 수 있다.As described above, according to the present invention, various styles desired by a user can be given to subtitles of a moving picture, and these subtitles can be matched to a moving picture and uploaded to the moving picture providing server 40 . Therefore, according to the present invention, it is possible to receive a caption styling service that cannot be provided through the video providing server 40 .

도 21은 본 발명에 따라 동영상 재생 중 자막을 수정하는 과정의 일예를 설명하기 위한 것이다.21 is for explaining an example of a process of correcting subtitles during video playback according to the present invention.

도 21의 (a)는 동영상 재생 중이고 음성신호 "스티브"가 출력되는 상태에서, 이용자가 이용자 단말기(30)에 연결된 키보드의 미리 정해진 특정 키(예컨대, 엔터 키)를 조작하여, 자막 수정 기능을 활성화시키는 것을 나타낸다. 그러면 상기 동영상의 재생은 중단되며, 이용자는 자막의 어절 "스티브"의 위치를 통한 문자 입력을 통하여 자막을 수정할 수 있다. 예컨대, 이용자가 입력하는 문자는 바로 "스티브" 부분을 대체하게 된다.21 (a) shows that a user operates a specific predetermined key (eg, enter key) of a keyboard connected to the user terminal 30 in a state in which a video is being played and the voice signal "Steve" is output, and a caption correction function is performed. indicates activation. Then, playback of the video is stopped, and the user can edit the subtitle by inputting text through the position of the word “Steve” of the subtitle. For example, the character input by the user will immediately replace the "Steve" part.

그러나 자막에서 수정하고자 하는 부분은 "이 천 칠 년" 부분이므로, 이용자는 도 21의 (b)와 같이 키보드 방향키 조작을 통하여 문자 입력 위치를 변경한다. 그런 다음, 이용자는 도 21의 (c)와 같이, "이 천 칠 "의 위치에 "2007"을 입력하여 자막을 수정할 수 있다.However, since the part to be corrected in the subtitle is "this one thousand and seven years", the user changes the character input position by operating the keyboard direction key as shown in FIG. 21(b). Then, as shown in FIG. 21(c) , the user can edit the caption by inputting “2007” in the position of “this one thousand and seven”.

한편, 이용자는 도 21의 예와 달리, 동영상 재생 중 스페이스 키를 조작하여 먼저 동영상의 재생을 중단시킨 다음, "이 천 칠 " 중 하나의 어절을 선택하여 자막 수정을 위한 문자의 입력 위치를 설정한 다음 키보드 키를 조작하여 수정을 위한 문자를 입력할 수도 있다. 물론, 이용자는 마우스를 통하여 자막 수정을 위한 문자 입력 위치를 바로 선택할 수도 있다. 이 경우에도 동영상의 재생은 중단됨이 바람직하다.On the other hand, unlike the example of FIG. 21 , the user operates the space key during video playback to first stop the video playback, and then selects one word among “two thousand and seven” to set the input position of text for subtitle correction Then, you can input characters for editing by operating the keyboard keys. Of course, the user may directly select a character input position for subtitle correction through a mouse. Even in this case, playback of the moving picture is preferably stopped.

상술한 자막 수정 방법들은 번역 자막의 수정에도 적용될 수 있음은 통상의 기술자에게 자명한 사항이라 할 것이므로, 이에 대한 예시를 통한 상세 설명은 생략한다.It will be obvious to a person skilled in the art that the above-described caption correction methods can also be applied to the correction of translated subtitles, and thus a detailed description thereof through an example will be omitted.

도 22a 및 도 22b는 본 발명에 따른 자막/번역자막 제공 서비스 방법에 따라 자막그룹을 병합하는 예를 나타내는 도면이다.22A and 22B are diagrams illustrating examples of merging subtitle groups according to the method for providing subtitles/translated subtitles according to the present invention.

도 21a는 제2 영역(120)의 자막 제공 영역(121)에 자막문장 1과 자막문장 2가 자막그룹으로 나누어져 표시되어 있으며, 상기 자막그룹 1의 첫 번째 자막그룹(126-1)이 선택되고, 상기 자막 제공 영역(121)에는 상기 자막그룹(126-1)의 상하에 인접 자막그룹과의 병합을 위한 기능 아이콘(127)이 제공된 것을 나타낸다.In FIG. 21A , the subtitle sentence 1 and the subtitle sentence 2 are divided into subtitle groups and displayed in the subtitle providing region 121 of the second region 120, and the first subtitle group 126-1 of the subtitle group 1 is selected. It indicates that function icons 127 for merging with adjacent subtitle groups are provided above and below the subtitle group 126 - 1 in the subtitle providing area 121 .

이 상태에서 상기 자막그룹(126-1)의 하부에 표시된 기능 아이콘(127)을 선택하면, 도 22b와 같이 상기 자막그룹(126-1)은 그 다음 자막그룹(126-2)과 병합되어 양자는 하나의 병합 자막그룹(126-3)이 된다. 이때, 두 자막그룹(126-1 및 126-2)의 시간 정보 역시 하나로 병합되는데, 도면에서는 상기 병합 자막그룹(126-3)의 시작/종료시간정보가 "00:10~00:16"인 것을 확인할 수 있다.In this state, if the function icon 127 displayed at the bottom of the subtitle group 126-1 is selected, the subtitle group 126-1 is merged with the next subtitle group 126-2 as shown in FIG. 22B. becomes one merged subtitle group 126-3. At this time, the time information of the two subtitle groups 126-1 and 126-2 is also merged into one. can check that

이와 같은 두 자막그룹(126-1 및 126-2)의 병합은 상기 자막그룹(126-1)의 끝에 커서를 위치시킨 다음 삭제(delete) 키를 조작하거나, 상기 자막그룹(126-2)의 맨앞에 커서를 위치시킨 다음 백스페이스(backspace) 키를 조작함으로써 이루어질 수 있다. 물론, 이 경우에도 두 자막그룹(126-1 및 126-2)의 시작/종료시간정보도 하나로 통합된다.Such merging of the two subtitle groups 126-1 and 126-2 is performed by placing the cursor at the end of the subtitle group 126-1 and then manipulating the delete key or deleting the subtitle group 126-2. This can be done by placing the cursor in front and then operating the backspace key. Of course, even in this case, the start/end time information of the two subtitle groups 126-1 and 126-2 is also integrated into one.

한편, 상기 자막제공 영역(121)에서 이용자는 방향키 조작에 의하여 자막그룹 사이를 위/아래 방향으로 커서를 이동시킬 수 있고, 자막그룹 내에서는 좌우 방향으로 커서를 이동시킬 수 있다.On the other hand, in the caption providing area 121, the user can move the cursor in up/down directions between caption groups by manipulating the direction keys, and in the caption group, the user can move the cursor in the left and right directions.

상술한 자막그룹의 병합, 자막 제공 영역(121)에서의 커서 이동 방법은 번역 자막에 대해서도 적용될 수 있음은 통상의 기술자에게 자명한 사항이라 할 것이므로, 이에 대한 예시를 통한 상세 설명은 생략한다.It will be apparent to those skilled in the art that the above-described method of merging subtitle groups and moving the cursor in the subtitle providing area 121 can be applied to translated subtitles, and thus detailed descriptions thereof will be omitted.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. As described above, although the present invention has been described with reference to limited embodiments and drawings, the present invention is not limited to the above embodiments, and various modifications and variations from these descriptions are provided by those skilled in the art to which the present invention pertains. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined by the following claims as well as the claims and equivalents.

10: 동영상 번역자막제공 서비스 시스템 20: 서비스 서버
30: 이용자 단말기 40: 동영상 제공 서버
50: 소비자 단말기 60: 회원 단말기10: Video translation and subtitle providing service system 20: Service server
30: user terminal 40: video providing server
50: consumer terminal 60: member terminal

Claims

generating a first time table by obtaining a subtitle sentence from a voice signal of a first language of the moving picture, and matching the corresponding voice signal to each word of the subtitle sentence;
Based on the subtitle display unit set as a multiple of the character unit of the first language, the subtitle sentence is divided into a plurality of subtitle groups grouped by word unit of the first language, and a second time table for each of the plurality of subtitle groups creating a;
generating a translated sentence by translating the subtitle sentence into a second language;
Based on the translated subtitle display unit set as a multiple of the character unit of the second language, the unit is divided into a plurality of translated subtitle groups grouped by word unit of the second language, and a third time table is generated for each of the translated subtitle groups to do;
generating a reverse-translated sentence obtained by translating the translated sentence into the first language, and dividing the reverse-translated sentence into a plurality of reverse-translated subtitle groups corresponding to the plurality of translated subtitle groups;
A first region for sequentially displaying the plurality of translated subtitle groups together with the moving picture, a second region and subtitles provided by matching the plurality of translated subtitle groups list, the plurality of subtitle group lists and the plurality of translated subtitle groups providing a GUI including a third area for setting related matters to a user terminal;
When a specific word is selected from one of the plurality of translated caption groups displayed in the first area, the plurality of caption groups displayed in the second area, the plurality of translated caption groups, and the plurality of reverse translated caption groups, activating a subtitle correction function for the specific word;
reflecting the subtitle correction result for the specific word through one of the plurality of subtitle groups, the plurality of translated subtitle groups, and the plurality of reverse translated subtitle groups to the other two subtitle groups; and
When the user changes the translated subtitle display unit to a multiple of the character unit of the second language through the third region, the change of the translated subtitle display unit is changed to the plurality of subtitle groups displayed in the first and second regions. A service method for providing translated subtitles for a video, comprising the step of reflecting in the translated subtitle group and the plurality of reverse translated subtitle groups.

delete

According to claim 1,
In dividing the translated sentence into the plurality of translated subtitle groups, when the last position according to the translated subtitle display unit is up to a specific letter of a specific word,
A method for providing translated subtitles for a video, characterized in that grouping up to the specific word into one translated subtitle group.

According to claim 1,
In dividing the translated sentence into the plurality of translated subtitle groups, when the last position according to the translated subtitle display unit is up to a specific letter of a specific word,
If the number of characters from the specific word to the specific word is 1/2 or more of the number of characters of the specific word, the group up to the specific word is grouped into one translation subtitle group, and if the number of characters of the specific word is less than 1/2 A method for providing translated subtitles for a video, characterized in that grouping up to a word before the specific word into one translated caption group.

The method of claim 1, wherein the display switching speed of the plurality of translated subtitle groups is:
and a value determined by dividing the interval of the first timetable by the number of translated subtitle groups.

6. The method of claim 5,
In subtitle/translated subtitle common display mode,
The plurality of subtitle groups,
sequentially displayed according to the second timetable,
The plurality of translated subtitle groups,
and setting the display to be sequentially displayed at a display switching speed different from that of the plurality of subtitle groups according to the third timetable.

delete

According to claim 1,
In the user terminal, when the specific word is selected from any one of the first and second areas, the method further comprising: selecting a corresponding specific word from the other one of the first and second areas; How to provide video translation subtitles.

According to claim 1,
During the playback of the video, words included in the specific translated subtitle group displayed in the first and second areas are sequentially selected according to the third time table, and the selected words are displayed differently from other words. A method of providing video translation subtitles, characterized in that.

delete