KR20200050707A - System for generating subtitle using graphic objects - Google Patents
System for generating subtitle using graphic objects Download PDFInfo
- Publication number
- KR20200050707A KR20200050707A KR1020180133664A KR20180133664A KR20200050707A KR 20200050707 A KR20200050707 A KR 20200050707A KR 1020180133664 A KR1020180133664 A KR 1020180133664A KR 20180133664 A KR20180133664 A KR 20180133664A KR 20200050707 A KR20200050707 A KR 20200050707A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- subtitle
- speaker
- character
- data
- Prior art date
Links
- 230000008451 emotion Effects 0.000 claims description 148
- 230000001815 facial effect Effects 0.000 claims description 56
- 238000000034 method Methods 0.000 claims description 15
- 230000002194 synthesizing effect Effects 0.000 claims 2
- 230000002996 emotional effect Effects 0.000 abstract 3
- 238000010586 diagram Methods 0.000 description 24
- 208000032041 Hearing impaired Diseases 0.000 description 8
- 230000000694 effects Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
-
- G06K9/00288—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Studio Circuits (AREA)
Abstract
Description
본 발명은 그래픽 객체를 이용한 자막 생성 시스템에 관한 것이다.The present invention relates to a system for generating captions using graphic objects.
기존 청각 장애인을 위한 자막방송은 실시간 방송 또는 녹화방송에서 속기로 자막을 생성하고 있다. 영상의 화자가 말하는 속도에 맞춰 속기로 자막을 생성하다 보니, 오타 발생이 잦고, 자막과 실제 화면 간의 시간차가 발생하였다. 또한, 속기사의 역량에 따라 속기한 자막의 품질이 달리되는 문제점이 있다. 그리고 단순히 자막으로 영상 하단에 표시하는 것으로는 실제 배우의 감정, 감성 들을 이해하기 어려웠다. 예를 들어, 속기는 배우의 화난 목소리를 표현할 방법이 없고, 배우의 음성을 통한 감정을 느끼지 못하여 청각 장애인들은 영상을 보는 즐거움이 반감된다.Conventional subtitle broadcasting for the hearing impaired generates subtitles as shorthand in real-time broadcasting or recorded broadcasting. As the subtitles were generated in shorthand according to the speed of the video speaker, there were frequent typos, and a time difference occurred between the subtitles and the actual screen. In addition, there is a problem in that the quality of shorthand subtitles varies according to the shorthand's capabilities. And it was difficult to understand the emotions and emotions of a real actor simply by displaying them at the bottom of the video as subtitles. For example, shorthand has no way of expressing an actor's angry voice, and since he does not feel the emotion through the actor's voice, the hearing impaired enjoys half the pleasure of watching the video.
본 발명이 해결하고자 하는 과제는 그래픽 객체를 이용한 자막 생성 시스템을 제공하는 것이다.The problem to be solved by the present invention is to provide a caption generation system using a graphic object.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 그래픽 객체를 이용한 자막 생성 시스템은, 콘텐츠 관리 서버로부터 오디오 데이터와 비디오 데이터를 포함하는 멀티미디어 콘텐츠를 수신하고, 상기 멀티미디어 콘텐츠를 이용하여 확장 자막 데이터를 생성하는 자막 생성기를 포함하고, 상기 자막 생성기는, 상기 오디오 데이터를 수신하고, 상기 오디오 데이터를 이용하여 기본 자막 데이터를 생성하는 기본 자막 데이터 생성기, 상기 오디오 데이터를 수신하고, 상기 오디오 데이터를 이용하여 음성 인식에 의한 화자 캐릭터 식별자 및 감정 분류 정보를 생성하는 음성 인식 처리기, 상기 비디오 데이터를 수신하고, 상기 비디오 데이터를 이용하여 안면 인식에 의한 등장 캐릭터 정보 및 감정 분류 정보를 생성하는 안면 인식 처리기, 상기 화자 캐릭터 식별자 및 상기 등장 캐릭터 정보를 수신하고, 화자 정보를 생성하는 화자 정보 생성기, 상기 음성 인식에 의한 감정 분류 정보, 상기 안면 인식에 의한 감정 분류 정보 및 상기 화자 정보를 수신하고, 감정 정보를 생성하는 감정 정보 생성기, 상기 기본 자막 데이터, 상기 화자 정보 및 상기 감정 정보를 수신하고, 확장 자막 데이터를 생성하는 확장 자막 데이터 생성기 및 화자 캐릭터의 음성 정보와 감정 정보 및 등장 캐릭터의 안면 정보와 감정 정보를 저장 및 관리하는 데이터 베이스를 포함하고, 상기 기본 자막 데이터는, 상기 오디오 데이터로부터 검출된 문자열, 시작 시점의 정보를 포함하고, 상기 화자 정보는, 상기 등장 캐릭터에 화자가 포함되는 경우, 상기 화자 캐릭터 식별자 및 상기 위치이고, 상기 화자가 장면에 등장하지 않는 경우, 상기 화자 캐릭터 식별자이고, 상기 감정 정보는, 상기 등장 캐릭터에 화자가 포함되는 경우, 상기 음성 인식 및 상기 안면 인식 결과를 조합한 정보이고, 상기 화자가 장면에 등장하지 않는 경우, 상기 음성 인식 결과를 반영한 정보이고, 상기 확장 자막 데이터는, 상기 문자열, 상기 시작 시점, 상기 화자 캐릭터 식별자, 상기 위치 및 상기 감정 정보에 상응하는 자막 그래픽 객체를 포함하고, 상기 멀티미디어 콘텐츠와 결합된다.A system for generating captions using a graphic object according to an aspect of the present invention for solving the above-described problem, receives multimedia content including audio data and video data from a content management server, and uses the multimedia content to expand caption data. And a subtitle generator for generating, wherein the subtitle generator receives the audio data, and generates basic subtitle data using the audio data, and receives the audio data, and uses the audio data. A speech recognition processor for generating speaker character identifiers and emotion classification information by speech recognition, and a facial recognition processor for receiving the video data and generating appearance character information and emotion classification information by facial recognition using the video data, The speaker car A speaker information generator that receives a liter identifier and the character information, and generates speaker information, receives emotion classification information by the speech recognition, emotion classification information by the face recognition, and the speaker information, and generates emotion information The emotion information generator, the basic subtitle data, the speaker information and the emotion information, and the extended subtitle data generator for generating the extended caption data and the voice and emotion information of the speaker character and the facial information and emotion information of the character appearing And a management database, wherein the basic subtitle data includes a character string detected from the audio data and information on a start time point, and the speaker information is the speaker character identifier when the character includes a speaker And the position, and if the speaker does not appear in the scene, The speaker character identifier, and the emotion information is information that combines the results of the speech recognition and the facial recognition when the character includes the speaker, and when the speaker does not appear in the scene, the voice recognition result The reflected information, and the extended subtitle data includes a subtitle graphic object corresponding to the character string, the start point, the speaker character identifier, the location and the emotion information, and is combined with the multimedia content.
일부 실시예에서, 상기 자막 그래픽 객체는, 상기 감정 정보에 상응하는 글자 종류, 글자 크기, 글자 색, 글자 굵기, 그래픽 객체의 형태, 그래픽 객체의 크기 및 그래픽 객체의 바탕색으로 출력된다.In some embodiments, the subtitle graphic object is output as a letter type, a font size, a font color, a font thickness, a graphic object shape, a graphic object size, and a background color of the graphic object corresponding to the emotion information.
일부 실시예에서, 상기 음성 인식 처리기는, 상기 데이터베이스와 연동하여 상기 화자 캐릭터 식별자 및 상기 감정 분류 정보를 생성한다.In some embodiments, the speech recognition processor generates the speaker character identifier and the emotion classification information in cooperation with the database.
일부 실시예에서, 상기 안면 인식 처리기는, 상기 데이터베이스와 연동하여 상기 등장 캐릭터 정보 및 상기 감정 분류 정보를 생성한다.In some embodiments, the facial recognition processor generates the character information and the emotion classification information in cooperation with the database.
일부 실시예에서, 상기 등장 캐릭터 정보는, 등장 캐릭터 수, 등장 캐릭터 식별자, 위치를 포함한다.In some embodiments, the character information includes the number of characters, the character identifier, and the location.
일부 실시예에서, 자막 합성기를 더 포함하고, 상기 자막 합성기는, 상기 자막 생성기로부터 상기 확장 자막 데이터를 수신하고, 상기 멀티미디어 콘텐츠 및 상기 확장 자막 데이터를 합성한다.In some embodiments, a subtitle synthesizer is further included, and the subtitle synthesizer receives the extended subtitle data from the subtitle generator and synthesizes the multimedia content and the extended subtitle data.
상술한 과제를 해결하기 위한 본 발명의 또 다른 면에 따른 그래픽 객체를 이용한 자막 생성 시스템은, 콘텐츠 관리 서버로부터 오디오 데이터와 비디오 데이터를 포함하는 멀티미디어 콘텐츠 및 기본 자막 데이터를 수신하고, 상기 멀티미디어 콘텐츠 및 기본 자막 데이터를 이용하여 확장 자막 데이터를 생성하는 자막 생성기를 포함하고, 상기 자막 생성기는, 상기 오디오 데이터를 수신하고, 상기 오디오 데이터를 이용하여 음성 인식에 의한 화자 캐릭터 식별자 및 감정 분류 정보를 생성하는 음성 인식 처리기, 상기 비디오 데이터를 수신하고, 상기 비디오 데이터를 이용하여 안면 인식에 의한 등장 캐릭터 정보 및 감정 분류 정보를 생성하는 안면 인식 처리기, 상기 화자 캐릭터 식별자 및 상기 등장 캐릭터 정보를 수신하고, 화자 정보를 생성하는 화자 정보 생성기, 상기 음성 인식에 의한 감정 분류 정보, 상기 안면 인식에 의한 감정 분류 정보 및 상기 화자 정보를 수신하고, 감정 정보를 생성하는 감정 정보 생성기, 상기 기본 자막 데이터, 상기 화자 정보 및 상기 감정 정보를 수신하고, 확장 자막 데이터를 생성하는 확장 자막 데이터 생성기 및 화자 캐릭터의 음성 정보와 감정 정보 및 등장 캐릭터의 안면 정보와 감정 정보를 저장 및 관리하는 데이터 베이스를 포함하고, 상기 기본 자막 데이터는, 문자열, 시작 시점의 정보를 포함하고, 상기 화자 정보는, 상기 등장 캐릭터에 화자가 포함되는 경우, 상기 화자 캐릭터 식별자 및 상기 위치이고, 상기 화자가 장면에 등장하지 않는 경우, 상기 화자 캐릭터 식별자이고, 상기 감정 정보는, 상기 등장 캐릭터에 화자가 포함되는 경우, 상기 음성 인식 및 상기 안면 인식 결과를 조합한 정보이고, 상기 화자가 장면에 등장하지 않는 경우, 상기 음성 인식 결과를 반영한 정보이고, 상기 확장 자막 데이터는, 상기 문자열, 상기 시작 시점, 상기 화자 캐릭터 식별자, 상기 위치 및 상기 감정 정보에 상응하는 자막 그래픽 객체를 포함하고, 상기 멀티미디어 콘텐츠와 결합된다.A system for generating captions using a graphic object according to another aspect of the present invention for solving the above-described problem, receives multimedia content and basic subtitle data including audio data and video data from a content management server, and the multimedia content and And a subtitle generator for generating extended subtitle data using basic subtitle data, the subtitle generator receiving the audio data, and generating speaker character identifiers and emotion classification information by speech recognition using the audio data A voice recognition processor, receiving the video data, receiving the facial recognition processor for generating character information and emotion classification information by facial recognition using the video data, receiving the speaker character identifier and the character information, and speaker information To generate Speaker information generator, emotion classification information by the speech recognition, emotion classification information by the face recognition, and the speaker information, and an emotion information generator that generates emotion information, the basic subtitle data, the speaker information, and the emotion information And a database for storing and managing voice information and emotion information of the speaker character and facial information and emotion information of the character of the speaker, and an extended caption data generator for generating extended caption data, and wherein the basic caption data is a character string. , Including information on a start time, and the speaker information is the speaker character identifier and the location when the character is included in the character, and the speaker character identifier when the speaker does not appear in the scene, the Emotion information, if the character is included in the speaker, the speech recognition The information obtained by combining the facial recognition results, and when the speaker does not appear in the scene, is information reflecting the results of the speech recognition, and the extended subtitle data includes the character string, the starting point, the speaker character identifier, the location and It includes a subtitle graphic object corresponding to the emotion information, and is combined with the multimedia content.
일부 실시예에서, 상기 자막 그래픽 객체는, 상기 감정 정보에 상응하는 글자 종류, 글자 크기, 글자 색, 글자 굵기, 그래픽 객체의 형태, 그래픽 객체의 크기 및 그래픽 객체의 바탕색으로 출력된다.In some embodiments, the subtitle graphic object is output as a letter type, a font size, a font color, a font thickness, a graphic object shape, a graphic object size, and a background color of the graphic object corresponding to the emotion information.
일부 실시예에서, 상기 음성 인식 처리기는, 상기 데이터베이스와 연동하여 상기 화자 캐릭터 식별자 및 상기 감정 분류 정보를 생성한다.In some embodiments, the speech recognition processor generates the speaker character identifier and the emotion classification information in cooperation with the database.
일부 실시예에서, 상기 안면 인식 처리기는, 상기 데이터베이스와 연동하여 상기 등장 캐릭터 정보 및 상기 감정 분류 정보를 생성한다.In some embodiments, the facial recognition processor generates the character information and the emotion classification information in cooperation with the database.
일부 실시예에서, 상기 등장 캐릭터 정보는, 등장 캐릭터 수, 등장 캐릭터 식별자, 위치를 포함한다.In some embodiments, the character information includes the number of characters, the character identifier, and the location.
일부 실시예에서, 자막 합성기를 더 포함하고, 상기 자막 합성기는, 상기 자막 생성기로부터 상기 확장 자막 데이터를 수신하고, 상기 멀티미디어 콘텐츠 및 상기 확장 자막 데이터를 합성한다.In some embodiments, a subtitle synthesizer is further included, and the subtitle synthesizer receives the extended subtitle data from the subtitle generator and synthesizes the multimedia content and the extended subtitle data.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific matters of the present invention are included in the detailed description and drawings.
본 발명의 그래픽 객체를 이용한 자막 생성 시스템에 의하면, 그래픽 객체를 이용한 자막 생성 시스템은 음성 인식 및 안면 인식에 의해서 화자 캐릭터 및 등장 캐릭터의 감정 정보를 생성하고, 감정 정보에 상응하는 확장 자막 데이터를 생성할 수 있다.According to the subtitle generation system using the graphic object of the present invention, the subtitle generation system using the graphic object generates emotion information of the speaker character and the character by voice recognition and facial recognition, and generates extended subtitle data corresponding to the emotion information. can do.
또한, 그래픽 객체를 이용한 자막 생성 시스템은 확장 자막이 표시되는 그래픽 객체를 감정 정보에 상응하도록 하여 청각 장애인에게 감정 정보를 시각적으로 전달할 수 있게 한다.In addition, the caption generation system using the graphic object makes it possible to visually transmit the emotion information to the hearing impaired by making the graphic object displaying the extended caption correspond to the emotion information.
또한, 그래픽 객체를 이용한 자막 생성 시스템은 화자가 영상에 없는 경우 화자 캐릭터 식별자를 영상에 추가하여 청각 장애인에게 영상에 없는 화자를 시각적으로 인지할 수 있도록 한다.In addition, the subtitle generation system using a graphic object enables a visually recognizable speaker to a hearing impaired person by adding a speaker character identifier to the video when the speaker is not present in the video.
또한, 그래픽 객체를 이용한 자막 생성 시스템은 하나의 영상에 복수의 화자가 있는 경우 그래픽 객체를 이용하여 자막을 화자와 대응되도록 하여 청각 장애인에게 복수의 화자 중 누가 발언하고 있는지를 시각적으로 인지할 수 있도록 한다.In addition, the subtitle generation system using a graphic object allows a subtitle to correspond to a speaker using a graphic object when a single video has multiple speakers, so that a visually recognized who is speaking among the plurality of speakers to a hearing impaired person. do.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 본 발명의 실시예에 따른 자막 생성기의 입출력도이다.
도 2는 본 발명의 실시예에 따른 자막 생성기의 구성도이다.
도 3은 본 발명의 실시예에 따른 기본 자막 데이터 생성기 및 음성 인식 처리기의 입출력도이다.
도 4는 본 발명의 실시예에 따른 안면 인식 처리기의 입출력도이다.
도 5는 본 발명의 실시예에 따른 화자 정보 생성기의 입출력도이다.
도 6은 본 발명의 실시예에 따른 감정 정보 생성기의 입출력도이다.
도 7은 본 발명의 실시예에 따른 확장 자막 데이터 생성기의 입출력도이다.
도 8은 본 발명의 실시예에 따른 그래픽 객체를 이용한 자막 생성 방법의 순서도이다.
도 9는 본 발명의 실시예에 따른 자막 합성기의 입출력도이다.
도 10은 본 발명의 실시예에 따른 확장 자막 데이터가 합성된 멀티미디어 콘텐츠의 예시도이다.
도 11은 본 발명의 실시예에 따른 자막 생성기 및 자막 합성기의 입출력도이다.
도 12는 본 발명의 실시예에 따른 자막 생성기의 입출력도이다.
도 13은 본 발명의 실시예에 따른 자막 생성기의 구성도이다.1 is an input / output diagram of a caption generator according to an embodiment of the present invention.
2 is a block diagram of a caption generator according to an embodiment of the present invention.
3 is an input / output diagram of a basic caption data generator and a speech recognition processor according to an embodiment of the present invention.
4 is an input / output diagram of a facial recognition processor according to an embodiment of the present invention.
5 is an input / output diagram of a speaker information generator according to an embodiment of the present invention.
6 is an input / output diagram of an emotion information generator according to an embodiment of the present invention.
7 is an input / output diagram of an extended caption data generator according to an embodiment of the present invention.
8 is a flowchart of a subtitle generation method using a graphic object according to an embodiment of the present invention.
9 is an input / output diagram of a caption synthesizer according to an embodiment of the present invention.
10 is an exemplary diagram of multimedia content synthesized with extended caption data according to an embodiment of the present invention.
11 is an input and output diagram of a caption generator and a caption synthesizer according to an embodiment of the present invention.
12 is an input / output diagram of a caption generator according to an embodiment of the present invention.
13 is a block diagram of a caption generator according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the present invention, and methods for achieving them will be clarified with reference to embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only the present embodiments allow the disclosure of the present invention to be complete, and are common in the technical field to which the present invention pertains. It is provided to fully inform the skilled person of the scope of the present invention, and the present invention is only defined by the scope of the claims.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.The terminology used herein is for describing the embodiments and is not intended to limit the present invention. In the present specification, the singular form also includes the plural form unless otherwise specified in the phrase. As used herein, “comprises” and / or “comprising” does not exclude the presence or addition of one or more other components other than the components mentioned. Throughout the specification, the same reference numerals refer to the same components, and “and / or” includes each and every combination of one or more of the components mentioned. Although "first", "second", etc. are used to describe various components, it goes without saying that these components are not limited by these terms. These terms are only used to distinguish one component from another component. Therefore, it goes without saying that the first component mentioned below may be the second component within the technical spirit of the present invention.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in the present specification may be used as meanings commonly understood by those skilled in the art to which the present invention pertains. In addition, terms defined in the commonly used dictionary are not ideally or excessively interpreted unless explicitly defined.
도 1 내지 도 11에서는 멀티미디어 콘텐츠를 수신하여 실시간으로 기본 자막 데이터와 확장 자막 데이터를 생성하는 시스템을 기술하고, 도 12 내지 도 13에서는 콘텐츠 제작사에서 이미 생성한 기본 자막 데이터와 멀티미디어 콘텐츠를 수신하여 확장 자막 데이터를 생성하는 시스템을 기술한다.1 to 11 describe a system for generating basic subtitle data and extended subtitle data in real time by receiving multimedia content, and in FIGS. 12 to 13, receiving and expanding basic subtitle data and multimedia content already generated by a content production company A system for generating subtitle data is described.
멀티미디어 콘텐츠는 정보를 디지털화하여 정보기기로 생산, 유통, 소비되는 형태의 콘텐츠로써, 드라마, 영화, 뉴스, 애니메이션, 교육 프로그램, 게임 등이 있고, 오디오 데이터와 비디오 데이터로 구성된다.Multimedia content is digitized information that is produced, distributed, and consumed by information equipment, and includes drama, movies, news, animation, educational programs, and games, and is composed of audio data and video data.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 실시예에 따른 자막 생성기(1000)의 입출력도이다.1 is an input and output diagram of the
도 1을 참조하면, 자막 생성기(1000)는 멀티미디어 콘텐츠를 수신하고, 확장 자막 데이터를 생성한다.Referring to FIG. 1, the
자막 생성기(1000)는 콘텐츠 관리 서버로부터 오디오 데이터와 비디오 데이터를 포함하는 멀티미디어 콘텐츠를 수신하고, 멀티미디어 콘텐츠를 이용하여 확장 자막 데이터를 생성한다.The
콘텐츠 관리 서버는 멀티미디어 콘텐츠 제작사에 의해 운영되며, 멀티미디어 콘텐츠 및 기본 자막 데이터를 관리 및 저장한다. 콘텐츠 관리 서버는 멀티미디어 콘텐츠 만을 자막 생성기(1000)에 송신할 수 있고, 멀티미디어 콘텐츠와 콘텐츠 제작사에 의해 제작된 기본 자막 데이터를 동시에 자막 생성기(1000)에 송신할 수도 있다.The content management server is operated by a multimedia content production company, and manages and stores multimedia content and basic subtitle data. The content management server may transmit only the multimedia content to the
자막 생성기(1000)는 멀티미디어 콘텐츠를 소정의 규칙에 의해 데이터를 가공하여 화자의 감정 정보가 반영된 확장 자막 데이터를 생성할 수 있다.The
도 2는 본 발명의 실시예에 따른 자막 생성기(1000)의 구성도이다.2 is a block diagram of a
도 2를 참조하면, 자막 생성기(1000)는 기본 자막 데이터 생성기(1100), 음성 인식 처리기(1200), 안면 인식 처리기(1300), 화자 정보 생성기(1400), 감정 정보 생성기(1500), 확장 자막 데이터 생성기(1600) 및 데이터베이스(1700)를 포함한다.Referring to FIG. 2, the
기본 자막 데이터 생성기(1100)는 오디오 데이터를 수신하고, 오디오 데이터를 이용하여 기본 자막 데이터를 생성한다. 기본 자막 데이터 생성기(1100)는 멀티미디어 콘텐츠 중 오디오 데이터를 수신하고, 오디오 데이터를 소정의 규칙에 의해 가공하여 기본 자막 데이터를 생성한다.The basic
음성 인식 처리기(1200)는 오디오 데이터를 수신하고, 오디오 데이터를 이용하여 음성 인식에 의한 화자 캐릭터 식별자 및 감정 분류 정보를 생성한다. 음성 인식 처리기(1200)는 멀티미디어 콘텐츠 중 오디오 데이터를 수신하고, 오디오 데이터를 소정의 규칙에 의해 가공하여 화자 캐릭터 식별자 및 감정 분류 정보를 생성한다.The
안면 인식 처리기(1300)는 비디오 데이터를 수신하고, 비디오 데이터를 이용하여 안면 인식에 의한 등장 캐릭터 정보 및 감정 분류 정보를 생성한다. 안면 인식 처리기(1300)는 멀티미디어 콘텐츠 중 비디오 데이터를 수신하고, 비디오 데이터를 소정의 규칙에 의해 가공하여 등장 캐릭터 정보 및 감정 분류 정보를 생성한다.The
화자 정보 생성기(1400)는 화자 캐릭터 식별자 및 등장 캐릭터 정보를 수신하고, 화자 정보를 생성한다. 화자 정보 생성기(1400)는 음성 인식 처리기(1200)로부터 화자 캐릭터 식별자를 수신하고, 안면 인식 처리기(1300)로부터 등장 캐릭터 정보를 수신하고, 화자 캐릭터 식별자 및 등장 캐릭터 정보를 소정의 규칙에 의해 가공하여 화자 정보를 생성한다.The
감정 정보 생성기(1500)는 음성 인식에 의한 감정 분류 정보, 안면 인식에 의한 감정 분류 정보 및 화자 정보를 수신하고, 감정 정보를 생성한다. 감정 정보 생성기(1500)는 음성 인식 처리기(1200)로부터 음성 인식에 의한 감정 분류 정보를 수신하고, 안면 인식 처리기(1300)로부터 안면 인식에 의한 감정 분류 정보를 수신하고, 음성 인식 및 안면 인식에 의한 감정 분류 정보를 소정의 규칙에 의해 가공하여 감정 정보를 생성한다.The
확장 자막 데이터 생성기(1600)는 기본 자막 데이터, 화자 정보 및 감정 정보를 수신하고, 확장 자막 데이터를 생성한다. 확장 자막 데이터 생성기(1600)는 기본 자막 데이터 생성기(1100)로부터 기본 자막 데이터를 수신하고, 화자 정보 생성기(1400)로부터 화자 정보를 수신하고, 감정 정보 생성기(1500)로부터 감정 정보를 수신하고, 기본 자막 데이터와 화자 정보와 감정 정보를 소정의 규칙에 의해 가공하여 확장 자막 데이터를 생성한다.The extended
데이터베이스(1700)는 화자 캐릭터의 음성 정보와 감정 정보 및 등장 캐릭터의 안면 정보와 감정 정보를 저장 및 관리한다. 데이터 베이스는 멀티미디어 콘텐츠 방송 사전에 화자 캐릭터의 음성 정보와 감정 정보 및 등장 캐릭터의 안면 정보와 감정 정보를 저장 및 관리할 수 있고, 멀티미디어 콘텐츠 방송 중 실시간으로 화자 캐릭터의 음성 정보와 감정 정보 및 등장 캐릭터의 안면 정보와 감정 정보를 저장 및 관리할 수 있다.The
데이터베이스(1700)는 일정 시간 동안 특정 화자가 반복적 또는 주기적으로 등장 시에 멀티미디어 콘텐츠로부터 자동으로 화자 캐릭터의 음성 정보와 감정 정보 및 등장 캐릭터의 안면 정보와 감정 정보를 자막 생성기(1000)로부터 수신하여 저장 및 관리한다.The
도 3은 본 발명의 실시예에 따른 기본 자막 데이터 생성기(1100) 및 음성 인식 처리기(1200)의 입출력도이다.3 is an input / output diagram of the basic
도 3을 참조하면, 기본 자막 데이터 생성기(1100)는 오디오 데이터를 수신하고, 기본 자막 데이터를 생성하고, 음성 인식 처리기(1200)는 오디오 데이터를 수신하고, 화자 캐릭터 식별자를 생성한다.Referring to FIG. 3, the basic
기본 자막 데이터 생성기(1100)는 오디오 데이터를 수신하고, 오디오 데이터를 이용하여 기본 자막 데이터를 생성한다. 기본 자막 데이터는 오디오 데이터로부터 검출된 문자열, 시작 시점의 정보를 포함한다.The basic
음성 인식 처리기(1200)는 오디오 데이터를 수신하고, 오디오 데이터를 이용하여 음성 인식에 의한 화자 캐릭터 식별자 및 감정 분류 정보를 생성한다. 화자 캐릭터 식별자는 오디오 데이터 상에서 발언하고 있는 캐릭터, 등장 인물 등을 규정하기 위한 특정 기호, 아이콘 또는 이미지일 수 있다. 감정 분류 정보는 화자의 감정을 분류한 정보로써, 기쁨 슬픔, 분노 등 일 수 있다.The
음성 인식 처리기(1200)는 오디오 데이터의 음성 정보를 음성 인식하고, 데이터베이스(1700)와 연동하여 화자 캐릭터 식별자 및 감정 분류 정보를 생성한다. 음성 인식 처리기(1200)는 멀티미디어 콘텐츠의 오디오 데이터로부터 음성 인식된 음성 정보가 데이터베이스(1700)의 음성 정보와 소정의 기준 이상 유사한 경우, 데이터베이스(1700)의 음성 정보에 상응하는 화자 캐릭터를 인식하여 화자 캐릭터 식별자를 생성한다. 또한, 음성 인식 처리기(1200)는 멀티미디어 콘텐츠의 오디오 데이터로부터 음성 인식된 음성 정보가 데이터베이스(1700)의 음성 정보와 소정의 기준 이상 유사한 경우, 데이터베이스(1700)의 음성 정보에 상응하는 감정 정보를 인식하여 감정 분류 정보를 생성한다.The
도 4는 본 발명의 실시예에 따른 안면 인식 처리기(1300)의 입출력도이다.4 is an input / output diagram of the
도 4를 참조하면, 안면 인식 처리기(1300)는 비디오 데이터를 수신하고, 등장 캐릭터 정보 및 감정 분류 정보를 생성한다.Referring to FIG. 4, the
안면 인식 처리기(1300)는 비디오 데이터를 수신하고, 비디오 데이터를 이용하여 안면 인식에 의한 등장 캐릭터 정보 및 감정 분류 정보를 생성한다. 등장 캐릭터 정보는 등장 캐릭터 수, 등장 캐릭터 식별자, 위치를 포함한다. 또한, 감정 분류 정보는 등장 캐릭터의 감정을 분류한 정보로써, 기쁨 슬픔, 분노 등 일 수 있다.The
안면 인식 처리기(1300)는 비디오 데이터의 안면 정보를 안면 인식하고, 데이터베이스(1700)와 연동하여 등장 캐릭터 정보 및 감정 분류 정보를 생성한다. 안면 인식 처리기(1300)는 멀티미디어 콘텐츠의 비디오 데이터로부터 안면 인식된 안면 정보가 데이터베이스(1700)의 안면 정보와 소정의 기준 이상 유사한 경우, 데이터베이스(1700)의 안면 정보에 상응하는 등장 캐릭터를 인식하여 등장 캐릭터 수, 식별자, 위치를 생성한다. 또한, 안면 인식 처리기(1300)는 멀티미디어 콘텐츠의 비디오 데이터로부터 안면 인식된 안면 정보가 데이터베이스(1700)의 안면 정보와 소정의 기준 이상 유사한 경우, 데이터베이스(1700)의 안면 정보에 상응하는 감정 정보를 인식하여 감정 분류 정보를 생성한다.The
도 5는 본 발명의 실시예에 따른 화자 정보 생성기(1400)의 입출력도이다.5 is an input / output diagram of the
도 5를 참조하면, 화자 정보 생성기(1400)는 화자 캐릭터 식별자 및 등장 캐릭터 정보를 수신하고, 화자 정보를 생성한다.Referring to FIG. 5, the
화자 정보 생성기(1400)는 화자 캐릭터 식별자 및 등장 캐릭터 정보를 수신하고, 화자 정보를 생성한다.The
화자 정보는 등장 캐릭터에 화자가 포함되는 경우, 화자 캐릭터 식별자 및 위치이고, 화자가 장면에 등장하지 않는 경우, 화자 캐릭터 식별자이다. 화자 정보 생성기(1400)는 화자 캐릭터 식별자와 등장 캐릭터 식별자가 소정의 기준 이상 유사한 경우, 등장 캐릭터에 화자가 포함된 것으로 판단하여, 화자 캐릭터 식별자와 위치의 화자 정보를 생성한다. 또한, 화자 정보 생성기(1400)는 화자 캐릭터 식별자와 등장 캐릭터 식별자가 소정의 기준 미만으로 유사한 경우, 화자가 장면에 등장하지 않는 것으로 판단하여, 화자 캐릭터 식별자의 화자 정보를 생성한다.The speaker information is a speaker character identifier and location when a speaker is included in the character, and is a speaker character identifier when the speaker does not appear in the scene. The
도 6은 본 발명의 실시예에 따른 감정 정보 생성기(1500)의 입출력도이다.6 is an input / output diagram of the
도 6을 참조하면, 감정 정보 생성기(1500)는 음성 인식에 의한 감정 분류 정보, 안면 인식에 의한 감정 분류 정보 및 화자 정보를 수신하고, 감정 정보를 생성한다.Referring to FIG. 6, the
감정 정보는 등장 캐릭터에 화자가 포함되는 경우, 음성 인식 및 안면 인식 결과를 조합한 정보이고, 화자가 장면에 등장하지 않는 경우, 음성 인식 결과를 반영한 정보이다. 감정 정보 생성기(1500)는 화자 캐릭터 식별자와 등장 캐릭터 식별자가 소정의 기준 이상 유사한 경우, 등장 캐릭터에 화자가 포함된 것으로 판단하여, 음성 인식에 의한 감정 분류 정보와 안면 인식에 의한 감정 분류 정보를 조합하여 감정 정보를 생성한다. 또한, 감정 정보 생성기(1500)는 화자 캐릭터 식별자와 등장 캐릭터 식별자가 소정의 기준 미만으로 유사한 경우, 화자가 장면에 등장하지 않는 것으로 판단하여, 음성 인식에 의한 감정 분류 정보를 이용하여 감정 정보를 생성한다.The emotion information is information that combines the results of speech recognition and facial recognition when the character includes a speaker, and information that reflects the results of speech recognition when the speaker does not appear in the scene. The
도 7은 본 발명의 실시예에 따른 확장 자막 데이터 생성기(1600)의 입출력도이다.7 is an input / output diagram of the extended
도 7을 참조하면, 확장 자막 데이터 생성기(1600)는 기본 자막 데이터, 화자 정보 및 감정 정보를 수신하고, 확장 자막 데이터를 생성한다.Referring to FIG. 7, the extended
확장 자막 데이터 생성기(1600)는 기본 자막 데이터, 화자 정보 및 감정 정보를 수신하고, 확장 자막 데이터를 생성한다. 확장 자막 데이터는 문자열, 시작 시점, 화자 캐릭터 식별자, 위치 및 감정 정보에 상응하는 자막 그래픽 객체를 포함하고, 멀티미디어 콘텐츠와 결합된다.The extended
확장 자막 데이터는 멀티미디어 콘텐츠의 자막이 출력되는 모든 시작 시점 마다 문자열, 화자 캐릭터 식별자, 등장 캐릭터 위치, 글자 종류, 글자 크기, 글자 색, 그래픽 객체의 형태, 그래픽 객체의 크기 및 그래픽 객체의 바탕색을 달리하여 문자열 만을 단순히 출력하는 것이 아닌 화자의 감정이 반영되도록 확장 자막 데이터를 구성할 수 있다.The extended subtitle data is different for every starting point when subtitles of multimedia contents are output, the character string, the speaker character identifier, the character position of the characters, the character type, the font size, the font color, the shape of the graphic object, the size of the graphic object, and the background color of the graphic object. Thus, extended subtitle data can be configured to reflect the speaker's emotions rather than simply outputting a string.
자막 그래픽 객체는 문자열이 화면에 출력되게 하는 도구로써, 감정 정보에 상응하는 글자 종류, 글자 크기, 글자 색, 그래픽 객체의 형태, 그래픽 객체의 크기 및 그래픽 객체의 바탕색으로 출력된다. 자막 그래픽 객체는 도 10에서 자세히 설명된다.The subtitle graphic object is a tool for displaying a character string on the screen, and is output as a character type, a font size, a font color, a graphic object shape, a graphic object size, and a graphic object background color corresponding to emotion information. The subtitle graphic object is described in detail in FIG. 10.
도 8은 본 발명의 실시예에 따른 그래픽 객체를 이용한 자막 생성 방법의 순서도이다.8 is a flowchart of a subtitle generation method using a graphic object according to an embodiment of the present invention.
도 8을 참조하면, 그래픽 객체를 이용한 자막 생성 방법은, 기본 자막 데이터 생성 단계, 음성 인식 처리 단계, 안면 인식 처리 단계, 화자 정보 생성 단계, 감정 정보 생성 단계 및 확장 자막 데이터 생성 단계를 포함한다.Referring to FIG. 8, a subtitle generation method using a graphic object includes a basic subtitle data generation step, a voice recognition processing step, a face recognition processing step, speaker information generation step, emotion information generation step, and extended subtitle data generation step.
단계 S5100에서, 콘텐츠 관리 서버로부터 멀티미디어 콘텐츠 중 오디오 데이터를 수신하고, 오디오 데이터를 이용하여 기본 자막 데이터를 생성한다.In step S5100, audio data among multimedia contents is received from the content management server, and basic subtitle data is generated using the audio data.
단계 S5200에서, 콘텐츠 관리 서버로부터 멀티미디어 콘텐츠 중 오디오 데이터를 수신하고, 오디오 데이터를 이용하여 음성 인식에 의한 화자 캐릭터 식별자 및 감정 분류 정보를 생성한다.In step S5200, audio data among multimedia contents is received from the content management server, and speaker character identifiers and emotion classification information by voice recognition are generated using the audio data.
단계 S5300에서, 콘텐츠 관리 서버로부터 멀티미디어 콘텐츠 중 비디오 데이터를 수신하고, 비디오 데이터를 이용하여 안면 인식에 의한 등장 캐릭터 정보 및 감정 분류 정보를 생성한다.In step S5300, video data among multimedia contents is received from the content management server, and character information and emotion classification information by facial recognition are generated using the video data.
단계 S5400에서, 화자 캐릭터 식별자 및 등장 캐릭터 정보를 수신하고, 화자 정보를 생성한다.In step S5400, the speaker character identifier and the character information are received, and the speaker information is generated.
단계 S5500에서, 음성 인식에 의한 감정 분류 정보, 안면 인식에 의한 감정 분류 정보 및 화자 정보를 수신하고, 감정 정보를 생성한다.In step S5500, emotion classification information by voice recognition, emotion classification information by face recognition, and speaker information are received, and emotion information is generated.
단계 S5600에서, 기본 자막 데이터, 화자 정보 및 감정 정보를 수신하고, 확장 자막 데이터를 생성한다.In step S5600, basic subtitle data, speaker information, and emotion information are received, and extended subtitle data is generated.
도 9는 본 발명의 실시예에 따른 자막 합성기(2000)의 입출력도이다.9 is an input / output diagram of the
도 9를 참조하면, 자막 합성기(2000)는 멀티미디어 콘텐츠 및 확장 자막 데이터를 수신하고, 확장 자막 데이터가 합성된 멀티미디어 콘텐츠를 생성한다.Referring to FIG. 9, the
자막 합성기(2000)는 자막 생성기(1000)로부터 확장 자막 데이터를 수신하고, 멀티미디어 콘텐츠 및 확장 자막 데이터를 합성한다. 확장 자막 데이터가 합성된 멀티미디어 콘텐츠는 도 10에서 자세히 설명한다.The
자막 합성기(2000)는 멀티미디어 콘텐츠와 확장 자막 데이터가 서로 대응되는지를 판단하기 위해서 멀티미디어 콘텐츠의 식별자와 확장 자막 데이터의 식별자를 비교하여 서로 대응되는 경우에 멀티미디어 콘텐츠와 확장 자막 데이터를 합성한다.In order to determine whether the multimedia content and the extended subtitle data correspond to each other, the
도 10은 본 발명의 실시예에 따른 확장 자막 데이터가 합성된 멀티미디어 콘텐츠의 예시도이다.10 is an exemplary diagram of multimedia content synthesized with extended caption data according to an embodiment of the present invention.
도 10의 (a)를 참조하면, 화자가 영상에 없는 경우 확장 자막 데이터가 합성된 멀티미디어 콘텐츠의 예시도이다.Referring to (a) of FIG. 10, it is an exemplary view of multimedia content in which extended subtitle data is synthesized when the speaker is not present in the video.
화자가 영상에 없는 멀티미디어 콘텐츠에서 단순히 영상 하단에 자막만 나온다면 청각 장애인은 어떤 등장 캐릭터가 자막을 발언하고 있는지 판단하기 어렵다. 따라서, 본 발명은 화자 캐릭터 식별자를 영상에 출력시키고, 화자 캐릭터 식별자의 위치에 확장 자막 데이터를 출력시킨다. 확장 자막 데이터의 감정 정보에 상응하는 자막 그래픽 객체는 말풍선 모양으로 영상에 출력될 수 있고, 화자의 감정 정보에 상응하도록 글자 종류, 글자 크기, 글자 색, 글자 굵기, 그래픽 객체의 형태, 그래픽 객체의 크기 및 그래픽 객체의 바탕색이 출력될 수 있다. 예를 들어, 화자의 감정 정보가 분노인 경우, 글자 크기를 소정의 기준 이상으로 크게 할 수 있고, 글자 색을 빨간색으로 글자의 굵기를 두껍게로 할 수 있고, 자막 그래픽 객체의 형태를 뾰족한 모양으로 할 수 있다.It is difficult for the hearing impaired to determine which character is speaking in the subtitle if the speaker simply displays the subtitle at the bottom of the video in the multimedia content that the speaker does not have. Accordingly, the present invention outputs the speaker character identifier to the image, and outputs extended caption data at the location of the speaker character identifier. The subtitle graphic object corresponding to the emotion information of the extended subtitle data may be output on the image in the form of a speech bubble, and the text type, text size, text color, text thickness, shape of the graphic object, and graphic object correspond to the speaker's emotion information. The size and background color of the graphic object can be output. For example, when the speaker's emotion information is anger, the font size can be increased to a predetermined standard or more, the font color is red, the font thickness is thick, and the subtitle graphic object is in a sharp shape. can do.
화자의 감정 정보에 상응하는 글자 종류, 글자 크기, 글자 색, 글자 굵기, 그래픽 객체의 형태, 그래픽 객체의 크기 및 그래픽 객체의 바탕색은 자막 생성 시스템의 관리자에 의해 설정될 수 있고, 사용자인 청각 장애인의 취향에 따라 달리 설정될 수 있다.The text type, text size, text color, text thickness, graphic object shape, graphic object size, and graphic object background color corresponding to the speaker's emotion information can be set by the administrator of the subtitle generation system, and the user is a hearing impaired person. It can be set differently according to the taste of the.
도 10의 (b)를 참조하면, 복수의 화자가 영상에 있는 경우 확장 자막 데이터가 합성된 멀티미디어 콘텐츠의 예시도이다.Referring to (b) of FIG. 10, it is an exemplary view of multimedia content in which extended subtitle data is synthesized when a plurality of speakers are present in an image.
복수의 화자가 멀티미디어 콘텐츠에서 단순히 영상 하단에 자막만 나온다면 청각 장애인은 어떤 등장 캐릭터가 자막을 발언하고 있는지 판단하기 어렵다. 따라서, 본 발명은 확장 자막 데이터에 대응되는 등장 캐릭터를 판단하고, 해당 등장 캐릭터의 위치에 확장 자막 데이터를 출력할 수 있다.If a plurality of speakers simply subtitles at the bottom of the video in the multimedia content, it is difficult for the hearing impaired to determine which character is speaking. Accordingly, the present invention can determine the appearance character corresponding to the extended caption data, and output the extended caption data at the position of the corresponding character.
도 11은 본 발명의 실시예에 따른 자막 생성기(1000) 및 자막 합성기(2000)의 입출력도이다.11 is an input and output diagram of the
도 11을 참조하면, 자막 생성기(1000)는 멀티미디어 콘텐츠를 수신하고, 확장 자막 데이터를 생성하고, 자막 합성기(2000)는 멀티미디어 콘텐츠 및 확장 자막 데이터를 수신하고, 확장 자막 데이터가 합성된 멀티미디어 콘텐츠를 생성한다.Referring to FIG. 11, the
자막 생성기(3000), 자막 합성기, 멀티미디어 콘텐츠, 확장 자막 데이터 및 확장 자막 데이터가 합성된 멀티미디어 콘텐츠에 대해서는 도면 1 내지 10에 기재되어 있으므로, 도 11의 설명에서는 생략한다.The
도 12 및 13의 자막 생성기(3000)는 콘텐츠 제작사에서 이미 생성한 기본 자막 데이터와 멀티미디어 콘텐츠를 수신하여 확장 자막 데이터를 생성하는 시스템으로써, 기본 자막 데이터를 콘텐츠 제작사로부터 수신한다는 점에서 도 1 내지 10의 자막 생성기(3000)와 다르고, 용어의 설명은 동일함으로 이하에서는 간략히 기재한다.The
도 12는 본 발명의 실시예에 따른 자막 생성기(3000)의 입출력도이다.12 is an input / output diagram of the
도 12를 참조하면, 자막 생성기(3000)는 멀티미디어 콘텐츠 및 기본 자막 데이터를 수신하고, 확장 자막 데이터를 생성한다.Referring to FIG. 12, the
자막 생성기(3000)는 콘텐츠 관리 서버로부터 오디오 데이터와 비디오 데이터를 포함하는 멀티미디어 콘텐츠 및 기본 자막 데이터를 수신하고, 멀티미디어 콘텐츠 및 기본 자막 데이터를 이용하여 확장 자막 데이터를 생성한다.The
기본 자막 데이터는 문자열, 시작 시점의 정보를 포함한다.The basic subtitle data includes a character string and information on a starting point.
자막 합성기는 자막 생성기(3000)로부터 확장 자막 데이터를 수신하고, 멀티미디어 콘텐츠 및 확장 자막 데이터를 합성한다.The subtitle synthesizer receives extended subtitle data from the
도 13은 본 발명의 실시예에 따른 자막 생성기(3000)의 구성도이다.13 is a block diagram of a
도 13을 참조하면, 자막 생성기(3000)는 음성 인식 처리기(3100), 안면 인식 처리기(3200), 화자 정보 생성기(3300), 감정 정보 생성기(3400), 확장 자막 데이터 생성기(3500) 및 데이터베이스(3600)를 포함한다.Referring to FIG. 13, the
음성 인식 처리기(3100)는 오디오 데이터를 수신하고, 오디오 데이터를 이용하여 음성 인식에 의한 화자 캐릭터 식별자 및 감정 분류 정보를 생성한다.The
음성 인식 처리기(3100)는 데이터베이스(3600)와 연동하여 화자 캐릭터 식별자 및 감정 분류 정보를 생성한다.The
안면 인식 처리기(3200)는 비디오 데이터를 수신하고, 비디오 데이터를 이용하여 안면 인식에 의한 등장 캐릭터 정보 및 감정 분류 정보를 생성한다.The
안면 인식 처리기(3200)는 데이터베이스(3600)와 연동하여 등장 캐릭터 정보 및 감정 분류 정보를 생성한다.The
등장 캐릭터 정보는 등장 캐릭터 수, 등장 캐릭터 식별자, 위치를 포함한다.The character information includes the number of characters, the character identifier, and the location.
화자 정보 생성기(3300)는 화자 캐릭터 식별자 및 등장 캐릭터 정보를 수신하고, 화자 정보를 생성한다.The
화자 정보는 등장 캐릭터에 화자가 포함되는 경우, 화자 캐릭터 식별자 및 위치이고, 화자가 장면에 등장하지 않는 경우, 화자 캐릭터 식별자이다.The speaker information is a speaker character identifier and location when a speaker is included in the character, and is a speaker character identifier when the speaker does not appear in the scene.
감정 정보 생성기(3400)는 음성 인식에 의한 감정 분류 정보, 안면 인식에 의한 감정 분류 정보 및 화자 정보를 수신하고, 감정 정보를 생성한다.The
감정 정보는 등장 캐릭터에 화자가 포함되는 경우, 음성 인식 및 안면 인식 결과를 조합한 정보이고, 화자가 장면에 등장하지 않는 경우, 음성 인식 결과를 반영한 정보이다.The emotion information is information that combines voice recognition and facial recognition results when the character includes a speaker, and information that reflects the voice recognition result when the speaker does not appear in the scene.
확장 자막 데이터 생성기(3500)는 기본 자막 데이터, 화자 정보 및 감정 정보를 수신하고, 확장 자막 데이터를 생성한다.The extended
확장 자막 데이터는 문자열, 시작 시점, 화자 캐릭터 식별자, 위치 및 감정 정보에 상응하는 자막 그래픽 객체를 포함하고, 멀티미디어 콘텐츠와 결합된다.The extended subtitle data includes a subtitle graphic object corresponding to a character string, a starting point, a speaker character identifier, location and emotion information, and is combined with multimedia content.
자막 그래픽 객체는 감정 정보에 상응하는 글자 종류, 글자 크기, 글자 색, 그래픽 객체의 형태, 그래픽 객체의 크기 및 그래픽 객체의 바탕색으로 출력된다.The subtitle graphic object is output as text type, text size, text color, graphic object shape, graphic object size, and graphic object background color corresponding to emotion information.
데이터베이스(3600)는 화자 캐릭터의 음성 정보와 감정 정보 및 등장 캐릭터의 안면 정보와 감정 정보를 저장 및 관리한다.The
도 1 내지 11의 자막 생성기 및 자막 합성기와 도 12 내지 13의 자막 생성기 및 자막 합성기는 영상통화 환경에도 적용 가능하다. The subtitle generator and subtitle synthesizer of FIGS. 1 to 11 and the subtitle generator and subtitle synthesizer of FIGS. 12 to 13 are applicable to a video call environment.
일부 실시예에서, 스마트폰 내의 애플리케이션은 영상통화 멀티미디어 콘텐츠를 영상통화 멀티미디어 콘텐츠 관리 서버로 전송하고, 영상통화 멀티미디어 콘텐츠 관리 서버의 자막 생성기 및 자막 합성기는 확장 자막 데이터가 합성된 멀티미디어 콘텐츠를 생성할 수 있다. In some embodiments, the application in the smartphone transmits the video call multimedia content to the video call multimedia content management server, and the subtitle generator and subtitle synthesizer of the video call multimedia content management server can generate multimedia content synthesized with extended subtitle data. have.
다른 일부 실시예에서, 스마트폰 내의 애플리케이션은 자막 생성기 및 자막 합성기에 상응하는 프로그램이 내장되어 있고, 자막 생성기 및 자막 합성기에 상응하는 프로그램이 확장 자막 데이터가 합성된 멀티미디어 콘텐츠를 생성할 수 있다.In some other embodiments, an application in a smartphone includes a program corresponding to a caption generator and a caption synthesizer, and a program corresponding to the caption generator and the caption synthesizer can generate multimedia content synthesized with extended caption data.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.The steps of a method or algorithm described in connection with an embodiment of the present invention may be implemented directly in hardware, a software module executed by hardware, or a combination thereof. The software modules may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside on any type of computer readable recording medium well known in the art.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.The embodiments of the present invention have been described above with reference to the accompanying drawings, but a person skilled in the art to which the present invention pertains may implement the present invention in other specific forms without changing its technical spirit or essential features. You will understand. Therefore, it should be understood that the above-described embodiments are illustrative in all respects and not restrictive.
1000 : 자막 생성기
2000 : 자막 합성기1000: subtitle generator
2000: Subtitle synthesizer
Claims (12)
상기 자막 생성기는,
상기 오디오 데이터를 수신하고, 상기 오디오 데이터를 이용하여 기본 자막 데이터를 생성하는 기본 자막 데이터 생성기;
상기 오디오 데이터를 수신하고, 상기 오디오 데이터를 이용하여 음성 인식에 의한 화자 캐릭터 식별자 및 감정 분류 정보를 생성하는 음성 인식 처리기;
상기 비디오 데이터를 수신하고, 상기 비디오 데이터를 이용하여 안면 인식에 의한 등장 캐릭터 정보 및 감정 분류 정보를 생성하는 안면 인식 처리기;
상기 화자 캐릭터 식별자 및 상기 등장 캐릭터 정보를 수신하고, 화자 정보를 생성하는 화자 정보 생성기;
상기 음성 인식에 의한 감정 분류 정보, 상기 안면 인식에 의한 감정 분류 정보 및 상기 화자 정보를 수신하고, 감정 정보를 생성하는 감정 정보 생성기;
상기 기본 자막 데이터, 상기 화자 정보 및 상기 감정 정보를 수신하고, 확장 자막 데이터를 생성하는 확장 자막 데이터 생성기 및
화자 캐릭터의 음성 정보와 감정 정보 및 등장 캐릭터의 안면 정보와 감정 정보를 저장 및 관리하는 데이터 베이스를 포함하고,
상기 기본 자막 데이터는,
상기 오디오 데이터로부터 검출된 문자열, 시작 시점의 정보를 포함하고,
상기 화자 정보는,
상기 등장 캐릭터에 화자가 포함되는 경우, 상기 화자 캐릭터 식별자 및 상기 위치이고, 상기 화자가 장면에 등장하지 않는 경우, 상기 화자 캐릭터 식별자이고,
상기 감정 정보는,
상기 등장 캐릭터에 화자가 포함되는 경우, 상기 음성 인식 및 상기 안면 인식 결과를 조합한 정보이고, 상기 화자가 장면에 등장하지 않는 경우, 상기 음성 인식 결과를 반영한 정보이고,
상기 확장 자막 데이터는,
상기 문자열, 상기 시작 시점, 상기 화자 캐릭터 식별자, 상기 위치 및 상기 감정 정보에 상응하는 자막 그래픽 객체를 포함하고, 상기 멀티미디어 콘텐츠와 결합되는
그래픽 객체를 이용한 자막 생성 시스템.And a subtitle generator that receives multimedia content including audio data and video data from a content management server, and generates extended subtitle data using the multimedia content,
The subtitle generator,
A basic caption data generator that receives the audio data and generates basic caption data using the audio data;
A voice recognition processor that receives the audio data and generates speaker character identifiers and emotion classification information by voice recognition using the audio data;
A facial recognition processor that receives the video data and generates appearance character information and emotion classification information by facial recognition using the video data;
A speaker information generator that receives the speaker character identifier and the character information and generates speaker information;
An emotion information generator that receives the emotion classification information by the speech recognition, the emotion classification information by the facial recognition, and the speaker information, and generates emotion information;
An extended caption data generator that receives the basic caption data, the speaker information, and the emotion information, and generates extended caption data;
And a database for storing and managing voice information and emotion information of the speaker character and facial information and emotion information of the character,
The basic subtitle data,
A string detected from the audio data, and information on a start time point,
The speaker information,
If the character includes a speaker, the speaker character identifier and the location, and if the speaker does not appear in the scene, it is the speaker character identifier,
The emotion information,
If the character includes a speaker, it is information combining the speech recognition and the facial recognition result.
The extended subtitle data,
And a subtitle graphic object corresponding to the character string, the start point, the speaker character identifier, the location and the emotion information, and combined with the multimedia content
Subtitle generation system using graphic objects.
상기 자막 그래픽 객체는,
상기 감정 정보에 상응하는 글자 종류, 글자 크기, 글자 색, 글자 굵기, 그래픽 객체의 형태, 그래픽 객체의 크기 및 그래픽 객체의 바탕색으로 출력되는
그래픽 객체를 이용한 자막 생성 시스템.According to claim 1,
The subtitle graphic object,
Character type, font size, font color, font size, graphic object size, graphic object size and graphic object color corresponding to the emotion information
Subtitle generation system using graphic objects.
상기 음성 인식 처리기는,
상기 데이터베이스와 연동하여 상기 화자 캐릭터 식별자 및 상기 감정 분류 정보를 생성하는
그래픽 객체를 이용한 자막 생성 시스템.According to claim 1,
The speech recognition processor,
Interacting with the database to generate the speaker character identifier and the emotion classification information
Subtitle generation system using graphic objects.
상기 안면 인식 처리기는,
상기 데이터베이스와 연동하여 상기 등장 캐릭터 정보 및 상기 감정 분류 정보를 생성하는
그래픽 객체를 이용한 자막 생성 시스템.According to claim 1,
The facial recognition processor,
Interacting with the database to generate the character information and the emotion classification information
Subtitle generation system using graphic objects.
상기 등장 캐릭터 정보는,
등장 캐릭터 수, 등장 캐릭터 식별자, 위치를 포함하는
그래픽 객체를 이용한 자막 생성 시스템.According to claim 1,
The above character information,
Character number, character identifier, and location
Subtitle generation system using graphic objects.
자막 합성기를 더 포함하고,
상기 자막 합성기는,
상기 자막 생성기로부터 상기 확장 자막 데이터를 수신하고, 상기 멀티미디어 콘텐츠 및 상기 확장 자막 데이터를 합성하는
그래픽 객체를 이용한 자막 생성 시스템.According to claim 1,
Further comprising a subtitle synthesizer,
The subtitle synthesizer,
Receiving the extended subtitle data from the subtitle generator, and synthesizing the multimedia content and the extended subtitle data
Subtitle generation system using graphic objects.
상기 자막 생성기는,
상기 오디오 데이터를 수신하고, 상기 오디오 데이터를 이용하여 음성 인식에 의한 화자 캐릭터 식별자 및 감정 분류 정보를 생성하는 음성 인식 처리기;
상기 비디오 데이터를 수신하고, 상기 비디오 데이터를 이용하여 안면 인식에 의한 등장 캐릭터 정보 및 감정 분류 정보를 생성하는 안면 인식 처리기;
상기 화자 캐릭터 식별자 및 상기 등장 캐릭터 정보를 수신하고, 화자 정보를 생성하는 화자 정보 생성기;
상기 음성 인식에 의한 감정 분류 정보, 상기 안면 인식에 의한 감정 분류 정보 및 상기 화자 정보를 수신하고, 감정 정보를 생성하는 감정 정보 생성기;
상기 기본 자막 데이터, 상기 화자 정보 및 상기 감정 정보를 수신하고, 확장 자막 데이터를 생성하는 확장 자막 데이터 생성기 및
화자 캐릭터의 음성 정보와 감정 정보 및 등장 캐릭터의 안면 정보와 감정 정보를 저장 및 관리하는 데이터 베이스를 포함하고,
상기 기본 자막 데이터는,
문자열, 시작 시점의 정보를 포함하고,
상기 화자 정보는,
상기 등장 캐릭터에 화자가 포함되는 경우, 상기 화자 캐릭터 식별자 및 상기 위치이고, 상기 화자가 장면에 등장하지 않는 경우, 상기 화자 캐릭터 식별자이고,
상기 감정 정보는,
상기 등장 캐릭터에 화자가 포함되는 경우, 상기 음성 인식 및 상기 안면 인식 결과를 조합한 정보이고, 상기 화자가 장면에 등장하지 않는 경우, 상기 음성 인식 결과를 반영한 정보이고,
상기 확장 자막 데이터는,
상기 문자열, 상기 시작 시점, 상기 화자 캐릭터 식별자, 상기 위치 및 상기 감정 정보에 상응하는 자막 그래픽 객체를 포함하고, 상기 멀티미디어 콘텐츠와 결합되는
그래픽 객체를 이용한 자막 생성 시스템.And a subtitle generator that receives multimedia content and basic subtitle data including audio data and video data from a content management server, and generates extended subtitle data using the multimedia content and basic subtitle data,
The subtitle generator,
A voice recognition processor that receives the audio data and generates speaker character identifiers and emotion classification information by voice recognition using the audio data;
A facial recognition processor that receives the video data and generates appearance character information and emotion classification information by facial recognition using the video data;
A speaker information generator that receives the speaker character identifier and the character information and generates speaker information;
An emotion information generator that receives the emotion classification information by the speech recognition, the emotion classification information by the facial recognition, and the speaker information, and generates emotion information;
An extended caption data generator that receives the basic caption data, the speaker information, and the emotion information, and generates extended caption data;
And a database for storing and managing voice information and emotion information of the speaker character and facial information and emotion information of the character,
The basic subtitle data,
String, contains information at the start,
The speaker information,
If the character includes a speaker, the speaker character identifier and the location, and if the speaker does not appear in the scene, it is the speaker character identifier,
The emotion information,
If the character includes a speaker, it is information combining the speech recognition and the facial recognition result.
The extended subtitle data,
And a subtitle graphic object corresponding to the character string, the start point, the speaker character identifier, the location and the emotion information, and combined with the multimedia content
Subtitle generation system using graphic objects.
상기 자막 그래픽 객체는,
상기 감정 정보에 상응하는 글자 종류, 글자 크기, 글자 색, 글자 굵기, 그래픽 객체의 형태, 그래픽 객체의 크기 및 그래픽 객체의 바탕색으로 출력되는
그래픽 객체를 이용한 자막 생성 시스템.The method of claim 7,
The subtitle graphic object,
Character type, font size, font color, font size, graphic object size, graphic object size and graphic object color corresponding to the emotion information
Subtitle generation system using graphic objects.
상기 음성 인식 처리기는,
상기 데이터베이스와 연동하여 상기 화자 캐릭터 식별자 및 상기 감정 분류 정보를 생성하는
그래픽 객체를 이용한 자막 생성 시스템.The method of claim 7,
The speech recognition processor,
Interacting with the database to generate the speaker character identifier and the emotion classification information
Subtitle generation system using graphic objects.
상기 안면 인식 처리기는,
상기 데이터베이스와 연동하여 상기 등장 캐릭터 정보 및 상기 감정 분류 정보를 생성하는
그래픽 객체를 이용한 자막 생성 시스템.The method of claim 7,
The facial recognition processor,
Interacting with the database to generate the character information and the emotion classification information
Subtitle generation system using graphic objects.
상기 등장 캐릭터 정보는,
등장 캐릭터 수, 등장 캐릭터 식별자, 위치를 포함하는
그래픽 객체를 이용한 자막 생성 시스템.The method of claim 7,
The above character information,
Character number, character identifier, and location
Subtitle generation system using graphic objects.
자막 합성기를 더 포함하고,
상기 자막 합성기는,
상기 자막 생성기로부터 상기 확장 자막 데이터를 수신하고, 상기 멀티미디어 콘텐츠 및 상기 확장 자막 데이터를 합성하는
그래픽 객체를 이용한 자막 생성 시스템.The method of claim 7,
Further comprising a subtitle synthesizer,
The subtitle synthesizer,
Receiving the extended subtitle data from the subtitle generator, and synthesizing the multimedia content and the extended subtitle data
Subtitle generation system using graphic objects.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180133664A KR102136059B1 (en) | 2018-11-02 | 2018-11-02 | System for generating subtitle using graphic objects |
PCT/KR2019/014501 WO2020091431A1 (en) | 2018-11-02 | 2019-10-30 | Subtitle generation system using graphic object |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180133664A KR102136059B1 (en) | 2018-11-02 | 2018-11-02 | System for generating subtitle using graphic objects |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200050707A true KR20200050707A (en) | 2020-05-12 |
KR102136059B1 KR102136059B1 (en) | 2020-07-21 |
Family
ID=70461908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180133664A KR102136059B1 (en) | 2018-11-02 | 2018-11-02 | System for generating subtitle using graphic objects |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR102136059B1 (en) |
WO (1) | WO2020091431A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102523048B1 (en) * | 2022-04-08 | 2023-04-18 | 조현석 | Sound conversion system and method in virtual reality |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113794927A (en) * | 2021-08-12 | 2021-12-14 | 维沃移动通信有限公司 | Information display method and device and electronic equipment |
US20240022682A1 (en) * | 2022-07-13 | 2024-01-18 | Sony Interactive Entertainment LLC | Systems and methods for communicating audio data |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090009674A (en) | 2007-07-20 | 2009-01-23 | 주식회사 씨엔 이지에스 | Circuit structure of soc for fire-sensing |
KR20100000256A (en) * | 2008-06-24 | 2010-01-06 | 인하대학교 산학협력단 | Method for displaying caption of moving picture |
KR20180038318A (en) * | 2016-10-06 | 2018-04-16 | 주식회사 카카오 | System and method for generating caption, and program of content generation |
KR101900471B1 (en) * | 2017-03-23 | 2018-09-19 | 주식회사 아이티엑스엠투엠 | Broadcasting system inserted user reaction effect |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7801910B2 (en) * | 2005-11-09 | 2010-09-21 | Ramp Holdings, Inc. | Method and apparatus for timed tagging of media content |
JP2016189158A (en) * | 2015-03-30 | 2016-11-04 | 富士フイルム株式会社 | Image processing apparatus, image processing method, program, and recording medium |
-
2018
- 2018-11-02 KR KR1020180133664A patent/KR102136059B1/en active IP Right Grant
-
2019
- 2019-10-30 WO PCT/KR2019/014501 patent/WO2020091431A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090009674A (en) | 2007-07-20 | 2009-01-23 | 주식회사 씨엔 이지에스 | Circuit structure of soc for fire-sensing |
KR20100000256A (en) * | 2008-06-24 | 2010-01-06 | 인하대학교 산학협력단 | Method for displaying caption of moving picture |
KR20180038318A (en) * | 2016-10-06 | 2018-04-16 | 주식회사 카카오 | System and method for generating caption, and program of content generation |
KR101900471B1 (en) * | 2017-03-23 | 2018-09-19 | 주식회사 아이티엑스엠투엠 | Broadcasting system inserted user reaction effect |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102523048B1 (en) * | 2022-04-08 | 2023-04-18 | 조현석 | Sound conversion system and method in virtual reality |
WO2023195830A1 (en) * | 2022-04-08 | 2023-10-12 | 조현석 | System and method for converting sound in virtual space |
Also Published As
Publication number | Publication date |
---|---|
KR102136059B1 (en) | 2020-07-21 |
WO2020091431A1 (en) | 2020-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110941954B (en) | Text broadcasting method and device, electronic equipment and storage medium | |
CN107193841B (en) | Method and device for accelerating playing, transmitting and storing of media file | |
US20230232078A1 (en) | Method and data processing apparatus | |
JP5564459B2 (en) | Method and system for adding translation to a video conference | |
KR102136059B1 (en) | System for generating subtitle using graphic objects | |
TWI436808B (en) | Input support device, input support method and recording medium | |
KR20090024969A (en) | Method for generating an information of relation between characters in content and appratus therefor | |
WO2005069171A1 (en) | Document correlation device and document correlation method | |
KR20070020252A (en) | Method of and system for modifying messages | |
KR20210085938A (en) | Sign language translation system and its control method that translates voice of video into 2D and 3D avatar and animation | |
KR20110100649A (en) | Method and apparatus for synthesizing speech | |
JP4077656B2 (en) | Speaker specific video device | |
CN114363691A (en) | Speech subtitle synthesis method, apparatus, computer device, and storage medium | |
CN110992984B (en) | Audio processing method and device and storage medium | |
JP4934090B2 (en) | Program character extraction device and program character extraction program | |
US11600279B2 (en) | Transcription of communications | |
KR20180128656A (en) | English Teaching and Learning through the Application of Native Speakers Video Subtitles Recognition and Interpretation Systems | |
CN112995530A (en) | Video generation method, device and equipment | |
CN111160051B (en) | Data processing method, device, electronic equipment and storage medium | |
CN113542874A (en) | Information playing control method, device, equipment and computer readable storage medium | |
KR101647442B1 (en) | Visual Contents Producing System, Method and Computer Readable Recoding Medium | |
US11857877B2 (en) | Automatic in-game subtitles and closed captions | |
WO2023167212A1 (en) | Computer program, information processing method, and information processing device | |
EP4345814A1 (en) | Video-generation system | |
KR20170052084A (en) | Apparatus and method for learning foreign language speaking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |