KR20190138109A - 자막 생성 방법 및 시스템 - Google Patents

자막 생성 방법 및 시스템 Download PDF

Info

Publication number
KR20190138109A
KR20190138109A KR1020180064266A KR20180064266A KR20190138109A KR 20190138109 A KR20190138109 A KR 20190138109A KR 1020180064266 A KR1020180064266 A KR 1020180064266A KR 20180064266 A KR20180064266 A KR 20180064266A KR 20190138109 A KR20190138109 A KR 20190138109A
Authority
KR
South Korea
Prior art keywords
information
voice
caption
subtitle
text
Prior art date
Application number
KR1020180064266A
Other languages
English (en)
Other versions
KR102067446B1 (ko
Inventor
김병주
소송희
손의준
안승준
윤성영
Original Assignee
주식회사 엔씨소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엔씨소프트 filed Critical 주식회사 엔씨소프트
Priority to KR1020180064266A priority Critical patent/KR102067446B1/ko
Priority to JP2019103517A priority patent/JP6912517B2/ja
Priority to EP19177878.6A priority patent/EP3579570A1/en
Priority to US16/429,587 priority patent/US11330342B2/en
Publication of KR20190138109A publication Critical patent/KR20190138109A/ko
Application granted granted Critical
Publication of KR102067446B1 publication Critical patent/KR102067446B1/ko
Priority to JP2021113781A priority patent/JP7269286B2/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1807—Speech classification or search using natural language modelling using prosody or stress
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Circuits (AREA)

Abstract

실시예들은 자막 생성 방법 및 시스템으로, 구체적으로 자막 생성 방법, 이를 수행하는 서버 및 사용자 단말에 관한 것이다. 본 실시예에 따르면, 방송 단말로부터 전송받은 오디오 파일에 포함된 음성을 인식하여 화자가 발화한 자막 텍스트를 추출하는 동작, 일 시간 내의 상기 화자의 음성을 이용하여 음성 기준 정보를 생성하는 동작, 상기 화자의 음성 및 상기 음성 기준 정보를 이용하여 상기 자막 텍스트의 화면 출력 제어 정보인 자막 스타일 정보를 생성하는 동작 및 상기 자막 텍스트 및 상기 자막 스타일 정보를 포함하는 자막 정보를 시청자 단말로 전송하는 동작을 포함할 수 있다.

Description

자막 생성 방법 및 시스템{METHOD AND SYSTEM FOR GENERATING CAPTION}
아래의 설명은 자막 생성 방법, 이를 수행하는 서버 및 사용자 단말에 관한 것으로서, 보다 구체적으로는 음성 정보를 기반으로 자막을 생성하는 방법 및 그 시스템이 관한 것이다.
최근 뉴스, 스포츠, 게임, 사용자 제작 콘텐츠(User Generated Contents; UGC), 및 텔레프레즌스(Telepresence) 등과 같이 다양한 산업 분야에서 스트리밍 서비스(streaming service)가 많이 사용되고 있다.
아울러, 스마트 폰을 통하여 다양한 분야의 방송을 제공하는 개인 방송 제작자들에 의해 방송 서비스 제공 또한 활성화되고 있다. 개인 방송 제작자들이나 방송 서비스 제공자들은 시청자들의 방송에 대한 흥미를 유발하기 위해 다양한 시도를 하고 있으며, 그 일환으로 방송 자막을 제작하기도 한다.
일 측에 따른 자막 생성 방법은 방송 단말로부터 전송받은 오디오 파일에 포함된 음성을 인식하여 화자가 발화한 자막 텍스트를 추출하는 동작, 일 시간 내의 상기 화자의 음성을 이용하여 음성 기준 정보를 생성하는 동작; 상기 화자의 음성 및 상기 음성 기준 정보를 이용하여 상기 자막 텍스트의 화면 출력 제어 정보인 자막 스타일 정보를 생성하는 동작 및 상기 자막 텍스트 및 상기 자막 스타일 정보를 포함하는 자막 정보를 시청자 단말로 전송하는 동작을 포함한다.
상기 자막 스타일 정보는 상기 자막 텍스트의 크기, 색상, 폰트, 출력 위치, 회전 및 특수 효과 중 적어도 하나의 제어 정보를 포함한다.
상기 화자의 음성 및 상기 음성 기준 정보를 이용하여 상기 자막 텍스트를 변경하는 동작을 포함하고, 상기 자막 정보 전송 동작은 상기 변경된 자막 텍스트를 포함하는 자막 정보를 상기 시청자 단말에 전송한다.
상기 자막 텍스트 변경 동작은 상기 자막 텍스트에 기 설정된 글자를 추가하거나, 상기 자막 텍스트에 특수 문자를 추가하거나, 상기 자막 텍스트에 포함된 일 단어를 연관 단어로 변경하거나, 상기 자막 텍스트에 포함된 일 단어를 반복 추가한다.
상기 화자의 음성 및 상기 음성 기준 정보를 이용하여 영상 화면의 제어 정보인 화면 스타일 정보를 생성하는 동작을 포함하고, 상기 자막 정보 전송 동작은 상기 화면 스타일 정보를 포함하는 자막 정보를 상기 시청자 단말에 전송한다.
상기 화면 스타일 정보는 상기 영상 화면의 크기, 색상, 흔들림 및 특수 효과 중 적어도 하나의 제어 정보를 포함한다.
상기 자막 스타일 정보 생성 동작은 상기 자막 텍스트의 문장 또는 단어 또는 글자 단위로 상기 자막 스타일 정보를 생성한다.
상기 음성 기준 정보는 상기 일 시간 내의 음성에 대한 상태 정보로, 상기 음성 상태 정보는 크기, 음색 및 감정 중 적어도 하나의 정보를 포함한다.
상기 자막 스타일 정보 생성 동작은 상기 음성 기준 정보 대비 상기 음성 상태의 변화에 따라 상기 자막 스타일 정보를 생성한다.
일 측에 따른 자막 생성 서버는 방송 단말 및 시청자 단말과 데이터 통신하도록 구성된 통신부; 상기 통신부를 통해 상기 방송 단말로부터 전송받은 오디오 파일에 포함된 음성을 인식하여 화자가 발화한 자막 텍스트를 추출하도록 구성된 자막 텍스트 추출부, 일 시간 내의 상기 화자의 음성을 이용하여 음성 기준 정보를 생성하도록 구성된 음성 기준 정보 생성부, 및 상기 화자의 음성 및 상기 음성 기준 정보를 이용하여 상기 자막 텍스트의 화면 출력 제어 정보인 자막 스타일 정보를 생성하고, 상기 자막 텍스트 및 상기 자막 스타일 정보를 포함하는 자막 정보를 상기 시청자 단말로 전송하도록 상기 통신부를 제어하도록 구성된 자막 정보 생성부를 포함한다.
일 측에 따른 자막 생성 방법은 서버로부터 전송받은 오디오 파일에 포함된 음성을 인식하여 화자가 발화한 자막 텍스트를 추출하는 동작, 일 시간 내의 상기 화자의 음성을 이용하여 음성 기준 정보를 생성하는 동작, 상기 화자의 음성 및 상기 음성 기준 정보를 이용하여 상기 자막 텍스트의 화면 출력 제어 정보인 자막 스타일 정보 또는 영상 화면의 제어 정보인 화면 스타일 정보를 생성하는 동작; 및 상기 자막 스타일 정보 또는 상기 화면 스타일 정보를 이용하여 상기 자막 텍스트를 화면에 출력하는 동작을 포함한다.
일 측에 따른 사용자 단말은 영상을 화면에 출력하도록 구성된 디스플레이부; 서버로부터 전송받은 오디오 파일에 포함된 음성을 인식하여 화자가 발화한 자막 텍스트를 추출하도록 구성된 자막 텍스트 추출부, 일 시간 내의 상기 화자의 음성을 이용하여 음성 기준 정보를 생성하도록 구성된 음성 기준 정보 생성부; 및 상기 화자의 음성 및 상기 음성 기준 정보를 이용하여 상기 자막 텍스트의 화면 출력 제어 정보인 자막 스타일 정보 또는 화면 제어 정보인 화면 스타일 정보를 생성하고, 상기 자막 스타일 정보 또는 화면 제어 정보인 화면 스타일 정보를 이용하여 상기 자막 텍스트를 화면에 출력하도록 상기 디스플레이부를 제어하도록 구성된 자막 정보 생성부를 포함한다.
도 1은 일 실시예에 따른 자막 생성을 위한 시스템의 구성을 도시한 도면이다.
도 2는 일 실시예에 따른 자막 생성 서버의 구성을 도시한 도면이다.
도 3은 일 실시예에 따른 자막 생성 방법을 나타낸 흐름도이다.
도 4는 일 실시예에 따른 음성 기준 정보의 예시를 도시한 도면이다.
도 5는 일 실시예에 따른 자막 스타일 변경의 예시를 도시한 도면이다.
도 6은 일 실시예에 따른 화면 스타일 변경의 예시를 도시한 도면이다.
도 7은 일 실시예에 따른 자막 텍스트 변경 방법을 나타낸 흐름도이다.
도 8은 일 실시예에 따른 자막 텍스트 변경의 예시를 도시한 도면이다.
도 9는 다른 일 실시예에 따른 자막 생성 방법을 수행하는 사용자 단말의 구성을 도시한 도면이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 동작, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 동작, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 실시예에 따른 자막 생성 시스템(10)의 구성을 도시한 도면이다.
도 1을 참조하면, 일 실시예에 따른 자막 생성 시스템(10)은 서버(100), 방송 단말(200), 사용자 단말(300)을 포함하여 구성된다.
자막 생성 시스템(10) 내에 포함된 다양한 개체들(entities) 간의 통신은 유/무선 네트워크(미도시)를 통해 수행될 수 있다. 유/무선 네트워크는 표준 통신 기술 및/또는 프로토콜들이 사용될 수 있다.
방송 단말(200)은 게임, 먹거리, 뉴스, 교육, 컨설팅 등 자체 제작된 컨텐츠를 방송하거나, 스포츠, 선거 등 다른 방송 주체에 의하여 사전 제작된 컨텐츠를 중계 방송할 수 있다.
사용자 단말(300)은 방송 단말(200)에 의해 제작 및/또는 중계되는 방송을 시청하거나, 또는 방송에서 채팅, 후원 등을 수행하는 시청자 단말에 해당할 수 있다.
사용자 단말(300)은 다양한 형태로 구현될 수 있는데, 일례로 스마트폰과 같은 모바일 단말, 스마트패드와 같은 패드형 단말, 랩탑 컴퓨터 등 각종 형태의 컴퓨터, 웨어러블 디바이스, TV 단말 등의 형태로 구현될 수 있다
서버(100)는 방송 플랫폼을 위한 다양한 기능들을 제공할 수 있다. 서버(100)가 제공하는 방송은 실시간 방송 외에 사전 제작 방송, VOD 등도 포함한다 할 것이다.
또한, 방송 단말(200) 및 사용자 단말(300)은 각각 서버(100)를 통하여 방송 플랫폼의 기능을 제공받기 위한 시청자 계정 및 방송 주체 계정을 의미할 수 있다.
일 실시예에 따른 자막 생성 시스템(10)은 방송 자막을 자동으로 생성하여 사용자에게 제공할 수 있다. 그리고, 화자의 음성 상태에 따라, 방송 자막이나 방송 화면에 다양한 효과를 부가하는 기능을 제공할 수 있다.
서버(100)는 방송 단말(200)에 의해 제작 및/또는 중계되는 방송 데이터를 서버(100)에 전송받는다. 방송 데이터에는 방송을 위한 비디오 파일, 오디오 파일, 각종 설정 파일 등이 포함될 수 있다.
서버(100)는 전송받은 방송 데이터를 사용자 단말(300)에 전송하여, 사용자에게 방송을 제공한다. 서버(100)는 방송 단말(200)에서 전송받은 방송 데이터를 그대로 사용자 단말(300)에 전송할 수 있으며, 실시간 방송, 사전 제작 방송, VOD 등 방송 형식에 맞는 데이터로 새로 제작하여 전송할 수 있다. 또한, 서버(100)는 방송 영상을 편집하거나 방송 영상의 화질을 개선하거나 배경음악을 추가하는 등 방송 대이터에 다양한 효과를 처리한 후 전송 할 수 있다.
그리고, 서버(100)는 오디오 파일로부터 방송 음성의 자막을 자동으로 생성할 수 있다. 서버(100)는 오디오 파일에서 음성을 추출하고, 추출된 음성을 인식하여 해당 음성에 대한 자막 텍스트를 생성할 수 있다.
그리고, 서버(100)는 음성의 다양한 상태 정보를 이용하여 생성된 자막 텍스트의 크기, 색상, 폰트 등을 변경할 수 있으며, 방송 화면의 크기, 색상, 움직임 등을 변경할 수 있다. 즉, 자막과 방송 화면의 스타일을 변경할 수 있는 것이다.
사용자 단말(300)은 서버(100)로부터 전송받은 방송 데이터 및 자막 데이터를 화면에 출력하여, 사용자에게 방송을 제공할 수 있다.
다른 일 실시예로 사용자 단말(300)은 서버(100)로부터 일부 도움을 받아 자막을 직접 생성하거나, 서버(100)와의 통신 없이 독자적으로 자막 생성할 수 있다. 이에 대해서는 이하 도 9에서 자세히 설명하도록 한다.
도 2는 일 실시예에 따른 서버(100)의 구성을 도시한 도면이다.
도 2를 참조하면, 일 실시예에 따른 서버(100)는 적어도 하나의 프로세서에 의해 동작하고, 자막 텍스트 추출부(110), 음성 상태 분석부(130), 음성 기준 정보 생성부(150), 자막 정보 생성부(170)를 포함하여 구성될 수 있다.
자막 텍스트 추출부(110)는 음성 인식 기술을 이용하여 방송 단말(200)로부터 전송받은 방송 데이터(영상 파일 또는 오디오 파일)에서 화자가 발화한 자막 텍스트를 추출한다. 자막 텍스트 추출부(110)는 음성 인식 결과가 부정확한 부분에 대해서는 이를 나타내는 표시(예를 들면, ‘???’ 또는 ‘ooo’)를 하여 자막 텍스트를 생성할 수 있다. 자막 텍스트 추출부(110)는 생성된 자막 텍스트를 자막 정보 제공부(160)로 전송한다. 자막 정보 제공부(160)는 자막 텍스트를 포함하는 자막 정보를 생성하여, 사용자 단말(300)로 전송하게 된다.
음성 상태 분석부(130)는 방송 데이터(영상 파일 또는 오디오 파일)에서 화자가 발화한 음성의 상태를 분석할 수 있다. 음성 상태 분석부(130)는 음성 분석 기술을 이용하여, 음성의 크기, 음색, 감정 등을 분석할 수 있다. 일 실시예에서는 음성 상태를 분석하기 위해 다양한 음성 분석 기술을 활용할 수 있으며, 특정 음성 분석 기술에 한정되지 아니한다.
음성 기준 정보 생성부(150)는 일정 시간 동안에 발화된 화자의 음성 상태를 이용하여 음성 기준 정보를 생성할 수 있다. 일례로 음성 기준 정보 생성부(150)는 방송 시작 직후 기 설정된 시간 동안에 발화된 화자의 음성 상태를 이용할 수 있으며, 방송 단말(200) 또는 사용자 단말(300)의 요청에 의해 설정된 시간 동안에 발화된 화자의 음성 상태를 이용할 수 있다.
음성 기준 정보는 화자의 음성 상태의 일 기준이되는 데이터로, 화자가 평상 시 발화하는 음성의 상태 정보일 수 있다. 일 실시예에서는 음성 기준 정보를 기준으로 음성 상태가 변화를 감지하여, 자막의 스타일 및/또는 영상 화면의 스타일을 변경시킬 수 있다.
자막 정보 제공부(170)는 음성 기준 정보를 기초로 현재 인식한 음성(대상 음성)의 자막 텍스트에 적용할 자막 스타일을 결정할 수 있다. 자막 스타일은 자막 텍스트를 꾸미기 위한 정보로, 자막 텍스트의 디자인 양식에 해당한다.
자막 정보 제공부(170)는 음성 기준 정보를 기초로 음성의 자막 텍스트에 적용할 화면 스타일을 결정할 수 있다. 화면 스타일은 자막 텍스트가 출력될 시점의 영상 화면을 꾸미기 위한 정보이다.
자막 정보 제공부(170)는 음성 기준 정보를 기초로 음성의 자막 텍스트를 변경할 수 있다. 음성 상태에 따라 자막 텍스트에 특정 글자 또는 특수 문자 등을 추가시키거나, 자막 텍스트의 특정 글자를 다른 글자로 변경할 수 있다.
자막 정보 제공부(170)는 통신부(미도시)를 통해, 자막 텍스트 및 자막/화면 스타일 정보를 포함하는 자막 정보를 사용자 단말(300)로 전송할 수 있다. 사용자 단말(300)은 자막 텍스트에 지정된 자막 스타일을 확인하고, 확인된 자막 스타일을 적용하여 꾸며진 자막을 사용자 단말(300)의 화면에 출력한다. 이 경우, 자막 스타일 별 자막 텍스트의 크기, 색깔, 폰트 등을 변경할 수 있는 디자인 양식은 사용자 단말(300)에 저장되어 있다. 그리고, 사용자 단말(300)은 자막 텍스트에 지정된 화면 스타일을 확인하고, 확인된 화면 스타일을 적용하여, 자막 출력 시에 영상 화면을 제어한다.
또는, 자막 정보 제공부(170)가 자막 텍스트에 자막 스타일을 적용한 후, 자막 스타일로 꾸며진 자막 레이어(자막 화면)를 사용자 단말(300)로 전송할 수 있다. 이 경우 자막 레이어(자막 화면)는 영상에 위에 오버레이될 수 있다.
도 3은 일 실시예에 따른 자막 생성 방법을 나타낸 흐름도이다.
도 3을 참조하면, 일 실시예에 따른 자막 생성 방법은 서버(100)에서 수행되는 자막 생성 방법으로 자막 텍스트 추출 동작(201), 음성 상태 분석 동작(203), 음성 기준 정보 생성 동작(205), 자막 스타일 정보 생성 동작(207), 화면 스타일 정보 생성 동작(209), 자막 정보 전송 동작(211)를 포함한다.
설명에 앞서 일 실시예에서는 한명의 화자를 기준으로 설명하나, 다수의 화자가 존재하는 경우에 서버(100)는 화자 별로 자막 생성 방법을 수행하여, 화자 별로 자막 정보를 생성할 수 있다.
우선, 자막 텍스트 추출 동작(201)로, 자막 텍스트 추출부(110)는 음성 인식 기술을 이용하여 방송 단말(200)로부터 전송받은 방송 데이터(영상 파일 또는 오디오 파일)에서 화자가 발화한 자막 텍스트를 추출한다.
전술한 바와 같이 자막 텍스트 추출부(110)는 음성 인식 결과가 부정확한 부분에 대해서는 이를 나타내는 표시(예를 들면, ‘???’ 또는 ‘ooo’)를 하여 자막 텍스트를 생성할 수 있다.
자막 텍스트 추출부(110)는 생성된 자막 텍스트를 자막 정보 제공부(160)로 전송하고, 자막 정보 제공부(160)는 자막 텍스트를 포함하는 자막 정보를 생성, 사용자 단말(300)로 전송할 수 있다.
그리고, 음성 상태 분석 동작(203)로, 음성 상태 분석부(130)는 방송 데이터(영상 파일 또는 오디오 파일)에서 화자가 발화한 음성의 상태를 분석한다. 음성 상태 분석부(130)는 음성 분석 기술을 이용하여, 음성의 크기(예를 들면, 데시벨), 음색(예를 들면, 부드러움, 거침, 느림, 빠름 등), 화자의 감정(예를 들면, 기쁨, 놀람, 슬픔, 분노 등) 등을 분석할 수 있다.
그리고, 음성 기준 정보 생성 동작(205)로, 음성 기준 정보 생성부(150)는 일정 시간 동안에 발화된 화자의 음성 상태를 이용하여, 음성 기준 정보를 생성한다.
음성 기준 정보는 화자의 음성 상태의 일 기준이되는 데이터로, 화자가 평상 시 발화하는 음성의 상태 정보일 수 있다. 즉, 음성 기준 정보는 화자가 평상 시 발화하는 음성의 크기, 음색, 감정 등의 정보일 수 있다.
음성 기준 정보 생성부(150)는 음성 기준 정보를 생성하기 위한 기준 음성으로, 방송 시작 직후 기 설정된 시간 동안에 발화된 화자의 음성을 이용할 수 있다. 그리고, 음성 기준 정보 생성부(150)는 기준 음성으로 방송 단말(200) 또는 사용자 단말(300)의 요청에 의해 설정된 시간 동안에 발화된 화자의 음성을 이용할 수 있다. 또한, 음성 기준 정보 생성부(150)는 기준 음성으로 방송 중 특정 이벤트(예를 들면, 인터미션, 광고 등)가 일어나는 시간에 발화된 화자의 음성을 이용할 수 있다. 이와 같이 기준 음성은 다양한 시간, 조건에서 발화된 화자의 음성이 이용될 수 있다.
도 4는 일 실시예에 따른 음성 기준 정보의 예시를 도시한 도면으로, 도 4를 참조하면, 일실시예에 따른 음성 기준 정보는 기준 음성의 상태 정보를 포함한다. 도면에서 기준 음성의 상태 정보로, 크기는 ‘40 데시벨’, 음색은 ‘부드러움’, 감정은 ‘중립’으로 생성되어 있음을 볼 수 있다.
일 실시예에서 서버(100)는 음성 기준 정보를 기준으로 화자의 음성 상태 변화를 감지하여, 자막의 스타일 및/또는 영상 화면의 스타일을 변경시킨다. 즉, 서버(100)는 현재 인식한 음성(대상 음성)의 상태 정보와 기준 음성 정보를 비교, 그 차이를 이용하여, 대상 음성의 자막 텍스트 스타일 및/또는 영상 화면 스타일을 변경하는 것이다.
그리고, 자막 스타일 정보 생성 동작(207)로, 자막 정보 제공부(170)는 음성 기준 정보를 기초로 자막 스타일 정보를 생성한다.
자막 스타일 정보는 자막 텍스트의 크기, 색상, 폰트, 출력 위치, 회전 및 특수 효과 등과 같이 자막 텍스트를 꾸미기 위한 정보로, 자막 텍스트의 디자인 양식에 해당한다. 즉, 자막 스타일 정보는 자막 텍스트 디자인의 제어 정보이다.
자막 정보 제공부(170)는 현재 인식한 음성(대상 음성)의 상태 정보와 기준 음성 정보를 비교한 후, 대상 음성의 상태 정보의 차이에 따라, 대상 음성의 텍스트 자막의 스타일(디자인)을 제어하는 자막 스타일 정보를 생성한다.
일례로, 자막 정보 제공부(170)는 대상 음성의 크기가 음성 기준 정보 대비 N 데시벨이 커지는 만큼, 자막 텍스트의 크기를 1 포인트 크게 설정할 수 있다. 반대로, 자막 정보 제공부(170)는 대상 음성의 크기가 음성 기준 정보 대비 N 데시벨이 작아지는 만큼, 자막 텍스트의 크기를 1 포인트 작게 설정할 수 있다.
다른 일례로, 자막 정보 제공부(170)는 대상 음성의 감정이 음성 기준 정보와 상이하면, 자막 텍스트의 색상을 다르게 설정할 수 있다. 즉, 자막 텍스트의 색상을 대상 음성의 감정이 ‘화남’이면 빨간색, ‘즐거움’이면 파란색, ‘두려움’이면 검은색, ‘슬픔’이면 회색으로 설정할 수 있다. 여기서 설명하는 감정에 대한 색상은 하나의 예시에 불과하며, 관리자의 설정 등에 따라 언제든 변경될 수 있음은 자명하다 할 것이다.
다른 일례로, 자막 정보 제공부(170)는 대상 음성의 음색이 음성 기준 정보와 상이하면, 자막 텍스트의 폰트를 다르게 설정할 수 있다. 즉, 대상 음성의 음색이 ‘부드러움’이면 명조체, ‘거침’이면 헤드라인체, ‘느림’이면 궁서체, ‘빠름’이면 고딕체로 설정할 수 있다. 마찬가지로, 여기서 설명하는 음색에 대한 폰트 또한 하나의 예시에 불과하다 할 것이다.
다른 일례로, 자막 정보 제공부(170)는 대상 음성의 크기 및 감정을 음성 기준 정보와 비교하여, 자막 텍스트의 출력 위치, 회전, 특수 효과를 설정할 수 있다. 특수 효과는 자막 텍스트의 크기 변화, 색상 변화, 흔들림, 페이드 인/아웃, 움직임 등 다양한 텍스트 꾸밈 효과를 포함할 수 있다.
도 5는 일 실시예에 따른 자막 스타일 변경의 예시를 도시한 도면으로, 위에서 설명한 일례들을 도시한 것이다.
일 실시예에서는 자막 정보 제공부(170)는 대상 음성의 상태 정보들의 조합으로 자막 텍스트의 스타일을 다양하게 변경하도록, 자막 스타일 정보를 생성할 수 있다. 즉, 대상 음성의 크기와 음색의 차이를 이용하거나, 음색과 감정의 차이를 이용하거나, 크기와 감정의 차이를 이용하여, 자막 텍스트의 스타일을 다양하게 변경할 수 있는 것이다.
그리고, 자막 정보 제공부(170)는 자막 스타일 정보를 스크립트 형식으로 생성할 수 있으며, 스크립트 형식 외에 다양한 프로그래밍 언어 형식으로 생성할 수 있다.
또한, 자막 정보 제공부(170)는 자막 텍스트의 문장 또는 단어 또는 글자 단위로 상기 자막 스타일 정보를 생성할 수 있다.
그리고, 화면 스타일 정보 생성 동작(209)로, 자막 정보 제공부(170)는 음성 기준 정보를 기초로 화면 스타일 정보를 생성한다.
화면 스타일 정보는 영상 화면의 크기, 색상, 흔들림 및 특수 효과 등과 같이 영상 화면을 꾸미기 위한 정보로, 자막 텍스트가 출력될 시점에서의 영상 화면의 디자인 제어 정보이다.
자막 정보 제공부(170)는 현재 인식한 음성(대상 음성)의 상태 정보와 기준 음성 정보를 비교한 후, 대상 음성의 상태 정보의 차이에 따라, 대상 음성의 텍스트 자막이 출력될 시점의 영상 화면의 스타일(디자인)을 제어하는 화면 스타일 정보를 생성한다.
일례로, 자막 정보 제공부(170)는 대상 음성의 크기가 음성 기준 정보 대비 N 데시벨이 커지는 만큼, 영상 화면의 크기를 10 픽셀 크게 설정할 수 있다. 반대로, 자막 정보 제공부(170)는 대상 음성의 크기가 음성 기준 정보 대비 N 데시벨이 작아지는 만큼, 영상 화면의 크기를 10 픽셀 작게 설정할 수 있다.
다른 일례로, 자막 정보 제공부(170)는 대상 음성의 감정이 음성 기준 정보와 상이하면, 영상 화면의 배경 색상을 다르게 설정할 수 있다. 즉, 영상 화면의 배경 색상을 대상 음성의 감정이 ‘화남’이면 주황색, ‘즐거움’이면 하늘색, ‘두려움’이면 보라색, ‘슬픔’이면 회색으로 설정할 수 있다.
다른 일례로, 자막 정보 제공부(170)는 대상 음성의 크기 및 감정을 음성 기준 정보와 비교하여, 영상 화면의 흔들림 및/또는 특수 효과를 설정할 수 있다. 특수 효과는 영상 화면의 크기 변화, 색상 변화, 흔들림, 페이드 인/아웃, 움직임 등 다양한 화면 꾸밈 효과를 포함할 수 있다.
도 6은 일 실시예에 따른 화면 스타일 변경의 예시를 도시한 도면으로, 위에서 설명한 일례들을 도시한 것이다.
일 실시예의 자막 정보 제공부(170)는 대상 음성의 상태 정보들의 조합으로 영상 화면의 스타일을 다양하게 변경하도록, 화면 스타일 정보를 생성할 수 있다.
마찬자기로, 자막 정보 제공부(170)는 화면 스타일 정보를 스크립트 형식으로 생성할 수 있으며, 스크립트 형식 외에 다양한 프로그래밍 언어 형식으로 생성할 수 있다.
마지막으로, 자막 정보 전송 동작(211)로, 자막 정보 제공부(170)는 자막 텍스트, 자막 및/또는 화면 스타일 정보를 포함하는 자막 정보를 생성하여, 생성된 자막 정보를 통신부(미도시)를 통해 사용자 단말(300)로 전송한다.
사용자 단말(300)은 전송받은 자막 정보를 이용하여, 자막 텍스트를 자막 스타일 정보에 따라 출력하고, 영상 화면을 화면 스타일 정보에 따라 출력한다.
전술한 바와 같이, 일 실시예에 따른 자막 생성 방법에서 자막 정보 제공부(170)는 대상 음성의 음성 상태와 음성 기준 정보를 이용하여, 대상 음성의 자막 텍스트의 스타일을 변경하거나, 영상 화면의 스타일을 변경시킬 수 있다.
이와 함께, 일 실시예에 따른 자막 생성 방법에서 자막 정보 제공부(170)는 음성 기준 정보를 기초로 자막 텍스트 자체를 변경할 수 있다.
도 7은 일 실시예에 따른 자막 텍스트 변경 방법을 나타낸 흐름도이다.
도 7을 참조하면, 일 실시예에 따른 자막 텍스트 변경 방법은 음성 기준 정보를 이용한 자막 텍스트 변경 동작(401), 변경된 자막 텍스트를 포함하는 자막 정보 생성 동작(403)을 포함한다.
우선, 자막 텍스트 변경 동작(401)로, 자막 정보 제공부(170)는 현재 인식한 음성(대상 음성)의 상태 정보와 기준 음성 정보를 비교한 후, 대상 음성의 상태 정보의 차이에 따라, 대상 음성의 텍스트 자막을 변경한다.
텍스트 자막 변경의 일례로는 (i) 자막 텍스트에 기 설정된 글자를 추가하거나, (ii) 자막 텍스트에 특수 문자를 추가하거나, (iii) 자막 텍스트에 포함된 일 단어를 연관 단어로 변경하거나, (iv) 자막 텍스트에 포함된 일 글자를 반복 추가하는 것을 포함할 수 있다.
일례로, 자막 정보 제공부(170)는 대상 음성의 감정이 음성 기준 정보와 상이하면, 자막 텍스트에 기 설정된 특수 문자를 추가할 수 있다. 즉, 대상 음성의 감정이 ‘화남’이면 느낌표(!)를, ‘즐거움’이면 하트(♥)를, ‘슬픔’이면 울음을 나타내는 이모티콘이나 문자(‘ㅜ.ㅜ’, ‘ㅠ.ㅠ’ 등) 등을 자막 텍스트에 추가할 수 있다.
다른 일례로, 자막 정보 제공부(170)는 대상 음성의 음색이 음성 기준 정보와 상이하면, 자막 텍스트에 기 설정된 글자를 추가할 수 있다. 즉, 대상 음성의 음색이 ‘부드러움’이면 ‘부드럽게~갑니다!’라는 글자를, ‘거침’이면 ‘거칠게~갑니다!’라는 글자를 추가할 수 있다.
다른 일례로, 자막 정보 제공부(170)는 대상 음성의 음색이 음성 기준 정보와 상이하면, 자막 텍스트에 포함된 일 글자를 반복 추가하거나, 특수 문자를 추가하거나, 일 단어를 연관 단어로 변경할 수 있다. 즉, 대상 음성(‘가자’)의 음색이 ‘빠름’이면 자막 텍스트인 ‘가자’를 두번 반복 추가하여 ‘가자 가자 가자’로 변경할 수 있고, 대상 음상(‘가자’)의 음색이 ‘느림’이면 물결 문자(~)를 추가하여 (가~자~)로 변경할 수 있고, 대상 음상(‘가자’)의 음색이 ‘거침’이면 자막 텍스트인 ‘가자’를 연관 단어인 ‘가즈아’로 변경할 수 있다.
도 8은 일 실시예에 따른 자막 텍스트 추가 방법의 예시를 도시한 도면으로, 위에서 설명한 일례들을 도시한 것이다.
일 실시예에서는 자막 정보 제공부(170)가 대상 음성의 상태 정보들의 조합으로 자막 텍스트를 다양하게 변경할 수 있음은 자명하다.
그리고, 자막 정보 생성 동작(403)로, 자막 정보 제공부(170)는 변경된 자막 텍스트를 포함하는 자막 정보를 생성한다.
이에 따라, 사용자 단말(300)은 변경된 자막 텍스트를 화면에 출력하여, 변경된 자막을 사용자에게 제공하게 된다.
이상에서는 자막 정보 제공(170)가 대상 음성의 음성 상태와 기준 음성 정보를 이용하여, 자막 스타일, 화면 스타일, 자막 텍스트 변경을 설정할 수 있음을 설명하였다. 다만 대상 음성 상태의 변화에 따라 자막 스타일, 화면 스타일, 자막 텍스트 변경 중 하나만을 설정할 수 있으며, 모두 설정할 수 있다. 이는 기 설정된 기준에 따라 구현될 수 있을 것이다.
다른 일 실시예로 사용자 단말(300)은 서버(100)로부터 일부 도움을 받아 자막을 직접 생성하거나, 서버(100)와의 통신 없이 독자적으로 자막 생성할 수 있다.
즉 서버(100)는 자막 텍스트만을 추출하고, 자막 스타일 정보, 화면 스타일 정보는 사용자 단말(300)에서 생성하거나, 사용자 단말(300)에서 자막 스타일 정보, 화면 스타일 정보를 생성하는 것뿐만 아니라, 자막 텍스트도 추출 할 수 있다.
도 9는 다른 일 실시예에 따른 자막 생성 방법을 수행하는 사용자 단말(300)의 구성을 도시한 도면으로, 다른 일 실시예에 따른 사용자 단말(300)은 자막 텍스트를 추출하고, 자막 스타일 정보 및 화면 스타일 정보를 생성하는 기능을 수행한다.
도 9를 참조하면, 다른 실시예에 따른 사용자 단말(300)은 적어도 하나의 프로세서에 의해 동작하고, 자막 텍스트 추출부(310), 음성 상태 분석부(330), 음성 기준 정보 생성부(350), 자막 정보 생성부(370), 디스플레이부(390)를 포함하여 구성될 수 있다.
사용자 단말(300)을 구성하는 자막 텍스트 추출부(310), 음성 상태 분석부(330), 음성 기준 정보 생성부(350), 자막 정보 생성부(370)는 전술한 서버(100)의 구성들의 그것도 동일한 기능을 수행한다 할 것이다. 다만 디스플레이부(390)는 영상을 화면에 출력하도록 구성된다.
마찬가지로 사용자 단말(300)은 도 3에서 전술한 자막 생성 방법을 수행하여, 자막 텍스트, 자막 스타일 정보, 화면 스타일 정보를 포함하는 자막 정보를 생성하고, 자막 정보를 이용하여 자막 텍스트를 화면에 출력하여 사용자에게 제공하게 된다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, 중앙 처리 장치(Central Processing Unit; CPU), 그래픽 프로세싱 유닛(Graphics Processing Unit; GPU), ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 주문형 집적 회로(Application Specific Integrated Circuits; ASICS), 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
본 발명은 자막 생성 방법 및 시스템에 관한 것으로서, 자막을 생성하는 다양한 방법 및 시스템에 적용할 수 있다.

Claims (15)

  1. 방송 단말로부터 전송받은 오디오 파일에 포함된 음성을 인식하여 화자가 발화한 자막 텍스트를 추출하는 동작;
    일 시간 내의 상기 화자의 음성을 이용하여 음성 기준 정보를 생성하는 동작;
    상기 화자의 음성 및 상기 음성 기준 정보를 이용하여 상기 자막 텍스트의 화면 출력 제어 정보인 자막 스타일 정보를 생성하는 동작; 및
    상기 자막 텍스트 및 상기 자막 스타일 정보를 포함하는 자막 정보를 시청자 단말로 전송하는 동작을 포함하는,
    자막 생성 방법.
  2. 제 1 항에 있어서,
    상기 자막 스타일 정보는
    상기 자막 텍스트의 크기, 색상, 폰트, 출력 위치, 회전 및 특수 효과 중 적어도 하나의 제어 정보를 포함하는,
    자막 생성 방법.
  3. 제 1 항에 있어서,
    상기 화자의 음성 및 상기 음성 기준 정보를 이용하여 상기 자막 텍스트를 변경하는 동작을 포함하고,
    상기 자막 정보 전송 동작은,
    상기 변경된 자막 텍스트를 포함하는 자막 정보를 상기 시청자 단말에 전송하는,
    자막 생성 방법.
  4. 제 3 항에 있어서,
    상기 자막 텍스트 변경 동작은
    상기 자막 텍스트에 기 설정된 글자를 추가하거나,
    상기 자막 텍스트에 특수 문자를 추가하거나,
    상기 자막 텍스트에 포함된 일 단어를 연관 단어로 변경하거나,
    상기 자막 텍스트에 포함된 일 단어를 반복 추가하는,
    자막 생성 방법.
  5. 제 1 항에 있어서,
    상기 화자의 음성 및 상기 음성 기준 정보를 이용하여 영상 화면의 제어 정보인 화면 스타일 정보를 생성하는 동작을 포함하고,
    상기 자막 정보 전송 동작은,
    상기 화면 스타일 정보를 포함하는 자막 정보를 상기 시청자 단말에 전송하는,
    자막 생성 방법.
  6. 제 5 항에 있어서,
    상기 화면 스타일 정보는,
    상기 영상 화면의 크기, 색상, 흔들림 및 특수 효과 중 적어도 하나의 제어 정보를 포함하는,
    자막 생성 방법.
  7. 제 2 항에 있어서,
    상기 자막 스타일 정보 생성 동작은
    상기 자막 텍스트의 문장 또는 단어 또는 글자 단위로 상기 자막 스타일 정보를 생성하는,
    자막 생성 방법.
  8. 제 1 항에 있어서,
    상기 음성 기준 정보는
    상기 일 시간 내의 음성에 대한 상태 정보로,
    상기 음성 상태 정보는
    크기, 음색 및 감정 중 적어도 하나의 정보를 포함하는,
    자막 생성 방법.
  9. 제 8 항에 있어서,
    상기 자막 스타일 정보 생성 동작은
    상기 음성 기준 정보 대비 상기 음성 상태의 변화에 따라 상기 자막 스타일 정보를 생성하는,
    자막 생성 방법.
  10. 방송 단말 및 시청자 단말과 데이터 통신하도록 구성된 통신부;
    상기 통신부를 통해 상기 방송 단말로부터 전송받은 오디오 파일에 포함된 음성을 인식하여 화자가 발화한 자막 텍스트를 추출하도록 구성된 자막 텍스트 추출부;
    일 시간 내의 상기 화자의 음성을 이용하여 음성 기준 정보를 생성하도록 구성된 음성 기준 정보 생성부; 및
    상기 화자의 음성 및 상기 음성 기준 정보를 이용하여 상기 자막 텍스트의 화면 출력 제어 정보인 자막 스타일 정보를 생성하고, 상기 자막 텍스트 및 상기 자막 스타일 정보를 포함하는 자막 정보를 상기 시청자 단말로 전송하도록 상기 통신부를 제어하도록 구성된 자막 정보 생성부를 포함하는,
    자막 생성 서버.
  11. 제 10 항에 있어서,
    상기 자막 정보 생성부는
    상기 화자의 음성 및 상기 음성 기준 정보를 이용하여 상기 자막 텍스트를 변경하고, 상기 변경된 자막 텍스트를 포함하는 자막 정보를 상기 시청자 단말에 전송하도록 상기 통신부를 제어하도록 구성된,
    자막 생성 서버.
  12. 서버로부터 전송받은 오디오 파일에 포함된 음성을 인식하여 화자가 발화한 자막 텍스트를 추출하는 동작;
    일 시간 내의 상기 화자의 음성을 이용하여 음성 기준 정보를 생성하는 동작;
    상기 화자의 음성 및 상기 음성 기준 정보를 이용하여 상기 자막 텍스트의 화면 출력 제어 정보인 자막 스타일 정보 또는 영상 화면의 제어 정보인 화면 스타일 정보를 생성하는 동작; 및
    상기 자막 스타일 정보 또는 상기 화면 스타일 정보를 이용하여 상기 자막 텍스트를 화면에 출력하는 동작을 포함하는,
    자막 생성 방법.
  13. 제 12 항에 있어서,
    상기 화자의 음성 및 상기 음성 기준 정보를 이용하여 상기 자막 텍스트를 변경하는 동작; 및
    상기 변경된 자막 텍스트를 화면에 출력하는 동작을 포함하는,
    자막 생성 방법.
  14. 영상을 화면에 출력하도록 구성된 디스플레이부;
    서버로부터 전송받은 오디오 파일에 포함된 음성을 인식하여 화자가 발화한 자막 텍스트를 추출하도록 구성된 자막 텍스트 추출부;
    일 시간 내의 상기 화자의 음성을 이용하여 음성 기준 정보를 생성하도록 구성된 음성 기준 정보 생성부; 및
    상기 화자의 음성 및 상기 음성 기준 정보를 이용하여 상기 자막 텍스트의 화면 출력 제어 정보인 자막 스타일 정보 또는 화면 제어 정보인 화면 스타일 정보를 생성하고, 상기 자막 스타일 정보 또는 화면 제어 정보인 화면 스타일 정보를 이용하여 상기 자막 텍스트를 화면에 출력하도록 상기 디스플레이부를 제어하도록 구성된 자막 정보 생성부를 포함하는,
    사용자 단말.
  15. 제 14 항에 있어서,
    상기 자막 정보 생성부는
    상기 화자의 음성 및 상기 음성 기준 정보를 이용하여 상기 자막 텍스트를 변경하고, 상기 변경된 자막 텍스트를 화면에 출력하도록 상기 디스플레이부를 제어하도록 구성된
    사용자 단말.
KR1020180064266A 2018-06-04 2018-06-04 자막 생성 방법 및 시스템 KR102067446B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180064266A KR102067446B1 (ko) 2018-06-04 2018-06-04 자막 생성 방법 및 시스템
JP2019103517A JP6912517B2 (ja) 2018-06-04 2019-06-03 字幕生成方法および字幕生成装置
EP19177878.6A EP3579570A1 (en) 2018-06-04 2019-06-03 Method and apparatus for generating caption
US16/429,587 US11330342B2 (en) 2018-06-04 2019-06-03 Method and apparatus for generating caption
JP2021113781A JP7269286B2 (ja) 2018-06-04 2021-07-08 字幕生成方法および字幕生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180064266A KR102067446B1 (ko) 2018-06-04 2018-06-04 자막 생성 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20190138109A true KR20190138109A (ko) 2019-12-12
KR102067446B1 KR102067446B1 (ko) 2020-01-17

Family

ID=66770184

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180064266A KR102067446B1 (ko) 2018-06-04 2018-06-04 자막 생성 방법 및 시스템

Country Status (4)

Country Link
US (1) US11330342B2 (ko)
EP (1) EP3579570A1 (ko)
JP (2) JP6912517B2 (ko)
KR (1) KR102067446B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102265102B1 (ko) * 2020-01-20 2021-06-14 숙명여자대학교산학협력단 키네틱 타이포그래피가 적용된 자막에 대한 편집방법 및 그 전자장치
KR102459775B1 (ko) * 2022-06-24 2022-10-27 주식회사 에이치앤케이스튜디오 인공지능 기반 영상 콘텐츠 제작을 위한 자동 편집 방법, 장치 및 시스템

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11763239B1 (en) * 2018-09-18 2023-09-19 Wells Fargo Bank, N.A. Emotional intelligence assistant
US11335360B2 (en) * 2019-09-21 2022-05-17 Lenovo (Singapore) Pte. Ltd. Techniques to enhance transcript of speech with indications of speaker emotion
US20210375301A1 (en) * 2020-05-28 2021-12-02 Jonathan Geddes Eyewear including diarization
CN111986656B (zh) * 2020-08-31 2021-07-30 上海松鼠课堂人工智能科技有限公司 教学视频自动字幕处理方法与系统
US20220084525A1 (en) * 2020-09-17 2022-03-17 Zhejiang Tonghuashun Intelligent Technology Co., Ltd. Systems and methods for voice audio data processing
US11792489B2 (en) 2020-10-22 2023-10-17 Rovi Guides, Inc. Systems and methods for inserting emoticons within a media asset
US11418850B2 (en) * 2020-10-22 2022-08-16 Rovi Guides, Inc. Systems and methods for inserting emoticons within a media asset
US11418849B2 (en) * 2020-10-22 2022-08-16 Rovi Guides, Inc. Systems and methods for inserting emoticons within a media asset

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100957244B1 (ko) * 2008-02-20 2010-05-11 (주)아이유노글로벌 자막 데이터의 동기화를 이용한 편집된 영상물의 자막 처리방법
KR101576768B1 (ko) * 2015-04-03 2015-12-11 주식회사 세인비즈 온라인을 이용한 강의 콘텐츠 제작 및 제공방법
KR20180038318A (ko) * 2016-10-06 2018-04-16 주식회사 카카오 자막 생성 시스템, 자막 생성 방법, 그리고 콘텐트 생성 프로그램

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5647834A (en) * 1995-06-30 1997-07-15 Ron; Samuel Speech-based biofeedback method and system
JP2003066991A (ja) 2001-08-22 2003-03-05 Seiko Epson Corp 音声認識結果出力方法および音声認識結果出力装置ならびに音声認識結果出力処理プログラムを記録した記録媒体
US7853863B2 (en) * 2001-12-12 2010-12-14 Sony Corporation Method for expressing emotion in a text message
US6959080B2 (en) 2002-09-27 2005-10-25 Rockwell Electronic Commerce Technologies, Llc Method selecting actions or phases for an agent by analyzing conversation content and emotional inflection
JP4176506B2 (ja) 2003-02-18 2008-11-05 シャープ株式会社 情報受信装置
JP2005065252A (ja) 2003-07-29 2005-03-10 Fuji Photo Film Co Ltd 携帯電話機
US7983910B2 (en) * 2006-03-03 2011-07-19 International Business Machines Corporation Communicating across voice and text channels with emotion preservation
JP2008083410A (ja) 2006-09-27 2008-04-10 Toshiba Corp 音声認識装置及びその方法
JP5649769B2 (ja) 2007-12-27 2015-01-07 京セラ株式会社 放送受信装置
JP2011139261A (ja) * 2009-12-28 2011-07-14 Sony Corp 画像処理装置、画像処理方法、およびプログラム
US20110246172A1 (en) * 2010-03-30 2011-10-06 Polycom, Inc. Method and System for Adding Translation in a Videoconference
US9014358B2 (en) * 2011-09-01 2015-04-21 Blackberry Limited Conferenced voice to text transcription
KR101830656B1 (ko) 2011-12-02 2018-02-21 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US8983836B2 (en) * 2012-09-26 2015-03-17 International Business Machines Corporation Captioning using socially derived acoustic profiles
KR102129536B1 (ko) * 2013-08-06 2020-07-03 삼성전자주식회사 모바일 단말기 및 그의 제어 방법
US10068588B2 (en) 2014-07-21 2018-09-04 Microsoft Technology Licensing, Llc Real-time emotion recognition from audio signals
JP6796376B2 (ja) 2014-11-28 2020-12-09 日本放送協会 分割装置および解析装置、ならびにプログラム
US9704488B2 (en) * 2015-03-20 2017-07-11 Microsoft Technology Licensing, Llc Communicating metadata that identifies a current speaker
CN104853257A (zh) * 2015-04-30 2015-08-19 北京奇艺世纪科技有限公司 字幕显示方法和装置
US10121474B2 (en) * 2016-02-17 2018-11-06 Microsoft Technology Licensing, Llc Contextual note taking
TWI728061B (zh) 2016-03-15 2021-05-21 日商新力股份有限公司 送訊裝置及收訊裝置
US20170364484A1 (en) * 2016-06-21 2017-12-21 VTCSecure LLC Enhanced text metadata system and methods for using the same
US10854110B2 (en) * 2017-03-03 2020-12-01 Microsoft Technology Licensing, Llc Automated real time interpreter service
US10299008B1 (en) * 2017-11-21 2019-05-21 International Business Machines Corporation Smart closed caption positioning system for video content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100957244B1 (ko) * 2008-02-20 2010-05-11 (주)아이유노글로벌 자막 데이터의 동기화를 이용한 편집된 영상물의 자막 처리방법
KR101576768B1 (ko) * 2015-04-03 2015-12-11 주식회사 세인비즈 온라인을 이용한 강의 콘텐츠 제작 및 제공방법
KR20180038318A (ko) * 2016-10-06 2018-04-16 주식회사 카카오 자막 생성 시스템, 자막 생성 방법, 그리고 콘텐트 생성 프로그램

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102265102B1 (ko) * 2020-01-20 2021-06-14 숙명여자대학교산학협력단 키네틱 타이포그래피가 적용된 자막에 대한 편집방법 및 그 전자장치
WO2021149884A1 (ko) * 2020-01-20 2021-07-29 숙명여자대학교산학협력단 키네틱 타이포그래피가 적용된 자막에 대한 편집방법 및 그 전자장치
KR102459775B1 (ko) * 2022-06-24 2022-10-27 주식회사 에이치앤케이스튜디오 인공지능 기반 영상 콘텐츠 제작을 위한 자동 편집 방법, 장치 및 시스템

Also Published As

Publication number Publication date
JP2019213198A (ja) 2019-12-12
EP3579570A1 (en) 2019-12-11
JP2021170803A (ja) 2021-10-28
KR102067446B1 (ko) 2020-01-17
JP6912517B2 (ja) 2021-08-04
US11330342B2 (en) 2022-05-10
JP7269286B2 (ja) 2023-05-08
US20190373336A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
KR102067446B1 (ko) 자막 생성 방법 및 시스템
US9621851B2 (en) Augmenting web conferences via text extracted from audio content
KR101856192B1 (ko) 자막 생성 시스템, 자막 생성 방법, 그리고 콘텐트 생성 프로그램
US10586536B2 (en) Display device and operating method therefor
CN112423081B (zh) 一种视频数据处理方法、装置、设备及可读存储介质
WO2018211983A1 (en) Speech enhancement for speech recognition applications in broadcasting environments
WO2019227429A1 (zh) 多媒体内容生成方法、装置和设备/终端/服务器
KR20200001153A (ko) 하이라이트 영상 생성 방법 및 시스템
CN110933485A (zh) 一种视频字幕生成方法、系统、装置和存储介质
CN113965813A (zh) 直播间内的视频播放方法、系统及计算机设备
CN111818279A (zh) 字幕的生成方法、展示方法及交互方法
KR101915792B1 (ko) 얼굴인식을 이용한 광고 삽입 시스템 및 방법
US20230215296A1 (en) Method, computing device, and non-transitory computer-readable recording medium to translate audio of video into sign language through avatar
Duarte et al. Multimedia accessibility
CN106254962A (zh) 一种直播客户端快速启动播放的方法及系统
CN115086753A (zh) 直播视频流的处理方法、装置、电子设备和存储介质
KR102088047B1 (ko) 언어 학습 장치
US20230362451A1 (en) Generation of closed captions based on various visual and non-visual elements in content
US20230362452A1 (en) Distributor-side generation of captions based on various visual and non-visual elements in content
US11700430B2 (en) Systems and methods to implement preferred subtitle constructs
KR102580592B1 (ko) 수어 자막을 포함하는 방송 신호를 제공하는 방법 및 방송 신호 송수신 장치
CN111768756B (zh) 信息处理方法、装置、车辆和计算机存储介质
CN115150631A (zh) 字幕处理方法、装置、电子设备和存储介质
CN117812417A (zh) 多媒体交互方法、装置、电子设备及存储介质
JP2023073901A (ja) 情報処理装置、情報処理方法、および情報処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant