JP6912517B2 - 字幕生成方法および字幕生成装置 - Google Patents

字幕生成方法および字幕生成装置 Download PDF

Info

Publication number
JP6912517B2
JP6912517B2 JP2019103517A JP2019103517A JP6912517B2 JP 6912517 B2 JP6912517 B2 JP 6912517B2 JP 2019103517 A JP2019103517 A JP 2019103517A JP 2019103517 A JP2019103517 A JP 2019103517A JP 6912517 B2 JP6912517 B2 JP 6912517B2
Authority
JP
Japan
Prior art keywords
subtitle
voice
information
text
speaker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019103517A
Other languages
English (en)
Other versions
JP2019213198A (ja
Inventor
ビョンジュ・キム
ソンヒ・ソ
ウィジュン・ソン
スンジュン・アン
スンヨン・ユン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NCSoft Corp
Original Assignee
NCSoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NCSoft Corp filed Critical NCSoft Corp
Publication of JP2019213198A publication Critical patent/JP2019213198A/ja
Priority to JP2021113781A priority Critical patent/JP7269286B2/ja
Application granted granted Critical
Publication of JP6912517B2 publication Critical patent/JP6912517B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1807—Speech classification or search using natural language modelling using prosody or stress
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Circuits (AREA)

Description

以下の説明は、字幕生成方法および字幕生成装置に関する。より具体的には、音声情報に基づいて字幕を生成する方法および装置に関する。
最近、ニュース、スポーツ、ゲーム、使用者制作コンテンツ（Ｕｓｅｒ Ｇｅｎｅｒａｔｅｄ Ｃｏｎｔｅｎｔｓ：ＵＧＣ）、およびテレプレゼンス（Ｔｅｌｅｐｒｅｓｅｎｃｅ）などのように様々な産業分野でストリーミングサービス（Ｓｔｒｅａｍｉｎｇ Ｓｅｒｖｉｃｅ）が多く使用されている。
また、スマートフォンを通じて様々な分野の放送を提供する個人放送の制作者によって放送サービスの提供も活性化されている。
個人放送の制作者や放送サービスのプロバイダは、視聴者の放送への興味を誘発するために様々な試みをしており、その一環として放送字幕を制作することもある。
本発明の一態様による字幕生成方法は、放送データに含まれた話し手の音声に対応する字幕テキストを生成する段階と、前記放送データに含まれた前記話し手の音声のうちの一部を用いて音声基準情報を生成する段階と、前記話し手の音声および前記音声基準情報に基づいて、前記字幕テキストについての字幕スタイル情報を生成する段階と、を含む。
前記字幕スタイル情報は、前記字幕テキストのサイズ、色、フォント、出力位置、回転および特殊効果のうち、少なくとも１つを制御するための制御情報を含み得る。
前記字幕生成方法は、前記話し手の音声および前記音声基準情報に基づいて、前記字幕テキストを変更する段階をさらに含み得る。
前記字幕テキストを変更する段階は、前記字幕テキストに既設定された字を追加するか、前記字幕テキストに特殊文字を追加するか、前記字幕テキストに含まれた１つ以上の単語を連関単語として変更するか、または前記字幕テキストに含まれた１つ以上の単語を繰り返し追加し得る。
前記字幕生成方法は、前記話し手の音声および前記音声基準情報に基づいて、画面スタイル情報を生成する段階をさらに含み、前記字幕情報は、前記画面スタイル情報をさらに含み得る。
前記画面スタイル情報は、前記字幕テキストが表示される映像画面のサイズ、色、揺れ、および特殊効果のうち、少なくとも１つを制御するための制御情報を含み得る。
前記字幕スタイル情報を生成する生成段階は、前記字幕テキストの文章、単語、または文字の単位として前記字幕スタイル情報を生成し得る。
前記音声基準情報は、前記放送データに含まれた前記話し手の音声のうち、一部の音声状態に関する情報を含み、前記音声状態は、音声の大きさ、音色、および感情のうち、少なくとも１つを含み得る。
前記字幕スタイル情報を生成する段階は、前記音声基準情報に基づいて、前記話し手の音声についての音声状態の変化を判断し、前記音声状態の変化に基づいて、前記字幕スタイル情報を生成し得る。
本発明の一態様による字幕生成装置は、通信インターフェースと、プロセッサーとを含み、前記プロセッサーは、放送データに含まれた話し手の音声に対応する字幕テキストを生成し、前記放送データに含まれた前記話し手の音声のうちの一部を用いて音声基準情報を生成し、前記話し手の音声および前記音声基準情報に基づいて、前記字幕テキストについての字幕スタイル情報を生成する。
前記字幕スタイル情報は、前記字幕テキストのサイズ、色、フォント、出力位置、回転、および特殊効果のうち、少なくとも１つを制御するための制御情報を含み得る。
前記プロセッサーは、前記話し手の音声および前記音声基準情報に基づいて、前記字幕テキストを変更し得る。
前記プロセッサーは、前記字幕テキストに既設定された字を追加するか、前記字幕テキストに特殊文字を追加するか、前記字幕テキストに含まれた１つ以上の単語を連関単語として変更するか、または前記字幕テキストに含まれた１つ以上の単語を繰り返し追加し得る。
前記プロセッサーは、前記話し手の音声および前記音声基準情報に基づいて、画面スタイル情報を生成し得る。
前記画面スタイル情報は、前記字幕テキストが表示される映像画面のサイズ、色、揺れ、および特殊効果のうち、少なくとも１つを制御するための制御情報を含み得る。
前記プロセッサーは、前記字幕テキストの文章、単語、または文字の単位として前記字幕スタイル情報を生成し得る。
前記音声基準情報は、前記放送データに含まれた前記話し手の音声のうち、一部の音声状態に関する情報を含み、前記音声状態は、音声の大きさ、音色、および感情のうち、少なくとも１つを含み得る。
前記プロセッサーは、前記音声基準情報に基づいて、前記話し手の音声についての音声状態の変化を判断し、前記音声状態の変化に基づいて、前記字幕スタイル情報を生成し得る。
一実施例による字幕生成のためのシステムの構成を示した図面。 一実施例による字幕生成サーバーの構成を示した図面。 一実施例による字幕生成方法を示したフローチャート。 一実施例による音声基準情報の例示を示した図面。 一実施例による字幕スタイル変更の例示を示した図面。 一実施例による画面スタイル変更の例示を示した図面。 一実施例による字幕テキスト変更方法を示したフローチャート。 一実施例による字幕テキスト変更の例示を示した図面。 他の一実施例による字幕生成方法を行う使用者端末の構成を示した図面。 例示的な実施例で使用されるのに適切なコンピューティング装置を含むコンピューティング環境を例示して説明するためのブロック図。
以下で、添付された図面を参照して実施例を詳細に説明する。各図面に提示された同じ参照符号は、同じ部材を示す。以下で説明する実施例には、様々な変更が加えられ得る。以下で説明する実施例は、実施形態について限定するものではなく、これらについてのすべての変更、均等物ないし代替物を含むものと理解されるべきである。
実施例で使用した用語は、単に特定の実施例を説明するために使用されたものであって、実施例を限定しようとする意図ではない。単数の表現は、文脈上明らかに別の方法で意味しない限り、複数の表現を含む。本明細書における、「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定しようとするものであって、１つまたはそれ以上の他の特徴や数字、動作、構成要素、部品またはこれらを組み合わせたものなどの存在または付加の可能性を予め排除しないものと理解されるべきである。
別の方法で定義されない限り、技術的または科学的な用語を含んでここで使用されるすべての用語は、実施例が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に使用される辞書に定義されているような用語は、関連技術の文脈上有する意味と一致する意味を有するものと解釈されるべきであり、本出願で明らかに定義しない限り、理想的または過度に形式的な意味に解釈されない。
また、添付図面を参照して説明することにおいて、図面符号にかかわらず、同じ構成要素は同じ参照符号を付与し、これについての重複する説明は省略する。実施例を説明することにおいて、係る公知技術についての具体的な説明が実施例の要旨を不必要にぼかすことができると判断される場合、その詳細な説明を省略する。
図１は、一実施例による字幕生成システム１０の構成を示した図面である。
図１を参照すると、一実施例による字幕生成システム１０は、サーバー１００、放送端末２００、使用者端末３００を含む。
字幕生成システム１０内に含まれた様々な個体（Ｅｎｔｉｔｉｅｓ）間の通信は、有／無線ネットワーク（図示せず）を介して行われ得る。有／無線ネットワークは、標準通信技術および／またはプロトコルが使用され得る。
放送端末２００は、ゲーム、食べ物、ニュース、教育、コンサルティングなどの独自の制作されたコンテンツを放送するか、またはスポーツ、選挙などの他の放送主体によって事前制作されたコンテンツを中継放送し得る。
使用者端末３００は、放送端末２００によって制作および／または中継される放送を視聴するか、または放送でチャット、後援などを行う視聴者の端末であり得る。
使用者端末３００は、様々な形で実装できるが、一例として、スマートフォンのようなモバイル端末、スマートパッドのようなパッド型端末、ラップトップコンピューターなどの各種形のコンピューター、ウェアラブルデバイス、ＴＶ端末などの形で実装できる。
サーバー１００は、放送プラットフォームのための様々な機能を提供できる。サーバー１００が提供する放送は、リアルタイム放送のほかに事前制作放送、ＶＯＤ（Ｖｉｄｅｏ Ｏｎ Ｄｅｍａｎｄ）なども含み得る。
また、放送端末２００および使用者端末３００は、それぞれサーバー１００を介して放送プラットフォームの機能の提供を受けるための視聴者アカウントおよび放送主体アカウントを意味し得る。
一実施例による字幕生成システム１０は、放送字幕を自動的に生成して使用者に提供できる。そして、話し手の音声状態に応じて、放送字幕や放送画面に様々な効果を付加する機能を提供できる。
サーバー１００は、放送端末２００によって制作および／または中継される放送データを放送端末２００から受信する。放送データは、放送のためのビデオファイル、オーディオファイル、各種設定ファイルなどを含み得る。
サーバー１００は、放送端末２００から受信された放送データを使用者端末３００に送信する。このとき、サーバー１００は、放送端末２００から受信された放送データをそのまま使用者端末３００に送信するか、またはリアルタイム放送、事前制作放送、ＶＯＤなどの放送形式に当たるデータに変換して送信できる。また、実施例に応じて、サーバー１００は、使用者端末３００に送信する放送データについて映像編集、画質改善、ビージー追加などの様々な種類の処理を行った後に使用者端末３００に送信できる。
一方、サーバー１００は、放送データから放送音声の字幕を自動的に生成し得る。例えば、サーバー１００は、放送データに含まれたオーディオファイルから音声を抽出し、抽出された音声を認識して当該音声についての字幕テキストを生成し得る。
また、サーバー１００は、抽出された音声についての状態情報に基づいて、字幕テキストのスタイル（例えば、字幕テキストのサイズ、色、フォントなど）および放送画面のスタイル（例えば、放送画面のサイズ、色、動きなど）のうち、少なくとも１つを変更し得る。
使用者端末３００は、サーバー１００から受信された放送データおよび字幕データを画面に出力できる。
一実施例において、使用者端末３００は、サーバー１００から一部支援を受けて字幕を直接生成するか、またはサーバー１００との通信なしに独自に字幕を生成し得る。これについては、以下の図９で具体的に説明する。
図２は、一実施例によるサーバー１００の構成を示した図面である。
図２を参照すると、一実施例によるサーバー１００は、少なくとも１つのプロセッサによって動作し、字幕テキスト生成部１１０、音声状態分析部１３０、音声基準情報生成部１５０、字幕情報生成部１７０を含み得る。
一実施例において、字幕テキスト生成部１１０、音声状態分析部１３０、音声基準情報生成部１５０および字幕情報生成部１７０は、物理的に区分された１つ以上の装置を用いて実装するか、または１つ以上のプロセッサーまたは１つ以上のプロセッサーおよびソフトウェアの結合によって実装でき、図示された例とは異なり、具体的な動作において明確に区分されないこともある。
字幕テキスト生成部１１０は、放送端末２００から受信された放送データに含まれた話し手の音声に対応する字幕テキストを生成する。
具体的に、字幕テキスト生成部１１０は、音声認識技術を用いて放送端末２００から受信された放送データ（映像ファイルまたはオーディオファイル）に含まれた話し手の音声を認識し、認識された音声に対応する字幕テキストを生成し得る。このとき、字幕テキスト生成部１１０は、音声認識の結果が不正確な部分についてはこれを示す表示（例えば、「？？？」または「ｏｏｏ」）を追加して字幕テキストを生成し得る。
一方、字幕テキスト生成部１１０は、生成された字幕テキストを字幕情報生成部１７０に提供する。字幕情報生成部１７０は、字幕テキストを含む字幕情報を生成し、使用者端末３００に送信することになる。
音声状態分析部１３０は、放送データ（映像ファイルまたはオーディオファイル）に含まれた話し手の音声についての音声状態を分析できる。このとき、音声状態は、音声の大きさ、音色の感情のうち、少なくとも１つを含み得る。一方、音声状態分析部１３０は、音声状態を分析するために様々な音声分析技術を活用し得る。
音声基準情報生成部１５０は、放送データに含まれた話し手の音声のうちの一部を用いて音声基準情報を生成する。
一実施例によると、音声基準情報生成部１５０は、放送データに含まれた話し手の音声のうち、一定時間の間に発話した音声についての音声状態に基づいて、音声基準情報を生成し得る。例えば、音声基準情報生成部１５０は、放送開始の時点から既設定された時間の間に発話した話し手の音声状態、または、放送端末２００または使用者端末３００の要請によって設定された時間の間に発話した話し手の音声状態に基づいて、音声基準情報を生成する。
一方、音声基準情報は、話し手の音声状態についての基準となる情報であって、話し手が普段に発話する音声の音声状態に関する情報であり得る。一実施例において、サーバー１００は、音声基準情報に基づいて、音声状態の変化を感知し、字幕のスタイルおよび／または映像画面のスタイルを変更させ得る。
字幕情報生成部１７０は、話し手の音声および音声基準情報に基づいて、字幕テキストについての字幕スタイル情報を生成する。
具体的に、字幕情報生成部１７０は、音声基準情報をもとに現在認識した音声（対象音声）の字幕テキストに適用する字幕スタイルを決定し得る。字幕スタイルは、字幕テキストを飾るための情報であって、字幕テキストのデザイン様式に該当する。
一実施例によると、字幕情報生成部１７０は、話し手の音声および音声基準情報をもとに字幕テキストが表示される映像画面についての画面スタイルを決定し得る。画面スタイルは、字幕テキストが出力される時点の映像画面を飾るための情報である。
また、一実施例によると、字幕情報生成部１７０は、話し手の音声および音声基準情報をもとに音声の字幕テキストを変更し得る。例えば、字幕情報生成部１７０は、話し手の音声についての音声状態に応じて、字幕テキストに特定の文字または特殊文字などを追加させるか、または字幕テキストの特定の文字を他の文字に変更し得る。
一方、字幕情報生成部１７０は、通信部（図示せず）を介して、字幕テキストおよび字幕スタイル情報を含む字幕情報を使用者端末３００に送信できる。このとき、実施例に応じて、字幕情報は、画面スタイル情報をさらに含み得る。
一方、字幕情報を受信した使用者端末３００は、字幕スタイル情報に基づいて、字幕テキストに適用される字幕スタイルを確認し、確認された字幕スタイルを字幕テキストに適用して使用者端末３００の画面に出力する。このために、使用者端末３００には、字幕スタイル情報に基づいて、字幕テキストのサイズ、色、フォントなどを変更し得るデザイン様式を保存できる。
また、一実施例によると、使用者端末３００は、受信された字幕情報に画面スタイル情報が含まれている場合、画面スタイル情報に基づいて、画面スタイルを確認し、確認された画面スタイルに基づいて、字幕テキストが出力される映像画面を制御できる。
一方、実施例に応じて、字幕情報生成部１７０は、字幕テキストに字幕スタイルを適用した後、字幕スタイルで飾られた字幕レイヤー（字幕画面）を使用者端末３００に送信できる。この場合、使用者端末３００は、受信された字幕レイヤー（字幕画面）を字幕が表示される映像にオーバーレイできる。
図３は、一実施例による字幕生成方法を示したフローチャートである。
図３を参照すると、一実施例による字幕生成方法は、サーバー１００で行われる字幕生成方法であって、字幕テキスト抽出動作２０１、音声状態分析動作２０３、音声基準情報生成動作２０５、字幕スタイル情報生成動作２０７、画面スタイル情報生成動作２０９、字幕情報送信動作２１１を含む。
説明に先立って、一実施例では、一人の話し手を基準に説明するが、多数の話し手が存在する場合にサーバー１００は、話し手ごとに字幕生成方法を行って、話し手ごとに字幕情報を生成し得る。
まず、字幕テキスト生成部１１０は、音声認識技術を用いて放送端末２００から受信された放送データ（映像ファイルまたはオーディオファイル）に含まれた話し手の音声に対応する字幕テキストを生成する（２０１）。
このとき、前述したように、字幕テキスト生成部１１０は、音声認識の結果が不正確な部分についてはこれを示す表示（例えば、「？？？」または「ｏｏｏ」）を含む字幕テキストを生成し得る。
字幕テキスト生成部１１０は、生成された字幕テキストを字幕情報生成部１７０に提供し、字幕情報生成部１７０は、字幕テキストを含む字幕情報を生成して使用者端末３００に送信できる。
以後、音声状態分析部１３０は、放送データ（映像ファイルまたはオーディオファイル）に含まれた話し手の音声についての音声状態を分析する（２０３）。このとき、音声状態は、音声の大きさ（例えば、デシベル）、音色（例えば、柔らかさ、粗さ、遅さ、速さ）、話し手の感情（例えば、喜び、驚き、悲しみ、怒り）などを含み得る。一方、音声状態分析部１３０は、音声状態分析のために、様々な音声分析技術を用い得る。
以後、音声基準情報生成部１５０は、放送データに含まれた話し手の音声のうちの一部を用いて音声基準情報を生成する（２０５）。
音声基準情報は、話し手の音声状態を判断するための１つの基準となる情報であって、話し手が普段に発話する音声の音声状態に関する情報であり得る。すなわち、音声基準情報は、例えば、話し手が普段に発話する音声の大きさ、音色、感情などを含む情報であり得る。
一方、音声基準情報生成部１５０は、例えば、放送データに含まれた話し手の音声のうち、放送開始の時点から既設定された時間の間に発話した話し手の音声を音声基準情報を生成するための基準音声として用い得る。他の例として、音声基準情報生成部１５０は、放送データに含まれた話し手の音声のうち、放送端末２００または使用者端末３００の要請によって設定された時間の間に発話した話し手の音声を基準音声として用い得る。また他の例として、音声基準情報生成部１５０は、例えば、放送データに含まれた話し手の音声のうち、放送中の特定イベント（例えば、インターミッション、広告など）が起こる時間に発話した話し手の音声を基準音声として用い得る。このように音声基準情報生成部１５０は、実施例に応じて、様々な時間、条件で発話した話し手の音声を基準音声として用い得る。
図４は、一実施例による音声基準情報の例示を示した図面である。
図４を参照すると、一実施例による音声基準情報は、基準音声の音声状態に関する情報を含み得る。図面で音声基準情報として、基準音声の大きさが「４０デシベル」、音色が「 柔らかさ」、感情が「中立」で生成されていることが分かる。
また、図３を参照すると、一実施例におけるサーバー１００は、音声基準情報に基づいて、話し手の音声についての音声状態の変化を感知し、字幕のスタイルおよび映像画面のスタイルのうち、少なくとも１つを変更させ得る。すなわち、サーバー１００は、現在認識した話し手の音声（対象音声）についての音声状態と音声基準情報との間の差を用いて字幕スタイルおよび画面スタイルのうち、少なくとも１つを変更し得る。
具体的に、字幕情報生成部１７０は、放送データに含まれた話し手の音声および音声基準情報をもとに字幕スタイル情報を生成する（２０７）。
字幕スタイル情報は、字幕テキストのサイズ、色、フォント、出力位置、回転、および特殊効果のうち、少なくとも１つを制御するための情報である。
字幕情報生成部１７０は、現在認識した音声（対象音声）についての音声状態と音声基準情報との間の差に基づいて、対象音声のテキスト字幕についての字幕スタイル情報を生成し得る。
例えば、字幕情報生成部１７０は、対象音声の大きさを音声基準情報に含まれた基準音声の大きさと比較して対象音声の大きさが既設定された大きさほど増加するたびに、字幕テキストのサイズを１ポイント大きく設定し得る。逆に、字幕情報生成部１７０は、対象音声の大きさを音声基準情報に含まれた基準音声の大きさと比較して対象音声の大きさが既設定された大きさほど減少するたびに、字幕テキストのサイズを１ポイント小さく設定し得る。
他の例として、字幕情報生成部１７０は、対象音声の感情が音声基準情報に含まれた基準音声の感情と異なる場合には、字幕テキストの色を異にして設定し得る。すなわち、字幕テキストの色を対象音声の感情が「怒り」であれば赤い色、「楽しさ」であれば青い色、「恐れ」であれば黒い色、「悲しみ」であれば灰色で設定し得る。ここで説明する感情についての色は、１つの例示に過ぎず、管理者の設定などに応じていつでも変更し得ることは自明であろう。
また他の例として、字幕情報生成部１７０は、対象音声の音色が音声基準情報に含まれた基準音声の音色と異なる場合、字幕テキストのフォントを異にして設定し得る。すなわち、対象音声の音色が「柔らかさ」であれば明朝体、「粗さ」であればヘッドライン体、「遅さ」であればグンソ体、「速さ」であればゴシック体で設定し得る。ここで説明する音色についてのフォントは、１つの例示に過ぎない。
また他の例として、字幕情報生成部１７０は、対象音声の大きさおよび感情を音声基準情報に含まれた基準音声の大きさおよび感情と比較し、字幕テキストの出力位置、回転、特殊効果のうち、少なくとも１つを設定し得る。このとき、特殊効果は、字幕テキストのサイズの変化、色の変化、揺れ、フェードイン／アウト、動きのような様々な視覚的効果を含み得る。
図５は、一実施例による字幕スタイル変更の例示を示した図面である。
一実施例において、字幕情報生成部１７０は、対象音声についての状態情報の組み合わせで字幕テキストのスタイルを多様に変更するように、字幕スタイル情報を生成し得る。すなわち、対象音声の大きさと音色の差を用いるか、音色と感情の差を用いるか、または大きさと感情の差を用いて字幕テキストのスタイルを多様に変更し得る。
そして、字幕情報生成部１７０は、字幕スタイル情報をスクリプト形式で生成し得、スクリプト形式のほかに様々なプログラミング言語の形式で生成し得る。
また、字幕情報生成部１７０は、字幕テキストの文章、単語、または文字の単位として前記字幕スタイル情報を生成し得る。
また、図３を参照すると、字幕情報生成部１７０は、放送データに含まれた話し手の音声および音声基準情報をもとに画面スタイル情報を生成する（２０９）。
画面スタイル情報は、字幕テキストが表示される映像画面のサイズ、色、揺れ、および特殊効果のうち、少なくとも１つを制御するための情報である。
字幕情報生成部１７０は、現在認識した音声（対象音声）についての音声状態と音声基準情報との間の差に基づいて、対象音声に対応する字幕テキストが出力される時点の映像画面のスタイル（デザイン）を制御する画面スタイル情報を生成する。
例えば、字幕情報生成部１７０は、対象音声の大きさが音声基準情報に含まれた基準音声の大きさと比較して既設定された大きさほど増加するたびに、映像画面のサイズを１０ピクセル大きく設定し得る。逆に、字幕情報生成部１７０は、対象音声の大きさを音声基準情報に含まれた基準音声の大きさと比較して対象音声の大きさが既設定された大きさほど減少するたびに、映像画面のサイズを１０ピクセル小さく設定し得る。
他の例として、字幕情報生成部１７０は、対象音声の感情が音声基準情報に含まれた基準音声の感情と異なる場合、映像画面の背景色を異にして設定し得る。すなわち、映像画面の背景色を対象音声の感情が「怒り」であればかば色、「楽しさ」であれば空色、「恐れ」であれば紫色、「悲しみ」であれば灰色で設定し得る。
他の一例として、字幕情報生成部１７０は、対象音声の大きさおよび感情を音声基準情報に含まれた基準音声の大きさおよび感情と比較し、映像画面の揺れおよび特殊効果のうち、少なくとも１つを設定し得る。特殊効果は、映像画面のサイズの変化、色の変化、揺れ、フェードイン／アウト、動きのような様々な視覚的効果を含み得る。
図６は、一実施例による画面スタイル変更の例示を示した図面である。
一実施例によると、字幕情報生成部１７０は、対象音声の状態情報の組み合わせで映像画面のスタイルを多様に変更するように、画面スタイル情報を生成し得る。
一方、字幕情報生成部１７０は、画面スタイル情報をスクリプト形式で生成し得るが、スクリプト形式のほかにも様々なプログラミング言語の形式で生成し得る。
また、図３を参照すると、字幕情報生成部１７０は、字幕テキストおよび字幕スタイル情報を含む字幕情報を生成し、通信部（図示せず）を介して使用者端末３００に送信する（２１１）。
このとき、実施例に応じて、字幕情報は、画面スタイル情報をさらに含み得る。
一方、使用者端末３００は、受信された字幕情報を用いて字幕テキストを字幕スタイル情報に応じて出力できる。
また、使用者端末３００は、受信された字幕情報に画面スタイル情報が含まれている場合、映像画面を画面スタイル情報に応じて出力できる。
一方、一実施例によると、字幕情報生成部１７０は、対象音声の音声状態と音声基準情報を用いて対象音声に対応する字幕テキストのスタイルを変更するか、または映像画面のスタイルを変更させ得る。
また、一実施例によると、字幕情報生成部１７０は、音声基準情報をもとに字幕テキスト自体を変更し得る。
図７は、一実施例による字幕テキスト変更方法を示したフローチャートである。
図７を参照すると、一実施例による字幕テキスト変更方法は、音声基準情報を用いた字幕テキスト変更動作４０１、変更された字幕テキストを含む字幕情報生成動作４０３を含む。
まず、字幕情報生成部１７０は、現在認識した音声（対象音声）についての音声状態と音声基準情報との間の差に基づいて、対象音声に対応するテキスト字幕を変更する。
テキスト字幕変更の一例としては、（ｉ）字幕テキストに既設定された文字を追加するか、（ｉｉ）字幕テキストに特殊文字を追加するか、（ｉｉｉ）字幕テキストに含まれた１つ以上の単語を連関単語として変更するか、または（ｉｖ）字幕テキストに含まれた１つ以上の文字を繰り返し追加することを含み得る。
例えば、字幕情報生成部１７０は、対象音声の感情が音声基準情報に含まれた基準音声の感情と異なる場合、字幕テキストに既設定された特殊文字を追加し得る。すなわち、対象音声の感情が「怒り」であれば感嘆符（！）を、「楽しさ」であればハート
Figure 0006912517
を、「悲しみ」であれば泣きを表すエモティコンや文字
Figure 0006912517
を字幕テキストに追加し得る。
他の例として、字幕情報生成部１７０は、対象音声の音色が音声基準情報に含まれた基準音声の音色と異なる場合、字幕テキストに既設定された文字を追加し得る。すなわち、対象音声の音色が「柔らかさ」であれば「柔らかく」という文字を、「粗さ」であれば「粗く」という文字を追加し得る。
また他の例として、字幕情報生成部１７０は、対象音声の音色が音声基準情報に含まれた基準音声の音色と異なる場合、字幕テキストに含まれた１つ以上の文字を繰り返し追加するか、特殊文字を追加するか、または字幕テキストに含まれた１つ以上の単語を連関単語として変更し得る。具体的な例として、字幕情報生成部１７０は、対象音声（「ｇｏ」）の音色が「速さ」であれば字幕テキストである「ｇｏ」を２回繰り返し追加して「ｇｏ ｇｏ ｇｏ」に変更し得る。また、字幕情報生成部１７０は、対象音声（「ｇｏ」）の音色が「遅さ」であれば波文字（〜）を追加して（「ｇｏ〜」）に変更し得る。
図８は、一実施例による字幕テキストの追加方法の例示を示した図面である。
一方、一実施例において、字幕情報生成部１７０が、対象音声についての状態情報の組み合わせで字幕テキストを多様に変更し得ることは自明である。
また、図７を参照すると、字幕情報生成部１７０は、変更された字幕テキストを含む字幕情報を生成する（４０３）。
これによって、使用者端末３００は、変更された字幕テキストを画面に出力し、変更された字幕を使用者に提供する。
以上では、字幕情報生成部１７０が対象音声の音声状態と音声基準情報を用いて、字幕スタイル、画面スタイルおよび字幕テキストの変更を設定し得ることを説明した。単に、字幕情報生成部１７０は、対象音声の音声状態の変化に応じて字幕スタイル、画面スタイル、字幕テキストの変更のうち、１つ以上を設定し得る。
一方、他の実施例において、使用者端末３００は、サーバー１００から一部支援を受けて字幕を直接生成するか、またはサーバー１００との通信なしに独自に字幕を生成し得る。
例えば、サーバー１００は、字幕テキストのみを生成して使用者端末３００に提供し、字幕スタイルの情報、画面スタイルの情報は、使用者端末３００で生成し得る。他の例として、使用者端末３００で字幕スタイルの情報、画面スタイルの情報を生成するだけでなく、字幕テキストも生成し得る。
図９は、他の一実施例による字幕生成方法を行う使用者端末３００の構成を示した図面であって、他の一実施例による使用者端末３００は、字幕テキストを生成し、字幕スタイルの情報および画面スタイルの情報のうち、少なくとも１つを生成する。
図９を参照すると、他の実施例による使用者端末３００は、少なくとも１つの字幕情報生成部によって動作し、字幕テキスト生成部３１０、音声状態分析部３３０、音声基準情報生成部３５０、および字幕情報生成部３７０を含み得る。
一実施例において、字幕テキスト生成部３１０、音声状態分析部３３０、音声基準情報生成部３５０および字幕情報生成部３７０は、物理的に区分された１つ以上の装置を用いて実装するか、または１つ以上のプロセッサーまたは１つ以上のプロセッサーおよびソフトウェアの結合によって実装でき、図示された例とは異なり、具体的な動作において明確に区分されないこともある。
使用者端末３００に含まれた字幕テキスト生成部３１０、音声状態分析部３３０、音声基準情報生成部３５０、字幕情報生成部３７０は、それぞれ前述したサーバー１００に含まれた字幕テキスト生成部１１０、音声状態分析部１３０、音声基準情報生成部１５０および字幕情報生成部１７０と同じ機能を行うことができる。
一方、使用者端末３００は、図３で前述した字幕生成方法を行って字幕テキスト、字幕スタイルの情報、画面スタイルの情報を含む字幕情報を生成し、字幕情報を用いて字幕テキストを画面に出力して使用者に提供する。
図１０は、例示的な実施例で使用されるのに適切なコンピューティング装置を含むコンピューティング環境を例示して説明するためのブロック図である。図示された実施例において、各コンポーネントは、以下に記述されたものに加えて、異なる機能および能力を有することができ、以下に記述されていないものに加えて、追加的なコンポーネントを含み得る。
図示されたコンピューティング環境１０００は、コンピューティング装置１２を含む。一実施例において、コンピューティング装置１２は、図１に図示されたサーバー１００、放送端末２００または使用者端末３００に含まれる１つ以上のコンポーネントであり得る。
コンピューティング装置１２は、少なくとも１つのプロセッサー１４、コンピューター判読可能保存媒体１６および通信バス１８を含む。プロセッサー１４は、コンピューティング装置１２が前述の例示的な実施例に基づいて動作するようにできる。例えば、プロセッサー１４は、コンピューター判読可能保存媒体１６に保存された１つ以上のプログラムを行うことができる。前記１つ以上のプログラムは、１つ以上のコンピューター実行可能命令語を含み得、前記コンピューター実行可能命令語は、プロセッサー１４によって実行される場合、コンピューティング装置１２が例示的な実施例による動作を遂行するように構成できる。
コンピューター判読可能保存媒体１６は、コンピューター実行可能命令語ないしプログラムコード、プログラムデータおよび／または他の適切な形態の情報を保存するように構成される。コンピューター判読可能保存媒体１６に保存されたプログラム２０は、プロセッサー１４によって実行可能な命令語の集合を含む。一実施例において、コンピューター判読可能保存媒体１６は、メモリー（ランダムアクセスメモリーのような揮発性メモリー、非揮発性メモリー、またはこれらの適切な組み合わせ）、１つ以上の磁気ディスク保存デバイス、光学ディスク保存デバイス、 フラッシュメモリーデバイス、その他にコンピューティング装置１２によってアクセスされ、必要な情報を保存できる他の形態の保存媒体、またはこれらの適切な組み合わせであり得る。
通信バス１８は、プロセッサー１４、コンピューター判読可能保存媒体１６を含み、コンピューティング装置１２の他の様々なコンポーネントを相互接続する。
コンピューティング装置１２はまた、１つ以上の入出力装置２４のためのインターフェースを提供する１つ以上の入出力インターフェース２２および１つ以上のネットワーク通信インターフェース２６を含み得る。入出力インターフェース２２およびネットワーク通信インターフェース２６は、通信バス１８に接続される。入出力装置２４は、入出力インターフェース２２を介してコンピューティング装置１２の他のコンポーネントに接続できる。例示的な入出力装置２４は、ポインティング装置（マウスまたはトラックパッドなど）、キーボード、タッチ入力装置（タッチパッドまたはタッチスクリーンなど）、音声または音入力装置、様々な種類のセンサー装置および／または撮影装置のような入力装置、および／またはディスプレー装置、プリンター、スピーカーおよび／またはネットワークカードのような出力装置を含み得る。例示的な入出力装置２４は、コンピューティング装置１２を構成する一コンポーネントとして、コンピューティング装置１２の内部に含み得、コンピューティング装置１２とは区別される別の装置として、コンピューティング装置１２と接続できる。
以上で説明された実施例は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素およびソフトウェア構成要素の組み合わせとして実装できる。例えば、実施例で説明された装置、方法および構成要素は、例えば、字幕情報生成部、コントローラー、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）、グラフィックプロセッシングユニット（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＧＰＵ）、ＡＬＵ（Ａｒｉｔｈｍｅｔｉｃ Ｌｏｇｉｃ Ｕｎｉｔ）、デジタル信号字幕情報生成部（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、マイクロコンピューター、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＰＬＵ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｕｎｉｔ）、マイクロ字幕情報生成部、注文型集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ：ＡＳＩＣＳ）、または命令（Ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答できる他の任意の装置のように、１つ以上の汎用コンピューターまたは特殊目的のコンピューターを用いて実装できる。
実施例による方法は、様々なコンピューターの手段を介して実行できるプログラム命令の形で実装してコンピューター判読可能な媒体に記録され得る。前記コンピューター判読可能な媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含み得る。前記媒体に記録されるプログラム命令は、実施例のために特別に設計されて構成されたものであるか、またはコンピューターソフトウェアの当業者に公知の使用可能なものであり得る。コンピューター判読可能な記録媒体の例には、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体（Ｍａｇｎｅｔｉｃ Ｍｅｄｉａ）と、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（Ｏｐｔｉｃａｌ Ｍｅｄｉａ）と、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光媒体（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）と、ロム（ＲＯＭ）、ラム（ＲＡＭ）、フラッシュメモリーのなどようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラーによって作られる機械語コードだけでなく、インタープリターなどを使用してコンピューターによって実行できる高級言語コードを含む。前記ハードウェア装置は、実施例の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
以上のように、たとえ限られた図面によって実施例が説明されたとしても、当該の技術分野で通常の知識を有する者であれば、前記の記載から様々な修正および変形が可能である。例えば、説明された技術が説明された方法とは異なる手順に行われたり、および／または説明されたシステム、構造、装置、回路などの構成要素が説明された方法とは異なる形で結合または組み合わされたり、他の構成要素または均等物によって代置されたり置換されても適切な結果が達成され得る。したがって、他の実装、他の実施例および特許請求の範囲と均等なものなども後述する特許請求の範囲に属する。

Claims (14)

  1. 放送データに含まれた話し手の音声に対応する字幕テキストを生成する段階と、
    前記放送データに含まれた前記話し手の音声のうちの一部を用いて音声基準情報を生成する段階と、
    前記話し手の音声および前記音声基準情報に基づいて、前記字幕テキストについての字幕スタイル情報を生成する段階と、
    前記話し手の音声および前記音声基準情報に基づいて、前記字幕テキストが表示される映像画面についての画面スタイル情報を生成する段階と、を含み、
    前記音声基準情報は、前記放送データに含まれた前記話し手の音声のうち、一部の音声状態に関する情報を含み、
    前記音声状態は、音声の大きさ、音色、および感情のうち、少なくとも１つを含む字幕生成方法。
  2. 前記字幕スタイル情報は、前記字幕テキストのサイズ、色、フォント、出力位置、回転、および特殊効果のうち、少なくとも１つを制御するための制御情報を含む請求項１に記載の字幕生成方法。
  3. 前記話し手の音声および前記音声基準情報に基づいて、前記字幕テキストを変更する段階をさらに含む請求項１に記載の字幕生成方法。
  4. 前記字幕テキストを変更する段階は、
    前記字幕テキストに既設定された文字を追加するか、
    前記字幕テキストに特殊文字を追加するか、
    前記字幕テキストに含まれた１つ以上の単語を連関単語として変更するか、
    または前記字幕テキストに含まれた１つ以上の単語を繰り返し追加する請求項３に記載の字幕生成方法。
  5. 前記画面スタイル情報は、前記字幕テキストが表示される映像画面のサイズ、色、揺れ、および特殊効果のうち、少なくとも１つを制御するための制御情報を含む請求項１に記載の字幕生成方法。
  6. 前記字幕スタイル情報を生成する段階は、前記字幕テキストの文章、単語、または文字の単位として前記字幕スタイル情報を生成する請求項１に記載の字幕生成方法。
  7. 前記字幕スタイル情報を生成する段階は、前記音声基準情報に基づいて、前記話し手の音声についての音声状態の変化を判断し、前記音声状態の変化に基づいて、前記字幕スタイル情報を生成する請求項１に記載の字幕生成方法。
  8. 通信インターフェースと、プロセッサーとを含み、
    前記プロセッサーは、
    放送データに含まれた話し手の音声に対応する字幕テキストを生成し、
    前記放送データに含まれた前記話し手の音声のうちの一部を用いて音声基準情報を生成し、
    前記話し手の音声および前記音声基準情報に基づいて、前記字幕テキストについての字幕スタイル情報を生成し、
    前記話し手の音声および前記音声基準情報に基づいて、前記字幕テキストが表示される映像画面についての画面スタイル情報を生成し、
    前記音声基準情報は、前記放送データに含まれた前記話し手の音声のうち、一部の音声状態に関する情報を含み、
    前記音声状態は、音声の大きさ、音色、および感情のうち、少なくとも１つを含む字幕生成装置。
  9. 前記字幕スタイル情報は、前記字幕テキストのサイズ、色、フォント、出力位置、回転、および特殊効果のうち、少なくとも１つを制御するための制御情報を含む請求項８に記載の字幕生成装置。
  10. 前記プロセッサーは、前記話し手の音声および前記音声基準情報に基づいて、前記字幕テキストを変更する請求項８に記載の字幕生成装置。
  11. 前記プロセッサーは、
    前記字幕テキストに既設定された文字を追加するか、
    前記字幕テキストに特殊文字を追加するか、
    前記字幕テキストに含まれた１つ以上の単語を連関単語として変更するか、
    または前記字幕テキストに含まれた１つ以上の単語を繰り返し追加する請求項１０に記載の字幕生成装置。
  12. 前記画面スタイル情報は、前記字幕テキストが表示される映像画面のサイズ、色、揺れ、および特殊効果のうち、少なくとも１つを制御するための制御情報を含む請求項８に記載の字幕生成装置。
  13. 前記プロセッサーは、前記字幕テキストの文章、単語、または文字の単位として前記字幕スタイル情報を生成する請求項８に記載の字幕生成装置。
  14. 前記プロセッサーは、前記音声基準情報に基づいて、前記話し手の音声についての音声状態の変化を判断し、前記音声状態の変化に基づいて、前記字幕スタイル情報を生成する請求項８に記載の字幕生成装置。
JP2019103517A 2018-06-04 2019-06-03 字幕生成方法および字幕生成装置 Active JP6912517B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021113781A JP7269286B2 (ja) 2018-06-04 2021-07-08 字幕生成方法および字幕生成装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180064266A KR102067446B1 (ko) 2018-06-04 2018-06-04 자막 생성 방법 및 시스템
KR10-2018-0064266 2018-06-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021113781A Division JP7269286B2 (ja) 2018-06-04 2021-07-08 字幕生成方法および字幕生成装置

Publications (2)

Publication Number Publication Date
JP2019213198A JP2019213198A (ja) 2019-12-12
JP6912517B2 true JP6912517B2 (ja) 2021-08-04

Family

ID=66770184

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019103517A Active JP6912517B2 (ja) 2018-06-04 2019-06-03 字幕生成方法および字幕生成装置
JP2021113781A Active JP7269286B2 (ja) 2018-06-04 2021-07-08 字幕生成方法および字幕生成装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021113781A Active JP7269286B2 (ja) 2018-06-04 2021-07-08 字幕生成方法および字幕生成装置

Country Status (4)

Country Link
US (1) US11330342B2 (ja)
EP (1) EP3579570A1 (ja)
JP (2) JP6912517B2 (ja)
KR (1) KR102067446B1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11763239B1 (en) * 2018-09-18 2023-09-19 Wells Fargo Bank, N.A. Emotional intelligence assistant
US11335360B2 (en) * 2019-09-21 2022-05-17 Lenovo (Singapore) Pte. Ltd. Techniques to enhance transcript of speech with indications of speaker emotion
KR102265102B1 (ko) * 2020-01-20 2021-06-14 숙명여자대학교산학협력단 키네틱 타이포그래피가 적용된 자막에 대한 편집방법 및 그 전자장치
US20210375301A1 (en) * 2020-05-28 2021-12-02 Jonathan Geddes Eyewear including diarization
CN111986656B (zh) * 2020-08-31 2021-07-30 上海松鼠课堂人工智能科技有限公司 教学视频自动字幕处理方法与系统
US20220084525A1 (en) * 2020-09-17 2022-03-17 Zhejiang Tonghuashun Intelligent Technology Co., Ltd. Systems and methods for voice audio data processing
US11792489B2 (en) 2020-10-22 2023-10-17 Rovi Guides, Inc. Systems and methods for inserting emoticons within a media asset
US11418850B2 (en) * 2020-10-22 2022-08-16 Rovi Guides, Inc. Systems and methods for inserting emoticons within a media asset
US11418849B2 (en) * 2020-10-22 2022-08-16 Rovi Guides, Inc. Systems and methods for inserting emoticons within a media asset
KR102459775B1 (ko) * 2022-06-24 2022-10-27 주식회사 에이치앤케이스튜디오 인공지능 기반 영상 콘텐츠 제작을 위한 자동 편집 방법, 장치 및 시스템

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5647834A (en) * 1995-06-30 1997-07-15 Ron; Samuel Speech-based biofeedback method and system
JP2003066991A (ja) 2001-08-22 2003-03-05 Seiko Epson Corp 音声認識結果出力方法および音声認識結果出力装置ならびに音声認識結果出力処理プログラムを記録した記録媒体
US7853863B2 (en) * 2001-12-12 2010-12-14 Sony Corporation Method for expressing emotion in a text message
US6959080B2 (en) 2002-09-27 2005-10-25 Rockwell Electronic Commerce Technologies, Llc Method selecting actions or phases for an agent by analyzing conversation content and emotional inflection
JP4176506B2 (ja) 2003-02-18 2008-11-05 シャープ株式会社 情報受信装置
JP2005065252A (ja) 2003-07-29 2005-03-10 Fuji Photo Film Co Ltd 携帯電話機
US7983910B2 (en) * 2006-03-03 2011-07-19 International Business Machines Corporation Communicating across voice and text channels with emotion preservation
JP2008083410A (ja) 2006-09-27 2008-04-10 Toshiba Corp 音声認識装置及びその方法
JP5649769B2 (ja) 2007-12-27 2015-01-07 京セラ株式会社 放送受信装置
KR100957244B1 (ko) * 2008-02-20 2010-05-11 (주)아이유노글로벌 자막 데이터의 동기화를 이용한 편집된 영상물의 자막 처리방법
JP2011139261A (ja) * 2009-12-28 2011-07-14 Sony Corp 画像処理装置、画像処理方法、およびプログラム
US20110246172A1 (en) * 2010-03-30 2011-10-06 Polycom, Inc. Method and System for Adding Translation in a Videoconference
US9014358B2 (en) * 2011-09-01 2015-04-21 Blackberry Limited Conferenced voice to text transcription
KR101830656B1 (ko) 2011-12-02 2018-02-21 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US8983836B2 (en) * 2012-09-26 2015-03-17 International Business Machines Corporation Captioning using socially derived acoustic profiles
KR102129536B1 (ko) * 2013-08-06 2020-07-03 삼성전자주식회사 모바일 단말기 및 그의 제어 방법
US10068588B2 (en) 2014-07-21 2018-09-04 Microsoft Technology Licensing, Llc Real-time emotion recognition from audio signals
JP6796376B2 (ja) 2014-11-28 2020-12-09 日本放送協会 分割装置および解析装置、ならびにプログラム
US9704488B2 (en) * 2015-03-20 2017-07-11 Microsoft Technology Licensing, Llc Communicating metadata that identifies a current speaker
KR101576768B1 (ko) * 2015-04-03 2015-12-11 주식회사 세인비즈 온라인을 이용한 강의 콘텐츠 제작 및 제공방법
CN104853257A (zh) * 2015-04-30 2015-08-19 北京奇艺世纪科技有限公司 字幕显示方法和装置
US10121474B2 (en) * 2016-02-17 2018-11-06 Microsoft Technology Licensing, Llc Contextual note taking
TWI728061B (zh) 2016-03-15 2021-05-21 日商新力股份有限公司 送訊裝置及收訊裝置
US20170364484A1 (en) * 2016-06-21 2017-12-21 VTCSecure LLC Enhanced text metadata system and methods for using the same
KR101856192B1 (ko) * 2016-10-06 2018-06-20 주식회사 카카오 자막 생성 시스템, 자막 생성 방법, 그리고 콘텐트 생성 프로그램
US10854110B2 (en) * 2017-03-03 2020-12-01 Microsoft Technology Licensing, Llc Automated real time interpreter service
US10299008B1 (en) * 2017-11-21 2019-05-21 International Business Machines Corporation Smart closed caption positioning system for video content

Also Published As

Publication number Publication date
JP2019213198A (ja) 2019-12-12
EP3579570A1 (en) 2019-12-11
KR20190138109A (ko) 2019-12-12
JP2021170803A (ja) 2021-10-28
KR102067446B1 (ko) 2020-01-17
US11330342B2 (en) 2022-05-10
JP7269286B2 (ja) 2023-05-08
US20190373336A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
JP6912517B2 (ja) 字幕生成方法および字幕生成装置
KR101856192B1 (ko) 자막 생성 시스템, 자막 생성 방법, 그리고 콘텐트 생성 프로그램
EP3901785A1 (en) Content filtering in media playing devices
CN111741326B (zh) 视频合成方法、装置、设备及存储介质
CN111541930B (zh) 直播画面的显示方法、装置、终端及存储介质
CN107770626A (zh) 视频素材的处理方法、视频合成方法、装置及存储介质
WO2016037440A1 (zh) 视频语音转换方法、装置和服务器
US10645464B2 (en) Eyes free entertainment
WO2019227429A1 (zh) 多媒体内容生成方法、装置和设备/终端/服务器
WO2020150693A1 (en) Systems and methods for generating personalized videos with customized text messages
US11842433B2 (en) Generating personalized videos with customized text messages
KR102629552B1 (ko) 컴퓨팅 디바이스에서 콘텐츠의 청각적 부분을 자동으로 자막화하기
CN113778419B (zh) 多媒体数据的生成方法、装置、可读介质及电子设备
JP7101212B2 (ja) 会議補助用翻訳ツールのための方法およびシステム
KR101915792B1 (ko) 얼굴인식을 이용한 광고 삽입 시스템 및 방법
US20230215296A1 (en) Method, computing device, and non-transitory computer-readable recording medium to translate audio of video into sign language through avatar
US20080297657A1 (en) Method and system for processing text in a video stream
KR20160094663A (ko) 온라인 채팅 서비스의 사용자 이모티콘 제공 방법
Duarte et al. Multimedia accessibility
KR102353797B1 (ko) 영상 컨텐츠에 대한 합성음 실시간 생성에 기반한 컨텐츠 편집 지원 방법 및 시스템
CN111768756B (zh) 信息处理方法、装置、车辆和计算机存储介质
KR101564659B1 (ko) 효과음을 이용한 자막 삽입 시스템 및 방법
US20230362451A1 (en) Generation of closed captions based on various visual and non-visual elements in content
CN113940049B (zh) 基于内容的语音播放方法及显示设备
US20230362452A1 (en) Distributor-side generation of captions based on various visual and non-visual elements in content

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190603

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210708

R150 Certificate of patent or registration of utility model

Ref document number: 6912517

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250