JP4210723B2

JP4210723B2 - 自動字幕番組制作システム

Info

Publication number: JP4210723B2
Application number: JP07267199A
Authority: JP
Inventors: 英治沢村; 一郎丸山; 暉将江原; 克彦白井
Original assignee: Mitsubishi Electric Corp; National Institute of Information and Communications Technology; NHK Engineering Services Inc; Japan Broadcasting Corp
Current assignee: Mitsubishi Electric Corp; National Institute of Information and Communications Technology; Japan Broadcasting Corp; NHK Engineering System Inc
Priority date: 1999-03-17
Filing date: 1999-03-17
Publication date: 2009-01-21
Anticipated expiration: 2019-03-17
Also published as: JP2000270263A

Description

【０００１】
【発明の属する技術分野】
本発明は、ほぼ共通の電子化原稿をアナウンス用と字幕用の双方に利用する形態を想定して字幕番組を制作する自動字幕番組制作システムに係り、特に、本発明で提案するアナウンス音声と字幕文テキスト間の同期検出技術、及び日本語の特徴解析手法を用いたテキスト分割技術等を適用することにより、アナウンス音声の進行と同期して、提示単位字幕文の作成、及びその始点／終点の各々に対応するタイミング情報付与を自動化し得る自動字幕番組制作システムに関する。
【０００２】
【従来の技術】
現代は高度情報化社会と一般に言われているが、聴覚障害者は健常者と比較して情報の入手が困難な状況下におかれている。
【０００３】
すなわち、例えば、情報メディアとして広く普及しているＴＶ放送番組を例示して、日本国内の全ＴＶ放送番組に対する字幕番組の割合に言及すると、欧米では３３〜７０％に達しているのに対し、わずか１０％程ときわめて低いのが現状である。
【０００４】
【発明が解決しようとする課題】
さて、日本国内の全ＴＶ放送番組に対する字幕番組の割合が欧米と比較して低くおかれている要因としては、主として字幕番組制作技術の未整備を挙げることができる。具体的には、日本語特有の問題も有り、ほとんどが手作業によっているため、多大の労力、時間、費用を要するためである。
【０００５】
そこで、本発明者らは、字幕番組制作技術の整備を妨げている原因究明を企図して、現行の字幕番組制作の実体調査を行った。
【０００６】
図６の左側には、現在一般に行われている字幕番組制作フローを示してある。
【０００７】
ステップＳ１０１において、字幕番組制作者は、タイムコードを映像にスーパーした番組データと、タイムコードを音声チャンネルに記録した番組テープと、番組台本との３つの字幕原稿作成素材を放送局から受け取る。なお、図中において「タイムコード」を「ＴＣ」と略記する場合があることを付言しておく。
【０００８】
ステップＳ１０３において、放送関係経験者等の専門家は、ステップＳ１０１で受け取った字幕原稿作成素材を基に、番組アナウンスの要約書き起こし、別途規定された字幕提示の基準となる原稿作成要領に従う字幕提示イメージ化、その開始・終了タイムコード記入の各作業を順次行ない、字幕原稿を作成する。
【０００９】
ステップＳ１０５において、入力オペレータは、ステップＳ１０３で作成された字幕原稿をもとに電子化字幕を作成する。
【００１０】
ステップＳ１０７において、ステップＳ１０５で作成された電子化字幕を、担当の字幕制作責任者、原稿作成者、及び入力オペレータの三者立ち会いのもとで試写・修正を行い、完成字幕とする。
【００１１】
ところで、最近では、番組アナウンスの要約書き起こしと字幕の電子化双方に通じたキャプションオペレータと呼ばれる人材を養成することで、図６の右側に示す改良された現行字幕制作フローも一部実施されている。
【００１２】
すなわち、ステップＳ１１１において、字幕番組制作者は、タイムコードを音声チャンネルに記録した番組テープと、番組台本との２つの字幕原稿作成素材を放送局から受け取る。
【００１３】
ステップＳ１１３において、キャプションオペレータは、タイムコードを音声チャンネルに記録した番組テープを再生し、セリフの開始点でマウスのボタンをクリックすることでその点の音声チャンネルから始点タイムコードを取り出して記録する。さらに、セリフを聴取して要約電子データとして入力するとともに、字幕原稿作成要領に基づく区切り箇所に対応するセリフ点で再びマウスのボタンをクリックすることでその点の音声チャンネルから終点タイムコードを取り出して記録する。これらの操作を番組終了まで繰り返して、番組全体の字幕を電子化する。
【００１４】
ステップＳ１１７において、ステップＳ１０５で作成された電子化字幕を、担当の字幕制作責任者、及びキャプションオペレータの二者立ち会いのもとで試写・修正を行い、完成字幕とする。
【００１５】
後者の改良された現行字幕制作フローでは、キャプションオペレータは、タイムコードを音声チャンネルに記録した番組テープのみを使用して、セリフの要約と電子データ化を行うとともに、提示単位に分割した字幕の始点／終点にそれぞれ対応するセリフのタイミングでマウスボタンをクリックすることにより、音声チャンネルの各タイムコードを取り出して記録するものであり、かなり省力化された効果的な字幕制作フローといえる。
【００１６】
さて、上述した現行字幕制作フローにおける一連の処理の流れの中で特に多大な工数を要するのは、ステップＳ１０３乃至Ｓ１０５又はステップＳ１１３の、セリフを聴取して要約し、かつ電子化する処理工程であり、この処理工程は熟練者の知識・経験に負うところが大きい。
【００１７】
しかし、現在放送中の字幕番組のなかで、予めアナウンス原稿が作成され、その原稿がほとんど修正されることなく実際の放送字幕となっていると推測される番組がいくつかある。例えば、「生きもの地球紀行」という字幕付き情報番組を実際に調べて見ると、アナウンス音声と字幕内容はほとんど共通であり、共通の原稿をアナウンス用と字幕用の両方に利用していると推測出来る。
【００１８】
そこで、本発明者らは、このようにアナウンス音声と字幕内容が極めて類似し、アナウンス用と字幕用の両方にほぼ共通の原稿を利用しており、その原稿が電子化されている番組を想定したとき、字幕番組の制作を人手を介することなく自動化できる自動字幕番組制作システムを想到するに至ったのである。
【００１９】
本発明は、上述した実情に鑑みてなされたものであり、本発明で提案する音声と字幕文テキストの同期検出技術、及び日本語の特徴解析手法を用いたテキスト分割技術等を適用することにより、素材ＶＴＲから再生されたアナウンス音声の進行と同期して、提示単位字幕文の作成、及びその始点／終点の各々に対応する高精度のタイミング情報付与を自動化し得る自動字幕番組制作システムを提供することを課題とする。
【００２０】
【課題を解決するための手段】
上記課題を解決するために、請求項１の発明は、少なくとも映像及び音声並びにこれらの提示タイミング情報を含んだ番組素材に対し、それに関連した字幕番組を制作する自動字幕番組制作システムであって、単位字幕文が提示時間順に配列された字幕文テキストのなかから、提示対象となる単位字幕文を提示時間順に抽出する単位字幕文抽出手段と、当該単位字幕文抽出手段で抽出された単位字幕文を、所望の字幕提示形式に従う少なくとも１以上の提示単位字幕文に変換する提示単位字幕化手段と、当該提示単位字幕化手段で得られた提示単位字幕文毎に、当該提示単位字幕文に対応するアナウンス音声と提示単位字幕文間の音声認識処理を含む同期検出技術を適用することにより、該当する始点／終点タイミング情報を同期点として検出する同期検出手段と、当該同期検出手段で検出した始点／終点タイミング情報を、前記提示単位字幕化手段で得られた提示単位字幕文毎に付与するタイミング情報付与手段と、を備え、前記同期検出手段は、前記提示単位字幕化手段で提示単位字幕文が得られる毎に、当該提示単位字幕文の妥当性を検証する妥当性検証機能と、当該妥当性検証機能を発揮することで得られた検証結果が不当であるとき、この検証結果を前記提示単位字幕化手段宛に返答する検証結果返答機能と、を有して構成され、
前記提示単位字幕化手段は、前記同期検出手段から当該提示単位字幕文が不当である旨の返答を受けたとき、前記単位字幕文抽出手段で抽出された単位字幕文のなかから、所望の字幕提示形式に従う少なくとも１以上の提示単位字幕文を再変換することを要旨とする。
【００２１】
請求項１の発明によれば、まず、単位字幕文抽出手段は、単位字幕文が提示時間順に配列された字幕文テキストのなかから、提示対象となる単位字幕文を提示時間順に順次抽出する。これを受けて提示単位字幕化手段は、単位字幕文抽出手段で抽出された単位字幕文を、所望の字幕提示形式に従う少なくとも１以上の提示単位字幕文に変換する。一方、同期検出手段は、提示単位字幕化手段で得られた提示単位字幕文毎に、該当する始点／終点タイミング情報を同期点として検出するが、この同期点検出にあたり、当該提示単位字幕文に対応するアナウンス音声と提示単位字幕文間の音声認識処理を含む同期検出技術を適用することにより、該当する始点／終点タイミング情報を同期点として検出する。そして、タイミング情報付与手段は、同期検出手段で検出した始点／終点タイミング情報を、提示単位字幕化手段で得られた提示単位字幕文毎に付与する。
【００２２】
このように、請求項１の発明によれば、単位字幕文が提示時間順に配列された字幕文テキストのなかから、提示対象となる単位字幕文を提示時間順に順次抽出し、抽出された単位字幕文を、所望の字幕提示形式に従う少なくとも１以上の提示単位字幕文に変換する一方、この変換で得られた提示単位字幕文毎に、該当する始点／終点タイミング情報を同期点として検出するが、この同期点検出にあたり、当該提示単位字幕文に対応するアナウンス音声と提示単位字幕文間の音声認識処理を含む同期検出技術を適用することにより、該当する始点／終点タイミング情報を同期点として検出し、この検出した始点／終点タイミング情報を、前記変換で得られた提示単位字幕文毎に付与するので、したがって、アナウンス音声の進行と同期して、提示単位字幕文の作成、及びその始点／終点の各々に対応する高精度のタイミング情報付与の自動化を実現可能な自動字幕番組制作システムを得ることができる。
そして、同期検出手段は、提示単位字幕化手段で提示単位字幕文が得られる毎に、当該提示単位字幕文の妥当性を検証する一方で、得られた検証結果が不当であるとき、この検証結果を提示単位字幕化手段宛に返答し、この際、提示単位字幕化手段は、同期検出手段から当該提示単位字幕文が不当である旨の返答を受けたとき、単位字幕文抽出手段で抽出された単位字幕文のなかから、所望の字幕提示形式に従う少なくとも１以上の提示単位字幕文を再変換するので、したがって、提示単位字幕文が一旦得られた場合であっても、その妥当性検証結果を提示単位字幕文変換工程にフィードバック可能となる結果として、好ましい提示単位字幕文の変換に寄与することができる。
【００２５】
また、請求項２の発明は、請求項１に記載の自動字幕番組制作システムであって、前記同期検出手段は、前記提示単位字幕化手段で得られた提示単位字幕文の妥当性を検証するにあたり、当該提示単位字幕文に対応するアナウンス音声中に所定時間を超えるポーズの存在有無を調査し、当該調査の結果、アナウンス音声中に所定時間を超えるポーズ有りを検出したときには、該当する提示単位字幕文は不当であるとみなす一方、アナウンス音声中に所定時間を超えるポーズ無しを検出したときには、該当する提示単位字幕文は妥当であるとみなすようにして、該当する提示単位字幕文の妥当性を検証することを要旨とする。
【００２６】
請求項２の発明によれば、同期検出手段は、提示単位字幕化手段で得られた提示単位字幕文の妥当性を検証するにあたり、当該提示単位字幕文に対応するアナウンス音声中に所定時間を超えるポーズの存在有無を調査し、この調査の結果、アナウンス音声中に所定時間を超えるポーズ有りを検出したときには、該当する提示単位字幕文は不当であるとみなす一方、アナウンス音声中に所定時間を超えるポーズ無しを検出したときには、該当する提示単位字幕文は妥当であるとみなすようにして、該当する提示単位字幕文の妥当性を検証するので、したがって、提示単位字幕文中に所定時間を超えるポーズが存在するということは、この提示単位字幕文は、少なくとも時間的にも内容的にも相異なる字幕文を含んで構成されているおそれがあり、これらの字幕文を一つの提示単位字幕文とみなしたのでは好ましくないおそれがあるのに対し、一旦得られた提示単位字幕文の妥当性を、対応するアナウンス音声の観点から再検証可能となる結果として、好ましい提示単位字幕文の変換に多大な貢献を果たすことができる。
【００２７】
さらに、請求項３の発明は、請求項１または２に記載の自動字幕番組制作システムであって、前記提示単位字幕化手段は、前記単位字幕文抽出手段で抽出された単位字幕文を、制限字幕文字数を含む字幕提示形式に従う少なくとも１以上の提示単位字幕文に変換するにあたり、前記制限字幕文字数を含む字幕提示形式を参照して、提示単位字幕配列案を作成し、前記単位字幕文に付加されている区切り可能箇所情報を参照して、前記作成された提示単位字幕配列案を最適化することで提示単位字幕配列を確定することにより、前記単位字幕文を少なくとも１以上の各提示単位字幕文に分割するようにして、前記単位字幕文を、前記字幕提示形式に従う提示単位字幕文に変換することを要旨とする。
【００２８】
請求項３の発明によれば、提示単位字幕化手段は、単位字幕文抽出手段で抽出された単位字幕文を、制限字幕文字数を含む字幕提示形式に従う少なくとも１以上の提示単位字幕文に変換するにあたり、制限字幕文字数を含む字幕提示形式を参照して、提示単位字幕配列案を作成し、単位字幕文に付加されている区切り可能箇所情報を参照して、作成された提示単位字幕配列案を最適化することで提示単位字幕配列を確定することにより、単位字幕文を少なくとも１以上の各提示単位字幕文に分割するようにして、単位字幕文を、字幕提示形式に従う提示単位字幕文に変換するので、したがって、単位字幕文を制限字幕文字数を含む字幕提示形式に従う提示単位字幕文に変換するにあたり、区切り可能箇所情報を適用することで、見やすく読みやすい最適な提示単位字幕化を実現することができる。
【００２９】
しかも、請求項４の発明は、請求項３に記載の自動字幕番組制作システムであって、前記提示単位字幕化手段は、前記区切り可能箇所情報を参照して、前記作成された提示単位字幕配列案を最適化するにあたり、前記区切り可能箇所情報は、前記単位字幕文に対して形態素解析を施すことで得られる形態素解析データと、前記単位字幕文に対する改行・改頁推奨箇所に係る分割ルールと、のうちいずれか１又は両者を含んで構成されており、前記形態素解析データ及び／又は分割ルールを参照して、前記作成された提示単位字幕配列案を最適化することを要旨とする。
【００３０】
請求項４の発明によれば、提示単位字幕化手段は、区切り可能箇所情報を参照して、前記作成された提示単位字幕配列案を最適化するにあたり、形態素解析データ及び／又は分割ルールを参照して、前記作成された提示単位字幕配列案を最適化するので、したがって、実情に即して高精度に最適化された提示単位字幕化を実現可能な自動字幕番組制作システムを得ることができる。
【００３１】
そして、請求項５の発明は、請求項４に記載の自動字幕番組制作システムであって、前記分割ルールで定義される改行・改頁推奨箇所は、句点の後ろ、読点の後ろ、文節と文節の間、形態素品詞の間、のうちいずれか１又は複数の組み合わせを含んでおり、当該分割ルールを適用するにあたっては、前記記述順の先頭から優先的に適用することを要旨とする。
【００３２】
請求項５の発明によれば、分割ルール、すなわち改行・改頁データで定義される改行・改頁推奨箇所は、句点の後ろ、読点の後ろ、文節と文節の間、形態素品詞の間、のうちいずれか１又は複数の組み合わせを含んでおり、分割ルールを適用するにあたっては、前記記述順の先頭から優先的に適用するので、したがって、さらに実情に即して高精度に最適化された提示単位字幕化を実現可能な自動字幕番組制作システムを得ることができる。
【００３３】
【発明の実施の形態】
以下に、本発明に係る自動字幕番組制作システムの一実施形態について、図に基づいて詳細に説明する。
【００３４】
図１は、本発明に係る自動字幕番組制作システムの機能ブロック構成図、図２は、本発明に係る自動字幕番組制作システムにおける字幕制作フローを、改良された現行字幕制作フローと対比して示した説明図、図３は、単位字幕文を提示単位字幕文毎に分割する際に適用される分割ルールの説明に供する図、図４乃至図５は、アナウンス音声に対する字幕送出タイミングの同期検出技術に係る説明に供する図である。
【００３５】
既述したように、現在放送中の字幕番組のなかで、予めアナウンス原稿が作成され、その原稿がほとんど修正されることなく実際の放送字幕となっていると推測される番組がいくつかある。例えば、「生きもの地球紀行」という字幕付き情報番組を実際に調べて見ると、アナウンス音声と字幕内容はほぼ共通であり、ほぼ共通の原稿をアナウンス用と字幕用の両方に利用していると推測出来る。
【００３６】
そこで、本発明者らは、このようにアナウンス音声と字幕の内容が極めて類似し、アナウンス用と字幕用の両方に共通の原稿を利用しており、その原稿が電子化されている番組を想定したとき、本発明で提案するアナウンス音声と字幕文テキストの同期検出技術、及び日本語の特徴解析手法を用いたテキスト分割技術等を適用することにより、素材ＶＴＲから再生されたアナウンスの進行と同期して、提示単位字幕文の作成、及びその始点／終点の各々に対応するタイミング情報の付与を自動化し、これをもって、字幕番組の制作を人手を介することなく自動化できる自動字幕番組制作システムを想到するに至ったのである。
【００３７】
さて、本実施形態の説明に先立って、以下の説明で使用する用語の定義付けを行うと、本実施形態の説明において、提示対象となる字幕の全体集合を「字幕文テキスト」と言い、字幕文テキストのうち、句読点で区切られた文章単位の部分集合を「単位字幕文」と言い、ディスプレイの表示画面上における提示単位字幕の全体集合を「提示単位字幕群」と言い、提示単位字幕群のうち、任意の一行の字幕を「提示単位字幕文」と言い、提示単位字幕文のうちの任意の文字を表現するとき、これを「字幕文字」と言うことにする。
【００３８】
まず、本発明に係る自動字幕番組制作システム１１の概略構成について、図１を参照して説明する。
【００３９】
同図に示すように、自動字幕番組制作システム１１は、電子化原稿記録媒体１３と、同期検出手段として機能する同期検出装置１５と、統合化装置１７と、形態素解析部１９と、分割ルール記憶部２１と、番組素材ＶＴＲ例えばディジタル・ビデオ・テープ・レコーダ（以下、「Ｄ−ＶＴＲ」と言う）２３と、を含んで構成されている。
【００４０】
電子化原稿記録媒体１３は、例えばハードディスク記憶装置やフロッピーディスク装置等より構成され、提示対象となる字幕の全体集合を表す字幕文テキストを記憶している。なお、本実施形態では、ほぼ共通の電子化原稿をアナウンス用と字幕用の双方に利用する形態を想定しているので、電子化原稿記録媒体１３に記憶される字幕文テキストの内容は、提示対象字幕とするばかりでなく、素材ＶＴＲのアナウンス音声とも一致しているものとする。
【００４１】
同期検出装置１５は、提示単位字幕文と、これを読み上げたアナウンス音声との間における時間同期を補助する機能等を有している。さらに詳しく述べると、同期検出装置１５は、統合化装置１７で確定された提示単位字幕配列が送られてくる毎に、この提示単位字幕配列の妥当性を検証する妥当性検証機能と、妥当性検証機能を発揮することで得られた検証結果が不当であるとき、この検証結果を統合化装置１７宛に返答する検証結果返答機能と、妥当性検証機能を発揮することで得られた検証結果が妥当であるとき、番組素材ＶＴＲから取り込んだこの提示単位字幕配列に対応するアナウンス音声及びそのタイムコードを参照して、該当する提示単位字幕文毎のタイミング情報、すなわち始点／終点タイムコードを検出し、検出した各始点／終点タイムコードを統合化装置１７宛に送出するタイミング情報検出機能と、を有している。
【００４２】
統合化装置１７は、電子化原稿記録媒体１３から読み出した字幕文テキストのなかから、例えば４０〜５０字幕文字程度を目安とした単位字幕文を順次抽出する単位字幕文抽出機能と、単位字幕文抽出機能を発揮することで抽出した単位字幕文を、所望の提示形式に従う提示単位字幕文に変換する提示単位字幕化機能と、提示単位字幕化機能を発揮することで変換された提示単位字幕文に対し、同期検出装置１５から送出されてきた提示単位字幕文毎のタイミング情報である始点／終点の各タイムコードを付与するタイミング情報付与機能と、を有している。
【００４３】
形態素解析部１９は、漢字かな交じり文で表記されている単位字幕文を対象として、形態素毎に分割する分割機能と、分割機能を発揮することで分割された各形態素毎に、表現形、品詞、読み、標準表現などの付加情報を付与する付加情報付与機能と、各形態素を文節や節単位にグループ化し、いくつかの情報素列を得る情報素列取得機能と、を有している。これにより、単位字幕文は、表面素列、記号素列（品詞列）、標準素列、及び情報素列として表現される。
【００４４】
分割ルール記憶部２１は、図３に示すように、単位字幕文を対象とした改行・改頁箇所の最適化を行う際に参照される分割ルールを記憶する機能を有している。
【００４５】
Ｄ−ＶＴＲ２３は、番組素材が収録されている番組素材ＶＴＲテープから、映像、音声、及びそれらのタイムコードを再生出力する機能を有している。
【００４６】
次に、自動字幕番組制作システム１１において主要な役割を果たす統合化装置１７の内部構成について説明していく。
【００４７】
統合化装置１７は、単位字幕文抽出手段として機能する単位字幕文抽出部３３と、提示単位字幕化手段として機能する提示単位字幕化部３５と、タイミング情報付与手段として機能するタイミング情報付与部３７と、を含んで構成されている。
【００４８】
単位字幕文抽出部３３は、電子化原稿記録媒体１３から読み出した、単位字幕文が提示時間順に配列された字幕文テキストのなかから、４０〜５０字幕文字程度を目安として、少なくとも提示単位字幕文よりも多い文字数を呈する提示対象となる単位字幕文を、必要に応じその区切り可能箇所情報等を活用して提示時間順に順次抽出する機能を有している。なお、区切り可能箇所情報としては、形態素解析部１９で得られた文節データ付き形態素解析データ、及び分割ルール記憶部２１に記憶されている分割ルール（改行・改頁データ）を例示することができる。
【００４９】
提示単位字幕化部３５は、単位字幕文抽出部３３で抽出した単位字幕文、単位字幕文に付加されている区切り可能箇所情報、及び同期検出装置１５からの情報等に基づいて、単位字幕文抽出部３３で抽出した単位字幕文を、所望の提示形式に従う少なくとも１以上の提示単位字幕文に変換する提示単位字幕化機能を有している。
【００５０】
タイミング情報付与部３７は、提示単位字幕化部３５で変換された提示単位字幕文に対し、同期検出装置１５から送出されてきた提示単位字幕文毎のタイミング情報である始点／終点の各タイムコードを付与するタイミング情報付与機能を有している。
【００５１】
次に、本自動字幕番組制作システム１１の動作について、図２の右側に示す字幕制作フローに従って、図２の左側に示す改良された現行字幕制作フローと対比しつつ説明する。
【００５２】
本発明に係る字幕制作フローの説明に先立って、まず、図２の左側に示す改良された現行字幕制作フローについて再度説明する。
【００５３】
ステップＳ１１１において、字幕番組制作者は、音声チャンネルにタイムコードを記録した番組テープと、番組台本との２つの字幕原稿作成素材を放送局から受け取る。なお、図中において「タイムコード」を「ＴＣ」と略記する場合があることを付言しておく。
【００５４】
ステップＳ１１３において、キャプションオペレータは、ＶＴＲの別の音声チャンネル（セリフをＬｃｈとするとＲｃｈ）にタイムコードを記録した番組テープを再生し、セリフの開始点でマウスのボタンをクリックすることでその点の音声チャンネルから始点タイムコードを取り出して記録する。さらに、セリフを聴取して要約電子データとして入力するとともに、字幕原稿作成要領に基づいて行う区切り箇所に対応するセリフ点で再びマウスのボタンをクリックすることでその点の音声チャンネルから終点タイムコードを取り出して記録する。これらの操作を番組終了まで繰り返して、番組全体の字幕を電子化する。
【００５５】
ステップＳ１１７において、ステップＳ１０５で作成された電子化字幕を、担当の字幕制作責任者、及びキャプションオペレータの二者立ち会いのもとで試写・修正を行い、完成字幕とする。
【００５６】
上述の改良された現行字幕制作フローでは、キャプションオペレータは、タイムコードをＶＴＲの別の音声チャンネルに記録した番組テープのみを使用して、セリフの要約と電子データ化を行うとともに、提示単位に分割した字幕の始点／終点にそれぞれ対応するセリフのタイミングでマウスボタンをクリックすることにより、音声チャンネルの各タイムコードを取り出して記録するものであり、かなり省力化された効果的な字幕制作を実現している。
【００５７】
ところが、本発明に係る字幕制作フローでは、上述の改良された現行字幕制作フローと比較して、さらなる省力化が図られている。
【００５８】
すなわち、ステップＳ１において、単位字幕文抽出部３３は、電子化原稿記録媒体１３から読み出した字幕文テキストのなかから、４０〜５０文字程度を目安として、少なくとも提示単位字幕文よりも多い文字数を呈する単位字幕文を、その区切り可能箇所情報等を活用して順次抽出する。なお、制作する字幕は、通常一行当たり１５文字を限度として、二行の提示単位字幕群を順次入換えていく字幕提示形式が採用されるので、文頭から４０〜５０字幕文字程度で、句点や読点を目安にして単位字幕文を抽出する。（これは１５文字の処理量をも考慮している。）。
【００５９】
ステップＳ２乃至Ｓ５において、提示単位字幕化部３５は、単位字幕文抽出部３３で抽出した単位字幕文、及び単位字幕文に付加された区切り可能箇所情報等に基づいて、単位字幕文抽出部３３で抽出した単位字幕文を、所望の提示形式に従う少なくとも１以上の提示単位字幕文に変換する。
【００６０】
具体的には、単位字幕文抽出部３３で抽出した単位字幕文を、上述した字幕提示形式に従い、例えば、一行当たり１３字幕文字で、二行の提示単位字幕群となる提示単位字幕配列案を作成する（ステップＳ２）。他方、単位字幕文抽出部３３で抽出した単位字幕文を対象とした形態素解析を行い、形態素解析データを得る（ステップＳ３）。この形態素解析データには文節を表すデータも付属している。そして、上記の如く作成した提示単位字幕配列案に対し、形態素解析データを参照して、提示単位字幕配列案の改行・改頁点を最適化し（ステップＳ４）、最初の単位字幕文に関する提示単位字幕配列を確定する（ステップＳ５）。これにより、実情に即して高精度に最適化された提示単位字幕化を実現することができる。
【００６１】
なお、ステップＳ４において提示単位字幕配列案を最適化するあたっては、別途用意した分割ルール（改行・改頁データ）も併せて適用する。具体的には、図３に示すように、分割ルール（改行・改頁データ）で定義される改行・改頁推奨箇所は、第１に句点の後ろ、第２に読点の後ろ、第３に文節と文節の間、第４に形態素品詞の間、を含んでおり、分割ルール（改行・改頁データ）を適用するにあたっては、上述した記述順の先頭から優先的に適用する。このようにすれば、さらに実情に即して高精度に最適化された提示単位字幕化を実現することができる。特に、第４の形態素品詞の間を分割ルール（改行・改頁データ）として適用するにあたっては、図３の図表には、自然感のある改行・改頁を行った際における、直前の形態素品詞とその頻度例が示されているが、図３の図表のうち頻度の高い形態素品詞の直後で改行・改頁を行うようにすればよい。このようにすれば、より一層実情に即して高精度に最適化された提示単位字幕化を実現することができる。
【００６２】
ステップＳ６乃至Ｓ７において、タイミング情報付与部３７は、提示単位字幕化部３５で変換された提示単位字幕文に対し、同期検出装置１５から送出されてきた提示単位字幕文毎のタイミング情報である始点／終点の各タイムコードを付与する。
【００６３】
具体的には、統合化装置１７は、ステップＳ５で確定した提示単位字幕文を同期検出装置１５に与える一方、番組素材ＶＴＲからアナウンス音声及びそのタイムコードを取り込む（ステップＳ６）同期検出装置１７は、ステップＳ５で確定した提示単位字幕配列、すなわち提示単位字幕文に対応するアナウンス音声中に例えば２秒以上等の所定時間を超える無音区間、すなわちポーズの存在有無を調査し（ステップＳ７）、この調査の結果、アナウンス音声中にポーズ有りを検出したときには、該当する提示単位字幕文は不当であるとみなして、ステップＳ５の提示単位字幕配列確定処理に戻り、このポーズ以前に対応する単位字幕文のなかから、提示単位字幕配列を再変換する。一方、同期検出装置１５は、上記調査の結果、所定時間を超えるポーズ無しを検出したときには、該当する提示単位字幕文は妥当であるとみなして、その始点／終点タイムコードを検出し（ステップＳ７）、検出した各始点／終点タイムコードを該当する提示単位字幕文に付与して（ステップＳ８）、最初の単位字幕文に関する提示単位字幕文の作成処理を終了する。
【００６４】
ここで、ステップＳ７において提示単位字幕文に対応するアナウンス音声中のポーズの有無を調査する趣旨は、提示単位字幕文中に所定時間を超えるポーズが存在するということは、この提示単位字幕文は、時間的に離れており、また、少なくとも複数の相異なる場面に対応する字幕文を含んで構成されているおそれがあり、これらの字幕文を一つの提示単位字幕文とみなしたのでは好ましくないおそれがあるからである。これにより、ステップＳ５で一旦確定された提示単位字幕文の妥当性を、対応するアナウンス音声の観点から再検証可能となる結果として、好ましい提示単位字幕文の変換確定に多大な貢献を果たすことができる。
【００６５】
なお、ステップＳ７における提示単位字幕文に付与する始点／終点タイムコードの同期検出は、本発明者らが研究開発したアナウンス音声を対象とした音声認識処理を含むアナウンス音声と字幕文テキスト間の同期検出技術を適用することで高精度に実現可能である。
【００６６】
すなわち、字幕送出タイミング検出の流れは、図４に示すように、まず、かな漢字交じり文で表記されている字幕文テキストを、音声合成などで用いられている読み付け技術を用いて発音記号列に変換する。この変換には、「日本語読み付けシステム」を用いる。次に、あらかじめ学習しておいた音響モデル（ＨＭＭ：隠れマルコフモデル）を参照し、「音声モデル合成システム」によりこれらの発音記号列をワード列ペアモデルと呼ぶ音声モデル（ＨＭＭ）に変換する。そして、「最尤照合システム」を用いてワード列ペアモデルにアナウンス音声を通して比較照合を行うことにより、字幕送出タイミングの同期検出を行う。
【００６７】
字幕送出タイミング検出の用途に用いるアルゴリズム(ワード列ペアモデル)は、キーワードスポッティングの手法を採用している。キーワードスポッティングの手法として、フォワード・バックワードアルゴリズムにより単語の事後確率を求め、その単語尤度のローカルピークを検出する方法が提案されている。ワード列ペアモデルは、図５に示すように、これを応用して字幕と音声を同期させたい点、すなわち同期点の前後でワード列１ (Keywords1)とワード列２ (Keywords2)とを連結したモデルになっており、ワード列の中点（Ｂ）で尤度を観測してそのローカルピークを検出し、ワード列２の発話開始時間を高精度に求めることを目的としている。ワード列は、音素ＨＭＭの連結により構成され、ガーベジ (Garbage)部分は全音素ＨＭＭの並列な枝として構成されている。また、アナウンサが原稿を読む場合、内容が理解しやすいように息継ぎの位置を任意に定めることから、ワード列１，２間にポーズ (Pause)を挿入している。なお、ポーズ時間の検出に関しては、素材ＶＴＲから音声とそのタイムコードが供給され、その音声レベルが指定レベル以下で連続する開始、終了タイムコードから、周知の技術で容易に達成できる。
【００６８】
そして、第一頁目に関する字幕作成が終了すると、続いて第一頁目の次からの字幕文を抽出して第二頁目の字幕化に進み、同様の処理により当該番組の全字幕化を行う。
【００６９】
上述した字幕制作フローにおける処理は、図２の左側に示すステップＳ１１３の要約原稿・電子データ作成処理に相当するものであり、この処理手法を用いて制作した電子化字幕は、その後の試写・修正プロセスにおける人手を介してのチェックと修正を行なって完成字幕とすることを前提としている。つまり、電子化原稿とアナウンス音声との間で差異がある場合等には、この試写・修正プロセスでチェックと修正を行なうことで自動化できない部分を補完することで、より完成度の高い電子化字幕を得ることができる。
【００７０】
以上詳細に説明したように、本発明に係る自動字幕番組制作システム１１によれば、単位字幕文が提示時間順に配列された字幕文テキストのなかから、提示対象となる単位字幕文を提示時間順に順次抽出し、抽出された単位字幕文を、所望の字幕提示形式に従う少なくとも１以上の提示単位字幕文に変換する一方、この変換で得られた提示単位字幕文毎に、該当する始点／終点タイミング情報を同期点として検出するが、この同期点検出にあたり、当該提示単位字幕文に対応するアナウンス音声と提示単位字幕文間の音声認識処理を含む同期検出技術を適用することにより、該当する始点／終点タイミング情報を同期点として検出し、この検出した始点／終点タイミング情報を、前記変換で得られた提示単位字幕文毎に付与するので、したがって、素材ＶＴＲのアナウンス音声の進行と同期して、提示単位字幕文の作成、及びその始点／終点の各々に対応する高精度のタイミング情報付与の自動化を実現することができる。
【００７１】
なお、本発明は、上述した実施形態の例に限定されることなく、請求の範囲内において適宜の変更を加えることにより、その他の態様で実施可能であることは言うまでもない。
【００７２】
【発明の効果】
以上詳細に説明したように、請求項１の発明によれば、アナウンス音声の進行と同期して、提示単位字幕文の作成、及びその始点／終点の各々に対応する高精度のタイミング情報付与の自動化を実現可能な自動字幕番組制作システムを得ることができる。
【００７３】
また、提示単位字幕文が一旦得られた場合であっても、その妥当性検証結果を提示単位字幕文変換工程にフィードバック可能となる結果として、好ましい提示単位字幕文の変換に寄与することができる。
【００７４】
また、請求項２の発明によれば、提示単位字幕文中に所定時間を超えるポーズが存在するということは、この提示単位字幕文は、少なくとも時間的にも内容的にも相異なる字幕文を含んで構成されているおそれがあり、これらの字幕文を一つの提示単位字幕文とみなしたのでは好ましくないおそれがあるのに対し、一旦得られた提示単位字幕文の妥当性を、対応するアナウンス音声の観点から再検証可能となる結果として、好ましい提示単位字幕文の変換に多大な貢献を果たすことができる。
【００７５】
また、請求項３の発明によれば、単位字幕文を制限字幕文字数を含む字幕提示形式に従う提示単位字幕文に変換するにあたり、区切り可能箇所情報を適用することで、見やすく読みやすい最適な提示単位字幕化を実現することができる。
【００７６】
しかも、請求項４の発明によれば、実情に即して高精度に最適化された提示単位字幕化を実現可能な自動字幕番組制作システムを得ることができる。
【００７７】
そして、請求項５の発明によれば、さらに実情に即して高精度に最適化された提示単位字幕化を実現可能な自動字幕番組制作システムを得ることができるというきわめて優れた効果を奏する。
【図面の簡単な説明】
【図１】図１は、本発明に係る自動字幕番組制作システムの機能ブロック構成図である。
【図２】図２は、本発明に係る自動字幕番組制作システムにおける字幕制作フローを、改良された現行字幕制作フローと対比して示した説明図である。
【図３】図３は、単位字幕文を提示単位字幕文毎に分割する際に適用される分割ルールの説明に供する図である。
【図４】図４は、アナウンス音声に対する字幕送出タイミングの同期検出技術に係る説明に供する図である。
【図５】図５は、アナウンス音声に対する字幕送出タイミングの同期検出技術に係る説明に供する図である。
【図６】図６は、現行字幕制作フロー、及び改良された現行字幕制作フローに係る説明図である。
【符号の説明】
１１自動字幕番組制作システム
１３電子化原稿記録媒体
１５同期検出装置（同期検出手段）
１７統合化装置
１９形態素解析部
２１分割ルール記憶部
２３ディジタル・ビデオ・テープ・レコーダ（Ｄ−ＶＴＲ）
３３単位字幕文抽出部（単位字幕文抽出手段）
３５提示単位字幕化部（提示単位字幕化手段）
３７タイミング情報付与部（タイミング情報付与手段）

Claims

少なくとも映像及び音声並びにこれらの提示タイミング情報を含んだ番組素材に対し、それに関連した字幕番組を制作する自動字幕番組制作システムであって、
単位字幕文が提示時間順に配列された字幕文テキストのなかから、提示対象となる単位字幕文を提示時間順に抽出する単位字幕文抽出手段と、
当該単位字幕文抽出手段で抽出された単位字幕文を、所望の字幕提示形式に従う少なくとも１以上の提示単位字幕文に変換する提示単位字幕化手段と、
当該提示単位字幕化手段で得られた提示単位字幕文毎に、当該提示単位字幕文に対応するアナウンス音声と提示単位字幕文間の音声認識処理を含む同期検出技術を適用することにより、該当する始点／終点タイミング情報を同期点として検出する同期検出手段と、
当該同期検出手段で検出した始点／終点タイミング情報を、前記提示単位字幕化手段で得られた提示単位字幕文毎に付与するタイミング情報付与手段と、
を備え、
前記同期検出手段は、
前記提示単位字幕化手段で提示単位字幕文が得られる毎に、当該提示単位字幕文の妥当性を検証する妥当性検証機能と、当該妥当性検証機能を発揮することで得られた検証結果が不当であるとき、この検証結果を前記提示単位字幕化手段宛に返答する検証結果返答機能と、を有して構成され、
前記提示単位字幕化手段は、前記同期検出手段から当該提示単位字幕文が不当である旨の返答を受けたとき、前記単位字幕文抽出手段で抽出された単位字幕文のなかから、所望の字幕提示形式に従う少なくとも１以上の提示単位字幕文を再変換することを特徴とする自動字幕番組制作システム。
請求項１に記載の自動字幕番組制作システムであって、
前記同期検出手段は、
前記提示単位字幕化手段で得られた提示単位字幕文の妥当性を検証するにあたり、当該提示単位字幕文に対応するアナウンス音声中に所定時間を超えるポーズの存在有無を調査し、当該調査の結果、アナウンス音声中に所定時間を超えるポーズ有りを検出したときには、該当する提示単位字幕文は不当であるとみなす一方、アナウンス音声中に所定時間を超えるポーズ無しを検出したときには、該当する提示単位字幕文は妥当であるとみなすようにして、該当する提示単位字幕文の妥当性を検証することを特徴とする自動字幕番組制作システム。
請求項１または２に記載の自動字幕番組制作システムであって、
前記提示単位字幕化手段は、
前記単位字幕文抽出手段で抽出された単位字幕文を、制限字幕文字数を含む字幕提示形式に従う少なくとも１以上の提示単位字幕文に変換するにあたり、
前記制限字幕文字数を含む字幕提示形式を参照して、提示単位字幕配列案を作成し、
前記単位字幕文に付加されている区切り可能箇所情報を参照して、前記作成された提示単位字幕配列案を最適化することで提示単位字幕配列を確定することにより、前記単位字幕文を少なくとも１以上の各提示単位字幕文に分割するようにして、前記単位字幕文を、前記字幕提示形式に従う提示単位字幕文に変換することを特徴とする自動字幕番組制作システム。
請求項３に記載の自動字幕番組制作システムであって、
前記提示単位字幕化手段は、
前記区切り可能箇所情報を参照して、前記作成された提示単位字幕配列案を最適化するにあたり、
前記区切り可能箇所情報は、前記単位字幕文に対して形態素解析を施すことで得られる形態素解析データと、前記単位字幕文に対する改行・改頁推奨箇所に係る分割ルールと、のうちいずれか１又は両者を含んで構成されており、
前記形態素解析データ及び／又は分割ルールを参照して、前記作成された提示単位字幕配列案を最適化することを特徴とする自動字幕番組制作システム。
請求項４に記載の自動字幕番組制作システムであって、
前記分割ルールで定義される改行・改頁推奨箇所は、
句点の後ろ、読点の後ろ、文節と文節の間、形態素品詞の間、のうちいずれか１又は複数の組み合わせを含んでおり、
当該分割ルールを適用するにあたっては、前記記述順の先頭から優先的に適用することを特徴とする自動字幕番組制作システム。