JP4140745B2

JP4140745B2 - 字幕へのタイミング情報付与方法

Info

Publication number: JP4140745B2
Application number: JP13475599A
Authority: JP
Inventors: 英治沢村; 隆雄門馬; 孝博福島; 一郎丸山; 暉将江原; 克彦白井
Original assignee: Mitsubishi Electric Corp; NEC Corp; National Institute of Information and Communications Technology; NHK Engineering Services Inc; Japan Broadcasting Corp
Current assignee: Mitsubishi Electric Corp; NEC Corp; National Institute of Information and Communications Technology; Japan Broadcasting Corp; NHK Engineering System Inc
Priority date: 1999-05-14
Filing date: 1999-05-14
Publication date: 2008-08-27
Anticipated expiration: 2019-05-14
Also published as: JP2000324395A

Description

【０００１】
【発明の属する技術分野】
本発明は、ほぼ共通の電子化原稿をアナウンス用と字幕用の双方に利用する形態を想定して字幕番組を制作する字幕番組制作システムに適用される字幕へのタイミング情報付与方法に係り、特に、文頭などの各所に字幕の提示に関するタイミング情報が付与された字幕の基となる字幕文テキストを、所定の提示形式に従う適切箇所で分割後の提示単位字幕の各々に対し、その分割箇所に対応した高精度のタイミング情報を自動的に付与し得る字幕へのタイミング情報付与方法に関する。
【０００２】
【従来の技術】
現代は高度情報化社会と一般に言われているが、聴覚障害者は健常者と比較して情報の入手が困難な状況下におかれている。
【０００３】
すなわち、例えば、情報メディアとして広く普及しているＴＶ放送番組を例示して、日本国内の全ＴＶ放送番組に対する字幕番組の割合に言及すると、欧米では３３〜７０％に達しているのに対し、わずか１０％程度ときわめて低くおかれているのが現状である。
【０００４】
【発明が解決しようとする課題】
さて、日本国内の全ＴＶ放送番組に対する字幕番組の割合が欧米と比較して低くおかれている要因としては、主として字幕番組制作技術の未整備を挙げることができる。具体的には、日本語特有の問題も有り、字幕番組制作工程のほとんどが手作業によっており、多大な労力・時間・費用を要するためである。
【０００５】
そこで、本発明者らは、字幕番組制作技術の整備を妨げている原因究明を企図して、現行の字幕番組制作の実体調査を行った。
【０００６】
図８の左側には、現在一般に行われている字幕番組制作フローを示してある。ステップＳ１０１において、字幕番組制作者は、タイムコードを映像にスーパーした番組データと、タイムコードを音声チャンネルに記録した番組テープと、番組台本との３つの字幕原稿作成素材を放送局から受け取る。なお、図中において「タイムコード」を「ＴＣ」と略記する場合があることを付言しておく。
【０００７】
ステップＳ１０３において、放送関係経験者等の専門家は、ステップＳ１０１で受け取った字幕原稿作成素材を基に、（１）番組アナウンスの要約書き起こし、（２）別途規定された字幕提示の基準となる原稿作成要領に従う字幕提示イメージ化、（３）その開始・終了タイムコード記入、の各作業を順次行ない、字幕原稿を作成する。
【０００８】
ステップＳ１０５において、入力オペレータは、ステップＳ１０３で作成された字幕原稿をもとに電子化字幕を作成する。
【０００９】
ステップＳ１０７において、ステップＳ１０５で作成された電子化字幕を、担当の字幕制作責任者、原稿作成者、及び入力オペレータの三者立ち会いのもとで試写・修正を行い、完成字幕とする。
【００１０】
ところで、最近では、番組アナウンスの要約書き起こしと字幕の電子化双方に通じたキャプションオペレータと呼ばれる人材を養成することで、図８の右側に示す改良された現行字幕制作フローも一部実施されている。
【００１１】
すなわち、ステップＳ１１１において、字幕番組制作者は、タイムコードを音声チャンネルに記録した番組テープと、番組台本との２つの字幕原稿作成素材を放送局から受け取る。
【００１２】
ステップＳ１１３において、キャプションオペレータは、タイムコードを音声チャンネルに記録した番組テープを再生し、セリフの開始点でマウスのボタンをクリックすることでその点の音声チャンネルから始点タイムコードを取り出して記録する。さらに、セリフを聴取して要約電子データとして入力するとともに、字幕原稿作成要領に基づく区切り箇所に対応するセリフ点で再びマウスのボタンをクリックすることでその点の音声チャンネルから終点タイムコードを取り出して記録する。これらの操作を番組終了まで繰り返して、番組全体の字幕を電子化する。
【００１３】
ステップＳ１１７において、ステップＳ１０５で作成された電子化字幕を、担当の字幕制作責任者、及びキャプションオペレータの二者立ち会いのもとで試写・修正を行い、完成字幕とする。
【００１４】
後者の改良された現行字幕制作フローでは、キャプションオペレータは、タイムコードを音声チャンネルに記録した番組テープのみを使用して、セリフの要約と電子データ化を行うとともに、提示単位に分割した字幕の始点／終点にそれぞれ対応するセリフのタイミングでマウスボタンをクリックすることにより、音声チャンネルの各タイムコードを取り出して記録するものであり、かなり省力化された効果的な字幕制作フローといえる。
【００１５】
さて、上述した現行字幕制作フローにおける一連の処理の流れの中で特に多大な工数を要するのは、ステップＳ１０３乃至Ｓ１０５又はステップＳ１１３の、（１）番組アナウンスの要約書き起こし、（２）字幕提示イメージ化、（３）その開始・終了タイムコード記入、の各作業工程であり、これらの作業工程は熟練者の知識・経験に負うところが大きい。
【００１６】
しかし、現在放送中の字幕番組のなかで、予めアナウンス原稿が作成され、その原稿がほとんど修正されることなく実際の放送字幕となっていると推測される番組がいくつかある。例えば、「生きもの地球紀行」という字幕付き情報番組を実際に調べて見ると、アナウンス音声と字幕内容はほとんど共通であり、共通の原稿をアナウンス用と字幕用の双方に利用しているものと推測出来る。
【００１７】
このようにアナウンス音声と字幕内容が極めて類似し、アナウンス用と字幕用の双方にほぼ共通の原稿を利用しており、その原稿が電子化されている番組を想定した場合、（１）の番組アナウンスの要約書き起こし作業はほとんど必要ないことになる。この場合、残る作業は、（２）の字幕提示イメージ化、及び（３）の開始・終了タイムコード記入、の各作業工程である。そこで、本発明者らは、これら各作業工程の簡略化を企図して鋭意研究を進めた結果、（３）の開始・終了タイムコード記入の工程を、人手を介することなく自動化できる新規な技術を想到するに至ったのである。
【００１８】
本発明は、上述した実情に鑑みてなされたものであり、文頭などの各所に字幕の提示に関するタイミング情報が付与された字幕の基となる字幕文テキストを、所定の提示形式に従う適切箇所で分割後の提示単位字幕の各々に対し、その分割箇所に対応した高精度のタイミング情報を自動的に付与し得る字幕へのタイミング情報付与方法を提供することを課題とする。
【００１９】
【課題を解決するための手段】
上記課題を解決するために、請求項１の発明は、字幕番組を制作するにあたり、少なくとも字幕の基となる字幕文テキストを、所定の提示形式に従う適切箇所で分割後の提示単位字幕の各々に対し、その分割箇所に対応したタイミング情報を付与する際に用いられる字幕へのタイミング情報付与方法であって、前記所定の提示形式に従う適切箇所で分割前の字幕文テキストの各所に対し、基準となるタイミング情報を付与しておき、前記字幕文テキストを前記適切箇所で分割していくことで提示単位字幕化を行い、前記基準となるタイミング情報と、各提示単位字幕が呈する文字種及び文字数又は発音記号列を含む文字情報と、に基づいて、前記適切箇所で分割後の各提示単位字幕の始点／終点のうち少なくともいずれか一方に付与するタイミング情報を類推演算し、前記字幕文テキストを前記適切箇所で分割後の各提示単位字幕の各々に対し、前記類推演算したタイミング情報を自動的に付与することを要旨とする。
【００２０】
請求項１の発明によれば、所定の提示形式に従う適切箇所で分割前の字幕文テキストの各所に対し、基準となるタイミング情報を付与しておき、字幕文テキストを前記適切箇所で分割していくことで提示単位字幕化を行い、前記基準となるタイミング情報と、各提示単位字幕が呈する文字種及び文字数又は発音記号列を含む文字情報と、に基づいて、前記適切箇所で分割後の各提示単位字幕の始点／終点のうち少なくともいずれか一方に付与するタイミング情報を類推演算し、字幕文テキストを前記適切箇所で分割後の各提示単位字幕の各々に対し、前記類推演算したタイミング情報を自動的に付与するので、したがって、字幕文テキストを所定の提示形式に従う適切箇所で分割後の提示単位字幕の各々に対し、その分割箇所に対応した高精度のタイミング情報を自動的に付与可能な字幕へのタイミング情報付与方法を得ることができる。
【００２１】
また、請求項２の発明は、請求項１に記載の字幕へのタイミング情報付与方法であって、前記適切箇所で分割後の各提示単位字幕の始点／終点のうち少なくともいずれか一方に付与するタイミング情報を類推演算するにあたり、前記基準となるタイミング情報と、前記各提示単位字幕が呈する文字種及び文字数を含む文字情報と、に基づいて、漢字・アラビア数字・英字を含むその他の文字の読み時間を、ひらがな又はカタカナを含む文字の読み時間に対し、統計的な調査から得られる所定倍率に時間換算することで、前記適切箇所で分割後の各提示単位字幕の始点／終点のうち少なくともいずれか一方に付与するタイミング情報を類推演算することを要旨とする。
【００２２】
請求項２の発明によれば、適切箇所で分割後の各提示単位字幕の始点／終点のうち少なくともいずれか一方に付与するタイミング情報を類推演算するにあたり、前記基準となるタイミング情報と、前記各提示単位字幕が呈する文字種及び文字数を含む文字情報と、に基づいて、漢字・アラビア数字・英字を含むその他の文字の読み時間を、ひらがな又はカタカナを含む文字の読み時間に対し、統計的な調査から得られる所定倍率に時間換算することで、前記適切箇所で分割後の各提示単位字幕の始点／終点のうち少なくともいずれか一方に付与するタイミング情報を類推演算するので、したがって、全字幕文字を対象とした複雑かつ一定の処理時間を要する同期検出技術の適用を要しない結果として、字幕の提示に関する即時性の良好な維持を期待することができる。
【００２３】
さらに、請求項３の発明は、請求項２に記載の字幕へのタイミング情報付与方法であって、前記統計的な調査から得られる所定倍率は、約１．８６倍であることを要旨とする。
【００２４】
請求項３の発明によれば、前記統計的な調査から得られる所定倍率は、例えば約１．８６倍に設定することができる。
【００２５】
一方、請求項４の発明は、請求項１に記載の字幕へのタイミング情報付与方法であって、前記適切箇所で分割後の各提示単位字幕の始点／終点のうち少なくともいずれか一方に付与するタイミング情報を類推演算するにあたり、前記基準となるタイミング情報と、各提示単位字幕が呈する発音記号列を含む文字情報と、に基づいて、各発音記号の音素にそれぞれ対応する読み時間を統計的手法を用いてテーブル化した音素時間表を参照しながら、各提示単位字幕に含まれる発音記号列びの各音素時間を積算することで、前記適切箇所で分割後の各提示単位字幕の始点／終点のうち少なくともいずれか一方に付与するタイミング情報を類推演算することを要旨とする。
【００２６】
請求項４の発明によれば、適切箇所で分割後の各提示単位字幕の始点／終点のうち少なくともいずれか一方に付与するタイミング情報を類推演算するにあたり、前記基準となるタイミング情報と、各提示単位字幕が呈する発音記号列を含む文字情報と、に基づいて、各発音記号の音素にそれぞれ対応する読み時間を統計的手法を用いてテーブル化した音素時間表を参照しながら、各提示単位字幕に含まれる発音記号列びの各音素時間を積算することで、前記適切箇所で分割後の各提示単位字幕の始点／終点のうち少なくともいずれか一方に付与するタイミング情報を類推演算するので、したがって、請求項２の発明と同様に、全字幕文字を対象とした複雑かつ一定の処理時間を要する同期検出技術の適用を要しない結果として、字幕の提示に関する即時性の良好な維持を期待することができる。
【００２７】
そして、請求項５の発明は、請求項２乃至４のうちいずれか一項に記載の字幕へのタイミング情報付与方法であって、前記タイミング情報は、時間比率の手法を用いて類推演算されることを要旨とする。
【００２８】
請求項５の発明によれば、前記タイミング情報は、時間比率の手法を用いて類推演算されるので、したがって、簡便な手法をもって比較的高精度のタイミング情報の類推演算を実現することができる。
【００２９】
【発明の実施の形態】
以下に、本発明に係る字幕へのタイミング情報付与方法の一実施形態について、図に基づいて詳細に説明する。
【００３０】
図１は、本発明に係る字幕へのタイミング情報付与方法を具現化する自動字幕番組制作システムの機能ブロック構成図、図２は、実際のＴＶニュース文を対象とした平均読み数の調査結果を表す図、図３は、文字種に着目したタイミング情報付与方法における時間誤差の試算結果を表す図、図４は、本発明の説明に供する分割字幕文を表す図、図５は、発音記号列に着目したタイミング情報付与方法において利用する音素時間表の一例を表す図、図６乃至図７は、アナウンス音声に対する字幕送出タイミングの同期検出技術に係る説明に供する図である。
【００３１】
なお、本発明の実施形態で採用する所定の提示形式として、１行当たりの制限文字数Ｎを１５文字とし、２行からなる提示単位字幕を一括総入れ換えする提示形式を例示して、以下の説明を進めることにする。
【００３２】
既述したように、現在放送中の字幕番組のなかで、予めアナウンス原稿が作成され、その原稿がほとんど修正されることなく実際の放送字幕となっていると推測される番組がいくつかある。例えば、「生きもの地球紀行」という字幕付き情報番組を実際に調べて見ると、アナウンス音声と字幕内容はほぼ共通であり、ほぼ共通の原稿をアナウンス用と字幕用の両方に利用していると推測出来る。
【００３３】
そこで、本発明者らは、このようにアナウンス音声と字幕の内容が極めて類似し、アナウンス用と字幕用の両方に共通の原稿を利用しており、その原稿が電子化されている番組を想定したとき、少なくとも文頭などに字幕の提示に関するタイミング情報が各所に付与された字幕の基となる字幕文テキストを、所定の提示形式に従う適切箇所で分割後の提示単位字幕の各々に対し、その分割箇所に対応した高精度のタイミング情報を自動的に付与し得る字幕へのタイミング情報付与方法を想到するに至ったのである。
【００３４】
ここで、本発明を想到するに至った背景について述べると、より読みやすく、理解しやすい字幕の観点から字幕文テキストの分割問題を考える場合、当然ながら読みやすく、理解しやすい字幕とはどのようなものかが問題となる。この問題に対する定量的に明確な回答は未だ見出せていないが、しかし、実験字幕番組の制作や字幕評価実験などの貴重な経験を通して、定性的ながら考慮すべき要素が明らかになりつつある。
【００３５】
字幕の読み易さ、理解し易さの観点からは、一般にある程度以上の文字数が同時的に提示され、この提示が所要時間継続しているのが良いといわれるが、文字数や提示継続時間は、提示する字幕がどのように読まれるかと大きく関わる。
【００３６】
例えば聴覚障害者が字幕付テレビ番組を見る場合を想定すると、視覚を介して、映像情報と音声情報とを交互に見ることになるので、本来字幕は間欠的にしか見ることが出来ない。そのため、音声情報をより読みやすく、理解しやすい字幕として提示することで、字幕を見ている割合を出来るだけ少なくして、その分だけ映像を多く見られるようにするのが望ましい。
【００３７】
この場合の字幕の見方は、字幕の提示形式にも依存するが、例えば２行の提示単位字幕を一括入れ換えする提示形式を例示し、提示される全字幕の捕捉を試みた場合、一般的には、基準となる字幕文字（例えば、音声アナウンスの進行に対応する文字）を中心として、先読み、後読みもしくはその両方を行うことになる。
【００３８】
先読み、後読みもしくはその両方を行うことになる要因としては、映像の注視又はまばたきや脇見などを含む字幕から目を離している見逃し動作時間が存在するからであり、１回当たりの見逃し動作時間の長さは、経験的には０．５〜２秒間程度であると思われる。
【００３９】
ここで、字幕の提示速度を２００字／分と想定すると、その最大時間である２秒間は約７文字に相当し、このことから、１回の見逃し動作で７文字分の字幕文字を見逃すおそれがあることがわかる。
【００４０】
このことから、基準となる字幕文字を中心に連続した１４文字が最低限の提示単位として必要であり、再び字幕に注視点が戻って字幕を読み取り、認識する分を前後各５〜７文字とすると、内容の連続した２４〜２９文字程度の字幕を同時に画面提示するのが望ましいことがわかる。ちなみに現行の字幕放送では一行１５文字で二行提示が多く、最大３０文字程度まで提示されている。
【００４１】
また、上記の分析結果に従い、字幕が提示されてから実際に読まれるまで最悪２秒間程度必要なものと仮定すると、文字数が７文字以下の字幕を文字数相当の時間のみ提示した場合には、この提示字幕が全く読まれないおそれがある。例えば日本語の特質上、否定文では否定語が文末におかれるので、この否定語部分が上記の状態に該当するような分割はきわめて悪い影響をもたらす可能性があり、このような分割は可及的に回避する必要がある。
【００４２】
その対策として、少ない文字数への分割をしない、又は少ない文字数では提示時間を長くする、などの手法を適用するのが望ましい。
【００４３】
次の問題は、例えば文間の無音区間、つまりポーズの取り扱いである。字幕文中に長いポーズが存在する場合には、このポーズの前後は相互に異なる内容に関わる字幕文である可能性が高いことから、そのポーズにまたがるような字幕提示は好ましくない。逆に極めて短いポーズが存在する場合には、このポーズの前後は相互に共通の内容に関わる字幕文である可能性が高いことから、むしろ連続した字幕文として取り扱う方が好ましい。このことから、ポーズ時間の長さを考慮した字幕文の分割手法を適用するのが望ましい。
【００４４】
さらに、ひとかたまりの文字群は可能な限り分割せず、同一行に提示するのが望ましい。この例として、通常の単語のみならず、連続する漢字、カタカナ、アラビア数字、英字などがあり、（xxx）や「xxx」などと表わさるルビ、略称に対する正式呼称、注釈などもこの範疇として取り扱う。
【００４５】
このように、より読みやすく、理解しやすい字幕を得ることを目的として字幕文テキストを分割するにあたっては、上述した要素を充分考慮する必要がある。ところが、この字幕文テキストの分割に伴い、適切箇所で分割後の提示単位字幕の各々に対し、その分割箇所に対応したタイミング情報を付与しなければならないといった新たな課題を生ずる。
【００４６】
そこで、本発明は、本発明で提案するアナウンス音声と字幕文テキストの同期検出技術、及び日本語の読み及びその発音に関する統計的特徴解析手法等を適用することにより、所定の提示形式に従って適切箇所で分割された提示単位字幕の各々に対し、その分割箇所に対応した高精度のタイミング情報の自動付与を実現するようにしている。
【００４７】
さて、本実施形態の説明に先立って、以下の説明で使用する用語の定義付けを行うと、本実施形態の説明において、提示対象となる字幕文の全体集合を「字幕文テキスト」と言い、字幕文テキストのうち、適宜の句点で区切られたひとかたまりの字幕文の部分集合を「単位字幕文」と言い、ディスプレイの表示画面上において提示単位となる字幕を「提示単位字幕」と言い、提示単位字幕に含まれる各行の個々の字幕を表現するとき、これを「提示単位字幕行」と言い、提示単位字幕行のうちの任意の文字を表現するとき、これを「字幕文字」と言うことにする。なお、表示画面上に単独行の提示単位字幕を提示するとき、「提示単位字幕」と「提示単位字幕行」とは同義となるため、この場合、「提示単位字幕行」の表現はあえて使用しないことととする。
【００４８】
まず、本発明に係る字幕へのタイミング情報付与方法を具現化する自動字幕番組制作システム１１の概略構成について、図１を参照して説明する。
【００４９】
同図に示すように、自動字幕番組制作システム１１は、電子化原稿記録媒体１３と、同期検出装置１５と、統合化装置１７と、形態素解析部１９と、分割ルール記憶部２１と、番組素材ＶＴＲ例えばディジタル・ビデオ・テープ・レコーダ（以下、「Ｄ−ＶＴＲ」と言う）２３と、を含んで構成されている。
【００５０】
電子化原稿記録媒体１３は、例えばハードディスク記憶装置やフロッピーディスク装置等より構成され、提示対象となる字幕の全体集合を表す字幕文テキストを記憶している。なお、本実施形態では、ほぼ共通の電子化原稿をアナウンス用と字幕用の双方に利用する形態を想定しているので、電子化原稿記録媒体１３に記憶される字幕文テキストの内容は、提示対象字幕と一致するばかりでなく、素材ＶＴＲに収録されたアナウンス音声とも一致しているものとする。
【００５１】
同期検出装置１５は、同期検出点付字幕文と、これを読み上げたアナウンス音声との間における時間同期を検出する機能等を有している。さらに詳しく述べると、同期検出装置１５は、統合化装置１７で付与した同期検出点付字幕文が送られてくると、この字幕文に関し、番組素材ＶＴＲから取り込んだこの字幕文に対応するアナウンス音声及びそのタイムコードを参照して、指定された同期検出点のタイミング情報、すなわちタイムコードを検出するとともに、このアナウンス音声に含まれるポーズ点を検出し、検出したタイムコードやポーズ点を統合化装置１７宛に送出する機能を有している。
【００５２】
なお、上述したタイミング情報としてのタイムコードの同期検出は、本発明者らが研究開発したアナウンス音声を対象とした音声認識処理を含むアナウンス音声と字幕文テキスト間の同期検出技術を適用することで高精度に実現可能である。
【００５３】
すなわち、字幕送出タイミング検出の流れは、図６に示すように、まず、かな漢字交じり文で表記されている字幕文テキストを、音声合成などで用いられている読付け技術を用いて発音記号列に変換する。この変換には、「日本語読付けシステム」を用いる。次に、あらかじめ学習しておいた音響モデル（ＨＭＭ：隠れマルコフモデル）を参照し、「音声モデル合成システム」によりこれらの発音記号列をワード列ペアモデルと呼ぶ音声モデル（ＨＭＭ）に変換する。そして、「最尤照合システム」を用いてワード列ペアモデルにアナウンス音声を通して比較照合を行うことにより、字幕送出タイミングの同期検出を行う。
【００５４】
字幕送出タイミング検出の用途に用いるアルゴリズム(ワード列ペアモデル)は、キーワードスポッティングの手法を採用している。キーワードスポッティングの手法として、フォワード・バックワードアルゴリズムにより単語の事後確率を求め、その単語尤度のローカルピークを検出する方法が提案されている。ワード列ペアモデルは、図７に示すように、これを応用して字幕と音声を同期させたい点、すなわち同期点の前後でワード列１ (Keywords1)とワード列２ (Keywords2)とを連結したモデルになっており、ワード列の中点（Ｂ）で尤度を観測してそのローカルピークを検出し、ワード列２の発話開始時間を高精度に求めることを目的としている。ワード列は、音素ＨＭＭの連結により構成され、ガーベジ (Garbage)部分は全音素ＨＭＭの並列な枝として構成されている。また、アナウンサが原稿を読む場合、内容が理解しやすいように息継ぎの位置を任意に定めることから、ワード列１，２間にポーズ (Pause)を挿入している。なお、ポーズ時間の検出に関しては、素材ＶＴＲから音声とそのタイムコードが供給され、その音声レベルが指定レベル以下で連続する開始、終了タイムコードから、周知の技術で容易に達成できる。
【００５５】
統合化装置１７は、電子化原稿記録媒体１３から読み出した字幕文テキストのうち、文頭を起点とした所要文字数範囲を目安とした単位字幕文を順次抽出する単位字幕文抽出機能と、単位字幕文抽出機能を発揮することで抽出した単位字幕文を、所望の提示形式に従う提示単位字幕に変換する提示単位字幕化機能と、提示単位字幕化機能を発揮することで変換された提示単位字幕に対し、同期検出装置１５から送出されてきたタイムコード及びポーズ点を利用してタイミング情報を付与するタイミング情報付与機能と、を有している。
【００５６】
形態素解析部１９は、漢字かな交じり文で表記されている単位字幕文を対象として、形態素毎に分割する分割機能と、分割機能を発揮することで分割された各形態素毎に、表現形、品詞、読み、標準表現などの付加情報を付与する付加情報付与機能と、各形態素を文節や節単位にグループ化し、いくつかの情報素列を得る情報素列取得機能と、を有している。これにより、単位字幕文は、表面素列、記号素列（品詞列）、標準素列、及び情報素列として表現される。
【００５７】
分割ルール記憶部２１は、単位字幕文を対象とした改行・改頁箇所の最適化を行う際に参照される分割ルールを記憶する機能を有している。
【００５８】
Ｄ−ＶＴＲ２３は、番組素材が収録されている番組素材ＶＴＲテープから、映像、音声、及びそれらのタイムコードを再生出力する機能を有している。
【００５９】
次に、自動字幕番組制作システム１１において主要な役割を果たす統合化装置１７の内部構成について説明していく。
【００６０】
統合化装置１７は、単位字幕文抽出部３３と、提示単位字幕化部３５と、タイミング情報付与部３７と、を含んで構成されている。
【００６１】
単位字幕文抽出部３３は、電子化原稿記録媒体１３から読み出した、単位字幕文が提示時間順に配列された字幕文テキストのなかから、例えば７０〜９０字幕文字程度を目安とし、付加した区切り可能箇所情報等を活用するなどして処理単位とするテキスト文を順次抽出する機能を有している。なお、区切り可能箇所情報としては、形態素解析部１９で得られた文節データ付き形態素解析データ、及び分割ルール記憶部２１に記憶されている分割ルール（改行・改頁データ）を利用することもできる。ここで、上述した分割ルール（改行・改頁データ）について述べると、分割ルール（改行・改頁データ）で定義される改行・改頁推奨箇所は、第１に句点の後ろ、第２に読点の後ろ、第３に文節と文節の間、第４に形態素品詞の間、を含んでおり、分割ルール（改行・改頁データ）を適用するにあたっては、上述した記述順の先頭から優先的に適用するのが好ましい。
【００６２】
提示単位字幕化部３５は、単位字幕文抽出部３３で抽出した単位字幕文、単位字幕文に付加した区切り可能箇所情報、及び同期検出装置１５からの情報等に基づいて、単位字幕文抽出部３３で抽出した単位字幕文を、所望の提示形式に従う少なくとも１以上の提示単位字幕に変換する提示単位字幕化機能を有している。
【００６３】
タイミング情報付与部３７は、提示単位字幕化部３５で変換された提示単位字幕に対し、同期検出装置１５から送出されてきたタイムコード及びポーズ点を利用し、後述のタイミング内挿手法を用いてタイミング情報を付与するタイミング情報付与機能を有している。
【００６４】
次に、本発明に係る字幕へのタイミング情報付与方法について、図２乃至図５を参照しつつ説明する。
【００６５】
既述したように、アナウンス音声に対応する字幕に関するタイミング情報の同期検出は、本発明者らが研究開発したアナウンス音声を対象とした音声認識処理を含むアナウンス音声と字幕文テキスト間の同期検出技術を適用することで高精度に実現可能であるが、この同期検出処理はかなり複雑であり、一定の処理時間を要するために、各提示単位字幕の全ての始点／終点タイムコードを対象として同期検出技術を適用したのでは、同期検出点が過多となり、字幕の提示に関する即時性が損なわれてしまうおそれがある。
【００６６】
ここで、字幕へのタイミング情報付与時期に着目して字幕へのタイミング情報付与方法を分析すると、分割後の字幕に基づくタイミング情報付与形態と、分割前の字幕に基づくタイミング情報付与形態と、に大別することができる。
【００６７】
分割後の字幕に基づくタイミング情報付与形態では、付与対象となる字幕が確定しているので、その始点／終点においてアナウンス音声と字幕文テキスト間を比較することで同期検出を行い、始点／終点毎のタイミング情報を各々付与すればよい。
【００６８】
この形態は、字幕に対して直接的にタイミング情報を割り付け付与することから最も確実でその同期精度も高い反面、同一の字幕文テキストを基に種々の提示形式に従う字幕を制作する場合であっても、各提示形式毎に複雑かつ一定の処理時間を要する同期検出を行わなければならない結果として、字幕の提示に関する即時性が損なわれてしまうおそれがあるといった課題を内在している。
【００６９】
これに対し、分割前の字幕に基づくタイミング情報付与形態は、同一の字幕文テキストから種々の提示形式に従う字幕を制作する場合にも適したものである。この場合、まず、分割前の字幕文テキストに対し、例えば文頭などの各所に適当な間隔をおいて、同期検出技術を適用することで基準となるタイミング情報を付与しておき、その後、字幕文テキストを所定の提示形式に従う適切箇所で分割していくことで提示単位字幕化を行い、基準となるタイミング情報と、提示単位字幕が呈する文字種及び文字数、又は発音記号列などを含む文字情報と、に基づいて、後述する内挿法を適用することで類推演算したタイミング情報を、各提示単位字幕の始点／終点のうち少なくともいずれか一方に付与するといった手順を踏むので、各提示単位字幕の全ての始点／終点を対象とした複雑かつ一定の処理時間を要する同期検出技術の適用を要しない結果として、字幕の提示に関する即時性の良好な維持を期待することができる。
【００７０】
ここで、分割前の字幕に基づくタイミング情報内挿付与形態は、さらに、文字種に着目したタイミング情報付与方法と、発音記号列に着目したタイミング情報付与方法と、に大別することができる。なお、以下の説明において、文字種に着目したタイミング情報付与方法を第１のタイミング情報付与方法と呼ぶ一方、発音記号列に着目したタイミング情報付与方法を第２のタイミング情報付与方法と呼ぶ場合があることを付言しておく。
【００７１】
第１のタイミング情報付与方法では、提示単位字幕が呈する文字情報として文字種及び文字数を利用し、タイミング情報を類推演算するにあたっては、漢字・アラビア数字・英字などを含むその他の文字の読み時間を、ひらがな又はカタカナを含む文字の読み時間に対し、例えば図２に示すように、実際のＴＶニュース文に含まれるこれら文字種の発音数を対象とした統計的な調査から得られる、約１．８６倍などの所定倍率に時間換算し、ひらがな又はカタカナが呈する読み時間と、その他の文字が呈する読み時間換算値と、の積算値、及び基準となるタイミング情報に基づいて、字幕に付与するタイミング情報を類推演算する。そして、この類推演算結果をタイミング情報として、分割後の提示単位字幕に内挿付与するのである。
【００７２】
第１のタイミング情報付与方法について、図４に示すニュース文を例示してさらに詳しく述べると、分割字幕文１の文頭「ｔ」と、分割字幕文２の文末「ａ」と、に予め基準となるタイミング情報が付与されており、それぞれのタイミング情報をＴＢ，ＴＥと想定した場合において、分割字幕文２の文頭「ｉ」のタイミング情報ＴＭは、下記の手順によって類推演算する。
【００７３】
まず、分割字幕文１に含まれるひらがな又はカタカナの文字数は１２、その他の漢字等の文字数は７であり、また、分割字幕文２に含まれるひらがな又はカタカナの文字数は１１、その他の漢字等の文字数は３である。ひらがな又はカタカナの読み時間を「１」と想定したとき、分割字幕文１，２の総読み時間ＴＲ１，ＴＲ２は次式１，２により求められる。
【００７４】
ＴＲ１＝（１２＊１）＋（７＊１．８６）＝２５ …（式１）
ＴＲ２＝（１１＊１）＋（３＊１．８６）＝１６．６ …（式２）
この計算結果である分割字幕文１，２の各総読み時間ＴＲ１，ＴＲ２を活用して、分割字幕文１，２間の分割点である分割字幕文２の文頭「ｉ」のタイミング情報ＴＭを、時間比率の手法を用いて次式３によって類推演算する。
【００７５】
ＴＭ＝ＴＢ＋（ＴＥ−ＴＢ）＊ＴＲ１／（ＴＲ１＋ＴＲ２）
＝ＴＢ＋（ＴＥ−ＴＢ）＊０．６ …（式３）
このようにして、分割字幕文２の文頭「ｉ」のタイミング情報ＴＭを類推演算することができ、この類推演算結果ＴＭをタイミング情報として、分割字幕文２の文頭「ｉ」に付与するのである。なお、分割字幕文２の文頭「ｉ」のタイミング情報ＴＭは、分割字幕文１の文末「ｅ」のタイミング情報として取り扱うこともできる。
【００７６】
ここで、統計的手法によって求めた所定文字種の平均読み数を利用した第１のタイミング情報付与方法では、漢字・アラビア数字・英字を含むその他の文字の多少にかかわらず、どの字幕文に対しても例えば約１．８６倍等の同一の倍率を適用する結果として、必然的に時間誤差を生ずるおそれがある。そこで、第１のタイミング情報付与方法における時間誤差が与える影響について考察してみる。
【００７７】
まず、前提として、字幕の基となる字幕文テキストには、３０文字毎の間隔をおいて同期検出技術を用いて検出した正確なタイミング情報が付与され、また、一行１５文字の二行提示単位字幕とし、前頁二行目開始点と、着目している現頁一行目終了点と、の各々には正確なタイミング情報が付与されているものとし、さらに、平均読み数の標準値を１．８６２と想定する。そして、上述した前提下において、平均読み数が上記標準値とは異なる場合の着目している現頁一行目における開始点に該当するタイミング情報が呈する時間誤差を試算した。この時間誤差の試算結果を図３に示している。図３において、前頁二行目は全て漢字、現頁一行目は全てひらがなとし、字幕速度が５，６，７文字／秒の場合をそれぞれ示した。
【００７８】
同図に示すように、この試算での最大時間誤差は０．１６２秒（遅れ）であるが、本発明者らが別途研究している字幕提示タイミングにおける時間誤差の許容範囲に関する評価実験結果から、概ね±１．０秒程度の時間誤差は許容範囲にあるとみなすことができるので、したがって、上述した統計的手法によって求めた文字種の平均読み数を利用した第１のタイミング情報付与方法は、簡便ながらかなり実用的な手法であると言うことができる。
【００７９】
次に、発音記号列に着目した第２のタイミング情報付与方法では、提示単位字幕が呈する文字情報として、各提示単位字幕に含まれる発音記号列を利用して、各発音記号の音素にそれぞれ対応する読み時間を統計的手法を用いてテーブル化した例えば図５に示すような音素時間表を参照しながら、字幕に付与するタイミング情報を類推演算し、この類推演算結果をタイミング情報として、分割後の提示単位字幕に付与するのである。
【００８０】
第２のタイミング情報付与方法について、図４に示すニュース文を例示してさらに詳しく述べると、分割字幕文１の文頭「ｔ」と、分割字幕文２の文末「ａ」と、に予め基準となるタイミング情報が付与されており、それぞれのタイミング情報をＴＢ，ＴＥと想定した場合において、分割字幕文２の文頭「ｉ」のタイミング情報ＴＭは、下記の手順によって類推演算する。なお、図４における日本語読付け結果は、「，」で区切られた発音記号列であり、各発音記号で表示される「ｔ」，「ａ」，「ｉ」…などがそれぞれ音素である。この音素については、音声データベースの解析から得た図５に示す音素時間表を予め用意されているので、日本語読付け結果である音素の列びと、その音素に対応する読み時間である音素時間と、に基づいて、分割字幕文２の文頭「ｉ」のタイミング情報ＴＭを次述の内挿法を用いて類推演算することができる。
【００８１】
すなわち、分割字幕文１，２の各々に対応する読付け１，２の音素列びから得られる総読み時間ＴＲ３，ＴＲ４は次式４，５により求められる。
【００８２】
ＴＲ３＝Ｔｔ＋Ｔａ＋Ｔｉ＋…＋Ｔｉ＋Ｔｔ＋Ｔｅ …（式４）
ＴＲ４＝Ｔｉ＋Ｔｋ＋Ｔｅ＋…＋Ｔｉ＋Ｔｔ＋Ｔａ …（式５）
ここで、例えば、「Ｔｔ」とは、図５に示す音素時間表における音素「ｔ」に対応する読み時間５．６２７３１６であり、また、「Ｔａ」とは、音素時間表における音素「ａ」に対応する読み時間７．１３０９４１であり、以下同様に、各音素に対応する読み時間を音素時間表から取り出すことができる。
【００８３】
この積算結果である分割字幕文１，２の各々に対応する読付け１，２の音素列びから得られる総読み時間ＴＲ３，ＴＲ４を活用して、分割字幕文１，２間の分割点である分割字幕文２の文頭「ｉ」のタイミング情報ＴＭを、時間比率の手法を用いて次式６によって類推演算する。
【００８４】
ＴＭ＝ＴＢ＋（ＴＥ−ＴＢ）＊ＴＲ１／（ＴＲ１＋ＴＲ２） …（式６）
このようにして、分割字幕文２の文頭「ｉ」のタイミング情報ＴＭを類推演算することができ、この類推演算結果ＴＭをタイミング情報として、分割字幕文２の文頭「ｉ」に内挿付与するのである。なお、分割字幕文２の文頭「ｉ」のタイミング情報ＴＭは、分割字幕文１の文末「ｅ」のタイミング情報として取り扱うこともできる。
【００８５】
ここで、第２のタイミング情報付与方法によって付与したタイミング情報の時間誤差を簡単な実験により試算したところ、０．４秒程度に収束することが確認されており、本第２のタイミング情報付与方法は、概ね±１．０秒程度の時間誤差は許容範囲にあるとの評価実験結果を鑑みて、前述の文字種に着目した第１のタイミング情報付与方法と同様に、かなり実用的で有効な手法であると言うことができる。
【００８６】
このように、本発明に係る字幕へのタイミング情報付与方法によれば、本発明で提案するアナウンス音声と字幕文テキストの同期検出技術、及び日本語の読み及びその発音に関する統計的特徴解析手法等を適用することにより、所定の提示形式に従って適切箇所で分割後の提示単位字幕の各々に対し、その分割箇所に対応した高精度のタイミング情報の自動付与を実現することができる。
【００８７】
なお、本発明は、上述した実施形態の例に限定されることなく、請求の範囲内において適宜の変更を加えることにより、その他の態様で実施可能であることは言うまでもない。
【００８８】
【発明の効果】
以上詳細に説明したように、請求項１の発明によれば、字幕文テキストを所定の提示形式に従う適切箇所で分割後の提示単位字幕の各々に対し、その分割箇所に対応した高精度のタイミング情報を自動的に付与可能な字幕へのタイミング情報付与方法を得ることができる。
【００８９】
また、請求項２の発明によれば、全字幕文字を対象とした複雑かつ一定の処理時間を要する同期検出技術の適用を要しない結果として、字幕の提示に関する即時性の良好な維持を期待することができる。
【００９０】
一方、請求項４の発明によれば、請求項２の発明と同様に、全字幕文字を対象とした複雑かつ一定の処理時間を要する同期検出技術の適用を要しない結果として、字幕の提示に関する即時性の良好な維持を期待することができる。
【００９１】
そして、請求項５の発明によれば、簡便な手法をもって比較的高精度のタイミング情報の類推演算を実現することができるといったきわめて優れた効果を奏する。
【図面の簡単な説明】
【図１】図１は、本発明に係る字幕へのタイミング情報付与方法を具現化する自動字幕番組制作システムの機能ブロック構成図である。
【図２】図２は、実際のＴＶニュース文を対象とした平均読み数の調査結果を表す図である。
【図３】図３は、文字種に着目したタイミング情報付与方法における時間誤差の試算結果を表す図である。
【図４】図４は、本発明の説明に供する分割字幕文を表す図である。
【図５】図５は、発音記号列に着目したタイミング情報付与方法において利用する音素時間表の一例を表す図である。
【図６】図６は、アナウンス音声に対する字幕送出タイミングの同期検出技術に係る説明に供する図である。
【図７】図７は、アナウンス音声に対する字幕送出タイミングの同期検出技術に係る説明に供する図である。
【図８】図８は、現行字幕制作フロー、及び改良された現行字幕制作フローに係る説明図である。
【符号の説明】
１１自動字幕番組制作システム
１３電子化原稿記録媒体
１５同期検出装置
１７統合化装置
１９形態素解析部
２１分割ルール記憶部
２３ディジタル・ビデオ・テープ・レコーダ（Ｄ−ＶＴＲ）
３３単位字幕文抽出部
３５提示単位字幕化部
３７タイミング情報付与部

Claims

字幕番組を制作するにあたり、少なくとも字幕の基となる字幕文テキストを、所定の提示形式に従う適切箇所で分割後の提示単位字幕の各々に対し、その分割箇所に対応したタイミング情報を付与する際に用いられる字幕へのタイミング情報付与方法であって、
前記所定の提示形式に従う適切箇所で分割前の字幕文テキストの各所に対し、基準となるタイミング情報を付与しておき、
前記字幕文テキストを前記適切箇所で分割していくことで提示単位字幕化を行い、
前記基準となるタイミング情報と、各提示単位字幕が呈する文字種及び文字数又は発音記号列を含む文字情報と、に基づいて、前記適切箇所で分割後の各提示単位字幕の始点／終点のうち少なくともいずれか一方に付与するタイミング情報を類推演算し、
前記字幕文テキストを前記適切箇所で分割後の各提示単位字幕の各々に対し、前記類推演算したタイミング情報を自動的に付与することを特徴とする字幕へのタイミング情報付与方法。
請求項１に記載の字幕へのタイミング情報付与方法であって、
前記適切箇所で分割後の各提示単位字幕の始点／終点のうち少なくともいずれか一方に付与するタイミング情報を類推演算するにあたり、
前記基準となるタイミング情報と、前記各提示単位字幕が呈する文字種及び文字数を含む文字情報と、に基づいて、漢字・アラビア数字・英字を含むその他の文字の読み時間を、ひらがな又はカタカナを含む文字の読み時間に対し、統計的な調査から得られる所定倍率に時間換算することで、前記適切箇所で分割後の各提示単位字幕の始点／終点のうち少なくともいずれか一方に付与するタイミング情報を類推演算することを特徴とする字幕へのタイミング情報付与方法。
請求項２に記載の字幕へのタイミング情報付与方法であって、
前記統計的な調査から得られる所定倍率は、約１．８６倍であることを特徴とする字幕へのタイミング情報付与方法。
請求項１に記載の字幕へのタイミング情報付与方法であって、
前記適切箇所で分割後の各提示単位字幕の始点／終点のうち少なくともいずれか一方に付与するタイミング情報を類推演算するにあたり、
前記基準となるタイミング情報と、各提示単位字幕が呈する発音記号列を含む文字情報と、に基づいて、各発音記号の音素にそれぞれ対応する読み時間を統計的手法を用いてテーブル化した音素時間表を参照しながら、各提示単位字幕に含まれる発音記号列びの各音素時間を積算することで、前記適切箇所で分割後の各提示単位字幕の始点／終点のうち少なくともいずれか一方に付与するタイミング情報を類推演算することを特徴とする字幕へのタイミング情報付与方法。
請求項２乃至４のうちいずれか一項に記載の字幕へのタイミング情報付与方法であって、
前記タイミング情報は、時間比率の手法を用いて類推演算されることを特徴とする字幕へのタイミング情報付与方法。