JP4538618B2

JP4538618B2 - 字幕番組制作システムにおける表示単位字幕文の自動生成方法

Info

Publication number: JP4538618B2
Application number: JP2001148422A
Authority: JP
Inventors: 隆雄門馬; 英治沢村; 暉将江原; 克彦白井
Original assignee: National Institute of Information and Communications Technology; NHK Engineering Services Inc; Japan Broadcasting Corp
Current assignee: National Institute of Information and Communications Technology; Japan Broadcasting Corp; NHK Engineering System Inc
Priority date: 2001-05-17
Filing date: 2001-05-17
Publication date: 2010-09-08
Anticipated expiration: 2021-05-17
Also published as: JP2002342311A

Description

【０００１】
【発明の属する技術分野】
本発明は、ほぼ共通の電子化原稿をアナウンス用と字幕用の双方に利用する形態を想定して字幕番組を制作する字幕番組制作システムに適用される表示単位字幕文の自動生成方法に関する。
【０００２】
【従来の技術】
現代は高度情報化社会と一般に言われているが、聴覚障害者は健常者と比較して情報の入手が困難な状況下におかれている。即ち、例えば、情報メディアとして広く普及しているＴＶ放送番組を例示すると、ＴＶ放送番組に対する字幕番組の割合は、欧米では３３〜７０％に達しているのに対し、我が国ではわずか１０％程度と極めて低くおかれているのが現状である。
【０００３】
このように、我が国で全ＴＶ放送番組に対する字幕番組の割合が欧米と比較して低くおかれている要因としては、主として字幕番組制作技術の未整備を挙げることが出来る。具体的には、日本語特有の問題もあり、字幕番組制作工程の殆どが手作業によっており、多大な労力・時間・費用を要するためである。
【０００４】
そこで、本発明者らは、字幕番組制作技術の整備を妨げている原因究明を企図して、現行の字幕番組制作の実態調査を行った。図１０の左側には、現在一般に行われている字幕番組制作フローを示してある。図１０の右側には、改良された現行字幕制作フローを示してある。
【０００５】
図８の左側において、ステップＳ１０１では、字幕番組制作者が、タイムコードを映像にスーパーした番組データと、タイムコードを音声チャンネルに記録した番組テープと、番組台本との３つの字幕原稿作成素材を放送局から受け取る。なお、図中において「タイムコード」を「ＴＣ」と略記する場合があることを付言しておく。
【０００６】
ステップＳ１０３では、放送関係経験者等の専門家が、ステップＳ１０１で受け取った字幕原稿作成素材を基に、（１）番組アナウンスの要約書き起こし、（２）別途規定された字幕提示の基準となる原稿作成要領に従う字幕提示イメージ化、（３）その開始・終了タイムコード記入、の各作業を順次行い、字幕原稿を作成する。
【０００７】
ステップＳ１０５では、入力オペレータが、ステップＳ１０３で作成された字幕原稿をもとに電子化字幕を作成する。ステップＳ１０７では、ステップＳ１０５で作成された電子化字幕を、担当の字幕制作費任者、原稿作成者、及び入力オペレータの三者立ち会いのもとで試写・修正を行い、完成字幕とする。
【０００８】
ところで、最近では、番組アナウンスの要約書き起こしと字幕の電子化双方に通じたキャプションオペレータと呼ばれる人材を養成することで、図１０の右側に示す改良された現行字幕制作フローも一部実施されている。
【０００９】
即ち、ステップＳ１１１では、字幕番組制作者が、タイムコードを音声チャンネルに記録した番組テープと、番組台本との２つの字幕原稿作成素材を放送局から受け取る。
【００１０】
ステップＳ１１３では、キャプションオペレータが、タイムコードを音声チャンネルに記録した番組テープを再生する。このとき、セリフの開始点でマウスのボタンをクリックすることでその点の音声チャンネルから始点タイムコードを取り出して記録する。さらに、セリフを聴取して要約電子データとして入力する。同様に、字幕原稿作成要領に基づく区切り箇所に対応するセリフ点で再びマウスのボタンをクリックすることでその点の音声チャンネルから終点タイムコードを取り出して記録する。これらの操作を番組終了まで繰り返して、番組全体の字幕を電子化する。
【００１１】
ステップＳ１１７では、ステップＳ１０５で作成された電子化字幕を、担当の字幕制作費任者、及びキャプションオペレータの二者立ち会いのもとで試写・修正を行い、完成字幕とする。
【００１２】
後者の改良された現行字幕制作フローでは、キャプションオペレータが、タイムコードを音声チャンネルに記録した番組テープのみを使用して、セリフの要約と電子データ化を行うとともに、提示単位に分割した字幕の始点／終点にそれぞれ対応するセリフのタイミングでマウスボタンをクリックすることにより、音声チャンネルの各タイムコードを取り出して記録するものであり、かなり省力化された効果的な字幕制作フローと言える。
【００１３】
ここで、上述した現行字幕制作フローにおける一連の処理の流れの中で特に多大な工数を要するのは、ステップＳ１０３ないしはＳ１０５またはステップＳ１１３の、（１）番組アナウンスの要約書き起こし、（２）字幕提示イメージ化、（３）その開始・終了タイムコード記入の各作業工程である。これらの作業工程は熟練者の知識・経験に負うところが大きい。
【００１４】
ところが、現在放送中の字幕番組の中で、予めアナウンス原稿が作成され、その原稿が殆ど修正されることなく実際の放送字幕となっていると推測される番組がいくつかある。例えば、「生きもの地球紀行」という字幕付き情報番組を実際に調べて見ると、アナウンス音声と字幕内容は殆ど共通であり、共通の原塙をアナウンス用と字幕用の双方に利用しているものと推測出来る。
【００１５】
そこで、本発明者らは、ほぼ共通の電子化原稿をアナウンス用と字幕用の双方に利用する形態を想定して、字幕番組の制作を自動化出来る自動字幕番組制作システムを開発し先に出願した（例えば特開２０００−２７０６２３号公報）。
【００１６】
【発明が解決しようとする課題】
ところで、字幕付きテレビ番組放送の受信者には、字幕が読み易く、理解し易いものであることが重要である。したがって、字幕番組制作における字幕原稿作成では、適切な字幕テキスト、及びその適切な改行・改頁が行われている必要がある。しかし、読み易く、理解し易い字幕とはどのようなものかという問題に関しては、これまで定量的に明確な答えがない。
【００１７】
つまり、従来では、熟練した人が手作業で、多大な時間と労力をかけて、読み易く、理解し易い字幕となるように制作していた。字幕放送では、今後、適用分野・番組数などの拡大が見込まれることを考慮すると、この熟練した人の手作業による形態では、字幕番組制作上大きなネックになるものと考えられる。
【００１８】
本発明は、このような上述した実情に鑑みてなされたものであり、ほぼ共通の電子化原稿をアナウンス用と字幕用の双方に利用する形態を想定して字幕番組を制作する自動字幕番組制作システムにおいて、字幕文が字幕放送の字幕画面に収まり、字幕放送のユーザにとってより読み易い字幕文となるように、字幕文に対する改行・改頁点の適切な挿入を制御し、表示単位字幕文を自動的に生成出来る字幕番組制作における表示単位字幕文の自動生成方法を提供することを目的としている。
【００１９】
【課題を解決するための手段】
上記目的を達成するために、本発明は、入力された字幕テキスト文を形態素・文節解析する形態素・文節解析手段と、形態素・文節解析された字幕テキスト文から表示単位字幕文を自動生成する自動字幕生成手段とを備えたコンピュータにより構成された自動字幕番組制作システムにおける表示単位字幕文の自動生成方法であって、前記自動字幕生成手段は、前記形態素・文節解析手段により形態素・文節解析された字幕テキスト文に対して、字幕画面に１行で記述出来る文字数の上限を越える形態素について１回以上形態素の途中で分割する長大形態素の分割処理を実行し、分割処理がなされた形態素・文節解析テキストにおける文字列中の全ての改行・改頁候補に対し、改行・改頁の位置に応じた優先順位を定めたテーブルに従って優先順位を設定する処理を実行し、読点変換処理と、字幕テキスト文の文字数に対して、１行が最小文字数以上で最大文字数以下となるように分割することで目標行数を概算で求めるとともに、概算設定された目標行数を字幕画面に表示される字幕行数で除算することで目標頁数を概算で求める目標行数・目標頁数の概算設定処理を実行する改行・改頁準備工程と、前記改行・改頁準備工程で得られた字幕テキスト文を字幕画面に表示する単位字幕文の目標行数の偶奇性を調べ、目標行数が偶数行で目標頁数が１頁のときは、字幕の各行が予め定められた最小文字数を下回らず最大文字数を越えない改行・改頁候補を選定し、目標行数が偶数行で目標頁数が２頁以上のときは、各頁における字幕の各行が予め定められた最小文字数を下回らず最大文字数を越えない改行・改頁候補を選定し、目標行数が１行で目標頁数が１頁であるときは、入力された字幕文をそのまま１頁の改頁された結果とし、目標行数が３行以上の奇数行で目標頁数が２頁以上のときは、優先順位が設定された前記改頁・改行候補の中から改頁が可能な改頁候補の中で各頁の文字数が最も平均値に近くなるような改頁位置を選定し、各頁候補においては、前記改行・改頁準備工程で各改行・改頁候補に設定された優先順位の和が最も小さくなるものを選択する改行・改頁実行工程と、を備えることを特徴とする。
【００２０】
この方法によれば、改行・改頁の前処理として、形態素・文節解析された字幕テキスト文について、禁則等処理、長大形態素の分割処理、それらの処理がなされた形態素・文節解析テキストにおける文字列中の全ての改行・改頁候補に優先順位を設定する処理、及び読点変換・頁数設定の処理を行う。次いで、前処理で得られた字幕テキスト文を字幕画面に表示する単位字幕文の目標行数の偶奇性を調べ、偶数ならば目標頁数が１つか２以上かに応じた改行点・改頁候補を選定する。一方、目標行数が奇数の場合には、目標頁数が１つであるときは入力された字幕文をそのまま１頁の改頁された結果とするが、目標頁数が２以上のときはどの候補も改頁が可能な候補順位のものだけから改頁候補を選択し、各頁候補の優先順位の和が最も小さくなるのを選択する。
【００２１】
これにより、字幕文が字幕放送の字幕画面に収まり、字幕放送のユーザにとってより読み易い字幕文となるように、字幕文に対する改行・改頁点が適切に挿入され、表示単位字幕文が自動的に生成される。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。
【００２３】
図１は、本発明に係る字幕番組制作における表示単位字幕文の自動生成方法実施する自動字幕番組制作システムの機能ブロック構成図である。図２は、表示単位字幕文の自動生成を準備する手順を示すフローチャート図である。図３は、改行・改頁候補の順位と字幕用テキスト上の位置との関係図である。図４は、表示単位字幕文の自動生成を行う手順を示すフローチャート図である。図５は、自動生成した単位字幕文の一例を示す図である。図６乃至図７は、アナウンス音声に対する字幕送出タイミングの同期検出技術に係る説明に供する図である。
【００２４】
現在最も多く行われている字幕番組制作形態では、タイムコードを映像にスーパーした番組テープとタイムコードを音声チャンネルに記録した番組テープ及び番組台本を素材とし、それを放送関係で経験のあるＯＢなど専門知識のある人が、（１）番組アナウンスの要約書き起こし、（２）別途定める字幕原稿作成要領に従って字幕表示をイメージ化し、（３）その開始・終了タイムコードを記入する、ことによって字幕原稿を作成する。
【００２５】
次いで、そのようにして作成した字幕原稿を基に、オペレータが電子化した字幕を作成し、担当の字幕制作責任者、原稿作成者及び電子化したオペレータの立ち会いの下で試写・校正を行って完成字幕としている。これらの作業の中でより多くの時間を必要とするのは、（１）の番組アナウンスを聴取して要約し、字幕原稿を作成する点であり、経験者の知識経験に負うところが大きい。
【００２６】
ところで、現在放送中の字幕テレビ番組の中で、予めアナウンス原稿が作成され、その原稿が殆ど修正されることなく実際の放送字幕となっていると推測される番組がいくつかある。例えば、「生きもの地球紀行」という字幕放送の情報番組を実際に調べて見ると、アナウンス音声と字幕内容は殆ど同じであり、同一の原稿をアナウンス用と字幕用の両方に利用していると推測出来る。
【００２７】
このようにアナウンス音声と字幕の内容が極めて類似し、アナウンス用と字幕用の両方に同一の原稿を利用していると推測出来るような字幕テレビ番組で、その原稿が電子化されている番組を想定すると、この種の字幕番組制作では、（１）の作業は殆ど必要がないことになる。残る作業は、（２）の字幕表示のイメージ化と、（３）の開始・終了タイムコードの記入である。本発明では、（２）の字幕表示のイメージ化を目的としている。
【００２８】
即ち、本発明による、字幕番組を自動的に制作するシステムに適用する表示単位字幕文の自動生成方法では、少なくとも字幕の基になる字幕テキスト文を、字幕文の日本語解析データを用いて指定形式の表示単位字幕文化するために、その字幕テキスト文に適切な改行・改頁化を施し、自動分割出来るようにしている。
【００２９】
具体的には、本発明では、日本語形態素解析手法及び日本語の特徴解析手法を活用して設定した字幕テキスト文の改行・改頁ルールを字幕テキスト文分割に適用することにより、字幕テキスト文の表示単位への分割が自動的に行えるようにしている。
【００３０】
ここで、字幕テキスト文を分割する際に考慮すべき事項等について若干の説明を行う。より読み易く、理解し易い字幕の観点から字幕テキスト文の分割問題を考える場合、当然ながら読み易く、理解し易い字幕とはどのようなものかが問題となる。この問題に対する定量的に明確な回答は未だ見出せていない。しかし、これまでの実験字幕番組の制作や字幕評価実験などの貴重な経験を通して、定性的ながら考慮すべき要素が明らかになりつつある。
【００３１】
字幕の読み易さ、理解し易さの観点からは、一般にある程度以上の文字数が同時的に表示され、この表示が所要時間継続しているのが良いと言われるが、文字数や表示継続時間は、表示する字幕がどのように読まれるかと大きく関係している。
【００３２】
例えば、聴覚障害者が字幕付テレビ番組を見る場合を想定すると、視覚を介して、映像情報を見るとともに、字幕化された音声情報も見ることになるので、本来字幕は間欠的にしか見ることが出来ないことになる。そのため、音声情報をより読み易く、理解し易い字幕として表示することで、字幕を見ている割合を出来るだけ少なくして、その分だけ映像が多く見られるようにするのが望ましい。
【００３３】
この場合の字幕の見方は、字幕の表示方法にも依存するが、表示される全字幕をフォローしようとすると、一般には基準となる字幕文字（例えば、音声アナウンスの進行に対応する文字）を中心として、先読み、後読みもしくはその両方を行うことになる。この先読み、後読みの程度は、映像を注視している時間、瞬きや、脇見など、字幕から目を離している時間のフォロー（後読み）や字幕の速読（先読み）と関連し、経験的には０．５秒〜２秒程度であると思われる。
【００３４】
字幕の表示速度が２００字／分であるとすると、その最大時間である２秒間は約７文字に相当する。このことから、１回の見逃し動作で７文字分の字幕文字を見逃すおそれのあることがわかる。したがって、基準となる字幕文字を中心に連続した１４文字が最低限の表示単位として必要である。再び字幕に注視点が戻って字幕を読み取り、認識する分を前後各５〜７文字とすると、内容の連続した２４〜２９文字程度の字幕を同時に画面表示するのが望ましいこととなる。因みに現行の字幕放送では、１行１５文字で二行表示が多く、最大３０文字程度まで表示されている。
【００３５】
また、上記の分析結果に従い、字幕が表示されてから実際に読まれるまで最悪２秒間程度必要なものと仮定すると、文字数が７文字以下の字幕を文字数相当の時間のみ表示する場合は、この表示字幕が全く読まれないおそれがある。例えば日本語の特質上、否定文では否定語が文末におかれるので、この否定語部分が上記の状態に該当するような分割は極めて悪い影響をもたらす可能性があり、このような分割は避ける必要がある。その対策として、少ない文字数への分割はしない、または少ない文字数では表示時間を長くするなどの手法を適用する。
【００３６】
次の問題は、例えば文間の無音区間、つまりポーズの取り扱いである。字幕テキスト文中に長いポーズが存在する場合には、このポーズの前後は相互に異なる内容に関わる字幕テキスト文である可能性が高いことから、そのポーズに跨るような字幕表示は好ましくない。逆に極めて短いポーズが存在する場合には、このポーズの前後は相互に共通の内容に関わる字幕テキスト文である可能性が高いことから、むしろ連続した字幕テキスト文として取り扱う方が好ましい。このことから、ポーズ時間の長さを考慮した字幕テキスト文の分割手法を適用する。
【００３７】
さらに、一塊りの文字群は可能な限り分割せず、同一行に表示するのが望ましい。この例として、通常の単語のみならず、連続する漢字、カタカナ、アラビア数字、英字などがあり、（xxx）や「xxx」などと表されるルビ、略称に対する正式呼称、注釈などもこの範疇として取り扱う。
【００３８】
字幕テキスト文の分割に当たってっては、上述の事項を充分考慮する必要がある。本発明では、これらの各事項を取り込むとともに、日本語の特徴を統計的に設定した分割ルール（改行・改頁ルール）を適用することで、理想的とも言える字幕テキスト文の分割を実現するようにしている。
【００３９】
さて、具体的な字幕制作の説明に先立って、その説明で使用する用語の定義付けを行う。即ち、表示対象となる字幕文の全体集合を「字幕テキスト文」と言う。字幕テキスト文のうち、適宜の句点で区切られた一塊りの字幕テキスト文の部分集合を「単位字幕テキスト文」と言う。ディスプレイの表示画面上において表示単位となる字幕を「表示単位字幕」と言う。表示単位字幕に含まれる各行の個々の字幕を「表示単位字幕行」と言い、表示単位字幕行のうちの任意の文字を表現するとき、これを「字幕テキスト文字」と言うことにする。なお、表示画面上に単独の表示単位字幕行を表示するとき、「表示単位字幕」と「表示単位字幕行」とは同義となるため、この場合、「表示単位字幕行」の表現はあえて使用しないこととする。
【００４０】
図１に示すように、自動字幕番組制作システム１１は、電子化原稿記録媒体１３と、同期検出装置１５と、統合化装置１７と、形態素解析部１９と、分割ルール記憶部２１と、番組素材ＶＴＲ例えばディジタル・ビデオ・テープ・レコーダ（以下、「Ｄ−ＶＴＲ」と言う）２３とを含んで構成されている。
【００４１】
電子化原稿記録媒体１３は、例えばハードディスク記憶装置やフロッピーディスク装置等より構成され、表示対象となる字幕の全体集合を表す字幕テキスト文を記憶している。なお、ここででは、ほぼ共通の電子化原稿をアナウンス用と字幕用の双方に利用する形態を想定しているので、電子化原稿記録媒体１３に記憶される字幕テキスト文の内容は、表示対象字幕と一致するばかりでなく、素材ＶＴＲに収録されたアナウンス音声とも一致しているものとする。
【００４２】
同期検出装置１５は、表示単位字幕文と、それを読み上げたアナウンス音声との間における時間同期を検出する機能等を有している。具体的には、安当性検証機能と検証結果返答機能とタイミング情報検出機能とを有している。安当性検証機能とは、統合化装置１７で一応確定された表示単位字幕が送られてくる毎に、この表示単位字幕の妥当性を検証する機能である。検証結果返答機能とは、妥当性検証機能を発揮することで得られた検証結果が不当であるとき、この検証結果を統合化装置１７宛に返答する機能である。
【００４３】
タイミング情報検出機能とは、妥当性検証機能を発揮することで得られた検証結果が妥当であるとき、番組素材ＶＴＲから取り込んだこの表示単位字幕に対応するアナウンス音声及びそのタイムコードを参照して、該当する表示単位字幕毎のタイミング情報、即ち始点／終点タイムコードを検出し、検出した各始点／終点タイムコードを統合化装置１７宛に送出する機能である。
【００４４】
なお、上述したタイミング情報検出機能における表示単位字幕毎に付与する始点／終点タイムコードの同期検出は、本発明者らが研究開発したアナウンス音声を対象とした音声認識処理を含むアナウンス音声と字幕テキスト文間の同期検出技術を適用することで高精度に実現可能である。
【００４５】
即ち、字幕送出タイミング検出の流れは、図６に示すように、まず、かな漢字交じり文で表記されている字幕テキスト文テキストを、音声合成などで用いられている読み付け技術を用いて発音記号列に変換する。この変換には、「日本語読み付けシステム」を用いる。次に、予め学習しておいた音響モデル（ＨＭＭ：隠れマルコフモデル）を参照し、「音声モデル合成システム」によりこれらの発音記号列をワード列ペアモデルと呼ぶ音声モデル（ＨＭＭ）に変換する。そして、「最尤照合システム」を用いてワード列ペアモデルにアナウンス音声を通して比較照合を行うことにより、字幕送出タイミングの同期検出を行う。
【００４６】
字幕送出タイミング検出の用途に用いるアルゴリズム(ワード列ペアモデル)は、キーワードスポッティングの手法を採用している。キーワードスポッティングの手法として、フォワード・バックワードアルゴリズムにより単語の事後確率を求め、その単語尤度のローカルピークを検出する方法が提案されている。
【００４７】
ワード列ペアモデルは、図７に示すように、これを応用して字幕と音声を同期させたい点、即ち同期点の前後でワード列１ (Keywords1)とワード列２ (Keywords2)とを連結したモデルになっており、ワード列の中点（Ｂ）で尤度を観測してそのローカルピークを検出し、ワード列２の発話開始時間を高精度に求めることを目的としている。
【００４８】
ワード列は、音素ＨＭＭの連結により構成され、ガーベジ (Garbage)部分は全音素ＨＭＭの並列な枝として構成されている。また、アナウンサが原稿を読む場合、内容が理解し易いように息継ぎの位置を任意に定めることから、ワード列１，２間にポーズ (Pause)を挿入している。なお、ポーズ時間の検出に関しては、素材ＶＴＲから音声とそのタイムコードが供給され、その音声レベルが指定レベル以下で連続する開始、終了タイムコードから、周知の技術で容易に達成出来る。
【００４９】
形態素解析部１９は、漢字かな交じり文で表記されている単位字幕文を対象として、形態素毎に分割する分割機能と、分割機能を発揮することで分割された各形態素毎に、表現形、品詞、読み、標準表現などの付加情報を付与する付加情報付与機能と、各形態素を文節や節単位にグループ化し、いくつかの情報素列を得る情報素列取得機能とを有している。これにより、単位字幕文は、表面素列、記号素列（品詞列）、標準素列、及び情報素列として表現される。
【００５０】
分割ルール記憶部２１は、単位字幕文を対象とした改行・改頁箇所の最適化を行う際に参照される分割ルールを記憶する機能を有している。本実施の形態では、分割ルールの１つとして、改行・改頁候補の順位と字幕用テキスト上の位置との関係を示すテーブル（図３）が設けられている。Ｄ−ＶＴＲ２３は、番組素材が収録されている番組素材ＶＴＲテープから、映像、音声、及びそれらのタイムコードを再生出力する機能を有している。
【００５１】
統合化装置１７は、単位字幕文抽出部３３と、自動字幕生成部３５と、タイミング情報付与部３７とを有している。単位字幕文抽出部３３は、電子化原稿記録媒体１３から読み出した字幕テキスト文の中から、例えば４０〜５０字幕文字程度を目安とした単位字幕文を順次抽出する。具体的には、単位字幕文抽出部３３は、少なくとも表示単位字幕文よりも多い文字数を呈する表示対象となる単位字幕文を、必要に応じその区切り可能箇所情報等を活用して表示時間順に順次抽出する機能を有している。なお、区切り可能箇所情報としては、形態素解析部１９で得られた文節データ付き形態素解析データ及び分割ルール記憶部２１に記憶されている分割ルール（改行・改頁データ）を例示することが出来る。
【００５２】
自動字幕生成部３５は、単位字幕文抽出部３３で抽出された単位字幕テキスト文を、字幕文の日本語解析データを用いて指定形式の表示単位字幕文化するために、その単位字幕テキスト文に適切な改行・改頁を施して自動分割する。具体的には、日本語形態素解析手法及び日本語の特徴分析手法を活用して設定した字幕テキスト文改行・改頁ルールを字幕テキスト文分割に適用することにより、字幕テキスト文への分割を自動的に行う機能を有している。
【００５３】
タイミング情報付与部３７は、自動字幕生成部３５で生成された表示単位字幕文に対し、同期検出装置１５から送出されてきた表示単位字幕文毎のタイミング情報である始点／終点の各タイムコードを付与することを行う。具体的には、タイミング情報付与部３７は、自動字幕生成部３５で生成された表示単位字幕文に対し、同期検出装置１５から送出されてきた表示単位字幕文毎のタイミング情報である始点／終点の各タイムコードを付与するタイミング情報付与機能を有している。
【００５４】
次に、本実施の形態による表示単位字幕文の自動生成方法について説明する。本実施の形態では、入れ換え型やスクロール型の字幕において、字幕放送の画面に適合するように、「形態素解析」や「指定同期計算点」の情報をベースに管理者から指定される「指定文字数」「指定行数」の制約下に、字幕データの適切な位置に自動的に改行や改頁を挿入して分割が実行され、字幕表示用のデータが作成される。なお、「改行」とは、指定文字数を超えないように字幕文を行毎に分割することである。また、「改頁」とは、指定行数を超えないように字幕文を同時に表示可能な単位で分割することである。
【００５５】
本実施の形態による表示単位字幕文の自動生成方法では、生成準備処理である改行・改頁候補点の選定処理（図２）と生成実行処理である改行・改頁の実行処理とが行われる。まず、予備実験や人手による字幕データの解析による基礎的検討を行ったので紹介する。
【００５６】
（改行・改頁の基礎検討）
基礎検討では、１５文字かそれに準じる長さで、形態素の単位に分割された文字列を再結合して表示するという手法を適用したが、いくつかの問題点が見出された。しかし、新たな改行・改頁技術ではこれらの課題が解決された。
【００５７】
（ａ）頁のバランス：日本語では文末の数文字で文意が１８０度変わることがあるので、文末の数文字だけで構成された頁を作成することは避けるべきである。長文を複数頁の字幕に分割する場合は、各頁の文字数がバランスされるように分割することが好ましい。
【００５８】
（ｂ）改行・改頁点の優先順位：手動制作による字幕では原稿中の句点の後などに改行・改頁を多く行ったり、連続する固有名詞の間などでは改行・改頁をしない傾向があった。読み易さを向上させるために、意味的に重要な区切りで字幕を分割することが好ましい。
【００５９】
（生成準備処理である改行・改頁候補点の選定処理）
自動字幕生成部３５への入力は、単位字幕文抽出部３３における「自動要約処理」で「重要度計算」を行い、さらに「省略文選定」まで行った結果であり、要約文に対する「形態素解析」の実行結果の形式となっている。なお、「省略文選定」とは、「重要度計算」の結果に村して、「指定要約率」を下回るまで省略すべき文章をＴＡＧにより識別可能となるようにＴＡＧの変更を行う処理である。「指定要約率」は初期状態では７０％であり、１００％から０％まで選択出来る。
【００６０】
また、入力引数は、改行・改頁点が挿入されていない平文テキストを形態素解析したものである字幕素材と、画面に関する情報である。画面に関する情報には、字幕画面の行数（現行の標準的な放送では縦２行、指定行数：１〜３）、字幕画面の文字数（現行の標準的な放送では横１５．５文字、指定文字数：１行当たり１２〜２５６）、字幕継続記号の表示有無を示す字幕継続フラグなどがある。その他、システムの内部パラメータとして、画面に対するデフォルト値（字幕行として最低表示させたい文字数：２〜７）が設定されるようになっている。
【００６１】
図２において、禁則等処理（ステップＳＴ１）では、句点、読点、拗音、長音、撥音、閉じ括弧などが行頭に、開き括弧などが行末に来ないようにするために、形態素・文節区切りを修正して、それらを隣接する形態素と結合する。また、連続する固有名詞間では分割しない方が見易く、人名の途中で分割することは特に適切ではない。固有名詞と判定された形態素が連続する場合も、結合する修正を行っている。
【００６２】
長大形態素の分割処理（ステップＳＴ２）では、字幕画面が１行で記述出来る文字数に上限があるため（例えば１５文字）、その文字数（１５文字）を超える形態素については少なくとも１回以上形態素の途中で分割する。外来語や外国語の地名をカタカナで書いたものではこのようなケースが発生し得る。例えば、「アアアアアイイイイイウウウウウエエエエエオオオオオ」という地名がどこかにあり、これで１つの単語であるとすると、字幕放送の字幕として表示する場合は、「アアアアアイイイイイウウウウウ」と「エエエエエオオオオオ」のように、機械的に文字数で分割する。
【００６３】
優先順位付け処理（ステップＳＴ３）では、改行・改頁点として採用すべき位置を決定するため、前節の処理で得られた改変済みの形態素・文節解析テキストを入力として、文字列中の全ての改行・改頁候補に予め定めた順位（図３）を設定する。
【００６４】
図３では、順位が小さいほど優先順位が高く、改行・改頁点として相応しい候補であることが示されている。但し、種別ＬＰは、改行及び改頁の対象となる候補であり、種別Ｌは改行のみの候補である。本来、形態素間で字幕を改行することは望ましいと言えないが、頁数が増えると字幕の表示時間が減少して読み難くなるため、１頁以下で表示出来る字幕は可能な限り１頁で表示するようにした。１文が２行（１頁）以内で表示出来る場合にのみ、種別Ｌ２の候補を改行点として採用することとする。
【００６５】
例えば、入力が「この勢いをどんどんもっともっと、つけていきます。」であれば、「この／ＧＰ勢い／Ｋを／ＧＰどんどん／ＨＰもっと／ＨＰもっと、／ＤＰつけ／Ｋて／ＨＰい／Ｋき／Ｊます。／ＡＰ」のように、優先順位付けがなされる。ここで、“／ＡＰ”は、順位１（句読点の後）に相当するマークである。同様に、“／ＧＰ”は順位７（長さ２文字以上の文節の前）に相当するマークである。“／ＨＰ”は順位８（先頭文字が漢字である形態素の前）に相当するマークである。／ＡＰは、／ＧＰよりも改行候補、改頁候補としては順位が高いので、より相応しい改行候補、改頁候補である。
【００６６】
読点変換と目標行数・頁数の設定処理（ステップＳＴ４）では、原稿の文字数、行の最大文字数と最小文字数を基に、目標行数を概算で決定する。但し、この目標行数で改行・改頁することに失敗した場合、目標行数を１増加させて成功するまで処理が行われる。ここで、読点変換とは、読点を全角空白にする処理である。このため字幕の行末の読点は省略している。また、目標行数の設定とは、ある文を何行何頁の字幕として表示すべきかを設定する処理である。なお、目標行数とは、入力ファイル上の字幕素材テキストの文字数を「字幕文字数」で除算した商で、余りが出たら商に１を加えたものである。目標頁数とは、目標行数を「字幕行数」で除算した商で、余りが出たら商に１を加えたものである。
【００６７】
（生成実行処理である改行・改頁の実行処理）
改行・改頁の実行処理では、改行・改頁候補の優先順位を利用しつつ、「改行・改頁設定単位」毎に、（１）字幕頁数の最小化、（２）複数頁に跨るかの判定、（３）字幕の各頁における文字数の平均化、（４）字幕の各頁の各行における文字数の平均化、という基準を全ての「改行・改頁設定単位」に対して適用し、最終結果である字幕文を生成する。
【００６８】
ここで、（イ）〜（ニ）として若干の補足説明を行う。（イ）「字幕表示時間最長化の原則」が背景にある．例えば、字幕画面が「２行×１５文字」の条件であり、ある「改行・改頁設定単位」が３０文字であった場合、可能な限り１頁で字幕を表示する。（ロ）１頁に収まった場合には、下記（ニ）へ進む。
【００６９】
（ハ）「字幕表示時間平均化の原則」が背景にある。字幕の文字列の長さに応じて字幕の表示時間が変動するので、ある頁内にわずかな文字数しか含まれていないと、該当頁の表示時間が極めて短くなり字幕の見易さに影響を及ぼす可能性がある。例えば、字幕画面が「２行×１５文字」の条件であり、ある「改行・改頁設定単位」が３６文字であった場合に、「３０文字＋６文字」による改頁候補と「１８文字十１８文字」による改頁候補との２候補が得られたならば、後者において頁間の文字数の差がより低くなるので、最終的に後者を採用する。
【００７０】
（ニ）これは単に字幕画面を決定するための基準である．例えば、ある頁における文字列の改行において、「１５文字＋３文字」という改行候補と「９文字＋９文字」という改行候補との２候補が得られたならば、後者において行間の文字数の差がより低いので後者を採用するという意味である。また「１２文字＋６文字」と「６文字＋１２文字」の２候補どちらも、字幕タイミング付与の計算をより容易にすることを目的としている。
【００７１】
［改行・改頁の基本的な実行処理］
改行・改頁の実行処理では、基本的には、各「字幕改行・改頁設定単位」に対し、以下のＡ〜Ｄの処理が実行される。
【００７２】
Ａ：「字幕頁数」の計算と最初の字幕の作成。まず、最低優先順位の改行・改頁候補点まで全ての候補を用いつつ、句点が途中にあった場合は、そこで改行を挿入しつつ、「指定文字数」以下に各行が収まるように改行・改頁を行い、初期字幕を作成する。また、初期字幕の頁数を調べる。これを「目標頁数」と呼ぷ。例えば、ある「改行・改頁設定単位が８０文字であった場合において「３０文字＋２０文字＋３０文字」の３頁の字幕が得られた場合、「目標頁数」は３である。
【００７３】
Ｂ：複数字幕間における改頁点の選定。「目標頁数」が１であって、途中に改頁を追加挿入する必要がないときは、Ｄへ進む。そうでない場合は、新規に改頁を追加する必要があることがわかる。また、必要文字数として、各頁の「平均文字数」を全文字数と「目標頁数」から求める。例えば、８０文字の「改行・改頁設定単位」に対し、「目標頁数」が４であれば、各頁における「平均文字数」は２０である。
【００７４】
Ｃ：改頁候補。優先順位の最高の改行・改頁候補だけを用いて改行・改頁を試みる。各頁の文字数は「必要文字数」以上「目標文字数」以下で、最小であるとする。「目標頁数」を上回ったら失敗であるとし、優先順位の低い方まで候補の対象を広げて、同様に改行・改頁を試みる。最低優先順位まで行くと、Ａで最初の字幕が得られ、必ず成功する。「目標頁数」を上回らなければ成功とし、成功した改頁点（改頁位置）の候補群を決定し、Ｄへ進む。
【００７５】
Ｄ：改行候補について、各頁毎に決定する。但し、１行字幕では本処理は不要である。
【００７６】
［改行・改頁の具体的な実行処理］
図４に示すように、原稿の文単位で、最小文字数７文字以上、最大文字数１５文字以下となるように文字列を分割する。図４において、目標行数の偶奇性を調べ（ステップＳＴ１０）、目標行数が偶数ならば、目標頁数が１であるか２以上であるかを調べる（ステップＳＴ１１）。目標頁数が１であるときは、１頁の２行字幕中の１改行点を選択し、各行が最小文字数を超える範囲で改行候補を選定し（ステップＳＴ１２）、ステップＳＴ１９に進む。
【００７７】
一方、ステップＳＴ１１において目標頁数が２以上であるときは、複数頁の２行字幕中の１改行点を選択し、各行が最小文字数を超える範囲で改行候補を選定する（ステップＳＴ１３）。その結果、１候補しかない場合はそれを選択し、また複数の候補が選択可能な場合はより候補順位の高いものを選択し（ステップ１４）、ステップＳＴ１９に進む。
【００７８】
また、ステップＳＴ１０において、目標行数が奇数ならば、同様に目標頁数が１であるか２以上であるかを調べる（ステップＳＴ１５）。目標頁数が１であるときは、行数も１であり、改行・改頁を行わず（ステップ１６）、ステップＳＴ１９に進む。
【００７９】
一方、ステップＳＴ１５において目標頁数が２以上であるときは、候補順位を９以上のものだけとし（この場合にはどの候補も改頁が可能となる）、改頁候補を選択する（ステップＳＴ１７）。そして、各頁の文字数が最も平均値に近くなるような選択肢の中で、各改頁候補の順位の和が最も小さくなるものを選択し（ステップＳＴ１８）、ステップＳＴ１９に進む。
【００８０】
ステップＳＴ１９では、得られた字幕が目標字幕数か否かを調べる。目標頁数であればそのまま処理を終了するが、目標頁数でなければ、目標の設定が甘かったということで、目標行数に１を加えて（ステップ２０）、先のステップ１０に戻り、以上説明した処理を繰り返す。
【００８１】
（自動生成結果の出力）
以上の改行・改頁実行処理の結果は、「指定行数」毎に「指定文字数」以内で改行し、改頁点を空行で示した字幕データとして蓄積される。２行字幕であれば、１行の空行を含め、字幕文章の各行が３行毎に記述されている。
【００８２】
図５に自動生成した単位字幕文（字幕データ）の一例を示してある。図５に示すように、字幕データは、カンマ記号で区切られている。第１及び第４項目は、自動同期で計算された、字幕の表示及び消去のタイミングである。この８桁の数値は、２桁の数字を組として、時、分、秒、フレーム（ここでは、１秒は３０フレームである）を示している。第６及び第７項目は、自動要約により要約され、自動的な改行・改頁処理により行、頁単位に分割された字幕の文字列を示している。なお、第６項目と第７項目との間のカンマは、２行１頁の字幕として改行すべき位置を示している。データの末尾に含まれた“⇒”記号は、字幕が次の頁に続くことを示す“字幕継続記号”である。
【００８３】
【発明の効果】
以上詳細に説明したように、本発明によれば、日本語形態素解析手法及び日本語の特徴解析手法を活用して設定した字幕テキスト文の改行・改頁ルールを字幕テキスト文分割に適用するようにしたので、字幕文が字幕放送の字幕画面に収まり、字幕放送のユーザにとってより読み易い字幕文となるように、字幕文に対する改行・改頁点が適切に挿入でき、表示単位字幕文を自動的に生成することが出来るようになる。
【図面の簡単な説明】
【図１】本発明に係る字幕番組制作における表示単位字幕文の自動生成方法を実施する自動字幕番組制作システムの機能ブロック構成図である。
【図２】表示単位字幕文の自動生成を準備する手順を示すフローチャート図である。
【図３】改行・改頁候補の順位と字幕用テキスト上の位置との関係図である。
【図４】表示単位字幕文の自動生成を行う手順を示すフローチャート図である。
【図５】自動生成した単位字幕文の一例を示す図である。
【図６】アナウンス音声に対する字幕送出タイミングの同期検出技術に係る説明に供する図である。
【図７】アナウンス音声に対する字幕送出タイミングの同期検出技術に係る説明に供する図である。
【図８】現行字幕制作フロー、及び改良された現行字幕制作フローに係る説明図である。
【符号の説明】
１１自動字幕番組制作システム
１３電子化原稿記録媒体
１５同期検出装置
１７統合化装置
１９形態素解析部
２１分割ルール記憶部
２３ディジタル・ビデオ・テープ・レコーダ（Ｄ−ＶＴＲ）
３３単位字幕テキスト文抽出部
３５自動字幕生成部
３７タイミング情報付与部

Claims

入力された字幕テキスト文を形態素・文節解析する形態素・文節解析手段と、形態素・文節解析された字幕テキスト文から表示単位字幕文を自動生成する自動字幕生成手段とを備えたコンピュータにより構成された自動字幕番組制作システムにおける表示単位字幕文の自動生成方法であって、
前記自動字幕生成手段は、
前記形態素・文節解析手段により形態素・文節解析された字幕テキスト文に対して、字幕画面に１行で記述出来る文字数の上限を越える形態素について１回以上形態素の途中で分割する長大形態素の分割処理を実行し、
分割処理がなされた形態素・文節解析テキストにおける文字列中の全ての改行・改頁候補に対し、改行・改頁の位置に応じた優先順位を定めたテーブルに従って優先順位を設定する処理を実行し、
読点変換処理と、字幕テキスト文の文字数に対して、１行が最小文字数以上で最大文字数以下となるように分割することで目標行数を概算で求めるとともに、概算設定された目標行数を字幕画面に表示される字幕行数で除算することで目標頁数を概算で求める目標行数・目標頁数の概算設定処理を実行する改行・改頁準備工程と、
前記改行・改頁準備工程で得られた字幕テキスト文を字幕画面に表示する単位字幕文の目標行数の偶奇性を調べ、
目標行数が偶数行で目標頁数が１頁のときは、字幕の各行が予め定められた最小文字数を下回らず最大文字数を越えない改行・改頁候補を選定し、
目標行数が偶数行で目標頁数が２頁以上のときは、各頁における字幕の各行が予め定められた最小文字数を下回らず最大文字数を越えない改行・改頁候補を選定し、
目標行数が１行で目標頁数が１頁であるときは、入力された字幕文をそのまま１頁の改頁された結果とし、
目標行数が３行以上の奇数行で目標頁数が２頁以上のときは、優先順位が設定された前記改頁・改行候補の中から改頁が可能な改頁候補の中で各頁の文字数が最も平均値に近くなるような改頁位置を選定し、各頁候補においては、前記改行・改頁準備工程で各改行・改頁候補に設定された優先順位の和が最も小さくなるものを選択する改行・改頁実行工程と、
を備えることを特徴とする字幕番組制作システムにおける表示単位字幕文の自動生成方法。