JP4496358B2 - オープンキャプションに対する字幕表示制御方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、自動字幕番組制作システムにおいて制作された表示予定字幕の表示位置やタイミングなどをオープンキャプションに対して自動的に制御する方法に関するものである。
【０００２】
【従来の技術】
現代は高度情報化社会と一般に言われているが、聴覚障害者は健常者と比較して情報の入手が困難な状況下におかれている。即ち、例えば、情報メディアとして広く普及しているＴＶ放送番組を例示すると、ＴＶ放送番組に対する字幕番組の割合は、欧米では３３〜７０％に達しているのに対し、我が国ではわずか１０％程度ときわめて低くおかれているのが現状である。
【０００３】
このように、我が国で全ＴＶ放送番組に対する字幕番組の割合が欧米と比較して低くおかれている要因としては、主として字幕番組制作技術の未整備を挙げることができる。具体的には、日本語特有の問題もあり、字幕番組制作工程の殆どが手作業によっており、多大な労力・時間・費用を要するためである。
【０００４】
そこで、本発明者らは、字幕番組制作技術の整備を妨げている原因究明を企図して、現行の字幕番組制作の実態調査を行った。図１０の左側には、現在一般に行われている字幕番組制作フローを示してある。図１０の右側には、改良された現行字幕制作フローを示してある。
【０００５】
図１０の左側において、ステップＳ１０１では、字幕番組制作者が、タイムコードを映像にスーパーした番組データと、タイムコードを音声チャンネルに記録した番組テープと、番組台本との３つの字幕原稿作成素材を放送局から受け取る。なお、図中において「タイムコード」を「ＴＣ」と略記する場合があることを付言しておく。
【０００６】
ステップＳ１０３では、放送関係経験者等の専門家が、ステップＳ１０１で受け取った字幕原稿作成素材を基に、（１）番組アナウンスの要約書き起こし、（２）別途規定された字幕提示の基準となる原稿作成要領に従う字幕提示イメージ化、（３）その開始・終了タイムコード記入、の各作業を順次行い、字幕原稿を作成する。
【０００７】
ステップＳ１０５では、入力オペレータが、ステップＳ１０３で作成された字幕原稿をもとに電子化字幕データを作成する。ステップＳ１０７では、ステップＳ１０５で作成された電子化字幕データを、担当の字幕制作費任者、原稿作成者、及び入力オペレータの三者立ち会いのもとで試写・修正を行い、完成字幕とする。
【０００８】
ところで、最近では、番組アナウンスの要約書き起こしと字幕の電子化双方に通じたキャプションオペレータと呼ばれる人材を養成することで、図１０の右側に示す改良された現行字幕制作フローも一部実施されている。
【０００９】
即ち、ステップＳ１１１では、字幕番組制作者が、タイムコードを音声チャンネルに記録した番組テープと、番組台本との２つの字幕原稿作成素材を放送局から受け取る。
【００１０】
ステップＳ１１３では、キャプションオペレータが、タイムコードを音声チャンネルに記録した番組テープを再生する。このとき、セリフの開始点でマウスのボタンをクリックすることでその点の音声チャンネルから始点タイムコードを取り出して記録する。さらに、セリフを聴取して要約電子データとして入力する。同様に、字幕原稿作成要領に基づく区切り箇所に対応するセリフ点で再びマウスのボタンをクリックすることでその点の音声チャンネルから終点タイムコードを取り出して記録する。これらの操作を番組終了まで繰り返して、番組全体の字幕を電子化する。
【００１１】
ステップＳ１１７では、ステップＳ１０５で作成された電子化字幕データを、担当の字幕制作費任者、及びキャプションオペレータの二者立ち会いのもとで試写・修正を行い、完成字幕とする。
【００１２】
後者の改良された現行字幕制作フローでは、キャプションオペレータが、タイムコードを音声チャンネルに記録した番組テープのみを使用して、セリフの要約と電子データ化を行うとともに、提示単位に分割した字幕の始点／終点にそれぞれ対応するセリフのタイミングでマウスボタンをクリックすることにより、音声チャンネルの各タイムコードを取り出して記録するものであり、かなり省力化された効果的な字幕制作フローといえる。
【００１３】
ここで、上述した現行字幕制作フローにおける一連の処理の流れの中で特に多大な工数を要するのは、ステップＳ１０３ないしはＳ１０５またはステップＳ１１３の、（１）番組アナウンスの要約書き起こし、（２）字幕提示イメージ化、（３）その開始・終了タイムコード記入、の各作業工程である。これらの作業工程は熟練者の知識・経験に負うところが大きい。
【００１４】
ところが、現在放送中の字幕番組の中で、予めアナウンス原稿が作成され、その原稿が殆ど修正されることなく実際の放送字幕となっていると推測される番組がいくつかある。例えば、「生きもの地球紀行」という字幕付き情報番組を実際に調べて見ると、アナウンス音声と字幕内容は殆ど共通であり、共通の原塙をアナウンス用と字幕用の双方に利用しているものと推測できる。
【００１５】
そこで、本発明者らは、ほぼ共通の電子化原稿をアナウンス用と字幕用の双方に利用する形態を想定して、字幕番組の制作を自動化できる自動字幕番組制作システムを開発し先に出願した（例えば特開２０００−２７０６２３号公報）。
【００１６】
【発明が解決しようとする課題】
しかし、テレビ映像にスーパー表示される文字、いわゆるオープンキャプションが表示されているときに、映像上に表示しようとする字幕放送の字幕がオープンキャプションと重なる場合には、双方とも非常に見難くなる。
【００１７】
そのため、映像のオープンキャプションを調べて、それと重複しない表示位置やタイミングを字幕用原稿の段階で指定するとか、試写・修正段階で表示位置やタイミングを重複しないよう修正するなどして、オープンキャプションに対し字幕が重ならないようにする作業が必要になる。これらの作業は全て専門知識を有する人が手作業により、多くの時間を使って行われていた。
【００１８】
本発明は、このような実情に鑑みてなされたものであり、ほぼ共通の電子化原稿をアナウンス用と字幕用の双方に利用する形態を想定して字幕番組を制作する自動字幕番組制作システムにおいて制作した表示予定字幕の表示予定位置に、オープンキャプションが存在するときに、重複しないように表示予定字幕の表示位置やタイミングを自動的に制御できるオープンキャプションに対する字幕表示制御方法を提供することを目的としている。
【００２１】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載のオープンキャプションに対する字幕表示制御方法は、テレビ映像にスーパー表示されるオープンキャプションの有無及びそのオープンキャプションの内容を検知し、自動字幕番組制作システムにおいて制作された表示予定字幕の表示予定位置に前記オープンキャプションが存在するとき、前記オープンキャプションの内容と前記表示予定字幕の内容との近似度を調査し、調査した近似度の程度に応じて、前記表示予定字幕の表示／非表示ないしは修正／非修正を決定することを特徴とする。
【００２２】
この方法によれば、オープンキャプションをテキストとしても自動検知し、表示予定の字幕内容と比較して、字幕の表示／非表示、字幕内容の修正／非修正なども自動的に判別し実行することができる。
【００２３】
請求項２に記載のオープンキャプションに対する字幕表示制御方法は、請求項１に記載のオープンキャプションに対する字幕表示制御方法において、前記テレビ映像のシーン変更点を検出し、検出したシーン変更点と字幕終了タイミングとを比較し、比較結果に基づき字幕終了タイミングを変更することを特徴とする。
【００２４】
この方法によれば、例えば、カットのタイミングを避けるように字幕の開始終了のタイミングを制御することができ、映像・音声と字幕が一致しないような不適切な字幕表示を無くすことができる。
【００２５】
【発明の実施の形態】
以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。
【００２６】
図１は、本発明に係るオープンキャプションに対する字幕表示制御方法を実施する自動字幕番組制作システムの機能ブロック構成図である。図２は、自動字幕番組制作システムにおける字幕制作フローを、改良された現行字幕制作フローと対比して示した説明図である。図３は、単位字幕文を表示単位字幕文毎に分割する際に適用される分割ルールの説明に供する図である。図４ないしは図５は、アナウンス音声に対する字幕送出タイミングの同期検出技術に係る説明に供する図である。図６は、本発明の実施の形態１に係るオープンキャプションに対する字幕表示制御方法を説明するフローチャートである。図７は、実施の形態１による字幕の表示位置及び開始・終了のタイミングの変更例を示す図である。図８は、本発明の実施の形態２に係るオープンキャプションに対する字幕表示制御方法を説明するフローチャートである。図９は、実施の形態２による字幕表示の適性化処理例を示す図である。
【００２７】
図１に示すように、自動字幕番組制作システム１１は、電子化原稿記録媒体１３と、同期検出装置１５と、統合化装置１７と、形態素解析部１９と、分割ルール記憶部２１と、番組素材ＶＴＲ例えばディジタル・ビデオ・テープ・レコーダ（以下、「Ｄ−ＶＴＲ」と言う）２３と、オープンキャプション判定部３９と、文字認識部４１と、画面変更判定部４３と、字幕表示位置制御部４５とを含んで構成されている。このうち、オープンキャプション判定部３９と文字認識部４１と画面変更判定部４３と字幕表示位置制御部４５とが本実施の形態に係る字幕表示制御を行う機能部分である。
【００２８】
ここでは、まず、図１〜図５を用いて自動字幕番組制作システムにおける字幕制作の概要を説明する。その後で、本実施の形態に係る字幕表示制御を、実施の形態１及び実施の形態２として説明する。
【００２９】
既述したように、現在放送中の字幕番組の中で、予めアナウンス原塙が作成され、その原稿が殆ど修正されることなく実際の放送字幕となっていると推測される番組がいくつかある。例えば、「生きもの地球紀行」という字幕付き情報番組を実際に調べて見ると、アナウンス音声と字幕内容はほぼ共通であり、ほぼ共通の原稿をアナウンス用と字幕用の両方に利用していると推測できる。
【００３０】
本発明者らが提案する自動字幕番組制作システムは、アナウンス用と字幕用の両方に共通の原稿が電子化されている番組におけるその電子化原稿に、本発明者らが提案するアナウンス音声と字幕文テキストの同期検出技術、及び日本語の特徴解析手法を用いたテキスト分割技術等を適用することにより、Ｄ−ＶＴＲ２３から再生されたアナウンスの進行と同期して、表示単位字幕文の作成、及びその始点／終点の各々に対応するタイミング情報の付与を自動化し、これをもって、字幕番組の制作を人手を介することなく自動化できるようにしたものである。
【００３１】
ここで、具体的な字幕制作の説明に先立って、その説明で使用する用語の定義付けを行う。即ち、表示対象となる字幕の全体集合を「字幕文テキスト」と言う。字幕文テキストのうち、句読点で区切られた文章単位の部分集合を「単位字幕文」と言う。ディスプレイの表示画面上における表示単位字幕の全体集合を「表示単位字幕群」と言う。表示単位字幕群のうち、任意の一行の字幕を「表示単位字幕文」と言う。表示単位字幕文のうちの任意の文字を表現するとき、それを「字幕文字」と言うことにする。
【００３２】
図１において、電子化原稿記録媒体１３は、例えばハードディスク記憶装置やフロッピーディスク装置等より構成され、表示対象となる字幕の全体集合を表す字幕文テキストを記憶している。なお、ここでは、ほぼ共通の電子化原稿をアナウンス用と字幕用の双方に利用する形態を想定しているので、電子化原稿記録媒体１３に記憶される字幕文テキストの内容は、表示対象字幕とするばかりでなく、Ｄ−ＶＴＲ２３のアナウンス音声とも一致しているものとする。
【００３３】
同期検出装置１５は、表示単位字幕文と、それを読み上げたアナウンス音声との間における時間同期を補助する機能等を有している。具体的には、安当性検証機能と検証結果返答機能とタイミング情報検出機能とを有している。安当性検証機能とは、同期検出装置１５は、統合化装置１７で確定された表示単位字幕配列が送られてくる毎に、その表示単位字幕配列の妥当性を検証する機能である。検証結果返答機能とは、妥当性検証機能を発揮することで得られた検証結果が不当であるとき、その検証結果を統合化装置１７宛に返答する機能である。タイミング情報検出機能とは、妥当性検証機能を発揮することで得られた検証結果が妥当であるとき、Ｄ−ＶＴＲ２３から取り込んだその表示単位字幕配列に対応するアナウンス音声及びそのタイムコードを参照して、該当する表示単位字幕文毎のタイミング情報、即ち始点／終点タイムコードを検出し、検出した各始点／終点タイムコードを統合化装置１７宛に送出する機能である。
【００３４】
形態素解析部１９は、漢字かな交じり文で表記されている単位字幕文を対象として、形態素毎に分割する分割機能と、その分割機能によって分割された各形態素毎に、表現形、品詞、読み、標準表現などの付加情報を付与する付加情報付与機能と、各形態素を文節や節単位にグループ化し、いくつかの情報素列を得る情報素列取得機能とを有している。これにより、単位字幕文は、表面素列、記号素列（品詞列）、標準素列、及び情報素列として表現される。
【００３５】
分割ルール記憶部２１は、図３に示すように、単位字幕文を対象とした改行・改頁箇所の最適化を行う際に参照される分割ルールを記憶している。Ｄ−ＶＴＲ２３は、番組素材が収録されている番組素材ＶＴＲテープから、映像、音声、及びそれらのタイムコードを再生出力する機能を有している。
【００３６】
統合化装置１７は、単位字幕文抽出部３３と、表示単位字幕化部３５と、タイミング情報付与部３７とを有している。単位字幕文抽出部３３は、電子化原稿記録媒体１３から読み出した字幕文テキストの中から、例えば４０〜５０字幕文字程度を目安とした単位字幕文を順次抽出する。具体的には、単位字幕文抽出部３３は、少なくとも表示単位字幕文よりも多い文字数を呈する表示対象となる単位字幕文を、必要に応じその区切り可能箇所情報等を活用して表示時間順に順次抽出する機能を有している。なお、区切り可能箇所情報としては、形態素解析部１９で得られた文節データ付き形態素解析データ及び分割ルール記憶部２１に記憶されている分割ルール（改行・改頁データ）を例示することができる。
【００３７】
表示単位字幕化部３５は、単位字幕文抽出部３３で抽出された単位字幕文を、所望の表示形式に従う表示単位字幕文に変換する。具体的には、表示単位字幕化部３５は、単位字幕文抽出部３３で抽出された単位字幕文、その単位字幕文に付加されている区切り可能箇所情報、及び同期検出装置１５からの情報等に基づいて、単位字幕文抽出部３３で抽出された単位字幕文を、所望の表示形式に従う少なくとも１以上の表示単位字幕文に変換する機能を有している。
【００３８】
タイミング情報付与部３７は、表示単位字幕化部３５で変換された表示単位字幕文に対し、同期検出装置１５から送出されてきた表示単位字幕文毎のタイミング情報である始点／終点の各タイムコードを付与することを行う。具体的には、タイミング情報付与部３７は、表示単位字幕化部３５で変換された表示単位字幕文に対し、同期検出装置１５から送出されてきた表示単位字幕文毎のタイミング情報である始点／終点の各タイムコードを付与するタイミング情報付与機能を有している。
【００３９】
次に、自動字幕番組制作システム１１における字幕制作動作について、図２の右側に示す字幕制作フローに従って、図２の左側に示す改良された現行字幕制作フローと対比しつつ説明する。
【００４０】
まず、図２の左側に示す改良された現行字幕制作フローについて再度説明する。ステップＳ１１１において、字幕番組制作者は、音声チャンネルにタイムコードを記録した番組テープと、番組台本との２つの字幕原稿作成素材を放送局から受け取る。なお、図中において「タイムコード」を「ＴＣ」と略記する場合があることを付言しておく。
【００４１】
ステップＳ１１３において、キャプションオペレータは、ＶＴＲの別の音声チャンネル（セリフをＬｃｈとするとＲｃｈ）にタイムコードを記録した番組テープを再生し、セリフの開始点でマウスのボタンをクリックすることでその点の音声チャンネルから始点タイムコードを取り出して記録する。さらに、セリフを聴取して要約電子データとして入力するとともに、字幕原稿作成要領に基づいて行う区切り箇所に対応するセリフ点で再びマウスのボタンをクリックすることでその点の音声チャンネルから終点タイムコードを取り出して記録する。これらの操作を番組終了まで繰り返し、番組全体の字幕を電子化する。
【００４２】
ステップＳ１１７において、ステップＳ１０５で作成された電子化字幕データを、担当の字幕制作責任者、及びキャプションオペレータの二者立ち会いのもとで試写・修正を行い、完成字幕とする。
【００４３】
このように、改良された現行字幕制作フローでは、キャプションオペレータは、タイムコードをＶＴＲの別の音声チャンネルに記録した番組テープのみを使用して、セリフの要約と電子データ化を行うとともに、表示単位に分割した字幕の始点／終点にそれぞれ対応するセリフのタイミングでマウスボタンをクリックすることにより、音声チャンネルの各タイムコードを取り出して記録するものであり、かなり省力化された効果的な字幕制作を実現している。
【００４４】
ところが、本発明らによる字幕制作方法によれば、図２の右側に示す字幕制作フローから理解できるように、さらなる省力化が図られている。ここでの処理は、図２の左側に示すステップＳ１１３の要約原稿・電子データ作成処理に相当するものである。
【００４５】
即ち、ステップＳ１では、単位字幕文抽出部３３は、電子化原稿記録媒体１３から読み出した字幕文テキストの中から、４０〜５０文字程度を目安として、少なくとも表示単位字幕文よりも多い文字数を呈する単位字幕文を、その区切り可能箇所情報等を活用して順次抽出する。なお、制作する字幕は、通常一行当たり１５文字を限度として、二行の表示単位字幕群を順次入れ換えていく字幕表示形式が採用されるので、文頭から４０〜５０字幕文字程度で、句点や読点を目安にして単位字幕文を抽出する（これは１５文字の処理量をも考慮している。）。
【００４６】
ステップＳ２ないしはＳ５では、表示単位字幕化部３５は、単位字幕文抽出部３３で抽出された単位字幕文、及び単位字幕文に付加された区切り可能箇所情報等に基づいて、単位字幕文抽出部３３で抽出された単位字幕文を、所望の表示形式に従う少なくとも１以上の表示単位字幕文に変換する。
【００４７】
具体的には、単位字幕文抽出部３３で抽出された単位字幕文を、上述した字幕表示形式に従い、例えば、一行当たり１３字幕文字で、二行の表示単位字幕群となる表示単位字幕配列案を作成する（ステップＳ２）。他方、単位字幕文抽出部３３で抽出された単位字幕文を対象とした形態素解析を行い、形態素解析データを得る（ステップＳ３）。この形態素解析データには文節を表すデータも付属している。そして、上記のように作成した表示単位字幕配列案に対し、形態素解析データを参照して、表示単位字幕配列案の改行・改頁点を最適化し（ステップＳ４）、最初の単位字幕文に関する表示単位字幕配列を確定する（ステップＳ５）。これにより、実情に即して高精度に最適化された表示単位字幕化を実現することができる。
【００４８】
なお、ステップＳ４において表示単位字幕配列案を最適化するあたっては、別途用意した分割ルール（改行・改頁データ）も併せて適用する。具体的には、図３に示すように、分割ルール（改行・改頁データ）で定義される改行・改頁推奨箇所は、第１に句点の後ろ、第２に読点の後ろ、第３に文節と文節の間、第４に形態素品詞の間、を含んでおり、分割ルール（改行・改頁データ）を適用するにあたっては、上述した記述順の先頭から優先的に適用する。このようにすれば、さらに実情に即して高精度に最適化された表示単位字幕化を実現することができる。
【００４９】
特に、第４の形態素品詞の間を分割ルール（改行・改頁データ）として適用するにあたっては、図３の図表には、自然感のある改行・改頁を行った際における、直前の形態素品詞とその頻度例が示されているが、図３の図表のうち頻度の高い形態素品詞の直後で改行・改頁を行うようにすればよい。このようにすれば、より一層実情に即して高精度に最適化された表示単位字幕化を実現することができる。
【００５０】
ステップＳ６ないしはＳ７では、タイミング情報付与部３７は、表示単位字幕化部３５で変換された表示単位字幕文に対し、同期検出装置１５から送出されてきた表示単位字幕文毎のタイミング情報である始点／終点の各タイムコードを付与する。
【００５１】
具体的には、統合化装置１７は、ステップＳ５で確定した表示単位字幕文を同期検出装置１５に与える。一方、同期検出装置１５は、ステップＳ６でＤ−ＶＴＲ２３からアナウンス音声及びそのタイムコードを取り込むと、ステップＳ５で確定した表示単位字幕配列、即ち表示単位字幕文に対応するアナウンス音声中に例えば２秒以上の所定時間を超える非スピーチ区間、即ちポーズの存在有無を調査する（ステップＳ７）。この調査の結果、アナウンス音声中にポーズ有りを検出したときには、該当する表示単位字幕文は不当であるとみなして、ステップＳ５の表示単位字幕配列確定処理に戻り、このポーズ以前に対応する単位字幕文の中から、表示単位字幕配列を再変換する。
【００５２】
他方、同期検出装置１５は、上記調査の結果、所定時間を超えるポーズ無しを検出したときには、該当する表示単位字幕文は妥当であるとみなして、その始点／終点タイムコードを検出し（ステップＳ７）、検出した各始点／終点タイムコードを該当する表示単位字幕文に付与して（ステップＳ８）、最初の単位字幕文に関する表示単位字幕文の作成処理を終了する。
【００５３】
ここで、ステップＳ７において表示単位字幕文に対応するアナウンス音声中のポーズの有無を調査する趣旨は、次の通りである。即ち、表示単位字幕文中に所定時間を超えるポーズが存在するということは、この表示単位字幕文は、時間的に離れており、また、少なくとも複数の相異なる場面に対応する字幕文を含んで構成されているおそれがあり、これらの字幕文を一つの表示単位字幕文とみなしたのでは好ましくないおそれがあるからである。これにより、ステップＳ５で一旦確定された表示単位字幕文の妥当性を、対応するアナウンス音声の観点から再検証可能となる結果として、好ましい表示単位字幕文の変換確定に多大な貢献を果たすことができる。
【００５４】
なお、ステップＳ７における表示単位字幕文に付与する始点／終点タイムコードの同期検出は、本発明者らが研究開発したアナウンス音声を対象とした音声認識処理を含むアナウンス音声と字幕文テキスト間の同期検出技術を適用することで高精度に実現可能である。以下、その概要を図４、図５を用いて説明する。
【００５５】
即ち、字幕送出タイミング検出の流れは、図４に示すように、まず、かな漢字交じり文で表記されている字幕文テキストを、音声合成などで用いられている読み付け技術を用いて発音記号列に変換する。この変換には、「日本語読み付けシステム」を用いる。
【００５６】
次に、予め学習しておいた音響モデル（ＨＭＭ：隠れマルコフモデル）を参照し、「音声モデル合成システム」によりこれらの発音記号列をワード列ペアモデルと呼ぶ音声モデル（ＨＭＭ）に変換する。そして、「最尤照合システム」を用いてワード列ペアモデルにアナウンス音声を通して比較照合を行うことにより、字幕送出タイミングの同期検出を行う。字幕送出タイミング検出の用途に用いるアルゴリズム（ワード列ペアモデル）は、キーワードスポッティングの手法を採用している。キーワードスポッティングの手法として、フォワード・バックワードアルゴリズムにより単語の事後確率を求め、その単語尤度のローカルピークを検出する方法が提案されている。
【００５７】
ワード列ペアモデルは、図５に示すように、これを応用して字幕と音声を同期させたい点、即ち同期点の前後でワード列１（Keywords1）とワード列２（Keywords2）とを連結したモデルになっており、ワード列の中点（Ｂ）で尤度を観測してそのローカルピークを検出し、ワード列２の発話開始時間を高精度に求めることを目的としている。ワード列は、音素ＨＭＭの連結により構成され、ガーベジ（Garbage）部分は全音素ＨＭＭの並列な枝として構成されている。
【００５８】
また、アナウンサが原塙を読む場合、内容が理解しやすいように息継ぎの位置を任意に定めることから、ワード列１，２間にポーズ（Pause）を挿入している。なお、ポーズ時間の検出に関しては、Ｄ−ＶＴＲ２３から音声とそのタイムコードが供給され、例えばその音声レベルが指定レベル以下で連続する開始、終了タイムコードとして、周知の技術で容易に達成できる。そして、第一頁目に関する字幕作成が終了すると、続いて第一頁目の次からの字幕文を抽出して第二頁目の字幕化に進み、同様の処理により当該番組の全字幕化を行う。
【００５９】
さて、本実施の形態に係るオープンキャプションに対する字幕表示制御方法では、以下の構成により、オープンキャプションの特徴を利用してその表示位置やタイミングを検知し、それと重複しないように字幕の表示位置やタイミングを自動的に制御すること（実施の形態１）と、さらにオープンキャプションをテキストとしても検知し、表示予定の字幕と比較して字幕の表示／非表示、字幕内容の修正／非修正なども自動的に行うこと（実施の形態２）が行えれるようになっている。
【００６０】
図１において、オープンキャプション判定部３９は、映像にスーパー表示されるオープンキャプションの特徴を利用して、Ｄ−ＶＴＲ２３から入力する映像信号に含まれるオープンキャプションを検出する。即ち、オープンキャプションは、背景映像と比較すると通常次のような相違がある。（１）スーパーする画面位置が限られている、（２）ＲＧＢの振幅レベルが大きい（例えば８５％以上である）、（３）通常数秒以上静止している、（４）色は通常明るい白色である（これは表示領域での占有率を定める要素である）、（５）スーパー表示される文字の大きさはほぼ一定である（規定の寸法で一文字はほぼ正方形である）、（６）スーパー表示される文字は通常横または縦方向に複数連なっている（複数行の場合もある）、（７）特定のスーパー文字についてはパターンマッチング法の適用が可能である。
【００６１】
したがって、この相違をうまく活用することによって、一定の条件下ではオープンキャプションの表示タイミングやその内容を自動検出することが可能である。これらの相違点のうち、（１）〜（４）をうまく組み合わせることで、かなりのケースでタイミング検出ができ、場合によっては（５）〜（７）の適用でさらに確度が高くできる。
【００６２】
文字認識部４１は、オープンキャプション判定部３９で検出できたオープンキャプションをテキスト化する。画面変更判定部４３は、Ｄ−ＶＴＲ２３から入力する映像信号における画面の切り替わり点を検出する。具体的には、画面変更判定部４３では、パン操作、チルト操作、ズームイン操作、ズームアウト操作、ワイプ操作、ディゾルブ操作等がなされた画面の指定操作の開始と終了を検出している。
【００６３】
字幕表示位置制御部４５では、統合化装置１７からの字幕（表示予定字幕）が、表示位置決定部４７と表示タイミング決定部４９と表示／非表示・修正／非修正決定部５１とに入力している。また、表示位置決定部４７と表示タイミング決定部４９と表示／非表示・修正／非修正決定部５１とにオープンキャプション判定部３９の判定結果が入力している。一方、表示／非表示・修正／非修正決定部５１には、文字認識部４１で認識されたオープンキャプションのテキストが入力している。
【００６４】
そして、表示位置決定部４７と表示タイミング決定部４９と表示／非表示・修正／非修正決定部５１とは、それぞれ、画面変更判定部４３から指定された画面期間内において所定の動作を行うようになっている。表示字幕データ出力部５３は、表示位置決定部４７と表示タイミング決定部４９と表示／非表示・修正／非修正決定部５１とでそれぞれ決定された表示字幕データをハードディスクやフロッピーディスクなどの記憶装置へ蓄積する。
【００６５】
表示位置決定部４７では、表示予定字幕の表示位置がオープンキャプションが検出された画面の所定領域と重なる場合に、表示予定字幕の表示位置の移動により、表示予定字幕の表示位置を同じフレーム内で重ならない位置、場合によってはオープンキャプションが存在しない他のフレームでの位置を決定し、その決定した位置データを付けた表示予定字幕を表示字幕データ出力部５３に渡すことを行う。
【００６６】
表示タイミング決定部４９では、表示予定字幕の表示位置がオープンキャプションが検出された画面の所定領域と重なる場合に、表示予定字幕の表示開始・終了タイミングの変更により同じフレーム内で重ならない位置を決定し、表示予定字幕の表示位置をその決定した位置データを付けた表示予定字幕を表示字幕データ出力部５３に渡すことを行う。
【００６７】
表示／非表示・修正／非修正決定部５１では、表示予定字幕の表示位置がオープンキャプションが検出された画面の所定領域と重なる場合に、オープンキャプションの内容と表示予定字幕の内容とを比較し、当該字幕を表示するか否か、当該字幕を修正するか否かを決定し、その決定内容を実行し、実行結果による字幕データを表示字幕データ出力部５３に渡すことを行う。
【００６８】
以下、文字認識部４１を用いないで表示位置やタイミング制御を行う場合（実施の形態１）と、文字認識部４１を用いて表示制御などを行う場合（実施の形態２）とに分けて説明する。
【００６９】
（実施の形態１）
文字認識部４１を用いないで表示位置やタイミング制御を行う場合には、オープンキャプションの検出結果を利用して、これから送出しようとする表示単位の字幕信号を、どの位置に、どのような開始・終了タイミングで送出するかを制御する。制御方法として、（１）字幕の位置のみ、（２）開始・終了タイミングのみ、（３）位置と開始・終了タイミングの双方、の３方法があり、オープンキャプションと表示する字幕との関係に応じて適用する。
【００７０】
（１）字幕の位置のみの制御では、オープンキャプションと異なる位置に字幕を移動する。これは、表示する字幕の開始・終了タイミングを変えたくない場合に行われる。移動する位置は、既に検出済みのオープンキャプションの位置と大きさから決定する。通常、オープンキャプションの位置は決められており、その場合には、重ならない一定の位置とすることができる。
【００７１】
（２）開始・終了タイミングのみの制御では、オープンキャプションと異なる開始・終了タイミングで字幕を表示する。これは、表示する字幕の位置を変えたくない場合に行われる。字幕の表示開始・終了タイミングは、既に検出済みのオープンキャプションの開始・終了タイミングと異なるように決定する。
【００７２】
（３）字幕の表示位置と開始・終了タイミングの双方の制御では、オープンキャプションと異なる位置及び開始・終了タイミングで字幕を表示する。これは、より適切に字幕を表示したい場合に行われる。字幕の表示位置及び開始・終了タイミングは、既に検出済みのオープンキャプションの表示位置及び開始・終了タイミングと異なるように決定する。
【００７３】
一般的には、図６に示す手順で字幕の表示位置制御を行うことができる。図６において、ステップＳ６１では、オープンキャプション判定部３９において、画面上の所定領域にオープンキャプションが存在するか否かの判定がなされる。この判定の要件は前述したが、少なくとも振幅レベルと静止時間が所定値以上あることが要件とされる。
【００７４】
その結果、オープンキャプションが存在すると判定された場合には（ステップＳ６２）、表示位置決定部４７及び表示タイミング決定部４９では、その検出されたオープンキャプションの存在位置、大きさ、開始・終了タイミングを調査し、存在位置が表示予定字幕の表示位置と重なるか否かを判定する（ステップＳ６３）。
【００７５】
次いでオープンキャプションの存在位置と表示予定字幕の表示位置とが重なる場合には、重なる時間が設定値Ｔ（秒）以下であるかどうかを判断する（ステップＳ６４）。なお、設定値Ｔは、例えば２秒である。
【００７６】
そして、重なる時間が設定値Ｔ（秒）以上である場合には、表示位置決定部４７が例えば同じフレーム内で重ならない他の位置を検索し、見つかるとその位置を表示位置に決定する（ステップＳ６５）。これにより、オープンキャプションと異なる位置に字幕の表示位置が決定される。決定結果は表示字幕データ出力部５３に渡される。
【００７７】
一方、重なる時間が設定値Ｔ（秒）以下である場合には、表示タイミング決定部４９が例えばオープンキャプションが存在しない他の直近フレームを検索し、表示タイミングを決定する（ステップＳ６６）。これにより、字幕の表示開始・終了タイミングが、既に検出済みのオープンキャプションの開始・終了タイミングと異なるように決定される。決定結果は表示字幕データ出力部５３に渡される。
【００７８】
このようにして表示位置やタイミングが決定された表示予定字幕が、表示字幕データ出力部５３により、記憶装置に蓄積される（ステップＳ６７）。なお、字幕の表示予定位置にオープンキャプションが存在しない場合（ステップＳ６２）や存在しても重ならない場合（ステップＳ６３）には、その旨が付された表示予定字幕が、表示字幕データ出力部５３により、記憶装置に蓄積される（ステップＳ６７）。
【００７９】
次に図７を用いて、図６に示す手順で実施される字幕の表示位置及び開始・終了タイミングの変更処理例を説明する。
【００８０】
図７において、オープンキャプションＯＰ１、ＯＰ２と字幕Ｊ１，Ｊ２，Ｊ３が図に示すタイミングで表示されると、字幕Ｊ２，Ｊ３の表示位置では重なりが生ずる。字幕Ｊ２の重なりが例えば２秒以下であれば、変更字幕Ｊ２のように開始・終了タイミングを遅らせる。また、字幕Ｊ３の重なりが例えば２秒以上であれば、変更字幕Ｊ３のように表示位置を変更する。このようにして、オープンキャプションとの重なりが回避される。
【００８１】
なお、変更後の開始・終了タイミングが、カット変わりやシーンチェンジなどにより、映像・音声に対して不自然となる場合がある。また重要な映像部分との重なりなどにより映像に対して不自然となる場合がある。それらに対する処理は、実施の形態２で説明する。
【００８２】
（実施の形態２）
文字認識部４１を用いて表示制御を行う場合は、オープンキャプション検出と字幕の表示制御に加えて、（１）オープンキャプションのテキスト化、（２）映像のカット検出、などの結果を利用することにより、字幕表示を的確に制御できるようになる。前述したのと若干重複するが、再述する。
【００８３】
（１）オープンキャプションのテキスト化：オープンキャプションが検出できると、そのオープンキャプションの内容をテキスト化することが可能である。検出されたオープンキャプションは一種の図形データであるが、文字図形をテキスト化する高性能な文字図形認識ソフトが市販されており、この技術が適用可能である。
【００８４】
テキスト化により、オープンキャプションの内容が把握できると、オープンキャプションのタイミングに近接した近隣字幕の表示の要否、近隣字幕の一部字幕内容の削除、削減に伴うタイミングの修正など、より充実した字幕適性化が可能となる。例えば、オープンキャプションと一致した内容の字幕は表示不要であるので削減する。また、オープンキャプションで表示されている内容部分を該当字幕内容から削減するなどが行える。
【００８５】
（２）映像情報の検出による字幕表示タイミングの制御：字幕表示のタイミングに関し、考慮すべき映像の情報としては、カット、ワイプ、ディゾルブ、パン、チルト、ズームなどがある。特にカット、ワイプ、ディゾルブは、映像内容の時間・空間的な隔たりを表現する手法として多用されている。この隔たりを無視した字幕表示は不適切である場合が多い。したがって、このようなことを避ける制御が必要である。例えば、カットのタイミングを避ける字幕の開始・終了タイミングの制御などがある。
【００８６】
次に、図８を用いて、文字認識部４１を用いた場合の表示制御動作（オープンキャプションの内容に応じた表示制御の適性化例）を説明する。
【００８７】
まず「（１）オープンキャプションのテキスト化」に関する処理を説明する。なお、図６と同一処理となるステップには同一符号を付してある。ここでは、異なる部分を説明する。
【００８８】
図８において、オープンキャプションの存在位置と表示予定字幕の表示位置とが重なる場合には（ステップＳ６３）、文字認識部４１が起動され、オープンキャプションの内容が識別される（ステップＳ８４）。次いで、表示／非表示・修正／非修正決定部５１において、オープンキャプションの内容と表示予定字幕の内容とを比較し、近似度を調査する。近似度は、２段階に渡って判断される（ステップＳ８５，８６）。
【００８９】
ステップＳ８５では、近似度が閾値１よりも大きいか否かが判断される。閾値１は、例えば近似度０．９である。近似度が高い場合には、当該字幕は表示しないと決定する（ステップＳ８７）。また、ステップＳ８６では、近似度が閾値２よりも大きいか否かが判断される。閾値２は、例えば近似度０．５である。類似部分があるときは、その類似部分を削除ないしは修正する決定を行う（ステップＳ８８）。
【００９０】
そして、近似度が低い場合には、図６で説明したように、重なり時間が設定値Ｔ以下であるか否かが判断され(ステップＳ６４)、判断結果に応じて表示位置とタイミングが制御される（ステップＳ６５，６６）。このようにして表示／非表示・修正／非修正の決定がなされた表示予定字幕が、表示字幕データ出力部５３により、記憶装置に蓄積される（ステップＳ８９）。
【００９１】
次に、ステップＳ９０〜Ｓ９２は、「（２）映像情報の検出による字幕表示タイミングの制御」に関する処理を示している。なお、実施の形態１（図６）においても、この「映像情報の検出による字幕表示タイミングの制御」が行えることはいうまでもない。
【００９２】
変更後の開始・終了タイミングが、カット変わりやシーンチェンジなどにより、映像・音声に対して不自然となる場合、また重要な映像部分との重なりなどにより映像に対して不自然となる場合があるので、映像のカット点を検出すると（ステップＳ９０）、字幕終了タイミングと比較し（ステップＳ９１）、不自然にならないように字幕の開始・終了タイミングを変更する（ステップＳ９２）。このようにして開始・終了タイミングの変更決定がなされた表示予定字幕が、表示字幕データ出力部５３により、記憶装置に蓄積される（ステップＳ８９）。
【００９３】
次に図９を用いて、図８に示す手順で実施される字幕表示の適性化処理例を説明する。図９において、オープンキャプションＯＰ１、ＯＰ２と字幕Ｊ１，Ｊ２，Ｊ３，Ｊ４が図に示すタイミングで表示されると、字幕Ｊ２，Ｊ３の表示位置では重なりが生ずる。また、字幕Ｊ４は、映像のカット点（図中、黒三角で示す点）に跨る。
【００９４】
そのため、字幕Ｊ４については、その開始・終了タイミングと映像の前記カット点とを比較し、終了タイミングを前記カット点以前となるように、開始・終了タイミングを変更する。このようにして、映像・音声との関係での不自然な表示が回避される。
【００９５】
また、字幕Ｊ２，Ｊ３の重なりは、オープンキャプションＯＰ１、ＯＰ２の内容との比較で処理する。即ち、字幕Ｊ３とオープンキャプションＯＰ２の内容が非常に近似している場合は、図に示すように、字幕Ｊ３の表示を取り止める。一方、近似していない場合は、前述したように字幕Ｊ３の表示位置を変更する。
【００９６】
字幕Ｊ２とオープンキャプションＯＰ１の例では、字幕Ｊ２の内容「森首相は昨日訪米し、ブッシュ大統領と会談した。」と、オープンキャプションＯＰ１の内容「ブッシュ大統領と会談」とを比較して、新しい内容「森首相は昨日訪米した。」及び開始・終了タイミングを変更した変更字幕Ｊ２’として表示する。このようにして、オープンキャプションとの重なりが適切に回避される。
【００９７】
なお、受信側でオープンキャプションを検出できる場合は、さらに多様な回避対策が可能である。字幕受信者が字幕を重視し、特に字幕に注視してテレビを見ているとすると、字幕は常に同じ位置に表示されているのが望ましい。字幕表示位置がその都度変わると見難いからである。また、字幕として該当内容が表示されている場合は、オープンキャプションは見えなくてもよいとも考えられる。
【００９８】
そのため、字幕は常に定まった位置に表示することとし、表示する字幕の内容にオープンキャプションの内容が全て、もしくは殆どが含まれる場合は、オープンキャプションを消去もしくはレベルを充分低減し、その他の場合は、オープンキャプションを所定位置の字幕表示に影響しない場所に移動して表示する処置を採ることとする。
【００９９】
これらの手法として例えば、消去は検出されたオープンキャプション信号を再生し、映像信号から同レベルで減算する。レベル低減は、所定の比率で減算することで実現できる。また、オープンキャプションの移動は、前記の方法で消去し他の位置で映像に合成する方法による。これらの手法は、充分実現可能な技術範囲である。
【０１００】
【発明の効果】
以上詳細に説明したように、本発明によれば、オープンキャプションの特徴を利用してその表示位置やタイミングなどを自動的に検知し、それと重複しないように表示予定字幕の表示位置やタイミングを自動的に制御するようしたので、人手によっていた作業を自動化することができる。また、オープンキャプションの表示位置やタイミングのみならず、そのキャプションをテキストとしても自動的に検知し、表示予定の字幕内容と比較して、字幕の表示／非表示、字幕内容の修正／非修正なども自動的に判別し実行させることができるので、字幕制作の効率化が図れるようになる。したがって、今後適用分野や番組数などの拡大が見込まれる字幕放送において、このような自動化は字幕番組制作上に大きな効果が期待される。
【図面の簡単な説明】
【図１】本発明に係るオープンキャプションに対する字幕表示制御方法を実施する自動字幕番組制作システムの機能ブロック構成図である。
【図２】自動字幕番組制作システムにおける字幕制作フローを、改良された現行字幕制作フローと対比して示した説明図である。
【図３】単位字幕文を表示単位字幕文毎に分割する際に適用される分割ルールの説明に供する図である。
【図４】アナウンス音声に対する字幕送出タイミングの同期検出技術に係る説明に供する図である。
【図５】アナウンス音声に対する字幕送出タイミングの同期検出技術に係る説明に供する図である。
【図６】本発明の実施の形態１に係るオープンキャプションに対する字幕表示制御方法を説明するフローチャートである。
【図７】実施の形態１による字幕の表示位置及び開始・終了のタイミングの変更例を示す図である。
【図８】本発明の実施の形態２に係るオープンキャプションに対する字幕表示制御方法を説明するフローチャートである。
【図９】実施の形態２による字幕表示の適性化処理例を示す図である。
【図１０】現行字幕制作フロー、及び改良された現行字幕制作フローを対比して示した説明図である。
【符号の説明】
１１ 自動字幕番組制作システム
１３ 電子化原稿記録媒体
１５ 同期検出装置
１７ 統合化装置
１９ 形態素解析部
２１ 分割ルール記憶部
２３ ディジタル・ビデオ・テープ・レコーダ（Ｄ−ＶＴＲ）
３３ 単位字幕文抽出部
３５ 表示単位字幕化部
３７ タイミング情報付与部
３９ オープンキャプション判定部
４１ 文字認識部
４３ 画面変更判定部
４５ 字幕表示位置制御部
４７ 表示位置決定部
４９ 表示タイミング決定部
５１ 表示／非表示・修正／非修正決定部
５３ 表示字幕データ出力部

Claims (2)

1. テレビ映像にスーパー表示されるオープンキャプションの有無及びそのオープンキャプションの内容を検知し、自動字幕番組制作システムにおいて制作された表示予定字幕の表示予定位置に前記オープンキャプションが存在するとき、前記オープンキャプションの内容と前記表示予定字幕の内容との近似度を調査し、調査した近似度の程度に応じて、前記表示予定字幕の表示／非表示ないしは修正／非修正を決定することを特徴とするオープンキャプションに対する字幕表示制御方法。
2. 請求項１に記載のオープンキャプションに対する字幕表示制御方法において、前記テレビ映像のシーン変更点を検出し、検出したシーン変更点と字幕終了タイミングとを比較し、比較結果に基づき字幕終了タイミングを変更することを特徴とするオープンキャプションに対する字幕表示制御方法。

Images