JP4500957B2 - 字幕制作システム - Google Patents
字幕制作システム Download PDFInfo
- Publication number
- JP4500957B2 JP4500957B2 JP2003132670A JP2003132670A JP4500957B2 JP 4500957 B2 JP4500957 B2 JP 4500957B2 JP 2003132670 A JP2003132670 A JP 2003132670A JP 2003132670 A JP2003132670 A JP 2003132670A JP 4500957 B2 JP4500957 B2 JP 4500957B2
- Authority
- JP
- Japan
- Prior art keywords
- timing information
- data
- display unit
- subtitle
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、字幕制作システムに関し、特に、非スピーチ情報を含む字幕データを効率的に制作することが可能な字幕制作システムに関する。
【０００２】
【従来の技術】
字幕放送を普及させるため、郵政省（当時）から、２００７年までに字幕付与可能な番組全てに字幕を付与するという指針が出されている。
【０００３】
ところが、日本における字幕放送の実施状況は、ＮＨＫの総合テレビが７３．４％と比較的高いものの、在京民放５社の平均は、１６．１％に過ぎない。この実施率は、欧米（例えば、米国では７０％）に比べて著しく低く、字幕放送利用者を始めとする各方面から字幕放送の拡充が強く求められている。
【０００４】
字幕放送の実施率が向上しない最大の原因は、字幕番組制作における多くの部分が手作業により行われていることにある。即ち、字幕番組の作成には、多くの人手と、時間と、コストがかかる。特に、スピーチの書起しを含む字幕データの作成は、作業者の知識と能力に大きく依存するため、自動化が極めて困難であり、また、効率化も困難である。
【０００５】
詳述すると、書起し作業は、テレビ素材番組を収録したビデオテープをＶＴＲで再生し、再生された音声の中から字幕として表示すべき音（通常人の声、以下、スピーチと呼ぶ。）を選択的に聴取することにより行われる。その際、再生された映像に付加されたタイムコードに基づき、スピーチの開始及び終了のタイミングを特定し、それを表すタイミング情報を書起されたテキストデータに付加することも行われる。このような作業を行うには、スピーチ部分の頭出しや、書起しを容易にするための再生速度の調整、繰り返し再生、あるいはスピーチ部分終了点の確認など、複雑なＶＴＲ操作を行わなければならない。したがって、書起し作業を行う者には、高い聞き取り能力のみならず、豊富な語彙と、高い理解力が求められ、さらに複雑なＶＴＲ操作も同時に行えるという器用さも求められる。
【０００６】
以上のことから、字幕番組の制作効率の向上には、書起し作業を行う者の負担軽減が必須である。
【０００７】
書起し作業の負担を軽減することができる従来の字幕作成システムとして、スピーチを書起したテキストデータに対して、タイミング情報の付与を自動的に行うものがある（例えば、特許文献１参照。）。
【０００８】
この字幕制作システムは、電子化された字幕文テキストデータが与えられると、そのデータが示すテキスト（文字列）が画面表示に適した文字列、即ちテレビ画面上での表示単位である単位字幕文、に分割されるように自動的に改行・改頁を行う。その一方で、その字幕文テキストデータの素材であるテレビ番組を収録したビデオテープを再生し、それに付加されているタイミング情報を利用して、分割された単位字幕文が表示されるべきタイミングを決定するタイミング情報を得る。そして、得られたタイミング情報を、単位字幕文データに付加して、字幕放送用の字幕データを生成する。
【０００９】
この字幕作成システムを用いれば、書起し作業者が、スピーチをテキストデータに書起すだけで、タイミング情報が適切に付与された字幕データを得ることができる。
【００１０】
また、字幕制作システムではないが、字幕放送を受信して得た字幕データに含まれるテキストを利用者からの指定に従って分割し、分割された字幕文にそれぞれ対応するタイミング情報を付加し、テレビ画面上での表示形式を変更できるようにするシステムもある（例えば、特許文献２参照）。
【００１１】
このシステムを書起し作業に利用すれば、画面に表示された状態の文字列を考慮すること無く、適当に（例えば、話者毎あるいは文単位に）、タイミング情報を付与しておくことで、後に、適切な画面表示を可能にする字幕用データに変更することができる。
【００１２】
【特許文献１】
特開２００２−３４２３１１号公報
【００１３】
【特許文献２】
特開２０００−３５０１１７号公報
【００１４】
【発明が解決しようとする課題】
通常のテレビ番組では、登場人物の紹介や場面説明を始めとする様々な非スピーチ情報を字幕により提供することが行われている。このような非スピーチ情報の提供は、文字放送においても提供されるべきである。
【００１５】
また、字幕放送においては、複数の登場人物がかわるがわる、あるいは同時に発言するような場面（例えば、対談や討論など）では、その発言内容を文字表示するだけでなく、話者を特定するための情報、例えば話者名、を文字表示する必要もある。
【００１６】
しかしながら、従来の字幕制作システムでは、単位字幕文データと素材番組を再生した音声との間の時間同期を取ることによって、タイミング情報を取得しているため、字幕用テキストと再生された音声の内容とが一致していなければならず、上記のような非スピーチ情報が存在すると自動的にタイミング情報を付与することができなくなるという問題点がある。
【００１７】
また、従来の表示形式を変更するシステムを書起しに利用した場合は、非スピーチ情報の存在が問題となることはなく、また、入力作業の手間を若干軽減することができる。しかしながら、この方法は、タイミング情報を、例えば一文毎に付与する必要があるため、従来の書起し作業と同じく、作業者に対して高い能力を要求するという問題点がある。
【００１８】
そこで、本発明は、書起し作業の負担を軽減することができ、非スピーチ情報を含む入力データから字幕データを制作することができる、簡易な構成の字幕制作システムを提供することを目的とする。
【００２０】
【課題を解決するための手段】
本発明によれば、素材番組の音声に対応するテキストを表すテキストデータを含む入力データから、前記テキストを処理に適した長さに区切るための区切り可能箇所情報を含む処理単位字幕データを生成する制作単位抽出部と、前記処理単位字幕データから、前記テキストを画面表示に適した表示単位字幕文となるように改行・改頁して得た表示単位字幕データを生成する表示単位字幕化部と、前記表示単位字幕データと前記素材番組の再生音声及び再生タイムコードとに基づいて自動音声同期処理を行い、前記表示単位字幕文を画面上に表示するタイミングを決定するタイミング情報を生成する同期検出部と、前記表示単位字幕データと前記同期検出部からの前記タイミング情報とを含む放送用字幕データを制作するタイミング付与部とを備え、前記表示単位字幕化部は、前記処理単位字幕データのうち、予備タイミング情報が付与されている頁については、当該頁に含まれるテキストを改行・改頁したことにより新たなタイミング情報が必要となったとき、前記予備タイミング情報を用いる按分法により当該新たなタイミング情報を生成し、かつ前記入力データのうち、予備タイミング情報が付与されていない頁については、当該頁に含まれるテキストを改行・改頁したことにより新たなタイミング情報が必要となったとき、前記処理単位字幕データを前記同期検出部へ送って、前記同期検出部に前記新たなタイミング情報を生成させるようにしたことを特徴とする字幕制作システムが得られる。
【００２１】
さらに、本発明によれば、素材番組の音声に対応するテキストを含む入力データから、前記テキストを表示単位字幕文となるように改行・改頁して得た表示単位字幕文データを生成するとともに、前記表示単位字幕文データと、前記素材番組の生成音声及び再生タイムコードとに基づいて、前記表示単位字幕文を画面上に表示するタイミングを決定するタイミング情報を生成し、前記表示単位字幕文データと前記タイミング情報とを含む放送用字幕データを自動制作する字幕制作方法において、前記入力データのうち、予備タイミング情報が付与されている頁については、当該頁に含まれるテキストを前記表示単位字幕文となるように改行・改頁したあと、前記予備タイミング情報を用いる按分法により必要に応じて新たなタイミング情報を生成し、前記入力データのうち、予備タイミング情報が付与されていない頁については、当該頁に含まれるテキストを前記表示単位字幕文となるように改行・改頁したあと、前記表示単位字幕文データと前記再生音声との時間同期をとる自動音声同期処理により必要に応じて新たなタイミング情報を生成するようにしたことを特徴とする字幕制作方法が得られる。
【００２２】
さらにまた、本発明によれば、コンピュータに、素材番組の音声に対応するテキストを含む入力データから、前記テキストを表示単位字幕文となるように改行・改頁して得た表示単位字幕文データを生成させるとともに、前記表示単位字幕文データと、前記素材番組の生成音声及び再生タイムコードとに基づいて、前記表示単位字幕文を画面上に表示するタイミングを表わすタイミング情報を生成させ、前記表示単位字幕文データと前記タイミング情報とを含む放送用字幕データを自動制作させる字幕制作プログラムにおいて、前記入力データのうち、予備タイミング情報が付与されている頁については、当該頁に含まれるテキストを前記表示単位字幕文となるように改行・改頁したあと、前記予備タイミング情報を用いる按分法により必要に応じて新たなタイミング情報を生成させ、前記入力データのうち、予備タイミング情報が付与されていない頁については、当該頁に含まれるテキストを前記表示単位字幕文となるように改行・改頁したあと、前記表示単位字幕文データと前記再生音声との時間同期をとる自動音声同期処理により必要に応じて新たなタイミング情報を生成させるようにしたことを特徴とする字幕制作プログラム。
【００２３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００２４】
図１に本発明の一実施の形態に係る字幕制作システムの構成を示す。図示の字幕制作システムは、素材番組をもとに作成された入力データ（電子化原稿）１００を受けて放送用字幕データを制作する字幕制作制御部１０と、光ディスク等の記録媒体に記録された素材番組を再生する記録再生部２０と、字幕制作制御部１０の制御下で入力データから抽出した表示単位字幕文と記録再生部２０からの再生音声との同期を取る同期検出部３０と、字幕制作制御部１０の制御下で入力データから抽出されたテキスト（文字列）の形態素解析を行う形態素解析部４０と、入力データから抽出されたテキストを分割（改行・改頁）するための分割ルールを記憶する記憶部５０と、字幕制作制御部１０で制作された放送用字幕データに基づく字幕と記録再生部２０で再生された素材番組とをともに表示する監視モニタ６０とを有している。
【００２５】
字幕制作制御部１０は、例えばパーソナルコンピュータにより実現され、入力データ１００を処理単位字幕データ１１０に分割する制作単位抽出部１１と、処理単位字幕データ１１０に含まれるテキストを画面表示に適するよう分割・結合する表示単位字幕化部１２と、表示単位字幕データ１２０にタイミング情報を付加して放送用字幕データ１３０とするタイミング付与部１３とを備えている。
【００２６】
本実施の形態においては、同期検出部３０及び形態素解析部４０はそれぞれ専用コンピュータにより実現される場合を想定しているが、字幕制作制御部１０を含め１台のコンピュータで実現することも可能である。
【００２７】
入力データ１００は、図示しない原稿電子化装置（例えば、パーソナルコンピュータ等）を用いて、素材番組に含まれる音声を表わすを文字列を電子データ化（テキスト変換）したものである。書起し作業者は、ノンリニア操作可能なディスク記録再生装置用いて行われる。
【００２８】
入力データ１００としては、テキストデータ及びＸＭＬ（eXtensible Markup Language）データを想定している。テキストデータは、素材番組に含まれる音声を書起した文字列（漢字かな混じり文字列）を表わすデータ（スピーチ情報）と改行情報とを含む。また、ＸＭＬデータは、このテキストデータに、頁情報（頁先頭・末尾情報）や各頁を表示するタイミングを特定するためのタイミング情報等を加えたものである。また、ＸＭＬデータの場合には、話者のプロフィール等、素材番組の音声とは無関係の文字列を表わすデータ（非スピーチ情報）及びそれを表示するためのタイミング情報を含む場合もある。この入力データ１００は、磁気ディスクや光ディスクなどの記録媒体に記録された状態で、字幕制作制御部１０に与えられる。
【００２９】
字幕制作制御部１０の制作単位抽出部１１は、記録媒体に記録された入力データをテキスト１行分ずつ読み込み、読み込んだ一行分のテキストを表わすデータを形態素解析部４０へ送る。
【００３０】
形態素解析部４０は、創作単位抽出部１１から送られてきたテキストを形態素に分割して解析し、そのテキストにおける区切り可能個所を特定する。そして、特定した区切り可能個所情報をそのテキストに追加して制作単位抽出部１１へ送り返す。なお、区切り可能個所は、例えば、句点の後ろ、読点の後ろ、文節と文節との間、あるいは形態素品詞間などであり、この順に優先度を高くしてある。
【００３１】
制作単位抽出部１１は、形態素解析部４０から送り返されたテキストを、それに付加された区切り可能個所情報を参照して、適当な長さ（７０〜９０字程度）に区切り、区切り可能個所情報とともに処理単位字幕データ１１０として、表示単位字幕化部１２へ送出する。但し、入力データ１００のうちタイミング情報（以下、予備タイミング情報という。）が既に追加されている頁に関しては、頁毎に処理単位字幕データ１１０として表示単位字幕化部１２へ送出する。
【００３２】
表示単位字幕化部１２は、記憶部５０に記憶された分割ルールに基づいて、制作単位抽出部１１からの処理単位字幕データ１１０が表わすテキストを、画面上に表示される形式に適合するように分割・結合し、表示単位字幕データ１２０を生成する。つまり、表示単位字幕化部１２は、画面上に表示される字幕の行数及び文字数が、記憶部５０に記憶された分割ルールで規定される一頁当たりの最大行数及び最大文字数以下となるように、処理単位字幕データ１１０が表わすテキストを分割・結合（改行・改頁）して表示単位字幕文とし、それを表わす表示単位字幕データ１２０を生成する。その際、表示単位字幕化部１２は、処理単位字幕データ１２０が予備タイミング情報を含むものである場合には、テキストを分割したことによって新たに必要となるタイミング情報（以下、追加タイミング情報）を、入力された処理単位字幕データに含まれている予備タイミング情報を用いた按分法により生成、追加する。
【００３３】
また、表示単位字幕化部１２は、上記のように生成した表示単位字幕文を同期検出システム３０へ通知する。ただし、表示単位字幕化部１２は、予備タイミング情報を含む処理単位字幕データ１１０に基づいて生成した表示単位字幕文については、同期検出システム３０への通知を行わない。
【００３４】
同期検出システム３０には、表示単位字幕化部１２からの表示単位字幕文を表わすデータのほか、記録再生部２０で再生された素材番組の再生音声と再生タイムコードとが入力される。ここで、記録再生部２０は、制作単位抽出部１１の読み込み開始から所定時間遅れて素材番組の再生を開始するものとする。
【００３５】
同期検出システム３０は、記録再生部２０からの再生音声に対して音声認識処理を行い、表示単位字幕化部１２からの表示単位字幕文と比較する。そして、各表示単位文に対応する再生音声の開始時点及び終了時点に夫々対応するタイムコードを得る。同期検出システム３０は、得られたタイムコードをタイミング付与部１３へ出力する。
【００３６】
タイミング付与部１３は、同期検出システム３０から入力されるタイムコードを、対応する表示単位字幕文を表示するためのタイミング情報として、表示単位字幕化部１２からの表示単位字幕データ１２０に挿入し、放送用字幕データ１３０として監視用モニタ６０及び図示しない外部蓄積部へ出力する。
【００３７】
監視モニタ６０には、記録再生部２０で再生された映像が所定時間遅延させて入力されており、その映像にタイミング付与部１３からの放送用字幕データを重ねて表示する。監視モニタ６０の表示内容を監視することにより、字幕制作制御部１０から出力された放送用字幕データに基づいて表示される字幕の表示タイミング等の問題点が見出され、その後の修正等に利用される。
【００３８】
図１の字幕制作システムは、概略、図２に示すように動作する。
【００３９】
即ち、入力データを一行分ずつ取り込み（ステップＳ２０１）、処理単位字幕データを作成する（ステップＳ２０２）。次に、処理単位字幕文を分割ルールに従い分割して表示単位字幕文データを生成する（ステップＳ２０３）。そして、分割により新たなタイミング情報が必要となった場合（ステップＳ２０４のＹ）は、表示単位字幕文が含まれる頁に予備タイミング情報が付与されているか否か判定する（ステップＳ２０５）。予備タイミング情報が付与されている場合は、それを用いた按分法により追加タイミング情報を生成し追加する（ステップＳ２０６）。予備タイミング情報が付与されていない場合は、同期検出部３０で同期検出を行ってタイミングコードを得る（ステップＳ２０７）。そして、タイミングコードを表わす追加タイミング情報を生成して表示単位字幕データに追加する（ステップＳ２０８）。最後に、上述のようにして得られた放送用字幕データを外部へ出力する（ステップＳ２０９）。
【００４０】
以下、本実施の形態に係る字幕制作システムの動作について実施例に基づき詳細に説明する。
【００４１】
［実施例１］
入力データとして図３に示すＸＭＬデータを考える。このＸＭＬデータでは、全ての頁に予備タイミング情報（IN_TIME=""及びOUT_TIME=""；""内の数字は、前から２桁ずつ、時間、分、秒及びフレームＮｏ．をそれぞれ示す。）が付与されている。
【００４２】
このような入力データが字幕制作制御部１０に与えられると、制作単位抽出部１１は、形態素解析部４０と協働して各頁に含まれるテキストに対して区切り可能個所情報を付加し、処理単位字幕文を生成して処理単位字幕データ１１０として表示単位字幕化部１２へ出力する。
【００４３】
表示単位字幕化部１２は、記憶部５０の分割ルールを参照して各頁のテキストを分割（改行・改頁）する。本実施例では、全ての頁に予備タイミング情報が付与されているので、テキストの分割により新たに必要となる追加タイミング情報は、予備タイミング情報を利用した按分法により生成される。
【００４４】
本実施例の場合、全ての頁に既存タイミング情報が含まれているので、表示単位字幕化部１２から同期検出部３０への表示単位字幕文に関する情報は出力されない。したがって、同期検出部３０からタイムコードは出力されず、タイミング付与部１３での新たなタイミング情報の付与も行われない。したがって、表示単位字幕化部１２からの出力がそのままタイミング付与部１３を介して放送用字幕データとして出力される。このとき得られる放送用字幕データは、図４のようになる。
【００４５】
ここで、表示単位字幕化部１２における追加タイミング情報の生成について説明する。
【００４６】
入力データ（ＸＭＬデータ）が図５で示されるようなものであって、そこから、図６に示すような表示単位字幕文が生成されたとする。この場合、図６における第２番目の文字列の終了タイミング及び第３番目の文字列の開始タイミングを図５から直接得ることができない。即ち、入力データに含まれる予備タイミング情報をそのまま利用することはできない。
【００４７】
そこで、表示単位字幕化部１２は、「法務局内に忘れてきました。」の終了タイミングを計算により求める。この文字列の構成は、かな７文字、漢字５文字であって、その統計的読み数は１６．３である。図５からこの文字列に関する一読み数に対応する時間（読速）は０．１２なので、この文字列に関する所要時間は、１６．３×０．１２＝１．８９となる。したがって、図６の第２番目の文字列の終了タイミングは、上記文字列の開始タイミングである２７．１５に所要時間１．８９を加えた２９．０４となる。図６の第３番目の文字列の開始タイミングについては、第２番目の文字列の終了タイミングに一致させればよい。
【００４８】
以上のように、本実施の形態の字幕創作システムは、全ての頁に予備タイミング情報が付与されている入力データから画面表示に適した放送用字幕データを自動的に制作することができる。なお、按分法は、音声同期処理に比べて著しく短い時間で必要とされる追加タイミング情報を生成することができるので、上記のように全ての頁に予備タイミング情報が付与されている場合には、素材番組の放送（再生）に要する時間の１／３０程度の時間で、放送用字幕データを得ることができる。また、按分法により得られたタイミング情報に基づく字幕の表示とそれ対応する音声との間のずれは、１秒以下であり、許容範囲内と考えられる。
【００４９】
［実施例２］
本実施の形態に係る字幕制作システムは、入力データとして既存の放送用字幕データを用いることもできる。即ち、この字幕制作システムは、既存の放送用字幕データの表示形式を変更する場合にも利用できる。
【００５０】
例えば、標準放送と高精細放送とでは、画面（画像）の縦横比が異なるので、標準放送用に作成した字幕データを高精細放送に利用する場合には、見易さ等の観点から字幕１行当たりの文字数を変更したい場合がある。そのような場合に、本実施の形態に係る字幕制作システムを利用することができる。
【００５１】
具体例を挙げると、図７に示すような、１５行×２行で字幕表示を行う３頁分の標準放送用字幕データがあり、これを２２行×２行での字幕表示を行う高精細放送用字幕データに変更したい場合、本実施の形態に係る字幕制作システムは、実施例１と同様に動作して、図８に示すような出力データを出力する。本実施例の場合、字幕の再整形により必要となる追加タイミング情報は、全て按分法により得ることができる。
【００５２】
このように、本実施の形態に係る字幕制作システムは、既に制作されている放送用字幕データの再整形にも利用できる。
【００５３】
［実施例３］
本実施の形態に係る字幕制作システムは、予備タイミング情報を持つ頁と持たない頁とが混在する入力データにも対応できる。
【００５４】
例えば、図９に示す様な字幕表示を行う場合を考える。図９に示すテキストのうち、第２行から第６行の斜体文字列が非スピーチ情報であり、残りがスピーチ情報である。この場合、非スピーチ情報については、書起し作業者が手入力でタイミング情報を付加する。その結果、得られるＸＭＬデータは、図１０のようになる。
【００５５】
図１０に示す入力データが与えられると、本実施の形態に係る字幕制作システムは、予備タイミング情報を有する頁については、実施例１及び２と同様にして、按分法により必要な追加タイミング情報を得る。一方、予備タイミング情報を有していない頁については、同期検出部３０において音声自動同期検出を行い、各表示単位字幕に対応する再生音声の開始タイミング及び表示終了タイミングに一致するタイムコードを取得し、取得したタイムコードの基づいて追加タイミング情報を生成する。こうして、図１１に示すような放送用字幕データを得ることができる。
【００５６】
以上のように、本実施の形態に係る字幕制作システムでは、入力データのうちの予備タイミング情報が含まれている頁については、自動音声同期処理を行うこと無く追加タイミング情報が生成される。また、入力データのうちの予備タイミング情報が含まれていない頁については、自動音声同期処理により追加タイミング情報が生成される。従って、スピーチ情報については予備タイミング情報を付与せず、非スピーチ情報には予備タイミング情報を付与しておくようにすることで、スピーチ情報及び非スピーチ情報が混在する入力データに対して、タイミング情報の自動付与を行うことができる。
【００５７】
しかも、按分法による追加タイミングの生成は、自動音声同期処理に比べて処理に要する時間が著しく短いので、非スピーチ情報が含まれていない入力データに対してタイミング情報を自動付与する場合に要する時間とほぼ同じ処理時間で、スピーチ情報及び非スピーチ情報が混在する入力データに対するタイミング情報の自動付与を行うことができる。
【００５８】
［実施例４］
既存タイミング情報を持つ頁と持たない頁が混在する入力データに対してタイミング情報の自動付与を行うと、予備タイミング情報を持たない頁のテキストに関して付加した追加タイミング情報が、予備タイミング情報と整合しない場合が起こり得る。これは、例えば、同期検出部３０において再生音声に含まれる雑音をスピーチと認識した場合などに生じる。
【００５９】
ここで、図１２に示すテキストデータを考える。第２行目の斜体文字列が非スピーチ情報であり、この非スピーチ情報には、書起し作業者が手作業で予備タイミング情報を与えるものとする。そして、このような入力データが入力された場合に、同期検出部３０から得られるタイムコードに基づいて追加タイミング情報を付加した結果、図１３に示すような結果が得られたと仮定する。この場合、第１番目の頁を表示している間に、第２番目の頁を表示しなければならないことになっており、いずれかのタイミング情報が不適切であることは明らかである。
【００６０】
このような事態を避けるため、タイミング付与部１３は、自動付与した追加タイミング情報が予備タイミング情報と整合するか否か判定する。そして、互いに連続する頁の表示時間が重なっている場合には、自動付与した追加タイミング情報を変更して２つの頁の表示時間に重なりがなくなるように調整できるか否か判定する。つまり、自動付与したタイミング情報を表示時間に重なりがなくなるように変更した場合、その頁を表示する時間として許容できる表示時間が残るか否か判断する。図１３の場合、第１番目の頁の表示時間は２１秒であり、第２番目の頁の表示時間である１０秒を差し引いても１１秒の残りがある。したがって、１番目の頁の表示時間を短縮しても何ら問題がないであろうと判定できる。この結果、タイミング付与部１３は、１番目の頁の表示終了時間が誤りであると判断して、第２頁の表示開始時間に一致させる。こうして、タイミング付与部１３は、タイミング情報を自動補正して、図１３に示す放送用字幕データを出力する。
【００６１】
なお、タイミング付与部１３は、重なり部分をなくすよう調整することが適切でないと判断した場合は、タイミング情報の自動補正を行わない。この場合は、後に、手入力により修正が行われる。
【００６２】
以上、本発明について一実施の形態に即して説明したが、本発明は上記実施の形態に限定されるものではない。
【００６３】
例えば、上記実施の形態では、予備タイミング情報の有無に基づいて頁単位で表示単位字幕文を同期検出部３０へ送出するか否か判断するようにしたが、対談や討論における話者名とそのスピーチのように、スピーチ情報と非スピーチ情報とを同一頁に表示したい場合には、例えば、所定の記号で挟まれた文字列のみ同期検出部３０へ送出する／送出しない、とすればよい。具体的には、“「」（かぎ括弧）”で囲まれた文字列のみを同期検出部３０へ送信するようにしたり、あるいは“<>”で囲まれた文字列は同期検出部３０へ送出しないようにしておけばよい。
【００６４】
【発明の効果】
本発明によれば、入力データのうち予備タイミング情報が付与された頁についてはその予備タイミング情報を用いた按分法により、予備タイミング情報が付与されていない頁については音声同期処理法により、テキストの改行・改頁により必要となる新たなタイミング情報を得るようにしたことで、非スピーチ情報を含むテキストデータから字幕データを自動制作することができる。そして、その結果、字幕作成の書起し作業の負担を軽減することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る字幕制作システムの構成を示す概略図である。
【図２】図１の字幕制作システムにおける字幕制作制御部の動作を説明するためのフローチャートである。
【図３】図１の字幕制作システムに入力される入力データの一例を示す図である。
【図４】図３の入力データから制作された放送用字幕データを示す図である。
【図５】図１の字幕制作システムに入力される他の入力データに含まれるテキストとそれに関連する関連情報とを示す図である。
【図６】図５の他の入力データに含まれるテキストから得た表示単位字幕文とその開始・終了時間とを示す図である。
【図７】図１の字幕制作システムに入力される入力データのさらに別の例を示す図である。
【図８】図７の入力データから制作された放送用字幕データを示す図である。
【図９】スピーチ情報と非スピーチ情報とを含むテキストの例である。
【図１０】図９のテキストから生成したＸＭＬデータを示す図である。
【図１１】図１０のＸＭＬデータを図１の字幕制作システムに入力して得られる放送用字幕データを示す図である。
【図１２】スピーチ情報と非スピーチ情報とを含むテキストの他の例である。
【図１３】手入力された予備タイミング情報と自動付与された追加タイミング情報とが整合していていない状態のＸＭＬデータを示す図である。
【図１４】手入力された予備タイミング情報と自動付与された追加タイミング情報とが整合した状態のＸＭＬデータを示す図である。
【符号の説明】
１０ 字幕制作制御部
１１ 制作単位抽出部
１２ 表示単位字幕化部
１３ タイミング付与部
２０ 記録再生部
３０ 同期検出システム
４０ 形態素解析部
５０ 記憶部
６０ 監視モニタ
１００ 電子化原稿（入力データ）
１１０ 処理単位字幕データ
１２０ 表示単位字幕データ
１３０ 放送用字幕データ
【発明の属する技術分野】
本発明は、字幕制作システムに関し、特に、非スピーチ情報を含む字幕データを効率的に制作することが可能な字幕制作システムに関する。
【０００２】
【従来の技術】
字幕放送を普及させるため、郵政省（当時）から、２００７年までに字幕付与可能な番組全てに字幕を付与するという指針が出されている。
【０００３】
ところが、日本における字幕放送の実施状況は、ＮＨＫの総合テレビが７３．４％と比較的高いものの、在京民放５社の平均は、１６．１％に過ぎない。この実施率は、欧米（例えば、米国では７０％）に比べて著しく低く、字幕放送利用者を始めとする各方面から字幕放送の拡充が強く求められている。
【０００４】
字幕放送の実施率が向上しない最大の原因は、字幕番組制作における多くの部分が手作業により行われていることにある。即ち、字幕番組の作成には、多くの人手と、時間と、コストがかかる。特に、スピーチの書起しを含む字幕データの作成は、作業者の知識と能力に大きく依存するため、自動化が極めて困難であり、また、効率化も困難である。
【０００５】
詳述すると、書起し作業は、テレビ素材番組を収録したビデオテープをＶＴＲで再生し、再生された音声の中から字幕として表示すべき音（通常人の声、以下、スピーチと呼ぶ。）を選択的に聴取することにより行われる。その際、再生された映像に付加されたタイムコードに基づき、スピーチの開始及び終了のタイミングを特定し、それを表すタイミング情報を書起されたテキストデータに付加することも行われる。このような作業を行うには、スピーチ部分の頭出しや、書起しを容易にするための再生速度の調整、繰り返し再生、あるいはスピーチ部分終了点の確認など、複雑なＶＴＲ操作を行わなければならない。したがって、書起し作業を行う者には、高い聞き取り能力のみならず、豊富な語彙と、高い理解力が求められ、さらに複雑なＶＴＲ操作も同時に行えるという器用さも求められる。
【０００６】
以上のことから、字幕番組の制作効率の向上には、書起し作業を行う者の負担軽減が必須である。
【０００７】
書起し作業の負担を軽減することができる従来の字幕作成システムとして、スピーチを書起したテキストデータに対して、タイミング情報の付与を自動的に行うものがある（例えば、特許文献１参照。）。
【０００８】
この字幕制作システムは、電子化された字幕文テキストデータが与えられると、そのデータが示すテキスト（文字列）が画面表示に適した文字列、即ちテレビ画面上での表示単位である単位字幕文、に分割されるように自動的に改行・改頁を行う。その一方で、その字幕文テキストデータの素材であるテレビ番組を収録したビデオテープを再生し、それに付加されているタイミング情報を利用して、分割された単位字幕文が表示されるべきタイミングを決定するタイミング情報を得る。そして、得られたタイミング情報を、単位字幕文データに付加して、字幕放送用の字幕データを生成する。
【０００９】
この字幕作成システムを用いれば、書起し作業者が、スピーチをテキストデータに書起すだけで、タイミング情報が適切に付与された字幕データを得ることができる。
【００１０】
また、字幕制作システムではないが、字幕放送を受信して得た字幕データに含まれるテキストを利用者からの指定に従って分割し、分割された字幕文にそれぞれ対応するタイミング情報を付加し、テレビ画面上での表示形式を変更できるようにするシステムもある（例えば、特許文献２参照）。
【００１１】
このシステムを書起し作業に利用すれば、画面に表示された状態の文字列を考慮すること無く、適当に（例えば、話者毎あるいは文単位に）、タイミング情報を付与しておくことで、後に、適切な画面表示を可能にする字幕用データに変更することができる。
【００１２】
【特許文献１】
特開２００２−３４２３１１号公報
【００１３】
【特許文献２】
特開２０００−３５０１１７号公報
【００１４】
【発明が解決しようとする課題】
通常のテレビ番組では、登場人物の紹介や場面説明を始めとする様々な非スピーチ情報を字幕により提供することが行われている。このような非スピーチ情報の提供は、文字放送においても提供されるべきである。
【００１５】
また、字幕放送においては、複数の登場人物がかわるがわる、あるいは同時に発言するような場面（例えば、対談や討論など）では、その発言内容を文字表示するだけでなく、話者を特定するための情報、例えば話者名、を文字表示する必要もある。
【００１６】
しかしながら、従来の字幕制作システムでは、単位字幕文データと素材番組を再生した音声との間の時間同期を取ることによって、タイミング情報を取得しているため、字幕用テキストと再生された音声の内容とが一致していなければならず、上記のような非スピーチ情報が存在すると自動的にタイミング情報を付与することができなくなるという問題点がある。
【００１７】
また、従来の表示形式を変更するシステムを書起しに利用した場合は、非スピーチ情報の存在が問題となることはなく、また、入力作業の手間を若干軽減することができる。しかしながら、この方法は、タイミング情報を、例えば一文毎に付与する必要があるため、従来の書起し作業と同じく、作業者に対して高い能力を要求するという問題点がある。
【００１８】
そこで、本発明は、書起し作業の負担を軽減することができ、非スピーチ情報を含む入力データから字幕データを制作することができる、簡易な構成の字幕制作システムを提供することを目的とする。
【００２０】
【課題を解決するための手段】
本発明によれば、素材番組の音声に対応するテキストを表すテキストデータを含む入力データから、前記テキストを処理に適した長さに区切るための区切り可能箇所情報を含む処理単位字幕データを生成する制作単位抽出部と、前記処理単位字幕データから、前記テキストを画面表示に適した表示単位字幕文となるように改行・改頁して得た表示単位字幕データを生成する表示単位字幕化部と、前記表示単位字幕データと前記素材番組の再生音声及び再生タイムコードとに基づいて自動音声同期処理を行い、前記表示単位字幕文を画面上に表示するタイミングを決定するタイミング情報を生成する同期検出部と、前記表示単位字幕データと前記同期検出部からの前記タイミング情報とを含む放送用字幕データを制作するタイミング付与部とを備え、前記表示単位字幕化部は、前記処理単位字幕データのうち、予備タイミング情報が付与されている頁については、当該頁に含まれるテキストを改行・改頁したことにより新たなタイミング情報が必要となったとき、前記予備タイミング情報を用いる按分法により当該新たなタイミング情報を生成し、かつ前記入力データのうち、予備タイミング情報が付与されていない頁については、当該頁に含まれるテキストを改行・改頁したことにより新たなタイミング情報が必要となったとき、前記処理単位字幕データを前記同期検出部へ送って、前記同期検出部に前記新たなタイミング情報を生成させるようにしたことを特徴とする字幕制作システムが得られる。
【００２１】
さらに、本発明によれば、素材番組の音声に対応するテキストを含む入力データから、前記テキストを表示単位字幕文となるように改行・改頁して得た表示単位字幕文データを生成するとともに、前記表示単位字幕文データと、前記素材番組の生成音声及び再生タイムコードとに基づいて、前記表示単位字幕文を画面上に表示するタイミングを決定するタイミング情報を生成し、前記表示単位字幕文データと前記タイミング情報とを含む放送用字幕データを自動制作する字幕制作方法において、前記入力データのうち、予備タイミング情報が付与されている頁については、当該頁に含まれるテキストを前記表示単位字幕文となるように改行・改頁したあと、前記予備タイミング情報を用いる按分法により必要に応じて新たなタイミング情報を生成し、前記入力データのうち、予備タイミング情報が付与されていない頁については、当該頁に含まれるテキストを前記表示単位字幕文となるように改行・改頁したあと、前記表示単位字幕文データと前記再生音声との時間同期をとる自動音声同期処理により必要に応じて新たなタイミング情報を生成するようにしたことを特徴とする字幕制作方法が得られる。
【００２２】
さらにまた、本発明によれば、コンピュータに、素材番組の音声に対応するテキストを含む入力データから、前記テキストを表示単位字幕文となるように改行・改頁して得た表示単位字幕文データを生成させるとともに、前記表示単位字幕文データと、前記素材番組の生成音声及び再生タイムコードとに基づいて、前記表示単位字幕文を画面上に表示するタイミングを表わすタイミング情報を生成させ、前記表示単位字幕文データと前記タイミング情報とを含む放送用字幕データを自動制作させる字幕制作プログラムにおいて、前記入力データのうち、予備タイミング情報が付与されている頁については、当該頁に含まれるテキストを前記表示単位字幕文となるように改行・改頁したあと、前記予備タイミング情報を用いる按分法により必要に応じて新たなタイミング情報を生成させ、前記入力データのうち、予備タイミング情報が付与されていない頁については、当該頁に含まれるテキストを前記表示単位字幕文となるように改行・改頁したあと、前記表示単位字幕文データと前記再生音声との時間同期をとる自動音声同期処理により必要に応じて新たなタイミング情報を生成させるようにしたことを特徴とする字幕制作プログラム。
【００２３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００２４】
図１に本発明の一実施の形態に係る字幕制作システムの構成を示す。図示の字幕制作システムは、素材番組をもとに作成された入力データ（電子化原稿）１００を受けて放送用字幕データを制作する字幕制作制御部１０と、光ディスク等の記録媒体に記録された素材番組を再生する記録再生部２０と、字幕制作制御部１０の制御下で入力データから抽出した表示単位字幕文と記録再生部２０からの再生音声との同期を取る同期検出部３０と、字幕制作制御部１０の制御下で入力データから抽出されたテキスト（文字列）の形態素解析を行う形態素解析部４０と、入力データから抽出されたテキストを分割（改行・改頁）するための分割ルールを記憶する記憶部５０と、字幕制作制御部１０で制作された放送用字幕データに基づく字幕と記録再生部２０で再生された素材番組とをともに表示する監視モニタ６０とを有している。
【００２５】
字幕制作制御部１０は、例えばパーソナルコンピュータにより実現され、入力データ１００を処理単位字幕データ１１０に分割する制作単位抽出部１１と、処理単位字幕データ１１０に含まれるテキストを画面表示に適するよう分割・結合する表示単位字幕化部１２と、表示単位字幕データ１２０にタイミング情報を付加して放送用字幕データ１３０とするタイミング付与部１３とを備えている。
【００２６】
本実施の形態においては、同期検出部３０及び形態素解析部４０はそれぞれ専用コンピュータにより実現される場合を想定しているが、字幕制作制御部１０を含め１台のコンピュータで実現することも可能である。
【００２７】
入力データ１００は、図示しない原稿電子化装置（例えば、パーソナルコンピュータ等）を用いて、素材番組に含まれる音声を表わすを文字列を電子データ化（テキスト変換）したものである。書起し作業者は、ノンリニア操作可能なディスク記録再生装置用いて行われる。
【００２８】
入力データ１００としては、テキストデータ及びＸＭＬ（eXtensible Markup Language）データを想定している。テキストデータは、素材番組に含まれる音声を書起した文字列（漢字かな混じり文字列）を表わすデータ（スピーチ情報）と改行情報とを含む。また、ＸＭＬデータは、このテキストデータに、頁情報（頁先頭・末尾情報）や各頁を表示するタイミングを特定するためのタイミング情報等を加えたものである。また、ＸＭＬデータの場合には、話者のプロフィール等、素材番組の音声とは無関係の文字列を表わすデータ（非スピーチ情報）及びそれを表示するためのタイミング情報を含む場合もある。この入力データ１００は、磁気ディスクや光ディスクなどの記録媒体に記録された状態で、字幕制作制御部１０に与えられる。
【００２９】
字幕制作制御部１０の制作単位抽出部１１は、記録媒体に記録された入力データをテキスト１行分ずつ読み込み、読み込んだ一行分のテキストを表わすデータを形態素解析部４０へ送る。
【００３０】
形態素解析部４０は、創作単位抽出部１１から送られてきたテキストを形態素に分割して解析し、そのテキストにおける区切り可能個所を特定する。そして、特定した区切り可能個所情報をそのテキストに追加して制作単位抽出部１１へ送り返す。なお、区切り可能個所は、例えば、句点の後ろ、読点の後ろ、文節と文節との間、あるいは形態素品詞間などであり、この順に優先度を高くしてある。
【００３１】
制作単位抽出部１１は、形態素解析部４０から送り返されたテキストを、それに付加された区切り可能個所情報を参照して、適当な長さ（７０〜９０字程度）に区切り、区切り可能個所情報とともに処理単位字幕データ１１０として、表示単位字幕化部１２へ送出する。但し、入力データ１００のうちタイミング情報（以下、予備タイミング情報という。）が既に追加されている頁に関しては、頁毎に処理単位字幕データ１１０として表示単位字幕化部１２へ送出する。
【００３２】
表示単位字幕化部１２は、記憶部５０に記憶された分割ルールに基づいて、制作単位抽出部１１からの処理単位字幕データ１１０が表わすテキストを、画面上に表示される形式に適合するように分割・結合し、表示単位字幕データ１２０を生成する。つまり、表示単位字幕化部１２は、画面上に表示される字幕の行数及び文字数が、記憶部５０に記憶された分割ルールで規定される一頁当たりの最大行数及び最大文字数以下となるように、処理単位字幕データ１１０が表わすテキストを分割・結合（改行・改頁）して表示単位字幕文とし、それを表わす表示単位字幕データ１２０を生成する。その際、表示単位字幕化部１２は、処理単位字幕データ１２０が予備タイミング情報を含むものである場合には、テキストを分割したことによって新たに必要となるタイミング情報（以下、追加タイミング情報）を、入力された処理単位字幕データに含まれている予備タイミング情報を用いた按分法により生成、追加する。
【００３３】
また、表示単位字幕化部１２は、上記のように生成した表示単位字幕文を同期検出システム３０へ通知する。ただし、表示単位字幕化部１２は、予備タイミング情報を含む処理単位字幕データ１１０に基づいて生成した表示単位字幕文については、同期検出システム３０への通知を行わない。
【００３４】
同期検出システム３０には、表示単位字幕化部１２からの表示単位字幕文を表わすデータのほか、記録再生部２０で再生された素材番組の再生音声と再生タイムコードとが入力される。ここで、記録再生部２０は、制作単位抽出部１１の読み込み開始から所定時間遅れて素材番組の再生を開始するものとする。
【００３５】
同期検出システム３０は、記録再生部２０からの再生音声に対して音声認識処理を行い、表示単位字幕化部１２からの表示単位字幕文と比較する。そして、各表示単位文に対応する再生音声の開始時点及び終了時点に夫々対応するタイムコードを得る。同期検出システム３０は、得られたタイムコードをタイミング付与部１３へ出力する。
【００３６】
タイミング付与部１３は、同期検出システム３０から入力されるタイムコードを、対応する表示単位字幕文を表示するためのタイミング情報として、表示単位字幕化部１２からの表示単位字幕データ１２０に挿入し、放送用字幕データ１３０として監視用モニタ６０及び図示しない外部蓄積部へ出力する。
【００３７】
監視モニタ６０には、記録再生部２０で再生された映像が所定時間遅延させて入力されており、その映像にタイミング付与部１３からの放送用字幕データを重ねて表示する。監視モニタ６０の表示内容を監視することにより、字幕制作制御部１０から出力された放送用字幕データに基づいて表示される字幕の表示タイミング等の問題点が見出され、その後の修正等に利用される。
【００３８】
図１の字幕制作システムは、概略、図２に示すように動作する。
【００３９】
即ち、入力データを一行分ずつ取り込み（ステップＳ２０１）、処理単位字幕データを作成する（ステップＳ２０２）。次に、処理単位字幕文を分割ルールに従い分割して表示単位字幕文データを生成する（ステップＳ２０３）。そして、分割により新たなタイミング情報が必要となった場合（ステップＳ２０４のＹ）は、表示単位字幕文が含まれる頁に予備タイミング情報が付与されているか否か判定する（ステップＳ２０５）。予備タイミング情報が付与されている場合は、それを用いた按分法により追加タイミング情報を生成し追加する（ステップＳ２０６）。予備タイミング情報が付与されていない場合は、同期検出部３０で同期検出を行ってタイミングコードを得る（ステップＳ２０７）。そして、タイミングコードを表わす追加タイミング情報を生成して表示単位字幕データに追加する（ステップＳ２０８）。最後に、上述のようにして得られた放送用字幕データを外部へ出力する（ステップＳ２０９）。
【００４０】
以下、本実施の形態に係る字幕制作システムの動作について実施例に基づき詳細に説明する。
【００４１】
［実施例１］
入力データとして図３に示すＸＭＬデータを考える。このＸＭＬデータでは、全ての頁に予備タイミング情報（IN_TIME=""及びOUT_TIME=""；""内の数字は、前から２桁ずつ、時間、分、秒及びフレームＮｏ．をそれぞれ示す。）が付与されている。
【００４２】
このような入力データが字幕制作制御部１０に与えられると、制作単位抽出部１１は、形態素解析部４０と協働して各頁に含まれるテキストに対して区切り可能個所情報を付加し、処理単位字幕文を生成して処理単位字幕データ１１０として表示単位字幕化部１２へ出力する。
【００４３】
表示単位字幕化部１２は、記憶部５０の分割ルールを参照して各頁のテキストを分割（改行・改頁）する。本実施例では、全ての頁に予備タイミング情報が付与されているので、テキストの分割により新たに必要となる追加タイミング情報は、予備タイミング情報を利用した按分法により生成される。
【００４４】
本実施例の場合、全ての頁に既存タイミング情報が含まれているので、表示単位字幕化部１２から同期検出部３０への表示単位字幕文に関する情報は出力されない。したがって、同期検出部３０からタイムコードは出力されず、タイミング付与部１３での新たなタイミング情報の付与も行われない。したがって、表示単位字幕化部１２からの出力がそのままタイミング付与部１３を介して放送用字幕データとして出力される。このとき得られる放送用字幕データは、図４のようになる。
【００４５】
ここで、表示単位字幕化部１２における追加タイミング情報の生成について説明する。
【００４６】
入力データ（ＸＭＬデータ）が図５で示されるようなものであって、そこから、図６に示すような表示単位字幕文が生成されたとする。この場合、図６における第２番目の文字列の終了タイミング及び第３番目の文字列の開始タイミングを図５から直接得ることができない。即ち、入力データに含まれる予備タイミング情報をそのまま利用することはできない。
【００４７】
そこで、表示単位字幕化部１２は、「法務局内に忘れてきました。」の終了タイミングを計算により求める。この文字列の構成は、かな７文字、漢字５文字であって、その統計的読み数は１６．３である。図５からこの文字列に関する一読み数に対応する時間（読速）は０．１２なので、この文字列に関する所要時間は、１６．３×０．１２＝１．８９となる。したがって、図６の第２番目の文字列の終了タイミングは、上記文字列の開始タイミングである２７．１５に所要時間１．８９を加えた２９．０４となる。図６の第３番目の文字列の開始タイミングについては、第２番目の文字列の終了タイミングに一致させればよい。
【００４８】
以上のように、本実施の形態の字幕創作システムは、全ての頁に予備タイミング情報が付与されている入力データから画面表示に適した放送用字幕データを自動的に制作することができる。なお、按分法は、音声同期処理に比べて著しく短い時間で必要とされる追加タイミング情報を生成することができるので、上記のように全ての頁に予備タイミング情報が付与されている場合には、素材番組の放送（再生）に要する時間の１／３０程度の時間で、放送用字幕データを得ることができる。また、按分法により得られたタイミング情報に基づく字幕の表示とそれ対応する音声との間のずれは、１秒以下であり、許容範囲内と考えられる。
【００４９】
［実施例２］
本実施の形態に係る字幕制作システムは、入力データとして既存の放送用字幕データを用いることもできる。即ち、この字幕制作システムは、既存の放送用字幕データの表示形式を変更する場合にも利用できる。
【００５０】
例えば、標準放送と高精細放送とでは、画面（画像）の縦横比が異なるので、標準放送用に作成した字幕データを高精細放送に利用する場合には、見易さ等の観点から字幕１行当たりの文字数を変更したい場合がある。そのような場合に、本実施の形態に係る字幕制作システムを利用することができる。
【００５１】
具体例を挙げると、図７に示すような、１５行×２行で字幕表示を行う３頁分の標準放送用字幕データがあり、これを２２行×２行での字幕表示を行う高精細放送用字幕データに変更したい場合、本実施の形態に係る字幕制作システムは、実施例１と同様に動作して、図８に示すような出力データを出力する。本実施例の場合、字幕の再整形により必要となる追加タイミング情報は、全て按分法により得ることができる。
【００５２】
このように、本実施の形態に係る字幕制作システムは、既に制作されている放送用字幕データの再整形にも利用できる。
【００５３】
［実施例３］
本実施の形態に係る字幕制作システムは、予備タイミング情報を持つ頁と持たない頁とが混在する入力データにも対応できる。
【００５４】
例えば、図９に示す様な字幕表示を行う場合を考える。図９に示すテキストのうち、第２行から第６行の斜体文字列が非スピーチ情報であり、残りがスピーチ情報である。この場合、非スピーチ情報については、書起し作業者が手入力でタイミング情報を付加する。その結果、得られるＸＭＬデータは、図１０のようになる。
【００５５】
図１０に示す入力データが与えられると、本実施の形態に係る字幕制作システムは、予備タイミング情報を有する頁については、実施例１及び２と同様にして、按分法により必要な追加タイミング情報を得る。一方、予備タイミング情報を有していない頁については、同期検出部３０において音声自動同期検出を行い、各表示単位字幕に対応する再生音声の開始タイミング及び表示終了タイミングに一致するタイムコードを取得し、取得したタイムコードの基づいて追加タイミング情報を生成する。こうして、図１１に示すような放送用字幕データを得ることができる。
【００５６】
以上のように、本実施の形態に係る字幕制作システムでは、入力データのうちの予備タイミング情報が含まれている頁については、自動音声同期処理を行うこと無く追加タイミング情報が生成される。また、入力データのうちの予備タイミング情報が含まれていない頁については、自動音声同期処理により追加タイミング情報が生成される。従って、スピーチ情報については予備タイミング情報を付与せず、非スピーチ情報には予備タイミング情報を付与しておくようにすることで、スピーチ情報及び非スピーチ情報が混在する入力データに対して、タイミング情報の自動付与を行うことができる。
【００５７】
しかも、按分法による追加タイミングの生成は、自動音声同期処理に比べて処理に要する時間が著しく短いので、非スピーチ情報が含まれていない入力データに対してタイミング情報を自動付与する場合に要する時間とほぼ同じ処理時間で、スピーチ情報及び非スピーチ情報が混在する入力データに対するタイミング情報の自動付与を行うことができる。
【００５８】
［実施例４］
既存タイミング情報を持つ頁と持たない頁が混在する入力データに対してタイミング情報の自動付与を行うと、予備タイミング情報を持たない頁のテキストに関して付加した追加タイミング情報が、予備タイミング情報と整合しない場合が起こり得る。これは、例えば、同期検出部３０において再生音声に含まれる雑音をスピーチと認識した場合などに生じる。
【００５９】
ここで、図１２に示すテキストデータを考える。第２行目の斜体文字列が非スピーチ情報であり、この非スピーチ情報には、書起し作業者が手作業で予備タイミング情報を与えるものとする。そして、このような入力データが入力された場合に、同期検出部３０から得られるタイムコードに基づいて追加タイミング情報を付加した結果、図１３に示すような結果が得られたと仮定する。この場合、第１番目の頁を表示している間に、第２番目の頁を表示しなければならないことになっており、いずれかのタイミング情報が不適切であることは明らかである。
【００６０】
このような事態を避けるため、タイミング付与部１３は、自動付与した追加タイミング情報が予備タイミング情報と整合するか否か判定する。そして、互いに連続する頁の表示時間が重なっている場合には、自動付与した追加タイミング情報を変更して２つの頁の表示時間に重なりがなくなるように調整できるか否か判定する。つまり、自動付与したタイミング情報を表示時間に重なりがなくなるように変更した場合、その頁を表示する時間として許容できる表示時間が残るか否か判断する。図１３の場合、第１番目の頁の表示時間は２１秒であり、第２番目の頁の表示時間である１０秒を差し引いても１１秒の残りがある。したがって、１番目の頁の表示時間を短縮しても何ら問題がないであろうと判定できる。この結果、タイミング付与部１３は、１番目の頁の表示終了時間が誤りであると判断して、第２頁の表示開始時間に一致させる。こうして、タイミング付与部１３は、タイミング情報を自動補正して、図１３に示す放送用字幕データを出力する。
【００６１】
なお、タイミング付与部１３は、重なり部分をなくすよう調整することが適切でないと判断した場合は、タイミング情報の自動補正を行わない。この場合は、後に、手入力により修正が行われる。
【００６２】
以上、本発明について一実施の形態に即して説明したが、本発明は上記実施の形態に限定されるものではない。
【００６３】
例えば、上記実施の形態では、予備タイミング情報の有無に基づいて頁単位で表示単位字幕文を同期検出部３０へ送出するか否か判断するようにしたが、対談や討論における話者名とそのスピーチのように、スピーチ情報と非スピーチ情報とを同一頁に表示したい場合には、例えば、所定の記号で挟まれた文字列のみ同期検出部３０へ送出する／送出しない、とすればよい。具体的には、“「」（かぎ括弧）”で囲まれた文字列のみを同期検出部３０へ送信するようにしたり、あるいは“<>”で囲まれた文字列は同期検出部３０へ送出しないようにしておけばよい。
【００６４】
【発明の効果】
本発明によれば、入力データのうち予備タイミング情報が付与された頁についてはその予備タイミング情報を用いた按分法により、予備タイミング情報が付与されていない頁については音声同期処理法により、テキストの改行・改頁により必要となる新たなタイミング情報を得るようにしたことで、非スピーチ情報を含むテキストデータから字幕データを自動制作することができる。そして、その結果、字幕作成の書起し作業の負担を軽減することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る字幕制作システムの構成を示す概略図である。
【図２】図１の字幕制作システムにおける字幕制作制御部の動作を説明するためのフローチャートである。
【図３】図１の字幕制作システムに入力される入力データの一例を示す図である。
【図４】図３の入力データから制作された放送用字幕データを示す図である。
【図５】図１の字幕制作システムに入力される他の入力データに含まれるテキストとそれに関連する関連情報とを示す図である。
【図６】図５の他の入力データに含まれるテキストから得た表示単位字幕文とその開始・終了時間とを示す図である。
【図７】図１の字幕制作システムに入力される入力データのさらに別の例を示す図である。
【図８】図７の入力データから制作された放送用字幕データを示す図である。
【図９】スピーチ情報と非スピーチ情報とを含むテキストの例である。
【図１０】図９のテキストから生成したＸＭＬデータを示す図である。
【図１１】図１０のＸＭＬデータを図１の字幕制作システムに入力して得られる放送用字幕データを示す図である。
【図１２】スピーチ情報と非スピーチ情報とを含むテキストの他の例である。
【図１３】手入力された予備タイミング情報と自動付与された追加タイミング情報とが整合していていない状態のＸＭＬデータを示す図である。
【図１４】手入力された予備タイミング情報と自動付与された追加タイミング情報とが整合した状態のＸＭＬデータを示す図である。
【符号の説明】
１０ 字幕制作制御部
１１ 制作単位抽出部
１２ 表示単位字幕化部
１３ タイミング付与部
２０ 記録再生部
３０ 同期検出システム
４０ 形態素解析部
５０ 記憶部
６０ 監視モニタ
１００ 電子化原稿（入力データ）
１１０ 処理単位字幕データ
１２０ 表示単位字幕データ
１３０ 放送用字幕データ
Claims (3)
- 素材番組の音声に対応するテキストを表すテキストデータを含む入力データから、前記テキストを処理に適した長さに区切るための区切り可能箇所情報を含む処理単位字幕データを生成する制作単位抽出部と、
前記処理単位字幕データから、前記テキストを画面表示に適した表示単位字幕文となるように改行・改頁して得た表示単位字幕データを生成する表示単位字幕化部と、
前記表示単位字幕データと前記素材番組の再生音声及び再生タイムコードとに基づいて自動音声同期処理を行い、前記表示単位字幕文を画面上に表示するタイミングを決定するタイミング情報を生成する同期検出部と、
前記表示単位字幕データと前記同期検出部からの前記タイミング情報とを含む放送用字幕データを制作するタイミング付与部とを備え、
前記表示単位字幕化部は、前記処理単位字幕データのうち、予備タイミング情報が付与されている頁については、当該頁に含まれるテキストを改行・改頁したことにより新たなタイミング情報が必要となったとき、前記予備タイミング情報を用いる按分法により当該新たなタイミング情報を生成し、かつ
前記入力データのうち、予備タイミング情報が付与されていない頁については、当該頁に含まれるテキストを改行・改頁したことにより新たなタイミング情報が必要となったとき、前記処理単位字幕データを前記同期検出部へ送って、前記同期検出部に前記新たなタイミング情報を生成させるようにした、
ことを特徴とする字幕制作システム。 - 素材番組の音声に対応するテキストを含む入力データから、前記テキストを表示単位字幕文となるように改行・改頁して得た表示単位字幕文データを生成するとともに、前記表示単位字幕文データと、前記素材番組の生成音声及び再生タイムコードとに基づいて、前記表示単位字幕文を画面上に表示するタイミングを決定するタイミング情報を生成し、前記表示単位字幕文データと前記タイミング情報とを含む放送用字幕データを自動制作する字幕制作方法において、
前記入力データのうち、予備タイミング情報が付与されている頁については、当該頁に含まれるテキストを前記表示単位字幕文となるように改行・改頁したあと、前記予備タイミング情報を用いる按分法により必要に応じて新たなタイミング情報を生成し、
前記入力データのうち、予備タイミング情報が付与されていない頁については、当該頁に含まれるテキストを前記表示単位字幕文となるように改行・改頁したあと、前記表示単位字幕文データと前記再生音声との時間同期をとる自動音声同期処理により必要に応じて新たなタイミング情報を生成するようにした、
ことを特徴とする字幕制作方法。 - コンピュータに、素材番組の音声に対応するテキストを含む入力データから、前記テキストを表示単位字幕文となるように改行・改頁して得た表示単位字幕文データを生成させるとともに、前記表示単位字幕文データと、前記素材番組の生成音声及び再生タイムコードとに基づいて、前記表示単位字幕文を画面上に表示するタイミングを表わすタイミング情報を生成させ、前記表示単位字幕文データと前記タイミング情報とを含む放送用字幕データを自動制作させる字幕制作プログラムにおいて、
前記入力データのうち、予備タイミング情報が付与されている頁については、当該頁に含まれるテキストを前記表示単位字幕文となるように改行・改頁したあと、前記予備タイミング情報を用いる按分法により必要に応じて新たなタイミング情報を生成させ、
前記入力データのうち、予備タイミング情報が付与されていない頁については、当該頁に含まれるテキストを前記表示単位字幕文となるように改行・改頁したあと、前記表示単位字幕文データと前記再生音声との時間同期をとる自動音声同期処理により必要に応じて新たなタイミング情報を生成させるようにした、
ことを特徴とする字幕制作プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003132670A JP4500957B2 (ja) | 2003-05-12 | 2003-05-12 | 字幕制作システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003132670A JP4500957B2 (ja) | 2003-05-12 | 2003-05-12 | 字幕制作システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004336606A JP2004336606A (ja) | 2004-11-25 |
| JP4500957B2 true JP4500957B2 (ja) | 2010-07-14 |
Family
ID=33507446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003132670A Expired - Fee Related JP4500957B2 (ja) | 2003-05-12 | 2003-05-12 | 字幕制作システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4500957B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101461562B1 (ko) | 2014-05-08 | 2014-11-13 | (주)트리짓소프트웨어 | 멀티미디어 컨텐츠의 자막 동기화 방법 및 장치 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4356645B2 (ja) | 2005-04-28 | 2009-11-04 | ソニー株式会社 | 字幕生成装置及び方法 |
| JP5173337B2 (ja) * | 2007-09-18 | 2013-04-03 | Ｋｄｄｉ株式会社 | 要約コンテンツ生成装置およびコンピュータプログラム |
| CN104135628B (zh) * | 2013-05-03 | 2018-01-30 | 安凯(广州)微电子技术有限公司 | 一种视频编辑方法及终端 |
-
2003
- 2003-05-12 JP JP2003132670A patent/JP4500957B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101461562B1 (ko) | 2014-05-08 | 2014-11-13 | (주)트리짓소프트웨어 | 멀티미디어 컨텐츠의 자막 동기화 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004336606A (ja) | 2004-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7050109B2 (en) | Methods and apparatus for the provision of user selected advanced close captions | |
| JP4127668B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| EP2356654B1 (en) | Method and process for text-based assistive program descriptions for television | |
| JPH11162107A (ja) | デジタルビデオ情報及びオーディオ情報を編集するためのシステム | |
| JP2004343488A (ja) | 字幕挿入方法、字幕挿入システム、および字幕挿入プログラム | |
| JP4140745B2 (ja) | 字幕へのタイミング情報付与方法 | |
| JP4500957B2 (ja) | 字幕制作システム | |
| JP2008160232A (ja) | 映像音声再生装置 | |
| JP4496358B2 (ja) | オープンキャプションに対する字幕表示制御方法 | |
| JP4210723B2 (ja) | 自動字幕番組制作システム | |
| KR102160117B1 (ko) | 장애인을 위한 실시간 방송 컨텐츠 제작 시스템 | |
| JP2009152782A (ja) | コンテンツ再生装置及びコンテンツ再生方法 | |
| JP2009171480A (ja) | 映像記録再生装置及び映像再生装置 | |
| JP2009130411A (ja) | 字幕監視装置及び字幕監視プログラム | |
| JP4509188B2 (ja) | 動画再生装置、動画再生方法及びそのコンピュータ・プログラム | |
| JP3944830B2 (ja) | スピーチ近似データによる字幕用データ作成・編集支援システム | |
| JP2008134825A (ja) | 情報処理装置および情報処理方法、並びにプログラム | |
| JP2003224807A (ja) | 字幕番組編集支援システムおよび半自動型字幕番組制作システム | |
| JP2002197488A (ja) | リップシンクデータ生成装置並びに方法、情報記憶媒体、及び情報記憶媒体の製造方法 | |
| KR100728929B1 (ko) | 디지털 캡션을 이용한 개인적인 데이터 삽입 장치 및 그방법 | |
| JP2003018534A (ja) | 再生装置および方法、記録媒体、並びにプログラム | |
| JP2000358202A (ja) | 映像音声記録再生装置および同装置の副音声データ生成記録方法 | |
| JP2007228624A (ja) | 動画再生装置、動画再生方法及びそのコンピュータ・プログラム | |
| JP2006222568A (ja) | ナレーション支援装置、その原稿編集方法およびプログラム | |
| JP3953930B2 (ja) | 字幕多重装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040824 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060419 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091216 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100303 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100325 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4500957 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130430 Year of fee payment: 3 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140430 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |