JP3953930B2 - 字幕多重装置 - Google Patents
字幕多重装置 Download PDFInfo
- Publication number
- JP3953930B2 JP3953930B2 JP2002289784A JP2002289784A JP3953930B2 JP 3953930 B2 JP3953930 B2 JP 3953930B2 JP 2002289784 A JP2002289784 A JP 2002289784A JP 2002289784 A JP2002289784 A JP 2002289784A JP 3953930 B2 JP3953930 B2 JP 3953930B2
- Authority
- JP
- Japan
- Prior art keywords
- subtitle
- time
- caption
- voiced
- voiced section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Circuits (AREA)
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、聴覚障害者のための字幕放送を作成する際に番組の音声に合わせて字幕を出力するための字幕情報を映像信号に多重する字幕多重装置に関し、特に、生放送の字幕番組を再放送する映像信号を作成するときに使用する字幕多重装置に関する。
【０００２】
【従来の技術】
従来、放送する番組の音声に合わせて字幕を出力するための字幕情報を映像信号に多重する方式として、ニュース等のように予め原稿が用意されている番組では、形態素解析技術を利用して原稿を発音記号に変換し、この発音記号から作成した音声モデルと番組の音声信号を照合し、音声信号に字幕情報を同期させる自動同期方式が提案されている（例えば、非特許文献１参照）。
【０００３】
また、生放送の番組では、番組の音声を聞きながら字幕キャスターが言い直した音声を音声認識して文字データにするリスピーク方式や、高速ワープロ入力により番組の音声を文字データ化するリアルキャプション字幕システム等を利用して、字幕情報を映像信号に多重する（テレビ画面の走査線の１本を利用）システムが開発され放送に使用されている。
【０００４】
この生放送の字幕番組を録画して再放送に利用する場合、生放送中に行った変換処理や内容確認・修正に要した時間だけ音声に対し字幕情報が遅れて遅延時間が生じてしまっているので、この遅延時間を無くす或いは軽減する方法として、番組中の音声から原稿を作成し自動同期方式を用いる方法や、単に字幕情報を一定時間早めて映像信号に多重することで遅延時間を軽減する方法や、編集機等で音声と字幕を照合しながら音声に合わせて字幕情報を手動で多重する方法などが利用できる。
【０００５】
【非特許文献１】
沢村英治他著「実験用字幕つきテレビニュース製作と字幕表示法に関する予備実験」映像情報メディア学会誌、社団法人映像情報メディア学会、１９９９年、Ｖｏｌ．５３、Ｎｏ．４、ｐ．６３４−６３８
【０００６】
【発明が解決しようとする課題】
しかしながら、生放送の字幕番組を録画して再放送に利用する場合、自動同期方式を用いる方法では、番組中の音声から原稿を作成するのに多大な労力を要する。
【０００７】
また、単に字幕情報を一定時間早めて映像信号に多重する方法では、遅延時間に５〜１０秒のばらつきがあるため、番組内の全ての遅延時間を無くすことはできない。
【０００８】
また、音声と字幕を照合しながら音声に合わせて字幕情報を手動で多重する方法では、多大な時間と労力を要する。
【０００９】
そこで、本発明は、音声信号の有声区間を示す情報に基づいて、有声区間に合わせて字幕情報を多重して、生放送の字幕番組を録画して再放送に利用する場合の音声と字幕のずれを無くすことを目的とする。
【００１０】
【課題を解決するための手段】
上記課題を解決する第１の発明は、生放送の字幕番組を再放送するための映像信号に字幕情報を多重する字幕多重装置であって、前記生放送で収録した音声信号の有声区間を示す時間情報に基づいて前記有声区間の時間内に発話可能な語数を算出する語数算出部と、前記語数と１画面に表示可能な字幕の文字数に基づいて前記語数の文字を表示するのに必要な字幕画面数を算出する字幕画面数算出部と、前記時間情報と前記字幕画面数に基づいて前記有声区間の開始時間から前記有声区間の時間長を前記字幕画面数で割った時間間隔で順次前記生放送時に作成した字幕情報を映像信号に多重する字幕信号処理部とを備えることを特徴とするものである。
【００１１】
この発明では、音声信号の有声区間の時間内に発話可能な語数と１画面に表示可能な文字数から必要な字幕画面数が算出され、有声区間の開始時間から該有声区間の時間長を字幕画面数で割った時間間隔で映像信号に字幕情報が多重される。したがって、検出された有声区間の開始時間に合わせて字幕が出力され、有声区間の間、所定の時間間隔で順次字幕が切り替えられて出力される。
【００１２】
上記課題を解決する第２の発明は、生放送の字幕番組を再放送するための映像信号に字幕情報を多重する字幕多重装置であって、前記生放送で収録した音声信号の有声区間を示す時間情報に基づいて前記有声区間の時間内に発話可能な語数を算出する語数算出部と、前記有声区間の開始時間からの前記生放送時に作成された字幕情報の各字幕の文字数の累計が前記語数以上となる字幕画面数を算出する字幕画面数算出部と、前記時間情報と前記字幕画面数に基づいて前記有声区間の開始時間から前記有声区間の時間長を前記字幕画面数で割った時間間隔で順次前記生放送時に作成された字幕情報を映像信号に多重する字幕信号処理部とを備えることを特徴とするものである。
【００１３】
この発明では、音声信号の有声区間の時間内に発話可能な語数と生放送時に作成された字幕情報の字幕の文字数から必要な字幕画面数が算出され、有声区間の開始時間から該有声区間の時間長を字幕画面数で割った時間間隔で映像信号に字幕情報が多重される。したがって、検出された有声区間の開始時間に合わせて字幕が出力され、有声区間の間、所定の時間間隔で順次字幕が切り替えられて出力される。
【００１４】
上記課題を解決する第３の発明は、上記第１または第２の発明の構成に加え、前記生放送で収録した音声信号から該音声信号の有声区間を検出し、前記時間情報を出力する有声区間検出部を備えることを特徴とするとするものである。
【００１５】
この発明では、有声区間検出部により生放送で収録した音声信号から有声区間が検出され、その時間情報が出力される。したがって、有声区間の時間情報が自動的に求められる。
【００１６】
上記課題を解決する第４の発明は、上記第３の発明の構成に加え、前記有声区間検出部に前記生放送で収録した音声信号から周囲音を除いた信号を入力することを特徴とするものである。
【００１７】
この発明では、有声区間検出部に字幕を表示する話声のみの音声信号が入力される。したがって、字幕を表示する話し声のみの音声信号から有声区間が検出される。
【００１８】
【発明の実施の形態】
以下、本発明を図面を参照して説明する。
【００１９】
図１は本発明の第１実施形態の字幕多重装置を示すブロック図である。
図１において、本実施形態の字幕多重装置は、入力音声信号から有声区間を検出する有声区間検出部１と、有声区間検出部１で検出された有声区間の語数を算出する語数算出部２と、語数算出部２に発話速度を入力する発話速度入力部３と、語数算出部２で算出された語数から字幕画面数を算出する字幕画面数算出部４と、字幕画面数算出部４に１画面に割り当てられた字幕の行数及び文字数を入力する字幕表示情報入力部５と、入力映像信号に字幕情報を多重する字幕信号処理部６とを備えている。
【００２０】
有声区間検出部１は、図２に示すように、入力音声信号の有声部分を判定する有声信号判定部１１と、有声信号判定部１１で有声部分と判定された部分から有声区間を判定する有声区間判定部１２とを備えている。
【００２１】
字幕画面数算出部４は、図３に示すように、仮名単位で入力される語数を仮名漢字交じりでの語数に変換する語数変換部４１と、語数変換部４１が出力した語数からその語数を字幕に表示した場合に必要な字幕の画面数を算出する画面数算出部４２とを備えている。
【００２２】
字幕信号処理部６は、図４に示すように、有声区間の時間情報と字幕画面数算出部４が算出した字幕画面数から字幕を多重する時間情報を出力する多重時間算出部６１と、多重時間算出部６１が算出した時間情報に基づいて入力映像信号に字幕情報を多重する字幕信号多重部６２とを備えている。
【００２３】
この字幕多重装置は、生放送で放送した字幕番組を再放送するために、生放送時に作成された字幕情報を収録された映像信号に多重するためのもので、生放送を収録した映像信号及び音声信号と、生放送時に作成された１画面毎の字幕の情報である字幕情報とを使って、音声に合わせて生放送時に作成された字幕を表示するように字幕情報の多重を行うものである。
【００２４】
このような字幕多重装置において、有声区間検出部１に字幕表示する音声信号とその音声信号の番組開始時からの経過時間が入力されると、有声区間検出部１の有声信号判定部１１は、入力された音声信号のレベルが予め設定された値より大きくなった時点の経過時間を有声区間開始時間として、音声信号のレベルが予め設定された値以下になった時点の経過時間を有声区間終了時間として有声区間判定部１２に出力する。
【００２５】
有声区間の検出は、音声信号レベルや音声信号のパワーの時間積分値（予め設定された閾値との大小を判定）や音声信号が予め設定したレベル値をクロスする回数（予め設定した回数との大小を判定）を判定の指標に利用して有声区間を検出する手法（例えば、ゼロクロス法）を利用することもできる。
【００２６】
また、周囲音（ＳＥ）でアナウンサーなどの声がマスクされ有声信号を検出し難い場合に備えて、アナウンサー用のマイクの音だけを入力音声信号とする方法や、ＳＥだけを収録し放送用の音声（アナウンサーの声＋ＳＥ）からＳＥを除去した信号を入力音声信号とする方法（例えば、岩城正和他著「距離選択収音システム」ＮＨＫ技研Ｒ＆Ｄ、No.68、June 2001）などを利用するとよい。
【００２７】
また、経過時間は、ＶＴＲ（Video Tape Recorder）のタイムコードを利用するとよい。
【００２８】
有声区間判定部１２は、連続した有声区間の先の有声区間の有声区間終了時間と後の有声区間の有声区間開始時間との時間間隔が予め設定された値（例えば、２秒）より小さい場合に、連続した２つの有声区間を結合して新たな有声区間として有声区間の開始時間と終了時間を有声区間の時間情報として出力する。
【００２９】
語数算出部２は、有声区間検出部１から有声区間の時間情報を入力されると、発話速度入力部３から入力された予め設定されている発話速度s（例えば、日常会話では８（モーラ／秒）、早口では１０（モーラ／秒）など）と有声区間の時間長Tとから有声区間の語数をTsで算出し出力する。
【００３０】
字幕画面数算出部４の語数変換部４１は、語数算出部２が出力した有声区間の語数が仮名単位で計算されているのに対し、字幕画面は仮名漢字交じりで表示されるため、予め設定された仮名を仮名漢字交じりに変換した場合の文字数の減少率α（０＜α＜１、例えば、0.75）を有声区間の語数に乗算して積を仮名漢字交じりの語数として出力する。
【００３１】
画面数算出部４２は、字幕表示情報入力部５から入力された予め設定されている字幕の画面表示時の行数lと１行の文字数nと、語数変換部４１が出力した有声区間の仮名漢字交じりの語数αTsとから［αTs/ln］+1（［］はガウス記号）により有声区間の仮名漢字交じりの語数を表示するのに必要な字幕画面数を算出する。
【００３２】
字幕信号処理部６の多重時間算出部６１は、有声区間検出部１が出力した有声区間の時間長を、字幕画面数算出部４が出力したその有声区間の字幕画面数で割って、各有声区間の字幕情報を多重する時間間隔を算出して出力する。例えば、有声区間の時間長をF（フレーム）、字幕画面数をpとすると、有声区間の開始時間からF/pフレーム間隔で字幕情報を多重するよう時間情報を出力する。
【００３３】
字幕信号多重部６２は、多重時間算出部６１が出力した時間情報に基づき、有声区間の開始時間に対応する入力映像信号に、有声区間の開始時間より後で最も近い時間の１画面分の字幕情報を、例えば、生放送時に作成した字幕情報をファイルに保存したものから読み出して多重し、その後多重時間算出部６１が出力した時間間隔で順次続いている字幕情報を１画面分づつ多重し、これを各有声区間で繰り返し行う。
【００３４】
なお、字幕信号多重部６２の出力する字幕が多重された映像信号をプレビューし、有声区間の末尾と字幕にずれがある場合や、隣接有声区間の間の無音区間に字幕が多重されている場合や、音声信号と字幕情報の小さなずれが累積して大きくなり目立つ場合などは、発話速度入力部３に設定する発話速度を変更して調節することができる。有声区間毎、発話者が変わる毎等、必要に応じて調整して再度処理を行わせ、プレビューすることができる。プレビューで確認後、ＶＴＲ等へ字幕多重映像信号を出力する。
【００３５】
このように本実施形態においては、有声区間検出部１が音声信号の有声区間を検出し、該有声区間の時間内に発話可能な文字数を発話速度から求め、求めた文字数を表示するのに必要な字幕画面数を１画面に表示可能な字幕の文字数から算出し、有声区間の開始時間から、有声区間の時間長を字幕画面数で割った時間間隔で生放送時に作成された字幕情報を多重するので、音声区間開始時の音声と字幕のずれを無くすことができ、有声区間のその後の音声と字幕のずれも発話速度や１画面に表示可能な字幕の文字数により調節することができる。
【００３６】
なお、本実施形態においては、有声区間検出部１により音声信号から有声区間を検出したが、収録された映像・音声を再生しながら有声区間の開始と終了のタイムコードを記録（例えば、特開平１０−３３６７０８号公報に記載された方法）した情報を語数算出部２及び字幕信号処理部６に入力するようにしてもよい。
【００３７】
また、本実施形態においては、有声区間の時間情報として開始時間と終了時間を用いたが、これに限定されるものではなく、例えば、開始時間と時間長を用いてもかまわない。
【００３８】
次に、図５及び図６は本発明の第２実施形態の字幕多重装置を示す図である。なお、本実施形態は、上述第１実施形態と略同様に構成されているので、同様な構成には同一の符号を付して特徴部分のみ説明する。
【００３９】
本実施形態の字幕多重装置は、図５に示すように、字幕画面数算出部４と字幕表示情報入力部５に替えて、有声区間の語数と該有声区間の生放送時に作成された字幕情報から字幕画面数を算出する字幕画面数算出部７を備えることを特徴とする。
【００４０】
この字幕画面数算出部７は、図６に示すように、仮名単位で入力される語数を仮名漢字交じりでの語数に変換する語数変換部７１と、生放送時に作成された字幕情報から画面毎に出力される字幕の文字数を算出する画面文字数算出部７２と、語数変換部７１で変換した語数と画面文字数算出部７２で算出した画面毎の字幕の文字数から字幕画面数を算出する画面数算出部７３とを備えている。
【００４１】
語数算出部２から有声区間毎の仮名単位の語数を入力されると、語数変換部７１は、予め設定された仮名を仮名漢字交じりに変換した場合の文字数の減少率α（０＜α＜１、例えば、0.75）を有声区間の語数に乗算して積を仮名漢字交じりの語数として出力する。
【００４２】
画面文字数算出部７２は、指定された有声区間の開始時間から実際に画面に出力される字幕の文字数を生放送時に作成された字幕情報から１画面毎に算出して順次出力する。
【００４３】
画面数算出部７３は、語数変換部７１で変換された有声区間の語数から画面文字数算出部７２が出力する有声区間の開始からの１画面毎の字幕の文字数を順次差し引いていき、差し引いた結果が負になった時点の差し引き回数を字幕画面数として出力する。
【００４４】
字幕信号処理部６は、この字幕画面数を使って、上述の実施形態と同様に、有声区間の時間長を字幕画面数で割った間隔で有声区間の開始時間から字幕情報を映像信号に多重化する。
【００４５】
このように本実施形態においては、生放送時に作成された字幕情報の１画面分の文字数（実際に表示する文字数）により語数変換部７１で変換された有声区間の語数を表示する字幕画面数を算出しているので、より精度良く字幕画面数を算出することができ、有声区間開始時以降の音声と字幕のずれを精度良く調整することができる。
【００４６】
【発明の効果】
第１の発明によれば、有声区間の時間内に発話可能な語数と１画面に表示可能な文字数から字幕画面数を求め、有声区間の開始時間から有声区間の時間長を字幕画面数で割った時間間隔で字幕情報を多重しているので、有声区間の開始時間の音声と字幕のずれを無くすことができ、有声区間のその後の音声と字幕のずれも発話速度や１画面に表示可能な字幕の文字数により調節することができる。
【００４７】
第２の発明によれば、有声区間の時間内に発話可能な語数と生放送時に作成された字幕情報の１画面分の字幕の文字数から字幕画面数を求め、有声区間の開始時間から有声区間の時間長を字幕画面数で割った時間間隔で字幕情報を多重しているので、精度良く字幕画面数を算出することができ、有声区間開始時以降の音声と字幕のずれも精度良く調節することができる。
【００４８】
第３の発明によれば、有声区間検出部が生放送で収録した音声信号から該音声信号の有声区間を検出して時間情報を出力しているので、有声区間の時間情報を自動的に求めることができる。
【００４９】
第４の発明によれば、生放送で収録した音声信号から周囲音を除いた信号を有声区間検出部に入力しているので、精度良く有声区間を検出することができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態の字幕多重装置を示す図であり、そのブロック図である。
【図２】その有声区間検出部のブロック図である。
【図３】その字幕画面数算出部のブロック図である。
【図４】その字幕信号処理部のブロック図である。
【図５】本発明の第２実施形態の字幕多重装置を示す図であり、そのブロック図である。
【図６】その字幕画面数算出部のブロック図である。
【符号の説明】
１ 有声区間検出部
１１ 有声信号判定部
１２ 有声区間判定部
２ 語数算出部
３ 発話速度入力部
４ 字幕画面数算出部
４１ 語数変換部
４２ 画面数算出部
５ 字幕表示情報入力部
６ 字幕信号処理部
６１ 多重時間算出部
６２ 字幕信号多重部
７ 字幕画面数算出部
７１ 語数変換部
７２ 画面文字数算出部
７３ 画面数算出部
【発明の属する技術分野】
本発明は、聴覚障害者のための字幕放送を作成する際に番組の音声に合わせて字幕を出力するための字幕情報を映像信号に多重する字幕多重装置に関し、特に、生放送の字幕番組を再放送する映像信号を作成するときに使用する字幕多重装置に関する。
【０００２】
【従来の技術】
従来、放送する番組の音声に合わせて字幕を出力するための字幕情報を映像信号に多重する方式として、ニュース等のように予め原稿が用意されている番組では、形態素解析技術を利用して原稿を発音記号に変換し、この発音記号から作成した音声モデルと番組の音声信号を照合し、音声信号に字幕情報を同期させる自動同期方式が提案されている（例えば、非特許文献１参照）。
【０００３】
また、生放送の番組では、番組の音声を聞きながら字幕キャスターが言い直した音声を音声認識して文字データにするリスピーク方式や、高速ワープロ入力により番組の音声を文字データ化するリアルキャプション字幕システム等を利用して、字幕情報を映像信号に多重する（テレビ画面の走査線の１本を利用）システムが開発され放送に使用されている。
【０００４】
この生放送の字幕番組を録画して再放送に利用する場合、生放送中に行った変換処理や内容確認・修正に要した時間だけ音声に対し字幕情報が遅れて遅延時間が生じてしまっているので、この遅延時間を無くす或いは軽減する方法として、番組中の音声から原稿を作成し自動同期方式を用いる方法や、単に字幕情報を一定時間早めて映像信号に多重することで遅延時間を軽減する方法や、編集機等で音声と字幕を照合しながら音声に合わせて字幕情報を手動で多重する方法などが利用できる。
【０００５】
【非特許文献１】
沢村英治他著「実験用字幕つきテレビニュース製作と字幕表示法に関する予備実験」映像情報メディア学会誌、社団法人映像情報メディア学会、１９９９年、Ｖｏｌ．５３、Ｎｏ．４、ｐ．６３４−６３８
【０００６】
【発明が解決しようとする課題】
しかしながら、生放送の字幕番組を録画して再放送に利用する場合、自動同期方式を用いる方法では、番組中の音声から原稿を作成するのに多大な労力を要する。
【０００７】
また、単に字幕情報を一定時間早めて映像信号に多重する方法では、遅延時間に５〜１０秒のばらつきがあるため、番組内の全ての遅延時間を無くすことはできない。
【０００８】
また、音声と字幕を照合しながら音声に合わせて字幕情報を手動で多重する方法では、多大な時間と労力を要する。
【０００９】
そこで、本発明は、音声信号の有声区間を示す情報に基づいて、有声区間に合わせて字幕情報を多重して、生放送の字幕番組を録画して再放送に利用する場合の音声と字幕のずれを無くすことを目的とする。
【００１０】
【課題を解決するための手段】
上記課題を解決する第１の発明は、生放送の字幕番組を再放送するための映像信号に字幕情報を多重する字幕多重装置であって、前記生放送で収録した音声信号の有声区間を示す時間情報に基づいて前記有声区間の時間内に発話可能な語数を算出する語数算出部と、前記語数と１画面に表示可能な字幕の文字数に基づいて前記語数の文字を表示するのに必要な字幕画面数を算出する字幕画面数算出部と、前記時間情報と前記字幕画面数に基づいて前記有声区間の開始時間から前記有声区間の時間長を前記字幕画面数で割った時間間隔で順次前記生放送時に作成した字幕情報を映像信号に多重する字幕信号処理部とを備えることを特徴とするものである。
【００１１】
この発明では、音声信号の有声区間の時間内に発話可能な語数と１画面に表示可能な文字数から必要な字幕画面数が算出され、有声区間の開始時間から該有声区間の時間長を字幕画面数で割った時間間隔で映像信号に字幕情報が多重される。したがって、検出された有声区間の開始時間に合わせて字幕が出力され、有声区間の間、所定の時間間隔で順次字幕が切り替えられて出力される。
【００１２】
上記課題を解決する第２の発明は、生放送の字幕番組を再放送するための映像信号に字幕情報を多重する字幕多重装置であって、前記生放送で収録した音声信号の有声区間を示す時間情報に基づいて前記有声区間の時間内に発話可能な語数を算出する語数算出部と、前記有声区間の開始時間からの前記生放送時に作成された字幕情報の各字幕の文字数の累計が前記語数以上となる字幕画面数を算出する字幕画面数算出部と、前記時間情報と前記字幕画面数に基づいて前記有声区間の開始時間から前記有声区間の時間長を前記字幕画面数で割った時間間隔で順次前記生放送時に作成された字幕情報を映像信号に多重する字幕信号処理部とを備えることを特徴とするものである。
【００１３】
この発明では、音声信号の有声区間の時間内に発話可能な語数と生放送時に作成された字幕情報の字幕の文字数から必要な字幕画面数が算出され、有声区間の開始時間から該有声区間の時間長を字幕画面数で割った時間間隔で映像信号に字幕情報が多重される。したがって、検出された有声区間の開始時間に合わせて字幕が出力され、有声区間の間、所定の時間間隔で順次字幕が切り替えられて出力される。
【００１４】
上記課題を解決する第３の発明は、上記第１または第２の発明の構成に加え、前記生放送で収録した音声信号から該音声信号の有声区間を検出し、前記時間情報を出力する有声区間検出部を備えることを特徴とするとするものである。
【００１５】
この発明では、有声区間検出部により生放送で収録した音声信号から有声区間が検出され、その時間情報が出力される。したがって、有声区間の時間情報が自動的に求められる。
【００１６】
上記課題を解決する第４の発明は、上記第３の発明の構成に加え、前記有声区間検出部に前記生放送で収録した音声信号から周囲音を除いた信号を入力することを特徴とするものである。
【００１７】
この発明では、有声区間検出部に字幕を表示する話声のみの音声信号が入力される。したがって、字幕を表示する話し声のみの音声信号から有声区間が検出される。
【００１８】
【発明の実施の形態】
以下、本発明を図面を参照して説明する。
【００１９】
図１は本発明の第１実施形態の字幕多重装置を示すブロック図である。
図１において、本実施形態の字幕多重装置は、入力音声信号から有声区間を検出する有声区間検出部１と、有声区間検出部１で検出された有声区間の語数を算出する語数算出部２と、語数算出部２に発話速度を入力する発話速度入力部３と、語数算出部２で算出された語数から字幕画面数を算出する字幕画面数算出部４と、字幕画面数算出部４に１画面に割り当てられた字幕の行数及び文字数を入力する字幕表示情報入力部５と、入力映像信号に字幕情報を多重する字幕信号処理部６とを備えている。
【００２０】
有声区間検出部１は、図２に示すように、入力音声信号の有声部分を判定する有声信号判定部１１と、有声信号判定部１１で有声部分と判定された部分から有声区間を判定する有声区間判定部１２とを備えている。
【００２１】
字幕画面数算出部４は、図３に示すように、仮名単位で入力される語数を仮名漢字交じりでの語数に変換する語数変換部４１と、語数変換部４１が出力した語数からその語数を字幕に表示した場合に必要な字幕の画面数を算出する画面数算出部４２とを備えている。
【００２２】
字幕信号処理部６は、図４に示すように、有声区間の時間情報と字幕画面数算出部４が算出した字幕画面数から字幕を多重する時間情報を出力する多重時間算出部６１と、多重時間算出部６１が算出した時間情報に基づいて入力映像信号に字幕情報を多重する字幕信号多重部６２とを備えている。
【００２３】
この字幕多重装置は、生放送で放送した字幕番組を再放送するために、生放送時に作成された字幕情報を収録された映像信号に多重するためのもので、生放送を収録した映像信号及び音声信号と、生放送時に作成された１画面毎の字幕の情報である字幕情報とを使って、音声に合わせて生放送時に作成された字幕を表示するように字幕情報の多重を行うものである。
【００２４】
このような字幕多重装置において、有声区間検出部１に字幕表示する音声信号とその音声信号の番組開始時からの経過時間が入力されると、有声区間検出部１の有声信号判定部１１は、入力された音声信号のレベルが予め設定された値より大きくなった時点の経過時間を有声区間開始時間として、音声信号のレベルが予め設定された値以下になった時点の経過時間を有声区間終了時間として有声区間判定部１２に出力する。
【００２５】
有声区間の検出は、音声信号レベルや音声信号のパワーの時間積分値（予め設定された閾値との大小を判定）や音声信号が予め設定したレベル値をクロスする回数（予め設定した回数との大小を判定）を判定の指標に利用して有声区間を検出する手法（例えば、ゼロクロス法）を利用することもできる。
【００２６】
また、周囲音（ＳＥ）でアナウンサーなどの声がマスクされ有声信号を検出し難い場合に備えて、アナウンサー用のマイクの音だけを入力音声信号とする方法や、ＳＥだけを収録し放送用の音声（アナウンサーの声＋ＳＥ）からＳＥを除去した信号を入力音声信号とする方法（例えば、岩城正和他著「距離選択収音システム」ＮＨＫ技研Ｒ＆Ｄ、No.68、June 2001）などを利用するとよい。
【００２７】
また、経過時間は、ＶＴＲ（Video Tape Recorder）のタイムコードを利用するとよい。
【００２８】
有声区間判定部１２は、連続した有声区間の先の有声区間の有声区間終了時間と後の有声区間の有声区間開始時間との時間間隔が予め設定された値（例えば、２秒）より小さい場合に、連続した２つの有声区間を結合して新たな有声区間として有声区間の開始時間と終了時間を有声区間の時間情報として出力する。
【００２９】
語数算出部２は、有声区間検出部１から有声区間の時間情報を入力されると、発話速度入力部３から入力された予め設定されている発話速度s（例えば、日常会話では８（モーラ／秒）、早口では１０（モーラ／秒）など）と有声区間の時間長Tとから有声区間の語数をTsで算出し出力する。
【００３０】
字幕画面数算出部４の語数変換部４１は、語数算出部２が出力した有声区間の語数が仮名単位で計算されているのに対し、字幕画面は仮名漢字交じりで表示されるため、予め設定された仮名を仮名漢字交じりに変換した場合の文字数の減少率α（０＜α＜１、例えば、0.75）を有声区間の語数に乗算して積を仮名漢字交じりの語数として出力する。
【００３１】
画面数算出部４２は、字幕表示情報入力部５から入力された予め設定されている字幕の画面表示時の行数lと１行の文字数nと、語数変換部４１が出力した有声区間の仮名漢字交じりの語数αTsとから［αTs/ln］+1（［］はガウス記号）により有声区間の仮名漢字交じりの語数を表示するのに必要な字幕画面数を算出する。
【００３２】
字幕信号処理部６の多重時間算出部６１は、有声区間検出部１が出力した有声区間の時間長を、字幕画面数算出部４が出力したその有声区間の字幕画面数で割って、各有声区間の字幕情報を多重する時間間隔を算出して出力する。例えば、有声区間の時間長をF（フレーム）、字幕画面数をpとすると、有声区間の開始時間からF/pフレーム間隔で字幕情報を多重するよう時間情報を出力する。
【００３３】
字幕信号多重部６２は、多重時間算出部６１が出力した時間情報に基づき、有声区間の開始時間に対応する入力映像信号に、有声区間の開始時間より後で最も近い時間の１画面分の字幕情報を、例えば、生放送時に作成した字幕情報をファイルに保存したものから読み出して多重し、その後多重時間算出部６１が出力した時間間隔で順次続いている字幕情報を１画面分づつ多重し、これを各有声区間で繰り返し行う。
【００３４】
なお、字幕信号多重部６２の出力する字幕が多重された映像信号をプレビューし、有声区間の末尾と字幕にずれがある場合や、隣接有声区間の間の無音区間に字幕が多重されている場合や、音声信号と字幕情報の小さなずれが累積して大きくなり目立つ場合などは、発話速度入力部３に設定する発話速度を変更して調節することができる。有声区間毎、発話者が変わる毎等、必要に応じて調整して再度処理を行わせ、プレビューすることができる。プレビューで確認後、ＶＴＲ等へ字幕多重映像信号を出力する。
【００３５】
このように本実施形態においては、有声区間検出部１が音声信号の有声区間を検出し、該有声区間の時間内に発話可能な文字数を発話速度から求め、求めた文字数を表示するのに必要な字幕画面数を１画面に表示可能な字幕の文字数から算出し、有声区間の開始時間から、有声区間の時間長を字幕画面数で割った時間間隔で生放送時に作成された字幕情報を多重するので、音声区間開始時の音声と字幕のずれを無くすことができ、有声区間のその後の音声と字幕のずれも発話速度や１画面に表示可能な字幕の文字数により調節することができる。
【００３６】
なお、本実施形態においては、有声区間検出部１により音声信号から有声区間を検出したが、収録された映像・音声を再生しながら有声区間の開始と終了のタイムコードを記録（例えば、特開平１０−３３６７０８号公報に記載された方法）した情報を語数算出部２及び字幕信号処理部６に入力するようにしてもよい。
【００３７】
また、本実施形態においては、有声区間の時間情報として開始時間と終了時間を用いたが、これに限定されるものではなく、例えば、開始時間と時間長を用いてもかまわない。
【００３８】
次に、図５及び図６は本発明の第２実施形態の字幕多重装置を示す図である。なお、本実施形態は、上述第１実施形態と略同様に構成されているので、同様な構成には同一の符号を付して特徴部分のみ説明する。
【００３９】
本実施形態の字幕多重装置は、図５に示すように、字幕画面数算出部４と字幕表示情報入力部５に替えて、有声区間の語数と該有声区間の生放送時に作成された字幕情報から字幕画面数を算出する字幕画面数算出部７を備えることを特徴とする。
【００４０】
この字幕画面数算出部７は、図６に示すように、仮名単位で入力される語数を仮名漢字交じりでの語数に変換する語数変換部７１と、生放送時に作成された字幕情報から画面毎に出力される字幕の文字数を算出する画面文字数算出部７２と、語数変換部７１で変換した語数と画面文字数算出部７２で算出した画面毎の字幕の文字数から字幕画面数を算出する画面数算出部７３とを備えている。
【００４１】
語数算出部２から有声区間毎の仮名単位の語数を入力されると、語数変換部７１は、予め設定された仮名を仮名漢字交じりに変換した場合の文字数の減少率α（０＜α＜１、例えば、0.75）を有声区間の語数に乗算して積を仮名漢字交じりの語数として出力する。
【００４２】
画面文字数算出部７２は、指定された有声区間の開始時間から実際に画面に出力される字幕の文字数を生放送時に作成された字幕情報から１画面毎に算出して順次出力する。
【００４３】
画面数算出部７３は、語数変換部７１で変換された有声区間の語数から画面文字数算出部７２が出力する有声区間の開始からの１画面毎の字幕の文字数を順次差し引いていき、差し引いた結果が負になった時点の差し引き回数を字幕画面数として出力する。
【００４４】
字幕信号処理部６は、この字幕画面数を使って、上述の実施形態と同様に、有声区間の時間長を字幕画面数で割った間隔で有声区間の開始時間から字幕情報を映像信号に多重化する。
【００４５】
このように本実施形態においては、生放送時に作成された字幕情報の１画面分の文字数（実際に表示する文字数）により語数変換部７１で変換された有声区間の語数を表示する字幕画面数を算出しているので、より精度良く字幕画面数を算出することができ、有声区間開始時以降の音声と字幕のずれを精度良く調整することができる。
【００４６】
【発明の効果】
第１の発明によれば、有声区間の時間内に発話可能な語数と１画面に表示可能な文字数から字幕画面数を求め、有声区間の開始時間から有声区間の時間長を字幕画面数で割った時間間隔で字幕情報を多重しているので、有声区間の開始時間の音声と字幕のずれを無くすことができ、有声区間のその後の音声と字幕のずれも発話速度や１画面に表示可能な字幕の文字数により調節することができる。
【００４７】
第２の発明によれば、有声区間の時間内に発話可能な語数と生放送時に作成された字幕情報の１画面分の字幕の文字数から字幕画面数を求め、有声区間の開始時間から有声区間の時間長を字幕画面数で割った時間間隔で字幕情報を多重しているので、精度良く字幕画面数を算出することができ、有声区間開始時以降の音声と字幕のずれも精度良く調節することができる。
【００４８】
第３の発明によれば、有声区間検出部が生放送で収録した音声信号から該音声信号の有声区間を検出して時間情報を出力しているので、有声区間の時間情報を自動的に求めることができる。
【００４９】
第４の発明によれば、生放送で収録した音声信号から周囲音を除いた信号を有声区間検出部に入力しているので、精度良く有声区間を検出することができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態の字幕多重装置を示す図であり、そのブロック図である。
【図２】その有声区間検出部のブロック図である。
【図３】その字幕画面数算出部のブロック図である。
【図４】その字幕信号処理部のブロック図である。
【図５】本発明の第２実施形態の字幕多重装置を示す図であり、そのブロック図である。
【図６】その字幕画面数算出部のブロック図である。
【符号の説明】
１ 有声区間検出部
１１ 有声信号判定部
１２ 有声区間判定部
２ 語数算出部
３ 発話速度入力部
４ 字幕画面数算出部
４１ 語数変換部
４２ 画面数算出部
５ 字幕表示情報入力部
６ 字幕信号処理部
６１ 多重時間算出部
６２ 字幕信号多重部
７ 字幕画面数算出部
７１ 語数変換部
７２ 画面文字数算出部
７３ 画面数算出部
Claims (4)
- 生放送の字幕番組を再放送するための映像信号に字幕情報を多重する字幕多重装置であって、
前記生放送で収録した音声信号の有声区間を示す時間情報に基づいて前記有声区間の時間内に発話可能な語数を算出する語数算出部と、前記語数と１画面に表示可能な字幕の文字数に基づいて前記語数の文字を表示するのに必要な字幕画面数を算出する字幕画面数算出部と、前記時間情報と前記字幕画面数に基づいて前記有声区間の開始時間から前記有声区間の時間長を前記字幕画面数で割った時間間隔で順次前記生放送時に作成した字幕情報を映像信号に多重する字幕信号処理部とを備えることを特徴とする字幕多重装置。 - 生放送の字幕番組を再放送するための映像信号に字幕情報を多重する字幕多重装置であって、
前記生放送で収録した音声信号の有声区間を示す時間情報に基づいて前記有声区間の時間内に発話可能な語数を算出する語数算出部と、前記有声区間の開始時間からの前記生放送時に作成された字幕情報の各字幕の文字数の累計が前記語数以上となる字幕画面数を算出する字幕画面数算出部と、前記時間情報と前記字幕画面数に基づいて前記有声区間の開始時間から前記有声区間の時間長を前記字幕画面数で割った時間間隔で順次前記生放送時に作成された字幕情報を映像信号に多重する字幕信号処理部とを備えることを特徴とする字幕多重装置。 - 前記生放送で収録した音声信号から該音声信号の有声区間を検出し、前記時間情報を出力する有声区間検出部を備えることを特徴とする請求項１または２に記載の字幕多重装置。
- 前記有声区間検出部に前記生放送で収録した音声信号から周囲音を除いた信号を入力することを特徴とする請求項３に記載の字幕多重装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002289784A JP3953930B2 (ja) | 2002-10-02 | 2002-10-02 | 字幕多重装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002289784A JP3953930B2 (ja) | 2002-10-02 | 2002-10-02 | 字幕多重装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004128849A JP2004128849A (ja) | 2004-04-22 |
| JP3953930B2 true JP3953930B2 (ja) | 2007-08-08 |
Family
ID=32281848
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002289784A Expired - Fee Related JP3953930B2 (ja) | 2002-10-02 | 2002-10-02 | 字幕多重装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3953930B2 (ja) |
-
2002
- 2002-10-02 JP JP2002289784A patent/JP3953930B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004128849A (ja) | 2004-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7450821B2 (en) | Moving image playback apparatus, moving image playback method, and computer program thereof with determining of first voice period which represents a human utterance period and second voice period other than the first voice period | |
| JP4695392B2 (ja) | 画像と自動同期させるサウンド置換に使用する方法及び装置 | |
| US20130204605A1 (en) | System for translating spoken language into sign language for the deaf | |
| CN101189657A (zh) | 一种用于对多媒体信号执行自动配音的方法和设备 | |
| JP2010206279A (ja) | 映像音声再生装置および映像音声再生方法 | |
| WO2010125757A1 (ja) | 映像音声再生装置、映像音声記録再生装置、映像音声再生方法、および映像音声記録再生方法 | |
| JP3642019B2 (ja) | Ａｖコンテンツ自動要約システム及びａｖコンテンツ自動要約方法 | |
| JP4496358B2 (ja) | オープンキャプションに対する字幕表示制御方法 | |
| JP3953930B2 (ja) | 字幕多重装置 | |
| TW201102836A (en) | Content adaptive multimedia processing system and method for the same | |
| JP2003216200A (ja) | 字幕用書き起こしテキストの作成支援システム及び半自動型字幕番組制作システム | |
| JP2000270263A (ja) | 自動字幕番組制作システム | |
| JP2003223199A (ja) | 字幕用書き起こしテキストの作成支援システム及び半自動型字幕番組制作システム | |
| JP4500957B2 (ja) | 字幕制作システム | |
| JP2008294722A (ja) | 動画再生装置および動画再生方法 | |
| JP3969570B2 (ja) | 逐次自動字幕制作処理システム | |
| JP4509188B2 (ja) | 動画再生装置、動画再生方法及びそのコンピュータ・プログラム | |
| JP2002084505A (ja) | 映像閲覧時間短縮装置及び方法 | |
| JP4086886B2 (ja) | 動画再生装置、動画再生方法及びそのコンピュータ・プログラム | |
| JP3970080B2 (ja) | 動画再生装置、動画再生方法及びそのコンピュータ・プログラム | |
| JP2006050045A (ja) | 動画像データ編集装置及び動画像データ編集方法 | |
| JP2003224807A (ja) | 字幕番組編集支援システムおよび半自動型字幕番組制作システム | |
| JP2002197488A (ja) | リップシンクデータ生成装置並びに方法、情報記憶媒体、及び情報記憶媒体の製造方法 | |
| US20220264193A1 (en) | Program production apparatus, program production method, and recording medium | |
| JP3811751B2 (ja) | 合成タイミング調整システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050401 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070416 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070424 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070425 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130511 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140511 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |