JP3944830B2 - スピーチ近似データによる字幕用データ作成・編集支援システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、人手による字幕制作工程と、自動による字幕制作工程とを効果的に組み合わせた半自動型字幕番組制作システムにおいて、スピーチ近似データを用いることにより、スピーチ区間指定の指針とすることで、字幕用データ作成・編集作業を支援する技術に関する。
【０００２】
〔発明の概要〕
本発明は、音声データを特殊処理したスピーチ近似データをタイムライン上に表示することにより、スピーチ区間指定の指針となるようにしたものである。
【０００３】
スピーチ区間の指定を容易化することにより、書き起こし作業におけるスピーチ内容の理解・テキスト化への専念を可能とするもので、字幕用データ作成・編集を効果的に支援することが可能となる。
【０００４】
したがって、電子化原稿のない番組や背景音レベルの大きい番組など多様な番組に対しても、より簡単かつ効率的に字幕用データの作成・編集が可能となり、字幕番組制作の効率化に大きく寄与することが出来る。
【０００５】
【従来の技術】
オフラインで字幕番組を自動制作する技術としては、ニュース番組やナレーション主体のドキュメンタリー番組を対象とし、電子化原稿が存在する場合に、「自動要約」、「自動同期」、及び「自動字幕画面作成技術」などの研究成果を集約し、「自動字幕番組制作システム」として構築された技術が存在する。
【０００６】
これらの技術は、すでに特願平１１−７２６７１号等で特許出願されているが、かかる技術を適用できる番組範囲は限られており、電子化原稿が存在しない番組、ドラマやバラエティーなど背景音レベルの大きい番組などに対しては、自動機能として限界があるため、限界以上の部分は、手動による字幕制作や試写・修正の範囲でカバーせざるを得ない。
【０００７】
【発明が解決しようとする課題】
実際の字幕制作現場では、高度な専門技術、知識を持った多くの専門家が携わっており、字幕制作はこのような人間の能力に負っている部分が多い。一方、今日のように、字幕番組の急速な拡充が要請されている状況の下において、字幕制作は、専門家でなくても、ワープロ作業が一応できるパートタイマーでも作業の一端を分担できるようなシステムとすることが望ましい。したがって、自動処理を前提とした字幕制作システムのみならず、手作業を含む字幕用電子化テキストの作成や、字幕画面の試写・編集などの作業も含めたトータルシステムとして、字幕制作効率を考える必要がある。
【０００８】
そこで、本件発明の発明者らは、これまでに行った自動字幕制作システムのシステム評価などから得た知見を基に、各自動化要素技術を高性能化した新しい自動字幕システムを中核に、新たに開発した効率的な手動字幕制作サブシステムを適用することで、広い番組範囲に対応可能な実用性のより高い半自動型字幕番組制作システムを開発した。
【０００９】
この半自動型字幕番組制作システムは別途出願しているが、かかる半自動型字幕番組制作システムでは、字幕用テキスト作成機能及び字幕番組データ編集・試写機能については、手動作業で行うこととしている。
【００１０】
すなわち、音声の、簡易・確実なテキスト化は極めて重要なテーマであるが、現状の音声認識技術では誤りが生じるため、半自動型字幕番組制作システムにおいて字幕用テキスト作成機能は、人間による「書き起こし作業」で行うこととしている。
【００１１】
この「書き起こし作業」は、人間の高度な音声認識能力、言語判断能力に頼るため、高い能力や多くの時間を必要とする。また、スピーチの開始・終了タイミングを調べて記録することとしており、その分作業者の負担は大きくなる。
【００１２】
ここで、この手動作業を支援するシステムがあれば、作業者に要求される能力や作業時間、緊張の程度を低減することができ、より効率的な「書き起こし作業」が可能となる。
【００１３】
また、半自動型字幕番組制作システムにおいて、字幕番組データ編集・試写機能での作業は、一応出来上がった字幕番組データを専門知識を有する作業者が試写し、必要なら修正するものである。この作業において、作業者が字幕内容・タイミングなどに関する修正がしやすいように支援するシステムがあれば、作業者に要求される能力や、作業時間、緊張の程度を軽減することができ、より効率的な編集作業が可能となる。
【００１４】
本発明は、このような課題に鑑みてなされたもので、半自動型字幕番組制作システムにおいて、スピーチの開始・終了タイミングの把握を支援し、書き起こし作業や字幕番組データ編集作業を行う者に必要とされる能力や、緊張の程度を低減することを目的とする。
【００１５】
【課題を解決するための手段】
本発明は、字幕用テキスト書き起こし機能、自動字幕番組制作機能、及び字幕番組編集・試写機能からなり、人手による字幕制作機能と自動による字幕制作機能とを組み合わせた半自動型字幕番組制作システムに適用する字幕用データ作成・編集支援システムであって、字幕番組制作対象となる番組用として録音された音声データ中のスピーチ成分について再生音声の４〜７Ｈｚにおける周波数成分の音声パワー値を所定の閾値で２値化することによって前記音声データのスピーチ成分に近似したスピーチ近似データを生成するスピーチ近似データ作成手段と、前記スピーチ近似データの波形を、前記字幕番組制作対象となる番組の時間経過を時間軸として示したタイムライン上に表示する表示手段とを有すること特徴としている。
【００１６】
本発明においては、スピーチ近似データ作成手段は、音声 Power 値の特定周波数範囲（例えば５〜７Ｈｚ）成分抽出値を用いている。すなわち、番組音声パワーの時間軸方向の変動特性に注目する手法である。スピーチに関する時間軸方向の変動特性を、スピーチの発音記号列と比較すると、母音の発音記号に対応する音声パワーが他より大きくなる傾向があり、そして、通常速度のスピーチにおけるこの変動特性は、ほぼ４〜７Ｈｚ程度の周波数範囲になっている。本手法は基本的にはこの周波数成分を抽出し、その成分が所定の閾値以上の範囲をスピーチ区間として検出するものである。これらの値を用いることにより、スピーチ成分を強調したデータを得ることができる。
【００１７】
また、本発明は、字幕用テキスト書き起こし機能、自動字幕番組制作機能、及び字幕番組編集・試写機能からなり、人手による字幕制作機能と自動による字幕制作機能とを組み合わせた半自動型字幕番組制作システムに適用する字幕用データ作成・編集支援システムであって、字幕番組制作対象となる番組用として録音された音声データ中のスピーチ成分について再生音声パワー値の４〜７Ｈｚ周波数成分を抽出し、その抽出成分のパワー値を所定の閾値で２値化することによって前記音声データのスピーチ区間に近似したスピーチ近似データを生成するスピーチ近似データ作成手段と、前記スピーチ近似データの波形を、前記字幕番組制作対象となる番組画像および字幕本文と共に、前記字幕番組制作対象となる番組の時間経過を時間軸として示したタイムライン上に表示し、かつ前記録音された音声データ中の現在再生されている部分をカーソルにて指示表示する表示手段とを有することを特徴としている。
【００１８】
上記構成によれば、カーソル位置を参考にしてスピーチ近似データの波形を把握してスピーチやポーズの位置を確認しつつ、字幕表示の時間幅や表示タイミングの変更を行うことが出来る。このように、視覚的にスピーチやポーズの位置を判断することができるので、編集作業において、字幕の表示タイミングの編集が容易となる。
【００２１】
【発明の実施の形態】
まず、本発明を適用する半自動字幕番組制作システムについて図４を参照して説明する。
【００２２】
半自動型字幕番組制作システムの主要な機能は、図４に示すように、字幕テキスト書起し機能１と、自動字幕番組データ制作機能２と、字幕番組データ編集・試写機能３と、全体を統括制御する基本ＧＵＩシステム４とからなっている。
【００２３】
ここで、字幕テキスト書き起こし機能１とは、素材番組の音声を聞き取って、字幕用テキストの書き起こしや開始・終了タイミングなどの付加データを入力する機能であり、素材番組の映像・音声を、パソコンのディスクに圧縮記録するとともに、記録された映像音声の再生および特殊再生操作のための操作キーを備え、対応する動作を行う「ディスク記録再生制御機能」、書き起こしおよび付加情報データの入力の手動作業を支援するため、素材番組の映像・音声、書き起こしテキストなどに関する各種の情報を、タイムライン上にビジュアルに表示する「情報表示機能」、書き起こしたテキストやスピーチポーズの時間データ入力操作のための操作キーを備え、対応する動作をする「データ作成制御機能」、及びデータ作成画面や主映像表示画面とからなる。
【００２４】
また、自動字幕番組データ制作機能２とは、提示時間順に配列された字幕用テキストの中から、適切な改行・改頁によって表示単位字幕文を形成し、音声認識処理を含む同期検出技術などを適用することにより、この表示単位字幕文毎に始点及び終点を同期点として検出して、始点／終点タイミング情報を表示単位字幕文毎に付与する一連の動作を自動的に行う機能であり、必要な場合は字幕用テキストを要約する「テキスト自動要約機能」と「表示単位字幕作成機能」と「タイミング検出・付与機能」とからなる。
【００２５】
また、字幕番組データ編集・試写機能３とは、書き起こしした字幕用テキスト及び付加情報データを基に、自動字幕番組データ制作部で自動制作された字幕番組データを人手で編集・試写するためのものであり、始点及び終点時間、字幕の改ページ、改行などに関し編集・試写作業支援用特殊表示操作のための専用操作キーを備え、対応する動作をする「ディスク記録再生および字幕データ制御機能」、各種の情報を、タイムライン上にビジュアル表示し、特に字幕番組データについては、タイミング変更支援画面を表示し対応する動作をする「情報表示・字幕タイミング制御機能」、字幕データのページ単位編集のための専用操作キーを備え、対応する動作をする「字幕データページ編集操作キーと機能」、映像に重畳した指定字幕データ表示のための、操作キーを備え、対応する動作をする「字幕データ・映像表示機能」、及び部分試写、通し試写など、試写形式の選択に必要な操作キーを備え、対応する動作をする「試写用キーとその機能」とからなる。
【００２６】
本発明にかかるスピーチ近似データによる字幕用データ作成・編集支援システムは、前記半自動字幕番組制作システムにおいて、字幕テキスト書き起こし機能１及び字幕番組編集・試写機能３に適用し、これらの機能を支援するためのシステムである。
【００２７】
まず、本発明にかかるスピーチ近似データによる字幕用データ作成・編集支援システムについて、基本原理を図５及び図６を参照して説明し、次いでこのシステムを半自動字幕番組制作システムの字幕テキスト書き起こし機能１に適用した実施の形態を図１乃至図３により説明し、続いてこのシステムを半自動字幕番組制作システムの字幕番組編集・試写機能に適用した実施の形態を図７及び図８により説明する。
【００２８】
本発明にかかるスピーチ近似データによる字幕用データ作成・編集支援システムは、字幕用テキストの書き起こし作業及び編集作業において、スピーチの開始・終了タイミングを把握することが重要であることから、スピーチ近似データを作成して、それを活用し、スピーチ区間を容易に把握できるようにすることで、スピーチの開始・終了タイミングの把握を支援するものである。
【００２９】
一般に、テープに録音したスピーチの書き起こしでは、テープの再生速度を遅くして、聴きやすくする方法が行われており、その効果が知られている。
【００３０】
しかし、ドキュメンタリーテレビ番組などでは、スピーチが連続している場合よりも比較的長い非スピーチ（ポーズ）区間が介在している場合が多い。このような場合は、テープの再生速度を遅くしてスピーチ区間の書き起こしを行い、次いで、ポーズ区間を送った後次のスピーチ区間テープを低速再生して書き起こしを行う、といったテープの操作と書き起こしの作業を行うこととなり、個々のスピーチ区間では音声を聞きながら行う頭出し操作も必要となる場合もあるので煩雑な作業が強いられる。
【００３１】
ここで、書き起こしのための頭出しも含め、スピーチ近似データの作成・活用によってスピーチ区間の把握が容易となれば、書き起こし作業を効果的に支援することができる。
【００３２】
同様に、字幕番組の編集作業においても、スピーチ近似データの作成・活用によってスピーチ区間の把握が容易となれば字幕番組制作において、編集作業を支援することができる。
【００３３】
図５は、スピーチ近似データとして音声データ波形５１を表示した例である。
【００３４】
横軸は、番組の時間経過を示したタイムラインであり、音声を再生するとこの経過時間に応じた位置にカーソルが表示され、かつ時間経過とともに移動するようにしてある。したがって、カーソルの各位置における再生音声と音声波形の対応付けができる。
【００３５】
音声における背景音が充分小さい場合とか波形に関する経験状況によっては、この音声波形データからスピーチタイミングをある程度把握することができるが、通常の番組音声では、種々の背景音がありそのレベルも様々であることから、一般的には、この音声波形データからスピーチの開始・終了タイミングを正確に把握することは難しい。
【００３６】
ここで、スピーチ成分を強調したスピーチ近似データを利用するとタンミング把握の確度を高めることが可能となる。
【００３７】
図６は、音声データを特殊処理したスピーチ近似データを用いた例である。図６において、波形６１は音声のcflx解析値、波形６２は音声power値の特定周波数範囲（例えば５〜７Hz）成分抽出値、波形６３は波形６２を適当なレベルでスライスし、２値化したデータである。
【００３８】
波形６３において、高レベル範囲はスピーチ、低レベル範囲は非スピーチ（ポーズ）の区間を表しており、この例ではほとんど実測したタイミングと合致している。したがって、波形６３から音声中のスピーチの開始・終了タイミングをある程度正確に把握することができる。
【００３９】
このように、音声データを特殊処理したスピーチ近似データを、スピーチ区間指定の指針として活用することにより、書き起こし及び編集作業における、スピーチ内容の理解・テキスト化への専念を可能とし、これらの作業を効果的に支援することができる。
【００４０】
次いで、本発明にかかるスピーチ近似データによる字幕用データ作成・編集支援システムを半自動字幕番組制作システムの字幕テキスト書き起こし機能に適用した実施の形態を図１ないし図３を参照して説明する。
【００４１】
字幕用テキスト書き起こし機能とは、素材番組の音声を聞き取って、字幕用テキストの書き起こしや付加データを入力する機能であり、前述の通り「ディスク記録再生制御機能」、「情報表示機能」、「データ作成制御機能」、及びデータ作成画面や主映像表示画面とからなる。
【００４２】
本発明にかかるスピーチ近似データによる字幕用データ作成・編集支援システムは、字幕用テキスト書き起こし機能の一部である「情報表示機能」において、タイムライン上に、音声データを特殊処理したスピーチ近似データを表示することによって、書き起こしおよび付加情報データの入力の手動作業を支援するものである。
【００４３】
図１は、本発明にかかるスピーチ近似データによる字幕用データ作成・編集支援システムを適用した、書き起こし・編集のメイン画面を示す。
【００４４】
メイン画面は各機能の呼び出しを行うメニュー領域１１、ＭＰＥＧ／ＡＶＩ映像の表示制御領域１２、字幕テキストの編集領域１３、及び画像と字幕テキストなどの一覧領域１４から成り立っている。
【００４５】
図２に一覧領域１４部のみを取り出した画面を示す。一覧領域１４において、上段から画像２１、字幕本文２２、及び波形２３が表示される。一覧領域１４の波形２３欄に音声データを特殊処理したスピーチ近似データを表示する。なお、波形２３欄には横軸として時間経過を示すタイムライン１６が表示される。本実施の形態においては、音声power値の特定周波数範囲（例えば５〜７Hz）成分を適当なレベルでスライスし、２値化したデータをスピーチ近似データとして表示している。カーソル１５は画像、字幕本文、波形領域にまたがって、時間とともに移動して表示され、現状の相互関係を把握することが出来る。
【００４６】
次に、字幕テキスト書起しと付加情報データ入力の、具体的処理手順例を図３に示す。
【００４７】
図３に示す通り、まず、［ＰＬＡＹ］を押し、映像再生開始。発話タイミングを探す（ステップＳ１）。次いで、発話の確認点で、「書起開始」を押す（ステップＳ２）。この点がスピーチ区間の開始点となる。続いて、一定時間巻き戻し、スロー再生開始する（ステップＳ３）。次に、再生音を聴きながら書き起こし作業を行う（ステップＳ４）。次いで、スピーチ終了と認識したら、適宜巻き戻して発話終了点を探し（ステップＳ５）、発話終了点で「書起終了」を押す（ステップＳ６）。番組が終了するまでステップＳ２からＳ６までの動作を繰り返す。
一連の書き起こし作業が終了した後、用字、用語をチェック、要約支援を実行し（ステップＳ７）、続いて背景音情報を登録する（ステップＳ８）。テキスト作成が終了したら、自動字幕番組データ制作工程へすすむ（ステップＳ９）。
【００４８】
これらの操作は、図１に示す書き起こし・編集のメイン画面を見ながら行う。メイン画面下部の一覧領域１４において、図２に示すように、書き起こそうとする字幕本文を表示すべき欄の下の波形２３欄に、映像ファイルに記録されている音声power値の特定周波数範囲（例えば５〜７Hz）成分を適当なレベルでスライスし、２値化したデータが表示されるので、発話の確認及びスピーチ終了点を見つけ出すことが容易となる。
【００４９】
続いて、本発明にかかるスピーチ近似データによる字幕用データ作成・編集支援システムを半自動字幕番組制作システムの字幕番組編集・試写機能に適用した実施の形態を図７及び図８を参照して説明する。
【００５０】
字幕番組データ編集・試写機能３とは、前述の通り、作成した字幕テキスト及び付加情報データを基に、自動字幕番組データ制作部で自動制作された字幕番組データを人手で編集・試写するためのものであり、「ディスク記録再生および字幕データ制御機能」、「情報表示・字幕タイミング制御機能」、「字幕データページ編集操作キーと機能」、「字幕データ・映像表示機能」、及び「試写用キーとその機能」とからなる。
【００５１】
本発明にかかるスピーチ近似データによる字幕用データ作成・編集支援システムは、字幕番組データ編集・試写機能の一部である「字幕データ・映像表示機能」において。タイムライン上に、音声データを特殊処理したスピーチ近似データをビジュアルに表示することによって、字幕番組データ編集作業を支援するものである。
【００５２】
図７は、本発明にかかるスピーチ近似データによる字幕用データ作成・編集支援システムを適用した、字幕素材編集のメイン画面である。メイン画面は、各種機能の呼び出しを行うメニュー領域７１、字幕本文の入力を行う編集領域７２、及びＭＰＥＧ／ＡＶＩ画像と字幕本文の一覧領域７３に分けられる。
【００５３】
字幕本文一覧領域７３には、図８に示すように、画像８１と字幕本文８２と波形８３が表示される。ここで、波形として、映像ファイルに記録されている音声power値の特定周波数範囲（例えば５〜７Hz）成分を適当なレベルでスライスし、２値化したデータがスピーチ近似データとして、時間経過を示すタイムライン７５上に表示されるので、スピーチやポーズの位置を視覚的に判断することができる。
【００５４】
すなわち、字幕本文一覧領域において、字幕本文は、話者と本文の内容が枠に囲われて表示されるので、カーソル７４を参考にして波形として２値化されて表示されたデータと見比べ、スピーチやポーズの位置を確認しつつ、字幕表示の時間幅や表示タイミングの変更を行うことが出来る。
【００５５】
このように、視覚的にスピーチやポーズの位置を判断することができるので、編集作業において、字幕の表示タイミングの編集が容易となる。
【００５６】
【発明の効果】
以上のように、本発明によれば、音声中のスピーチの開始・終了タイミングをある程度正確に把握することができるので、半自動型字幕番組制作システムに、本発明を適用することによって、字幕テキスト書き起こし作業及び編集作業を支援することができる。また、スピーチの開始・終了タイミングを視覚的に把握することができるので、書き起こし作業や字幕番組データ編集作業を行う者に必要とされる能力や、緊張の程度を低減することができる。
【図面の簡単な説明】
【図１】本発明にかかるスピーチ近似データによる字幕用データ作成・編集支援システムを適用した、書き起こし・編集のメイン画面である。
【図２】図１から一覧領域部のみを取り出した画面である。
【図３】字幕テキスト書起しと付加情報データ入力の処理手順を示す図である。
【図４】本発明を適用する半自動型字幕番組制作システムの機能構成図である。
【図５】スピーチ近似データとして音声データ波形５１を表示した図である。
【図６】音声データを特殊処理したスピーチ近似データを表示した図である。
【図７】本発明を適用した、字幕素材編集のメイン画面である。
【図８】図７から一覧領域部のみを取り出した画面である。
【符号の説明】
１ 字幕テキスト書き起こし機能
２ 自動字幕番組データ制作機能
３ 字幕番組編集・試写機能
１１ メニュー領域
１２ 制御領域
１３ 編集領域
１４ 一覧領域
５１ 音声データ波形
６１ 音声のcflx解析値
６２ 音声power値の特定周波数範囲成分抽出値
６３ 音声power値の特定周波数範囲成分抽出値の２値化データ

Claims (2)

1. 字幕用テキスト書き起こし機能、自動字幕番組制作機能、及び字幕番組編集・試写機能からなり、人手による字幕制作機能と自動による字幕制作機能とを組み合わせた半自動型字幕番組制作システムに適用する字幕用データ作成・編集支援システムであって、
   字幕番組制作対象となる番組用として録音された音声データ中のスピーチ成分について再生音声パワー値の４〜７Ｈｚ周波数成分を抽出し、その抽出成分のパワー値を所定の閾値で２値化することによって前記音声データのスピーチ区間に近似したスピーチ近似データを生成するスピーチ近似データ作成手段と、
   前記スピーチ近似データの波形を、前記字幕番組制作対象となる番組の時間経過を時間軸として示したタイムライン上に表示する表示手段と
   を有すること特徴とするスピーチ近似データによる字幕用データ作成・編集支援システム。
2. 字幕用テキスト書き起こし機能、自動字幕番組制作機能、及び字幕番組編集・試写機能からなり、人手による字幕制作機能と自動による字幕制作機能とを組み合わせた半自動型字幕番組制作システムに適用する字幕用データ作成・編集支援システムであって、
   字幕番組制作対象となる番組用として録音された音声データ中のスピーチ成分について再生音声パワー値の４〜７Ｈｚ周波数成分を抽出し、その抽出成分のパワー値を所定の閾値で２値化することによって前記音声データのスピーチ区間に近似したスピーチ近似データを生成するスピーチ近似データ作成手段と、
   前記スピーチ近似データの波形を、前記字幕番組制作対象となる番組画像および字幕本文と共に、前記字幕番組制作対象となる番組の時間経過を時間軸として示したタイムライン上に表示し、かつ前記録音された音声データ中の現在再生されている部分をカーソルにて指示表示する表示手段と
   を有することを特徴とするスピーチ近似データによる字幕用データ作成・編集支援システム。

Images