JP3986009B2 - 文字データ修正装置、その方法及びそのプログラム、並びに、字幕の生成方法 - Google Patents
文字データ修正装置、その方法及びそのプログラム、並びに、字幕の生成方法 Download PDFInfo
- Publication number
- JP3986009B2 JP3986009B2 JP2002319365A JP2002319365A JP3986009B2 JP 3986009 B2 JP3986009 B2 JP 3986009B2 JP 2002319365 A JP2002319365 A JP 2002319365A JP 2002319365 A JP2002319365 A JP 2002319365A JP 3986009 B2 JP3986009 B2 JP 3986009B2
- Authority
- JP
- Japan
- Prior art keywords
- text data
- corrected
- correction
- mismatched
- correction unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、音声からテキストデータに変換された文字を修正する文字データ修正装置、その方法及びそのプログラム、並びに、字幕の生成方法に関するものである。
【０００２】
【従来の技術】
現在、テレビジョン番組の音声を字幕化して欲しいという要望はきわめて高く、既に、徐々に実施もされている。従来、字幕化を図る場合、音声認識装置を用いて、この音声認識装置で認識された認識結果による文字データ（以下、「テキストデータ」という）の誤りを修正した後、テレビ画面で出力される音声と表示される字幕とが同期するようにタイミング良く送り出し、リアルタイムで字幕化することを可能にしている（例えば、特許文献１参照）。
【０００３】
図８は、従来のテレビジョン放送におけるニュース番組で使用されている字幕化システムで音声を字幕化する過程を模式的に示した模式図である。図８における字幕化システムでは、音声認識装置１０４と認識誤り発見装置１０６と認識誤り修正装置１０７とを備える。
【０００４】
図８に示す字幕システムの動作を次に説明する。スタジオ１０１内でアナウンサー１０２がニュース原稿を読み上げると、その音声（アナウンサー音声）１０３が音声認識装置１０４に入力され、該音声認識装置１０４でテキストデータ１０５に変換され、その変換されたテキストデータ１０５を出力する。この出力には、認識誤りのある文字列が含まれている場合があるため、認識誤り発見装置１０６に入力される。認識誤り発見装置１０６では、オペレータがテキストデータ１０５中の誤りを検出して指摘する。そして、その検出結果を基に別のオペレータが、認識誤り修正装置１０７で正しい文字列に修正する。修正後は、その修正結果のテキストデータを字幕としてリアルタイムに送出する（特許文献１参照）。
【０００５】
ここで、前記した従来の字幕システムにおけるテキストデータの誤り修正手段では、認識誤り修正装置１０７でオペレータが行う１回の指摘する操作で、単語単位等による所定の単位でだけ文字列を選択するようになっている。
【０００６】
【特許文献１】
特開２００１−６０１９２号公報（特許請求の範囲）
【０００７】
【発明が解決しようとする課題】
しかし、前記したような、従来の認識誤り修正装置では、以下に示すような問題点が存在した。すなわち、認識誤り修正装置は、テキストデータの誤り修正を行う手段が、オペレータが画面の誤りに対して指摘する１回の操作では、単語単位等の所定の単位でだけ文字列を選択するようになっており、複数用意された音声認識出力単位の中から選択する形式にはなっていない。そのため、音声認識装置が誤りを含んだ文字列を複数生成してしまった場合、誤りを発見し、修正し、その修正の再確認の作業に時間がかかり、ひいては、番組映像に対する大幅な字幕遅れが生じることもある。
【０００８】
また、音声認識装置を利用してリアルタイムで字幕を作成する場合、字幕の正確さと字幕提示までの時間にはトレードオフの関係にある。例えば、ニュース番組は、字幕の遅れより字幕の正確さが重要であり、また、スポーツ中継番組では、ニュース番組ほどの正確さは必要としない一方で、番組映像に対する字幕の遅れは致命的になる。
これから明らかなように、字幕に対して要求される正確さと遅れ許容時間は、番組に応じて異なるものであることが分かる。すなわち、字幕の正確さと提示までの時間を番組に応じて任意にコントロールすることができるようにすることは、字幕化システムにおいては非常に重要なことである。
【０００９】
また、スポーツ中継番組では、観衆の声による背景雑音があり、実況アナウンサーや解説者の声を直接音声認識することができない。この理由により、スポーツ中継番組の字幕化を実現することは困難であった。
【００１０】
よって本発明は、前記の問題点に鑑み創案されたもので、テキストデータ中の修正単位を切り換えることができ、出力までの時間を任意にコントロールすることができる文字データ修正装置、その方法及びそのプログラムを提供することにある。
【００１１】
また、本発明の目的は、スポーツ中継等のように観衆の声による背景雑音がある番組の音声をリアルタイムで字幕化することができる字幕の生成方法を提供することにある。
【００１２】
【課題を解決するための手段】
本発明に係る文字データ修正装置は、前記の目的を達成するために、以下のように構成した。すなわち、文字データ修正装置は、音声を音声認識手段によりテキストデータに変換して、前記音声と前記テキストデータとが一致しない不一致箇所が前記テキストデータに含まれた場合に修正する文字データ修正装置であって、前記音声認識手段により変換されたテキストデータを表示画面に表示する表示手段と、前記不一致箇所に含まれる修正対象文字の修正単位を切り換える修正単位切換手段と、前記表示画面に表示された前記テキストデータの前記不一致箇所を、前記修正単位切換手段によって切り換えた修正単位に対応する所定の操作により指摘したときに当該不一致箇所の選択を行う不一致箇所選択手段と、前記不一致箇所選択手段により選択された前記不一致箇所の内容に対応した修正を行った修正テキストデータを入力する修正テキストデータ入力手段と、この修正テキストデータ入力手段により入力された修正テキストデータを前記テキストデータに加えて修正付加テキストデータを生成するテキストデータ修正手段と、このテキストデータ修正手段で生成された修正付加テキストデータを出力する出力手段と、を備える構成とした。
【００１３】
この構成によれば、テキストデータが表示手段により表示画面に表示されると、その表示画面に表示されているテキストデータについて、例えば、オペレータ等がその表示画面をタッチして指摘する不一致箇所に対しての１回の指摘操作で不一致箇所選択手段により選択する。このとき、あらかじめ、修正単位切換手段により１回の指摘操作で選択可能な不一致箇所の修正単位を切り換えて設定しておくことができる。そして、選択された不一致箇所についてテキストデータ修正手段により、テキストデータに修正を行った修正テキストデータを加えた修正付加テキストデータとして生成し、出力手段によりその修正付加テキストデータを出力する。なお、テキストデータに修正する箇所がなければ、そのままテキストデータとして出力され、また、修正する箇所が多く、修正テキストデータのみが出力される状態もありえる。
【００１４】
なお、修正単位切換手段による修正単位の切り換えは、（ａ）文字単位、（ｂ）形態素（単語）単位、（ｃ）句読点を切れ目とする句単位、（ｄ）話者の息継ぎを切れ目とする音声認識入力の発話単位、（ｅ）句点を切れ目とする文単位等が考えられる。
【００１５】
また、請求項２記載の本発明に係る文字データ修正装置は、前記文字データ修正装置において、前記出力手段によって出力されるまでに制限時間を設け、この制限時間を超えた場合に強制的に前記修正付加テキストデータを出力させる制限時間設定手段を設けたものである。
【００１６】
この構成によれば、制限時間設定手段により、設定された制限時間を超えたら、テキストデータの修正が済んでいるか否かにかかわらず、出力手段を操作させてテキストデータ、修正テキストデータあるいは修正付加テキストデータを強制的に出力させる。
【００１７】
さらに、請求項３記載の本発明に係る文字データ修正プログラムは、音声を音声認識手段によりテキストデータに変換して、前記音声と前記テキストデータとが一致しない不一致箇所が前記テキストデータに含まれた場合に修正する装置を以下に示す各手段により機能させる文字データ修正プログラムとした。
【００１８】
すなわち、文字修正プログラムの各手段は、前記音声認識手段により変換されたテキストデータを表示画面に表示する表示手段、前記不一致箇所に含まれる修正対象文字の修正単位を切り換える修正単位切換手段、前記表示画面に表示された前記テキストデータの前記不一致箇所を、前記修正単位切換手段によって切り換えた修正単位に対応する所定の操作により指摘したときに当該不一致箇所の選択を行う不一致箇所選択手段、前記不一致箇所選択手段により選択された前記不一致箇所の内容に対応した修正を行った修正テキストデータを入力する修正テキストデータ入力手段、この修正テキストデータ入力手段により入力された修正テキストデータを前記テキストデータに加えて修正付加テキストデータを生成するテキストデータ修正手段、このテキストデータ修正手段で生成された修正付加テキストデータを出力する出力手段、前記出力手段によって出力されるまでに制限時間を設け、この制限時間を超えた場合に強制的に前記修正付加テキストデータを出力させる制限時間設定手段である。
【００１９】
この構成によれば、この文字データ修正プログラムを機能させることで、修正単位切換手段により指摘された１回の操作で実行可能な修正単位を、あらかじめ複数用意しておき、その中から選択して設定すると共に、制限時間設定手段により、制限時間を越えた場合に強制的に修正付加テキストデータを出力させるように設定する。そして、表示手段によりテキストデータを表示画面上に表示させ、不一致箇所選択手段により、例えば、オペレータが手指でその表示画面をタッチすると、テキストデータの不一致箇所が選択される。そのため、修正テキストデータ入力手段により不一致箇所を修正して修正付加テキストデータとし、出力手段または制限時間設定手段で設定された制限時間により修正付加テキストデータを出力する。
【００２０】
また、請求項４記載の本発明に係る文字データ修正方法は、音声を音声認識手段によりテキストデータに変換して、前記音声と前記テキストデータとが一致しない不一致箇所が前記テキストデータに含まれた場合に修正する文字データ修正方法であって、前記不一致箇所に含まれる修正対象文字の修正単位を切り換えて設定すると共に、前記テキストデータおよびそのテキストデータを修正した修正テキストデータを含む修正付加テキストデータを強制的に出力させる制限時間の設定を行なうステップと、前記音声認識手段により変換されたテキストデータを表示画面に表示するステップと、前記表示画面に表示された前記テキストデータの前記不一致箇所を、所定の操作により指摘したときに、前記修正単位に対応する不一致箇所を選択するステップと、選択された前記不一致箇所の内容に対応した修正を行った修正テキストデータを入力するステップと、入力された修正テキストデータを前記テキストデータに加えて前記修正付加テキストデータを生成するステップと、生成された修正付加テキストデータを出力するステップと、を含むこととした。
【００２１】
このようにすることで、文字データ修正方法では、指摘された不一致箇所の１回の指摘する操作で実行可能な修正対象文字の修正単位を、予め用意されたさまざまな修正単位の中から選択して設定し、さらにテキストデータが出力されるまでの時間に制限を設け、その設定された制限時間を超えたら、テキストデータの修正が済んでいるか否かに関係なく、出力手段を介してテキストデータを強制的に出力させる状態で文字データの修正が可能になる。
【００２２】
また、請求項５記載の本発明に係る字幕の生成方法は、外部より聴き取りされた音声を音声認識手段によりテキストデータに変換しそのテキストデータと前記音声とが一致しない不一致箇所を修正して、画面上の映像に対応する字幕を生成する字幕生成方法であって、前記不一致箇所に含まれる修正対象文字の修正単位を切り換えて設定すると共に、前記テキストデータおよびそのテキストデータを修正した修正テキストデータを含む修正付加テキストデータを強制的に出力させる制限時間の設定を行なうステップと、外部より聴取した雑音含有音声に対応する言葉をマイクロホンに向かってリスピークし、前記マイクロホンで電気信号に変換された音声として出力するステップと、前記リスピークして作成された前記音声を前記音声認識手段によりテキストデータに変換して出力するステップと、前記音声認識手段により変換されたテキストデータを表示画面に表示するステップと、前記表示画面に表示された前記テキストデータの前記不一致箇所を、所定の操作により指摘したときに、前記修正単位に対応する不一致箇所を選択するステップと、選択された前記不一致箇所の内容に対応した修正を行った修正テキストデータを入力するステップと、入力された修正テキストデータを前記テキストデータに加えて前記修正付加テキストデータを生成するステップと、生成された修正付加テキストデータを出力するステップと、を含むこととした。
【００２３】
このようにすることで、字幕の生成方法では、例えばスポーツ中継等が開始されて、実況アナウンサーや解説者がマイクロホンに向かって話した雑音が含有された雑音含有音声を、リスピーカーが別の場所でスピーカー（通常、ヘッドホン）を通して聴き取り、リスピークすることで音声認識手段を介して音声をテキストデータとする。したがって、リスピークされた音声だけが音声認識装置で音声認識されてテキストデータに変換される。音声認識手段で変換し表示画面に表示されたテキストデータは、このテキストデータに音声と一致しない不一致箇所が含まれていることもある。テキストデータ中に不一致箇所がある場合、不一致箇所を例えばオペレータがタッチすることで選択し、修正して修正テキストデータとしてテキストデータに加え、修正付加テキストデータとして出力する。
【００２４】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。
図１は、本発明を適用した字幕作成システム１の全体構成図である。本例では、サッカー競技場よりサッカーの試合をスポーツ中継する場合を一例としており、サッカー競技場１１内にアナウンスブース１２が設置されている。そのアナウンスブース１２内には実況アナウンサー１３や解説者１４等が入り、各人に用意されたマイクロホン１５を使用して実況及び解説を行うもので、そのマイクロホン１５を通した音声情報はリアルタイムにリスピーキングブース２１に送られる。
【００２５】
図１に示すように、リスピーキングブース２１内には、ヘッドホンスピーカ２３、マイクロホン２４、表示手段２５等が設置されているとともに、リスピーカー２２が入る。リスピーカー２２は、サッカー競技場１１のアナウンスブース１２内でマイクロホン１５が集音した実況アナウンサー１３や解説者１４の音声をヘッドホンスピーカ２３で聴き、その聴いた声に対応する内容の言葉をマイクロホン２４に向かって話す（以下、これを「リスピーク」という）役割を受け持つ。
【００２６】
表示手段２５は、液晶ディスプレイまたはＣＲＴ等のモニタであり、文字や画像を表示可能な表示画面を有している。なお、マイクロホン２４で集音されて電気信号に変換された音声信号は、後記する音声認識装置（音声認識手段）３０に入力され、その音声認識装置３０でテキストデータに変換された後、字幕生成ブース３１に送られる。
【００２７】
字幕生成ブース３１には、音声認識装置３０より送られて来るテキストデータを表示する表示画面を有した液晶ディスプレイまたはＣＲＴ等のモニタが設置されていると共に、そのテキストデータ中に音声と不一致となる不一致箇所（以下、「誤り」という）があるとき、それを修正する文字データ修正装置５０が設けられている。
また、字幕生成ブース３１内には、文字データ修正装置５０を操作するためのオペレータ３２が入り、テキストデータ中に誤りがあるとき、その誤りを指摘して修正を行わせる。なお、モニタの表示画面には、リスピークブース２１内で表示手段２５の表示画面に表示されている画像と同じ画像が同時に表示される。もちろん、サッカー競技場１１の映像も表示されている。
【００２８】
図２は、図１に示した字幕作成システム１のさらに具体的な構成を示すブロック図である。図２に示すように、アナウンスブース１２とリスピークブース２１と字幕生成ブース３１との間は、データ通信ライン１０で接続されている。なお、データ通信ライン１０は、有線である場合と無線である場合とがあり、環境に応じて選択される。
【００２９】
現場音声データ入力・出力手段１６は、アナウンスブース１２に設置されており、マイクロホン１５が集音した実況アナウンサー１３や解説者１４の声を観客の声と一緒になった（雑音含有）音声として入力し、これを音声調整した後、リスピークブース２１に向けて出力する。
【００３０】
リスピーク音声データ入力・出力手段２６は、リスピークブース２１内に設置されており、リスピーカー２２が使用するヘッドホンスピーカ２３及びマイクロホン２４を有する。また、リスピーク音声データ入力・出力手段２６は、アナウンスブース１２からの音声データをリスピーカー２２が使用するヘッドホンスピーカ２３で再生する機能と、リスピーカー２２がマイクロホン２４に向かって話すと、マイクロホン２４が集音したリスピーカー２２の声を音声として入力し、これを音声認識装置３０に向けて出力する機能を有する。音声認識装置３０は、入力された音声データをテキストデータに変換し、その変換したテキストデータを文字データ修正装置５０に向けて出力する。
【００３１】
字幕生成ブース３１の文字データ修正装置５０は、テキストデータ入力手段５１、認識誤り削除修正手段５２、操作手段５３、タイマー回路５４、制御手段５５、記憶手段５６、表示手段５７、出力手段５８、字幕生成出力手段５９を備えている。
テキストデータ入力手段５１は、音声認識装置３０で変換されたテキストデータを入力するためのものである。そして、このテキストデータ入力手段５１により入力されたテキストデータは、表示手段５７を介して表示画面に表示される。なお、出力手段５８により表示画面に表示されるテキストデータの一例を図６および図７に示す。
【００３２】
認識誤り削除修正手段５２は、音声認識装置３０でテキストデータに変換された認識文字の中に誤りがあった場合に、オペレータ３２（図１参照）が表示画面上の誤り箇所をタッチすることで選択する不一致箇所指摘手段としての誤り指摘手段５２ａと、誤っている文字を修正するテキストデータ修正手段５２ｂとを有する。
【００３３】
誤り指摘手段（不一致箇所選択手段）５２ａは、オペレータ３２（図１参照）が表示画面を手指あるいはペンにより接触（タッチ）することで誤り箇所を選択するものである。なお、誤り指摘手段５２ａは、マウスあるいはキーボードを操作することで表示画面上のカーソルにより誤り箇所を選択する構成としても構わない。
【００３４】
テキストデータ修正手段５２ｂは、誤り指摘手段５２ａで指摘（選択）された誤り箇所をオペレータ３２（図１参照）が正しい文字列に修正を行うものである。このテキストデータ修正手段５２ｂでは、操作手段５３のキーボードから入力されるキーコードを入力し、例えば、既知の技術である「かな漢字変換」等により日本語文字を入力する。
【００３５】
操作手段（修正テキストデータ入力手段）５３は、オペレータ３２が入力操作を行うためのものであり、例えば、キーボード、マウス、タッチパネル等である。
タイマー回路５４は、後記する制限時間設定手段５５ａに入力されるクロック信号を出力している。このタイマー回路５４からのクロック信号は、表示画面に時刻情報として表示するようにしても構わない。
【００３６】
制御手段５５は、ここでは、制限時間を設定するための前記制限時間設定手段５５ａと、修正単位を設定するための修正単位設定手段（修正単位切換手段）５５ｂとを備えている。
【００３７】
制限時間設定手段５５ａは、出力手段５８の動作を手動で操作させる形態と、制限時間を設けて制限時間になったら出力手段５８を強制的に起動させる形態とを選択することができるようにするものである。この制限時間設定手段５５ａは、例えば、図５に画面表示例として示しているように、表示手段５７の表示画面に表示される修正形態＜１＞のタイマー設定の中から選択される。
【００３８】
すなわち、制限時間設定手段５５ａでは、表示画面上に表示される設定画面から、まずタイマー設定の「有り」、「無し」のボタンを選択することで設定される。なお、ここでのボタンは、操作手段５３に用意されている、オペレータ３２が操作するキーボード、マウス、あるいはタッチパネルを介して選択することが可能であり、これらのボタンの選択については、以下の説明においても同じである。ここで、「無し」を選択した場合は、出力手段５８の起動を制限時間設定手段５５ａの動作によらずに、図６で示すように、手動で「送出」ボタンをクリックまたはタッチする操作により出力される形態に設定される。
【００３９】
これに対して、「有り」を選択した場合は、制限時間設定手段５５ａで設定される制限時間を設け、制限時間になったら強制的に出力手段５８を起動させる形態に設定される。この「有り」の設定時には制限時間をキーボードによって数字で入力すると、その数字が設定された制限時間（秒）になる。
なお、この制限時間の設定では、オペレータ３２が選択した字幕を修正するのにある程度の時間を要するが、表示される字幕と画像との関係を重視した制限時間として設定される。
【００４０】
修正単位設定手段（修正単位切換手段）５５ｂは、オペレータ３２が画面上をタッチして誤り箇所を指摘する１回の動作で選択できる文字の範囲を設定するものである。この修正単位設定手段５５ｂは、あらかじめ設定されている修正単位の種類から選択して設定するものであり、番組の性質（用途）等に応じて選択し、設定することができる。この修正単位設定手段５５ｂの設定は、例えば図５に画面表示例として示しているように、表示手段５７の表示画面に修正形態＜２＞として表示されるボタン「文字」、「形態素」、「句」、「発話」、「文」の中から選択され、また選択が終了したら画面上の「決定」のボタンを選択することで設定される。
【００４１】
修正単位設定手段５５ｂにより設定される「文字」、「形態素」、「句」、「発話」、「文」の具体的な例を図７に示す。今、音声認識されて表示手段５７により表示画面（モニタ）に表示されたテキストデータが、図７の表示例のように、「おはようございます。ソルトレークシティーオリンピック大会５日目，日本は２つのメダルです。日本時間のけさ五時に行われたスピードスケートで，男子誤訳メートルの二回目で，清水宏保選手が，銀メダルを獲得しました。」であるとした場合、各ボタンの修正形態（修正単位）は、「／」で区切られる単位でオペレータ３２が画面をタッチすると選択される。
【００４２】
オペレータ３２が、「文字」のボタンを選択した場合は、図７（ａ）に示すように、文字単位で誤り削除・修正を行う形態になる。すなわち、同図中に「／」で区切られた文字単位で誤り削除・修正を行う。
また、オペレータ３２が、「形態素」のボタンを選択した場合は、図７（ｂ）に示すように、形態素（単語）単位で誤り削除・修正を行う形態になる。すなわち、同図中に「／」で区切られた単語単位で誤り削除・修正を行う。
また、オペレータ３２が、「句」のボタンを選択した場合は、図７（ｃ）に示すように、句単位で誤り削除・修正を行う形態になる。すなわち、同図中に「／」で区切られた句読点を切れ目とする単位で誤り削除・修正を行う。
【００４３】
また、オペレータ３２が、「発話」のボタンを選択した場合は、図７（ｄ）に示すように、話者の息継ぎを切れ目とする音声認識入力の発話単位で誤り削除・修正を行う形態になる。すなわち、同図中に「／」で区切られた話者の息継ぎを切れ目とする単位で誤り削除・修正を行う。
また、オペレータ３２が、「文」のボタンを選択した場合は、図７（ｅ）に示すように、句点を切れ目とする文単位で誤り削除・修正を行う形態になる。すなわち、同図中に「／」で区切られた句点を切れ目とする単位で誤り削除・修正を行う。
【００４４】
なお、これらの修正単位では、一般に、図７（ａ）から図７（ｅ）に向かうに従って、１単位の長さが長くなり、単位が短ければ認識誤りの受信の直後に瞬時に削除できるというメリットがある。また、例えば図７（ｃ）や図７（ｄ）を単位とした場合には、前後の文脈に対してあまり大きな違和感を与えずに削除できる場合が多いというメリットがある。
【００４５】
また、ここでは、修正単位設定手段５５ｂにより設定された単位で、図６に示すように、選択された文字が、全体的な表示面の下方に示される「修正前」の表示欄に表示されると共に、正しく修正された文字についても「修正後」との表示欄に表示されるように設定されている。
【００４６】
記憶手段５６は、ハードディスク、一般的なメモリで構成され、テキストデータあるいは修正テキストデータおよび、テキストデータに修正テキストデータを加えた修正付加テキストデータを記憶しておくものである。
【００４７】
表示手段５７は、液晶ディスプレイまたはＣＲＴ等のモニタであり、文字や画像を表示可能な表示画面を有している。この表示画面上に音声認識装置３０でテキストデータに変換された文字列や、オペレータ３２が修正を行った文字列等が表示される。
【００４８】
出力手段５８は、テキストデータあるいは修正テキストデータおよび、テキストデータに修正テキストデータを加えた修正付加テキストデータを、操作手段５３の操作または制限時間設定手段５５ａからの信号に応答して字幕生成出力手段５９に送る機能を有するものである。
【００４９】
字幕生成出力手段５９は、出力手段５８からのテキストデータ、修正テキストデータあるいは修正付加テキストデータを、テレビ画面（図示せず）上に字幕スパーとして表示する文字列を字幕文章単位に作成し、出力するものである。なお、この、字幕生成出力手段５９の構成は、出力手段５８が兼ねるか、あるいは、出力手段５８から出力した他の装置が備える構成としてもよい。
【００５０】
図３は、本実施の形態の字幕作成システム１における字幕表示の過程を模式的に示した説明図で、図１及び図２と同一のハードウエア要素には同一の符号を付してある。図３を参照しながら、本実施の形態に係る字幕作成システム１の動作を、スポーツ中継番組を一例として概略的に説明する。
【００５１】
一般に、スポーツ中継番組５１の音声は、観衆の背景雑音があること等の理由により、マイクロホン１５を通して得られる実況アナウンサー１３や解説者１４の声は、直接音声認識することができない。そこで、リスピークブース２１内にリスピーカー２２を配置し、アナウンスブース１２から現場音声データ入力・出力手段１６を介して送られて来る音声データをヘッドホンスピーカ２３でリスピーカー２２が聴き取り、その内容に対応した言葉をマイクロホン２４に向かってリスピークする。この場合、リスピークされた音声には背景雑音は含まれないので、リスピークされた音声だけが音声認識装置３０で音声認識されてテキストデータに変換される。
【００５２】
そして、音声認識装置３０で変換されたテキストデータは、文字データ修正装置５０の認識誤り削除修正手段５２に入力される。認識誤り削除修正手段５２では、テキストデータに変換不能なデータが含まれていた場合、リスピーカー２２に言い直しを指示し、修正可能な誤りがあった場合はオペレータ３２が認識誤りを削除・修正し、その結果として出力されるテキストデータをリアルタイムで字幕出力する。ここでのテキストデータの表示及び修正途中の表示は、文字データ修正装置５０における表示手段５７の表示画面とリスピークブース２１内における表示手段２５の表示画面の、両方の表示画面に表示され、オペレータ３２等はその表示を見ながら修正等の操作作業を行う。
【００５３】
なお、文字データ修正装置５０における認識誤り削除修正手段５２のオペレータ３２の操作と字幕の送出方法には、以下の（１）〜（３）に示すバリエーションがある。
（１）音声認識結果に誤りがあった場合、オペレータ３２は、その誤りを削除し、そのまま字幕にする。
（２）音声認識結果に誤りがあった場合、オペレータ３２は、その誤りを削除する。リスピーカー２２が音声認識可能な別の言い回しで同意の内容を言い換えること等により正しい音声認識結果を出力させる。
（３）音声認識結果に誤りがあった場合、オペレータ３２は、その誤りを発見し、それを修正して字幕にする。
【００５４】
ここで、前記（１）と（２）の特徴としては、オペレータ３２が誤りの文字列の削除のみを行えば良く、修正の操作は必要ない点が挙げられる。また、（１）の特徴としては、字幕の時間遅れが最小限にできるメリットがある一方で、脱落してしまう文字が発生してしまう問題がある。（２）の特徴としては、正確な字幕を出力できる一方で、状況によって字幕送出の時間遅れが大きくなる可能性がある。（３）の特徴としては、正確な字幕を出力できる一方で、認識誤りがバースト的に発生した場合には、オペレータ３２の誤り修正が追いつかない可能性がある。前記の使用法は、例えばスポーツ中継は、字幕の時間遅れが致命的になるケースが多いので、基本的に（１）の方式を選択する等、番組に応じて選択することが望ましい。
【００５５】
続いて、図６に「句単位モード」で稼働中の文字データ修正装置５０における表示手段５７の表示画面（モニタ画面）上の表示例を示す。音声認識結果のうち、下線で示した「果敢早朝にもかかわらず、」には誤認識が含まれており、正しくは「２日間早朝にもかかわらず、」である。句単位モードで動作しているときは、オペレータ３２の１回の指摘する操作において句読点で挟まれた単位の文字列が一度に選択される。そして、オペレータ３２がこれを削除し、リスピーカー２２が言い直すことによって誤りを修正するか、あるいはオペレータ３２がキーボードにより修正することにより、正しい字幕を作成する。
【００５６】
図６の状態は、「果敢早朝にもかかわらず、」にポイントが合わせられて、これが「修正前」の欄内に表示され、これを修正する場合は、「修正後」の欄に正しい文字列、すなわち「２日間早朝にもかかわらず、」を新たに入力させる。また、次の「大越を出して誠意しました」という部分も誤認識であるが、これはオペレータ３２がこれを削除し、リスピーカー２２が言い直すことによっても「大声を出して声援しました」という正しい字幕を送出できる。さらに、ポイントで指定された文字列が修正後の欄に「２日間早朝にもかかわらず、」として表示される。
【００５７】
また、ポイント合わせされた文字列を削除したい場合は、図６のモニタ画面表示例の表示画面に表示されている「削除」ボタンを選択することによって文字列を削除することができ、そしてリスピーカー２２が言い直すことによって誤りを修正した文字列を提示することができ、「挿入」ボタンを選択すると文字列の前または後に新たな文字列を挿入することができる。
【００５８】
さらに、「置換」ボタンを選択すると、「果敢早朝にもかかわらず、」という文字列を「２日間早朝にもかかわらず、」という文字列と置換することができる。次の「大越を出して誠意しました」という部分も誤認識であるが、オペレータ３２がこれを削除し、リスピーカー２２が言い直すことによっても「大声を出して声援しました」という正しい字幕が生成されるようにすることができる。また、修正後は「送出」ボタンを選択すると、出力手段５８が起動されて、その修正を終えた文字列を字幕として送出させることができる。
【００５９】
音声認識装置３０から認識誤り削除修正手段５２に入力された文字列をオペレータ３２がチェックし、その結果に誤りが含まれていない場合には、その文字列は速やかに出力されるべきである。そこで、誤りがない場合は、操作手段５３を介するオペレータ３２のマニュアル操作（テイク）、すなわち本例では「送出」ボタンを選択する等して出力手段５８を起動させて送出するか、あるいは制限時間設定手段５５ａで設定される一定のタイムアウト時間を設けて、この時間を超えたとき自動的に出力手段５８を起動させて送出されるようにする。
【００６０】
次に、図４を参照（適宜図１及び図２参照）して、本実施の形態によるスポーツ中継する場合を一例として、さらに具体的な動作について説明を行う。
図４は、図１、図２、図３に示した字幕表示の過程を、音声入力からリスピーク−音声認識−字幕出力にわたって動作するフローチャートの形態で示したものである。また、以下の説明では、文字データ修正装置５０における表示手段５７の表示画面とリスピークブース２１における表示手段２５の表示画面には、通常は同じものが表示されているものとする。
【００６１】
手順１（設定処理）：字幕放送を開始するに先立ち、字幕生成ブース３１内でオペレータ３２が操作手段５３を介して、表示手段５７の表示画面上に設定メニューを表示させる。ここでの表示は、例えば図５に画面表示例として示す設定画面、すなわち修正形態＜１＞と修正形態＜２＞を設定する画面が表示される。そして、オペレータ３２は、まず設定メニュー画面の修正形態＜１＞において、タイマーの設定を行う（ステップＳ１）。
【００６２】
すなわち、タイマー設定の「有り」、「無し」を選択する。「無し」を選択した場合は、出力手段５８の動作を制限時間設定手段５５ａによらずに手動で操作させる形態が選ばれ、「有り」を選択した場合は、制限時間設定手段５５ａによる制限時間を設けて、制限時間になったら出力手段５８を強制的に起動させる形態が選ばれる。
【００６３】
続いて、同じ設定メニュー画面の修正形態＜２＞において、修正単位の設定を行う（ステップＳ２）。また、選択が完了したら、表示画面上の「決定」ボタンを選択すると、これらの選択が決定され、これが記憶手段５６に上書き保存され、以後、更新されるまで、この設定が有効になる。そして、放送が開始されるのを待つ（ステップＳ３）。
【００６４】
手順２（リスピーク処理）：放送が開始されると、アナウンスブース１２内での実況アナウンサー１３や解説者１４によるアナウンスが開始される（ステップＳ４）。その声はマイクロホン１５を通して電気信号に変換された後、現場音声データ入力・出力手段１６に入力され、さらにリスピークブース２１内のリスピーク音声データ入力・出力手段２６に送られ、リスピーカー２２が装着しているヘッドホンスピーカ２３等で再生される。
【００６５】
一般に、ここで再生された音声の中には背景雑音が含まれている。そこで、リスピーカー２２は、ヘッドホンスピーカ２３を介して聴いた声の内容に対応する言葉をマイクロホン２４に向かってリスピークする（ステップＳ５）。ここでリスピーカー２２がリスピークする言葉は、ヘッドホンスピーカ２３を介して聴いた言葉と全く同一でなくても内容が概略一致していれば良い。例えば、余り長い言い回しで、字幕を生成するのにふさわしくない言葉は、このリスピーカー２２によるリスピークによって修正される。
【００６６】
また、一般には、リスピーカー２２は、実況アナウンサー１３と解説者１４の言葉を１人で聞き、リスピーカー２２が１人でリスピークすることになるが、複数のリスピーカーを用意して、複数人でリスピークするようにしてもよい。
【００６７】
さらに、リスピーカー２２がリスピークしてマイクロホン２４に入力された声は、該マイクロホン２４で電気信号に変換され、リスピーク音声データ入力・出力手段２６を介して音声認識装置３０に音声データとして送られる。この音声認識装置３０に入力された音声データには、リスピーカー２２の声だけが含まれ、背景雑音等は含まれていない。
【００６８】
手順３（音声認識処理）：音声認識装置３０に音声データが送られると、音声認識装置３０での音声認識が開始され、音声データがテキストデータに変換される（ステップＳ６）。その変換されたテキストデータは文字データ修正装置５０のテキストデータ入力手段５１に送られ、これが文字データ修正装置５０における表示手段５７の表示画面及びリスピークブース２１における表示手段２５の表示画面に表示される（ステップＳ７）。
【００６９】
手順４（文字データ修正処理）：テキストデータ入力手段５１より入力されたテキストデータは、制御手段５５を経由して認識誤り削除修正手段５２に送られ、この認識誤り削除修正手段５２において認識誤りの削除・修正処理を行う（ステップＳ８）。ここでは、まずテキストデータに変換不能な音声データがあった場合は、リスピーカー２２に言い直しを指示し、修正可能な誤りがあった場合には誤り指摘手段５２ａによりテキストデータ中の誤りの箇所が指摘される。
【００７０】
この誤りの箇所は、オペレータ３２が表示画面を見ながらテキストデータ修正手段５２ｂを介して修正が行われる。このオペレータ３２による修正は、操作手段５３を介して制御手段５５経由でテキストデータ修正手段５２ｂを操作することにより行われる。また、ここでの修正は、予め修正単位設定手段５５ｂにより設定してある修正形態及び制限時間設定手段５５ａにより設定してある修正形態（タイマー設定、修正単位）に従って修正される。
【００７１】
手順５（字幕生成出力処理）：文字データ修正処理中は、修正が終了（誤認識が無い場合も含む）して「送出」ボタン（図６参照）が選択されたか否かが制御手段５５で監視される（ステップＳ９）。「送出」ボタンが選択された場合（ステップＳ９；ｙｅｓ）は、制御手段５５の制御で出力手段５８が起動され、認識誤り削除修正手段５２を経由したテキストデータは、修正単位設定手段５５ｂで設定された修正単位毎に字幕生成出力手段５９に送られ、テレビ画面上の字幕として出力される（ステップＳ１１）。
【００７２】
また、「送出」ボタンが選択されない場合（ステップＳ９；ｎｏ）でも、制御手段５５では、制限時間設定手段５５ａにより設定された制限時間になったか否かを監視し（ステップＳ１０）、制限時間となったタイムオーバーの場合（ステップＳ１０；ｙｅｓ）は、制御手段５５の制御で出力手段５８が起動される。出力手段５８が起動されると、修正単位設定手段５５ｂで設定された修正単位の未だ修正の終わっていないテキストデータが字幕生成出力手段５９に送られ、テレビ画面上の字幕として出力される（ステップＳ１１）。なお、制限時間になっていない場合（ステップＳ１０；ｎｏ）は、ステップＳ８へ戻って、認識誤りの削除・修正処理を行う。すなわち、ここでは字幕の精度よりも提示までの時間を優先する。このステップＳ１からステップＳ１１までの処理動作は放送が終了するまでの間、繰り返し行われ、放送が終了すると終わる。
【００７３】
このように、本実施の形態では、次のような効果が期待できる。
スポーツ中継等において、背景に雑音を含む実況アナウンサー１３や解説者１４の声をリスピーカー２２が聴き、その声に対応する内容の言葉をリスピーカー２２がマイクロホン２４に向かってリスピークし、背景雑音のない音声データを音声認識装置３０に入力しているので、音声認識装置３０における音声認識率が向上する。また、この認識率の向上によって字幕の精度と提示までの時間の短縮化が図れ、字幕の品質を保つことができる。なお、リスピークは１人のリスピーカー２２で対応可能であり、さらに音声認識装置３０で音声認識されて変換されたテキストデータの誤りを修正するオペレータ３２の人数も、音声認識装置３０での音声認識が高いことから１人で対応可能になる。
【００７４】
また、文字データ修正装置５０において、オペレータ３２による１回の指摘する操作で選択できる文字データの修正対象文字の修正単位（修正範囲）を、修正単位設定手段５５ｂの設定により、例えば（ａ）文字単位、（ｂ）形態素（単語）単位、（ｃ）句読点を切れ目とする句単位、（ｄ）話者の息継ぎを切れ目とする音声認識入力の発話単位、（ｅ）句点を切れ目とする文単位等、さまざまな単位に設定することができるので、オペレータ３２による１回の指摘する操作で実行可能な誤り削除・修正作業の量を調整することができる。これにより、番組毎等で異なる要求（字幕に含まれる文字の正確さや遅れ時間等）に応じた字幕の品質を保つことができる。
【００７５】
さらに、文字データ修正装置において、制限時間設定手段５５ａの設定により、入力された文字列（文字単位）が出力されるまでの時間に制限を設け、その制限時間を超えた場合に自動で強制的に文字列を出力するようにしている。これにより、番組毎等で異なる要求（字幕に含まれる文字の正確さや遅れ時間等）に応じた字幕の品質を保つことができる。
【００７６】
【発明の効果】
請求項１記載の発明によれば、オペレータによる１回の指摘する操作で選択できる文字データの修正対象文字の修正単位（修正範囲）を、修正形態切り換え手段の設定により、予め用意されるさまざまな修正単位の中から設定することができるので、オペレータによる１回の指摘する操作で実行可能な誤り削除・修正作業の量を、選択した修正単位によって調整することができる。これにより、番組毎等に異なる要求（字幕に含まれる文字の正確さや遅れ時間等）に応じた字幕の品質を保つことができる。
番組や用途に応じた修正単位の設定を修正形態切り換え手段で行うと、番組や用途毎に異なる要求（字幕に含まれる文字の正確さや遅れ時間等）に応じた字幕の品質を保つことができる。
【００７７】
請求項２記載の発明によれば、入力された文字列（文字単位）が出力されるまでの時間に制限を設け、その制限時間を超えた場合に強制的に文字列を出力するようにしているので、異なる要求（字幕に含まれる文字の正確さや遅れ時間等）に応じた字幕の品質を保つことができる。
したがって、例えばスポーツ中継番組のように、正確な文字を提示するよりも提示までの時間を優先させたいとする場合には、設定時間を短くし、文字の誤りよりも提示される時間を優先させる。反対に正確さを優先する場合には、設定時間を長くし、文字の誤りを修正する時間を多く取って文字の正確さを優先させることができる。すなわち、字幕の精度と提示までの時間を番組の性質（用途）等に応じて任意にコントロールすることが可能になる。
【００７８】
請求項３記載の発明によれば、オペレータによる１回の指摘する操作で選択できる文字データの修正対象文字の修正単位（修正範囲）を、予め用意されるさまざまな修正単位の中から設定することができるので、オペレータによる１回の指摘する操作で実行可能な誤り削除・修正作業の量を、選択した修正単位によって調整することができる。また、入力された文字列（文字単位）が出力されるまでの時間に制限を設け、その制限時間を超えた場合に自動で強制的に文字列を出力するようにすることができる。これらにより、番組毎等に異なる要求（字幕に含まれる文字の正確さや遅れ時間等）に応じた字幕の品質を保つことができる。
【００７９】
請求項４記載の発明によれば、オペレータによる１回の指摘する操作で選択できる文字データの修正対象文字の修正単位（修正範囲）を、予め用意されるさまざまな修正単位の中から設定することができるので、オペレータによる１回の指摘する操作で実行可能な誤り削除・修正作業の量を、選択した修正単位によって調整することができる。また、入力された文字列（文字単位）が出力されるまでの時間に制限を設け、その制限時間を超えた場合に自動で強制的に文字列を出力するようにすることができる。これらにより、番組毎等に異なる要求（字幕に含まれる文字の正確さや遅れ時間等）に応じた字幕の品質を保つことができる。
【００８０】
請求項５記載の発明によれば、スポーツ中継等において、背景に雑音を含む実況アナウンサーや解説者の声をリスピーカーが聴き、その声に対応する内容の言葉をリスピーカーがマイクロホンに向かってリスピークし、背景雑音のない音声データを音声認識装置に入力させて音声認識を行わせるようにしているので、音声認識装置における音声認識率が向上する。したがって、この認識率の向上によって字幕の精度と提示までの時間の短縮が図れ、字幕の品質を保つことができる。また、リスピークは１人のリスピーカーで対応可能であり、さらに音声認識装置で音声認識されて変換されたテキストデータの誤りを修正するオペレータの人数も、音声認識装置での音声認識が高いことから１人で対応可能になる。
【図面の簡単な説明】
【図１】 本発明の実施の形態に係る字幕作成システムの全体構成図である。
【図２】 本発明の実施の形態に係る字幕作成システムのさらに具体的な構成を示すブロック図である。
【図３】 本発明の実施の形態に係る字幕作成システムにおける字幕表示過程を模式的に示した説明図である。
【図４】 本発明の実施の形態に係る字幕作成システムの主たる動作を示すフローチャートである。
【図５】 本発明の実施の形態に係る字幕作成システムにおいて設定メニュー表示時における表示画面の一例を示す図である。
【図６】 本発明の実施の形態に係る字幕作成システムにおいて文字修正時における表示画面上の一表示例を示す図である。
【図７】 本発明の実施の形態に係る字幕作成システムにおける文字修正形態の説明図である。
【図８】 従来の字幕の作成装置における字幕表示過程を模式的に示した説明図である。
【符号の説明】
１…字幕作成システム
１０…データ通信ライン
１２…アナウンスブース
１５…マイクロホン
１６…現場音声データ入力・出力手段
２１…リスピーキングブース
２３…ヘッドホンスピーカ
２４…マイクロホン
２５…表示手段（モニタ）
３０…音声認識装置（音声認識手段）
３１…字幕生成ブース
５０…文字データ修正装置
５１…テキストデータ入力手段
５２…認識誤り削除修正手段
５２ａ…誤り指摘手段（不一致箇所選択手段）
５２ｂ…テキストデータ修正手段
５３…操作手段（修正テキストデータ入力手段）
５４…タイマー回路
５５…制御手段
５５ａ…制限時間設定手段
５５ｂ…修正単位設定手段（修正単位切換手段）
５６…記憶手段
５７…表示手段
５８…出力手段
５９…字幕生成出力手段
【発明の属する技術分野】
本発明は、音声からテキストデータに変換された文字を修正する文字データ修正装置、その方法及びそのプログラム、並びに、字幕の生成方法に関するものである。
【０００２】
【従来の技術】
現在、テレビジョン番組の音声を字幕化して欲しいという要望はきわめて高く、既に、徐々に実施もされている。従来、字幕化を図る場合、音声認識装置を用いて、この音声認識装置で認識された認識結果による文字データ（以下、「テキストデータ」という）の誤りを修正した後、テレビ画面で出力される音声と表示される字幕とが同期するようにタイミング良く送り出し、リアルタイムで字幕化することを可能にしている（例えば、特許文献１参照）。
【０００３】
図８は、従来のテレビジョン放送におけるニュース番組で使用されている字幕化システムで音声を字幕化する過程を模式的に示した模式図である。図８における字幕化システムでは、音声認識装置１０４と認識誤り発見装置１０６と認識誤り修正装置１０７とを備える。
【０００４】
図８に示す字幕システムの動作を次に説明する。スタジオ１０１内でアナウンサー１０２がニュース原稿を読み上げると、その音声（アナウンサー音声）１０３が音声認識装置１０４に入力され、該音声認識装置１０４でテキストデータ１０５に変換され、その変換されたテキストデータ１０５を出力する。この出力には、認識誤りのある文字列が含まれている場合があるため、認識誤り発見装置１０６に入力される。認識誤り発見装置１０６では、オペレータがテキストデータ１０５中の誤りを検出して指摘する。そして、その検出結果を基に別のオペレータが、認識誤り修正装置１０７で正しい文字列に修正する。修正後は、その修正結果のテキストデータを字幕としてリアルタイムに送出する（特許文献１参照）。
【０００５】
ここで、前記した従来の字幕システムにおけるテキストデータの誤り修正手段では、認識誤り修正装置１０７でオペレータが行う１回の指摘する操作で、単語単位等による所定の単位でだけ文字列を選択するようになっている。
【０００６】
【特許文献１】
特開２００１−６０１９２号公報（特許請求の範囲）
【０００７】
【発明が解決しようとする課題】
しかし、前記したような、従来の認識誤り修正装置では、以下に示すような問題点が存在した。すなわち、認識誤り修正装置は、テキストデータの誤り修正を行う手段が、オペレータが画面の誤りに対して指摘する１回の操作では、単語単位等の所定の単位でだけ文字列を選択するようになっており、複数用意された音声認識出力単位の中から選択する形式にはなっていない。そのため、音声認識装置が誤りを含んだ文字列を複数生成してしまった場合、誤りを発見し、修正し、その修正の再確認の作業に時間がかかり、ひいては、番組映像に対する大幅な字幕遅れが生じることもある。
【０００８】
また、音声認識装置を利用してリアルタイムで字幕を作成する場合、字幕の正確さと字幕提示までの時間にはトレードオフの関係にある。例えば、ニュース番組は、字幕の遅れより字幕の正確さが重要であり、また、スポーツ中継番組では、ニュース番組ほどの正確さは必要としない一方で、番組映像に対する字幕の遅れは致命的になる。
これから明らかなように、字幕に対して要求される正確さと遅れ許容時間は、番組に応じて異なるものであることが分かる。すなわち、字幕の正確さと提示までの時間を番組に応じて任意にコントロールすることができるようにすることは、字幕化システムにおいては非常に重要なことである。
【０００９】
また、スポーツ中継番組では、観衆の声による背景雑音があり、実況アナウンサーや解説者の声を直接音声認識することができない。この理由により、スポーツ中継番組の字幕化を実現することは困難であった。
【００１０】
よって本発明は、前記の問題点に鑑み創案されたもので、テキストデータ中の修正単位を切り換えることができ、出力までの時間を任意にコントロールすることができる文字データ修正装置、その方法及びそのプログラムを提供することにある。
【００１１】
また、本発明の目的は、スポーツ中継等のように観衆の声による背景雑音がある番組の音声をリアルタイムで字幕化することができる字幕の生成方法を提供することにある。
【００１２】
【課題を解決するための手段】
本発明に係る文字データ修正装置は、前記の目的を達成するために、以下のように構成した。すなわち、文字データ修正装置は、音声を音声認識手段によりテキストデータに変換して、前記音声と前記テキストデータとが一致しない不一致箇所が前記テキストデータに含まれた場合に修正する文字データ修正装置であって、前記音声認識手段により変換されたテキストデータを表示画面に表示する表示手段と、前記不一致箇所に含まれる修正対象文字の修正単位を切り換える修正単位切換手段と、前記表示画面に表示された前記テキストデータの前記不一致箇所を、前記修正単位切換手段によって切り換えた修正単位に対応する所定の操作により指摘したときに当該不一致箇所の選択を行う不一致箇所選択手段と、前記不一致箇所選択手段により選択された前記不一致箇所の内容に対応した修正を行った修正テキストデータを入力する修正テキストデータ入力手段と、この修正テキストデータ入力手段により入力された修正テキストデータを前記テキストデータに加えて修正付加テキストデータを生成するテキストデータ修正手段と、このテキストデータ修正手段で生成された修正付加テキストデータを出力する出力手段と、を備える構成とした。
【００１３】
この構成によれば、テキストデータが表示手段により表示画面に表示されると、その表示画面に表示されているテキストデータについて、例えば、オペレータ等がその表示画面をタッチして指摘する不一致箇所に対しての１回の指摘操作で不一致箇所選択手段により選択する。このとき、あらかじめ、修正単位切換手段により１回の指摘操作で選択可能な不一致箇所の修正単位を切り換えて設定しておくことができる。そして、選択された不一致箇所についてテキストデータ修正手段により、テキストデータに修正を行った修正テキストデータを加えた修正付加テキストデータとして生成し、出力手段によりその修正付加テキストデータを出力する。なお、テキストデータに修正する箇所がなければ、そのままテキストデータとして出力され、また、修正する箇所が多く、修正テキストデータのみが出力される状態もありえる。
【００１４】
なお、修正単位切換手段による修正単位の切り換えは、（ａ）文字単位、（ｂ）形態素（単語）単位、（ｃ）句読点を切れ目とする句単位、（ｄ）話者の息継ぎを切れ目とする音声認識入力の発話単位、（ｅ）句点を切れ目とする文単位等が考えられる。
【００１５】
また、請求項２記載の本発明に係る文字データ修正装置は、前記文字データ修正装置において、前記出力手段によって出力されるまでに制限時間を設け、この制限時間を超えた場合に強制的に前記修正付加テキストデータを出力させる制限時間設定手段を設けたものである。
【００１６】
この構成によれば、制限時間設定手段により、設定された制限時間を超えたら、テキストデータの修正が済んでいるか否かにかかわらず、出力手段を操作させてテキストデータ、修正テキストデータあるいは修正付加テキストデータを強制的に出力させる。
【００１７】
さらに、請求項３記載の本発明に係る文字データ修正プログラムは、音声を音声認識手段によりテキストデータに変換して、前記音声と前記テキストデータとが一致しない不一致箇所が前記テキストデータに含まれた場合に修正する装置を以下に示す各手段により機能させる文字データ修正プログラムとした。
【００１８】
すなわち、文字修正プログラムの各手段は、前記音声認識手段により変換されたテキストデータを表示画面に表示する表示手段、前記不一致箇所に含まれる修正対象文字の修正単位を切り換える修正単位切換手段、前記表示画面に表示された前記テキストデータの前記不一致箇所を、前記修正単位切換手段によって切り換えた修正単位に対応する所定の操作により指摘したときに当該不一致箇所の選択を行う不一致箇所選択手段、前記不一致箇所選択手段により選択された前記不一致箇所の内容に対応した修正を行った修正テキストデータを入力する修正テキストデータ入力手段、この修正テキストデータ入力手段により入力された修正テキストデータを前記テキストデータに加えて修正付加テキストデータを生成するテキストデータ修正手段、このテキストデータ修正手段で生成された修正付加テキストデータを出力する出力手段、前記出力手段によって出力されるまでに制限時間を設け、この制限時間を超えた場合に強制的に前記修正付加テキストデータを出力させる制限時間設定手段である。
【００１９】
この構成によれば、この文字データ修正プログラムを機能させることで、修正単位切換手段により指摘された１回の操作で実行可能な修正単位を、あらかじめ複数用意しておき、その中から選択して設定すると共に、制限時間設定手段により、制限時間を越えた場合に強制的に修正付加テキストデータを出力させるように設定する。そして、表示手段によりテキストデータを表示画面上に表示させ、不一致箇所選択手段により、例えば、オペレータが手指でその表示画面をタッチすると、テキストデータの不一致箇所が選択される。そのため、修正テキストデータ入力手段により不一致箇所を修正して修正付加テキストデータとし、出力手段または制限時間設定手段で設定された制限時間により修正付加テキストデータを出力する。
【００２０】
また、請求項４記載の本発明に係る文字データ修正方法は、音声を音声認識手段によりテキストデータに変換して、前記音声と前記テキストデータとが一致しない不一致箇所が前記テキストデータに含まれた場合に修正する文字データ修正方法であって、前記不一致箇所に含まれる修正対象文字の修正単位を切り換えて設定すると共に、前記テキストデータおよびそのテキストデータを修正した修正テキストデータを含む修正付加テキストデータを強制的に出力させる制限時間の設定を行なうステップと、前記音声認識手段により変換されたテキストデータを表示画面に表示するステップと、前記表示画面に表示された前記テキストデータの前記不一致箇所を、所定の操作により指摘したときに、前記修正単位に対応する不一致箇所を選択するステップと、選択された前記不一致箇所の内容に対応した修正を行った修正テキストデータを入力するステップと、入力された修正テキストデータを前記テキストデータに加えて前記修正付加テキストデータを生成するステップと、生成された修正付加テキストデータを出力するステップと、を含むこととした。
【００２１】
このようにすることで、文字データ修正方法では、指摘された不一致箇所の１回の指摘する操作で実行可能な修正対象文字の修正単位を、予め用意されたさまざまな修正単位の中から選択して設定し、さらにテキストデータが出力されるまでの時間に制限を設け、その設定された制限時間を超えたら、テキストデータの修正が済んでいるか否かに関係なく、出力手段を介してテキストデータを強制的に出力させる状態で文字データの修正が可能になる。
【００２２】
また、請求項５記載の本発明に係る字幕の生成方法は、外部より聴き取りされた音声を音声認識手段によりテキストデータに変換しそのテキストデータと前記音声とが一致しない不一致箇所を修正して、画面上の映像に対応する字幕を生成する字幕生成方法であって、前記不一致箇所に含まれる修正対象文字の修正単位を切り換えて設定すると共に、前記テキストデータおよびそのテキストデータを修正した修正テキストデータを含む修正付加テキストデータを強制的に出力させる制限時間の設定を行なうステップと、外部より聴取した雑音含有音声に対応する言葉をマイクロホンに向かってリスピークし、前記マイクロホンで電気信号に変換された音声として出力するステップと、前記リスピークして作成された前記音声を前記音声認識手段によりテキストデータに変換して出力するステップと、前記音声認識手段により変換されたテキストデータを表示画面に表示するステップと、前記表示画面に表示された前記テキストデータの前記不一致箇所を、所定の操作により指摘したときに、前記修正単位に対応する不一致箇所を選択するステップと、選択された前記不一致箇所の内容に対応した修正を行った修正テキストデータを入力するステップと、入力された修正テキストデータを前記テキストデータに加えて前記修正付加テキストデータを生成するステップと、生成された修正付加テキストデータを出力するステップと、を含むこととした。
【００２３】
このようにすることで、字幕の生成方法では、例えばスポーツ中継等が開始されて、実況アナウンサーや解説者がマイクロホンに向かって話した雑音が含有された雑音含有音声を、リスピーカーが別の場所でスピーカー（通常、ヘッドホン）を通して聴き取り、リスピークすることで音声認識手段を介して音声をテキストデータとする。したがって、リスピークされた音声だけが音声認識装置で音声認識されてテキストデータに変換される。音声認識手段で変換し表示画面に表示されたテキストデータは、このテキストデータに音声と一致しない不一致箇所が含まれていることもある。テキストデータ中に不一致箇所がある場合、不一致箇所を例えばオペレータがタッチすることで選択し、修正して修正テキストデータとしてテキストデータに加え、修正付加テキストデータとして出力する。
【００２４】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。
図１は、本発明を適用した字幕作成システム１の全体構成図である。本例では、サッカー競技場よりサッカーの試合をスポーツ中継する場合を一例としており、サッカー競技場１１内にアナウンスブース１２が設置されている。そのアナウンスブース１２内には実況アナウンサー１３や解説者１４等が入り、各人に用意されたマイクロホン１５を使用して実況及び解説を行うもので、そのマイクロホン１５を通した音声情報はリアルタイムにリスピーキングブース２１に送られる。
【００２５】
図１に示すように、リスピーキングブース２１内には、ヘッドホンスピーカ２３、マイクロホン２４、表示手段２５等が設置されているとともに、リスピーカー２２が入る。リスピーカー２２は、サッカー競技場１１のアナウンスブース１２内でマイクロホン１５が集音した実況アナウンサー１３や解説者１４の音声をヘッドホンスピーカ２３で聴き、その聴いた声に対応する内容の言葉をマイクロホン２４に向かって話す（以下、これを「リスピーク」という）役割を受け持つ。
【００２６】
表示手段２５は、液晶ディスプレイまたはＣＲＴ等のモニタであり、文字や画像を表示可能な表示画面を有している。なお、マイクロホン２４で集音されて電気信号に変換された音声信号は、後記する音声認識装置（音声認識手段）３０に入力され、その音声認識装置３０でテキストデータに変換された後、字幕生成ブース３１に送られる。
【００２７】
字幕生成ブース３１には、音声認識装置３０より送られて来るテキストデータを表示する表示画面を有した液晶ディスプレイまたはＣＲＴ等のモニタが設置されていると共に、そのテキストデータ中に音声と不一致となる不一致箇所（以下、「誤り」という）があるとき、それを修正する文字データ修正装置５０が設けられている。
また、字幕生成ブース３１内には、文字データ修正装置５０を操作するためのオペレータ３２が入り、テキストデータ中に誤りがあるとき、その誤りを指摘して修正を行わせる。なお、モニタの表示画面には、リスピークブース２１内で表示手段２５の表示画面に表示されている画像と同じ画像が同時に表示される。もちろん、サッカー競技場１１の映像も表示されている。
【００２８】
図２は、図１に示した字幕作成システム１のさらに具体的な構成を示すブロック図である。図２に示すように、アナウンスブース１２とリスピークブース２１と字幕生成ブース３１との間は、データ通信ライン１０で接続されている。なお、データ通信ライン１０は、有線である場合と無線である場合とがあり、環境に応じて選択される。
【００２９】
現場音声データ入力・出力手段１６は、アナウンスブース１２に設置されており、マイクロホン１５が集音した実況アナウンサー１３や解説者１４の声を観客の声と一緒になった（雑音含有）音声として入力し、これを音声調整した後、リスピークブース２１に向けて出力する。
【００３０】
リスピーク音声データ入力・出力手段２６は、リスピークブース２１内に設置されており、リスピーカー２２が使用するヘッドホンスピーカ２３及びマイクロホン２４を有する。また、リスピーク音声データ入力・出力手段２６は、アナウンスブース１２からの音声データをリスピーカー２２が使用するヘッドホンスピーカ２３で再生する機能と、リスピーカー２２がマイクロホン２４に向かって話すと、マイクロホン２４が集音したリスピーカー２２の声を音声として入力し、これを音声認識装置３０に向けて出力する機能を有する。音声認識装置３０は、入力された音声データをテキストデータに変換し、その変換したテキストデータを文字データ修正装置５０に向けて出力する。
【００３１】
字幕生成ブース３１の文字データ修正装置５０は、テキストデータ入力手段５１、認識誤り削除修正手段５２、操作手段５３、タイマー回路５４、制御手段５５、記憶手段５６、表示手段５７、出力手段５８、字幕生成出力手段５９を備えている。
テキストデータ入力手段５１は、音声認識装置３０で変換されたテキストデータを入力するためのものである。そして、このテキストデータ入力手段５１により入力されたテキストデータは、表示手段５７を介して表示画面に表示される。なお、出力手段５８により表示画面に表示されるテキストデータの一例を図６および図７に示す。
【００３２】
認識誤り削除修正手段５２は、音声認識装置３０でテキストデータに変換された認識文字の中に誤りがあった場合に、オペレータ３２（図１参照）が表示画面上の誤り箇所をタッチすることで選択する不一致箇所指摘手段としての誤り指摘手段５２ａと、誤っている文字を修正するテキストデータ修正手段５２ｂとを有する。
【００３３】
誤り指摘手段（不一致箇所選択手段）５２ａは、オペレータ３２（図１参照）が表示画面を手指あるいはペンにより接触（タッチ）することで誤り箇所を選択するものである。なお、誤り指摘手段５２ａは、マウスあるいはキーボードを操作することで表示画面上のカーソルにより誤り箇所を選択する構成としても構わない。
【００３４】
テキストデータ修正手段５２ｂは、誤り指摘手段５２ａで指摘（選択）された誤り箇所をオペレータ３２（図１参照）が正しい文字列に修正を行うものである。このテキストデータ修正手段５２ｂでは、操作手段５３のキーボードから入力されるキーコードを入力し、例えば、既知の技術である「かな漢字変換」等により日本語文字を入力する。
【００３５】
操作手段（修正テキストデータ入力手段）５３は、オペレータ３２が入力操作を行うためのものであり、例えば、キーボード、マウス、タッチパネル等である。
タイマー回路５４は、後記する制限時間設定手段５５ａに入力されるクロック信号を出力している。このタイマー回路５４からのクロック信号は、表示画面に時刻情報として表示するようにしても構わない。
【００３６】
制御手段５５は、ここでは、制限時間を設定するための前記制限時間設定手段５５ａと、修正単位を設定するための修正単位設定手段（修正単位切換手段）５５ｂとを備えている。
【００３７】
制限時間設定手段５５ａは、出力手段５８の動作を手動で操作させる形態と、制限時間を設けて制限時間になったら出力手段５８を強制的に起動させる形態とを選択することができるようにするものである。この制限時間設定手段５５ａは、例えば、図５に画面表示例として示しているように、表示手段５７の表示画面に表示される修正形態＜１＞のタイマー設定の中から選択される。
【００３８】
すなわち、制限時間設定手段５５ａでは、表示画面上に表示される設定画面から、まずタイマー設定の「有り」、「無し」のボタンを選択することで設定される。なお、ここでのボタンは、操作手段５３に用意されている、オペレータ３２が操作するキーボード、マウス、あるいはタッチパネルを介して選択することが可能であり、これらのボタンの選択については、以下の説明においても同じである。ここで、「無し」を選択した場合は、出力手段５８の起動を制限時間設定手段５５ａの動作によらずに、図６で示すように、手動で「送出」ボタンをクリックまたはタッチする操作により出力される形態に設定される。
【００３９】
これに対して、「有り」を選択した場合は、制限時間設定手段５５ａで設定される制限時間を設け、制限時間になったら強制的に出力手段５８を起動させる形態に設定される。この「有り」の設定時には制限時間をキーボードによって数字で入力すると、その数字が設定された制限時間（秒）になる。
なお、この制限時間の設定では、オペレータ３２が選択した字幕を修正するのにある程度の時間を要するが、表示される字幕と画像との関係を重視した制限時間として設定される。
【００４０】
修正単位設定手段（修正単位切換手段）５５ｂは、オペレータ３２が画面上をタッチして誤り箇所を指摘する１回の動作で選択できる文字の範囲を設定するものである。この修正単位設定手段５５ｂは、あらかじめ設定されている修正単位の種類から選択して設定するものであり、番組の性質（用途）等に応じて選択し、設定することができる。この修正単位設定手段５５ｂの設定は、例えば図５に画面表示例として示しているように、表示手段５７の表示画面に修正形態＜２＞として表示されるボタン「文字」、「形態素」、「句」、「発話」、「文」の中から選択され、また選択が終了したら画面上の「決定」のボタンを選択することで設定される。
【００４１】
修正単位設定手段５５ｂにより設定される「文字」、「形態素」、「句」、「発話」、「文」の具体的な例を図７に示す。今、音声認識されて表示手段５７により表示画面（モニタ）に表示されたテキストデータが、図７の表示例のように、「おはようございます。ソルトレークシティーオリンピック大会５日目，日本は２つのメダルです。日本時間のけさ五時に行われたスピードスケートで，男子誤訳メートルの二回目で，清水宏保選手が，銀メダルを獲得しました。」であるとした場合、各ボタンの修正形態（修正単位）は、「／」で区切られる単位でオペレータ３２が画面をタッチすると選択される。
【００４２】
オペレータ３２が、「文字」のボタンを選択した場合は、図７（ａ）に示すように、文字単位で誤り削除・修正を行う形態になる。すなわち、同図中に「／」で区切られた文字単位で誤り削除・修正を行う。
また、オペレータ３２が、「形態素」のボタンを選択した場合は、図７（ｂ）に示すように、形態素（単語）単位で誤り削除・修正を行う形態になる。すなわち、同図中に「／」で区切られた単語単位で誤り削除・修正を行う。
また、オペレータ３２が、「句」のボタンを選択した場合は、図７（ｃ）に示すように、句単位で誤り削除・修正を行う形態になる。すなわち、同図中に「／」で区切られた句読点を切れ目とする単位で誤り削除・修正を行う。
【００４３】
また、オペレータ３２が、「発話」のボタンを選択した場合は、図７（ｄ）に示すように、話者の息継ぎを切れ目とする音声認識入力の発話単位で誤り削除・修正を行う形態になる。すなわち、同図中に「／」で区切られた話者の息継ぎを切れ目とする単位で誤り削除・修正を行う。
また、オペレータ３２が、「文」のボタンを選択した場合は、図７（ｅ）に示すように、句点を切れ目とする文単位で誤り削除・修正を行う形態になる。すなわち、同図中に「／」で区切られた句点を切れ目とする単位で誤り削除・修正を行う。
【００４４】
なお、これらの修正単位では、一般に、図７（ａ）から図７（ｅ）に向かうに従って、１単位の長さが長くなり、単位が短ければ認識誤りの受信の直後に瞬時に削除できるというメリットがある。また、例えば図７（ｃ）や図７（ｄ）を単位とした場合には、前後の文脈に対してあまり大きな違和感を与えずに削除できる場合が多いというメリットがある。
【００４５】
また、ここでは、修正単位設定手段５５ｂにより設定された単位で、図６に示すように、選択された文字が、全体的な表示面の下方に示される「修正前」の表示欄に表示されると共に、正しく修正された文字についても「修正後」との表示欄に表示されるように設定されている。
【００４６】
記憶手段５６は、ハードディスク、一般的なメモリで構成され、テキストデータあるいは修正テキストデータおよび、テキストデータに修正テキストデータを加えた修正付加テキストデータを記憶しておくものである。
【００４７】
表示手段５７は、液晶ディスプレイまたはＣＲＴ等のモニタであり、文字や画像を表示可能な表示画面を有している。この表示画面上に音声認識装置３０でテキストデータに変換された文字列や、オペレータ３２が修正を行った文字列等が表示される。
【００４８】
出力手段５８は、テキストデータあるいは修正テキストデータおよび、テキストデータに修正テキストデータを加えた修正付加テキストデータを、操作手段５３の操作または制限時間設定手段５５ａからの信号に応答して字幕生成出力手段５９に送る機能を有するものである。
【００４９】
字幕生成出力手段５９は、出力手段５８からのテキストデータ、修正テキストデータあるいは修正付加テキストデータを、テレビ画面（図示せず）上に字幕スパーとして表示する文字列を字幕文章単位に作成し、出力するものである。なお、この、字幕生成出力手段５９の構成は、出力手段５８が兼ねるか、あるいは、出力手段５８から出力した他の装置が備える構成としてもよい。
【００５０】
図３は、本実施の形態の字幕作成システム１における字幕表示の過程を模式的に示した説明図で、図１及び図２と同一のハードウエア要素には同一の符号を付してある。図３を参照しながら、本実施の形態に係る字幕作成システム１の動作を、スポーツ中継番組を一例として概略的に説明する。
【００５１】
一般に、スポーツ中継番組５１の音声は、観衆の背景雑音があること等の理由により、マイクロホン１５を通して得られる実況アナウンサー１３や解説者１４の声は、直接音声認識することができない。そこで、リスピークブース２１内にリスピーカー２２を配置し、アナウンスブース１２から現場音声データ入力・出力手段１６を介して送られて来る音声データをヘッドホンスピーカ２３でリスピーカー２２が聴き取り、その内容に対応した言葉をマイクロホン２４に向かってリスピークする。この場合、リスピークされた音声には背景雑音は含まれないので、リスピークされた音声だけが音声認識装置３０で音声認識されてテキストデータに変換される。
【００５２】
そして、音声認識装置３０で変換されたテキストデータは、文字データ修正装置５０の認識誤り削除修正手段５２に入力される。認識誤り削除修正手段５２では、テキストデータに変換不能なデータが含まれていた場合、リスピーカー２２に言い直しを指示し、修正可能な誤りがあった場合はオペレータ３２が認識誤りを削除・修正し、その結果として出力されるテキストデータをリアルタイムで字幕出力する。ここでのテキストデータの表示及び修正途中の表示は、文字データ修正装置５０における表示手段５７の表示画面とリスピークブース２１内における表示手段２５の表示画面の、両方の表示画面に表示され、オペレータ３２等はその表示を見ながら修正等の操作作業を行う。
【００５３】
なお、文字データ修正装置５０における認識誤り削除修正手段５２のオペレータ３２の操作と字幕の送出方法には、以下の（１）〜（３）に示すバリエーションがある。
（１）音声認識結果に誤りがあった場合、オペレータ３２は、その誤りを削除し、そのまま字幕にする。
（２）音声認識結果に誤りがあった場合、オペレータ３２は、その誤りを削除する。リスピーカー２２が音声認識可能な別の言い回しで同意の内容を言い換えること等により正しい音声認識結果を出力させる。
（３）音声認識結果に誤りがあった場合、オペレータ３２は、その誤りを発見し、それを修正して字幕にする。
【００５４】
ここで、前記（１）と（２）の特徴としては、オペレータ３２が誤りの文字列の削除のみを行えば良く、修正の操作は必要ない点が挙げられる。また、（１）の特徴としては、字幕の時間遅れが最小限にできるメリットがある一方で、脱落してしまう文字が発生してしまう問題がある。（２）の特徴としては、正確な字幕を出力できる一方で、状況によって字幕送出の時間遅れが大きくなる可能性がある。（３）の特徴としては、正確な字幕を出力できる一方で、認識誤りがバースト的に発生した場合には、オペレータ３２の誤り修正が追いつかない可能性がある。前記の使用法は、例えばスポーツ中継は、字幕の時間遅れが致命的になるケースが多いので、基本的に（１）の方式を選択する等、番組に応じて選択することが望ましい。
【００５５】
続いて、図６に「句単位モード」で稼働中の文字データ修正装置５０における表示手段５７の表示画面（モニタ画面）上の表示例を示す。音声認識結果のうち、下線で示した「果敢早朝にもかかわらず、」には誤認識が含まれており、正しくは「２日間早朝にもかかわらず、」である。句単位モードで動作しているときは、オペレータ３２の１回の指摘する操作において句読点で挟まれた単位の文字列が一度に選択される。そして、オペレータ３２がこれを削除し、リスピーカー２２が言い直すことによって誤りを修正するか、あるいはオペレータ３２がキーボードにより修正することにより、正しい字幕を作成する。
【００５６】
図６の状態は、「果敢早朝にもかかわらず、」にポイントが合わせられて、これが「修正前」の欄内に表示され、これを修正する場合は、「修正後」の欄に正しい文字列、すなわち「２日間早朝にもかかわらず、」を新たに入力させる。また、次の「大越を出して誠意しました」という部分も誤認識であるが、これはオペレータ３２がこれを削除し、リスピーカー２２が言い直すことによっても「大声を出して声援しました」という正しい字幕を送出できる。さらに、ポイントで指定された文字列が修正後の欄に「２日間早朝にもかかわらず、」として表示される。
【００５７】
また、ポイント合わせされた文字列を削除したい場合は、図６のモニタ画面表示例の表示画面に表示されている「削除」ボタンを選択することによって文字列を削除することができ、そしてリスピーカー２２が言い直すことによって誤りを修正した文字列を提示することができ、「挿入」ボタンを選択すると文字列の前または後に新たな文字列を挿入することができる。
【００５８】
さらに、「置換」ボタンを選択すると、「果敢早朝にもかかわらず、」という文字列を「２日間早朝にもかかわらず、」という文字列と置換することができる。次の「大越を出して誠意しました」という部分も誤認識であるが、オペレータ３２がこれを削除し、リスピーカー２２が言い直すことによっても「大声を出して声援しました」という正しい字幕が生成されるようにすることができる。また、修正後は「送出」ボタンを選択すると、出力手段５８が起動されて、その修正を終えた文字列を字幕として送出させることができる。
【００５９】
音声認識装置３０から認識誤り削除修正手段５２に入力された文字列をオペレータ３２がチェックし、その結果に誤りが含まれていない場合には、その文字列は速やかに出力されるべきである。そこで、誤りがない場合は、操作手段５３を介するオペレータ３２のマニュアル操作（テイク）、すなわち本例では「送出」ボタンを選択する等して出力手段５８を起動させて送出するか、あるいは制限時間設定手段５５ａで設定される一定のタイムアウト時間を設けて、この時間を超えたとき自動的に出力手段５８を起動させて送出されるようにする。
【００６０】
次に、図４を参照（適宜図１及び図２参照）して、本実施の形態によるスポーツ中継する場合を一例として、さらに具体的な動作について説明を行う。
図４は、図１、図２、図３に示した字幕表示の過程を、音声入力からリスピーク−音声認識−字幕出力にわたって動作するフローチャートの形態で示したものである。また、以下の説明では、文字データ修正装置５０における表示手段５７の表示画面とリスピークブース２１における表示手段２５の表示画面には、通常は同じものが表示されているものとする。
【００６１】
手順１（設定処理）：字幕放送を開始するに先立ち、字幕生成ブース３１内でオペレータ３２が操作手段５３を介して、表示手段５７の表示画面上に設定メニューを表示させる。ここでの表示は、例えば図５に画面表示例として示す設定画面、すなわち修正形態＜１＞と修正形態＜２＞を設定する画面が表示される。そして、オペレータ３２は、まず設定メニュー画面の修正形態＜１＞において、タイマーの設定を行う（ステップＳ１）。
【００６２】
すなわち、タイマー設定の「有り」、「無し」を選択する。「無し」を選択した場合は、出力手段５８の動作を制限時間設定手段５５ａによらずに手動で操作させる形態が選ばれ、「有り」を選択した場合は、制限時間設定手段５５ａによる制限時間を設けて、制限時間になったら出力手段５８を強制的に起動させる形態が選ばれる。
【００６３】
続いて、同じ設定メニュー画面の修正形態＜２＞において、修正単位の設定を行う（ステップＳ２）。また、選択が完了したら、表示画面上の「決定」ボタンを選択すると、これらの選択が決定され、これが記憶手段５６に上書き保存され、以後、更新されるまで、この設定が有効になる。そして、放送が開始されるのを待つ（ステップＳ３）。
【００６４】
手順２（リスピーク処理）：放送が開始されると、アナウンスブース１２内での実況アナウンサー１３や解説者１４によるアナウンスが開始される（ステップＳ４）。その声はマイクロホン１５を通して電気信号に変換された後、現場音声データ入力・出力手段１６に入力され、さらにリスピークブース２１内のリスピーク音声データ入力・出力手段２６に送られ、リスピーカー２２が装着しているヘッドホンスピーカ２３等で再生される。
【００６５】
一般に、ここで再生された音声の中には背景雑音が含まれている。そこで、リスピーカー２２は、ヘッドホンスピーカ２３を介して聴いた声の内容に対応する言葉をマイクロホン２４に向かってリスピークする（ステップＳ５）。ここでリスピーカー２２がリスピークする言葉は、ヘッドホンスピーカ２３を介して聴いた言葉と全く同一でなくても内容が概略一致していれば良い。例えば、余り長い言い回しで、字幕を生成するのにふさわしくない言葉は、このリスピーカー２２によるリスピークによって修正される。
【００６６】
また、一般には、リスピーカー２２は、実況アナウンサー１３と解説者１４の言葉を１人で聞き、リスピーカー２２が１人でリスピークすることになるが、複数のリスピーカーを用意して、複数人でリスピークするようにしてもよい。
【００６７】
さらに、リスピーカー２２がリスピークしてマイクロホン２４に入力された声は、該マイクロホン２４で電気信号に変換され、リスピーク音声データ入力・出力手段２６を介して音声認識装置３０に音声データとして送られる。この音声認識装置３０に入力された音声データには、リスピーカー２２の声だけが含まれ、背景雑音等は含まれていない。
【００６８】
手順３（音声認識処理）：音声認識装置３０に音声データが送られると、音声認識装置３０での音声認識が開始され、音声データがテキストデータに変換される（ステップＳ６）。その変換されたテキストデータは文字データ修正装置５０のテキストデータ入力手段５１に送られ、これが文字データ修正装置５０における表示手段５７の表示画面及びリスピークブース２１における表示手段２５の表示画面に表示される（ステップＳ７）。
【００６９】
手順４（文字データ修正処理）：テキストデータ入力手段５１より入力されたテキストデータは、制御手段５５を経由して認識誤り削除修正手段５２に送られ、この認識誤り削除修正手段５２において認識誤りの削除・修正処理を行う（ステップＳ８）。ここでは、まずテキストデータに変換不能な音声データがあった場合は、リスピーカー２２に言い直しを指示し、修正可能な誤りがあった場合には誤り指摘手段５２ａによりテキストデータ中の誤りの箇所が指摘される。
【００７０】
この誤りの箇所は、オペレータ３２が表示画面を見ながらテキストデータ修正手段５２ｂを介して修正が行われる。このオペレータ３２による修正は、操作手段５３を介して制御手段５５経由でテキストデータ修正手段５２ｂを操作することにより行われる。また、ここでの修正は、予め修正単位設定手段５５ｂにより設定してある修正形態及び制限時間設定手段５５ａにより設定してある修正形態（タイマー設定、修正単位）に従って修正される。
【００７１】
手順５（字幕生成出力処理）：文字データ修正処理中は、修正が終了（誤認識が無い場合も含む）して「送出」ボタン（図６参照）が選択されたか否かが制御手段５５で監視される（ステップＳ９）。「送出」ボタンが選択された場合（ステップＳ９；ｙｅｓ）は、制御手段５５の制御で出力手段５８が起動され、認識誤り削除修正手段５２を経由したテキストデータは、修正単位設定手段５５ｂで設定された修正単位毎に字幕生成出力手段５９に送られ、テレビ画面上の字幕として出力される（ステップＳ１１）。
【００７２】
また、「送出」ボタンが選択されない場合（ステップＳ９；ｎｏ）でも、制御手段５５では、制限時間設定手段５５ａにより設定された制限時間になったか否かを監視し（ステップＳ１０）、制限時間となったタイムオーバーの場合（ステップＳ１０；ｙｅｓ）は、制御手段５５の制御で出力手段５８が起動される。出力手段５８が起動されると、修正単位設定手段５５ｂで設定された修正単位の未だ修正の終わっていないテキストデータが字幕生成出力手段５９に送られ、テレビ画面上の字幕として出力される（ステップＳ１１）。なお、制限時間になっていない場合（ステップＳ１０；ｎｏ）は、ステップＳ８へ戻って、認識誤りの削除・修正処理を行う。すなわち、ここでは字幕の精度よりも提示までの時間を優先する。このステップＳ１からステップＳ１１までの処理動作は放送が終了するまでの間、繰り返し行われ、放送が終了すると終わる。
【００７３】
このように、本実施の形態では、次のような効果が期待できる。
スポーツ中継等において、背景に雑音を含む実況アナウンサー１３や解説者１４の声をリスピーカー２２が聴き、その声に対応する内容の言葉をリスピーカー２２がマイクロホン２４に向かってリスピークし、背景雑音のない音声データを音声認識装置３０に入力しているので、音声認識装置３０における音声認識率が向上する。また、この認識率の向上によって字幕の精度と提示までの時間の短縮化が図れ、字幕の品質を保つことができる。なお、リスピークは１人のリスピーカー２２で対応可能であり、さらに音声認識装置３０で音声認識されて変換されたテキストデータの誤りを修正するオペレータ３２の人数も、音声認識装置３０での音声認識が高いことから１人で対応可能になる。
【００７４】
また、文字データ修正装置５０において、オペレータ３２による１回の指摘する操作で選択できる文字データの修正対象文字の修正単位（修正範囲）を、修正単位設定手段５５ｂの設定により、例えば（ａ）文字単位、（ｂ）形態素（単語）単位、（ｃ）句読点を切れ目とする句単位、（ｄ）話者の息継ぎを切れ目とする音声認識入力の発話単位、（ｅ）句点を切れ目とする文単位等、さまざまな単位に設定することができるので、オペレータ３２による１回の指摘する操作で実行可能な誤り削除・修正作業の量を調整することができる。これにより、番組毎等で異なる要求（字幕に含まれる文字の正確さや遅れ時間等）に応じた字幕の品質を保つことができる。
【００７５】
さらに、文字データ修正装置において、制限時間設定手段５５ａの設定により、入力された文字列（文字単位）が出力されるまでの時間に制限を設け、その制限時間を超えた場合に自動で強制的に文字列を出力するようにしている。これにより、番組毎等で異なる要求（字幕に含まれる文字の正確さや遅れ時間等）に応じた字幕の品質を保つことができる。
【００７６】
【発明の効果】
請求項１記載の発明によれば、オペレータによる１回の指摘する操作で選択できる文字データの修正対象文字の修正単位（修正範囲）を、修正形態切り換え手段の設定により、予め用意されるさまざまな修正単位の中から設定することができるので、オペレータによる１回の指摘する操作で実行可能な誤り削除・修正作業の量を、選択した修正単位によって調整することができる。これにより、番組毎等に異なる要求（字幕に含まれる文字の正確さや遅れ時間等）に応じた字幕の品質を保つことができる。
番組や用途に応じた修正単位の設定を修正形態切り換え手段で行うと、番組や用途毎に異なる要求（字幕に含まれる文字の正確さや遅れ時間等）に応じた字幕の品質を保つことができる。
【００７７】
請求項２記載の発明によれば、入力された文字列（文字単位）が出力されるまでの時間に制限を設け、その制限時間を超えた場合に強制的に文字列を出力するようにしているので、異なる要求（字幕に含まれる文字の正確さや遅れ時間等）に応じた字幕の品質を保つことができる。
したがって、例えばスポーツ中継番組のように、正確な文字を提示するよりも提示までの時間を優先させたいとする場合には、設定時間を短くし、文字の誤りよりも提示される時間を優先させる。反対に正確さを優先する場合には、設定時間を長くし、文字の誤りを修正する時間を多く取って文字の正確さを優先させることができる。すなわち、字幕の精度と提示までの時間を番組の性質（用途）等に応じて任意にコントロールすることが可能になる。
【００７８】
請求項３記載の発明によれば、オペレータによる１回の指摘する操作で選択できる文字データの修正対象文字の修正単位（修正範囲）を、予め用意されるさまざまな修正単位の中から設定することができるので、オペレータによる１回の指摘する操作で実行可能な誤り削除・修正作業の量を、選択した修正単位によって調整することができる。また、入力された文字列（文字単位）が出力されるまでの時間に制限を設け、その制限時間を超えた場合に自動で強制的に文字列を出力するようにすることができる。これらにより、番組毎等に異なる要求（字幕に含まれる文字の正確さや遅れ時間等）に応じた字幕の品質を保つことができる。
【００７９】
請求項４記載の発明によれば、オペレータによる１回の指摘する操作で選択できる文字データの修正対象文字の修正単位（修正範囲）を、予め用意されるさまざまな修正単位の中から設定することができるので、オペレータによる１回の指摘する操作で実行可能な誤り削除・修正作業の量を、選択した修正単位によって調整することができる。また、入力された文字列（文字単位）が出力されるまでの時間に制限を設け、その制限時間を超えた場合に自動で強制的に文字列を出力するようにすることができる。これらにより、番組毎等に異なる要求（字幕に含まれる文字の正確さや遅れ時間等）に応じた字幕の品質を保つことができる。
【００８０】
請求項５記載の発明によれば、スポーツ中継等において、背景に雑音を含む実況アナウンサーや解説者の声をリスピーカーが聴き、その声に対応する内容の言葉をリスピーカーがマイクロホンに向かってリスピークし、背景雑音のない音声データを音声認識装置に入力させて音声認識を行わせるようにしているので、音声認識装置における音声認識率が向上する。したがって、この認識率の向上によって字幕の精度と提示までの時間の短縮が図れ、字幕の品質を保つことができる。また、リスピークは１人のリスピーカーで対応可能であり、さらに音声認識装置で音声認識されて変換されたテキストデータの誤りを修正するオペレータの人数も、音声認識装置での音声認識が高いことから１人で対応可能になる。
【図面の簡単な説明】
【図１】 本発明の実施の形態に係る字幕作成システムの全体構成図である。
【図２】 本発明の実施の形態に係る字幕作成システムのさらに具体的な構成を示すブロック図である。
【図３】 本発明の実施の形態に係る字幕作成システムにおける字幕表示過程を模式的に示した説明図である。
【図４】 本発明の実施の形態に係る字幕作成システムの主たる動作を示すフローチャートである。
【図５】 本発明の実施の形態に係る字幕作成システムにおいて設定メニュー表示時における表示画面の一例を示す図である。
【図６】 本発明の実施の形態に係る字幕作成システムにおいて文字修正時における表示画面上の一表示例を示す図である。
【図７】 本発明の実施の形態に係る字幕作成システムにおける文字修正形態の説明図である。
【図８】 従来の字幕の作成装置における字幕表示過程を模式的に示した説明図である。
【符号の説明】
１…字幕作成システム
１０…データ通信ライン
１２…アナウンスブース
１５…マイクロホン
１６…現場音声データ入力・出力手段
２１…リスピーキングブース
２３…ヘッドホンスピーカ
２４…マイクロホン
２５…表示手段（モニタ）
３０…音声認識装置（音声認識手段）
３１…字幕生成ブース
５０…文字データ修正装置
５１…テキストデータ入力手段
５２…認識誤り削除修正手段
５２ａ…誤り指摘手段（不一致箇所選択手段）
５２ｂ…テキストデータ修正手段
５３…操作手段（修正テキストデータ入力手段）
５４…タイマー回路
５５…制御手段
５５ａ…制限時間設定手段
５５ｂ…修正単位設定手段（修正単位切換手段）
５６…記憶手段
５７…表示手段
５８…出力手段
５９…字幕生成出力手段
Claims (5)
- 音声を音声認識手段によりテキストデータに変換して、前記音声と前記テキストデータとが一致しない不一致箇所が前記テキストデータに含まれた場合に修正する文字データ修正装置であって、
前記音声認識手段により変換されたテキストデータを表示画面に表示する表示手段と、
前記不一致箇所に含まれる修正対象文字の修正単位を切り換える修正単位切換手段と、
前記表示画面に表示された前記テキストデータの前記不一致箇所を、所定の操作により指摘したときに、前記修正単位切換手段によって切り換えた修正単位に対応する不一致箇所の選択を行う不一致箇所選択手段と、
前記不一致箇所選択手段により選択された前記不一致箇所の内容に対応した修正を行った修正テキストデータを入力する修正テキストデータ入力手段と、
この修正テキストデータ入力手段により入力された修正テキストデータを前記テキストデータに加えて修正付加テキストデータを生成するテキストデータ修正手段と、
このテキストデータ修正手段で生成された修正付加テキストデータを出力する出力手段と、
を備えることを特徴とする文字データ修正装置。 - 前記出力手段によって出力されるまでに制限時間を設け、この制限時間を超えた場合に強制的に前記修正付加テキストデータを出力させる制限時間設定手段を設けたことを特徴とする請求項１記載の文字データ修正装置。
- 音声を音声認識手段によりテキストデータに変換して、前記音声と前記テキストデータとが一致しない不一致箇所が前記テキストデータに含まれた場合に修正する装置を、
前記音声認識手段により変換されたテキストデータを表示画面に表示する表示手段、
前記不一致箇所に含まれる修正対象文字の修正単位を切り換える修正単位切換手段、
前記表示画面に表示された前記テキストデータの前記不一致箇所を、所定の操作により指摘したときに、前記修正単位切換手段によって切り換えた修正単位に対応する不一致箇所の選択を行う不一致箇所選択手段、
前記不一致箇所選択手段により選択された前記不一致箇所の内容に対応した修正を行った修正テキストデータを入力する修正テキストデータ入力手段、
この修正テキストデータ入力手段により入力された修正テキストデータを前記テキストデータに加えて修正付加テキストデータを生成するテキストデータ修正手段、
このテキストデータ修正手段で生成された修正付加テキストデータを出力する出力手段、
前記出力手段によって出力されるまでに制限時間を設け、この制限時間を超えた場合に強制的に前記修正付加テキストデータを出力させる制限時間設定手段、として機能させることを特徴とする文字データ修正プログラム。 - 音声を音声認識手段によりテキストデータに変換して、前記音声と前記テキストデータとが一致しない不一致箇所が前記テキストデータに含まれた場合に修正する文字データ修正方法であって、
前記不一致箇所に含まれる修正対象文字の修正単位を切り換えて設定すると共に、前記テキストデータおよびそのテキストデータを修正した修正テキストデータを含む修正付加テキストデータを強制的に出力させる制限時間の設定を行なうステップと、
前記音声認識手段により変換されたテキストデータを表示画面に表示するステップと、
前記表示画面に表示された前記テキストデータの前記不一致箇所を、所定の操作により指摘したときに、前記修正単位に対応する不一致箇所を選択するステップと、
選択された前記不一致箇所の内容に対応した修正を行った修正テキストデータを入力するステップと、
入力された修正テキストデータを前記テキストデータに加えて前記修正付加テキストデータを生成するステップと、
生成された修正付加テキストデータを出力するステップと、
を含むことを特徴とする文字データ修正方法。 - 外部より聴き取りされた音声を音声認識手段によりテキストデータに変換しそのテキストデータと前記音声とが一致しない不一致箇所を修正して、画面上の映像に対応する字幕を生成する字幕生成方法であって、
前記不一致箇所に含まれる修正対象文字の修正単位を切り換えて設定すると共に、前記テキストデータおよびそのテキストデータを修正した修正テキストデータを含む修正付加テキストデータを強制的に出力させる制限時間の設定を行なうステップと、
外部より聴取した雑音含有音声に対応する言葉をマイクロホンに向かってリスピークし、前記マイクロホンで電気信号に変換された音声として出力するステップと、
前記リスピークして作成された前記音声を前記音声認識手段によりテキストデータに変換して出力するステップと、
前記音声認識手段により変換されたテキストデータを表示画面に表示するステップと、
前記表示画面に表示された前記テキストデータの前記不一致箇所を、所定の操作により指摘したときに、前記修正単位に対応する不一致箇所を選択するステップと、
選択された前記不一致箇所の内容に対応した修正を行った修正テキストデータを入力するステップと、
入力された修正テキストデータを前記テキストデータに加えて前記修正付加テキストデータを生成するステップと、
生成された修正付加テキストデータを出力するステップと、
を含むことを特徴とする字幕の生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002319365A JP3986009B2 (ja) | 2002-11-01 | 2002-11-01 | 文字データ修正装置、その方法及びそのプログラム、並びに、字幕の生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002319365A JP3986009B2 (ja) | 2002-11-01 | 2002-11-01 | 文字データ修正装置、その方法及びそのプログラム、並びに、字幕の生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004151614A JP2004151614A (ja) | 2004-05-27 |
| JP3986009B2 true JP3986009B2 (ja) | 2007-10-03 |
Family
ID=32462235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002319365A Expired - Lifetime JP3986009B2 (ja) | 2002-11-01 | 2002-11-01 | 文字データ修正装置、その方法及びそのプログラム、並びに、字幕の生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3986009B2 (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4158937B2 (ja) | 2006-03-24 | 2008-10-01 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 字幕修正装置 |
| JP5451982B2 (ja) * | 2008-04-23 | 2014-03-26 | ニュアンス コミュニケーションズ，インコーポレイテッド | 支援装置、プログラムおよび支援方法 |
| US9009612B2 (en) | 2009-06-07 | 2015-04-14 | Apple Inc. | Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface |
| US8707195B2 (en) | 2010-06-07 | 2014-04-22 | Apple Inc. | Devices, methods, and graphical user interfaces for accessibility via a touch-sensitive surface |
| US8751971B2 (en) | 2011-06-05 | 2014-06-10 | Apple Inc. | Devices, methods, and graphical user interfaces for providing accessibility using a touch-sensitive surface |
| US8881269B2 (en) | 2012-03-31 | 2014-11-04 | Apple Inc. | Device, method, and graphical user interface for integrating recognition of handwriting gestures with a screen reader |
| JP2014149612A (ja) * | 2013-01-31 | 2014-08-21 | Nippon Hoso Kyokai <Nhk> | 音声認識誤り修正装置およびそのプログラム |
| JP6095553B2 (ja) * | 2013-11-07 | 2017-03-15 | 日本電信電話株式会社 | 情報表示装置、方法及びプログラム |
| JP6430137B2 (ja) * | 2014-03-25 | 2018-11-28 | 株式会社アドバンスト・メディア | 音声書起支援システム、サーバ、装置、方法及びプログラム |
| JP6605995B2 (ja) | 2016-03-16 | 2019-11-13 | 株式会社東芝 | 音声認識誤り修正装置、方法及びプログラム |
| JP6678545B2 (ja) | 2016-09-12 | 2020-04-08 | 株式会社東芝 | 修正システム、修正方法及びプログラム |
| JP6672209B2 (ja) | 2017-03-21 | 2020-03-25 | 株式会社東芝 | 情報処理装置、情報処理方法、および情報処理プログラム |
| JP6416309B1 (ja) * | 2017-04-12 | 2018-10-31 | 株式会社アドバンスト・メディア | 端末装置及びプログラム |
| CN109949828B (zh) * | 2017-12-20 | 2022-05-24 | 苏州君林智能科技有限公司 | 一种文字校验方法及装置 |
| JP6485977B2 (ja) * | 2017-12-25 | 2019-03-20 | 株式会社フェイス | 字幕制作装置および字幕制作方法 |
| JP2019148681A (ja) * | 2018-02-27 | 2019-09-05 | 富士通株式会社 | テキスト修正装置、テキスト修正方法およびテキスト修正プログラム |
| JP6917561B2 (ja) * | 2019-11-12 | 2021-08-11 | パナソニックＩｐマネジメント株式会社 | 字幕修正装置、字幕修正方法、及び、コンピュータプログラム |
-
2002
- 2002-11-01 JP JP2002319365A patent/JP3986009B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004151614A (ja) | 2004-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3986009B2 (ja) | 文字データ修正装置、その方法及びそのプログラム、並びに、字幕の生成方法 | |
| JP3953886B2 (ja) | 字幕抽出装置 | |
| CN102378050B (zh) | 使用文本转语音转换的广播系统 | |
| JP4456004B2 (ja) | メディア・サービスの再生自動同期化方法および装置 | |
| JP6945130B2 (ja) | 音声提示方法、音声提示プログラム、音声提示システム及び端末装置 | |
| WO2017193540A1 (zh) | 弹幕播放方法、播放装置及播放系统 | |
| US20190179600A1 (en) | Apparatus and method for providing various audio environments in multimedia content playback system | |
| US20150098018A1 (en) | Techniques for live-writing and editing closed captions | |
| KR100604016B1 (ko) | 소리레벨 제어 기능을 갖는 영상표시기기 및 그 제어방법 | |
| CN112601102A (zh) | 同声传译字幕的确定方法、装置、电子设备及存储介质 | |
| JP2010200085A (ja) | 映像機器 | |
| JP3395825B2 (ja) | 音声多重放送受信機 | |
| JP2008061000A (ja) | 放送受信装置、放送受信装置の制御方法、及び、プログラム | |
| JP2021090172A (ja) | 字幕データ生成装置、コンテンツ配信システム、映像再生装置、プログラム及び字幕データ生成方法 | |
| JP2006324779A (ja) | 字幕配信システム、字幕送信装置、字幕合成装置及び字幕配信方法 | |
| JP5551186B2 (ja) | 放送受信装置及び放送受信装置における番組情報音声出力方法 | |
| US20070087312A1 (en) | Method for separating sentences in audio-video display system | |
| JP2005203863A (ja) | テレビ放送受信装置 | |
| JP6399686B2 (ja) | 受信機 | |
| JP6543755B1 (ja) | 音声認識テキストデータ出力制御装置、音声認識テキストデータ出力制御方法、及びプログラム | |
| KR101073677B1 (ko) | 속기 입력 장치 및 이를 포함하는 속기 입력 시스템 | |
| KR100726439B1 (ko) | 자막 서비스 방법 및 이를 수행하는 영상처리장치 | |
| JP2004260544A (ja) | 音声認識機能を有する番組情報表示装置 | |
| JP2006067490A (ja) | 音声出力装置 | |
| WO2021027892A1 (zh) | 接收装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050310 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070626 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070704 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070706 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3986009 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100720 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110720 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120720 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120720 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130720 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140720 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |