JP3986015B2 - Speech recognition error correction device, speech recognition error correction method, and speech recognition error correction program - Google Patents
Speech recognition error correction device, speech recognition error correction method, and speech recognition error correction program Download PDFInfo
- Publication number
- JP3986015B2 JP3986015B2 JP2003017623A JP2003017623A JP3986015B2 JP 3986015 B2 JP3986015 B2 JP 3986015B2 JP 2003017623 A JP2003017623 A JP 2003017623A JP 2003017623 A JP2003017623 A JP 2003017623A JP 3986015 B2 JP3986015 B2 JP 3986015B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- terminal
- text data
- correction
- speech recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【0001】
【発明の属する技術分野】
本発明は、音声認識誤りを修正する音声認識誤り修正装置、音声認識誤り修正方法および音声認識誤り修正プログラムに関するものである。
【0002】
【従来の技術】
従来、音声認識技術を用いた音声認識誤り修正装置には、音声字幕化装置や文字データ修正装置がある(特許文献1、特許文献2を参照)。
前者は、音声認識結果をリアルタイムで字幕化するために、音声認識誤りを修正する際に、音声認識に供された話者の音声の提示と、音声認識結果であるテキストデータの提示とのタイミングの適正化によって、音声認識誤りの修正作業の効率化を図ったものである。
後者は、音声認識結果をリアルタイムで字幕化するために、テキストデータ出力装置(音声認識装置)から出力されたテキストデータ(音声認識結果)の音声認識誤りを見つけて選択する指摘端末(ポインティング用端末装置)と、この音声認識の誤りを修正して置き換える修正端末(修正用端末装置)とにそれぞれ役割を分担することによって、音声認識結果の誤りの修正作業の効率化を図ったものである。
【0003】
【特許文献1】
特開2001−142482号公報(段落番号0018〜0043、第1図)
【特許文献2】
特開2001−60192号公報(段落番号0023〜0043、第1図)
【0004】
【発明が解決しようとする課題】
しかしながら、従来の音声認識誤り修正装置では、音声認識の誤りを発見する発見オペレータ(以下、発見者という)と、その誤りを修正する修正オペレータ(以下、修正者という)とに作業の役割が分担されて音声認識結果の誤りが修正されるため、発見者と修正者の作業内容が異なることから生ずる次のような弊害があった。
【0005】
1.発見者と修正者の人数の均衡を考慮しなければならず、人員配置などの人事労務管理の点で不都合が生じること。
2.発見者と修正者に対して各々別々に教育訓練をする必要があること。
3.音声認識誤り修正装置を用いて、音声認識結果の誤りを修正する際に、常に発見者と修正者が対で作業を行う必要があるため、同時に、かつ、同一箇所での作業をせざるを得ず、作業効率が良くないこと。
また、作業場所の制約も生じることなどの問題があった。
【0006】
そこで、本発明はこのような問題を解決するために、発見者と修正者の人数の均衡を考慮することなく、また、別々に教育訓練をする必要がなく作業場所の制約も最小限にして、効率よく誤り修正作業をすることができる音声認識誤り修正装置、その方法およびそのプログラムを提供することを目的としたものである。
【0007】
【課題を解決するための手段】
本発明は、前記した目的を達成するため、以下に示す構成とした。
請求項1に記載の発明は、音声認識装置から出力された音声認識の対象となった音声データおよび音声認識結果であるテキストデータを受信し、当該テキストデータに含まれている音声認識誤りを、複数の端末により修正する音声認識誤り修正装置であって、前記音声データおよび前記テキストデータを前記端末に提示する提示手段と、この提示手段によって前記端末に提示されたテキストデータに対して、前記端末により指摘されて表わされる修正文字範囲を示す指摘データおよび前記修正文字範囲のテキストデータを修正した修正テキストデータを受信するデータ受信手段と、このデータ受信手段で受信した前記指摘データに基づいて、前記指摘データを送信した前記端末である指摘データ送信端末による修正が完了するまで前記修正文字範囲を、当該指摘データ送信端末以外の端末による指摘から保護するテキストデータ保護手段と、前記データ受信手段で受信した修正テキストデータに基づいて前記テキストデータを修正し、前記端末それぞれに出力する出力手段と、を備えることを特徴とする。
【0008】
かかる構成によれば、音声認識装置から出力された音声データおよびテキストデータを受信して複数の修正端末に提示される。そして、これら端末から音声認識誤りを指摘した修正文字範囲を示す指摘データおよび修正した修正テキストデータが受信され、テキストデータ保護手段によって、この指摘データを送信した指摘データ送信端末以外の端末は当該指摘データ送信端末による修正が完了するまでの間、音声認識誤りを指摘することができない。つまり、最も先に音声認識誤りを指摘した指摘データ送信端末によって最優先に当該音声認識誤りの修正作業がなされ、指摘データ送信端末から送信された修正テキストデータが受信され、テキストデータが修正される。そして出力手段により最新の修正情報が逐次各端末に送信されて通知され、修正作業が続行される。
なお、端末を使用する修正者が、誤って正しい音声認識結果であるテキストデータを修正文字範囲として指摘してしまった場合には、例えば、削除キーを選択するなどの方法により、当該修正文字範囲の指定操作結果を操作前の状態に戻すことができる。
【0009】
請求項2に記載の発明は、請求項1または請求項2に記載の音声認識誤り修正装置において、前記複数の端末は、ネットワークを介して前記音声認識誤り修正装置と接続されることを特徴とする。
【0010】
かかる構成によれば、音声認識誤り修正装置は、ネットワークで接続される各端末により操作される。そのため、各端末の設置場所、すなわち、修正作業場の設定に柔軟に対応することができる。
【0011】
請求項3に記載の発明は、請求項1または請求項2に記載の音声認識誤り修正装置において、前記提示手段は、前記指摘データに含まれる文字について、表示色、表示の大きさ、文字の種類のうち少なくとも一つを含む文字の属性の変更を行うことによって、前記指摘データ送信端末以外の端末にも当該文字属性の変更を提示する指摘文字属性変更機能と、前記指摘データ送信端末によって指摘データを修正中である場合に、修正中の前記指摘データの文字属性を前記指摘文字属性変更機能で変更した文字属性とは異なる文字属性とする修正文字属性変更機能と、を備えることを特徴とする。
【0012】
かかる構成によれば、指摘文字属性変更機能によって、音声認識結果であるテキストデータのうち音声認識誤り部分を指摘した文字の属性が変更され、当該音声認識誤りを指摘した指摘データ送信端末以外の端末に対しても、この変更された文字属性のテキストデータが提示される。そして、修正文字属性変更機能によって、修正作業をしている文字の属性が音声認識誤りの文字の指摘時に変更された文字属性以外の文字属性に変更され、修正作業中の端末以外の端末に対しても、この変更された文字属性のテキストデータが提示される。
【0013】
請求項4に記載の発明は、請求項1または請求項2に記載の音声認識誤り修正装置において、前記提示手段は、前記音声認識結果であるテキストデータに係る品詞のうち少なくとも助詞について、表示色、表示の大きさ、文字の種類のうち少なくとも一つを含む文字の属性を変更する文字品詞属性変更機能を備えることを特徴とする。
【0014】
かかる構成によれば、文字属性変更機能によって、音声認識結果であるテキストデータの品詞のうち少なくとも助詞について前記した文字属性が変更されるため、特に音声認識誤りの発生頻度の高い助詞についての注意の喚起を促すことができる。
【0015】
請求項5に記載の発明は、請求項1または請求項2に記載の音声認識誤り修正装置において、前記提示手段は、前記端末に提示している前記音声認識結果であるテキストデータに係る文字列の表示領域の表示幅と背景色との少なくとも一方を任意に設定できる表示領域設定機能を備えることを特徴とする。
【0016】
かかる構成によれば、表示領域設定機能によって、音声認識結果であるテキストデータの表示領域について、端末の使用者からの要望に基づいて、表示幅と背景色との少なくとも一方を設定(変更)すれば、当該テキストデータの表示領域が見易くなり、表示画面の見易さが向上される。
【0017】
請求項6に記載の発明は、請求項1または請求項2に記載の音声認識誤り修正装置において、前記提示手段は、前記端末に提示している前記音声認識結果であるテキストデータ中に不要文字を挿入する不要文字挿入機能を備えることを特徴とする。
【0018】
かかる構成によれば、不要文字挿入機能によって、音声認識結果であるテキストデータ中に不要文字が挿入されるため、端末を使用する修正者は、この不要文字を削除する作業が必要となり、端末に提示されるテキストデータの音声認識誤り率が低く、修正すべきテキストデータが少なく単調作業が継続する場合においても、修正作業に対する集中力の維持がなされる。
【0019】
請求項7に記載の発明は、音声認識装置から出力された音声認識の対象となった音声データおよび音声認識結果であるテキストデータを受信し、当該テキストデータに含まれている音声認識誤りを、複数の端末により修正する音声認識誤り修正方法であって、前記音声データおよび前記テキストデータを前記端末に提示する提示ステップと、この提示ステップによって前記端末に提示されたテキストデータに対して、前記端末により指摘されて表わされる修正文字範囲を示す指摘データおよび前記修正文字範囲のテキストデータを修正した修正テキストデータを受信するデータ受信ステップと、このデータ受信ステップで受信した前記指摘データに基づいて、前記指摘データを送信した前記端末である指摘データ送信端末による修正が完了するまで前記修正文字範囲を、当該指摘データ送信端末以外の端末による指摘から保護するテキストデータ保護ステップと、前記データ受信ステップで受信した修正テキストデータに基づいて前記テキストデータを修正し、前記端末それぞれに出力する出力ステップと、を含むことを特徴とする。
【0020】
かかる音声認識誤り修正方法によれば、まず、提示ステップで音声認識装置から出力された音声データおよび音声認識結果であるテキストデータが前記した端末に提示される。続いてデータ受信ステップで、前記した提示ステップによって前記端末に提示されたテキストデータのうち音声認識誤りを前記端末の使用者によって指摘した修正文字範囲を示す指摘データおよび修正した修正テキストデータを受信する。そして、テキストデータ保護ステップで、当該指摘データに基づいて、前記した音声認識誤りのテキストデータを指摘データ送信端末以外の端末による指摘から当該指摘データ送信端末による修正作業が完了するまでの間、保護する。そして、データ受信ステップで受信した修正テキストデータに基づいて、音声認識誤りに係るテキストデータが修正される。つまり、最も先に音声認識誤りを指摘した指摘データ送信端末によって最優先に当該音声認識誤りの修正作業がなされ、指摘データ送信端末から送信された修正テキストデータが受信され、テキストデータが修正される。次に出力ステップで、当該修正されたテキストデータが最新の修正情報として逐次各端末に送信し、修正作業が続行される。
【0021】
請求項8に記載の発明は、音声認識装置から出力された音声認識の対象となった音声データおよび音声認識結果であるテキストデータを受信し、当該テキストデータに含まれている音声認識誤りを、複数の端末により修正する音声認識誤り修正装置を、前記音声データおよび前記テキストデータを前記端末に提示する提示手段、この提示手段によって前記端末に提示されたテキストデータに対して、前記端末により指摘されて表わされる修正文字範囲を示す指摘データおよび前記修正文字範囲のテキストデータを修正した修正テキストデータを受信するデータ受信手段、このデータ受信手段で受信した前記指摘データに基づいて、前記指摘データを送信した前記端末である指摘データ送信端末による修正が完了するまで前記修正文字範囲を、当該指摘データ送信端末以外の端末による指摘から保護するテキストデータ保護手段、前記データ受信手段で受信した修正テキストデータに基づいて前記テキストデータを修正し、前記端末それぞれに出力する出力手段、として機能させることを特徴とする。
【0022】
かかる音声認識誤り修正プログラムによれば、音声認識誤り修正装置としての機能を生じさせて、このプログラムの処理手順に従って実行させることができるので、音声認識装置から出力された音声データおよびテキストデータを受信して複数の修正端末に提示され、これら端末を使用する使用者が音声認識誤りを指摘した修正文字範囲を示す指摘データおよび修正した修正データを受信し、テキストデータ保護手段が、この指摘データに基づいて、当該指摘データを送信した端末以外の端末について、当該指摘データ送信端末による修正作業が完了するまでの間、音声認識誤りを指摘することを不可能とする。このことによって、最も先に音声認識誤りを指摘した指摘データ送信端末によって最優先に当該音声認識誤りの修正作業がなされる。そして、受信された指摘データ送信端末から送信された修正テキストデータに基づいて、テキストデータが修正されて最新の修正情報として逐次各端末に送信され、修正作業が続行される。
【0023】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。
(音声認識誤り修正システムの概略)
まず、図1を参照しながら、音声認識誤り修正システムの概略について説明する。
図1は、本発明の一実施形態に係る音声認識誤り修正システムの構成を示す概略図である。
【0024】
本発明の一実施形態に係る音声認識誤り修正システムは、発声者が発声した音声を音声認識装置2によって音声認識した結果であるテキストデータおよび音声認識の対象となった音声データを、ネットワークを介して接続されている各修正端末41に提示し、これら修正端末41によって修正された修正テキストデータを統合する音声認識誤り修正装置1と、当該音声認識結果であるテキストデータから修正文字範囲を指摘して正確な文字に修正する修正端末41により構成されている。
なお、本実施の形態では、修正端末41が特許請求の範囲に記載の端末に相当する。
【0025】
また、本実施の形態においては、音声認識誤り修正装置1の修正対象となるテキストデータを出力する装置として音声認識装置2を例とするが、テキストデータを出力する装置であれば、ワードプロセッサ機能や音声認識機能を搭載したパーソナルコンピュータ等であってもよい。
【0026】
本実施の形態では、当該テキストデータを音声認識誤り修正装置1に接続されている修正端末41(41A、41B、41C)によって修正テキストデータに修正し、当該修正テキストデータを音声認識誤り修正装置1が受信して音声認識誤り修正装置1上の当該テキストデータを、修正して統合した修正統合テキストデータをリアルタイムで出力する(ここまでが音声認識誤り修正システムの動作)。
そして、この修正統合テキストデータを、字幕送出装置43を利用して、放送通信網(放送波EW)を介して、テレビジョン45またはテレビジョン45としての機能を搭載したパーソナルコンピュータ等へ文字放送として放送する場合を例として説明する。
【0027】
以下、この実施の形態では、当該音声認識誤り修正装置1から送信されたテキストデータに含まれる音声認識誤りを指摘した指摘データ(詳細は後記)を当該音声認識誤り修正装置1に送信した、この修正端末41を指摘データ送信端末41と表記することとする。
【0028】
(音声認識誤り修正装置の構成)
次に、図1、図2を参照しながら音声認識誤り修正装置1の構成について説明する。
図2は、本発明の一実施形態に係る音声認識誤り修正装置1の構成を示すブロック構成図である。
音声認識誤り修正装置1は、図1に示すように、テキストデータ修正部13と、音声再生部3を備え、修正端末41(41A、41B、41C)とネットワークを介して接続されている。
【0029】
テキストデータ修正部13は、図2に示すように、文字データ受信部15、修正情報受信部17、修正端末動作判定部19、文字提示速度可変部21、文字属性変更部23、文字属性情報送信部25、表示領域設定部27、不要文字挿入部29、提示情報送信部31、テキストデータ保護部33、文字列統合部35、画面表示情報送信部37および字幕出力構成部39により構成されている。
【0030】
なお、本実施の形態では、文字データ受信部15および修正情報受信部17が特許請求の範囲に記載のデータ受信手段に相当し、文字提示速度可変部21および文字属性変更部23が特許請求の範囲に記載の提示手段に相当し、テキストデータ保護部33が特許請求の範囲に記載のテキストデータ保護手段に相当し、文字属性情報送信部25および提示情報送信部31が特許請求の範囲に記載の出力手段に相当し、表示領域設定部27が特許請求の範囲に記載の表示領域設定機能に相当し、不要文字挿入部29が特許請求の範囲に記載の不要文字挿入機能に相当するものである。
【0031】
文字データ受信部15は、音声認識装置2(図1参照)の音声認識結果であるテキストデータを受信するものである。
修正情報受信部17は、修正端末15から修正テキストID(Identification)、修正端末ID、制御情報および音声認識装置2の音声認識誤りを修正端末41によって正確なテキストデータに修正された修正テキストデータを受信するものである。
【0032】
なお、「修正テキストID」とは、修正端末41が修正作業に入る際に音声認識結果であるテキストデータの誤り部分を指摘した修正文字範囲を識別するための識別記号(指摘データ。後記する)のことである。「修正端末ID」とは、修正端末15が修正作業に入る際に音声認識結果であるテキストデータの誤り部分である修正文字範囲を指摘した修正端末41を識別するための識別記号のことである。「制御情報」とは、修正端末41から修正情報受信部17によって受信され、修正端末41へのテキストデータの提示動作について、その再生速度または停止に関する制御命令の基準となる情報と、修正端末41への音声データの提示動作について、その再生速度または停止に関する制御命令の基準となる情報とのことである。
【0033】
修正端末動作判定部19は、修正情報受信部17から受信した修正端末IDおよび制御情報を文字提示速度可変部21(詳細は後記する)へ送出する機能と、音声データの修正端末41への提示タイミングの基準となる文字提示タイミング情報および制御情報を音声提示速度可変部11(詳細は後記する)へ送出する機能とを有するものである。また、修正端末41へのテキストデータまたは音声データの提示を一時停止した場合において、その一時停止における遅延分を判定し、テキストデータまたは音声データの修正端末41への高速提示命令を行うものである。さらに、全ての修正端末41が修正作業に入ると、修正端末41へのテキストデータおよび音声データの提示の一時停止命令を文字提示速度可変部21(後記する)および音声提示速度可変部11(後記する)へ送信するものである。
【0034】
なお、「文字提示タイミング情報」とは、修正文字範囲のテキストデータを正しい文字に修正する作業を支援するための音声データを修正端末41へ提示するタイミングとなる基準情報のことである。この文字提示タイミング情報によって音声提示速度可変部11(後記する)は、修正端末41への音声データの提示のタイミングを制御するものである。
【0035】
文字提示速度可変部21は、修正端末動作判定部19から受信した修正端末IDおよび制御情報に基づいて、テキストデータの修正端末41への提示動作について、その再生速度または停止に関する制御命令を修正端末IDに係る修正端末41へ送信するものである。また、全ての修正端末41が修正作業に着手した場合において、修正端末41へのテキストデータの提示の一時停止命令を修正端末動作判定部19から受信して、全ての修正端末41(41A、41B、41C)へ当該命令を送信するものである。
【0036】
文字属性変更部23は、指摘文字属性変更部23aと、修正文字属性変更部23bと、文字品詞属性変更部23cとを備えている。
なお、本実施の形態では、指摘文字属性変更部23aが特許請求の範囲に記載の指摘文字属性変更機能に相当し、修正文字属性変更部23bが特許請求の範囲に記載の修正文字属性変更機能に相当し、文字品詞属性変更部23cが特許請求の範囲に記載の文字品詞属性変更機能に相当する。
【0037】
指摘文字属性変更部23aは、修正端末41によって音声認識誤りを指摘したテキストデータである修正文字範囲を指摘した際に修正端末41から修正情報受信部17へ送信する修正テキストIDに係る修正文字範囲の文字に関して、修正端末41から修正情報受信部17によって受信した修正テキストデータについて、表示色、表示の大きさ、文字の種類のうち少なくとも一つを含む文字属性の変更を行うものである。また、当該指摘データ(修正テキストID)を送信した修正端末41(指摘データ送信端末41)以外の修正端末41に、当該修正文字範囲の文字属性が変更された修正テキストデータを提示することによって、当該指摘データに係る指摘状況を当該修正端末41(指摘データ送信端末41)以外の修正端末からも確認可能となる。
【0038】
なお、「指摘データ」とは、指摘データ送信端末41によって指摘した修正文字範囲または当該指摘データ送信端末41を示すデータをいい、具体的には、前記した修正テキストIDまたは修正端末IDを示す。この修正テキストIDを送信した指摘データ送信端末41は、前記した修正端末IDを修正情報受信部17へ送信する。
また、文字属性の変更には、例えば、字体を斜体、ボールド(bold)、影付け、立体文字、袋文字等に変更したり、文字に網掛け、飾り網点等の模様を付けたり、その他、下線、文字囲み等の文字修飾を含むものである。
【0039】
修正文字属性変更部23bは、修正文字範囲を修正中の文字について、指摘文字属性変更部23aで修正文字範囲の文字属性を変更した文字属性以外の文字属性に変更するものである。また、当該修正文字範囲を修正中の端末41(修正文字範囲のテキストデータを修正中の指摘データ送信端末41)以外の修正端末41に当該修正文字範囲の修正中の文字の文字属性が変更された修正テキストデータが提示されることによって、当該指摘データに係る修正状況を修正中の端末41以外の修正端末41からも確認可能となる。
なお、文字属性の変更については、指摘文字属性変更部23aでの説明と同様なので、その説明を省略する。
【0040】
文字品詞属性変更部23cは、文字データ受信部15から送出されたテキストデータ中の文字列の品詞のうち少なくとも助詞について、図4に示すように、文字の表示色、表示の大きさ、文字の種類のうち少なくとも一つを含む文字属性を変更して修正端末41(指摘データ送信端末41)から修正情報受信部17よって受信した修正テキストデータを変更するものである。特に助詞は発現頻度が高く、修正者による音声認識誤りの発見を看過することが非常に多いため、助詞の文字属性を変化させ、修正者に特に助詞の音声認識誤りの発見について注意の喚起を行うものである。助詞の文字表示を大きくする文字属性の変更は、ポインティングデバイスとしてタッチパネルを使用する場合に、助詞の音声認識誤りの発見の精度を高め、また、タッチパネル上で指摘(選択)し易くなるため特に有効である。
【0041】
なお、図示していない制御部によって、テキストデータ中の文字列の品詞のうち少なくとも助詞について、予め文字属性の変更後に修正端末41へテキストデータを送信するように初期設定することもできる。
なお、文字属性の変更については、指摘文字属性変更部23aでの説明と同様なので、その説明を省略する。
【0042】
図2に戻って説明を続ける。
文字属性情報送信部25は、前記した指摘文字属性変更部23a、修正文字属性変更部23b、文字品詞属性変更部23cによって、変更された文字属性の情報である文字属性情報を各修正端末41へ送信するものである。
【0043】
表示領域設定部27は、表示画面の見易さを向上させるため、図5の(a)に示すように、修正端末41に提示している音声認識結果であるテキストデータの表示領域ARの表示幅と背景色との少なくとも一方を任意に設定可能とするものである。
【0044】
再び図2に戻って説明を続ける。
不要文字挿入部29は、修正端末41に提示している音声認識結果であるテキストデータ中に不要文字を挿入するものである。図5の(b)では、不要文字としてアスタリスクマーク「*」をテキストデータ中に挿入した例を示している。音声認識率が高く、音声認識誤りが少ない場合、修正作業は音声認識誤りを発見するための単調な作業となる。その結果、修正者の修正作業に対する集中力の低下、修正作業の精度の低下を招く。そこでそれを防止するために、音声認識結果であるテキストデータに不要文字を挿入し、修正者に当該不要文字の削除作業をしてもらうことによって集中力を持続させるものである。
【0045】
再び図2に戻って説明を続ける。
提示情報送信部31は、表示領域設定部27による表示領域設定情報、不要文字挿入部29による不要文字挿入情報を修正端末41へ送信するものである。
テキストデータ保護部33は、修正ガード端末判定部33a、修正ガードテキスト判定部33bを備えている。
【0046】
テキストデータ保護部33は、修正情報受信部17で受信した指摘データ(修正テキストID、修正端末ID)に基づいて、音声認識誤りのテキストデータを、当該指摘データを送信した指摘データ送信端末41以外の修正端末41による指摘から当該指摘データ送信端末41による修正作業が完了するまでの間、保護するものである。
【0047】
図3を参照しながら、テキストデータ保護部33によるテキストデータの保護がどのように実現されるかについて、その一例を説明する。図3には、音声認識結果のテキストデータである「当時多発テロ事件」のテキストデータが、修正端末41A、修正端末41Bおよび修正端末41Cに提示されている。この場合、テキストデータ「当時」の部分(修正文字範囲)が音声認識誤りに相当するが、修正端末41Aの修正者が最も早くこの音声認識誤りを発見して指摘したときは、他の修正端末41の修正者、すなわち、修正端末41Bの修正者および修正端末41Cの修正者が、修正文字範囲「当時」の部分と同一箇所(「当時」)については、指摘することができないようにガードされる。
【0048】
この際、修正端末41Bの修正者および修正端末41Cの修正者は、同一箇所以外の部分については指摘可能である。また、同一箇所であっても修正端末41Aの修正者が当該修正作業を終了した後は、修正端末41Bの修正者および修正端末41Cの修正者は、当該同一箇所であった箇所(「当時」)について指摘し、修正作業を行うことができるものである。
【0049】
次に、再び図2に戻って、テキストデータ保護部33の構成要素について説明する。
修正ガード端末判定部33aは、修正情報受信部17から送出された修正端末ID(修正端末41が修正作業に入る際に音声認識結果であるテキストデータの誤り部分である修正文字範囲を指摘した修正端末41を識別するための識別記号)を受信して、修正文字範囲(「当時」)を指摘した修正端末41(修正端末41A)を識別し、その識別した情報を修正ガード端末情報として、修正端末41(修正端末41Bおよび修正端末41C)へ送信するものである。
【0050】
修正ガードテキスト判定部33bは、修正情報受信部17から送出された修正テキストID(修正端末15が修正作業に入る際に音声認識結果であるテキストデータの誤り部分を指摘した修正文字範囲を識別するための識別記号)を受信して、修正端末41(修正端末41A)によって指摘された修正文字範囲(「当時」)を識別し、その識別した情報を修正ガードテキスト情報として、修正端末41(修正端末41Bおよび修正端末41C)へ送信するものである。
【0051】
続いて文字列統合部35に関して説明する。
文字列統合部35は、修正情報受信部17によって受信した各修正端末41による修正テキストデータを修正テキストIDに基づいて、1つの統一された文章に統合するものである。この文字列統合部35によって統合された修正テキスト統合データは、逐次各修正端末41にフィードバックされ、常に最新の修正情報(修正統合テキストデータ)が反映される。また、この修正統合テキストデータは、字幕送出装置43(図1参照)によって、字幕放送用のデータとして利用される。
【0052】
画面表示情報送信部37は、文字列統合部35によって、修正テキストデータが修正テキストIDに基づいて、1つの文章に統合された修正統合テキストデータを各修正端末41(41A、41B、41C)へ送信するものである。
【0053】
字幕出力構成部39は、文字列統合部35によって、修正テキストデータが修正テキストIDに基づいて1つの文章に統合された修正統合テキストデータを文字放送として利用するために、修正統合テキストデータを字幕出力データとして、字幕送出装置43(図1参照)へ送信するものである。
【0054】
次に、音声再生部3について説明する。
音声再生部3は、音声受信部5、音声蓄積部7、音声データ送信部9、音声提示速度可変部11から構成されている。
音声再生部3は、音声認識の対象となった音声データを再生するものである。
この音声データが文字提示タイミング情報に同期してネットワークを介して修正端末41に送信され、修正端末41に接続されているヘッドフォンで出力された音声と、音声認識結果であるテキストデータとを各修正端末41(41A、41B、41C)の修正者が比較照合することによって、修正者の修正作業が支援される。
【0055】
音声受信部5は、音声認識の対象となった音声データを音声認識装置2(図1参照)から受信するものである。
音声蓄積部7は、音声受信部5で受信した音声認識の対象となった音声データを各修正端末41へ提示するために一時的にまたは長期保存用に蓄積するものである。
一般に、一時記憶用には半導体メモリを利用した主記憶装置(メインメモリ)が利用され、長期保存用にはハードディスク、フレキシブルディスク、DAT(Digital Audio Tape recorder)などの外部記憶装置(補助記憶装置)が利用されている。
【0056】
音声データ送信部9は、音声蓄積部7から音声データを受信して各修正端末41に提示するために各修正端末41へ送信するものである。
【0057】
音声提示速度可変部11は、音声認識装置2(図1参照)による音声認識の対象となった音声データの修正端末41への提示動作について、修正端末動作判定部19から受信した文字提示タイミング情報および制御情報に基づいて、その再生速度または停止に関する制御命令を修正端末41へ送信するものである。また、全ての修正端末41が修正作業に着手した場合において、修正端末41への音声データの提示の一時停止命令を修正端末動作判定部19から受信して、全ての修正端末41(41A、41B、41C)へ当該命令を、音声データ送信部9を介して送信するものである。
【0058】
したがって、音声提示速度可変部11は、音声認識装置2(図1参照)による音声認識の対象となった音声データを音声認識装置2(図1参照)の音声認識結果であるテキストデータと同時に(テキストデータの修正端末41(41A、41B、41C)への提示タイミングと同期して)各修正端末41に提示させることもできるし、また、文字提示タイミング情報に同期して修正端末41への音声データの提示に関して、一時停止させて遅く提示させることや、この一時停止による遅延を回復するための高速提示、繰り返し当該音声データの提示を行うリプレイ動作を行わせることもできるものである。
【0059】
続いて、図1に戻って修正端末41について説明する。
修正端末41(41A、41B、41C)は、音声認識誤り修正装置1を使用するための装置であり、ディスプレイ、キーボード、修正文字範囲を指定等するためのタッチパネル、音声データを出力するためのヘッドフォン、音声データの再生について、その高速化または一時停止若しくは再開の切替え信号を図示していない制御部に送出して、音声データの再生動作をコントロールするための足入力インターフェース(フットペダル)等を備え、一般にパーソナルコンピュータが利用されている。
【0060】
なお、フットペダルは、音声データの再生停止を制御する足踏スイッチとUSB(Universal Serial Bus)またはRS232C等のインターフェースを備えており、これらのインターフェースを介してパーソナルコンピュータに接続している。このフットペダルは、足踏スイッチ(ペダル)の「踏込」または「放す」操作によって、スイッチON/OFFの切替操作を行うもので、記録テープに録音されている記録テープ内容(音声データ)の再生動作の制御をする際に利用されるものである。
【0061】
また、音声認識誤り修正装置1は、LAN(Local Area Network)またはWAN(Wide Area Network)接続されており、修正端末41の設置場所に制約されず、任意にシステム設計が行えるものである。よって、遠隔地間での音声認識誤り修正作業も可能である。
【0062】
また、ネットワークについては、前記したようにLAN、WANなどその形態を問わないが、ネットワークケーブル、無線、赤外線等、その方式も問わない。しかし、通信パケット漏れなどの安全面や高速処理の観点からネットワークケーブルを使用することが好ましい。
さらにまた、音声認識誤り修正装置1によって、修正者(修正端末41)を複数設定でき、かつ、修正文字範囲の指摘および修正作業を修正者1人単位で行うことができるものである。
【0063】
(音声認識誤り修正システムの動作)
次に、図6(適宜図2参照)のシーケンシャルチャートを参照しながら音声認識誤り修正システムの動作の一例について説明する。
まず、発話者の発声により生じた音声を音声認識装置2(図1参照)が音声認識を行い、その音声認識の結果であるテキストデータをテキストデータ修正部13へ送信し、音声認識の対象となった音声データを音声再生部3へ送信する(A1)。
【0064】
なお、ここでは、発話者が「こんにちは、お昼のニュースです。」と発声し、この音声について、音声認識装置2が誤った音声認識結果として「こんにちは、御ひるのニュースです」のテキストデータを音声認識誤り修正装置1(テキストデータ修正部13および音声再生部3)へ送信する場合を例に説明する。
【0065】
次に、当該音声データを受信した音声認識誤り修正装置1のテキストデータ修正部13は、当該テキストデータ「こんにちは、御ひるのニュースです」を修正端末41A、修正端末41Bおよび修正端末41Cへ送信すると同時に、音声再生部3へ文字提示タイミング情報および制御情報を送出する(B1)。これを受けた音声再生部3は、音声認識の対象となった音声データ「こんにちは、お昼のニュースです」を当該文字提示タイミング情報および制御情報に基づいて(例えば、音声認識の結果であるテキストデータの修正端末41A、修正端末41Bおよび修正端末41Cへの提示と同時に)、修正端末41A、修正端末41Bおよび修正端末41Cへ送信する(B2)。
【0066】
当該テキストデータ「こんにちは、御ひるのニュースです」および当該音声データ「こんにちは、お昼のニュースです」を受信した各修正端末41(41A、41B、41C)は、修正端末41の修正者によって、音声認識の誤り部分の文字「御ひる」(修正文字範囲)がタッチパネルをタッチすることにより指摘され、キーボードで正確な文字「お昼」への修正作業が行われる。
【0067】
このとき、例えば、修正端末41Aの修正者が最も早く音声認識誤り部分の文字「御ひる」を指摘した場合(C1)、指摘データ(修正テキストID、修正端末ID)が、修正端末41Aからテキストデータ修正部13へ送信され(C2)、これを受信したテキストデータ修正部13は、修正端末41Bおよび修正端末41Cへ修正ガード端末情報および修正ガードテキスト情報を送信する(B3)。そして、これを受信した修正端末41Bおよび修正端末41Cは、修正端末41Aの修正作業中は修正作業を行うことができず、修正端末41Aのみが優先的に修正作業が可能となる。
【0068】
なお、修正端末41Aの修正者が修正作業を行う際に、音声再生部3から送出された音声データ「こんにちは、お昼のニュースです」を修正者がヘッドフォンで聴取し、修正端末15Aに提示されているテキストデータ「こんにちは、御ひるのニュースです」と比較照合することによって修正精度を高め、修正作業が行われる。
【0069】
そして、修正端末41Aは、修正結果である修正テキストデータ「お昼」をテキストデータ修正部13へ送信し(C3)、これを受信したテキストデータ修正部13は、修正テキストデータ「お昼」を1つの文章に統合した修正統合テキストデータ「こんにちは、お昼のニュースです」を作成し、当該修正統合テキストデータが逐次、修正端末41A、修正端末41Bおよび修正端末41Cへ送信され最新の修正情報が全ての端末(本実施の形態の一例としては修正端末41A、修正端末41Bおよび修正端末41C)に反映され、修正作業が行われる(B4)。
【0070】
次に、修正テキストデータの有無が判断され(B5)、修正テキストデータがある場合(B5、YES)は、当該修正テキストデータを修正統合テキストデータに統合して当該修正統合テキストデータが正しいテキストデータとして確定される(B6)。そして、テキストデータ修正部13から字幕送出装置43へ当該修正統合テキストデータ「こんにちは、お昼のニュースです」が送信される(B7)。
【0071】
修正テキストデータがない場合(B5、NO)は、例えば、各修正端末41へテキストデータを送信後、1分間を経過しているか否かを判断(B8)し、経過している場合(B8、YES)はB6へすすみ修正統合テキストデータが確定され、経過していない場合(B8、NO)はB5へ戻る。
なお、このフローチャートに示していないが、音声認識結果であるテキストデータの提示がある間、音声認識誤り修正システムとして、A1からB7までのステップが繰り返され、このテキストデータがなくなった時点で音声認識誤り修正システムの動作が終了する。
【0072】
また、本実施の形態の一例として、B7で送信された修正統合テキストデータを受信した字幕送出装置43から当該修正統合テキストデータをテレビジョン45へ放送波EW(図1参照)を介して送信され(D1)、テレビジョン45によって、「こんにちは、お昼のニュースです」の字幕付きの文字放送として受信される(E1)場合の一例をこのフローチャートに図示(図6の左下に示す破線より内側部分)しておく。
【0073】
なお、B6における修正統合テキストデータの確定にあたっては、テキストデータ修正部13が、最も遅く修正テキストデータを送信した修正端末41から修正テキストデータを受信した後に修正テキストデータを統合し、この修正統合テキストデータを作成した時点をもって確定することもできる。
【0074】
以上、本発明の実施の形態について説明したが、本発明は、前記した実施の形態に限定されることなく、様々な形態で実施可能である。
また、音声認識誤り修正方法と、このような音声認識誤り修正方法を音声認識誤り修正装置1に実現させる音声認識誤り修正プログラムと、音声認識誤り修正プログラムを記録した記録媒体も本発明の対象とするものである。
【0075】
【発明の効果】
以上説明したように、本発明によれば以下の効果を奏する。
請求項1、7、8に記載の発明によれば、音声認識誤り修正装置に接続されている端末から音声認識誤りを指摘した修正文字範囲を示す指摘データおよび修正した修正テキストデータを受信する。そして、テキストデータ保護手段によって、この指摘データを送信した指摘データ送信端末以外の端末については、当該指摘データ送信端末による修正が完了するまでの間、音声認識誤りを指摘して修正作業をすることができないようにすることができる。
【0076】
そのため、音声認識誤り部分である修正文字範囲の発見者と修正者とに修正作業を分担することなく、修正者一人単位で修正作業を行うことができる。そのため、修正作業の効率化を図ることができる。また、人員配置や人員確保など人事労務管理が容易となり、教育講習についても修正者単位でできるため、効率的に講習を行うことができる。そして省力化したシステム設計を行うことができる。
また、音声認識誤り部分の文字を最初に指摘した修正者(端末)に対して、優先的に修正作業を可能とすることにより、修正作業の効率化を実現することができる。
【0077】
請求項2に記載の発明によれば、音声認識誤り修正装置と端末間をネットワークで接続することにより、作業場所について柔軟に対応することが可能となり、簡素化したシステム設計をすることができる。そのため、効率化した音声認識誤り修正システムの構築が実現できる。
【0078】
請求項3および請求項4に記載の発明によれば、音声認識誤り部分(修正文字範囲)の文字について、その文字属性を変更して各端末に提示することにより、指摘作業または修正作業状況の明確化を図ることができる。そのため、修正作業を効率化することができる。
【0079】
請求項5に記載の発明によれば、音声認識結果であるテキストデータの表示領域について、端末の使用者からの要望に基づいて、表示幅と背景色との少なくとも一方を設定することができるので、当該テキストデータの表示領域が見易くなる。そのため、表示画面の見易さを向上させることができる。
【0080】
請求項6に記載の発明によれば、音声認識結果であるテキストデータ中に不要文字を挿入し、当該不要文字を修正者に削除してもらうことによって、音声認識誤りが少なく単調作業の傾向が強い場合においても、修正者の集中力を持続させることができる。そのため修正作業を高精度に維持することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る音声認識誤り修正システムの構成を示す概略図である。
【図2】本発明の一実施形態に係る音声認識誤り修正装置の構成を示すブロック構成図である。
【図3】本発明の一実施形態に係るテキストデータ修正部の誤りテキストデータ保護部の動作の一例を説明するための図である。
【図4】本発明の一実施形態に係るテキストデータ修正部の文字属性変更部の動作の一例を説明するための図である。
【図5】(a)本発明の一実施形態に係るテキストデータ修正部の不要文字挿入部の動作の一例を説明するための図である。
(b)本発明の一実施形態に係るテキストデータ修正部の表示領域設定部の動作の一例を説明するための図である。
【図6】本発明の一実施形態に係る音声認識誤り修正装置の動作の一例を説明するためのシーケンシャルチャートである。
【符号の説明】
1 音声認識誤り修正装置
2 音声認識装置
3 音声再生部
5 音声受信部
7 音声蓄積部
9 音声データ送信部
11 音声提示速度可変部
13 テキストデータ修正部
15 文字データ受信部(データ受信手段)
17 修正情報受信部(データ受信手段)
19 修正端末動作判定部
21 文字提示速度可変部(提示手段)
23 文字属性変更部(提示手段)
23a 指定文字属性変更部(指摘文字属性変更機能)
23b 修正文字属性変更部(修正文字属性変更機能)
23c 文字品詞属性変更部(文字品詞属性変更機能)
25 文字属性情報送信部(出力手段)
27 表示領域設定部(表示領域設定機能)
29 不要文字挿入部(不要文字挿入機能)
31 提示情報送信部(出力手段)
33 テキストデータ保護部(テキストデータ保護手段)
33a 修正ガード端末判定部
33b 修正ガードテキスト判定部
35 文字列統合部
37 画面表示情報送信部(出力手段)
39 字幕出力構成部(出力手段)
41(41A〜41C) 修正端末、指摘データ送信端末(端末)
43 字幕送出装置
45 テレビジョン
AR テキストデータの表示領域
AF 修正文字入力枠[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a speech recognition error correction device, a speech recognition error correction method, and a speech recognition error correction program for correcting a speech recognition error.
[0002]
[Prior art]
Conventional speech recognition error correction devices using speech recognition technology include speech subtitle conversion devices and character data correction devices (see Patent Document 1 and Patent Document 2).
The former is the timing of the presentation of the voice of the speaker used for speech recognition and the presentation of text data as the speech recognition result when correcting the speech recognition error in order to convert the speech recognition result into subtitles in real time. In this way, the efficiency of the speech recognition error correction work is improved.
The latter is a pointing terminal (pointing terminal) that finds and selects a speech recognition error in text data (speech recognition result) output from a text data output device (speech recognition device) in order to convert the speech recognition result into subtitles in real time. Device) and a correction terminal (correction terminal device) that corrects and replaces the voice recognition error, thereby improving the efficiency of correcting the error of the voice recognition result.
[0003]
[Patent Document 1]
JP 2001-14482 (paragraph numbers 0018 to 0043, FIG. 1)
[Patent Document 2]
Japanese Patent Laid-Open No. 2001-60192 (paragraph numbers 0023 to 0043, FIG. 1)
[0004]
[Problems to be solved by the invention]
However, in the conventional speech recognition error correction device, the role of work is divided between a discovery operator (hereinafter referred to as a discoverer) that detects a speech recognition error and a correction operator (hereinafter referred to as a corrector) that corrects the error. Since the error in the speech recognition result is corrected, there are the following problems caused by the work contents of the discoverer and the corrector being different.
[0005]
1. The balance between the number of discoverers and correctors must be taken into account, and inconvenience arises in terms of personnel and labor management such as staffing.
2. It is necessary to train the discoverer and the corrector separately.
3. When correcting errors in speech recognition results using a speech recognition error correction device, the discoverer and the corrector must always work in pairs, so it is necessary to work at the same location at the same time. The work efficiency is not good.
In addition, there are problems such as restrictions on work places.
[0006]
Therefore, in order to solve such problems, the present invention does not consider the balance of the number of discoverers and correctors, eliminates the need for separate education and training, and minimizes work site restrictions. It is an object of the present invention to provide a speech recognition error correction apparatus, a method thereof, and a program thereof that can perform error correction work efficiently.
[0007]
[Means for Solving the Problems]
In order to achieve the above-described object, the present invention has the following configuration.
The invention according to claim 1 receives voice data that is a target of voice recognition output from the voice recognition device and text data that is a voice recognition result, and detects a voice recognition error included in the text data. A speech recognition error correcting apparatus for correcting by a plurality of terminals, the presenting means for presenting the voice data and the text data to the terminal, and the text data presented to the terminal by the presenting means for the terminal Based on the indication data indicating the corrected character range indicated and represented by the above, the data receiving means for receiving the corrected text data obtained by correcting the text data of the corrected character range, and the indication data received by the data receiving means, Until the correction by the indication data transmission terminal which is the terminal that has transmitted the indication data is completed, the correction sentence Text data protection means for protecting the range from indications by terminals other than the indicated data transmission terminal, and output means for correcting the text data based on the corrected text data received by the data receiving means and outputting the corrected text data to each of the terminals And.
[0008]
According to such a configuration, voice data and text data output from the voice recognition device are received and presented to a plurality of correction terminals. Then, the pointed data indicating the corrected character range indicating the voice recognition error and the corrected corrected text data are received from these terminals, and the terminals other than the pointed data transmitting terminal that transmitted the pointed data by the text data protection means The voice recognition error cannot be pointed out until the correction by the data transmission terminal is completed. That is, the indication data transmitting terminal that has pointed out the speech recognition error first performs correction of the speech recognition error with the highest priority, receives the corrected text data transmitted from the indicated data transmission terminal, and corrects the text data. . Then, the latest correction information is sequentially transmitted to each terminal and notified by the output means, and the correction work is continued.
If the corrector who uses the terminal mistakenly points out text data that is a correct speech recognition result as the corrected character range, for example, the corrected character range is selected by a method such as selecting a delete key. The designated operation result can be returned to the state before the operation.
[0009]
According to a second aspect of the present invention, in the voice recognition error correction device according to the first or second aspect, the plurality of terminals are connected to the voice recognition error correction device via a network. To do.
[0010]
According to this configuration, the speech recognition error correction apparatus is operated by each terminal connected via the network. Therefore, it is possible to flexibly cope with the installation location of each terminal, that is, the setting of the correction work place.
[0011]
According to a third aspect of the present invention, in the speech recognition error correcting apparatus according to the first or second aspect, the presenting means is configured to display a display color, a display size, a character size of the character included in the indication data. By changing the attribute of the character including at least one of the types, the indicated character attribute changing function for presenting the change of the character attribute to a terminal other than the indicated data transmitting terminal, and the indicated data transmitting terminal A correction character attribute change function for changing the character attribute of the indication data being corrected to a character attribute different from the character attribute changed by the indication character attribute change function when the data is being corrected, To do.
[0012]
According to such a configuration, the attribute of the character that points out the voice recognition error part of the text data that is the voice recognition result is changed by the pointed character attribute change function, and a terminal other than the pointed data transmission terminal that points out the voice recognition error Also, the text data with the changed character attribute is presented. Then, the modified character attribute change function changes the attribute of the character that is being modified to a character attribute other than the character attribute that was changed when the voice recognition error character was pointed out. However, the text data of the changed character attribute is presented.
[0013]
According to a fourth aspect of the present invention, in the speech recognition error correcting apparatus according to the first or second aspect, the presenting means displays a display color for at least a particle part of speech that is related to the text data that is the speech recognition result. A character part-of-speech attribute changing function for changing an attribute of a character including at least one of a display size and a character type is provided.
[0014]
According to such a configuration, the character attribute change function changes the above-described character attribute for at least a particle among the parts of speech of text data that is a speech recognition result. Can provoke arousal.
[0015]
According to a fifth aspect of the present invention, in the speech recognition error correcting device according to the first or second aspect, the presenting means is a character string related to text data that is the speech recognition result presented to the terminal. A display area setting function capable of arbitrarily setting at least one of the display width and the background color of the display area is provided.
[0016]
According to this configuration, the display area setting function sets (changes) at least one of the display width and the background color for the display area of the text data that is the voice recognition result based on a request from the user of the terminal. For example, the display area of the text data is easy to see and the display screen is easy to see.
[0017]
According to a sixth aspect of the present invention, in the speech recognition error correcting device according to the first or second aspect, the presenting means includes an unnecessary character in text data which is the speech recognition result presented to the terminal. It is provided with an unnecessary character insertion function for inserting.
[0018]
According to such a configuration, the unnecessary character insertion function inserts unnecessary characters into the text data that is the speech recognition result. Therefore, the corrector who uses the terminal needs to delete the unnecessary characters. Even when the speech recognition error rate of the text data to be presented is low, the text data to be corrected is small, and the monotonous work is continued, the concentration of the correction work is maintained.
[0019]
The invention according to claim 7 receives the speech data that is the target of speech recognition output from the speech recognition device and the text data that is the speech recognition result, and the speech recognition error included in the text data is A speech recognition error correction method for correcting by a plurality of terminals, the presenting step of presenting the speech data and the text data to the terminal, and the text data presented to the terminal by the presenting step for the terminal Based on the indication data received in this data reception step, the data reception step for receiving the indication data indicating the correction character range indicated and indicated by the correction data and the correction text data obtained by correcting the text data of the correction character range, The correction by the indication data transmission terminal that is the terminal that has transmitted the indication data is completed. Text data protection step for protecting the corrected character range from indication by a terminal other than the indication data transmission terminal, and correcting the text data based on the correction text data received in the data reception step, to each of the terminals And an output step for outputting.
[0020]
According to such a speech recognition error correction method, first, speech data output from the speech recognition device and text data as a speech recognition result in the presenting step are presented to the terminal. Subsequently, in the data receiving step, the indication data indicating the corrected character range indicating the voice recognition error by the user of the terminal and the corrected text data corrected among the text data presented to the terminal by the above-described presentation step are received. . Then, in the text data protection step, based on the indication data, the text data of the voice recognition error is protected from indication by a terminal other than the indication data transmission terminal until the correction work by the indication data transmission terminal is completed. To do. Based on the corrected text data received in the data receiving step, the text data related to the speech recognition error is corrected. That is, the indication data transmitting terminal that has pointed out the speech recognition error first performs correction of the speech recognition error with the highest priority, receives the corrected text data transmitted from the indicated data transmission terminal, and corrects the text data. . Next, in the output step, the corrected text data is sequentially transmitted to each terminal as the latest correction information, and the correction operation is continued.
[0021]
The invention according to claim 8 receives speech data output from the speech recognition apparatus and text data which is a speech recognition result and receives speech recognition errors included in the text data. A speech recognition error correcting device for correcting by a plurality of terminals, presenting means for presenting the speech data and the text data to the terminal, and text data presented to the terminal by the presenting means being pointed out by the terminal Data receiving means for receiving the indicated data indicating the corrected character range and the corrected text data obtained by correcting the text data in the corrected character range, and transmitting the indicated data based on the indicated data received by the data receiving means Until the correction by the indication data transmission terminal which is the terminal is completed, Text data protection means for protecting from indication by a terminal other than the indication data transmitting terminal, and functioning as output means for correcting the text data based on the corrected text data received by the data receiving means and outputting to each of the terminals It is characterized by that.
[0022]
According to such a speech recognition error correction program, a function as a speech recognition error correction device can be generated and executed in accordance with the processing procedure of this program, so that speech data and text data output from the speech recognition device are received. The correction data received by the user using these terminals indicating the corrected character range indicating the voice recognition error and the corrected correction data are received, and the text data protection means receives the corrected data. Based on this, it is impossible to point out a voice recognition error for a terminal other than the terminal that transmitted the indication data until the correction work by the indication data transmission terminal is completed. As a result, the speech recognition error is corrected with the highest priority by the indication data transmission terminal that has pointed out the speech recognition error first. And based on the correction text data transmitted from the received indication data transmission terminal, the text data is corrected and sequentially transmitted to each terminal as the latest correction information, and the correction work is continued.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(Outline of speech recognition error correction system)
First, an outline of a speech recognition error correction system will be described with reference to FIG.
FIG. 1 is a schematic diagram showing the configuration of a speech recognition error correction system according to an embodiment of the present invention.
[0024]
The speech recognition error correction system according to an embodiment of the present invention transmits text data, which is a result of speech recognition of speech uttered by a speaker by the
In the present embodiment, the
[0025]
In the present embodiment, the
[0026]
In the present embodiment, the text data is corrected to corrected text data by the correction terminal 41 (41A, 41B, 41C) connected to the voice recognition error correction apparatus 1, and the corrected text data is corrected to the voice recognition error correction apparatus 1. Is received and the corrected text data on the speech recognition error correction apparatus 1 is corrected and integrated in real time (the operation up to this point is the operation of the speech recognition error correction system).
Then, the corrected integrated text data is transmitted as a character broadcast to the
[0027]
Hereinafter, in this embodiment, indication data (details will be described later) indicating the speech recognition error included in the text data transmitted from the speech recognition error correction device 1 is transmitted to the speech recognition error correction device 1. The
[0028]
(Configuration of voice recognition error correction device)
Next, the configuration of the speech recognition error correction apparatus 1 will be described with reference to FIGS.
FIG. 2 is a block configuration diagram showing the configuration of the speech recognition error correction apparatus 1 according to one embodiment of the present invention.
As shown in FIG. 1, the speech recognition error correction device 1 includes a text
[0029]
As shown in FIG. 2, the text
[0030]
In this embodiment, the character data receiving unit 15 and the correction
[0031]
The character data receiving unit 15 receives text data that is a voice recognition result of the voice recognition device 2 (see FIG. 1).
The correction
[0032]
The “corrected text ID” is an identification symbol (pointed data, which will be described later) for identifying a corrected character range that points out an error part of text data that is a speech recognition result when the correcting
[0033]
The correction terminal
[0034]
“Character presentation timing information” refers to reference information that is the timing at which voice data for supporting the work of correcting the text data in the corrected character range to correct characters is presented to the
[0035]
Based on the corrected terminal ID and the control information received from the corrected terminal
[0036]
The character attribute changing unit 23 includes an indication character attribute changing unit 23a, a modified character
In the present embodiment, the indicated character attribute changing unit 23a corresponds to the indicated character attribute changing function described in the claims, and the modified character
[0037]
The indicated character attribute changing unit 23a, when the corrected terminal 41 points out the corrected character range that is the text data in which the voice recognition error is pointed out, is transmitted from the corrected
[0038]
The “pointed data” refers to the corrected character range pointed out by the pointed
In addition, for changing the character attribute, for example, the font is changed to italic, bold, shadowed, three-dimensional characters, bag characters, etc., the characters are shaded, decorated with halftone dots, etc. It includes character modifications such as underline and character box.
[0039]
The corrected character
Since the change of the character attribute is the same as that described in the pointed character attribute change unit 23a, the description thereof is omitted.
[0040]
The character part-of-speech attribute changing unit 23c, as shown in FIG. 4, displays at least the part-of-speech of the character string in the text data sent from the character data receiving unit 15, as shown in FIG. The text data including at least one of the types is changed to change the corrected text data received by the correction
[0041]
Note that a control unit (not shown) can initially set at least a particle part of speech in the text data so that the text data is transmitted to the
Since the change of the character attribute is the same as that described in the pointed character attribute change unit 23a, the description thereof is omitted.
[0042]
Returning to FIG. 2, the description will be continued.
The character attribute
[0043]
In order to improve the visibility of the display screen, the display
[0044]
Returning to FIG. 2 again, the description will be continued.
The unnecessary
[0045]
Returning to FIG. 2 again, the description will be continued.
The presentation
The text data protection unit 33 includes a modified guard
[0046]
Based on the indication data (corrected text ID, corrected terminal ID) received by the correction
[0047]
An example of how text data protection by the text data protection unit 33 is realized will be described with reference to FIG. In FIG. 3, text data of the “terrorist attacks at that time”, which is text data of the speech recognition result, is presented to the
[0048]
At this time, the corrector of the
[0049]
Next, returning to FIG. 2 again, components of the text data protection unit 33 will be described.
The correction guard
[0050]
The corrected guard text determination unit 33b identifies the corrected text ID sent from the correction information receiving unit 17 (the corrected character range indicating the erroneous portion of the text data that is the speech recognition result when the correction terminal 15 enters the correction operation). For the correction terminal 41 (
[0051]
Next, the character
The character
[0052]
The screen display information transmitting unit 37 sends the corrected integrated text data in which the corrected text data is integrated into one sentence based on the corrected text ID by the character
[0053]
The subtitle
[0054]
Next, the audio reproduction unit 3 will be described.
The voice reproduction unit 3 includes a voice reception unit 5, a voice storage unit 7, a voice data transmission unit 9, and a voice presentation speed variable unit 11.
The voice reproduction unit 3 reproduces voice data that is a target of voice recognition.
The voice data is transmitted to the
[0055]
The voice receiving unit 5 receives voice data that is a target of voice recognition from the voice recognition device 2 (see FIG. 1).
The voice accumulating unit 7 accumulates the voice data received by the voice receiving unit 5 as a target of voice recognition temporarily or for long-term storage for presentation to each
In general, a main storage device (main memory) using a semiconductor memory is used for temporary storage, and an external storage device (auxiliary storage device) such as a hard disk, a flexible disk, or a DAT (Digital Audio Tape Recorder) for long-term storage. Is being used.
[0056]
The voice data transmission unit 9 receives voice data from the voice storage unit 7 and transmits the voice data to each
[0057]
The voice presentation speed variable unit 11 receives the character presentation timing information received from the corrected terminal
[0058]
Therefore, the voice presentation speed variable unit 11 simultaneously converts the voice data subjected to voice recognition by the voice recognition device 2 (see FIG. 1) with the text data that is the voice recognition result of the voice recognition device 2 (see FIG. 1) ( The text data can be presented to each correction terminal 41 (in synchronization with the presentation timing to the correction terminal 41 (41A, 41B, 41C)), and the voice to the
[0059]
Next, returning to FIG. 1, the
The correction terminal 41 (41A, 41B, 41C) is a device for using the voice recognition error correction device 1, and includes a display, a keyboard, a touch panel for specifying a correction character range, and headphones for outputting voice data. For audio data playback, a foot input interface (foot pedal) or the like is provided for controlling the playback operation of audio data by sending a switching signal for speeding up or pausing or resuming to a control unit (not shown). Generally, personal computers are used.
[0060]
The foot pedal includes a foot switch for controlling the stop of reproduction of audio data and an interface such as USB (Universal Serial Bus) or RS232C, and is connected to a personal computer via these interfaces. This foot pedal is a switch ON / OFF switching operation by "depressing" or "releasing" a foot switch (pedal). Playback of recorded tape contents (audio data) recorded on the recording tape It is used when controlling the operation.
[0061]
The voice recognition error correction apparatus 1 is connected to a LAN (Local Area Network) or a WAN (Wide Area Network), and is not limited by the installation location of the
[0062]
As described above, the network is not limited to any form such as LAN or WAN, but may be any system such as a network cable, wireless or infrared. However, it is preferable to use a network cable from the viewpoint of safety such as communication packet leakage and high-speed processing.
Furthermore, a plurality of correctors (correction terminals 41) can be set by the speech recognition error correcting device 1, and the correction character range can be pointed out and corrected by one corrector.
[0063]
(Operation of speech recognition error correction system)
Next, an example of the operation of the speech recognition error correction system will be described with reference to the sequential chart of FIG. 6 (see FIG. 2 as appropriate).
First, the voice recognition device 2 (see FIG. 1) performs voice recognition on the voice generated by the utterance of the speaker, and transmits the text data as a result of the voice recognition to the text
[0064]
Here, the speaker is "Hello, this is lunch of news." Said Say, for this speech, voice text data of "Hello, this is news of your Hill" as the speech recognition result of the
[0065]
Then, text
[0066]
The text data "Hello, your Hill is of news" and the voice data "Hello, noon news" each modification has received the terminal 41 (41A, 41B, 41C) is, by the corrector of
[0067]
At this time, for example, when the corrector of the
[0068]
It should be noted that, when the corrector of
[0069]
Then, the
[0070]
Next, the presence / absence of the corrected text data is determined (B5). If there is corrected text data (B5, YES), the corrected text data is integrated into the corrected integrated text data, and the corrected integrated text data is correct text data. (B6). Then, text data such amendment integrated text data "Hello, this is lunch of news" from the
[0071]
If there is no corrected text data (B5, NO), for example, it is determined whether or not one minute has elapsed after transmitting the text data to each corrected terminal 41 (B8), and if it has elapsed (B8, If YES), the process proceeds to B6 and the corrected integrated text data is confirmed. If it has not elapsed (B8, NO), the process returns to B5.
Although not shown in this flowchart, the steps A1 to B7 are repeated as a speech recognition error correction system while the text data that is the speech recognition result is presented, and speech recognition is performed when the text data disappears. The operation of the error correction system ends.
[0072]
Also, as an example of the present embodiment, the modified integrated text data is transmitted from the
[0073]
In addition, in determining the corrected integrated text data in B6, the text
[0074]
As mentioned above, although embodiment of this invention was described, this invention is not limited to above-described embodiment, It can implement with a various form.
Further, a speech recognition error correcting method, a speech recognition error correcting program for causing the speech recognition error correcting apparatus 1 to implement such a speech recognition error correcting method, and a recording medium on which the speech recognition error correcting program is recorded are also objects of the present invention. To do.
[0075]
【The invention's effect】
As described above, the present invention has the following effects.
According to the first, seventh, and eighth aspects of the present invention, the indication data indicating the corrected character range indicating the voice recognition error and the corrected text data are received from the terminal connected to the voice recognition error correcting device. And, for the terminals other than the indicated data transmitting terminal that transmitted the indicated data by the text data protection means, correct the voice recognition error until the correction by the indicated data transmitting terminal is completed. Can not be.
[0076]
Therefore, it is possible to perform the correction work for each corrector without sharing the correction work between the discoverer and the corrector of the corrected character range that is the voice recognition error part. Therefore, the efficiency of the correction work can be improved. In addition, personnel and labor management such as personnel assignment and securing of personnel is facilitated, and education classes can be performed in units of correctors, so that classes can be conducted efficiently. And it is possible to design a system that saves labor.
In addition, it is possible to improve the efficiency of the correction work by preferentially enabling the correction work (terminal) that has pointed out the character of the voice recognition error part first.
[0077]
According to the second aspect of the present invention, it is possible to flexibly cope with the work place by connecting the speech recognition error correction apparatus and the terminal via a network, and a simplified system design can be achieved. Therefore, it is possible to construct an efficient speech recognition error correction system.
[0078]
According to the invention described in claim 3 and claim 4, regarding the character of the voice recognition error portion (corrected character range), by changing the character attribute and presenting it to each terminal, the indication work or the correction work situation Clarification can be achieved. Therefore, the correction work can be made efficient.
[0079]
According to the fifth aspect of the present invention, since at least one of the display width and the background color can be set based on the request from the user of the terminal for the display area of the text data that is the voice recognition result. The display area of the text data becomes easy to see. Therefore, it is possible to improve the visibility of the display screen.
[0080]
According to the sixth aspect of the present invention, by inserting unnecessary characters into the text data that is the result of speech recognition and having the corrector delete the unnecessary characters, there is less tendency for speech recognition errors, and there is a tendency for monotonous work. Even when it is strong, the corrector's concentration can be maintained. Therefore, the correction work can be maintained with high accuracy.
[Brief description of the drawings]
FIG. 1 is a schematic diagram showing the configuration of a speech recognition error correction system according to an embodiment of the present invention.
FIG. 2 is a block configuration diagram showing a configuration of a speech recognition error correction apparatus according to an embodiment of the present invention.
FIG. 3 is a diagram for explaining an example of an operation of an error text data protection unit of a text data correction unit according to an embodiment of the present invention.
FIG. 4 is a diagram for explaining an example of an operation of a character attribute changing unit of a text data correcting unit according to an embodiment of the present invention.
FIG. 5A is a diagram for explaining an example of an operation of an unnecessary character insertion unit of a text data correction unit according to an embodiment of the present invention.
(B) It is a figure for demonstrating an example of operation | movement of the display area setting part of the text data correction part which concerns on one Embodiment of this invention.
FIG. 6 is a sequential chart for explaining an example of the operation of the speech recognition error correction apparatus according to the embodiment of the present invention.
[Explanation of symbols]
1 Voice recognition error correction device
2 Voice recognition device
3 Audio playback unit
5 Audio receiver
7 Sound storage unit
9 Audio data transmitter
11 Voice presentation speed variable part
13 Text data correction part
15 Character data receiver (data receiver)
17 Correction information receiving unit (data receiving means)
19 Modified terminal operation determination unit
21 Character presentation speed variable part (presentation means)
23 Character attribute change part (presentation means)
23a Specified character attribute change part (pointed character attribute change function)
23b Modified character attribute changing section (modified character attribute changing function)
23c Character part-of-speech attribute change section (character part-of-speech attribute change function)
25 Character attribute information transmitter (output means)
27 Display area setting section (Display area setting function)
29 Unnecessary character insertion part (unnecessary character insertion function)
31 Presentation information transmission unit (output means)
33 Text data protection section (text data protection means)
33a Modified guard terminal determination unit
33b Modified guard text determination unit
35 Character string integration part
37 Screen display information transmitter (output means)
39 Subtitle output component (output means)
41 (41A-41C) Correction terminal, indication data transmission terminal (terminal)
43 Subtitle sending device
45 Television
AR text data display area
AF correction character input frame
Claims (8)
前記音声データおよび前記テキストデータを前記端末に提示する提示手段と、
この提示手段によって前記端末に提示されたテキストデータに対して、前記端末により指摘されて表わされる修正文字範囲を示す指摘データおよび前記修正文字範囲のテキストデータを修正した修正テキストデータを受信するデータ受信手段と、
このデータ受信手段で受信した前記指摘データに基づいて、前記指摘データを送信した前記端末である指摘データ送信端末による修正が完了するまで前記修正文字範囲を、当該指摘データ送信端末以外の端末による指摘から保護するテキストデータ保護手段と、
前記データ受信手段で受信した修正テキストデータに基づいて前記テキストデータを修正し、前記端末それぞれに出力する出力手段と、
を備えることを特徴とする音声認識誤り修正装置。A speech recognition error in which speech data output from a speech recognition apparatus and text data that is a speech recognition result are received and speech recognition errors included in the text data are corrected by a plurality of terminals A correction device,
Presenting means for presenting the voice data and the text data to the terminal;
Data reception for receiving pointed-out data indicating a corrected character range pointed out and represented by the terminal and corrected text data obtained by correcting the text data in the corrected character range with respect to the text data presented to the terminal by the presenting means Means,
Based on the indication data received by the data receiving means, the correction character range is indicated by a terminal other than the indication data transmission terminal until correction by the indication data transmission terminal which is the terminal that has transmitted the indication data is completed. Text data protection means to protect against,
Output means for correcting the text data based on the corrected text data received by the data receiving means and outputting the corrected text data to each of the terminals;
A speech recognition error correction apparatus comprising:
前記指摘データ送信端末によって前記修正文字範囲を修正中である場合に、修正中の前記修正文字範囲の文字属性を前記指摘文字属性変更機能で変更した文字属性とは異なる文字属性とする修正文字属性変更機能と、
を備えることを特徴とする請求項1に記載の音声認識誤り修正装置。The presenting means changes a character attribute including at least one of a display color, a display size, and a character type for a character in the corrected character range, thereby enabling a terminal other than the indication data transmission terminal Also pointed character attribute change function that presents the change of the character attribute,
When the corrected character range is being corrected by the pointed data transmission terminal, the corrected character attribute having a character attribute different from the character attribute changed by the pointed character attribute changing function as the character attribute of the corrected character range being corrected Change function,
The speech recognition error correction apparatus according to claim 1, comprising:
前記音声データおよび前記テキストデータを前記端末に提示する提示ステップと、
この提示ステップによって前記端末に提示されたテキストデータに対して、前記端末により指摘されて表わされる修正文字範囲を示す指摘データおよび前記修正文字範囲のテキストデータを修正した修正テキストデータを受信するデータ受信ステップと、
このデータ受信ステップで受信した前記指摘データに基づいて、前記指摘データを送信した前記端末である指摘データ送信端末による修正が完了するまで前記修正文字範囲を、当該指摘データ送信端末以外の端末による指摘から保護するテキストデータ保護ステップと、
前記データ受信ステップで受信した修正テキストデータに基づいて前記テキストデータを修正し、前記端末それぞれに出力する出力ステップと、
を含むことを特徴とする音声認識誤り修正方法。A speech recognition error in which speech data output from a speech recognition apparatus and text data that is a speech recognition result are received and speech recognition errors included in the text data are corrected by a plurality of terminals A correction method,
A presentation step of presenting the voice data and the text data to the terminal;
Data reception for receiving pointed data indicating a corrected character range pointed out and represented by the terminal and corrected text data obtained by correcting the text data in the corrected character range with respect to the text data presented to the terminal by the presenting step Steps,
Based on the indication data received in the data reception step, the correction character range is indicated by a terminal other than the indication data transmission terminal until correction by the indication data transmission terminal that is the terminal that has transmitted the indication data is completed. Text data protection steps to protect against,
Correcting the text data based on the corrected text data received in the data receiving step, and outputting to each of the terminals; and
A speech recognition error correction method comprising:
前記音声データおよび前記テキストデータを前記端末に提示する提示手段、
この提示手段によって前記端末に提示されたテキストデータに対して、前記端末により指摘されて表わされる修正文字範囲を示す指摘データおよび前記修正文字範囲のテキストデータを修正した修正テキストデータを受信するデータ受信手段、
このデータ受信手段で受信した前記指摘データに基づいて、前記指摘データを送信した前記端末である指摘データ送信端末による修正が完了するまで前記修正文字範囲を、当該指摘データ送信端末以外の端末による指摘から保護するテキストデータ保護手段、
前記データ受信手段で受信した修正テキストデータに基づいて前記テキストデータを修正し、前記端末それぞれに出力する出力手段、
として機能させることを特徴とする音声認識誤り修正プログラム。A speech recognition error in which speech data output from a speech recognition apparatus and text data that is a speech recognition result are received and speech recognition errors included in the text data are corrected by a plurality of terminals Correction device,
Presenting means for presenting the voice data and the text data to the terminal;
Data reception for receiving pointed-out data indicating a corrected character range pointed out and represented by the terminal and corrected text data obtained by correcting the text data in the corrected character range with respect to the text data presented to the terminal by the presenting means means,
Based on the indication data received by the data receiving means, the correction character range is indicated by a terminal other than the indication data transmission terminal until correction by the indication data transmission terminal which is the terminal that has transmitted the indication data is completed. Text data protection means to protect from,
Output means for correcting the text data on the basis of the corrected text data received by the data receiving means and outputting to each of the terminals;
A speech recognition error correction program characterized in that it functions as
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003017623A JP3986015B2 (en) | 2003-01-27 | 2003-01-27 | Speech recognition error correction device, speech recognition error correction method, and speech recognition error correction program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003017623A JP3986015B2 (en) | 2003-01-27 | 2003-01-27 | Speech recognition error correction device, speech recognition error correction method, and speech recognition error correction program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004226910A JP2004226910A (en) | 2004-08-12 |
JP3986015B2 true JP3986015B2 (en) | 2007-10-03 |
Family
ID=32904736
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003017623A Expired - Fee Related JP3986015B2 (en) | 2003-01-27 | 2003-01-27 | Speech recognition error correction device, speech recognition error correction method, and speech recognition error correction program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3986015B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9188456B2 (en) | 2011-04-25 | 2015-11-17 | Honda Motor Co., Ltd. | System and method of fixing mistakes by going back in an electronic device |
JP2017040806A (en) * | 2015-08-20 | 2017-02-23 | 株式会社フェイス | Subtitle production device and subtitle production method |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4158937B2 (en) | 2006-03-24 | 2008-10-01 | インターナショナル・ビジネス・マシーンズ・コーポレーション | Subtitle correction device |
US20100070263A1 (en) * | 2006-11-30 | 2010-03-18 | National Institute Of Advanced Industrial Science And Technology | Speech data retrieving web site system |
JP6327745B2 (en) * | 2014-02-24 | 2018-05-23 | 日本放送協会 | Speech recognition apparatus and program |
JP6485977B2 (en) * | 2017-12-25 | 2019-03-20 | 株式会社フェイス | Subtitle production apparatus and subtitle production method |
JP6949075B2 (en) * | 2018-05-08 | 2021-10-13 | 日本放送協会 | Speech recognition error correction support device and its program |
-
2003
- 2003-01-27 JP JP2003017623A patent/JP3986015B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9188456B2 (en) | 2011-04-25 | 2015-11-17 | Honda Motor Co., Ltd. | System and method of fixing mistakes by going back in an electronic device |
JP2017040806A (en) * | 2015-08-20 | 2017-02-23 | 株式会社フェイス | Subtitle production device and subtitle production method |
Also Published As
Publication number | Publication date |
---|---|
JP2004226910A (en) | 2004-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101977072B1 (en) | Method for displaying text associated with audio file and electronic device | |
US9344878B2 (en) | Method and system for operating communication service | |
EP1374225B1 (en) | Synchronise an audio cursor and a text cursor during editing | |
CN108289244B (en) | Video subtitle processing method, mobile terminal and computer readable storage medium | |
US20060143559A1 (en) | Method and apparatus for annotating a line-based document | |
CN101322408B (en) | Triggerless interactive television | |
US20150016801A1 (en) | Information processing device, information processing method and program | |
EP1611570B1 (en) | System for correction of speech recognition results with confidence level indication | |
KR20130129747A (en) | Method and electronic device for easy search during voice record | |
CN108093653B (en) | Voice prompt method, recording medium and voice prompt system | |
JP2019148681A (en) | Text correction device, text correction method and text correction program | |
JP3986015B2 (en) | Speech recognition error correction device, speech recognition error correction method, and speech recognition error correction program | |
CN109782997B (en) | Data processing method, device and storage medium | |
CN106416283A (en) | Reception apparatus, transmission apparatus, and data processing method | |
CN112601102A (en) | Method and device for determining simultaneous interpretation of subtitles, electronic equipment and storage medium | |
JP2005051509A (en) | Television broadcasting system | |
KR20160129787A (en) | A Method Generating Transcripts Of Digital Recording File | |
CN106210840A (en) | A kind of text display method and equipment | |
JP3888688B2 (en) | Air traffic control interface device, display control method thereof, and computer program | |
CN113055529B (en) | Recording control method and recording control device | |
KR20070005441A (en) | Method and apparatus for back-up of broadcast file | |
US20080091719A1 (en) | Audio tags | |
CN111400729B (en) | Control method and electronic equipment | |
CN114648989A (en) | Voice information processing method and device implemented in electronic equipment and storage medium | |
JP4149370B2 (en) | Order processing apparatus, order processing method, order processing program, order processing program recording medium, and order processing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050310 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070626 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070706 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3986015 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100720 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110720 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120720 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120720 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130720 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140720 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |