JP7087041B2 - Speech recognition text data output control device, speech recognition text data output control method, and program - Google Patents
Speech recognition text data output control device, speech recognition text data output control method, and program Download PDFInfo
- Publication number
- JP7087041B2 JP7087041B2 JP2020184011A JP2020184011A JP7087041B2 JP 7087041 B2 JP7087041 B2 JP 7087041B2 JP 2020184011 A JP2020184011 A JP 2020184011A JP 2020184011 A JP2020184011 A JP 2020184011A JP 7087041 B2 JP7087041 B2 JP 7087041B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- display
- voice recognition
- text
- text data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
特許法第３０条第２項適用 令和元年１１月１３日乃至１１月１５日 株式会社ＴＢＳテレビが、ＩｎｔｅｒＢＥＥ２０１９にて、音声認識テキストデータ出力制御技術の要旨について公開した。 令和２年５月１日 株式会社ＴＢＳテレビが、映像情報メディア学会誌２０２０にて、音声認識テキストデータ出力制御技術の要旨について公開した。 令和２年９月１６日 株式会社ＴＢＳテレビが、ＡＩ分科会にて、音声認識テキストデータ出力制御技術の要旨について公開した。 令和２年１０月２６日 株式会社ＴＢＳテレビが、ソニービジネスソリューション社の取材にて、音声認識テキストデータ出力制御技術の要旨について公開した。Application of Article 30,
本発明は、音声認識テキストデータ出力制御技術に関する。 The present invention relates to a speech recognition text data output control technique.
現在、聴覚障がい者向けサービスのひとつとして、テレビ放送の音声をすべてテキスト化し、映像音声データと一緒にテキストをデータとして圧縮して放送をする、字幕放送が行われている。 Currently, as one of the services for the hearing impaired, subtitle broadcasting is being performed in which all the audio of television broadcasting is converted into text, and the text is compressed as data together with the video and audio data and broadcast.
近年、テレビ放送の視聴スタイルが変化し、家事を行いながらといった、いわゆる「ながら視聴」が増え、聴覚障がい者以外でも、字幕を表示しながらの視聴できる字幕放送の需要が高まっている。さらにスマートフォン、タブレットの普及により、音を出力できない環境でのテレビ視聴も増加、字幕放送の需要が急激に高まってきており、国をあげて字幕付与率の向上に努めている。 In recent years, the viewing style of television broadcasting has changed, so-called "watching while doing household chores" has increased, and there is an increasing demand for subtitle broadcasting that allows non-hearing people to watch while displaying subtitles. Furthermore, with the spread of smartphones and tablets, TV viewing in environments where sound cannot be output is increasing, and the demand for subtitle broadcasting is rapidly increasing, and the whole country is making efforts to improve the subtitle grant rate.
字幕番組用のテキストデータは、ドラマやバラエティといった事前収録番組の場合、あらかじめ準備をすることができるが、報道番組などの生放送では、放送しながらテキスト化をする必要があり、リアルタイムで音声をテキスト化する技術が求められている。 Text data for subtitled programs can be prepared in advance for pre-recorded programs such as dramas and varieties, but for live broadcasts such as news programs, it is necessary to convert the text into text while broadcasting, and the voice is texted in real time. There is a need for technology to change.
特許文献１、３の発明では、音声認識システムを利用した音声認識テキストをタッチパネル上にて、画面上に表示される認識結果をタッチして特定し、認識誤りの種別に応じて、必要であれば修正のための文字列を、キーボードを用いて入力している。この操作では画面タッチとキーボードの操作を行き来するため、修正手順だけでなくその動きにも習熟が必要で、迅速な修正作業が困難となる。
In the inventions of
特許文献２に記載されている従来のリアルタイム字幕制作システムでは、特殊訓練された数人の入力オペレータが音声を聞きながら高速タイピングを行う必要がある。この方式はオペレータコストが増加するだけではなく、聞き取り、タイピングによる遅延が発生、リアルタイム字幕放送にも関わらず字幕が実際の放送より遅れて表示されている。
In the conventional real-time subtitle production system described in
特許文献４に記載されている従来の校正システムは、数人オペレータが音声認識結果を確認しながら高速で修正を行う必要がある。特許文献２と同じくオペレータコストが増加するだけではなく、修正オペレーションよる遅延が発生し、リアルタイム字幕放送にも関わらず字幕が非常に遅れて表示されている。
In the conventional calibration system described in
特許文献５に記載されている従来の誤り修正システムは、仮説ラティスを用いて認識スコアを導き、不明瞭な発音や言い間違いといった音響的な理由場合は手書き文字認識で素早く正確に修正可能としているが、各スコアに関してはオペレータは確認することができず、最終的にはオペレータの熟練度によってオペレーションスピードが左右されてしまう。
The conventional error correction system described in
特許文献６に記載されている辞書作成装置は、統計学的音響モデルを用いてエントロピー計算を行い、言い間違い直し等の認識を中心に辞書作成（言語モデル更新）を行っているが、最新のニュースで使われている固有名詞の出現回数などを使った言語モデル更新には何ら言及しておらず、トレンドのニュース単語の認識率は上がらない。
The dictionary creation device described in
そこで、本発明のいくつかの態様はかかる事情に鑑みてなされたものであり、自由に再生コントロールできる映像音声再生装置で映像音声を確認することによって、音声認識処理テキストデータを、より正確に、且つ、少ない人数のオペレータで迅速に修正することが可能な音声認識テキストデータ出力制御技術を提供することを目的とする。 Therefore, some aspects of the present invention have been made in view of such circumstances, and by confirming the video / audio with a video / audio reproduction device capable of freely controlling the reproduction, the voice recognition processed text data can be more accurately obtained. Moreover, it is an object of the present invention to provide a voice recognition text data output control technique that can be corrected quickly by a small number of operators.
上記課題を解決するために、請求項１に記載の発明は、 音声データ及び前記音声データを音声認識させた結果であるテキストデータの出力を制御する音声認識テキストデータ出力制御装置であって、音声認識処理手段で得られたテキストデータ群を形態素解析する解析手段と、前記解析手段で解析されたテキストデータ群を形態素ごとにブロック表示で表示制御を行い、前記表示制御で表示された前記ブロック表示の複数ブロックを跨いで右横スワイプアクションした際に、前記複数ブロックを１ブロックにまとめてブロック表示制御する表示制御部と、を備えることを特徴としている。
In order to solve the above problems, the invention according to
請求項２の発明は、請求項１に記載の音声認識テキストデータ出力制御装置であって、音声認識処理を行う映像データ、または音声データを収録する第一収録部と、前記表示制御で表示された前記ブロック表示の１ブロックをダブルタップアクションした際に、前記１ブロックに該当するテキストに関連づけられている第一収録部に収録された音声データ再生する音声再生部と、前記１ブロックに該当するテキストに関連づけられている第一収録部に収録された映像データの一部の画像を再生する画像再生部と、を備えることを特徴としている。
The invention of
請求項３の発明は、音声データ及び前記音声データを音声認識させた結果であるテキストデータの出力を制御する音声認識テキストデータ出力制御装置であって、音声認識処理手段で得られたテキストデータ群を形態素解析する解析手段と、前記解析手段で解析されたテキストデータ群を形態素ごとにブロック表示で表示制御を行い、前記表示制御で表示された前記ブロック表示の１ブロックを上スワイプアクションした際に、前記１ブロックを消去して表示、及び前記ブロック表示の１ブロックを下スワイプアクションした際に、前記１ブロック以降のブロックは前記１ブロックよりも下段に表示制御する表示制御部と、前記表示制御で表示された前記ブロック表示の１ブロックを上スワイプアクションし、前記１ブロックを消去して表示したと同時に、前記１ブロックに該当するテキストを削除する、及び前記ブロック表示の１ブロックを下スワイプアクションし、前記１ブロック以降のブロックは前記１ブロックよりも下段に表示制御すると同時に、前記１ブロックに該当するテキストの後ろに改行コードを挿入するテキスト編集部と、を備えることを特徴としている。
The invention of
請求項４の発明は、請求項３に記載の音声認識テキストデータ出力制御装置であって、前記表示制御で表示された前記ブロック表示の複数ブロックを跨いで右横スワイプアクションした際に、前記複数ブロックを１ブロックにまとめてブロック表示制御する表示制御部と、を備えることを特徴としている。
The invention of
請求項５の発明は、音声データ及び前記音声データを音声認識させた結果であるテキストデータの出力を制御する音声認識テキストデータ出力制御装置であって、音声認識処理手段で得られたテキストデータ群を形態素解析する解析手段と、前記解析手段で解析されたテキストデータ群を形態素ごとにブロック表示で表示制御を行う表示制御を行い、前記表示制御で表示された前記ブロック表示の１ブロックをタップアクションした際に、前記１ブロックに該当するテキストを直接キーボードで修正可能なテキスト修正エリアを表示制御する表示制御部と、音声認識処理を行う映像データ、もしくは音声データを収録する第二収録部と、通常時は前記第二収録部に収録された映像データ、または音声データを映像音声データ受信時から設定した時間を遅延させて等倍再生し、前記設定した時間以上遅延していた場合は規定の倍速再生をする再生部と、前記表示制御部が前記修正エリアを表示した際に、前記再生部に対しスロー再生を指示するスロー再生指示部と、前記表示制御部が前記修正エリアの表示を終了した際に、前記再生部に対し規定の倍速再生を指示する倍速再生指示部と、を備えることを特徴としている。
The invention of
請求項６の発明は、請求項５に記載の音声認識テキストデータ出力制御装置であって、前記表示制御で表示された前記ブロック表示の複数ブロックを跨いで右横スワイプアクションした際に、前記複数ブロックを１ブロックにまとめてブロック表示制御する表示制御部と、を備えることを特徴としている。
The invention of
請求項７の発明は、音声データ及び前記音声データを音声認識させた結果であるテキストデータの出力を制御する音声認識テキストデータ出力制御方法であって、音声認識処理手段で得られたテキストデータ群を形態素解析する解析ステップと、前記解析ステップで解析されたテキストデータ群を形態素ごとにブロック表示で表示制御を行い、前記表示制御で表示された前記ブロック表示の複数ブロックを跨いで右横スワイプアクションした際に、前記複数ブロックを１ブロックにまとめてブロック表示制御する表示制御ステップと、を備えることを特徴としている。
The invention of claim 7 is a voice recognition text data output control method for controlling the output of voice data and text data as a result of voice recognition of the voice data, and is a text data group obtained by the voice recognition processing means. The display control of the analysis step for morphological analysis and the text data group analyzed in the analysis step is performed in a block display for each morphological element, and a right-horizontal swipe is performed across a plurality of blocks of the block display displayed by the display control. It is characterized by including a display control step for controlling the block display by grouping the plurality of blocks into one block when an action is taken.
請求項８の発明は、音声データ及び前記音声データを音声認識させた結果であるテキストデータの出力を制御する音声認識テキストデータ出力制御方法であって、音声認識処理手段で得られたテキストデータ群を形態素解析する解析ステップと、前記解析ステップで解析されたテキストデータ群を形態素ごとにブロック表示で表示制御を行い、前記表示制御で表示された前記ブロック表示の１ブロックを上スワイプアクションした際に、前記１ブロックを消去して表示制御する、及び前記ブロック表示の１ブロックを下スワイプアクションした際に、前記１ブロック以降のブロックは前記１ブロックよりも下段に表示制御する表示制御ステップと、前記表示制御ステップで表示された前記ブロック表示の１ブロックを上スワイプアクションし、前記１ブロックを消去して表示したと同時に、前記１ブロックに該当するテキストを削除する、及び前記ブロック表示の１ブロックを下スワイプアクションし、前記１ブロック以降のブロックは前記１ブロックよりも下段に表示制御すると同時に、前記１ブロックに該当するテキストの後ろに改行コードを挿入するテキスト編集ステップと、を備えることを特徴としている。
The invention of claim 8 is a voice recognition text data output control method for controlling the output of voice data and text data as a result of voice recognition of the voice data, and is a text data group obtained by the voice recognition processing means. When the analysis step for morphological analysis and the text data group analyzed in the analysis step are controlled to be displayed in a block display for each morphological element, and one block of the block display displayed by the display control is swiped up. , The display control step of erasing the one block and controlling the display, and when the one block of the block display is swiped down, the blocks after the one block are displayed and controlled below the one block, and the display control step. Swipe up one block of the block display displayed in the display control step to erase and display the one block, and at the same time, delete the text corresponding to the one block and display one block of the block display. It is characterized by having a text editing step in which a lower swipe action is performed to control the display of blocks after the first block in a lower row than the one block, and at the same time, a line feed code is inserted after the text corresponding to the one block. There is.
請求項９の発明は、音声データ及び前記音声データを音声認識させた結果であるテキストデータの出力を制御する音声認識テキストデータ出力制御するコンピュータを、音声認識処理手段で得られたテキストデータ群を形態素解析する解析手段、前記解析手段で解析されたテキストデータ群を形態素ごとにブロック表示で表示制御を行い、前記表示制御で表示された前記ブロック表示の複数ブロックを跨いで右横スワイプアクションした際に、前記複数ブロックを１ブロックにまとめてブロック表示制御する表示制御手段、を備えることを特徴としており、請求項１０の発明は、前記表示制御で表示された前記ブロック表示の１ブロックを上スワイプアクションした際に、前記１ブロックを消去して表示制御する、及び前記ブロック表示の１ブロックを下スワイプアクションした際に、前記１ブロック以降のブロックは前記１ブロックよりも下段に表示制御する表示制御手段、前記表示制御で表示された前記ブロック表示の１ブロックを上スワイプアクションし、前記１ブロックを消去して表示したと同時に、前記１ブロックに該当するテキストを削除する、及びブロック表示の１ブロックを下スワイプアクションし、前記１ブロック以降のブロックは前記１ブロックよりも下段に表示制御すると同時に、前記１ブロックに該当するテキストの後ろに改行コードを挿入するテキスト編集手段、を備えることを特徴としている。
The invention of claim 9 is a voice recognition text data output control computer that controls the output of voice data and text data that is the result of voice recognition of the voice data, and a text data group obtained by a voice recognition processing means. The analysis means for morphological analysis and the text data group analyzed by the analysis means were displayed and controlled in a block display for each morphological element, and a right-horizontal swipe action was performed across a plurality of blocks of the block display displayed by the display control. The present invention is characterized in that it is provided with a display control means for controlling the block display by grouping the plurality of blocks into one block, and the invention of claim 10 is to display one block of the block display displayed by the display control. When the swipe action is performed, the one block is erased and the display is controlled, and when one block of the block display is swiped down, the blocks after the one block are displayed and controlled below the one block. The control means, one block of the block display displayed by the display control is swiped up, the one block is erased and displayed, and at the same time, the text corresponding to the one block is deleted, and one of the block display. It is characterized by having a text editing means for swiping down a block to control the display of blocks after the first block at a lower level than the one block and at the same time inserting a line feed code after the text corresponding to the one block. It is supposed to be.
本発明によれば、修正が容易に行うことができるため、オペレータコストを抑えつつ、正確、且つ、迅速に修正することが可能となるため、音声認識テキストデータ出力制御技術を提供することができる。 According to the present invention, since the correction can be easily performed, it is possible to perform the correction accurately and quickly while suppressing the operator cost, so that it is possible to provide a voice recognition text data output control technique. ..
以下、添付図面を参照しながら本発明の実施の形態について説明する。以下の実施の形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、様々な変形が可能である。さらに、各図面において同一の構成要素に対しては可能な限り同一の符号を付し、重複する説明は省略する。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. The following embodiments are examples for explaining the present invention, and the present invention is not intended to be limited only to the embodiments thereof. Further, the present invention can be modified in various ways as long as it does not deviate from the gist thereof. Further, in each drawing, the same components are designated by the same reference numerals as much as possible, and duplicate description will be omitted.
図１は、本発明の実施形態に係る情報処理システム１００の一実施形態を示す概略構成図（システム構成図）である。図１に示すように、本発明の実施の形態に係る情報処理システム１００は、例示的にリアルタイム音声入力処理装置１、音声認識処理サーバ２、音声認識テキストデータ出力制御サーバ３、形態素解析処理サーバ４、情報処理装置５、映像・音声再生装置６及びを備えて構成されている。
FIG. 1 is a schematic configuration diagram (system configuration diagram) showing an embodiment of the
リアルタイム音声入力処理装置１は、アナログ音声データ及びデジタル音声データをリアルタイムで受信することができる装置である。リアルタイム音声入力処理装置１は、リアルタイム音声データとして受信された音声データを、情報処理システム１００内で処理を可能とする形式のデータに変更する機能を有し、例えば、人の声以外の周波数を取り除くノイズキャンセルや、無音区間で区切るなどのデータ処理を行う装置である。
The real-time voice
音声認識処理サーバ２は、リアルタイム音声入力処理装置１と通信可能に所定のネットワークに接続されたサーバ用コンピュータである。音声認識処理サーバ２は、音声認識処理方法に係るソフトウェアプログラムをサーバ用コンピュータが実行することにより、音声認識処理装置として機能するものである。具体的に、音声認識処理サーバ２は、リアルタイム音声入力処理装置１から送信される音声データを受信し、音声認識処理を実行し、音声認識させた結果であるテキストデータ、および音声データを後段のサーバに送信する。また、音声認識処理の精度を向上させるために、辞書データとなるテキストデータ群を受信する機能を有するものである。さらに、誤った音声認識をした際に、後段の装置で修正を行った場合、その修正の記録を受信する機能も有している。音声認識処理サーバ２は記憶領域を有しており、音声認識処理を実行する際に使用される、単数又は複数の、音声認識プログラム、各種データベース、及び各種モデルが格納されている。なお、本実施形態においては、日本語のみならず、英語等の外国語についても対象としてもよい。音声認識処理サーバ２のさらに具体的な構成及び動作については、後述する。
The voice
音声認識テキストデータ出力制御サーバ３は、音声認識処理サーバ２、及び後述する形態素解析処理サーバ４はと通信可能に所定のネットワークに接続されたサーバ用コンピュータである。音声認識テキストデータ出力制御サーバ３は、本実施形態に係る音声認識テキストデータ出力制御に係るソフトウェアプログラムをサーバ用コンピュータが実行することにより、音声認識テキストデータ出力制御装置として機能を有するものである。具体的に、音声認識テキストデータ出力制御サーバ３は、音声認識処理サーバ２から受信した音声認識テキストデータと音声データを後述する情報処理装置５に送信しながら、情報処理装置５から受信した修正結果であるテキストデータの出力を制御する。音声認識テキストデータ出力制御サーバ３のさらに具体的な構成及び動作については、後述する。
The voice recognition text data
形態素解析処理サーバ４は、音声認識処理サーバ２と通信可能に所定のネットワークに接続されたサーバ用コンピュータである。形態素解析処理サーバ４は、外部のシステムのテキストデータ群又は装置内部のテキストデータ群から受け取ったテキストデータ群を受信し、本実施形態に係る形態素解析処理に係るソフトウェアプログラムをサーバ用コンピュータが実行することにより、辞書データを生成する機能を有するものである。辞書データとなるテキストデータを生成後は音声認識処理サーバ２、もしくは音声認識テキストデータ出力制御サーバ３に辞書データを送信する機能も有する。形態素解析処理サーバ４は記憶領域を有しており、形態素解析処理を実行する際に使用される、単数又は複数の、形態素解析処理プログラム、各種データベースが格納されている。形態素解析処理サーバ４のさらに具体的な構成及び動作については、後述する。
The morphological
情報処理装置５は、形態素解析処理サーバ４から辞書データとなるテキストデータ群を受信し、辞書編集後に再度形態素解析処理サーバ４へ辞書を送信する機能、及び、音声認識テキストデータ出力制御サーバ３から取得したテキストデータを受信及び修正したテキストを音声認識テキストデータ出力制御サーバ３へ出力する機能を有する装置である。情報処理装置５は、汎用のコンピュータ装置であり、例えば、所定のネットワークに接続されたスマートフォン等の携帯電話、タブレット端末、ラップトップ/ノートブック型コンピュータ、及び据え置き型コンピュータ等である。
The
映像・音声再生装置６は、音声認識テキストデータ出力制御サーバ３から制御を受ける機能を有するサーバ用コンピュータ、もしくは専用装置である。映像・音声再生装置６は、外部システムから映像・音声データを受信、一定時間後に映像・音声を再生する。通常は決められた再生速度で再生されているが、音声認識テキストデータ出力制御サーバ３の制御で、再生を停止させたり、少し戻して再生をしたり、倍速再生などを行う装置である。映像・音声再生装置６のさらに具体的な構成及び動作については、後述する。
The video /
音声認識プログラムは、音声認識処理サーバ２のメインプログラムである上述したサーバ用プログラム等である。音声認識プログラムは、リアルタイム音声入力処理装置１から送信されてくる音声データを基に、情報処理を行うため、記憶領域から呼び出されて実行される。各種データベースは、音声認識処理のために必要な各種辞書、例えば日本語辞書、外国語辞書等が含まれる。各種モデルは、音声認識に使用する音響モデルAMDや言語モデル等を含む。またこの辞書は形態素解析処理サーバ４から受信した辞書データとなるテキストデータ群を受信、もしくは誤った音声認識結果を情報処理装置５で修正した修正データを音声認識テキストデータ出力制御サーバ３経由で受信し、辞書をアップデートする機能を有する。
The voice recognition program is the above-mentioned server program or the like, which is the main program of the voice
所定のネットワークは、例えばインターネット等を含む情報処理に係る通信回線又は通信網であり、リアルタイム音声入力処理装置１と音声認識処理サーバ２との間、音声認識処理サーバ２と音声認識テキストデータ出力制御サーバ３との間、音声認識処理サーバ２と形態素解析処理サーバ４との間、音声認識テキストデータ出力制御サーバ３と情報処理装置５との間で各種情報及び各種データの送受信が可能なように構成されていれば特に制限されない。所定のネットワークは、例えば、インターネットといった広帯域ネットワーク、携帯電話網といったコアネットワーク、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、あるいはこれらを組み合わせた狭帯域ネットワークにより実現される。
The predetermined network is, for example, a communication line or a communication network related to information processing including the Internet, etc., and is between the real-time voice
なお、情報処理システム１００は、本実施形態では、リアルタイム音声入力処理装置１、音声認識処理サーバ２、音声認識テキストデータ出力制御サーバ３、形態素解析処理サーバ４、情報処理装置５、及び映像・音声再生装置６を一台ずつ備えて構成されているが、必ずしも一台ずつである必要はない。例えば、リアルタイム音声入力処理装置１に関しては、情報処理システム１００が扱える音声データ形式で各装置に入力されていれば、設置しなくてもよい。また、情報処理装置５に関しては、複数台設置して、同時に音声認識テキストデータ出力制御サーバ３と通信を行ってもよい。また、音声認識処理サーバ２の機能と音声認識テキストデータ出力制御サーバ３の機能を同一のサーバで構成してもよいし、別の機能を有するサーバ上に機能を持たせてもよい。
In the present embodiment, the
図２は、本発明の実施形態に係る音声認識処理サーバ２の一例を示す概略構成図（ブロック図）である。図２に示すように、音声認識処理サーバ２は、例示的に、各種データ及び各種情報を送受信する送受信部２１と、テキストデータ及び音声データの出力を制御するための各種処理を実行する情報処理部２２と、各種情報及び各種データを記録する記憶部２３と、を備えて構成される。なお、情報処理部２２は、例えば、不図示であるが、記憶部２３に格納されているプログラムをＣＰＵ等が実行したりすることにより実現することができる。
FIG. 2 is a schematic configuration diagram (block diagram) showing an example of the voice
送受信部２１は機能的に、リアルタイム音声データ受信部２１１と、辞書テキストデータ受信部２１２と、修正結果テキストデータ受信部２１３と、音声認識結果テキストデータ／音声データ送信部２１４と、を含んで構成されている。また、各種データ及び各種情報を送信する送信部（不図示）、及び、各種データ及び各種情報を受信する受信部（不図示）をも含む。
The transmission /
リアルタイム音声データ受信部２１１は、図１に示すリアルタイム音声入力処理装置１からリアルタイム音声データを受信する。例えば、リアルタイム音声データ受信部２１１は、図１に示すリアルタイム音声入力処理装置１が区間分割、及び適正化し、音声が入力された時刻を時刻情報化し、タグ付けされた音声データを受信する。
The real-time voice data receiving unit 211 receives real-time voice data from the real-time voice
辞書テキストデータ受信部２１２は、図１に示す形態素解析処理サーバ４から辞書データとなるテキストデータを受信する。例えば、辞書テキストデータ受信部２１２は、図１に示す形態素解析処理サーバ４が外部テキストの形態素解析を実施し、生成した辞書テキストデータ適正なタイミングで受信する。
The dictionary text data receiving unit 212 receives text data to be dictionary data from the morphological
修正結果テキストデータ受信部２１３は、図１に示す情報処理装置５からテキスト修正結果データを音声認識テキストデータ出力制御サーバ３経由で受信する。例えば、修正結果テキストデータ受信部２１３は、図１に示す情報処理装置５が、字幕を送出する直前で修正したテキストを時刻情報と共に辞書化したテキスト修正結果データを音声認識テキストデータ出力制御サーバ３へ送信し、音声認識テキストデータ出力制御サーバ３から修正結果を受信する。
The correction result text data receiving unit 213 receives the text correction result data from the
音声認識結果テキストデータ／音声データ送信部２１４は、音声認識結果であるテキストデータを図１に示す音声認識テキストデータ出力制御サーバ３へ送信する。例えば、リアルタイム音声データ受信部２１１で受信したリアルタイム音声データを情報処理部２２による音声認識処理でテキスト化し、結果であるテキストデータに音声時刻情報をタグ付けして図１に示す音声認識テキストデータ出力制御サーバ３へ送信する。また、テキストデータ送信と同時に音声データも送信する。音声認識テキストデータには認識候補が他にある場合、音声認識テキストデータに認識候補テキストを候補順にタグづけして送信する。その認識候補には音声認識の確度の高さを表す音声認識確度データを付与して送信してもよい。
The voice recognition result text data / voice
情報処理部２２は機能的に、音声認識部２２１と、辞書データ生成部２２２と、テキスト出力部２２３と、を含んで構成されている。
The
音声認識部２２１は、リアルタイム音声データ受信部２１１から受信した音声データを記憶部２３に記憶されている音声認識プログラム（不図示）を使って、音声認識処理を行う。音声認識をする際に、認識候補テキストが他にある場合、認識候補テキストの候補順を認識テキストにタグづけしてもよい。その認識候補テキストには音声認識の確度の高さを表す音声認識確度データを付与して送信してもよい。例えば、このプログラム処理を行う際、記憶部２３に記憶されている各モデル、辞書を使うことによって、音声認識の効率を上げている。なお、音声認識部２２１は受信したリアルタイム音声データに時刻情報のタグ付けを行い、記憶部２３に保存する。
The
辞書データ生成部２２２は、辞書テキストデータ受信部２１２から受信したテキストデータ、もしくは修正結果テキストデータ受信部２１３から受信した時刻情報付きテキストデータを、記憶部２３に記憶されている辞書に格納できる形式に辞書テキストデータへ変換する処理を行う。
The dictionary
テキスト出力部２２３は、記憶部２３に記憶されている辞書を使って、音声認識部２２１が音声認識データから音声認識処理を行い、音声データをテキスト化した後、そのテキストを出力する処理を行う。
In the
記憶部２３は、あらかじめ定義された音響モデルＡＭＤと、言語モデルデータＬＭＤと、を記録し、保存されている。音響モデルＡＭＤと、言語モデルデータＬＭＤはあらかじめ定義されており、情報処理システム１００内では自動アップデートはされなくてもよいが、外部からのデータ受信（不図示）にてアップデートすることは可能である。音響モデルＡＭＤと、言語モデルデータＬＭＤは、図１に示す情報処理装置５から修正結果テキストデータ受信部２１３を通じて受信したテキスト修正結果データを利用し、自動アップデートはされてもよい。
The
記憶部２３は、情報処理システム１００内で自動アップデートされる辞書データＤＩＤと、を記録し、保存されている。辞書データは辞書データ生成部２２２によって生成された辞書テキストデータにて自動アップデートされ、適宜辞書テキストデータが音声認識部２２１の処理を支援する。
The
記憶部２３は、リアルタイム音声データ受信部２１１で受信したリアルタイム音声データに音声認識部２２１にて時刻情報をタグ付けされた、時刻付き音声データＡＴＤ２が記録されている。修正結果テキストデータ受信部２１３で受信したテキスト修正結果データと、最初に受信したリアルタイム音声データに時刻情報をタグ付けした時刻付き音声データＡＴＤ２を使って、音声認識部２２１の認識率向上に貢献する。
The
図３は、本発明の実施形態に係る音声認識テキストデータ出力制御サーバ３の一例を示す概略構成図（ブロック図）である。図３に示すように、音声認識テキストデータ出力制御サーバ３は、例示的に、各種データ及び各種情報を送受信する送受信部３１と、テキストデータの修正制御するための各種処理を実行する情報処理部３２と、各種情報及び各種データを記録する記憶部３３と、を備えて構成される。なお、情報処理部３２は、例えば、不図示であるが、記憶部３３に格納されているプログラムをＣＰＵ等が実行したりすることにより実現することができる。
FIG. 3 is a schematic configuration diagram (block diagram) showing an example of the voice recognition text data
送受信部３１は機能的に、音声認識結果テキスト／音声データ受信部３１１と、放送用テキストデータ送信部３１２と、辞書テキストデータ受信部３１３と、を含んで構成されている。また、各種データ及び各種情報を送信する送信部（不図示）、及び、各種データ及び各種情報を受信する受信部（不図示）をも含む。
The transmission /
音声認識結果テキスト／音声データ受信部３１１は、図１に示す音声認識処理サーバ２から音声認識結果である音声認識結果テキストデータと音声データを受信する。受信した音声認識結果テキストデータと音声データは音声認識処理サーバ２で時刻情報がタグ付けされ、音声認識結果テキストデータを生成した時間が判別できるようにしておく。
The voice recognition result text / voice data receiving unit 311 receives the voice recognition result text data and the voice data which are the voice recognition results from the voice
放送用テキストデータ送信部３１２は、音声認識結果テキスト／音声データ受信部３１１で受信した音声認識結果テキストデータを修正した放送用テキストデータを外部システムに送信する。外部システムは放送用字幕を送出するデータに変換するシステムなどが考えられる。
The broadcast text
辞書テキストデータ受信部３１３は、図１に示す形態素解析処理サーバ４から辞書データとなるテキストデータを受信する。例えば、辞書テキストデータ受信部３１３は、図１に示す形態素解析処理サーバ４が外部テキストの形態素解析を実施し、生成した辞書テキストデータ適正なタイミングで受信する。
The dictionary text data receiving unit 313 receives text data to be dictionary data from the morphological
辞書用修正結果テキストデータ送信部３１４は、音声認識結果テキスト／音声データ受信部３１１で受信した音声認識結果テキストデータを、正しいテキストに修正したテキストデータを図１に示す音声認識処理サーバ２へ、修正結果テキストデータとして送信する。例えば、修正したテキストデータには、修正前の音声認識結果テキストデータにタグ付けされていた時刻情報を基に時刻情報をタグ付け、もしくは情報処理システム１００内で管理されている固有のシステムＩＤをタグ付けするなどで、修正したデータが特定できるようにしておく。
The correction result text data transmission unit 314 for the dictionary converts the voice recognition result text data received by the voice recognition result text / voice data reception unit 311 into the correct text to the voice
修正前テキスト／音声送信部３１５は、音声認識結果テキスト／音声データ受信部３１１で受信した音声認識結果テキストデータと音声データを、図１に示す情報処理装置５へ、修正前データとして送信する。例えば、受信した音声認識結果テキストデータと音声データを情報処理装置５に送信し、情報処理装置５で音声認識が正しかったか確認ができるようにする。
The uncorrected text /
情報処理部３２は機能的に、形態素解析部３２１と、表示制御部３２２と、テキスト編集部３２３と、修正結果辞書生成部３２４と、放送用テキスト出力部３２５と、を含んで構成されている。
The
形態素解析部３２１は、音声認識結果データテキスト／音声データ受信部３１１で受信した音声認識結果データテキストを形態素解析する。形態素解析とは文法的な情報の注記の無い自然言語のテキストデータから、対象言語の文法や、辞書と呼ばれる単語の品詞等の情報にもとづき、形態素の列に分割し、それぞれの形態素の品詞等を判別することをいう。形態素解析を行った前記テキストは形態素毎の列に分割され、後述する表示制御部３２２で形態素毎にブロック表示制御を行う。
The
表示制御部３２２は、形態素解析部３２１で解析したテキストをブロック表示制御を行なって、図１に示す情報処理装置５へ表示の指示を行う。また情報処理装置５からスワイプアクションや、修正内容にしたがって指示を受けた内容の表示制御を行ない、情報処理装置５へ表示の指示を行う。
The display control unit 322 controls the block display of the text analyzed by the
テキスト編集部３２３は、音声認識結果データテキスト／音声データ受信部３１１で受信した音声認識結果データテキストを、情報処理装置５からスワイプアクションや、修正内容にしたがって修正を行う。修正されたテキストは表示制御部３２２に送られ、修正された内容で情報処理装置５へ表示の指示を行う。
The
修正結果辞書生成部３２４は、テキスト編集部３２３で修正した内容を時刻情報と共に記憶部３３へ記録可能な形式に生成を行う。例えば、誤った認識結果テキストと、修正後のテキストが時刻情報と共に辞書として記録されることで、同様の誤った認識の防止を支援することができる。
The correction result
放送用テキスト出力部３２５は、テキスト編集部３２３で修正を行なったテキスト、またはテキスト編集部３２３で修正を行わなかったテキストを、放送用テキストとして、情報処理装置５から指示で放送用テキストを出力する。
The broadcast
記憶部３３は、音声認識結果データテキスト／音声データ受信部３１１で受信した受信テキストログＲＴＬと、放送用テキストデータ送信部３１２から送信した送信テキストログＳＴＬと、修正結果辞書生成部３２４で生成された修正結果である辞書データＭＤＤと、を記録し、保存されている。
The
記憶部３３は、音声認識結果データテキスト／音声データ受信部３１１で受信した音声データに時刻情報がタグ付けされた、時刻付き音声データＡＴＤ３が記録されている。例えば、受信テキストログＲＴＬと、送信テキストログＳＴＬと、ＡＴＤ３を送信部（不図示）から情報処理装置５に送信することによって、情報処理装置５で音声認識エンジンが認識しやすい音声を、発声した本人が確認をすることが可能となる。
The
図４は、本発明の実施形態に係る形態素解析処理サーバ４の一例を示す概略構成図（ブロック図）である。図４に示すように、形態素解析処理サーバ４は、例示的に、各種データ及び各種情報を送受信する送受信部４１と、テキストデータ群の解析、及び生成を制御するための各種処理を実行する情報処理部４２と、各種情報及び各種データを記録する記憶部４３と、を備えて構成される。なお、情報処理部４２は、例えば、不図示であるが、記憶部４３に格納されているプログラムをＣＰＵ等が実行したりすることにより実現することができる。
FIG. 4 is a schematic configuration diagram (block diagram) showing an example of the morphological
送受信部４１は機能的に、外部テキスト受信部４１１と、辞書データ送信部４１２と、を含んで構成されている。また、各種データ及び各種情報を送信する送信部（不図示）、及び、各種データ及び各種情報を受信する受信部（不図示）をも含む。 The transmission / reception unit 41 is functionally configured to include an external text reception unit 411 and a dictionary data transmission unit 412. It also includes a transmitting unit (not shown) for transmitting various data and various information, and a receiving unit (not shown) for receiving various data and various information.
外部テキスト受信部４１１は、外部システム、もしくは形態素解析処理サーバ４内の記憶部４３に記録されているテキストを受信する。例えば、前記テキストはインターネット上でＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）等から収集し受信したテキスト、もしくはＬＡＮ内でニュース原稿システムといった他システム等から収集し、受信したものでもよい。
The external text receiving unit 411 receives the text recorded in the external system or the storage unit 43 in the morphological
辞書データ送信部４１２は、情報処理部４２で生成した辞書データを図１に示す音声認識処理サーバ２へ送信する。例えば、前記辞書データはＳＮＳ、及び内部システムから取り込んだ比較的新しい辞書であると、ニュース番組等の音声認識率が上がると期待できる。
The dictionary data transmission unit 412 transmits the dictionary data generated by the information processing unit 42 to the voice
情報処理部４２は機能的に、形態素解析部４２１と、読みデータ生成部４２２と、辞書生成部４２３と、出現スコア計算部４２４と、を含んで構成されている。 The information processing unit 42 is functionally composed of a morphological analysis unit 421, a reading data generation unit 422, a dictionary generation unit 423, and an appearance score calculation unit 424.
形態素解析部４２１は、外部テキスト受信部４１１で受信したテキストを形態素解析する。形態素解析とは文法的な情報の注記の無い自然言語のテキストデータから、対象言語の文法や、辞書と呼ばれる単語の品詞等の情報にもとづき、形態素の列に分割し、それぞれの形態素の品詞等を判別することをいう。形態素解析を行った前記テキストは形態素毎の列に分割され、記憶部４３に記録、保存をする。 The morphological analysis unit 421 analyzes the text received by the external text reception unit 411. What is morphological analysis? From text data in natural language without notes of grammatical information, based on information such as the grammar of the target language and the part of speech of words called dictionaries, it is divided into columns of morphemes, and the part of speech of each morpheme, etc. It means to discriminate. The text subjected to morphological analysis is divided into columns for each morpheme, and is recorded and stored in the storage unit 43.
読みデータ生成部４２２は、形態素解析部４２１で形態素毎の列に分割されたテキストにルビと呼ばれる読み仮名を関連づける。例えば、記憶部４３に記録されている読み組み合わせツール４３２などを利用してルビを検索し、該当するルビを形態素解析部４２１で形態素毎の列に分割されたテキストにタグ付け等をして、記憶部４３に記録、保存をする。 The reading data generation unit 422 associates a reading kana called ruby with the text divided into columns for each morpheme by the morphological analysis unit 421. For example, the ruby is searched by using the reading combination tool 432 recorded in the storage unit 43, and the corresponding ruby is tagged in the text divided into columns for each morpheme by the morphological analysis unit 421. It is recorded and stored in the storage unit 43.
辞書生成部４２３は、読みデータ生成部４２２でタグ付けされたテキストを、図１に示す音声認識処理サーバ２へ送信した際に辞書として登録できる形式に整形、生成をする。例えば、形態素解析部４２１にて品詞毎に分割されたテキストと、読みデータ生成部４２２でタグ付け等をされた読み仮名を図１に示す音声認識処理サーバ２が読み込み可能な辞書形式にデータベース化等を行う。
The dictionary generation unit 423 shapes and generates the text tagged by the reading data generation unit 422 into a format that can be registered as a dictionary when transmitted to the voice
出現スコア計算部４２４は、形態素解析部４２１で形態素毎の列に分割されたテキストがどの頻度で出現し、分割されたテキストごとにその出現率を付与し、定量評価する出現スコアを計算する。出現スコアの計算例は後述する。 The appearance score calculation unit 424 calculates the appearance score for quantitative evaluation by giving the appearance rate to each divided text at what frequency the text divided into columns for each morpheme appears in the morphological analysis unit 421. An example of calculating the appearance score will be described later.
記憶部４３は、外部テキスト受信部４１１で受信したテキストを形態素解析部４２１にて形態素解析をする際に使用する形態素解析ツールＭＤＴと、前記形態素解析を行ったテキストの読み仮名を定義する際に使用する読み合わせツールＲＢＴと、を記録し、保存されている。 The storage unit 43 defines a morphological analysis tool MDT used when the text received by the external text receiving unit 411 is morphologically analyzed by the morphological analysis unit 421, and a reading pseudonym of the text for which the morphological analysis is performed. The reading tool RBT to be used and is recorded and saved.
記憶部４３は、外部テキスト受信部４１１で受信した外部テキストデータＯＤＴと、形態素解析部４２１にて品詞毎に分割されたテキストと、読みデータ生成部４２２でタグ付け等をされた読み仮名を図１に示す音声認識処理サーバ２が読み込み可能な辞書形式にデータベース化等を行った辞書生成データＤＭＤと、を記録し、保存されている。
The storage unit 43 illustrates the external text data ODT received by the external text receiving unit 411, the text divided for each part of speech by the morphological analysis unit 421, and the reading pseudonym tagged by the reading data generation unit 422. The dictionary generation data DMD, which has been made into a database in a dictionary format that can be read by the voice
図５は、本発明の実施形態に係る情報処理装置５の一例を示す概略構成図（ブロック図）である。図５に示すように、情報処理装置５は、例示的に、各種情報を送受信する送受信部５１と、モニタ等に表示を行う表示部５２、各種制御するための各種処理を実行する情報処理部５３と、プログラムを記録する記憶部５４と、を備えて構成される。情報処理装置５は、汎用のコンピュータ装置であるため、送受信部５１と、モニタ等に表示を行う表示部５２に特徴は必要なく、一般の汎用のコンピュータ装置と同等のものである。表示部５２は内蔵されるタッチパネルでもよいし、外部モニタに出力する出力ポートでも良い。
FIG. 5 is a schematic configuration diagram (block diagram) showing an example of the
情報処理部５３は機能的に、表示制御部５３１と、テキスト編集部５３２と、を含んで構成されている。
The
表示制御部５３１は、音声認識テキストデータ出力制御サーバ３等で形態素解析された形態素ごとのテキストを後述するブロック表示にしたり、スワイプアクションにあわせてブロックを移動させたり、修正エリア５２ｄを表示するよう、表示部５２の制御をおこなう。なお、ブロックの移動はブロック操作に好奇心が湧くようにアニメーション表示制御をしてもよい。
The
テキスト編集部５３２は、表示制御部５３１の表示、操作に合わせてブロック内のテキストの編集を行う。たとえばブロックを下スワイプアクションした際にはテキストの後ろに改行コードを挿入したり、ブロックを上スワイプアクションした際にはブロック内テキストを削除したり、ブロックを左横スワイプアクションをした際には、選択した句読点や区切記号などを挿入したり、ブロックをタップアクションした際には表示制御部５３１によって表示指示された表示部５２に表示されている修正エリア５２ｄのテキストとブロック内のテキストを差し替えたりして、テキストの編集を行っていく。
The
記憶部５４は、汎用のコンピュータブラウザなどのアプリケーションや各種プログラムが保存されている。
The
図６は、本発明の実施形態に係る映像・音声再生装置６の一例を示す概略構成図（ブロック図）である。図６に示すように、映像・音声再生装置６は、例示的に、映像・音声データ及び各種情報を送受信する送受信部６１と、映像・音声の収録、再生制御するための各種処理を実行する情報処理部６２と、収録した映像・音声データ及び設定データを記録する記憶部６３と、を備えて構成される。なお、情報処理部６２は、例えば、不図示であるが、記憶部６３に格納されているプログラムをＣＰＵ等が実行したりすることにより実現することができる。
FIG. 6 is a schematic configuration diagram (block diagram) showing an example of the video /
送受信部６１は機能的に、映像音声データ受信部６１１と、映像音声データ再生部６１２と、外部制御受信部６１３と、を含んで構成されている。また、各種データ及び各種情報を送信する送信部（不図示）、及び、各種データ及び各種情報を受信する受信部（不図示）をも含む。 The transmission / reception unit 61 is functionally configured to include a video / audio data reception unit 611, a video / audio data reproduction unit 612, and an external control reception unit 613. It also includes a transmitting unit (not shown) for transmitting various data and various information, and a receiving unit (not shown) for receiving various data and various information.
映像音声データ受信部６１１は、情報処理システム１００を利用して字幕放送を行う映像音声データを受信する。この映像音声データの音声データを使って情報処理システム１００は音声認識処理を行うが、この映像音声データもオペレータが修正するときに必要なモニタに利用するデータである。
The video / audio data receiving unit 611 receives the video / audio data for subtitle broadcasting using the
映像音声データ再生部６１２は、映像モニタ、スピーカーなどに接続し、映像音声データを再生する。音声認識テキストデータ出力制御サーバ３の音声認識結果データテキスト／音声データ受信部３１１で受信した音声認識結果データテキストを、テキスト編集部３２３で情報処理装置５からスワイプアクションや、修正内容にしたがって修正を行う際に、修正箇所を確認するために参考とする映像・音声を再生するものである。
The video / audio data reproduction unit 612 is connected to a video monitor, a speaker, or the like to reproduce video / audio data. Voice recognition text data output The voice recognition result data text received by the voice recognition result data text / voice data receiving unit 311 of the
外部制御受信部６１３は、映像音声データ再生部６１２で映像音声データを再生する際に、再生スピードや再生モード（動画や静止画）をコントローする信号を受信する。音声認識テキストデータ出力制御サーバ３の音声認識結果データテキスト／音声データ受信部３１１で受信した音声認識結果データテキストを、テキスト編集部３２３で情報処理装置５からスワイプアクションや、修正内容にしたがって修正を行う際に、修正に合わせた制御信号が出力されて、修正箇所を確認するために参考とする映像・音声の再生スピード等を制御するものである。
When the video / audio data reproduction unit 612 reproduces the video / audio data, the external control reception unit 613 receives a signal that controls the reproduction speed and the reproduction mode (moving image or still image). Voice recognition text data output The voice recognition result data text received by the voice recognition result data text / voice data receiving unit 311 of the
情報処理部６２は機能的に、収録制御部６２１と、音声再生部６２２と、画像再生部６２３と、スロー再生指示部６２４と、倍速再生指示部６２５と、を含んで構成されている。
The
収録制御部６２１は、映像音声データ受信部６１１で受信した字幕放送を行う映像音声データ収録するコントロールを行う。例えば、情報処理システム１００が稼働した際に自動で入力された映像音声データの収録を開始したり、情報処理システム１００が終了した際に、収録を終了させるコントロールを収録制御部６２１から行う。
The
音声再生部６２２は、映像音声データ受信部６１１で受信した字幕放送を行う映像音声データの音声部分のみを再生をコントロールする。例えば、音声認識テキストデータ出力制御サーバ３の音声認識結果データテキスト／音声データ受信部３１１で受信した音声認識結果データテキストを、テキスト編集部３２３で情報処理装置５からスワイプアクションや、修正内容にしたがって修正する際、音声を聞き直したい場合に、外部制御受信部６１３から受信した聞き直しの制御信号がタイムコードとともに送られ、音声再生部６２２は指定されたタイムコードから音声の再生を行う。
The
画像再生部６２３は、映像音声データ受信部６１１で受信した字幕放送を行う映像音声データの映像を静止画として取り出した部分のみを再生をコントロールする。例えば、音声認識テキストデータ出力制御サーバ３の音声認識結果データテキスト／音声データ受信部３１１で受信した音声認識結果データテキストを、テキスト編集部３２３で情報処理装置５からスワイプアクションや、修正内容にしたがって修正する際、音声を聞き直したい場合に、外部制御受信部６１３から受信した聞き直しの制御信号がタイムコードとともに送られ、音声再生部６２２は指定されたタイムコードから映像部分の画像再生を行う。
The
スロー再生指示部６２４は、映像音声データ受信部６１１で受信した字幕放送を行う映像音声データの再生をコントロールする。例えば、音声認識テキストデータ出力制御サーバ３の音声認識結果データテキスト／音声データ受信部３１１で受信した音声認識結果データテキストを、テキスト編集部３２３で情報処理装置５からスワイプアクションや、修正内容にしたがって修正する際、映像音声再生している場面が修正箇所よりも先にいかないように、映像音声データ再生部６１２に対し、スロー再生指示を行う。
The slow
倍速再生指示部６２５は、映像音声データ受信部６１１で受信した字幕放送を行う映像音声データの再生をコントロールする。例えば、音声認識テキストデータ出力制御サーバ３の音声認識結果データテキスト／音声データ受信部３１１で受信した音声認識結果データテキストを、テキスト編集部３２３で情報処理装置５からスワイプアクションや、修正内容にしたがって修正を行った後で、映像音声再生している場面が確認箇所から遅れている場合は、映像音声データ再生部６１２に対し、倍速再生指示を行う。倍速再生指示は２倍という意味ではなく、１．２倍、１．３倍といったｎ倍速を表す。
The double-speed
記憶部６３は、映像音声データ受信部６１１で受信した映像・音声データＶＡＤと、再生コントロール設定値等のデータＳＵＤと、を記録し、保存されている。
The
＜辞書生成処理例１＞
図７、図８、及び図９を参照して、辞書生成処理、もしくは出力制御処理としての、テキストデータの出力及び音声データの制御処理を実施例１として説明する。図６は、本発明の実施形態に係るデータ辞書生成処理の一例を示すフローチャートである。
<Dictionary generation processing example 1>
With reference to FIGS. 7, 8 and 9, the output of text data and the control process of voice data as the dictionary generation process or the output control process will be described as Example 1. FIG. 6 is a flowchart showing an example of the data dictionary generation process according to the embodiment of the present invention.
（ステップＳ１）
形態素解析処理サーバ４は、外部システム、もしくは形態素解析処理サーバ４内の図４に示す記憶部４３に記録されているテキストを受信する。例えば、前記テキストはインターネット上でＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）等から収集し受信したテキスト、もしくはＬＡＮ内でニュース原稿システムといった他システム等から収集し受信したものでもよい。
(Step S1)
The morphological
（ステップＳ２）
形態素解析処理サーバ４は、前記受信したテキストを形態素解析する。形態素解析とは前記同様の解析を意味し、文法的な情報の注記の無い自然言語のテキストデータから、対象言語の文法や、辞書と呼ばれる単語の品詞等の情報にもとづき、形態素の列に分割し、それぞれの形態素の品詞等を判別することをいう。
(Step S2)
The morphological
（ステップＳ３）
図４に示す形態素解析部４２１で形態素毎の列に分割されたテキスト（以下辞書単語）にルビと呼ばれる読み仮名を関連づける。例えば、図４に示す記憶部４３に記録されている読み合わせツールＲＢＴなどを利用してルビを検索し、該当するルビを形態素解析部４２１で形態素毎の列に分割された辞書単語にタグ付け等をして、記憶部４３に記録、保存をする。もしく前記受信テキストにルビを振るルールが定義されていれば、それを基にルビを振ってもよい。
(Step S3)
The morphological analysis unit 421 shown in FIG. 4 associates a reading kana called ruby with a text (hereinafter referred to as a dictionary word) divided into columns for each morpheme. For example, a ruby is searched for by using a read-through tool RBT or the like recorded in the storage unit 43 shown in FIG. 4, and the corresponding ruby is tagged in a dictionary word divided into columns for each morpheme by the morphological analysis unit 421. And record and save in the storage unit 43. If a rule for adding ruby is defined in the received text, ruby may be added based on the rule.
（ステップＳ４）
図４に示す出現スコア計算部４２４で辞書単語の出現率を定量評価する出現スコアを計算する。図８を参照して出現スコアの計算方法を説明する。ＴＬは時刻の流れを表す軸タイムラインであり、どのタイミングでそのテキストが取り込まれたかをタイムライン上で表している。またこの出現スコアを作成する開始タイミングをＡＳｔとし、このＡＳｔの数値を変更しながら音声認識の制度を高めていく。ｔｐが現在時刻を表し、時刻を数値化した場合、ｔ１＜ｔ８＜ｔｐという関係が成り立つ。このような条件とした場合、たとえば以下のような式で出現スコアを定義しても良い。
（出現スコア式）
例えば「国会会期末」といったテキストがｔ１のタイミングでＷ１として、ｔ２のタイミングでＷ２として、ｔ４のタイミングでｗ３として、ｔ６のタイミングでＷ６として、ｔ８のタイミングでＷ８として出現していた場合、計算式はＣＳ内のような式が成り立つ。「労働災害」「原辰徳」といったワードも同様である。出現回数も多く、現在時刻直近で出現した「国会会期末」の出現スコアＡＳ１と、「労働災害」の出現スコアＡＳ２は通常ＡＳ１＞ＡＳ２といった関係になるが、「原辰徳」の出現スコアＡＳ３と前記ＡＳ２の関係は双方の出現時間によって関係が変わってくる。前記出現スコアは定量評価値として、音声認識処理の際に認識結果確率の増減に利用する。
(Step S4)
The appearance score calculation unit 424 shown in FIG. 4 calculates the appearance score for quantitatively evaluating the appearance rate of the dictionary word. A method of calculating the appearance score will be described with reference to FIG. TL is an axis timeline showing the flow of time, and shows on the timeline at what timing the text was captured. In addition, the start timing for creating this appearance score is set to ASt, and the voice recognition system is enhanced while changing the value of this Ast. When tp represents the current time and the time is quantified, the relationship t1 <t8 <tp is established. Under such conditions, the appearance score may be defined by the following formula, for example.
(Appearance score formula)
For example, if the text such as "End of Diet" appears as W1 at the timing of t1, W2 at the timing of t2, w3 at the timing of t4, W6 at the timing of t6, and W8 at the timing of t8, it is calculated. The formula is as in CS. The same applies to words such as "work accident" and "Tatsunori Hara". The number of appearances is large, and the appearance score AS1 of "the end of the Diet" that appeared most recently at the current time and the appearance score AS2 of "work accident" usually have a relationship of AS1> AS2, but with the appearance score AS3 of "Tatsunori Hara". The relationship between AS2 changes depending on the appearance time of both. The appearance score is used as a quantitative evaluation value to increase or decrease the recognition result probability in the speech recognition process.
（ステップＳ５ａ）
情報処理装置５は形態素解析処理サーバ４に対し、辞書単語表示の要求を行う。
(Step S5a)
The
（ステップＳ５ｂ）
辞書単語表示の要求に対し、形態素解析処理サーバ４は前記形態素毎の列に分割されたルビに当たる辞書単語にタグ付け等された辞書を情報処理装置５に送信して辞書の表示をする。図９は情報処理装置５に表示される画面の一例を示す図である。図９を参照しながら、図１に示す情報処理装置５の表示部５２に表示される、辞書登録画面について説明する。辞書登録表示画面は、例えば入力された原稿テキストの放送番組名５０１が放送時間と共に表示される。どの辞書単語群、もしくは辞書単語を登録するか、選択ボタン５０２、５０３が用意されている。表には形態素解析によって、分割された辞書単語となるテキスト５０４、それに対する読み表示５０５、その元となるテキストが登録された時間５０６などが表示されている。なお、出現スコアはここに表記しなくてもよいし、してもよい。
(Step S5b)
In response to the request for displaying the dictionary word, the morphological
（ステップＳ６）
登録される放送番組名５０１、もしくは辞書単語となるテキスト５０４をボタン５０２、もしくは５０３を選択した後、辞書登録ボタン５０７を押下する。押下後は図７に戻り、選択された辞書単語を外部に送信する処理の準備を行う。また、図８に示した出現スコアＡＳｔは出現スコア作成タイミング表示エリア５０８に表示され、手動で変更することができる。
(Step S6)
After selecting the
（ステップＳ７）
情報処理装置５上で選択された辞書単語送信処理により、形態素解析処理サーバ４に辞書単語群の送信指示が送信される。辞書単語群は辞書単語の選択はカテゴリ毎に送信されてもよいし、受信した時間毎に単語群毎に送信してもよい。
(Step S7)
By the dictionary word transmission process selected on the
（ステップＳ８）
送信指示を受けた形態素解析処理サーバ４は図４の辞書生成部４２３を使って、読みデータ生成部４２２でタグ付けされたテキストを、音声認識処理サーバ２へ送信した際に辞書として登録できる形式に整形、生成をする変換処理を行う。
(Step S8)
The morphological
（ステップＳ９ａ）
前記ステップで変換処理をした辞書単語群は音声認識処理サーバ２へ送信する。
(Step S9a)
The dictionary word group converted in the above step is transmitted to the speech
（ステップＳ９ｂ）
ステップＳ９ａと同様に変換処理をした辞書単語群は音声認識テキストデータ出力制御サーバ３へ送信する。
(Step S9b)
The dictionary word group that has been converted in the same manner as in step S9a is transmitted to the voice recognition text data
（ステップＳ１０ａ）
辞書単語群を受信した音声認識処理サーバ２は、この辞書を利用して音声認識処理を行う。音声認識処理は後述するステップＳ２３と同様である。
(Step S10a)
The voice
（ステップＳ１０ｂ）
辞書単語群を受信した音声認識テキストデータ出力制御サーバ３は、この辞書を利用してテキスト修正処理を行う。テキスト修正処理は後述するステップＳ２８と同様である。
(Step S10b)
The voice recognition text data
＜辞書生成処理例２＞
次に図１０を参照して、辞書生成処理、もしくは出力制御処理としての、テキストデータの出力及び音声データの制御処理を実施例２として説明する。図９は、本発明の実施形態に係るデータ辞書生成処理の一例を示すフローチャートである。
<Dictionary generation processing example 2>
Next, with reference to FIG. 10, the output of text data and the control process of voice data as the dictionary generation process or the output control process will be described as Example 2. FIG. 9 is a flowchart showing an example of the data dictionary generation process according to the embodiment of the present invention.
（ステップＳ１１）から（ステップＳ１４）
上記ステップは図７のステップＳ１からステップＳ４のステップと同様である。
(Step S11) to (Step S14)
The above steps are the same as the steps from step S1 to step S4 in FIG.
（ステップＳ１５）
形態素解析処理サーバ４は自動で辞書単語登録を行う辞書単語を選択する。自動選択の選択基準はステップＳ１９で後述する。
(Step S15)
The morphological
（ステップＳ１６）
自動で辞書単語を選択した形態素解析処理サーバ４は図４の辞書生成部４２３を使って、読みデータ生成部４２２でタグ付けされたテキストを、音声認識処理サーバ２へ送信した際に辞書として登録できる形式に整形、生成をする変換処理を行う。
(Step S16)
The morphological
（ステップＳ１７）
前記ステップで変換処理をした辞書単語群は音声認識処理サーバ２へ送信する。
(Step S17)
The dictionary word group converted in the above step is transmitted to the speech
（ステップＳ１８）
辞書単語群を受信した音声認識処理サーバ２は、この辞書を利用して音声認識処理を行う。音声認識処理は後述するステップＳ２３と同様である。
(Step S18)
The voice
（ステップＳ１９）
音声認識処理サーバ２は、音声認識テキストデータ出力制御サーバ３から受信した時刻情報付き音声認識確度正答率を形態素解析処理サーバ４に送信をする。音声認識確度正答率とは、音声認識をした際に、音声認識結果であるテキストの他にその認識確率の高さである音声認識確度データを送信するが、音声認識確度と実際の認識正答がどの程度マッチングしていたかを表す確率のことをいう。形態素解析処理サーバ４は自動で選択した辞書と前記音声認識確度正答率を対比しデータベース化等を行う。生成されたデータベースから深層学習を行い、最適値を自動で算出していく仕組みを導入してもよい。具体例に関しては後述する（ステップＳ３２）、（ステップＳ３３）にて説明する。
(Step S19)
The voice
＜音声認識テキストデータ出力実施例＞
次に図１１乃至図１７を参照して、音声認識処理、テキスト出力制御処理、及びテキストの修正処理を実施例として説明する。図１１は、本発明の実施形態に係る音声認識処理、テキスト出力制御処理、及びテキストの修正処理の一例を示すフローチャートである。
<Speech recognition text data output example>
Next, with reference to FIGS. 11 to 17, voice recognition processing, text output control processing, and text correction processing will be described as examples. FIG. 11 is a flowchart showing an example of voice recognition processing, text output control processing, and text correction processing according to the embodiment of the present invention.
（ステップＳ２１）
リアルタイム音声入力処理装置１は、音声データを受信する。例えば、映像データからＤＥＭＵＸした音声データであってもよいし、デジタル音声データはもちろん、アナログ音声データでもよい。リアルタイム音声入力処理装置１はリアルタイム音声を処理することを前提としているため、受信方法はストリーム、もしくは連続したアナログ音声を想定している。
(Step S21)
The real-time voice
（ステップＳ２２）
リアルタイム音声入力処理装置１は、前記受信音声データの音声認識精度を上げるための処理を行う。例えば、前記音声データにおける無音区間を特定し、当該区間において音声データを区切る処理や、音声データを分割するルールを作成し、当該ルールに基づいて分割処理を実行してもよい。また、例えば、音声データから人間の声に近い周波数以外の周波数音域を低減させるノイズキャンセルなどの処理を実行してもよい。処理をした際には音声データの受信時刻を処理済み音声データに紐づけるようにタグづけなどの処理をしておく。
(Step S22)
The real-time voice
（ステップＳ２３）
リアルタイム音声入力処理装置１１は、前記処置を行った処置済音声データを、音声認識処理サーバ２へ送信する。
(Step S23)
The real-time voice input processing device 11 transmits the treated voice data to which the treatment has been performed to the voice
（ステップＳ２４）
音声認識処理サーバ２は、前記処理済音声データを受診後、前記処理済音声データを音声認識する。音声認識処理サーバ２は、例えば、未知のパラメータに従って確率的に変化する現象をモデル化する分析技術手法であるＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）（隠れマルコフモデル）により、入力された音声データを文字列データに変換する。なお、他の分析技術手法として、ＤＰマッチングやニューラルネットワーク等を採用してもよい。また、ステップＳ９やＳ１７で受け取った出現スコアを使って、言語モデルの絶えずアップデート行い、辞書単語をその都度増やしたり減らしたりしてもよい。この際、ステップＳ９、ステップＳ１７の音声認識処理と同様の処理となるが、ステップＳ９、ステップＳ１７では受信した辞書を利用しての音声認識となるため、音声認識確度の上昇が期待できる。
(Step S24)
The voice
（ステップＳ２５）
音声認識処理サーバ２は、音声認識処理をした後、認識候補テキストそれぞれの音声認識精度の確率の高さを表す、音声認識確度を計算する。その後、音声認識処理サーバ２は前記音声認識結果であるテキスト等を送信する。例えば、送信するテキスト等とは、認識候補テキストと、その区間の音声データ、他に認識候補テキストがあればその認識候補テキスト、それぞれの認識候補テキストの音声認識確度の高さを表す音声認識確度データ等である。
(Step S25)
After performing the voice recognition processing, the voice
（ステップＳ２６）
音声認識テキストデータ出力制御サーバ３は、受信したテキスト等を同時に、もしくは別ルートで受信した音声データ再生と共に表示できるように、処理を行う。例えば、テキスト修正を行いやすくするために、音声再生よりもテキストを早く表示させる処理を行っておく。
(Step S26)
The voice recognition text data
（ステップＳ２７）
情報処理装置５の要求を受けた音声認識テキストデータ出力制御サーバ３は、処理を行ったテキスト群と音声データを情報処理装置５に送信を行う。
(Step S27)
The voice recognition text data
（ステップＳ２８）
情報処理装置５は受信した音声認識テキストデータの修正を行う。図１２は情報処理装置５に表示されるテキスト修正画面の一例を示す図である。図１２を参照しながら、図５に示す情報処理装置５の表示部５２に表示される、テキストデータ群を含む画面の一例を説明する。表示部５２はタッチパネル画面を前提にタッチパネル操作で説明するが、通常のモニタをマウス操作で行っても良い。音声認識テキストデータ出力制御サーバ３は音声認識結果テキスト／音声データ受信部３１１で受信した音声認識結果テキストを形態素解析部３２１で形態素解析を行う。形態素解析とは前記同様の解析を意味し、文法的な情報の注記の無い自然言語のテキストデータから、対象言語の文法や、辞書と呼ばれる単語の品詞等の情報にもとづき、形態素の列に分割し、それぞれの形態素の品詞等を判別することをいう。形態素解析されたテキストは形態素ごとに、情報処理装置５に送られ、表示部５２には修正エリア５２ａの中に５１１乃至５１６のようにブロックごとに分けられて表示される。
(Step S28)
The
修正エリア５２ａに入らなかった前記音声認識結果テキストは待機エリア５２ｂに表示される。待機エリア５２ｂは前記のようなブロック表示をしても良いし、しなくても良い。修正エリア５２ａにまだテキストが入る余地がある場合は、図１３のようにエリア変更ボタン５２ｃをタッチアクション、もしくは選択することで待機エリア５２ｂの最上段のテキストを修正エリア５２ａに入れることができる。
The voice recognition result text that did not enter the
修正エリア５２ａではブロックを自由に動かすことができる。例えばブロック５１６「より」を下段に改行したい場合は、図１４のようにしたタッチパネル上でブロック５１６を選択し、下スワイプすることによって改行を行うことが可能となる。
The block can be moved freely in the
また修正エリア５２ａでブロックをまとめて編集や削除したい場合には、図１５のように例えばブロック５１１を選択して、ブロック５１１からブロック５１３まで右スワイプすることにより、新たに結合されたブロック５１１ａが生まれる。これにより、後述するこのブロックをまとめて編集したり、削除をしたりすることが可能となる。
If you want to edit or delete blocks in the
さらに修正エリア５２ａでブロック間に、テキストを挿入したい場合には、図１６のように例えばブロック５１５を選択して、ブロック５１５を左スワイプすることにより、ブロック５１４とブロック５１５がぶつかったイメージで、間に隙間が生まれ、あらかじめ用意されたテキスト群の１つのテキストを挿入することができる。
If you want to insert text between blocks in the
上記のアクションの他に、テキスト自体を修正したい場合には、図１７のように例えばブロック５１３をシングルタッチすることにより、待機エリア５２ｂが修正エリア５２ｄに変わり、キーボード等で入力することが可能となり、文字自体を修正することができる。
In addition to the above actions, if you want to modify the text itself, for example, by single-touching
これらのアクションで正しく修正された音声認識テキストデータは、図１２の修正エリア５２ａ内のＴＡＫＥボタン５１７をシングルタップ、もしくはダブルタップ、及び押下することによって確定する。
The voice recognition text data correctly corrected by these actions is confirmed by single-tapping, double-tapping, and pressing the TAKE button 517 in the
（ステップＳ２９）
図１１に戻り、ステップＳ２８で確定した字幕用テキストは字幕システムで受信可能なフォーマットに変換して、後段の前記字幕システムに送信する。テキストのフォーマットは放送規格ＡＲＩＢフォーマットＢ３７形式でもよいし、Ｗｅｂ配信形式であるＷｅｂＶｔｔ（Ｗｅｂ Ｖｉｄｅｏ Ｔｅｘｔ Ｔｒａｃｋｓ）形式でもよい。
(Step S29)
Returning to FIG. 11, the subtitle text determined in step S28 is converted into a format receivable by the subtitle system and transmitted to the subtitle system in the subsequent stage. The text format may be the broadcasting standard ARIB format B37 format or the Web distribution format WebVtt (Web Video Text Tracks) format.
（ステップＳ３０）
ステップＳ２８で確定した字幕用テキストが修正されていた場合は、選択された認識候補テキストにタグづけされていた音声認識確度データと共に確定した修正テキストを前段の音声認識テキストデータ出力制御サーバ３へ送信する。
(Step S30)
If the subtitle text confirmed in step S28 has been corrected, the corrected text confirmed together with the voice recognition accuracy data tagged with the selected recognition candidate text is transmitted to the voice recognition text data
（ステップＳ３１）
ステップＳ３０で修正テキストを受信した音声認識テキストデータ出力制御サーバ３は音声認識確度正答率を計算する。図１８は情報処理装置５に表示される音声認識確度正答率の一例を示す画面の図である。音声認識後に確定させたテキストがｃｎ個とする。最初の確定テキストは「高速道路の」が正答であり、音声認識確度が９０％だったとすると、音声認識正答確度ＣＰの数値０．９に正答係数ｙを乗じ、それ以外のテキストは音声認識誤答確度ＩＰの数値と誤答係数ｚを乗じ、その総和を計算し、そのテキストの音声認識確度正答率Ｍ１とする。同様にＭ２、Ｍ３と計算を実施し、Ｍｋの総和に正答率変数ｗを乗じて、確定させたテキスト数ｃｎで割ると、音声認識確度正答率が求められる。変数ｙ、ｚ、ｗはそれぞれ深層学習で適切な数値に変更を加えていってもよい。
(Step S31)
The voice recognition text data
（ステップＳ３２）
図１１に戻り説明する。認識候補テキスト、及び修正テキストを受信した音声認識テキストデータ出力制御サーバ３は、辞書化する。例えば、音声認識確度正答率が高いテキストは音声認識確度が高いと判断し辞書化しなくてもよいが、音声認識確度正答率が低いテキストは優先的に辞書化を実施していく。全体の音声認識確度の数値が上がらない場合は、辞書を作成し始めるタイミングに１たる図８に示した出現スコア作成タイミングASｔを深層学習によって進めてもよいし、戻してもよい。
(Step S32)
A description will be given by returning to FIG. The voice recognition text data
（ステップＳ３３）
音声認識テキストデータ出力制御サーバ３は、ステップＳ３１で辞書化した辞書データと、計算した音声認識確度正答率を、音声認識プログラムを有する音声認識処理サーバ２へ送信する。
(Step S33)
The voice recognition text data
（ステップＳ３４）
音声認識処理サーバ２は受信した辞書データと、音声認識確度正答率を音声認識プログラムに組み込み、図２に図示した記憶部２３内の辞書データＤＩＤに辞書データを記憶する。例えば、この辞書データ、音声認識確度正答率を基に記憶部２３内の言語モデルデータＬＭＤのアップデートを行ってもよい。
(Step S34)
The voice
＜映像音声モニタ実施例１＞
音声認識によって得られたテキストが正しかったかもう一度聴きたい際に、映像音声を確認するためのモニタ環境としての映像・音声再生装置６の動作例について図１９を参照しながら説明する。図１９は、本発明の映像・音声再生装置６の動作の一例を示すフローチャートである。
<Video / Audio Monitor Example 1>
An operation example of the video /
（ステップＳ４１）
映像・音声再生装置６は、図６に示す映像音声データ受信部６１１を使って映像音声を受信する。
(Step S41)
The video /
（ステップＳ４２）
映像・音声再生装置６は、図６に示す映像音声データ受信部６１１で受信したデータの収録制御部６２１を使って、記憶部６３へ映像・音声収録データとして収録を行う。この際、映像音声データは圧縮処理を行っても良いし、しなくても良い。
(Step S42)
The video /
（ステップＳ４３）
映像・音声再生装置６は自動再生を行う。この時の再生は遅延再生をしても良いし、しなくても良い。
(Step S43)
The video /
（ステップＳ４４）
情報処理装置５は、音声認識によって得られたテキストが正しかったかどうかを確認する際に、図１１に示すブロック５２１乃至ブロック５１６をダブルタップアクションする。その際に情報処理装置５はその音声認識テキストのブロックに対応する音声のタイムコードを読み出す。
(Step S44)
The
（ステップＳ４５）
情報処理装置５は、音声認識テキストデータ出力制御サーバ３に対して、ダブルタップされた音声認識テキストのブロックに対応するタイムコード（TC）を付与して、戻し再生指示を伝える。
(Step S45)
The
（ステップＳ４６）
情報処理装置５から戻し再生指示を受け取った音声認識テキストデータ出力制御サーバ３は、戻し再生モードに切り替える。
(Step S46)
The voice recognition text data
（ステップＳ４７）
音声認識テキストデータ出力制御サーバ３は、映像・音声再生装置６に対して、戻し再生モードを伝えるため、戻し再生指示を出力する。
(Step S47)
The voice recognition text data
（ステップＳ４８）
音声認識テキストデータ出力制御サーバ３から戻し指示を、図６に記載の外部制御受信部６１３で受けた映像・音声再生装置６は音声再生部６２２、画像再生部６２３から映像音声データ再生部６１２に戻し再生の指示を出し、映像音声データ再生部６１２は一旦再生をストップし、対応するタイムコードの映像部分の映像の静止画像を再生するとともに、音声の再生を行う。
(Step S48)
The video /
（ステップＳ４９）
音声認識テキストデータ出力制御サーバ３は一定時間の再生を終えると、通常再生に追いつくまで倍速再生を行う。倍速再生とは前述したとおり２倍という意味ではなく、１．２倍、１．３倍といったｎ倍速を表す。
(Step S49)
When the voice recognition text data
（ステップＳ５０）
映像・音声再生装置６は映像音声データ再生部６１２で映像・音声の倍速再生処理を行うが、規定のディレイ値に追い付いたかどうかを判断し、追いついていれば映像音声データ再生部６１２に倍速再生指示はストップし、ステップＳ４３の通常再生に戻す。戻っていなければステップＳ４９のとおり倍速再生を続ける。このステップを続けながら音声認識テキスト修正を行っていき、放送字幕のテキストを作成していく。
(Step S50)
The video /
＜映像音声モニタ実施例２＞
音声認識によって得られたテキストを修正する際（ステップＳ２８）に、映像音声を確認するためのモニタ環境としての映像・音声再生装置６の動作例について図２０を参照しながら説明する。図２０は、本発明の映像・音声再生装置の動作の一例を示すフローチャートである。
<Video / Audio Monitor Example 2>
An operation example of the video /
（ステップＳ５１）
映像・音声再生装置６は、図６に示す映像音声データ受信部６１１を使って映像音声を受信する。
(Step S51)
The video /
（ステップＳ５２）
映像・音声再生装置６は、図６に示す映像音声データ受信部６１１で受信したデータの収録制御部６２１を使って、記憶部６３へ映像・音声収録データとして収録を行う。この際、映像音声データは圧縮処理を行っても良いし、しなくても良い。
(Step S52)
The video /
（ステップＳ５３）
映像・音声再生装置６は、ステップＳ５２の数秒後にディレイ再生（遅延再生）を行う。遅延秒数は図６に示す記憶部６３の設定データＳＵＤで設定されている値によって決定されるが、音声認識テキストが表示されてから、モニタの映像音声が再生されることが好ましく、音声認識処理が行われる平均時間を遅延量として設定していることが望ましい。
(Step S53)
The video /
（ステップＳ５４）
情報処理装置５は、音声認識によって得られたテキストが誤っているとオペレータが判断した場合、テキストを修正する（ステップＳ２８）。その際に修正アクション行う、例えば図１７のように修正エリア５２ｄを登場させるが、キーボードで修正が行われる際、この時間は修正オペレータの聞き取り作業ができなくなるため、再生を止めるか再生を止めたり、遅くしたりする必要が出てくる。
(Step S54)
When the operator determines that the text obtained by voice recognition is incorrect, the
（ステップＳ５５）
情報処理装置５は、音声認識テキストデータ出力制御サーバ３に対して、修正中であることを伝えるため、修正中ステータスを出力する。
(Step S55)
The
（ステップＳ５６）
情報処理装置５から修正中ステータスを受け取った音声認識テキストデータ出力制御サーバ３は、スロー再生制御ステータスに切り替える。
(Step S56)
The voice recognition text data
（ステップＳ５７）
音声認識テキストデータ出力制御サーバ３は、映像・音声再生装置６に対して、スロー再生制御ステータスを伝えるため、スロー再生指示を出力する。
(Step S57)
The voice recognition text data
（ステップＳ５８）
音声認識テキストデータ出力制御サーバ３からスロー再生指示を、図６に記載の外部制御受信部６１３で受けた映像・音声再生装置６はスロー再生指示部６２４から映像音声データ再生部６１２にスロー再生指示を出し、映像音声データ再生部６１２は映像・音声のスロー再生処理を行う。
(Step S58)
The video /
（ステップＳ５９）
情報処理装置５は、修正が完了した場合、例えば図１２のＴＡＫＥボタン５１７を押下した際には修正が完了したことを示し、再生が規定ディレイ値に追いつくために倍速再生にする必要がある。
(Step S59)
When the correction is completed, for example, when the TAKE button 517 of FIG. 12 is pressed, the
（ステップＳ６０）
情報処理装置５は、音声認識テキストデータ出力制御サーバ３に対して、修正が終了したことを伝えるため、通常ステータスを出力する。
(Step S60)
The
（ステップＳ６１）
情報処理装置５から通常ステータスを受け取った音声認識テキストデータ出力制御サーバ３は、倍速再生制御ステータスに切り替える。
(Step S61)
The voice recognition text data
（ステップＳ６２）
音声認識テキストデータ出力制御サーバ３は、映像・音声再生装置６に対して、倍速再生制御ステータスを伝えるため、倍速再生指示を出力する。
(Step S62)
The voice recognition text data
（ステップＳ６３）
音声認識テキストデータ出力制御サーバ３から倍速再生指示を、図６に記載の外部制御受信部６１３で受けた映像・音声再生装置６は倍速再生指示部６２５から映像音声データ再生部６１２に倍速再生指示を出し、映像音声データ再生部６１２は映像・音声の倍速再生処理を行う。倍速再生とは前述したとおり２倍という意味ではなく、１．２倍、１．３倍といったｎ倍速を表す。
(Step S63)
The video /
（ステップＳ６４）
映像・音声再生装置６は映像音声データ再生部６１２で映像・音声の倍速再生処理を行うが、規定のディレイ値に追い付いたかどうかを判断し、追いついていれば映像音声データ再生部６１２に倍速再生指示はストップし、ステップＳ５３の通常再生に戻す。戻っていなければステップＳ６３のとおり倍速再生を続ける。このステップを続けながら音声認識テキスト修正を行っていき、放送字幕のテキストを作成していく。
(Step S64)
The video /
１ リアルタイム音声入力処理装置
２ 音声認識処理サーバ
３ 音声認識テキストデータ出力制御サーバ
４ 形態素解析サーバ
５ 情報処理装置
６ 映像・音声再生装置
２１ 音声認識処理サーバ送受信部
２２ 音声認識処理サーバ情報処理部
２３ 音声認識処理サーバ記憶部
３１ 音声認識テキストデータ出力制御サーバ送受信部
３２ 音声認識テキストデータ出力制御サーバ情報処理部
３３ 音声認識テキストデータ出力制御サーバ記憶部
５１ 情報処理装置送受信部
５２ 情報処理装置表示部
５３ 情報処理装置情報処理
５４ 情報処理装置記憶部
４１ 形態素解析サーバ送受信部
４２ 形態素解析サーバ情報処理部
４３ 形態素解析サーバ記憶部
６１ 映像・音声再生装置送受信部
６２ 映像・音声再生装置情報処理部
６３ 映像・音声再生装置記憶部
１００ 情報処理システム
２１１ リアルタイム音声データ受信部
２１２ 辞書テキストデータ受信部
２１３ 修正結果テキストデータ受信部
２１４ 音声認識結果テキストデータ／音声データ送信部
２２１ 音声認識部
２２２ 辞書データ生成部
２２３ テキスト出力部
３１１ 音声認識結果テキスト／音声データ受信部
３１２ 放送用テキストデータ送信部
３１３ 辞書用修正結果テキストデータ送信部
３１４ 修正前テキスト／音声送信部
３２１ 音声認識結果修正処理部
３２２ 修正結果辞書生成部
３２３ 放送用テキスト出力部
３２４ 修正前テキスト／音声出力部
４１１ 外部テキスト受信部
４１２ 辞書データ送信部
４２１ 形態素解析部
４２２ 読みデータ生成部
４２３ 辞書生成部
４２４ 出現スコア計算部
６１１ 映像音声データ受信部
６１２ 映像音声再生部
６１３ 外部制御受信部
６２１ 収録制御部
６２２ 音声再生部
６２３ 画像再生部
６２４ スロー再生指示部
６２５ 倍速再生指示部
ＡＭＤ 音響モデルデータ
ＡＴＤ２ 時刻付音声データ
ＡＴＤ３ 時刻付音声データ
ＤＩＤ 辞書データ
ＤＭＤ 辞書生成データ
ＬＭＤ 言語モデルデータ
ＭＤＤ 修正結果辞書データ
ＭＤＴ 形態素解析ツール
ＯＴＤ 外部テキストデータ
ＲＢＴ 読み合わせツール
ＲＴＬ 受信テキストログ
ＳＴＬ 送信テキストログ
ＳＵＬ 設定データ
ＶＡＤ 映像・音声収録データ
1 Real-time voice input processing device 2 Voice recognition processing server 3 Voice recognition text data output control server 4 Morphological analysis server 5 Information processing device 6 Video / voice playback device 21 Voice recognition processing server Transmission / reception unit 22 Voice recognition processing server Information processing unit 23 Voice Recognition processing server Storage unit 31 Voice recognition text data output control server Transmission / reception unit 32 Voice recognition text data output control server Information processing unit 33 Voice recognition text data output control server Storage unit 51 Information processing device Transmission / reception unit 52 Information processing device display unit 53 Information Processing device information processing 54 Information processing device storage unit 41 Morphological analysis server transmission / reception unit 42 Morphological analysis server information processing unit 43 Morphological analysis server storage unit 61 Video / audio playback device transmission / reception unit 62 Video / audio playback device information processing unit 63 Video / audio Reproduction device Storage unit 100 Information processing system 211 Real-time voice data reception unit 212 Dictionary text data reception unit 213 Correction result text data reception unit 214 Voice recognition result text data / voice data transmission unit 221 Voice recognition unit 222 Dictionary data generation unit 223 Text output Part 311 Voice recognition result text / voice data reception unit 312 Broadcast text data transmission unit 313 Dictionary correction result text data transmission unit 314 Uncorrected text / voice transmission unit 321 Voice recognition result correction processing unit 322 Correction result dictionary generation unit 323 Broadcast Text output unit 324 Uncorrected text / audio output unit 411 External text receiver 412 Dictionary data transmission unit 421 Morphological analysis unit 422 Reading data generation unit 423 Dictionary generation unit 424 Appearance score calculation unit 611 Video / audio data reception unit 612 Video / audio playback Unit 613 External control reception unit 621 Recording control unit 622 Audio reproduction unit 623 Image reproduction unit 624 Slow playback instruction unit 625 Double speed playback instruction unit AMD Acoustic model data ATD2 Timed audio data ATD3 Timed audio data DID dictionary data DMD dictionary generation data LMD Language model data MDD correction result dictionary data MDT morphological analysis tool OTD external text data RBT reading tool RTL received text log STL transmitted text log SUL setting data VAD video / audio recording data
Claims (10)
音声認識処理手段で得られたテキストデータ群を形態素解析する解析手段と、
前記解析手段で解析されたテキストデータ群を形態素ごとにブロック表示で表示制御を行い、前記表示制御で表示された前記ブロック表示の複数ブロックを跨いで右横スワイプアクションした際に、前記複数ブロックを１ブロックにまとめてブロック表示制御する表示制御部と、
を備えることを特徴とした音声認識テキストデータ出力制御装置。 A voice recognition text data output control device that controls the output of voice data and text data that is the result of voice recognition of the voice data.
An analysis means for morphological analysis of a text data group obtained by a voice recognition processing means, and an analysis means.
When the text data group analyzed by the analysis means is displayed and controlled by block display for each morpheme, and a right-horizontal swipe action is performed across a plurality of blocks of the block display displayed by the display control, the multiple blocks are displayed. A display control unit that controls the block display by grouping the data into one block,
A voice recognition text data output control device characterized by being equipped with.
音声認識処理を行う映像データ、または音声データを収録する第一収録部と、
前記表示制御で表示された前記ブロック表示の１ブロックをダブルタップアクションした際に、前記１ブロックに該当するテキストに関連づけられている第一収録部に収録された音声データ再生する音声再生部と、
前記１ブロックに該当するテキストに関連づけられている第一収録部に収録された映像データの一部の画像を再生する画像再生部と、
を備えることを特徴とした音声認識テキストデータ出力制御装置。 The voice recognition text data output control device according to claim 1.
The first recording unit that records video data or audio data that performs audio recognition processing,
When one block of the block display displayed by the display control is double-tapped, the audio reproduction unit that reproduces the audio data recorded in the first recording unit associated with the text corresponding to the one block, and the audio reproduction unit.
An image reproduction unit that reproduces a part of the image of the video data recorded in the first recording unit associated with the text corresponding to the one block, and an image reproduction unit.
A voice recognition text data output control device characterized by being equipped with.
音声認識処理手段で得られたテキストデータ群を形態素解析する解析手段と、
前記解析手段で解析されたテキストデータ群を形態素ごとにブロック表示で表示制御を行い、前記表示制御で表示された前記ブロック表示の１ブロックを上スワイプアクションした際に、前記１ブロックを消去して表示、及び前記ブロック表示の１ブロックを下スワイプアクションした際に、前記１ブロック以降のブロックは前記１ブロックよりも下段に表示制御する表示制御部と、
前記表示制御で表示された前記ブロック表示の１ブロックを上スワイプアクションし、前記１ブロックを消去して表示したと同時に、前記１ブロックに該当するテキストを削除する、及び前記ブロック表示の１ブロックを下スワイプアクションし、前記１ブロック以降のブロックは前記１ブロックよりも下段に表示制御すると同時に、前記１ブロックに該当するテキストの後ろに改行コードを挿入するテキスト編集部と、
を備えることを特徴とした音声認識テキストデータ出力制御装置。 A voice recognition text data output control device that controls the output of voice data and text data that is the result of voice recognition of the voice data.
An analysis means for morphological analysis of a text data group obtained by a voice recognition processing means, and an analysis means.
The display control of the text data group analyzed by the analysis means is performed by block display for each morpheme, and when one block of the block display displayed by the display control is swiped up, the one block is erased. When the display and one block of the block display are swiped down, the blocks after the one block are displayed and controlled below the one block, and the display control unit.
Swipe up one block of the block display displayed by the display control to erase and display the one block, and at the same time, delete the text corresponding to the one block and display one block of the block display. A text editing unit that inserts a line feed code after the text corresponding to the one block at the same time as controlling the display of the blocks after the first block by swiping down .
A voice recognition text data output control device characterized by being equipped with.
前記表示制御で表示された前記ブロック表示の複数ブロックを跨いで右横スワイプアクションした際に、前記複数ブロックを１ブロックにまとめてブロック表示制御する表示制御部と、
を備えることを特徴とした音声認識テキストデータ出力制御装置。 The voice recognition text data output control device according to claim 3 .
When a right-horizontal swipe action is performed across a plurality of blocks of the block display displayed by the display control, a display control unit that collectively controls the block display of the plurality of blocks into one block, and a display control unit.
A voice recognition text data output control device characterized by being equipped with.
音声認識処理手段で得られたテキストデータ群を形態素解析する解析手段と、
前記解析手段で解析されたテキストデータ群を形態素ごとにブロック表示で表示制御を行う表示制御を行い、前記表示制御で表示された前記ブロック表示の１ブロックをタップアクションした際に、前記１ブロックに該当するテキストを直接キーボードで修正可能なテキスト修正エリアを表示制御する表示制御部と、
音声認識処理を行う映像データ、もしくは音声データを収録する第二収録部と、
通常時は前記第二収録部に収録された映像データ、または音声データを映像音声データ受信時から設定した時間を遅延させて等倍再生し、前記設定した時間以上遅延していた場合は規定の倍速再生をする再生部と、
前記表示制御部が前記修正エリアを表示した際に、前記再生部に対しスロー再生を指示するスロー再生指示部と、
前記表示制御部が前記修正エリアの表示を終了した際に、前記再生部に対し規定の倍速再生を指示する倍速再生指示部と、
を備えることを特徴とした音声認識テキストデータ出力制御装置。 A voice recognition text data output control device that controls the output of voice data and text data that is the result of voice recognition of the voice data.
An analysis means for morphological analysis of a text data group obtained by a voice recognition processing means, and an analysis means.
Display control is performed to control the display of the text data group analyzed by the analysis means by block display for each morpheme, and when one block of the block display displayed by the display control is tapped, the block is displayed. A display control unit that controls the display of the text correction area where the corresponding text can be corrected directly with the keyboard,
Video data that performs voice recognition processing, or a second recording unit that records voice data,
Normally, the video data or audio data recorded in the second recording unit is played back at the same magnification with a delay of the set time from the time of receiving the video / audio data, and if the delay is longer than the set time , the specified time is specified. A playback unit that plays at double speed,
When the display control unit displays the correction area, a slow playback instruction unit that instructs the playback unit to perform slow playback, and a slow playback instruction unit.
When the display control unit finishes displaying the correction area, the double-speed reproduction instruction unit that instructs the reproduction unit to perform the specified double-speed reproduction,
A voice recognition text data output control device characterized by being equipped with.
前記表示制御で表示された前記ブロック表示の複数ブロックを跨いで右横スワイプアクションした際に、前記複数ブロックを１ブロックにまとめてブロック表示制御する表示制御部と、
を備えることを特徴とした音声認識テキストデータ出力制御装置。 The voice recognition text data output control device according to claim 5.
When a right-horizontal swipe action is performed across a plurality of blocks of the block display displayed by the display control, a display control unit that collectively controls the block display of the plurality of blocks into one block, and a display control unit .
A voice recognition text data output control device characterized by being equipped with.
音声認識処理手段で得られたテキストデータ群を形態素解析する解析ステップと、
前記解析ステップで解析されたテキストデータ群を形態素ごとにブロック表示で表示制御を行い、前記表示制御で表示された前記ブロック表示の複数ブロックを跨いで右横スワイプアクションした際に、前記複数ブロックを１ブロックにまとめてブロック表示制御する表示制御ステップと、
を備えることを特徴とした音声認識テキストデータ出力制御方法。 It is a voice recognition text data output control method that controls the output of voice data and text data that is the result of voice recognition of the voice data.
An analysis step for morphological analysis of text data groups obtained by speech recognition processing means,
When the text data group analyzed in the analysis step is displayed and controlled by block display for each morpheme, and a right-horizontal swipe action is performed across a plurality of blocks of the block display displayed by the display control, the multiple blocks are displayed. A display control step that controls the block display by grouping the data into one block ,
A voice recognition text data output control method characterized by being equipped with.
音声認識処理手段で得られたテキストデータ群を形態素解析する解析ステップと、
前記解析ステップで解析されたテキストデータ群を形態素ごとにブロック表示で表示制御を行い、前記表示制御で表示された前記ブロック表示の１ブロックを上スワイプアクションした際に、前記１ブロックを消去して表示制御する、及び前記ブロック表示の１ブロックを下スワイプアクションした際に、前記１ブロック以降のブロックは前記１ブロックよりも下段に表示制御する表示制御ステップと、
前記表示制御ステップで表示された前記ブロック表示の１ブロックを上スワイプアクションし、前記１ブロックを消去して表示したと同時に、前記１ブロックに該当するテキストを削除する、及び前記ブロック表示の１ブロックを下スワイプアクションし、前記１ブロック以降のブロックは前記１ブロックよりも下段に表示制御すると同時に、前記１ブロックに該当するテキストの後ろに改行コードを挿入するテキスト編集ステップと、
を備えることを特徴とした音声認識テキストデータ出力制御方法。 It is a voice recognition text data output control method that controls the output of voice data and text data that is the result of voice recognition of the voice data.
An analysis step for morphological analysis of text data groups obtained by speech recognition processing means,
The display control of the text data group analyzed in the analysis step is performed by block display for each morpheme, and when one block of the block display displayed by the display control is swiped up, the one block is deleted. When the display is controlled and one block of the block display is swiped down, the blocks after the one block are displayed and controlled below the one block, and the display control step.
Swipe up one block of the block display displayed in the display control step to erase and display the one block, and at the same time, delete the text corresponding to the one block, and one block of the block display. Swipe down to control the display of blocks after the 1st block below the 1st block, and at the same time, insert a line feed code after the text corresponding to the 1st block, and a text editing step .
A voice recognition text data output control method characterized by being equipped with.
音声認識処理手段で得られたテキストデータ群を形態素解析する解析手段、
前記解析手段で解析されたテキストデータ群を形態素ごとにブロック表示で表示制御を行い、前記表示制御で表示された前記ブロック表示の複数ブロックを跨いで右横スワイプアクションした際に、前記複数ブロックを１ブロックにまとめてブロック表示制御する表示制御手段、
を備えることを特徴とした音声認識テキストデータ出力制御プログラム。 A voice recognition text data output control computer that controls the output of voice data and text data that is the result of voice recognition of the voice data.
An analysis means for morphological analysis of text data groups obtained by speech recognition processing means,
When the text data group analyzed by the analysis means is displayed and controlled by block display for each morpheme, and a right-horizontal swipe action is performed across a plurality of blocks of the block display displayed by the display control, the multiple blocks are displayed. Display control means for controlling block display by grouping
A voice recognition text data output control program characterized by being equipped with.
音声認識処理手段で得られたテキストデータ群を形態素解析する解析手段、
前記解析手段で解析されたテキストデータ群を形態素ごとにブロック表示で表示制御を行い、前記表示制御で表示された前記ブロック表示の１ブロックを上スワイプアクションした際に、前記１ブロックを消去して表示制御する、及び前記ブロック表示の１ブロックを下スワイプアクションした際に、前記１ブロック以降のブロックは前記１ブロックよりも下段に表示制御する表示制御手段、
前記表示制御で表示された前記ブロック表示の１ブロックを上スワイプアクションし、前記１ブロックを消去して表示したと同時に、前記１ブロックに該当するテキストを削除する、及びブロック表示の１ブロックを下スワイプアクションし、前記１ブロック以降のブロックは前記１ブロックよりも下段に表示制御すると同時に、前記１ブロックに該当するテキストの後ろに改行コードを挿入するテキスト編集手段、
を備えることを特徴とした音声認識テキストデータ出力制御プログラム。
A voice recognition text data output control computer that controls the output of voice data and text data that is the result of voice recognition of the voice data.
An analysis means for morphological analysis of text data groups obtained by speech recognition processing means,
The display control of the text data group analyzed by the analysis means is performed by block display for each morpheme, and when one block of the block display displayed by the display control is swiped up, the one block is erased. A display control means for controlling display and controlling the display of one block of the block display below the one block when the one block of the block display is swiped down.
Swipe up one block of the block display displayed by the display control to erase and display the one block, and at the same time, delete the text corresponding to the one block and move down one block of the block display. A text editing means that swipes to control the display of blocks after the first block below the one block, and at the same time inserts a line feed code after the text corresponding to the one block .
A voice recognition text data output control program characterized by being equipped with.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020184011A JP7087041B2 (en) | 2020-11-02 | 2020-11-02 | Speech recognition text data output control device, speech recognition text data output control method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020184011A JP7087041B2 (en) | 2020-11-02 | 2020-11-02 | Speech recognition text data output control device, speech recognition text data output control method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022073807A JP2022073807A (en) | 2022-05-17 |
| JP7087041B2 true JP7087041B2 (en) | 2022-06-20 |
Family
ID=81604874
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020184011A Active JP7087041B2 (en) | 2020-11-02 | 2020-11-02 | Speech recognition text data output control device, speech recognition text data output control method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7087041B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009294785A (en) | 2008-06-03 | 2009-12-17 | Casio Comput Co Ltd | Electronic dictionary apparatus and program |
| JP2016200896A (en) | 2015-04-08 | 2016-12-01 | 富士通株式会社 | Character input method, device and program |
| JP2019148681A (en) | 2018-02-27 | 2019-09-05 | 富士通株式会社 | Text correction device, text correction method and text correction program |
| JP2019197321A (en) | 2018-05-08 | 2019-11-14 | 京セラドキュメントソリューションズ株式会社 | Image processing apparatus and image forming apparatus |
| JP2020516994A (en) | 2017-03-29 | 2020-06-11 | 北京捜狗科技▲発▼展有限公司 | Text editing method, device and electronic device |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6192104B2 (en) * | 2013-09-13 | 2017-09-06 | 国立研究開発法人情報通信研究機構 | Text editing apparatus and program |
| JP7119857B2 (en) * | 2018-09-28 | 2022-08-17 | 富士通株式会社 | Editing program, editing method and editing device |
-
2020
- 2020-11-02 JP JP2020184011A patent/JP7087041B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009294785A (en) | 2008-06-03 | 2009-12-17 | Casio Comput Co Ltd | Electronic dictionary apparatus and program |
| JP2016200896A (en) | 2015-04-08 | 2016-12-01 | 富士通株式会社 | Character input method, device and program |
| JP2020516994A (en) | 2017-03-29 | 2020-06-11 | 北京捜狗科技▲発▼展有限公司 | Text editing method, device and electronic device |
| JP2019148681A (en) | 2018-02-27 | 2019-09-05 | 富士通株式会社 | Text correction device, text correction method and text correction program |
| JP2019197321A (en) | 2018-05-08 | 2019-11-14 | 京セラドキュメントソリューションズ株式会社 | Image processing apparatus and image forming apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022073807A (en) | 2022-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8386265B2 (en) | Language translation with emotion metadata | |
| US8447604B1 (en) | Method and apparatus for processing scripts and related data | |
| US6172675B1 (en) | Indirect manipulation of data using temporally related data, with particular application to manipulation of audio or audiovisual data | |
| US20150098018A1 (en) | Techniques for live-writing and editing closed captions | |
| US20110093263A1 (en) | Automated Video Captioning | |
| US20080275700A1 (en) | Method of and System for Modifying Messages | |
| JPWO2018216729A1 (en) | Audio guide generation device, audio guide generation method, and broadcast system | |
| CN110740275B (en) | Nonlinear editing system | |
| CN113035199B (en) | Audio processing method, device, equipment and readable storage medium | |
| JP2012181358A (en) | Text display time determination device, text display system, method, and program | |
| CN111885416B (en) | Audio and video correction method, device, medium and computing equipment | |
| JP6327745B2 (en) | Speech recognition apparatus and program | |
| JP7107229B2 (en) | Information processing device, information processing method, and program | |
| CN110781649A (en) | Subtitle editing method and device, computer storage medium and electronic equipment | |
| JP4020083B2 (en) | Transcription text creation support system and program | |
| JP5751627B2 (en) | WEB site system for transcription of voice data | |
| US20200075000A1 (en) | System and method for broadcasting from a group of speakers to a group of listeners | |
| Pražák et al. | Live TV subtitling through respeaking with remote cutting-edge technology | |
| CN113591491B (en) | Speech translation text correction system, method, device and equipment | |
| CN113365109A (en) | Method and device for generating video subtitles, electronic equipment and storage medium | |
| JP7087041B2 (en) | Speech recognition text data output control device, speech recognition text data output control method, and program | |
| JP2013050605A (en) | Language model switching device and program for the same | |
| JP2014134640A (en) | Transcription device and program | |
| JP2020201363A (en) | Voice recognition text data output control device, voice recognition text data output control method, and program | |
| CN111429878A (en) | Self-adaptive speech synthesis method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20201106 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210105 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210116 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210322 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210409 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210511 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210804 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210929 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210929 |
|
| C11 | Written invitation by the commissioner to file amendments |
Free format text: JAPANESE INTERMEDIATE CODE: C11 Effective date: 20211013 |
|
| C12 | Written invitation by the commissioner to file intermediate amendments |
Free format text: JAPANESE INTERMEDIATE CODE: C12 Effective date: 20211013 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20211018 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20211019 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20211224 |
|
| C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20211228 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220407 |
|
| C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20220516 |
|
| C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220608 |
|
| C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220608 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220608 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7087041 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |