JP4513165B2 - Program recording method, program recording apparatus, program recording / reproducing apparatus, and program recording / reproducing method - Google Patents

Program recording method, program recording apparatus, program recording / reproducing apparatus, and program recording / reproducing method Download PDF

Info

Publication number
JP4513165B2
JP4513165B2 JP2000119854A JP2000119854A JP4513165B2 JP 4513165 B2 JP4513165 B2 JP 4513165B2 JP 2000119854 A JP2000119854 A JP 2000119854A JP 2000119854 A JP2000119854 A JP 2000119854A JP 4513165 B2 JP4513165 B2 JP 4513165B2
Authority
JP
Japan
Prior art keywords
program
recording
voice recognition
text data
program recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000119854A
Other languages
Japanese (ja)
Other versions
JP2001309282A (en
JP2001309282A5 (en
Inventor
学 鵜飼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2000119854A priority Critical patent/JP4513165B2/en
Publication of JP2001309282A publication Critical patent/JP2001309282A/en
Publication of JP2001309282A5 publication Critical patent/JP2001309282A5/ja
Application granted granted Critical
Publication of JP4513165B2 publication Critical patent/JP4513165B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【０００１】
【発明の属する技術分野】
本発明は、番組記録方法及び番組記録装置及び番組記録再生装置及び番組記録再生方法に関する。詳しくは、音声信号を認識しながら番組を記録する際に認識した音声信号をテキストデータに変換して記録し且つ蓄積する番組記録方法及び番組記録装置及び番組記録再生装置及び番組記録再生方法に関する。
【０００２】
【従来の技術】
従来、放送番組を記録する時は、ＥＰＧ（電子番組ガイド）等を検索して番組内容を確認し、所望の放送番組を記録している。又、記録媒体に記録している放送番組を検索する時は、記録した放送番組名一覧が表示され、その中から所望の番組を選択する方法や、記録した番組の先頭を検出して再生する頭出し機能による方法等がある。
【０００３】
【発明が解決しようとする課題】
しかしながら、ＥＰＧの情報は分類方法が定型的であり、検索する時は所望のキーワードで検索することができない、又、ＥＰＧが付加されていない放送番組もある。一方、同一の記録媒体に多くの番組を記録している場合に、所望の放送番組や放送番組の見たい場面を検索したり、これらの検索を任意のキーワードで行うことができないという問題がある。
【０００４】
従って、記録した放送番組や放送番組内の所望の場面をユーザが入力するキーワードで検索できるようにすることに解決しなければならない課題を有する。
【０００５】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る番組記録方法及び番組記録装置及び番組記録再生装置及び番組記録再生方法は、次に示す構成にすることである。
【０００６】
（１）音声認識を行いながら番組を記録し、
該音声認識の結果をテキストデータに変換して記録し且つ蓄積し、
前記テキストデータから番組プログラムの内容を解析し、該解析した番組プログラムの内容を記録し且つ蓄積し、
特定の音声信号をキーにして、蓄積されているテキストデータを検索する番組記録方法であって、
前記音声認識の結果と共に各音声認識単位の出現頻度をも記録することを特徴とする番組記録方法。
【０００７】
（２）音声認識を行いながら番組を記録する手段と、
該音声認識の結果をテキストデータに変換して記録し且つ蓄積する手段と、
前記テキストデータから番組プログラムの内容を解析し、該解析した番組プログラムの内容を記録し且つ蓄積する手段と、
特定の音声信号をキーにして、蓄積されているテキストデータを検索する手段と、を備えた番組記録装置であって、
前記音声認識の結果と共に各音声認識単位の出現頻度をも記録する手段を備えたことを特徴とする番組記録装置。
【０００８】
（３）音声認識を行いながら番組を記録する手段と、
該音声認識の結果をテキストデータに変換して記録し且つ蓄積する手段と、
入力したキーワードと前記蓄積されているテキストデータとを比較して一致したテキストデータに関連する番組を再生する再生手段と、を備えた番組記録再生装置であって、
前記音声認識の結果と共に各音声認識単位の出現頻度をも記録する手段を備えたことを特徴とする番組記録再生装置。
（４）上記（３）における番組記録再生装置において、
前記音声認識単位の出現頻度の高い順に表示して適宜選択し、該選択された音声認識単位のテキストデータに関連する番組を再生することを特徴とする番組記録再生装置。
（５）上記（３）における番組記録再生装置において、
前記テキストデータから番組プログラムの内容を解析する手段を備え、該解析したプログラムの内容を記録し且つ蓄積することを特徴とする番組記録再生装置。
（６）上記（５）における番組記録再生装置において、
前記蓄積されている番組プログラムの内容を表示して適宜選択し、該選択された番組プログラムの内容に関連する番組を再生することを特徴とする番組記録再生装置。
（７）音声認識を行いながら番組を記録し、
該音声認識の結果をテキストデータに変換して記録し且つ蓄積し、
入力したキーワードと前記蓄積されているテキストデータとを比較して一致したテキストデータに関連する番組を再生する番組記録再生方法であって、
前記音声認識の結果と共に各音声認識単位の出現頻度をも記録することを特徴とする番組記録再生方法。
【０００９】
このように、番組を記録する際に、その音声信号を認識してテキストデータとして記録蓄積することにより、このテキストデータに基づいて後に番組の内容について検索したり、このテキストデータを加工してユーザに提示等する二次利用がし易くなる。
【００１０】
【発明の実施の形態】
次に、本発明に係る番組記録方法及び番組記録装置及び番組記録再生装置及び番組記録再生方法の実施の形態を図面を参照して説明する。
【００１１】
本発明に係る番組記録方法及び番組記録再生装置及び番組記録再生方法を具現化する番組記録装置は、図１に示すように、デジタル放送番組ＴＳ（トランスポートストリーム）を所定のパケットに分別するＤＭＵＸ部１０と、蓄積するデータの制御を行う制御部２０と、音声認識の結果を処理する音声信号処理部３０と、テキストデータを含む放送番組に関するデータを蓄積する情報蓄積部４０と、情報蓄積部４０に蓄積されているデータを所定のパケットにするＭＵＸ部５０とから大略構成されている。
【００１２】
ＤＭＵＸ部１０は、デマルチプレクサであり、デジタル放送番組ＴＳ（トランスポートストリーム）を画像パケット、音声パケット、カウンター値としての時間情報、その他のストリームに関する情報であるプログラム情報に分別して出力する。
【００１３】
制御部２０は、プログラム情報や外部からの入力情報に従い、情報蓄積部４０に対してパケットの記録や消去及び出力などの指示を行う。
【００１４】
音声信号処理部３０は、時間情報に従い音声パケットから音声信号を復元するＤＥＣ部３１と、音声信号を認識して文字データに変換する音声認識部３２と、音声パケットと文字データの同期を取るための時間情報を生成するシフト部３３と、文字データと時間情報を合成して出力する合成部３４から構成されている。
【００１５】
情報蓄積部４０は、制御部２０の制御に従い、音声パケットや画像パケット、音声処理部３０で処理された文字データ（テキストデータ）、プログラム情報等を記録媒体４１に記録して蓄積する。又、制御部２０から指定されたこれらの蓄積情報を記録媒体４１から抽出してＭＵＸ部５０へ出力する。
【００１６】
ＭＵＸ部５０は、マルチプレクサであり、制御部２０からの指示に従って、情報蓄積部４０から抽出された音声パケット、画像パケット、文字データ及びプログラム情報を放送番組ストリーム（ＴＳ；トランスポートストリーム）に合成して出力する。
【００１７】
このような構成の番組記録装置により、デジタル放送番組を記録する際に音声認識の結果をテキストデータにして記録し、その記録したデータを検索して再生する時の動作を説明する。
【００１８】
まず、外部チューナ等から受信されたデジタル放送信号（ＭＰＥＧ２−ＴＳ）がＤＭＵＸ部１０へ送られる。ＤＭＵＸ部１０はこのデジタル放送信号を解析して、画像パケット、音声パケット、システムクロックに同期する時間情報（カウンター値）、プログラム情報に分離して出力する。
【００１９】
出力された音声パケット、画像パケットは情報蓄積部４０へ送られ、プログラム情報は制御部２０へ送られる。同時に音声パケットと時間情報は音声処理部３０にも送られる。
【００２０】
制御部２０は、ＤＭＵＸ部１０から出力されたプログラム情報に基づき情報蓄積部４０に対して送られてくる音声パケット、画像パケットを記録媒体４１に記録するように指示を行う。
【００２１】
一方、音声処理部３０はＤＭＵＸ部１０からの音声パケットと時間情報により音声認識してその結果を文字データ（テキストデータ）に変換する処理を行う。この処理する過程を図３を併用して図２を参照して以下説明する。
【００２２】
先ず、ＤＭＵＸ部１０から出力された音声パケットは、図２（Ａ）に示すように、時間情報Ｔ１〜Ｔ５をそれぞれに持った音声信号パケットＡ〜Ｅである。
【００２３】
ＤＥＣ部３１は、このような音声信号パケットＡ〜Ｅを時間情報Ｔ１〜Ｔ５順に従って、ベースバンドの音声信号Ａ'〜Ｅ'に復元して音声認識部３２へ送る（図２（Ｂ）参照）。音声認識部３２では、音声信号Ａ'〜Ｅ'を音声認識して文字データ（テキストデータ）ａ〜ｅに変換して合成部３４へ送る。音声信号から文字データに変換するまでの変換時間αを要するため、認識した文字データａ〜ｅの時間情報は、文字変換前に有していた時間Ｔ１〜Ｔ５に対して変換時間αだけ遅延することになる。又、この文字データａ〜ｅは単語ｗ１〜ｗｎが集合したものであるので、その単語ｗ１〜ｗｎのそれぞれが変換時間α１〜αｎの遅延を含んだ時間ｔ１〜ｔｎという時間情報を持つ（図２（Ｃ）参照）。
【００２４】
一方、シフト部３３では、音声認識部３２で音声認識や文字データへの変換時間αの遅延を管理しカウンター値として合成部３４へ送る。合成部３４は、記録媒体４１に記録された音声パケットと文字データａ〜ｅとを同期させる為、音声認識部３２から送られてくる文字データａ〜ｅの単語ｗ１〜ｗｎが持つ時間情報ｔ１〜ｔｎから、単語の変換時間α１〜αｎ（遅延分）を差し引いた（ｔ１−α１）〜（ｔｎ−αｎ）という新たな時間情報を生成する。そして、この時間情報（ｔ１−α１）〜（ｔｎ−αｎ）を対応する各単語ｗ１〜ｗｎに新たな時間情報として付加する（図２（Ｄ）参照）。
【００２５】
このような処理を行うことにより、図３に示すような音声パケットとの同期がとれた時間情報ｔ１'〜ｔｎ'をもつ文字データａ'〜ｅ'が生成され、この文字データａ'〜ｅ'を情報蓄積部４０へ送る。情報蓄積部４０は、制御部２０に従い、ＤＭＵＸ部１０から送られてくる画像パケット、音声パケット、プログラム情報と、音声認識されて変換された文字データを各属性に分別して記録媒体４１へ記録して蓄積する（図４参照）。
【００２６】
そして、このように蓄積された放送番組を検索する時に所望のキーワードを入力されると、入力されたキーワードは、制御部２０で処理されて情報蓄積部４０へ送られる。情報蓄積部４０は、入力されたキーワードと記録媒体４１に蓄積されている文字データを比較参照し、一致する文字データを検索する。そして、一致した文字データがあれば、その文字データの時間情報と関連する画像パケット、音声パケット、プログラム情報を抽出して文字データと共にＭＵＸ部５０へ出力する。ＭＵＸ部５０では、制御部２０の指示により情報蓄積部４０から抽出された文字データ、画像パケット、音声パケットとプログラム情報をＴＳに合成して出力する。このキーワードは、即ち、検索するためのキーであり、特定の音声信号、例えば特定の歌手の音声信号や特定の音楽メロディーでも良く、適宜設定選択することができる。
【００２７】
このように放送番組の内容が文字データとして情報蓄積部４０に蓄積されているので、所望のキーワードを入力すると、制御部２０でキーワードにより蓄積された文字データを検索し、一致すれば所望の内容の場面が再生される。又、ＥＰＧを参照して文字データとの比較分析を行い、番組内容概要を文字データとして表示させたり、文字データをそのまま若しくは翻訳等の変換を行って表示させることもできる。
【００２８】
尚、音声認識部３２で音声認識する単位は任意の長さで良く、合成部３４で付加する時間情報も単語毎でなく任意長の識別単位の文字データに付加するようにしても良い。又、この識別単位の文字データを複数まとめて時間情報を付加して時間情報のデータ量を減らせば、記憶媒体の容量節約ができる。更に自然界の音や楽器等の音声以外の音は別途区別され、これに任意に識別できる文字データを割当てて処理することも可能である。
【００２９】
次に、第２の実施の形態の番組記録装置について、第１の実施の形態で参照した図１を用いて説明する。
【００３０】
第２の実施の形態の番組記録装置は、音声認識した文字データの出現頻度をデータ化するものであり、その装置構成は第１の実施の形態と同じであるため説明は省略する。又、各部で同じ動作を行っている場合にもその説明は省略する。
【００３１】
図１の音声処理部３０の音声認識部３２は、ＤＥＣ部３１で復元された音声信号を音声認識して文字データに変換し、更にこの文字データの各単語Ａ〜Ｄ・・・の出現頻度ａ〜ｃ・・・を調べて図５のヒストグラムのようにデータ化し、この出現頻度ａ〜ｃ・・・を各単語Ａ〜Ｄに付加して、図６に示すようなＨｉｓｔデータを生成する。そして、このＨｉｓｔデータを文字データと共に情報蓄積部４０へ送り、記録媒体４１に記録して蓄積する。
【００３２】
そして、ユーザーによりキーワードが入力されると、そのキーワードとＨｉｓｔデータを参照して、記録されている放送番組からそのキーワードの出現頻度の高い放送番組名を順に一覧表示したり、更にＥＰＧと組み合わせて記録する放送番組を検索することもできる。尚、出現頻度は単語ではなく任意長の文字データの出現頻度でもよいことは勿論である。
【００３３】
【発明の効果】
以上説明したように、番組を記録する際、番組の音声信号を音声認識させ、これを文字データとして蓄積させることにより、ユーザが任意のキーワードで記録した番組及びこの番組のある一場面を検索することができ、より効率的できめ細かい検索が可能になる。
【００３４】
更に、ＥＰＧ等を利用することで番組内容の概要を知ることもできる。又、ＥＰＧを持たない番組の検索も容易になり、加えて、文字データをそのまま若しくは翻訳して表示させることにより字幕として使用することもできる。
【図面の簡単な説明】
【図１】 本発明に係る番組記録装置の主要部を示したブロック図である。
【図２】 本発明係る番組記録装置で音声パケットを音声認識して文字データに変換する時の時系列を表す説明図である。
【図３】 本発明係る文字データのフォーマット形式の一例を表す概念図である。
【図４】 本発明係る番組記録装置の記録媒体に記録されたデータのファイル構造を表す概念図である。
【図５】 本発明係る番組記録装置で文字データの出現頻度をヒストグラム化した状態を表す概念図である。
【図６】 出現頻度を付加した文字データのフォーマット形式の一例を表す概念図である。
【符号の説明】
１０；ＤＭＵＸ部、２０；制御部、３０；音声処理部、３１；ＤＥＣ部、３２；音声認識部、３３；シフト部、３４；合成部、４０；情報蓄積部、４１；記録媒体、５０；ＭＵＸ部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a program recording method, a program recording apparatus, a program recording / reproducing apparatus, and a program recording / reproducing method . More specifically, the present invention relates to a program recording method, a program recording apparatus, a program recording / reproducing apparatus, and a program recording / reproducing method for converting an audio signal recognized when recording a program while recognizing an audio signal to record and store the converted text data.
[0002]
[Prior art]
Conventionally, when a broadcast program is recorded, an EPG (electronic program guide) or the like is searched to confirm the program contents, and a desired broadcast program is recorded. When searching for a broadcast program recorded on a recording medium, a list of recorded broadcast program names is displayed, and a method for selecting a desired program from the list, or the beginning of the recorded program is detected and reproduced. There are methods using the cue function.
[0003]
[Problems to be solved by the invention]
However, EPG information has a standard classification method, and when searching, there is a broadcast program that cannot be searched with a desired keyword, and that does not have an EPG added thereto. On the other hand, when many programs are recorded on the same recording medium, there is a problem that it is impossible to search for a desired broadcast program or a desired scene of the broadcast program, or to perform these searches using arbitrary keywords. .
[0004]
Therefore, there is a problem to be solved in that the recorded broadcast program and a desired scene in the broadcast program can be searched with a keyword input by the user.
[0005]
[Means for Solving the Problems]
In order to solve the above problems, a program recording method, a program recording apparatus, a program recording / reproducing apparatus, and a program recording / reproducing method according to the present invention are configured as follows.
[0006]
(1) Record the program while performing voice recognition,
The voice recognition result is converted into text data, recorded and stored,
Analyzing the content of the program program from the text data, recording and storing the content of the analyzed program program,
A program recording method for searching stored text data using a specific audio signal as a key ,
A program recording method, wherein the appearance frequency of each voice recognition unit is recorded together with the result of the voice recognition.
[0007]
(2) means for recording a program while performing voice recognition;
Means for converting the voice recognition result into text data and recording and storing the result;
Means for analyzing the content of the program program from the text data, and recording and storing the content of the analyzed program program;
Means for searching stored text data using a specific audio signal as a key, and a program recording apparatus comprising:
A program recording apparatus comprising means for recording the appearance frequency of each voice recognition unit together with the result of the voice recognition.
[0008]
(3) means for recording a program while performing voice recognition;
Means for converting the voice recognition result into text data and recording and storing the result;
A program recording / playback apparatus comprising: a playback unit that compares an input keyword with the stored text data and plays back a program related to the matched text data,
A program recording / reproducing apparatus comprising means for recording the appearance frequency of each voice recognition unit together with the result of the voice recognition.
(4) In the program recording / playback apparatus according to (3) above,
A program recording / reproducing apparatus, wherein the voice recognition units are displayed in the descending order of appearance frequency, are appropriately selected, and a program related to the text data of the selected voice recognition units is reproduced.
(5) In the program recording / playback apparatus according to (3) above,
A program recording / reproducing apparatus comprising means for analyzing the contents of a program program from the text data, and recording and storing the contents of the analyzed program.
(6) In the program recording / playback apparatus according to (5) above,
A program recording / reproducing apparatus characterized in that the contents of the stored program program are displayed and selected as appropriate, and a program related to the contents of the selected program program is reproduced.
(7) Record the program while performing voice recognition,
The voice recognition result is converted into text data, recorded and stored,
A program recording / playback method for playing back a program related to matched text data by comparing an input keyword and the stored text data,
A program recording / reproducing method, wherein the appearance frequency of each voice recognition unit is recorded together with the result of the voice recognition.
[0009]
Thus, when recording a program , the audio signal is recognized and recorded and stored as text data, so that the contents of the program can be searched later based on this text data, or the text data can be processed and processed by the user. Secondary use that is presented in the above becomes easy.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments of a program recording method, program recording apparatus, program recording / reproducing apparatus, and program recording / reproducing method according to the present invention will be described with reference to the drawings.
[0011]
As shown in FIG. 1 , a program recording apparatus, a program recording / reproducing apparatus, and a program recording / reproducing apparatus embodying the program recording / reproducing method according to the present invention are configured to divide a digital broadcast program TS (transport stream) into predetermined packets. Unit 10, a control unit 20 for controlling data to be stored, an audio signal processing unit 30 for processing the result of speech recognition, an information storage unit 40 for storing data relating to a broadcast program including text data, and an information storage unit The MUX unit 50 is a general configuration including a predetermined packet of data stored in 40.
[0012]
The DMUX unit 10 is a demultiplexer, and outputs the digital broadcast program TS (transport stream) separately into image packets, audio packets, time information as a counter value, and program information that is information about other streams.
[0013]
The control unit 20 instructs the information storage unit 40 to record, erase, and output packets according to the program information and externally input information.
[0014]
The voice signal processing unit 30 synchronizes the voice packet and the character data, a DEC unit 31 that restores the voice signal from the voice packet according to the time information, a voice recognition unit 32 that recognizes the voice signal and converts it into character data, and Are composed of a shift unit 33 for generating the time information and a synthesis unit 34 for synthesizing and outputting the character data and the time information.
[0015]
The information storage unit 40 records and stores voice packets and image packets, character data (text data) processed by the voice processing unit 30, program information, and the like in the recording medium 41 under the control of the control unit 20. Further, the storage information designated by the control unit 20 is extracted from the recording medium 41 and output to the MUX unit 50.
[0016]
The MUX unit 50 is a multiplexer, and synthesizes audio packets, image packets, character data, and program information extracted from the information storage unit 40 into a broadcast program stream (TS; transport stream) according to an instruction from the control unit 20. Output.
[0017]
A description will be given of the operation when the result of voice recognition is recorded as text data when a digital broadcast program is recorded by the program recording apparatus having such a configuration, and the recorded data is retrieved and reproduced.
[0018]
First, a digital broadcast signal (MPEG2-TS) received from an external tuner or the like is sent to the DMUX unit 10. The DMUX unit 10 analyzes the digital broadcast signal, and outputs the image packet, the audio packet, time information (counter value) synchronized with the system clock, and program information.
[0019]
The output voice packet and image packet are sent to the information storage unit 40, and the program information is sent to the control unit 20. At the same time, the voice packet and time information are also sent to the voice processing unit 30.
[0020]
The control unit 20 instructs the recording medium 41 to record voice packets and image packets sent to the information storage unit 40 based on the program information output from the DMUX unit 10.
[0021]
On the other hand, the voice processing unit 30 performs voice recognition based on the voice packet and time information from the DMUX unit 10 and converts the result into character data (text data). This process will be described below with reference to FIG. 2 together with FIG.
[0022]
First, the voice packets output from the DMUX unit 10 are voice signal packets A to E having time information T1 to T5, respectively, as shown in FIG.
[0023]
The DEC unit 31 restores the audio signal packets A to E to the baseband audio signals A ′ to E ′ in the order of the time information T1 to T5 and sends them to the audio recognition unit 32 (see FIG. 2B). ). The speech recognition unit 32 recognizes speech signals A ′ to E ′, converts them into character data (text data) a to e, and sends them to the synthesis unit 34. Since it takes a conversion time α to convert the voice signal into character data, the time information of the recognized character data a to e is delayed by the conversion time α with respect to the times T1 to T5 that had before the character conversion. It will be. Since the character data a to e are a collection of words w1 to wn, each of the words w1 to wn has time information of times t1 to tn including a delay of the conversion times α1 to αn (see FIG. 2 (C)) .
[0024]
On the other hand, in the shift unit 33, the speech recognition unit 32 manages the delay of the speech recognition and conversion time α to character data and sends it to the synthesis unit 34 as a counter value. The synthesizing unit 34 synchronizes the voice packets recorded on the recording medium 41 with the character data a to e, so that the time information t1 held by the words w1 to wn of the character data a to e sent from the voice recognition unit 32. New time information of (t1−α1) to (tn−αn) is generated by subtracting the word conversion times α1 to αn (delay) from .about.tn. Then, the time information (t1-α1) to (tn-αn) is added as new time information to the corresponding words w1 to wn (see FIG. 2D).
[0025]
By performing such processing, character data a ′ to e ′ having time information t1 ′ to tn ′ synchronized with the voice packet as shown in FIG. 3 is generated, and the character data a ′ to e. 'Is sent to the information storage unit 40. According to the control unit 20, the information storage unit 40 classifies the image packet, the voice packet, and the program information sent from the DMUX unit 10 and the character data converted by voice recognition into each attribute and records them on the recording medium 41. (See FIG. 4).
[0026]
When a desired keyword is input when searching for the broadcast program stored in this manner, the input keyword is processed by the control unit 20 and sent to the information storage unit 40. The information storage unit 40 compares and refers to the input keyword and the character data stored in the recording medium 41, and searches for matching character data. If there is matching character data, the image packet, sound packet, and program information associated with the time information of the character data are extracted and output to the MUX unit 50 together with the character data. In the MUX unit 50, the character data, the image packet, the voice packet, and the program information extracted from the information storage unit 40 according to an instruction from the control unit 20 are combined into a TS and output. This keyword is a key for searching, and may be a specific voice signal, for example, a voice signal of a specific singer or a specific music melody, and can be set and selected as appropriate.
[0027]
Thus, since the contents of the broadcast program are stored as character data in the information storage unit 40, when a desired keyword is input, the control unit 20 searches the character data stored by the keyword, and if they match, the desired content is stored. Is played. Further, the EPG can be compared and analyzed with character data to display an outline of program contents as character data, or the character data can be displayed as it is or after conversion such as translation.
[0028]
Note that the voice recognition unit 32 may recognize a unit of arbitrary length, and the time information added by the synthesis unit 34 may be added to character data of an identification unit of arbitrary length instead of every word. Further, if a plurality of pieces of character data of the identification unit are combined and time information is added to reduce the amount of time information, the capacity of the storage medium can be saved. Furthermore, sounds other than natural sounds and sounds such as musical instruments are separately distinguished, and character data that can be arbitrarily identified can be assigned and processed.
[0029]
Next, a program recording apparatus according to the second embodiment will be described with reference to FIG. 1 referred to in the first embodiment.
[0030]
The program recording apparatus according to the second embodiment converts the appearance frequency of character data that has been voice-recognized into data, and since the apparatus configuration is the same as that of the first embodiment, description thereof is omitted. Also, when the same operation is performed in each part, the description is omitted.
[0031]
The speech recognition unit 32 of the speech processing unit 30 in FIG. 1 recognizes the speech signal restored by the DEC unit 31 and converts it into character data. Further, the appearance frequency of each word A to D. ... are examined and converted into data as shown in the histogram of FIG. 5, and the appearance frequencies a to c are added to the words A to D to generate Hist data as shown in FIG. . The Hist data is sent to the information storage unit 40 together with the character data, and is recorded and stored in the recording medium 41.
[0032]
When a keyword is input by the user, the keyword and the Hist data are referred to, and a list of broadcast program names having the highest appearance frequency of the keyword is sequentially displayed from the recorded broadcast programs, or further combined with the EPG. It is also possible to search for broadcast programs to be recorded. Of course, the appearance frequency may be the appearance frequency of character data of an arbitrary length instead of a word.
[0033]
【The invention's effect】
As described above, when a program is recorded, the audio signal of the program is recognized and stored as character data, so that the user can search for a program recorded with an arbitrary keyword and one scene of the program . This enables more efficient and detailed search.
[0034]
Furthermore, an outline of program contents can be obtained by using EPG or the like. In addition, it becomes easy to search for a program that does not have an EPG, and in addition, it can be used as subtitles by displaying character data as it is or after being translated.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a main part of a program recording apparatus according to the present invention.
FIG. 2 is an explanatory diagram showing a time series when a voice packet is recognized by voice and converted into character data in the program recording apparatus according to the present invention.
FIG. 3 is a conceptual diagram illustrating an example of a format format of character data according to the present invention.
FIG. 4 is a conceptual diagram showing a file structure of data recorded on a recording medium of the program recording apparatus according to the present invention.
FIG. 5 is a conceptual diagram showing a state in which the appearance frequency of character data is made into a histogram in the program recording apparatus according to the present invention.
FIG. 6 is a conceptual diagram illustrating an example of a format format of character data to which appearance frequency is added.
[Explanation of symbols]
10; DMUX section, 20; control section, 30; voice processing section, 31; DEC section, 32; voice recognition section, 33; shift section, 34; synthesis section, 40; information storage section, 41; MUX section

Claims (7)

音声認識を行いながら番組を記録し、
該音声認識の結果をテキストデータに変換して記録し且つ蓄積し、
前記テキストデータから番組プログラムの内容を解析し、該解析した番組プログラムの内容を記録し且つ蓄積し、
特定の音声信号をキーにして、蓄積されているテキストデータを検索する番組記録方法であって、
前記音声認識の結果と共に各音声認識単位の出現頻度をも記録することを特徴とする番組記録方法。 Record the program with voice recognition,
The voice recognition result is converted into text data, recorded and stored,
Analyzing the content of the program program from the text data, recording and storing the content of the analyzed program program,
A program recording method for searching stored text data using a specific audio signal as a key ,
A program recording method, wherein the appearance frequency of each voice recognition unit is recorded together with the result of the voice recognition. 音声認識を行いながら番組を記録する手段と、  Means for recording a program while performing speech recognition;
該音声認識の結果をテキストデータに変換して記録し且つ蓄積する手段と、  Means for converting the voice recognition result into text data and recording and storing the result;
前記テキストデータから番組プログラムの内容を解析し、該解析した番組プログラムの内容を記録し且つ蓄積する手段と、  Means for analyzing the contents of the program program from the text data, recording and storing the contents of the analyzed program program;
特定の音声信号をキーにして、蓄積されているテキストデータを検索する手段と、を備えた番組記録装置であって、  Means for searching for stored text data using a specific audio signal as a key, and a program recording device comprising:
前記音声認識の結果と共に各音声認識単位の出現頻度をも記録する手段を備えたことを特徴とする番組記録装置。  A program recording apparatus comprising means for recording the appearance frequency of each voice recognition unit together with the result of the voice recognition. 音声認識を行いながら番組を記録する手段と、  Means for recording a program while performing speech recognition;
該音声認識の結果をテキストデータに変換して記録し且つ蓄積する手段と、  Means for converting the voice recognition result into text data and recording and storing the result;
入力したキーワードと前記蓄積されているテキストデータとを比較して一致したテキストデータに関連する番組を再生する再生手段と、を備えた番組記録再生装置であって、  A program recording / playback apparatus comprising: a playback unit that compares an input keyword with the stored text data and plays back a program related to the matched text data,
前記音声認識の結果と共に各音声認識単位の出現頻度をも記録する手段を備えたことを特徴とする番組記録再生装置。  A program recording / reproducing apparatus comprising means for recording the appearance frequency of each voice recognition unit together with the voice recognition result. 上記請求項３における番組記録再生装置において、  In the program recording / reproducing apparatus according to claim 3,
前記音声認識単位の出現頻度の高い順に表示して適宜選択し、該選択された音声認識単位のテキストデータに関連する番組を再生することを特徴とする番組記録再生装置。  A program recording / reproducing apparatus, wherein the voice recognition units are displayed in the descending order of appearance frequency, are appropriately selected, and a program related to the text data of the selected voice recognition units is reproduced. 上記請求項３における番組記録再生装置において、  In the program recording / reproducing apparatus according to claim 3,
前記テキストデータから番組プログラムの内容を解析する手段を備え、該解析したプログラムの内容を記録し且つ蓄積することを特徴とする番組記録再生装置。  A program recording / reproducing apparatus comprising means for analyzing the contents of a program program from the text data, and recording and storing the contents of the analyzed program. 上記請求項５における番組記録再生装置において、  In the program recording / reproducing apparatus according to claim 5,
前記蓄積されている番組プログラムの内容を表示して適宜選択し、該選択された番組プログラムの内容に関連する番組を再生することを特徴とする番組記録再生装置。  A program recording / reproducing apparatus, characterized in that the contents of the stored program programs are displayed and appropriately selected, and a program related to the contents of the selected program program is reproduced. 音声認識を行いながら番組を記録し、  Record the program with voice recognition,
該音声認識の結果をテキストデータに変換して記録し且つ蓄積し、The voice recognition result is converted into text data, recorded and stored,
入力したキーワードと前記蓄積されているテキストデータとを比較して一致したテキストデータに関連する番組を再生する番組記録再生方法であって、A program recording / playback method for playing back a program related to matched text data by comparing an input keyword and the stored text data,
前記音声認識の結果と共に各音声認識単位の出現頻度をも記録することを特徴とする番組記録再生方法。  A program recording / reproducing method, wherein the appearance frequency of each voice recognition unit is recorded together with the result of the voice recognition.
JP2000119854A 2000-04-20 2000-04-20 Program recording method, program recording apparatus, program recording / reproducing apparatus, and program recording / reproducing method Expired - Fee Related JP4513165B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000119854A JP4513165B2 (en) 2000-04-20 2000-04-20 Program recording method, program recording apparatus, program recording / reproducing apparatus, and program recording / reproducing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000119854A JP4513165B2 (en) 2000-04-20 2000-04-20 Program recording method, program recording apparatus, program recording / reproducing apparatus, and program recording / reproducing method

Publications (3)

Publication Number Publication Date
JP2001309282A JP2001309282A (en) 2001-11-02
JP2001309282A5 JP2001309282A5 (en) 2007-03-15
JP4513165B2 true JP4513165B2 (en) 2010-07-28

Family

ID=18630771

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000119854A Expired - Fee Related JP4513165B2 (en) 2000-04-20 2000-04-20 Program recording method, program recording apparatus, program recording / reproducing apparatus, and program recording / reproducing method

Country Status (1)

Country Link
JP (1) JP4513165B2 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7095947B2 (en) * 2001-11-13 2006-08-22 Koninklijke Philips Electronics N.V. System for synchronizing the playback of two or more connected playback devices using closed captioning
JP2004029268A (en) * 2002-06-25 2004-01-29 Matsushita Electric Ind Co Ltd Voice interactive device and voice interactive method
JP4631251B2 (en) * 2003-05-06 2011-02-16 日本電気株式会社 Media search device and media search program
JP2004362280A (en) * 2003-06-05 2004-12-24 Hitachi Ltd Broadcast program accumulation device
TWI310545B (en) * 2003-10-04 2009-06-01 Samsung Electronics Co Ltd Storage medium storing search information and reproducing apparatus
KR101100191B1 (en) * 2005-01-28 2011-12-28 엘지전자 주식회사 A multimedia player and the multimedia-data search way using the player
JP4005089B2 (en) * 2005-03-07 2007-11-07 株式会社東芝 Communication recording system
KR101208508B1 (en) 2006-01-19 2012-12-05 엘지전자 주식회사 Method for storing digital broadcasting program, and terminal for receiving digital broadcasting
JP2008032825A (en) * 2006-07-26 2008-02-14 Fujitsu Fsas Inc Speaker display system, speaker display method and speaker display program
JP2011109292A (en) * 2009-11-16 2011-06-02 Canon Inc Imaging apparatus, control method and program thereof, and storage medium
WO2017152934A1 (en) * 2016-03-07 2017-09-14 Arcelik Anonim Sirketi Image display device provided with speech-to-text processing function
CN106303658B (en) * 2016-08-19 2018-11-30 百度在线网络技术（北京）有限公司 Exchange method and device applied to net cast

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05236506A (en) * 1992-02-20 1993-09-10 Ueda Nippon Musen Kk Generator for synthesized signal including video, character, and sound information and video recording and reproducing device using this generator
JPH11112913A (en) * 1997-10-03 1999-04-23 Sony Corp Video information retrieval system, video information transmitter, video information retrieval device, and video information generating method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3608758B2 (en) * 1995-06-23 2005-01-12 株式会社リコー Index generation method, index generation device, indexing device, indexing method, video minutes generation method, frame editing method, and frame editing device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05236506A (en) * 1992-02-20 1993-09-10 Ueda Nippon Musen Kk Generator for synthesized signal including video, character, and sound information and video recording and reproducing device using this generator
JPH11112913A (en) * 1997-10-03 1999-04-23 Sony Corp Video information retrieval system, video information transmitter, video information retrieval device, and video information generating method

Also Published As

Publication number Publication date
JP2001309282A (en) 2001-11-02

Similar Documents

Publication Publication Date Title
US8165306B2 (en) Information retrieving method, information retrieving device, information storing method and information storage device
JP4127668B2 (en) Information processing apparatus, information processing method, and program
JP4491700B2 (en) Audio search processing method, audio information search device, audio information storage method, audio information storage device and audio video search processing method, audio video information search device, audio video information storage method, audio video information storage device
EP0944034B1 (en) Apparatus for and method of reproducing music together with information representing beat of music
JP4513165B2 (en) Program recording method, program recording apparatus, program recording / reproducing apparatus, and program recording / reproducing method
WO2000036833A1 (en) Method and apparatus for retrieving desired video and audio scene using voice recognition
KR101100191B1 (en) A multimedia player and the multimedia-data search way using the player
JP2006195385A (en) Device and program for music reproduction
CN101753915A (en) Data processing device, data processing method, and program
WO2007132569A1 (en) Music section detecting method and its device, data recording method, and its device
JP5050445B2 (en) Movie playback apparatus and movie playback method
JP2004265376A (en) Method and device for selecting recorded object from database stored in memory
JP2001143451A (en) Automatic index generating device and automatic index applying device
US20040249862A1 (en) Sync signal insertion/detection method and apparatus for synchronization between audio file and text
US20070051230A1 (en) Information processing system and information processing method
JP4873162B2 (en) Video content playback device
JP2004289530A (en) Recording and reproducing apparatus
JPH08249343A (en) Device and method for speech information acquisition
JP2009147775A (en) Program reproduction method, apparatus, program, and medium
JP4364850B2 (en) Audio playback device
JP4884163B2 (en) Voice classification device
JP2000268545A (en) Voice reproducing device
JP2005250242A (en) Device, method, and program for information processing, and recording medium
JP2010152287A (en) Automatic play synchronizing device, automatic play keyboard instrument, and program
US20090136202A1 (en) Recording/playback device and method, program, and recording medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090105

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091124

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20091214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100122

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100217

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100420

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100503

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130521

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees