JP4543298B2

JP4543298B2 - REPRODUCTION DEVICE AND METHOD, RECORDING MEDIUM, AND PROGRAM

Info

Publication number: JP4543298B2
Application number: JP2001201731A
Authority: JP
Inventors: 一朗小川
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2001-07-03
Filing date: 2001-07-03
Publication date: 2010-09-15
Anticipated expiration: 2021-07-03
Also published as: JP2003016765A

Description

【０００１】
【発明の属する技術分野】
本発明は、再生装置および方法、記録媒体、並びにプログラムに関し、例えば、DVDに記録されている映画などのＡＶコンテンツを再生しているときに、音声を台詞単位で繰り返して再生させる場合に用いて好適な再生装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
従来のDVD(Digital Versatile Disc)プレーヤなどを用いて、映画などのＡＶコンテンツを再生させている最中、「いまの台詞をもう一度聞きたい」と思ったユーザは、巻き戻しボタンを押下することによって、希望する台詞の開始点と自己が判断する位置まで再生タイミングを遡らせるか、または予め設定されている固定時間（例えば、１０秒間）だけ巻き戻しが行われるボタンを押下することによって、固定時間単位で再生タイミングを遡らせるかのいずれかの操作を実行していた。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述した２種類の操作のいずれかを行うことでは、希望する台詞の開始点まで再生タイミングを正確に遡らせることは困難である課題があった。
【０００４】
また、外国語学習などの用途で同じ台詞を何度も繰り返して再生させる場合などには、ユーザが音声を聞きながら、その台詞の終了点がきたことを判断した後、上述した２種類の操作のいずれかを行うことを繰り返して実行する必要があった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、再生時においては常に音声の台詞の開始点と終了点を把握しておくことにより、１回のボタン操作に対応して、再生ポイントを台詞単位で遡らせることができる再生装置を実現することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の再生装置は、情報記録媒体に記録されている音声データおよび字幕データを読み出す読み出し手段と、読み出し手段により読み出された音声データをデコードして、音声信号を生成する音声デコード手段と、読み出し手段により読み出された字幕データをデコードして、字幕信号を生成する字幕デコード手段と、音声信号および字幕信号に基づいて、音声信号に含まれる台詞の開始点および終了点のうちの少なくとも一方を判定する台詞判定手段と、台詞の繰り返し再生の指示を入力する入力手段と、入力手段により入力された指示に対応し、台詞判定手段の判定結果に基づいて、再生ポイントが台詞の開始点まで遡るように、読み出し手段、音声デコード手段、および字幕デコード手段を制御する制御手段とを含むことを特徴とする。
【０００７】
前記情報記録媒体は、DVDであるようにすることができる。
【０００８】
前記台詞判定手段は、字幕信号に含まれる文字列の表示タイミングおよび消去タイミングに対応して窓関数を設定する設定手段と、音声信号のレベルを検出して、音声レベル信号を生成するレベル検出手段と、音声レベル信号の極小値を台詞候補点として抽出する抽出手段と、台詞候補点に対して第１の評価値を付与する付与手段と、台詞候補点の第１の評価値に窓関数の対応する値を乗算することにより、台詞候補点に対して第２の評価値を付与する乗算手段と、第２の評価値に基づいて、複数の台詞候補点のなかから、台詞の開始点および終了点のうちの少なくとも一方を決定する決定手段とを含むようにすることができる。
【０００９】
本発明の再生方法は、情報記録媒体に記録されている音声データおよび字幕データを読み出す読み出しステップと、読み出しステップの処理で読み出された音声データをデコードして、音声信号を生成する音声デコードステップと、読み出しステップの処理で読み出された字幕データをデコードして、字幕信号を生成する字幕デコードステップと、音声信号および字幕信号に基づいて、音声信号に含まれる台詞の開始点および終了点のうちの少なくとも一方を判定する台詞判定ステップと、台詞の繰り返し再生の指示を入力する入力ステップと、入力ステップの処理で入力された指示に対応し、台詞判定ステップの処理での判定結果に基づいて、再生ポイントが台詞の開始点まで遡るように、読み出しステップの処理、音声デコードステップの処理、および字幕デコードステップの処理を制御する制御ステップとを含むことを特徴とする。
【００１０】
本発明の記録媒体のプログラムは、情報記録媒体に記録されている音声データおよび字幕データを読み出す読み出しステップと、読み出しステップの処理で読み出された音声データをデコードして、音声信号を生成する音声デコードステップと、読み出しステップの処理で読み出された字幕データをデコードして、字幕信号を生成する字幕デコードステップと、音声信号および字幕信号に基づいて、音声信号に含まれる台詞の開始点および終了点のうちの少なくとも一方を判定する台詞判定ステップと、台詞の繰り返し再生の指示を入力する入力ステップと、入力ステップの処理で入力された指示に対応し、台詞判定ステップの処理での判定結果に基づいて、再生ポイントが台詞の開始点まで遡るように、読み出しステップの処理、音声デコードステップの処理、および字幕デコードステップの処理を制御する制御ステップとを含むことを特徴とする。
【００１１】
本発明のプログラムは、情報記録媒体に記録されている音声データおよび字幕データを読み出す読み出しステップと、読み出しステップの処理で読み出された音声データをデコードして、音声信号を生成する音声デコードステップと、読み出しステップの処理で読み出された字幕データをデコードして、字幕信号を生成する字幕デコードステップと、音声信号および字幕信号に基づいて、音声信号に含まれる台詞の開始点および終了点のうちの少なくとも一方を判定する台詞判定ステップと、台詞の繰り返し再生の指示を入力する入力ステップと、入力ステップの処理で入力された指示に対応し、台詞判定ステップの処理での判定結果に基づいて、再生ポイントが台詞の開始点まで遡るように、読み出しステップの処理、音声デコードステップの処理、および字幕デコードステップの処理を制御する制御ステップとをコンピュータに実行させることを特徴とする。
【００１２】
本発明の再生装置および方法、並びにプログラムにおいては、情報記録媒体に記録されている音声データおよび字幕データが読み出され、読み出された音声データがデコードされて音声信号が生成され、読み出された字幕データがデコードされて字幕信号が生成される。また、音声信号および字幕信号に基づいて、音声信号に含まれる台詞の開始点および終了点のうちの少なくとも一方が判定される。さらに、台詞の繰り返し再生の指示が入力され、入力された指示に対応し、台詞判定の判定結果に基づいて、再生ポイントが台詞の開始点まで遡るように、読み出しの処理、音声デコードの処理、および字幕デコードの処理が制御される。
【００１３】
【発明の実施の形態】
図１は、本発明の一実施の形態であるDVDプレーヤの構成例を示している。当該DVDプレーヤは、DVD１に記録されている映画などの映像、音声、および字幕がエンコードされている映像データ、音声データ、および字幕データを読み出してデコードし、字幕を重畳した映像をディスプレイ８に表示させ、映像に対応する音声をスピーカ９から出力させるものである。
【００１４】
当該DVDプレーヤにおいて、読み出し部２は、映像データ、音声データ、および字幕データを含むデータストリームをDVD１から読み出してデマルチプレクサ(DEMUX)３に出力する。デマルチプレクサ３は、読み出し部２から入力されたデータストリームを、映像データ、音声データ、および字幕データに分離して、それぞれ、映像デコーダ４、音声デコーダ５、または字幕デコーダ６に出力する。
【００１５】
映像デコーダ４は、例えば、MPEG２方式でエンコードされている映像データをデコードし、得られる映像信号をOSD部７に出力する。音声デコーダ５は、例えば、MPEG２方式でエンコードされている音声データをデコードし、得られる音声信号をスピーカ９および台詞判定部１０に出力する。字幕デコーダ６は、エンコードされている字幕データをデコードし、得られる字幕信号（表示する文字、表示位置、表示タイミング、消去タイミングなどを含む）をOSD部７および台詞判定部１０に出力する。
【００１６】
OSD(On Screen Display)部７は、字幕デコーダ６から入力される字幕信号に基づき、映像デコーダ４から入力される映像信号に字幕の文字列を重畳してディスプレイ８に出力する。
【００１７】
台詞判定部１０は、音声デコーダ５から入力される音声信号、および字幕デコーダ６から入力される字幕信号に基づき、音声に含まれる台詞の開始点および終了点を判定して、その情報を制御部１１に通知する。
【００１８】
制御部１１は、記録媒体１３に記録されている制御用プログラムを読み出し、読み出した制御用プログラムに基づき、操作入力部１２から入力されるユーザの操作情報に対応して、当該DVDプレーヤの全体を制御する。
【００１９】
例えば、制御部１１は、ユーザによって操作入力部１２の台詞繰り返しボタン３１が押下された場合、台詞判定部１０から入力される台詞の開始点および終了点の情報に基づき、再生中の台詞の開始点から再度読み出して再生するように読み出し部２乃至OSD部７を制御する。
【００２０】
リモートコントローラや本体に設けられるボタンなどよりなる操作入力部１２は、ユーザの操作を受け付け、その操作情報を制御部１１に出力する。記録媒体１３は、磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどである。
【００２１】
図２は、台詞判定部１０の構成例を示している。台詞判定部１０は、音声信号の振幅変化に対応する音声レベル信号を生成するレベル検出部２１、音声レベル信号の極小値を台詞候補点として検出し、各台詞候補点に第１の評価値を設定する台詞候補点検出部２２、字幕の文字列の表示タイミングおよび消去タイミングに対応して窓関数を生成する窓関数出力部２３、各台詞候補点の第１の評価値に窓関数の値を乗算して、各台詞候補点に対応する第２の評価値を設定する乗算部２４、および各台詞候補点の第２の評価値と字幕信号に基づき、台詞開始点と台詞終了点を判定する台詞検出部２５から構成される。
【００２２】
図３は、リモートコントローラなどよりなる操作入力部１２の一例を示している。操作入力部１２には、再生ボタン、再生停止ボタン、一時停止ボタン、巻き戻しボタン、早送りボタンなどの一般的なボタンの他、再生中の台詞を繰り返して再生させるときに押下する台詞繰り返しボタン３１が設けられている。
【００２３】
次に、台詞判定部１０の動作について、図４のフローチャートを参照して説明する。この台詞判定処理は、DVD１に記録されているＡＶコンテンツを再生している間、常に繰り返して実行される。
【００２４】
ステップＳ１において、窓関数出力部２３は、図５（Ａ）に示すような字幕の文字列の表示タイミングＴｓおよび消去タイミングＴｅに対応して、例えば、図５（Ｅ）に示すような窓関数を生成して乗算部２４に出力する。なお、図５（Ｅ）の窓関数は、表示タイミングＴｓおよび消去タイミングＴｅを頂点とする三角形をなしているが、窓関数の頂点は必ずしも表示タイミングＴｓおよび消去タイミングＴｅに一致させる必要はない。また、窓関数に正規分布関数や指数関数などを適用してもよい。
【００２５】
ステップＳ２において、レベル検出部２１は、包絡線検波などの方法により、例えば、図５（Ｂ）に示すような音声信号の振幅変化を検出し、図５（Ｃ）に示すような音声レベル信号を生成して台詞候補点検出部２２に出力する。ステップＳ３において、台詞候補点検出部２２は、レベル検出部２１から入力された音声レベル信号の極小値を、例えば、図５（Ｄ）に示すように台詞候補点Ｃ１乃至Ｃ６として検出し、検出した台詞候補点Ｃ１乃至Ｃ６に第１の評価値を設定して、台詞候補点Ｃ１乃至Ｃ６の第１の評価値を乗算部２４に出力する。なお、第１の評価値は、音声レベル信号の値がより小さい台詞候補点に、より大きな第１の評価値が設定されるようにする。また、無音時間がより長い台詞候補点に、より大きな第１の評価値が設定されるようにする。
【００２６】
例えば、図５（Ｄ）の場合、台詞候補点Ｃ１に対しては、第１の評価値として５が設定される。台詞候補点Ｃ２に対しては、第１の評価値として５が設定される。台詞候補点Ｃ３に対しては、第１の評価値として３が設定される。台詞候補点Ｃ４に対しては、第１の評価値として４が設定される。台詞候補点Ｃ５に対しては、第１の評価値として１が設定される。台詞候補点Ｃ６に対しては、第１の評価値として５が設定される。
【００２７】
ステップＳ４において、乗算部２４は、台詞候補点検出部２２から入力された台詞候補点Ｃ１乃至Ｃ６の第１の評価値に、窓関数の値を乗算して、図５（Ｆ）に示すように、台詞候補点Ｃ１乃至Ｃ６に対応する第２の評価値を設定し、台詞候補点Ｃ１乃至Ｃ６の第２の評価値を台詞検出部２５に出力する。
【００２８】
例えば、図５（Ｆ）の場合、台詞候補点Ｃ１に対しては、第１の評価値（５）に窓関数の値（０．２）が乗算されて、第２の評価値として１に設定される。台詞候補点Ｃ２に対しては、第１の評価値（５）に窓関数の値（０．８）が乗算されて、第２の評価値として４に設定される。台詞候補点Ｃ３に対しては、第１の評価値（３）に窓関数の値（０）が乗算されて、第２の評価値として０に設定される。台詞候補点Ｃ４に対しては、第１の評価値（４）に窓関数の値（０）が乗算されて、第２の評価値として０に設定される。台詞候補点Ｃ５に対しては、第１の評価値（１）に窓関数の値（０．６）が乗算されて、第２の評価値として０．６に設定される。台詞候補点Ｃ６に対しては、第１の評価値（５）に窓関数の値（０．４）が乗算されて、第２の評価値として２に設定される。
【００２９】
ステップＳ５において、台詞検出部２５は、乗算部２４からの台詞候補点Ｃ１乃至Ｃ６の第２の評価値と、字幕信号に基づき、字幕の文字列の表示タイミングＴｓの近傍の台詞候補点のうち、第２の評価値が最も大きいものを台詞開始点と判定する。また、字幕の文字列の消去タイミングＴｅの近傍の台詞候補点のうち、第２の評価値が最も大きいものを台詞終了点と判定する。
【００３０】
図５の例の場合、字幕の文字列の表示タイミングＴｓの近傍で第２の評価値が最も大きい台詞候補点Ｃ２が台詞開始点と判定される。また、字幕の文字列の消去タイミングＴｅの近傍で第２の評価値が最も大きい台詞候補点Ｃ２が台詞終了点と判定される。判定された台詞開始点および台詞終了点の情報は、制御部１１に供給される。
【００３１】
なお、表示タイミングＴｓや消去タイミングＴｅの近傍の台詞候補点の第２の評価値に違いが無いような場合には、字幕の文字列の表示タイミングＴｓの例えば１秒前を台詞開始点と判定するようにし、字幕の文字列の消去タイミングＴｅの１秒後を台詞終了点と判定するようにする。
【００３２】
以上説明したような台詞判定処理により、制御部１１には、再生中のＡＶコンテンツの音声信号に含まれる台詞の開始点と終了点が常に供給されることになる。
【００３３】
この情報を利用して制御部１１は、操作入力部１２の台詞繰り返しボタン３１が押下された場合、再生ポイントが再生中の台詞の終了点まで進むことを待ち、その後、再生ポイントを当該台詞の開始点まで遡らせて、当該台詞が繰り返して再生されるように、読み出し部２乃至OSD部７を制御する。特に、再生ポイントを当該台詞の開始点まで遡らせたときに、対応する字幕の文字列が表示されているように、字幕デコーダ６およびOSD部７を制御する。
【００３４】
なお、再生中のＡＶコンテンツの音声信号に含まれる台詞の開始点と終了点の情報は、再生中の台詞の開始点まで再生ポイントを直ちに戻すこと、前の台詞や次の台詞の開始点に再生ポイントを進めることなどを実現する場合に利用することができる。
【００３５】
なお、本発明は、DVD以外の情報記録媒体からＡＶコンテンツを再生する機器に対しても適用することが可能である。
【００３６】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、図１に示したような記録媒体１３からインストールされる。
【００３７】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００３８】
【発明の効果】
以上のように、本発明の再生装置および方法、並びにプログラムによれば、音声信号および字幕信号に基づいて、音声信号に含まれる台詞の開始点および終了点のうちの少なくとも一方を判定し、その判定結果に基づいて、再生ポイントが台詞の開始点まで遡るように、読み出しの処理、音声デコードの処理、および字幕デコードの処理を制御するようにしたので、１回のボタン操作に対応して、再生ポイントを台詞単位で遡らせることが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施の形態であるDVDプレーヤの構成例を示すブロック図である。
【図２】台詞判定部１０の構成例を示すブロック図である。
【図３】操作入力部１２の一例を示す図である。
【図４】台詞判定部１０の動作を説明するフローチャートである。
【図５】台詞判定部１０の動作を説明するための図である。
【符号の説明】
１ DVD，２読み出し部，３デマルチプレクサ，４映像デコーダ，５音声デコーダ，６字幕デコーダ，７ OSD部，１０台詞判定部，１１制御部，１２操作入力部，１３記録媒体，２１レベル検出部，２２台詞候補点検出部，２３窓関数出力部，２４乗算部，２５台詞検出部，３１台詞繰り返しボタン[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a playback apparatus and method, a recording medium, and a program. For example, when playing back AV content such as a movie recorded on a DVD, the sound is repeatedly played back in speech units. The present invention relates to a suitable reproducing apparatus and method, a recording medium, and a program.
[0002]
[Prior art]
While playing back AV content such as a movie using a conventional DVD (Digital Versatile Disc) player, a user who wants to listen to the current dialogue again presses the rewind button. The playback time can be traced back to a position determined by the start point of the desired dialogue and the self, or a fixed time can be set by pressing a button that is rewound for a preset fixed time (for example, 10 seconds). One of the operations to go back the playback timing in units was executed.
[0003]
[Problems to be solved by the invention]
However, by performing any one of the two types of operations described above, there is a problem that it is difficult to accurately trace the playback timing to the start point of the desired dialogue.
[0004]
Also, when the same dialogue is repeatedly played for purposes such as learning a foreign language, the user can determine the end point of the dialogue while listening to the voice, and then perform the two operations described above. Had to be repeated to do any of the.
[0005]
The present invention has been made in view of such a situation, and at the time of playback, always knowing the start point and end point of a speech line, the playback point corresponding to a single button operation. An object of the present invention is to realize a playback device that can trace back in units of lines.
[0006]
[Means for Solving the Problems]
The reproduction apparatus of the present invention includes a reading unit that reads audio data and subtitle data recorded on an information recording medium, an audio decoding unit that decodes the audio data read by the reading unit, and generates an audio signal; Subtitle decoding means for decoding subtitle data read by the reading means to generate a subtitle signal, and at least one of a start point and an end point of speech included in the audio signal based on the audio signal and the subtitle signal A line determining means, an input means for inputting an instruction for repetitive playback of the line, an instruction inputted by the input means, and based on the determination result of the line determining means, the reproduction point reaches the start point of the line And a control means for controlling the reading means, the audio decoding means, and the caption decoding means so as to go back. .
[0007]
The information recording medium may be a DVD.
[0008]
The line determination means includes setting means for setting a window function corresponding to the display timing and erasure timing of the character string included in the subtitle signal, and level detection means for detecting the level of the audio signal and generating an audio level signal Extracting means for extracting the minimum value of the speech level signal as a dialogue candidate point; providing means for assigning a first evaluation value to the dialogue candidate point; and a window function for the first evaluation value of the dialogue candidate point. Multiplying means for assigning a second evaluation value to a dialogue candidate point by multiplying the corresponding value, and based on the second evaluation value, a dialogue starting point and a dialogue starting point And determining means for determining at least one of the end points.
[0009]
The reproduction method of the present invention includes a read step for reading audio data and subtitle data recorded on an information recording medium, and an audio decode step for decoding the audio data read in the process of the read step to generate an audio signal And a caption decoding step for decoding the caption data read in the processing of the reading step to generate a caption signal, and the start and end points of the dialogue included in the audio signal based on the audio signal and the caption signal. A line determination step for determining at least one of them, an input step for inputting an instruction for repeated playback of the line, and an instruction input in the process of the input step, based on the determination result in the process of the line determination step , So that the playback point goes back to the beginning of the dialogue, the processing of the reading step, the audio decoding step Process, and characterized by a control step of controlling processing of the subtitle decoding step.
[0010]
The recording medium program of the present invention includes a read step for reading audio data and subtitle data recorded on an information recording medium, and an audio for decoding the audio data read in the process of the read step to generate an audio signal. A decoding step, a subtitle decoding step for decoding the subtitle data read in the processing of the reading step to generate a subtitle signal, and a starting point and an end of the speech included in the audio signal based on the audio signal and the subtitle signal In response to the instruction input in the process of the line determination step, the line determination step for determining at least one of the points, the input step for inputting the instruction for repetitive reproduction of the line, and the process of the input step, Based on the read step processing, voice decoding so that the playback point goes back to the beginning of the dialogue. The process of de steps, and characterized in that it comprises a control step of controlling processing of the subtitle decoding step.
[0011]
The program of the present invention includes a read step for reading audio data and subtitle data recorded on an information recording medium, an audio decode step for decoding the audio data read in the process of the read step, and generating an audio signal A subtitle decoding step for decoding the subtitle data read in the processing of the read step to generate a subtitle signal, and based on the audio signal and the subtitle signal, the start point and the end point of the dialogue included in the audio signal Corresponding to the instruction input in the process of the line determination step, the input step for inputting the instruction for repeated reproduction of the line, and the input step, and based on the determination result in the process of the line determination step, The reading step and audio decoding step are performed so that the playback point goes back to the starting point of the dialogue. Characterized processing, and a control step of controlling processing of the subtitle decoding step to be executed by a computer.
[0012]
In the playback apparatus and method, and program of the present invention, audio data and subtitle data recorded on an information recording medium are read, and the read audio data is decoded to generate and read an audio signal. The subtitle data is decoded to generate a subtitle signal. Further, based on the audio signal and the caption signal, at least one of the start point and the end point of the dialogue included in the audio signal is determined. In addition, an instruction for repeated playback of speech is input, and in response to the input instruction, based on the determination result of the speech determination, reading processing, audio decoding processing, so that the playback point goes back to the starting point of speech, The subtitle decoding process is controlled.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows a configuration example of a DVD player according to an embodiment of the present invention. The DVD player reads and decodes video data such as a movie recorded on DVD 1, audio, and video data encoded with subtitles, audio data, and subtitle data, and displays the video with superimposed subtitles on the display 8. The sound corresponding to the video is output from the speaker 9.
[0014]
In the DVD player, the reading unit 2 reads a data stream including video data, audio data, and caption data from the DVD 1 and outputs the data stream to the demultiplexer (DEMUX) 3. The demultiplexer 3 separates the data stream input from the reading unit 2 into video data, audio data, and caption data, and outputs them to the video decoder 4, the audio decoder 5, or the caption decoder 6, respectively.
[0015]
For example, the video decoder 4 decodes video data encoded by the MPEG2 system, and outputs the obtained video signal to the OSD unit 7. For example, the audio decoder 5 decodes audio data encoded by the MPEG2 system, and outputs the obtained audio signal to the speaker 9 and the line determination unit 10. The subtitle decoder 6 decodes the encoded subtitle data and outputs the obtained subtitle signal (including characters to be displayed, display position, display timing, erasure timing, etc.) to the OSD unit 7 and the dialogue determination unit 10.
[0016]
An OSD (On Screen Display) unit 7 superimposes a subtitle character string on the video signal input from the video decoder 4 based on the subtitle signal input from the subtitle decoder 6 and outputs the superimposed video to the display 8.
[0017]
The line determination unit 10 determines the start point and the end point of the line included in the sound based on the audio signal input from the audio decoder 5 and the subtitle signal input from the subtitle decoder 6, and uses the information as a control unit 11 is notified.
[0018]
The control unit 11 reads the control program recorded on the recording medium 13, and based on the read control program, the entire DVD player is controlled in accordance with the user operation information input from the operation input unit 12. Control.
[0019]
For example, when the line repeat button 31 of the operation input unit 12 is pressed by the user, the control unit 11 starts the line being reproduced based on the line start point and end point information input from the line determination unit 10. The reading unit 2 to the OSD unit 7 are controlled so as to read out again from the point and reproduce.
[0020]
The operation input unit 12 including buttons provided on the remote controller and the main body receives a user operation and outputs the operation information to the control unit 11. The recording medium 13 includes a magnetic disk (including a floppy disk), an optical disk (including a CD-ROM (Compact Disc-Read Only Memory), a DVD (Digital Versatile Disc)), and a magneto-optical disk (including an MD (Mini Disc)). Or a semiconductor memory.
[0021]
FIG. 2 shows a configuration example of the line determination unit 10. The line determination unit 10 detects a minimum value of the speech level signal as a speech candidate point, and generates a first evaluation value for each speech candidate point. The level detection unit 21 generates a speech level signal corresponding to the amplitude change of the speech signal. Dialog candidate point detection unit 22 to be set, window function output unit 23 that generates a window function corresponding to the display timing and erasure timing of the subtitle character string, and the window function value as the first evaluation value of each dialogue candidate point Multiplication unit 24 that multiplies and sets a second evaluation value corresponding to each dialogue candidate point, and determines the dialogue start point and dialogue end point based on the second assessment value of each dialogue candidate point and the caption signal. The dialogue detection unit 25 is configured.
[0022]
FIG. 3 shows an example of the operation input unit 12 composed of a remote controller or the like. The operation input unit 12 includes a general button such as a play button, a play stop button, a pause button, a rewind button, and a fast forward button, and a line repeat button 31 that is pressed when the line being played is repeatedly played. Is provided.
[0023]
Next, the operation of the line determination unit 10 will be described with reference to the flowchart of FIG. This dialogue determination process is always executed repeatedly while the AV content recorded on the DVD 1 is being reproduced.
[0024]
In step S1, the window function output unit 23 corresponds to the subtitle character string display timing Ts and erasure timing Te as shown in FIG. 5A, for example, as shown in FIG. 5E. And output to the multiplication unit 24. Note that the window function in FIG. 5E has a triangular shape with the display timing Ts and the erasing timing Te as vertices, but the vertex of the window function does not necessarily have to coincide with the display timing Ts and the erasing timing Te. Further, a normal distribution function or an exponential function may be applied to the window function.
[0025]
In step S2, the level detection unit 21 detects, for example, a change in the amplitude of the audio signal as shown in FIG. 5B by a method such as envelope detection, and an audio level signal as shown in FIG. 5C. Is output to the line candidate point detection unit 22. In step S3, the speech candidate point detection unit 22 detects the minimum value of the audio level signal input from the level detection unit 21 as, for example, speech candidate points C1 to C6 as shown in FIG. The first evaluation values are set for the dialogue candidate points C1 to C6, and the first evaluation values of the dialogue candidate points C1 to C6 are output to the multiplication unit 24. The first evaluation value is set such that a larger first evaluation value is set at a speech candidate point having a smaller value of the audio level signal. In addition, a larger first evaluation value is set for a line candidate point having a longer silent time.
[0026]
For example, in the case of FIG. 5D, 5 is set as the first evaluation value for the speech candidate point C1. For the line candidate point C2, 5 is set as the first evaluation value. For the line candidate point C3, 3 is set as the first evaluation value. For the line candidate point C4, 4 is set as the first evaluation value. For the dialogue candidate point C5, 1 is set as the first evaluation value. For the line candidate point C6, 5 is set as the first evaluation value.
[0027]
In step S4, the multiplication unit 24 multiplies the first evaluation values of the dialogue candidate points C1 to C6 input from the dialogue candidate point detection unit 22 by the value of the window function, as shown in FIG. The second evaluation values corresponding to the speech candidate points C1 to C6 are set, and the second evaluation values of the speech candidate points C1 to C6 are output to the speech detection unit 25.
[0028]
For example, in the case of FIG. 5F, for the speech candidate point C1, the first evaluation value (5) is multiplied by the window function value (0.2) to be set to 1 as the second evaluation value. Is set. For the speech candidate point C2, the first evaluation value (5) is multiplied by the window function value (0.8) and set to 4 as the second evaluation value. For the speech candidate point C3, the first evaluation value (3) is multiplied by the window function value (0) and set to 0 as the second evaluation value. For the speech candidate point C4, the first evaluation value (4) is multiplied by the window function value (0) and set to 0 as the second evaluation value. For the speech candidate point C5, the first evaluation value (1) is multiplied by the window function value (0.6), and set to 0.6 as the second evaluation value. For the speech candidate point C6, the first evaluation value (5) is multiplied by the window function value (0.4) and set to 2 as the second evaluation value.
[0029]
In step S5, the line detection unit 25, based on the second evaluation values of the line candidate points C1 to C6 from the multiplication unit 24 and the subtitle signal, out of the line candidate points near the display timing Ts of the subtitle character string. The one with the largest second evaluation value is determined as the dialogue start point. Further, among the line candidate points in the vicinity of the subtitle character string erasing timing Te, the one with the second second evaluation value is determined as the line end point.
[0030]
In the case of the example in FIG. 5, the dialogue candidate point C2 having the largest second evaluation value near the display timing Ts of the subtitle character string is determined as the dialogue start point. Further, the dialogue candidate point C2 having the largest second evaluation value in the vicinity of the subtitle character string erasing timing Te is determined as the dialogue end point. Information on the determined line start point and line end point is supplied to the control unit 11.
[0031]
If there is no difference between the second evaluation values of the dialogue candidate points in the vicinity of the display timing Ts and the erasure timing Te, for example, one second before the display timing Ts of the subtitle character string is determined as the dialogue start point. Thus, 1 second after the subtitle character string erasing timing Te is determined to be a dialogue end point.
[0032]
Through the dialogue determination process as described above, the control unit 11 is always supplied with the start and end points of dialogue included in the audio signal of the AV content being reproduced.
[0033]
Using this information, when the dialogue repeat button 31 of the operation input unit 12 is pressed, the control unit 11 waits for the reproduction point to advance to the end point of the dialogue being reproduced, and then sets the reproduction point of the dialogue. The reading unit 2 to the OSD unit 7 are controlled so that the dialogue is repeatedly reproduced by going back to the start point. In particular, the subtitle decoder 6 and the OSD unit 7 are controlled so that the corresponding subtitle character string is displayed when the playback point is traced back to the start point of the dialogue.
[0034]
Note that the information about the start and end points of dialogue contained in the audio signal of the AV content being played back is immediately returned to the start point of the dialogue being played, and the start point of the previous or next dialogue. This can be used to advance the playback point.
[0035]
Note that the present invention can also be applied to a device that plays back AV content from an information recording medium other than a DVD.
[0036]
By the way, the series of processes described above can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium 13 as shown in FIG. 1 in a general-purpose personal computer or the like.
[0037]
In the present specification, the step of describing the program recorded in the recording medium is not limited to the processing performed in time series according to the described order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
[0038]
【The invention's effect】
As described above, according to the playback apparatus and method and the program of the present invention, based on the audio signal and the caption signal, at least one of the start point and the end point of the dialogue included in the audio signal is determined, Based on the determination result, the reading process, the audio decoding process, and the subtitle decoding process are controlled so that the playback point goes back to the starting point of the dialogue, so in response to a single button operation, The playback point can be traced back in line units.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration example of a DVD player according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a configuration example of a line determination unit 10;
FIG. 3 is a diagram illustrating an example of an operation input unit 12;
FIG. 4 is a flowchart for explaining the operation of the line determination unit 10;
FIG. 5 is a diagram for explaining the operation of the line determination unit 10;
[Explanation of symbols]
1 DVD, 2 reading unit, 3 demultiplexer, 4 video decoder, 5 audio decoder, 6 subtitle decoder, 7 OSD unit, 10 speech determination unit, 11 control unit, 12 operation input unit, 13 recording medium, 21 level detection unit, 22 dialogue candidate point detection unit, 23 window function output unit, 24 multiplication unit, 25 dialogue detection unit, 31 dialogue repeat button

Claims

In a playback device for playing back an audio signal and displaying a character string of subtitles corresponding to lines included in the audio signal,
Reading means for reading audio data and subtitle data recorded on the information recording medium;
Audio decoding means for decoding the audio data read by the reading means and generating the audio signal;
Subtitle decoding means for decoding the subtitle data read by the reading means to generate a subtitle signal;
Line determination means for determining at least one of a start point and an end point of the line included in the audio signal based on the audio signal and the caption signal;
Input means for inputting an instruction for repeated playback of the dialogue;
Corresponding to the instruction input by the input means, based on the determination result of the dialogue determination means, the reading means, the audio decoding means, and the caption decoding so that the playback point goes back to the start point of the dialogue And a control means for controlling the means.

The playback apparatus according to claim 1, wherein the information recording medium is a DVD.

Dialogue determination means
Setting means for setting a window function corresponding to the display timing and erasure timing of the character string included in the subtitle signal;
Level detecting means for detecting the level of the audio signal and generating an audio level signal;
Extracting means for extracting the minimum value of the speech level signal as a speech candidate point;
An assigning means for assigning a first evaluation value to the dialogue candidate points;
Multiplication means for giving a second evaluation value to the dialogue candidate point by multiplying a first evaluation value of the dialogue candidate point by a corresponding value of the window function;
And determining means for determining at least one of the starting point and the ending point of the dialogue from among the plurality of dialogue candidate points based on the second evaluation value. The reproducing apparatus according to 1.

In a playback method of a playback device for playing back an audio signal and displaying a character string of subtitles corresponding to the dialogue included in the audio signal,
A reading step of reading audio data and subtitle data recorded on the information recording medium;
An audio decoding step of decoding the audio data read in the processing of the reading step to generate the audio signal;
A subtitle decoding step of decoding the subtitle data read in the processing of the reading step to generate a subtitle signal;
A line determination step of determining at least one of a start point and an end point of the line included in the audio signal based on the audio signal and the caption signal;
An input step for inputting an instruction for repeated playback of the dialogue;
Corresponding to the instruction input in the input step process, based on the determination result in the line determination step process, the reproduction step process, the audio, so that the playback point goes back to the start point of the line A playback method comprising: a decoding step process; and a control step for controlling the subtitle decoding step process.

A program for reproducing an audio signal and displaying a character string of a subtitle corresponding to a dialogue included in the audio signal,
A reading step of reading audio data and subtitle data recorded on the information recording medium;
An audio decoding step of decoding the audio data read in the processing of the reading step to generate the audio signal;
A subtitle decoding step of decoding the subtitle data read in the processing of the reading step to generate a subtitle signal;
A line determination step of determining at least one of a start point and an end point of the line included in the audio signal based on the audio signal and the caption signal;
An input step for inputting an instruction for repeated playback of the dialogue;
Corresponding to the instruction input in the input step process, based on the determination result in the line determination step process, the reproduction step process, the audio, so that the playback point goes back to the start point of the line A recording medium on which a computer-readable program is recorded, comprising: a decoding step process; and a control step for controlling the subtitle decoding step process.

A computer that reproduces an audio signal and displays a subtitle character string corresponding to the dialogue included in the audio signal.
A reading step of reading audio data and subtitle data recorded on the information recording medium;
An audio decoding step of decoding the audio data read in the processing of the reading step to generate the audio signal;
A subtitle decoding step of decoding the subtitle data read in the processing of the reading step to generate a subtitle signal;
A line determination step of determining at least one of a start point and an end point of the line included in the audio signal based on the audio signal and the caption signal;
An input step for inputting an instruction for repeated playback of the dialogue;
Corresponding to the instruction input in the input step process, based on the determination result in the line determination step process, the reproduction step process, the audio, so that the playback point goes back to the start point of the line The program which performs the process of a decoding step, and the control step which controls the process of the said caption decoding step.