WO2013038636A1

WO2013038636A1 - 表示装置及び録画再生装置

Info

Publication number: WO2013038636A1
Application number: PCT/JP2012/005705
Authority: WO
Inventors: 忠夫森下
Original assignee: シャープ株式会社
Priority date: 2011-09-14
Filing date: 2012-09-10
Publication date: 2013-03-21

Abstract

　放送ストリームを分離するデコーダ（１）と、映像／音声ストリームを保存するストレージ（２）と、音声読みデータを生成する音声読みデータ生成部（４）と、字幕読みデータを生成する字幕読みデータ生成部（５）と、音声読みデータに対する字幕読みデータの遅延時間を検出する遅延時間検出部（６）と、映像／音声ストリームから映像／音声データを生成し、遅延時間が検出された文章における映像／音声データの再生を遅延時間よりも長く遅延させる映像音声デコーダ（７）と、遅延させた映像データに字幕データを同期させて合成する映像合成部（８）とを備えている。

Description

表示装置及び録画再生装置

　本発明は、表示装置及び録画再生装置に関し、特に、字幕放送を視聴するための表示装置及び録画再生装置に関するものである。

　近年、地上デジタル放送やＢＳ（broadcasting satellite）デジタル放送では、多くの番組において、字幕付きの放送（字幕放送）を行っているので、ユーザーは、字幕の表示の有無を自由に切り替えて、視聴することができる。

　ところで、ドラマなどの収録及び編集済みの番組では、字幕を予め準備することができるので、映像及び音声と字幕との同期が取れているものの、ニュースなどのライブの番組では、音声認識装置や手作業により字幕を作成しながら放送するので、映像及び音声に対して、字幕が遅延する場合がある。

　例えば、特許文献１には、映像音声信号遅延手段により、映像音声を、放送信号で送られてくる遅延時間情報で示された遅延時間分送らせることで、映像音声と字幕との出力時間差を調整し、信号重畳手段で、その遅延された映像音声に字幕を重畳させて出力する字幕放送受信装置が開示されている。

特開２００４－２０７８２１号公報

　しかしながら、特許文献１に開示された字幕放送受信装置では、放送局側が遅延時間の情報を付加して字幕放送を送信する必要があるので、字幕の遅延に対して、全ての放送局が対応することができるとは限らない。

　本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、映像及び音声と字幕とを確実に同期させることにある。

　上記目的を達成するために、本発明は、装置内で字幕の遅延を検出して、その遅延時間よりも長く映像及び音声の再生を遅延させ、映像及び音声に字幕を同期させるようにしたものである。

　具体的に本発明に係る表示装置は、放送ストリームを映像ストリーム、音声ストリーム及び字幕データに分離するデコーダと、上記映像ストリーム及び音声ストリームを保存するストレージと、上記音声ストリームから音声データを生成する音声デコーダと、上記音声データから音声読みデータを生成する音声読みデータ生成部と、上記字幕データから字幕読みデータを生成する字幕読みデータ生成部と、上記音声読みデータ及び字幕読みデータにおいて、互いに一致する文章を検索し、該文章における音声読みデータに対する字幕読みデータの遅延時間を検出する遅延時間検出部と、上記ストレージに保存された映像ストリーム及び音声ストリームから映像データ及び音声データをそれぞれ生成し、上記遅延時間が検出された文章における該映像データ及び音声データの再生を上記遅延時間よりも長くそれぞれ遅延させる映像音声デコーダと、上記映像音声デコーダで遅延させた映像データに上記字幕データを同期させて合成する映像合成部と、上記映像合成部で合成された映像データを表示する映像表示部と、上記映像音声デコーダで遅延させた音声データを出力する音声出力部とを備えている。

　上記の構成によれば、デコーダで放送ストリームを映像ストリーム、音声ストリーム及び字幕データに分離し、音声デコーダで音声ストリームから音声データを生成し、遅延時間検出部では、音声読みデータ生成部で音声データから生成された音声読みデータ、及び字幕読みデータ生成部で字幕データから生成された字幕読みデータにおいて、互いに一致する文章を検索し、その文章における音声読みデータに対する字幕読みデータの遅延時間を検出するので、映像及び音声に対する字幕の遅延が装置内で検出される。そして、映像音声デコーダでは、遅延時間が検出された文章における映像データ及び音声データの再生を遅延時間検出部で検出された遅延時間よりも長くそれぞれ遅延させると共に、映像合成部において、映像音声デコーダで遅延させた映像データに字幕データを同期させて合成するので、映像表示部で表示される映像データ、及び音声出力部で出力される音声データに字幕データが同期することになる。これにより、装置内で字幕の遅延を検出して、その遅延時間よりも長く映像及び音声の再生を遅延させ、映像及び音声に字幕を同期させているので、放送局での対応に影響されることなく、映像及び音声と字幕とが確実に同期される。

　上記字幕読みデータ生成部は、漢字を仮名に変換するように構成されていてもよい。

　上記の構成によれば、字幕読みデータ生成部が漢字を仮名に変換するように構成されているので、漢字混じりの字幕から仮名だけの字幕読みデータが具体的に生成される。

　上記遅延時間検出部は、上記音声読みデータ及び字幕読みデータにおける文章の一致を前方一致で検索するように構成されていてもよい。

　上記の構成によれば、遅延時間検出部が音声読みデータ及び字幕読みデータにおける文章の一致を前方一致で検索するように構成されているので、音声読みデータ及び字幕読みデータにおける文章の一致を検索する作業が軽減される。

　上記映像表示部は、液晶表示モジュールであってもよい。

　上記の構成によれば、映像表示部が液晶表示モジュールであるので、表示装置として、液晶テレビが具体的に構成される。

　また、本発明に係る録画再生装置は、放送ストリームを保存するストレージと、上記ストレージに保存された放送ストリームを映像ストリーム、音声ストリーム及び字幕データに分離するデコーダと、上記音声ストリームから音声データを生成する音声デコーダと、上記音声データから音声読みデータを生成する音声読みデータ生成部と、上記字幕データから字幕読みデータを生成する字幕読みデータ生成部と、上記音声読みデータ及び字幕読みデータにおいて、互いに一致する文章を検索し、該文章における音声読みデータに対する字幕読みデータの遅延時間を検出する遅延時間検出部と、上記映像ストリーム及び音声ストリームから映像データ及び音声データをそれぞれ生成し、上記遅延時間が検出された文章における該映像データ及び音声データの再生を上記遅延時間よりも長くそれぞれ遅延させる映像音声デコーダと、上記映像音声デコーダで遅延させた映像データに上記字幕データを同期させて合成する映像合成部と、上記映像合成部で合成された映像データを出力するための映像出力ポートと、上記映像音声デコーダで遅延させた音声データを出力するための音声出力ポートとを備えている。

　上記の構成によれば、デコーダでストレージに保存された放送ストリームを映像ストリーム、音声ストリーム及び字幕データに分離し、音声デコーダで音声ストリームから音声データを生成し、遅延時間検出部では、音声読みデータ生成部で音声データから生成された音声読みデータ、及び字幕読みデータ生成部で字幕データから生成された字幕読みデータにおいて、互いに一致する文章を検索し、その文章における音声読みデータに対する字幕読みデータの遅延時間を検出するので、映像及び音声に対する字幕の遅延が装置内で検出される。そして、映像音声デコーダでは、遅延時間が検出された文章における映像データ及び音声データの再生を遅延時間検出部で検出された遅延時間よりも長くそれぞれ遅延させると共に、映像合成部において、映像音声デコーダで遅延させた映像データに字幕データを同期させて合成するので、映像出力ポートから出力される映像データ、及び音声出力ポートから出力される音声データに字幕データが同期することになる。これにより、装置内で字幕の遅延を検出して、その遅延時間よりも長く映像及び音声の再生を遅延させ、映像及び音声に字幕を同期させているので、放送局での対応に影響されることなく、映像及び音声と字幕とが確実に同期される。

　また、本発明に係る録画再生装置は、放送ストリームを映像ストリーム、音声ストリーム及び字幕データに分離するデコーダと、上記音声ストリームから音声データを生成する音声デコーダと、上記音声データから音声読みデータを生成する音声読みデータ生成部と、上記字幕データから字幕読みデータを生成する字幕読みデータ生成部と、上記音声読みデータ及び字幕読みデータにおいて、互いに一致する文章を検索し、該文章における音声読みデータに対する字幕読みデータの遅延時間を検出する遅延時間検出部と、上記映像ストリーム及び音声ストリームを上記遅延時間が検出された文章における該映像ストリーム及び音声ストリームの再生が上記遅延時間よりも長くそれぞれ遅延し、上記字幕データが該映像ストリーム及び音声ストリームに同期するように保存するストレージと、上記ストレージに保存された映像ストリーム及び音声ストリームを再生する映像音声再生部とを備えている。

　上記の構成によれば、デコーダで放送ストリームを映像ストリーム、音声ストリーム及び字幕データに分離し、音声デコーダで音声ストリームから音声データを生成し、遅延時間検出部では、音声読みデータ生成部で音声データから生成された音声読みデータ、及び字幕読みデータ生成部で字幕データから生成された字幕読みデータにおいて、互いに一致する文章を検索し、その文章における音声読みデータに対する字幕読みデータの遅延時間を検出するので、映像及び音声に対する字幕の遅延が装置内で検出される。そして、ストレージでは、遅延時間が検出された文章における映像ストリーム及び音声ストリームの再生が遅延時間検出部で検出された遅延時間よりも長くそれぞれ遅延し、字幕データが映像ストリーム及び音声ストリームに同期するように保存されるので、ストレージで保存された映像ストリーム及び音声ストリームを再生する映像音声再生部では、映像及び音声に字幕が同期して再生される。これにより、装置内で字幕の遅延を検出して、その遅延時間よりも長く映像及び音声の再生を遅延させ、映像及び音声に字幕を同期させているので、放送局での対応に影響されることなく、映像及び音声と字幕とが確実に同期される。

　本発明によれば、装置内で字幕の遅延を検出して、その遅延時間よりも長く映像及び音声の再生を遅延させ、映像及び音声に字幕を同期させているので、映像及び音声と字幕とを確実に同期させることができる。

図１は、実施形態１に係る液晶テレビのブロック図である。図２は、実施形態１に係る液晶テレビによる字幕を同期させる手順を示す説明図である。図３は、実施形態１に係る液晶テレビを構成する音声読みデータ生成部に入力される音声データのタイムテーブルである。図４は、実施形態１に係る液晶テレビの表示画面を示す説明図である。図５は、実施形態２に係る録画再生装置のブロック図である。図６は、実施形態３に係る録画再生装置のブロック図である。

　以下、本発明の実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下の各実施形態に限定されるものではない。

　《発明の実施形態１》
　図１は、本実施形態の液晶テレビ３０のブロック図である。また、図２は、液晶テレビ３０による字幕を同期させる手順を示す説明図である。また、図３は、液晶テレビ３０を構成する音声読みデータ生成部４に入力される音声データを時間軸上に示すタイムテーブルである。また、図４は、液晶テレビ３０の表示画面を示す説明図である。

　液晶テレビ３０は、図１に示すように、互いに連関するように設けられたデコーダ１、ストレージ２、音声デコーダ３、音声読みデータ生成部４、字幕読みデータ生成部５、遅延時間検出部６、映像音声デコーダ７、映像合成部８、液晶モジュール９及びスピーカー１０を備えている。

　デコーダ１は、図１に示すように、放送ストリームを映像ストリーム、音声ストリーム及び字幕データに分離するように設けられている。

　ストレージ２は、図１に示すように、デコーダ１で分離された映像ストリーム、及びデコーダ１で分離された後に２つに分けられた一方の音声ストリームを保存するように設けられている。また、ストレージ２は、字幕の遅延時間よりも十分に長い時間の映像ストリーム及び音声ストリームを保存するための保存容量を有しており、例えば、ハードディスクやフラッシュメモリなどにより構成されている。

　音声デコーダ３は、図１に示すように、デコーダ１で分離された後に２つに分けられた他方の音声ストリームから音声データを生成するように設けられている。

　音声読みデータ生成部４は、図１に示すように、音声デコーダ３で生成された音声データから音声読みデータを生成して、音声読みデータ及びその音声データの開始時刻を音声情報として格納するように設けられている。

　字幕読みデータ生成部５は、図１に示すように、デコーダ１で分離された後に２つに分けられた一方の字幕データから字幕読みデータを生成して、字幕データ、字幕読みデータ、字幕データの登録時刻及び通し番号（ＩＤ）を字幕情報として、格納するように設けられている。ここで、字幕読みデータ生成部５は、漢字混じりの字幕データを全て仮名に変換して、字幕読みデータを生成するように設けられている。

　遅延時間検出部６は、図１に示すように、音声読みデータ生成部４で生成された音声読みデータ、及び字幕読みデータ生成部５で生成された字幕読みデータにおいて、互いに一致する文章を検索し、検索された文章における音声読みデータに対する字幕読みデータの遅延時間を検出して、遅延時間に基づいて、映像音声デコーダ７からの映像データに字幕データを適切なタイミングで挿入するように設けられている。ここで、遅延時間検出部６では、音声読みデータ及び字幕読みデータにおける文章の一致を、例えば、前方一致で検索するようになっている。なお、本実施形態では、音声読みデータ及び字幕読みデータにおける文章の一致を、前方一致で検索する方法を例示したが、音声読みデータ及び字幕読みデータにおける文章の一致を完全一致で検索してもよい。

　映像音声デコーダ７は、図１に示すように、ストレージ２に保存された映像ストリーム及び音声ストリームから映像データ及び音声データをそれぞれ生成し、遅延時間検出部６で遅延時間が検出された文章における映像データ及び音声データの再生を遅延時間よりも長くそれぞれ遅延させるように設けられている。

　映像合成部８は、図１に示すように、映像音声デコーダ７で遅延させた映像データにデコーダ１で分離された後に２つに分けられた他方の字幕データを同期させて合成するように設けられている。

　液晶モジュール９は、図１に示すように、映像合成部８で合成された映像データを表示する映像表示部として設けられている。

　スピーカー１０は、図１に示すように、映像音声デコーダ７で遅延させた音声データを出力する音声出力部として設けられている。

　次に、上記構成の液晶テレビ３０を用いて、映像及び音声に対して字幕を同期させるための手順（ａ）～（ｆ）について説明する。なお、下記の（ａ）～（ｆ）は、図２中の（ａ）～（ｆ）に対応している。

　（ａ）音声読みデータ生成部４において、音声デコーダ３で生成された音声データ（「気象庁では土砂災害…」）を音声読みデータ（「キショウチョウデワドシャサイガイ…」）に変換し、音声情報として、音声読みデータ及びその音声データの開始時刻（「１９：１２：２０．００」）を格納する。ここで、音声データの開始時刻は、図３に示すように、音声読みデータ生成部４に入力される音声データにおいて、無音やＢＧＭなどが一定時間（例えば、１秒）継続した後に、音声が認識され始めた時刻である。

　（ｂ）字幕読みデータ生成部５において、デコーダ１で分離された字幕データ（「気象庁では土砂災害…」）から字幕読みデータ（「キショウチョウデワドシャサイガイ…」）を生成して、字幕データ、字幕読みデータ、字幕データの登録時刻（「１９：１２：２２．５０」）及びＩＤ（「１００１」）を字幕情報として、格納する。

　（ｃ）遅延時間検出部６において、（ａ）で格納した音声情報から（ｂ）で得られた字幕読みデータと一致するものを検索する。ここで、字幕の遅延時間は、それほど大きく変動しないので、検索対象を時間的に絞り込んでもよい。また、検索には、音声読みデータ生成部４での音声認識の誤認識を考慮して、ロバスト性を有するパターンマッチングが望ましい。

　（ｄ）遅延時間検出部６において、（ｃ）の検索の結果、ＩＤ：１００１に対する音声情報が１９：１２：２０．００のものと判明し、時刻１９：１２：２０．００とＩＤ＝１００１とを対応づけるタイムテーブルを作成して、一致した文章（「キショウチョウデワドシャサイガイ…」）における音声読みデータ（開始時刻：１９：１２：２０．００）に対する字幕読みデータ（登録時刻：１９：１２：２２．５０）の遅延時間（２．５秒）を検出する。

　（ｅ）映像音声デコーダ７において、ストレージ２に保存された映像ストリーム及び音声ストリームから映像データ及び音声データをそれぞれ生成し、それらの映像データ及び音声データの再生を遅延時間（２．５秒）よりも十分に長く、ライブ放送としての価値を失わない程度の時間Δｔ（例えば、２０秒）遅延させて開始する。

　（ｆ）時刻Ｔでの再生データのタイムスタンプは、Ｔ－Δｔであるので、時刻１９：１２：２０．００＋Δｔでの再生データのタイムスタンプは、１９：１２：２０．００である。そして、（ｄ）で作成したタイムテーブルを参照すると、１９：１２：２０．００には、ＩＤ：１００１とあるので、このとき、映像合成部８において、ＩＤ：１００１に対応する字幕データを映像データに挿入して合成することにより、図４に示すように、音声と字幕とが同期した映像が得られる。

　以上のようにして、本実施形態の液晶テレビ３０を用いて、映像及び音声に対して字幕を同期させることができる。

　以上説明したように、本実施形態の液晶テレビ３０によれば、デコーダ１で放送ストリームを映像ストリーム、音声ストリーム及び字幕データに分離し、音声デコーダ３で音声ストリームから音声データを生成し、遅延時間検出部６では、音声読みデータ生成部４で音声データから生成された音声読みデータ、及び字幕読みデータ生成部５で字幕データから生成された字幕読みデータにおいて、互いに一致する文章を検索し、その文章における音声読みデータに対する字幕読みデータの遅延時間を検出するので、映像及び音声に対する字幕の遅延を装置内で検出することができる。そして、映像音声デコーダ７では、遅延時間が検出された文章における映像データ及び音声データの再生を遅延時間検出部６で検出された遅延時間よりも長くそれぞれ遅延させると共に、映像合成部８において、映像音声デコーダ７で遅延させた映像データに字幕データを同期させて合成するので、液晶表示モジュール９で表示される映像データ、及びスピーカー１０で出力される音声データに字幕データが同期することになる。これにより、装置内で字幕の遅延を検出して、その遅延時間よりも長く映像及び音声の再生を遅延させ、映像及び音声に字幕を同期させているので、放送局での対応に影響されることなく、映像及び音声と字幕とを確実に同期することができる。

　また、本実施形態の液晶テレビ３０によれば、遅延時間検出部６が音声読みデータ及び字幕読みデータにおける文章の一致を前方一致で検索するように構成されているので、音声読みデータ及び字幕読みデータにおける文章の一致を検索する作業を軽減することができる。

　なお、本実施形態では、映像表示部として液晶表示モジュール９を例示して、表示装置として、液晶テレビ３０を例示したが、本発明は、有機ＥＬ（Electro Luminescence）テレビ、プラスマテレビなどの他の表示装置にも適用することができる。

　《発明の実施形態２》
　図５は、本実施形態の録画再生装置４０のブロック図である。

　録画再生装置４０は、図５に示すように、互いに連関するように設けられたストレージ１１、デコーダ１２、音声デコーダ１３、音声読みデータ生成部１４、字幕読みデータ生成部１５、遅延時間検出部１６、映像音声デコーダ１７、映像合成部１８、映像出力ポート１９及び音声出力ポート２０を備え、例えば、ブルーレイディスクレコーダーやハードディスクレコーダーなどを構成している。

　ストレージ１１は、図５に示すように、放送ストリームを保存するように設けられている。

　デコーダ１２は、図５に示すように、ストレージ１１に保存された放送ストリームを映像ストリーム、音声ストリーム及び字幕データに分離するように設けられている。

　音声デコーダ１３は、図５に示すように、デコーダ１２で分離された後に２つに分けられた一方の音声ストリームから音声データを生成するように設けられている。

　音声読みデータ生成部１４は、図５に示すように、音声デコーダ１３で生成された音声データから音声読みデータを生成して、音声読みデータ及びその音声データの開始時刻を音声情報として格納するように設けられている。

　字幕読みデータ生成部１５は、図５に示すように、デコーダ１２で分離された後に２つに分けられた一方の字幕データから字幕読みデータを生成して、字幕データ、字幕読みデータ、字幕データの登録時刻及び通し番号（ＩＤ）を字幕情報として、格納するように設けられている。

　遅延時間検出部１６は、図５に示すように、音声読みデータ生成部１４で生成された音声読みデータ、及び字幕読みデータ生成部１５で生成された字幕読みデータにおいて、互いに一致する文章を検索し、検索された文章における音声読みデータに対する字幕読みデータの遅延時間を検出して、遅延時間に基づいて、映像音声デコーダ１７からの映像データに字幕データを適切なタイミングで挿入するように設けられている。

　映像音声デコーダ１７は、図５に示すように、デコーダ１２で分離された映像ストリーム、及びデコーダ１２で分離された後に２つに分けられた他方の音声ストリームから映像データ及び音声データをそれぞれ生成し、遅延時間検出部１６で遅延時間が検出された文章における映像データ及び音声データの再生を遅延時間よりも長くそれぞれ遅延させるように設けられている。

　映像合成部１８は、図５に示すように、映像音声デコーダ１７で遅延させた映像データにデコーダ１２で分離された後に２つに分けられた他方の字幕データを同期させて合成するように設けられている。

　映像出力ポート１９は、図５に示すように、映像合成部１８で合成された映像データを出力するように設けられている。

　音声出力ポート２０は、図５に示すように、映像音声デコーダ１７で遅延させた音声データを出力するように設けられている。

　上記構成の録画再生装置４０は、上記実施形態１で説明した手順（ａ）～（ｆ）を行うことにより、映像及び音声に対して字幕を同期させることができる。

　以上説明したように、本実施形態の録画再生装置４０によれば、デコーダ１２でストレージ１１に保存された放送ストリームを映像ストリーム、音声ストリーム及び字幕データに分離し、音声デコーダ１３で音声ストリームから音声データを生成し、遅延時間検出部１６では、音声読みデータ生成部１４で音声データから生成された音声読みデータ、及び字幕読みデータ生成部１５で字幕データから生成された字幕読みデータにおいて、互いに一致する文章を検索し、その文章における音声読みデータに対する字幕読みデータの遅延時間を検出するので、映像及び音声に対する字幕の遅延を装置内で検出することができる。そして、映像音声デコーダ１７では、遅延時間が検出された文章における映像データ及び音声データの再生を遅延時間検出部１６で検出された遅延時間よりも長くそれぞれ遅延させると共に、映像合成部１８において、映像音声デコーダ１７で遅延させた映像データに字幕データを同期させて合成するので、映像出力ポート１９から出力される映像データ、及び音声出力ポート２０から出力される音声データに字幕データが同期することになる。これにより、装置内で字幕の遅延を検出して、その遅延時間よりも長く映像及び音声の再生を遅延させ、映像及び音声に字幕を同期させているので、装置内に録画されたライブ番組に対しても、放送局での対応に影響されることなく、映像及び音声と字幕とを確実に同期させることができる。

　《発明の実施形態３》
　図６は、本実施形態の録画再生装置５０のブロック図である。

　録画再生装置５０は、図６に示すように、互いに連関するように設けられたデコーダ２１、音声デコーダ２２、音声読みデータ生成部２３、字幕読みデータ生成部２４、遅延時間検出部２５、ストレージ２６及び映像音声再生部２７を備え、例えば、ブルーレイディスクレコーダーやハードディスクレコーダーなどを構成している。

　デコーダ２１は、図６に示すように、放送ストリームを映像ストリーム、音声ストリーム及び字幕データに分離するように設けられている。

　音声デコーダ２２は、図６に示すように、デコーダ２１で分離された後に２つに分けられた一方の音声ストリームから音声データを生成するように設けられている。

　音声読みデータ生成部２３は、図６に示すように、音声デコーダ２２で生成された音声データから音声読みデータを生成して、音声読みデータ及びその音声データの開始時刻を音声情報として格納するように設けられている。

　字幕読みデータ生成部２４は、図６に示すように、デコーダ２１で分離された後に２つに分けられた一方の字幕データから字幕読みデータを生成して、字幕データ、字幕読みデータ、字幕データの登録時刻及び通し番号（ＩＤ）を字幕情報として、格納するように設けられている。

　遅延時間検出部２５は、図６に示すように、音声読みデータ生成部２３で生成された音声読みデータ、及び字幕読みデータ生成部２４で生成された字幕読みデータにおいて、互いに一致する文章を検索し、検索された文章における音声読みデータに対する字幕読みデータの遅延時間を検出して、遅延時間に基づいて、映像ストリーム及び音声ストリームに字幕データを挿入するタイミングを設定するように設けられている。

　ストレージ２６は、図６に示すように、デコーダ２１で分離された映像ストリーム、及びデコーダ２２で分離された後に２つに分けられた他方の音声ストリームを遅延時間が検出された文章における映像ストリーム及び音声ストリームの再生が遅延時間よりも長くそれぞれ遅延し、字幕データが映像ストリーム及び音声ストリームに同期するように保存するように設けられている。

　映像音声再生部２７は、例えば、ストレージ２６に保存された映像ストリーム及び音声ストリームから映像データ及び音声データをそれぞれ生成するための映像音声デコーダと、その映像音声デコーダで生成された映像データ及び音声データを出力するための映像音声出力ポートとを備え、ストレージ２６に保存された映像ストリーム及び音声ストリームを再生するように設けられている。

　上記構成の録画再生装置５０は、上記実施形態１で説明した手順（ａ）～（ｆ）を行うことにより、映像及び音声に対して字幕を同期させることができる。

　以上説明したように、本実施形態の録画再生装置５０によれば、デコーダ２１で放送ストリームを映像ストリーム、音声ストリーム及び字幕データに分離し、音声デコーダ２２で音声ストリームから音声データを生成し、遅延時間検出部２５では、音声読みデータ生成部２３で音声データから生成された音声読みデータ、及び字幕読みデータ生成部２４で字幕データから生成された字幕読みデータにおいて、互いに一致する文章を検索し、その文章における音声読みデータに対する字幕読みデータの遅延時間を検出するので、映像及び音声に対する字幕の遅延を装置内で検出することができる。そして、ストレージ２６では、遅延時間が検出された文章における映像ストリーム及び音声ストリームの再生が遅延時間検出部２５で検出された遅延時間よりも長くそれぞれ遅延し、字幕データが映像ストリーム及び音声ストリームに同期するように保存されるので、ストレージ２６で保存された映像ストリーム及び音声ストリームを再生する映像音声再生部２７では、映像及び音声に字幕を同期して再生することができる。これにより、装置内で字幕の遅延を検出して、その遅延時間よりも長く映像及び音声の再生を遅延させ、映像及び音声に字幕を同期させているので、放送局での対応に影響されることなく、映像及び音声と字幕とを確実に同期することができる。

　また、本実施形態の録画再生装置５０によれば、映像及び音声と字幕とが同期した状態で保存しているので、再生開始を装置本体に指示すると、同期した映像が直ちに再生することができる。これに対して、上記実施形態２の録画再生装置４０では、再生開始を装置本体に指示すると、同期した映像が所定の時間Δｔだけ遅れて再生される。

　以上説明したように、本発明は、映像及び音声と字幕とを確実に同期することができるので、字幕放送を視聴するための表示装置及び録画再生装置について有用である。

１，１２，２１　　デコーダ
２，１１，２６　　ストレージ
３，１３，２２　　音声デコーダ
４，１４，２３　　音声読みデータ生成部
５，１５，２４　　字幕読みデータ生成部
６，１６，２５　　遅延時間検出部
７，１７　　　映像音声デコーダ
８，１８　　　映像合成部
９　　　　　　液晶表示モジュール（映像表示部）
１０　　　　　スピーカー（音声出力部）
１９　　　　　映像出力ポート
２０　　　　　音声出力ポート
２７　　　　　映像音声再生部
３０　　　　　液晶テレビ（表示装置）
４０，５０　　録画再生装置

Claims

　放送ストリームを映像ストリーム、音声ストリーム及び字幕データに分離するデコーダと、
　上記映像ストリーム及び音声ストリームを保存するストレージと、
　上記音声ストリームから音声データを生成する音声デコーダと、
　上記音声データから音声読みデータを生成する音声読みデータ生成部と、
　上記字幕データから字幕読みデータを生成する字幕読みデータ生成部と、
　上記音声読みデータ及び字幕読みデータにおいて、互いに一致する文章を検索し、該文章における音声読みデータに対する字幕読みデータの遅延時間を検出する遅延時間検出部と、
　上記ストレージに保存された映像ストリーム及び音声ストリームから映像データ及び音声データをそれぞれ生成し、上記遅延時間が検出された文章における該映像データ及び音声データの再生を上記遅延時間よりも長くそれぞれ遅延させる映像音声デコーダと、
　上記映像音声デコーダで遅延させた映像データに上記字幕データを同期させて合成する映像合成部と、
　上記映像合成部で合成された映像データを表示する映像表示部と、
　上記映像音声デコーダで遅延させた音声データを出力する音声出力部とを備えている、表示装置。
　上記字幕読みデータ生成部は、漢字を仮名に変換するように構成されている、請求項１に記載の表示装置。
　上記遅延時間検出部は、上記音声読みデータ及び字幕読みデータにおける文章の一致を前方一致で検索するように構成されている、請求項１又は２に記載の表示装置。
　上記映像表示部は、液晶表示モジュールである、請求項１乃至３の何れか１つに記載の表示装置。
　放送ストリームを保存するストレージと、
　上記ストレージに保存された放送ストリームを映像ストリーム、音声ストリーム及び字幕データに分離するデコーダと、
　上記音声ストリームから音声データを生成する音声デコーダと、
　上記音声データから音声読みデータを生成する音声読みデータ生成部と、
　上記字幕データから字幕読みデータを生成する字幕読みデータ生成部と、
　上記音声読みデータ及び字幕読みデータにおいて、互いに一致する文章を検索し、該文章における音声読みデータに対する字幕読みデータの遅延時間を検出する遅延時間検出部と、
　上記映像ストリーム及び音声ストリームから映像データ及び音声データをそれぞれ生成し、上記遅延時間が検出された文章における該映像データ及び音声データの再生を上記遅延時間よりも長くそれぞれ遅延させる映像音声デコーダと、
　上記映像音声デコーダで遅延させた映像データに上記字幕データを同期させて合成する映像合成部と、
　上記映像合成部で合成された映像データを出力するための映像出力ポートと、
　上記映像音声デコーダで遅延させた音声データを出力するための音声出力ポートとを備えている、録画再生装置。
　放送ストリームを映像ストリーム、音声ストリーム及び字幕データに分離するデコーダと、
　上記音声ストリームから音声データを生成する音声デコーダと、
　上記音声データから音声読みデータを生成する音声読みデータ生成部と、
　上記字幕データから字幕読みデータを生成する字幕読みデータ生成部と、
　上記音声読みデータ及び字幕読みデータにおいて、互いに一致する文章を検索し、該文章における音声読みデータに対する字幕読みデータの遅延時間を検出する遅延時間検出部と、
　上記映像ストリーム及び音声ストリームを上記遅延時間が検出された文章における該映像ストリーム及び音声ストリームの再生が上記遅延時間よりも長くそれぞれ遅延し、上記字幕データが該映像ストリーム及び音声ストリームに同期するように保存するストレージと、
　上記ストレージに保存された映像ストリーム及び音声ストリームを再生する映像音声再生部とを備えている、録画再生装置。