JP4285099B2 - データ再生方法及びデータ再生装置 - Google Patents
データ再生方法及びデータ再生装置 Download PDFInfo
- Publication number
- JP4285099B2 JP4285099B2 JP2003174335A JP2003174335A JP4285099B2 JP 4285099 B2 JP4285099 B2 JP 4285099B2 JP 2003174335 A JP2003174335 A JP 2003174335A JP 2003174335 A JP2003174335 A JP 2003174335A JP 4285099 B2 JP4285099 B2 JP 4285099B2
- Authority
- JP
- Japan
- Prior art keywords
- audio
- data
- video
- information
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタル符号化されたオーディオ・ビデオの再生時に、データ放送内容を加算する際に、オーディオとビデオの可変速処理との同期をとりながらデータ放送内容を再生するデータ再生方法及び装置に関する。
【０００２】
【従来の技術】
近年、CD-ROMや、DVD-ROM、ハードディスク等の各種記録媒体にデジタル圧縮されて記録されたオーディオ・ビデオ信号を読み取り、伸張した信号を、装置に接続された映像モニタや音響スピーカ等を通じて再生する再生装置が広く普及してきている。
【０００３】
またBSデジタル放送や、CSデジタル放送などのデジタル圧縮されたオーディオ・ビデオ信号を、デジタル記録して再生する再生装置も普及してきた。
【０００４】
デジタル圧縮符号化されたオーディオ・ビデオ信号のデータをそれぞれ伸張してオーディオ成分信号とビデオ成分信号とを再生する再生装置において、デジタル圧縮に際しての既知な規格としては、MPEG（Motion Picture Experts Group）が知られている。MPEGでは多重化されて圧縮符号化されたオーディオ・ビデオ信号のデータをデコードしたあとで、同期して再生を実行するため、符号時にオーディオ・ビデオ信号におけるオーディオ成分信号とビデオ成分信号とのそれぞれに再生及び表示を実行する時刻情報が付加されて圧縮される。これにより、伸張時には装置が有するシステム時刻基準参照値に対し、これらの時刻情報を参照してオーディオ成分信号とビデオ成分信号との同期を合わせながら再生を実行している。
【０００５】
デジタル放送信号は、ビデオ成分信号はMPEG2 Videoと呼ばれる符号化圧縮方式で、オーディオ成分信号はMPEG2 Audio AAC（Advanced Audio Coding）と呼ばれる符号化圧縮方式で圧縮され、PES (Packetized Elementary Stream）に変換される。字幕、文字スーパの情報も同じくPES形式に変換され、それ以外のデータはセクションと呼ばれる形式に変換され、これらをひとつのまとまった信号にする多重化処理を施して放送される。
【０００６】
以下従来の同期方式について説明する。なお、出願人は、特許文献１に開示されている画像及び音声情報の再生システムを認識しており、本発明の課題を明確にするために、先行技術の内容を従来例として、簡単に説明する。この方式では、現在出力中の再生画像及び再生音声の出力情報をフレーム単位で算出し、再生画像等が所定量進んでいるかを判定して、進んでいるときには画像再生を遅延し、遅れているときは促進することにより、画像の再生のタイミングを変更することにより、オーディオとビデオを同期して再生している。
【０００７】
以下従来の高速再生時等の同期方式について説明する。なお、出願人は、特許文献２に開示されているデコード処理方法を認識しており、本発明の課題を明確にするために、先行技術の内容を従来例として、簡単に説明する。この方式では、高速再生時のような特殊再生時には、副映像処理部に対するタイムスタンプとして、例えばビデオ処理部で得られたタイムスタンプを用いることができるようなセレクタを設け、基準時間とすることにより、特殊再生時においても、主映像と副映像であるサブピクチャとの同期を安定させた再生を実施している。
【０００８】
【特許文献１】
特許第３１００３０８号公報
【特許文献２】
特開平１１−１４９７１７号公報
【０００９】
【発明が解決しようとする課題】
上述した特許文献１及び特許文献２に開示されている方法には、高速再生時等の特殊再生におけるAV同期方法や、副映像との同期方法については詳細に記述されている。しかしながらデジタル放送を受信記録したビデオ、オーディオ、データの各ストリームの高速再生等の特殊再生時における同期方法について、例えば再生ビデオに同期する字幕ストリームと、再生ビデオとは同期しない文字スーパストリーム等の両方に対するデータ放送との同期方法が説明されていない。特許文献２の副映像処理を字幕ストリーム処理へ置き換えを考慮したとしても、文字スーパストリーム処理など、同期情報を判別することや、即時表示には対応できない。
【００１０】
BSデジタルなどの衛星デジタル放送や地上デジタル放送では、DVDビデオコンテンツにはないストリームが追加されるために、特殊再生同期方法においても、DVDビデオコンテンツの特殊再生同期方法をそのまま適用できないという課題があった。
【００１１】
本発明は、以上のような問題点を解消するためになされたもので、第１の目的は、オーディオデータが特殊再生された場合であっても、音声データをオーディオデータの特殊再生とは異なる速度で出力させることである。また、第２の目的は、ビデオデータが特殊再生された場合であっても、文字データをビデオデータの特殊再生とは異なる速度で出力させることである。
【００１２】
【課題を解決するための手段】
第１の本発明（請求項１に対応）によるオーディオ再生装置は、オーディオコンテンツに関するオーディオデータ、当該オーディオデータの再生時刻を規定するオーディオ再生時刻情報、当該オーディオデータに加算可能な音声情報に関する音声データを少なくとも有し、前記オーディオデータに対して音声データを加算する時刻を規定する音声同期情報を含むことが可能なデータストリームを取得し、当該データストリームから、当該オーディオデータ、当該オーディオ再生時刻情報、当該音声データ、当該音声同期情報を抽出する抽出手段と、前記抽出された情報に音声同期情報が含まれない場合、前記抽出されたオーディオ再生時刻情報に基づいて、前記オーディオデータの音声同期情報を設定する設定手段と、前記抽出手段で抽出されたオーディオデータを、前記オーディオ再生時刻情報に基づいて出力するオーディオ再生出力手段と、
前記オーディオ再生出力手段から出力されたオーディオデータに、可変速処理を施すオーディオ処理手段と、前記オーディオ処理手段による可変速処理の動作前又は動作後の何れかを選択する加算選択手段と、前記オーディオ処理手段で可変速処理が施されたオーディオデータを、外部オーディオ再生装置に出力するオーディオ出力手段と、を備え、前記オーディオ処理手段は、前記加算選択手段によって動作前が選択された場合、前記音声同期情報に基づいて前記オーディオデータに前記音声データを加算した後、当該音声データが加算されたオーディオデータに可変速処理を施す一方、前記加算選択手段によって動作後が選択された場合、前記オーディオデータに音声データを加算した後、可変速処理が施されたオーディオデータに前記音声データを加算する。
【００１４】
また、好ましくは、前記加算選択手段は、前記抽出したオーディオデータのコンテンツ内容に応じて、前記可変速処理の動作前又は動作後の何れかを選択する。
【００１５】
また、好ましくは、前記加算選択手段は、利用者からの指示に応じて、前記可変速処理の動作前又は動作後の何れかを選択する。
【００１６】
また、他のオーディオ再生装置は、オーディオコンテンツに関するオーディオデータ、当該オーディオデータの再生時刻を規定するオーディオ再生時刻情報、当該オーディオデータに加算可能な音声情報に関する音声データを少なくとも有し、前記オーディオデータに対して音声データを加算する時刻を規定する音声同期情報を含むことが可能なデータストリームを取得し、当該データストリームから、当該オーディオデータ、当該オーディオ再生時刻情報、当該音声データ、当該音声同期情報を抽出する抽出手段と、前記抽出手段で抽出されたオーディオデータを、前記オーディオ再生時刻情報に基づいて出力するオーディオ再生出力手段と、前記オーディオ再生出力手段から出力されたオーディオデータに、可変速処理を施すオーディオ処理手段と、前記抽出された情報に音声同期情報が含まれるか否かに応じて、前記オーディオ処理手段による可変速処理の動作前又は動作後の何れかを選択する加算選択手段と、前記オーディオ処理手段で可変速処理が施されたオーディオデータを、外部オーディオ再生装置に出力するオーディオ出力手段と、を備え、前記オーディオ処理手段は、前記加算選択手段によって動作前が選択された場合、前記音声同期情報に基づいて前記オーディオデータに前記音声データを加算した後、当該音声データが加算されたオーディオデータに可変速処理を施す一方、前記加算選択手段によって動作後が選択された場合、前記オーディオデータに音声データを加算した後、可変速処理が施されたオーディオデータに前記音声データを加算する。
【００１７】
他の手段のビデオ再生装置は、ビデオコンテンツに関するビデオデータ、当該ビデオデータの再生時刻を規定するビデオ再生時刻情報、当該ビデオデータに合成可能な文字情報に関する文字データを少なくとも有し、前記ビデオデータに対して文字データを合成する時刻を規定する文字同期情報を含むことが可能なデータストリームを取得し、当該データストリームから、当該ビデオデータ、当該ビデオ再生時刻情報、当該文字データ、当該文字同期情報を抽出する抽出手段と、前記抽出された情報に文字同期情報が含まれない場合、前記抽出されたビデオ再生時刻情報に基づいて、前記ビデオデータの文字同期情報を設定する設定手段と、前記抽出手段で抽出されたビデオデータを、前記ビデオ再生時刻情報に基づいて出力するビデオ再生出力手段と、前記ビデオ再生出力手段から出力されたビデオデータに、可変速処理を施すビデオ処理手段と、前記ビデオ処理手段による可変速処理の動作前又は動作後の何れかを選択する合成選択手段と、前記ビデオ処理手段で可変速処理が施されたビデオデータを、外部ビデオ再生装置に出力するビデオ出力手段と、を備え、前記ビデオ処理手段は、前記合成選択手段によって動作前が選択された場合、前記文字同期情報に基づいて前記ビデオデータに前記文字データを合成した後、当該文字データが合成されたビデオデータに可変速処理を施す一方、前記合成選択手段によって動作後が選択された場合、前記ビデオデータに文字データを合成した後、可変速処理が施されたビデオデータに前記文字データを合成する。
【００１９】
また、好ましくは、前記合成選択手段は、前記抽出したビデオデータのコンテンツ内容に応じて、前記可変速処理の動作前又は動作後の何れかを選択する。
【００２０】
また、好ましくは、前記合成選択手段は、利用者からの指示に応じて、前記可変速処理の動作前又は動作後の何れかを選択する。
【００２１】
また、他のビデオ再生装置は、ビデオコンテンツに関するビデオデータ、当該ビデオデータの再生時刻を規定するビデオ再生時刻情報、当該ビデオデータに合成可能な文字情報に関する文字データを少なくとも有し、前記ビデオデータに対して文字データを合成する時刻を規定する文字同期情報を含むことが可能なデータストリームを取得し、当該データストリームから、当該ビデオデータ、当該ビデオ再生時刻情報、当該文字データ、当該文字同期情報を抽出する抽出手段と、前記抽出手段で抽出されたビデオデータを、前記ビデオ再生時刻情報に基づいて出力するビデオ再生出力手段と、前記ビデオ再生出力手段から出力されたビデオデータに、可変速処理を施すビデオ処理手段と、前記抽出された情報に文字同期情報が含まれるか否かに応じて、前記ビデオ処理手段による可変速処理の動作前又は動作後の何れかを選択する合成選択手段と、前記ビデオ処理手段で可変速処理が施されたビデオデータを、外部ビデオ再生装置に出力するビデオ出力手段と、を備え、前記ビデオ処理手段は、前記合成選択手段によって動作前が選択された場合、前記文字同期情報に基づいて前記ビデオデータに前記文字データを合成した後、当該文字データが合成されたビデオデータに可変速処理を施す一方、前記合成選択手段によって動作後が選択された場合、前記ビデオデータに文字データを合成した後、可変速処理が施されたビデオデータに前記文字データを合成する。
【００２６】
【発明の実施の形態】
以下に、本発明にかかる実施の形態について、図面を参照しつつ説明を行う。
【００２７】
（実施の形態１）
はじめに、本発明の実施の形態１によるデータ再生装置の構成を示すブロック図である図１を主として参照しながら、本実施の形態１のデータ再生装置の構成、及びデータ再生方法について説明する。図１は本発明のデータ再生装置の構成を表すブロック図である。
【００２８】
衛星デジタル放送が記録され、デジタル圧縮符号化されたオーディオ・ビデオ・データを格納する光ディスク等のデータ記録装置からデータを読み出すフロントエンド部（図示せず）と、フロントエンド部からのデータの供給を受け、多重化されて記録されているオーディオ・ビデオ・データを分離し、ビデオ再生時刻情報とオーディオ再生時刻情報を抽出する入力解析を行うシステムデコード部１と、システムデコード部１によって分離された圧縮ビデオデータをビデオ再生時刻情報に従って伸張処理を行うビデオデコード部２と、システムデコード部１によって分離された圧縮オーディオデータをオーディオ再生時刻情報に従って伸張処理を行うオーディオデコード部３と、データ放送内容から同期情報と音声、文字情報等を抜き出すデータ放送処理部４が入力を解析する部分である。
【００２９】
さらに、データ放送処理部４内の入力解析の後で、データから抜き出したテキストもしくは文字情報を出力処理するOSD出力処理部８と、ビデオデコード部２の出力の可変速処理等を行うビデオ出力部５と、前記ビデオデコード部２からの出力もしくは前記ビデオ出力処理部５１からの出力の少なくともどちらか一方を選択して前記テキストもしくは文字情報を加算する加算部がビデオ出力部５である。
【００３０】
さらに、データ放送処理部４内の入力解析の後で、データから抜き出した付加音情報を出力処理する付加音出力処理部９と、オーディオデコード部３の出力の可変速処理等を行うオーディオ出力処理部６１と、オーディオデコード部３からの出力もしくはオーディオ出力処理部６１からの出力の少なくともどちらか一方を選択して付加音を加算する加算部がオーディオ出力部６である。
【００３１】
さらに、ビデオ出力部５及びオーディオ出力部６の同期をとる同期処理部７とから構成されている。
【００３２】
図２は、システムデコード部１、ビデオデコード部２、オーディオデコード部３の詳細構成内容を示すブロック図である。
【００３３】
ビデオ処理は、システムデコーダ部１内で、システムストリームをビデオ・オーディオに分離するパーサ部２１１によって分離されたビデオデータを格納する圧縮ビデオバッファ部２１２と、圧縮ビデオバッファ部２１２に格納されたビデオ信号とビデオ再生時刻情報を関連づけるテーブルを有するビデオ再生時刻情報管理部２１３と、圧縮ビデオデータの属性情報（ビデオヘッダ情報）の解析、及び伸張を実行するビデオデコーダ部２と、伸張したビデオデータを格納するフレームバッファ部２２１と、フレームバッファ部２２１からデータを読み出して外部にビデオ信号を出力するビデオ出力部５から構成される。
【００３４】
オーディオ処理は、システムデコード部１内のパーサ部２１１によって分離されたオーディオデータを格納する圧縮オーディオバッファ部２１４と、圧縮オーディオバッファ部２１４に格納されたオーディオ信号とオーディオ再生時刻情報を関連づけるテーブルを有するオーディオ再生時刻情報管理部２１５と、圧縮オーディオデータの属性情報（オーディオヘッダ情報）の解析、及び伸張を実行するオーディオデコーダ部３と、伸張したオーディオデータを格納するPCMバッファ部２３１と、PCMバッファ部２３１内のオーディオデータを外部に出力するオーディオ出力部６から構成される。
【００３５】
MPEGでの同期を実現するために、ビデオとオーディオの各アクセスユニットと呼ばれる復号再生の単位ごと(ビデオは１フレーム、オーディオは１オーディオフレーム)に、いつ復号再生すべきかというタイムスタンプ情報が付加されている。このタイムスタンプ値は、PTS（Presentation Time Stamp）と呼ばれ、ビデオ用は、Video PTS(VPTSと略)、オーディオ用は、 Audio PTS(APTSと略)の再生出力の時刻管理情報を表している。
【００３６】
再生装置内の標準のシステム基準参照部(図示せず)では、MPEGシステムの基準復号器内部のSTC（System Time Clock） を発生する。装置側でSTCを作成するためには、DVDディスク等で使用されるプログラムストリーム（PS）で用いるSCR（System Clock Reference：システム時刻基準参照値）、またはBSデジタル放送で使用されるトランスポートストリーム（TS）で用いるPCR（Program Clock Reference：プログラム時刻基準参照値）の値を用いる。その最終バイトの到着時（読み込み時）に、SCRまたはPCRの示す値をSTCに設定することによって、基準時刻を設定することができる。さらに、このSTCの値の設定と、PLL（位相ロックループ）回路を組み合わせることにより、デコーダ側の基準時刻用システムクロックと完全に周波数が一致したSTCをもつことができる。このSTCのシステムクロックは２７メガヘルツで構成される。このSTCからカウンタ等により分周することにより、各PTS（９０キロヘルツ周期）が参照される。各デコーダは、STCが、ビデオはVPTS、オーディオはAPTSが一致したときに、そのアクセスユニットを再生出力する。PTSの精度は、９０キロヘルツである。従って、この９０キロヘルツの精度の範囲内で、STCとVPTS、APTSの同期をとれるように、各々のデコードを実施すれば、AV同期のとれた出力がなされるものである。
【００３７】
図４は、本発明による同期処理の流れ図である。ステップＡ３０１及びＡ３０２において、システムデコード部１は、データ記録装置等から入力された符号化データを、圧縮ビデオデータと圧縮オーディオデータに分離する。圧縮ビデオデータは、圧縮ビデオバッファ部２１２に、圧縮オーディオデータは、圧縮オーディオバッファ部２１４に格納される。次にステップＡ３０３で、ビデオフレームについているビデオ再生時刻情報VPTSを抜き出し、圧縮ビデオバッファ部２１２への参照アドレスと共に、ビデオ再生時刻管理部２１３に格納される。
【００３８】
一方、ステップＡ３０４で、圧縮オーディオデータは、図３に示すように、オーディオフレームについているオーディオ再生時刻情報APTSを抜き出し、APTSごとにスロットという単位で分割し、圧縮オーディオバッファ部２１４への参照アドレスと共に、オーディオ再生時刻管理部２１５に格納される。
【００３９】
ステップＡ３０５で、VPTSがシステム時刻基準（STC）に達するまえに、ビデオデコードを実施しフレームバッファ部２２１に格納する。同じようにステップＡ３０６で、APTSがSTCに達するまえに、オーディオデコードを実施し、PCMバッファ部２３１に格納する。各々デコードは実施するが、デコード後直ちに出力するわけではない。
【００４０】
次に、ステップＡ３０７で、STCを参照し、APTSが一致もしくは超過した時点で、該APTSに関連するオーディオデコードデータを、PCMバッファ部２３１から、オーディオ出力部６を介して出力する。
【００４１】
さらに、ステップＡ３０８で、STCを参照し、VPTSが一致もしくは超過した時点で、該VPTSに関連するビデオデコードデータを、フレームバッファ部２２１から、ビデオ出力部５を介して出力する。なお、装置によっては、光出力端子からドルビーデジタル等のストリームのままで出力する場合もある。このような場合、ストリームバッファ（図示せず）に一旦蓄えて、STCを参照し、APTSが一致もしくは超過した時点で、オーディオ出力部６から出力する。
【００４２】
入力されるデータの終了もしくは、ユーザによる再生の停止が指示されれば、ステップＡ３０９でデコードを終了する。
【００４３】
STCに対して、VPTS及びAPTSを同期させるよう、ビデオデコード及びオーディオデコードを実施する。特に、APTSにVPTSが、５０ミリ秒先行から、３０ミリ秒遅延までの間にあわせれば、リップシンクのずれは気にならない程度となる。
【００４４】
以上は通常速度による再生方法とオーディオとビデオの同期の方法を説明してきたが、次に、高速再生などの可変速再生時における同期の方法について図６を用いて、説明する。
【００４５】
図６は、AV再生において、高速再生など可変速再生に対応する場合のブロック図を示している。
【００４６】
可変速再生も、高速に再生する仕方に、オーディオもしくはビデオのストリームのデコードをすべて実施したうえで、高速再生などを行う高速デコード処理と、読み出し位置をスキップした部分をカットし、スキップされなかった部分の再生のみを行うスキップ処理に分割される。
【００４７】
まず高速デコード処理時における同期再生方法について説明する。システムデコード部１が、通常再生に必要な入力速度以上のデータを取り込んで、ビデオとオーディオのストリームに分割後、各々のバッファ部へストリームをいれて、ビデオデコード部２及びオーディオデコード部３が起動される。各々のデコーダは、通常の再生速度以上の高速で（再生速度によらず、与えられている資源を有効に活用し）、デコードを実施し、フレームバッファ部２２１、PCMバッファ部２３１にデコード結果を格納する。
【００４８】
その後で、例えば２倍速度再生を実施する場合には、オーディオフレームをすべて再生するのではなく、オーディオ出力部６内の可変速処理部６２にて、オーディオ出力処理変換後に再生時間が、半分になるように特定のオーディオフレームをスキップして再生した音声データを作成し、出力バッファ部６３へ格納する。そして同期処理部７は、再生するオーディオフレームの部分に該当するＡＰＴＳ値を取得する。
【００４９】
一方、ビデオ出力部５では、同期情報を同期処理部７から獲得し、該当するＡＰＴＳに対応するビデオを再生出力するために、特定のフレームの表示をスキップしてAV同期を再生する。つまり、オーディオフレーム処理単位でスキップ再生したときのAPTSに同期したビデオ表示を実施することによって、可変速再生時のAV同期をはかることができる。
【００５０】
また別の方法として、読み出し位置をスキップすることによる高速再生について説明する。システムデコード部１へは、スキップした後のストリームしか入力されないので、入力されたストリームから、STCなどのシステム基準時刻情報や、APTS、VPTSを読みとることで同期を実現する。これは通常再生のAV同期方法と同じである。ただし、０．５秒から数秒程度再生したあとで、またスキップを行うことで、全体として高速な再生を実現する。
【００５１】
ここまでは、オーディオ及びビデオのストリームによる同期方法について説明してきたが、BSデジタル放送などのデータ放送によるデータストリーム付きの同期について説明する。図５は、データ、字幕・文字スーパがついたテレビサービスのストリーム構成を示している。
【００５２】
図５では、１つの映像ストリームに対して、音声ストリームが２つ（ES2、ES3で、例えば日本語ステレオと英語ステレオなど）、データとして３ストリーム（ES4、ES5、ES6）を含んでいると想定する。PIDは、TSパケットで、各々重複しないように予め定められて放送される。さらにコンポーネントタグと呼ばれる識別子がストリーム種別ごとに定められていて、映像なら０ｘ００、音声は０ｘ１０、データなら０ｘ４０、字幕なら０ｘ３０、文字スーパなら０ｘ３８などとタグ値が定められているので、受信側はこのタグ値をみればストリーム種別が判別できるようになっている。
【００５３】
データは、BML（Broadcast Markup Language）という方式で記述されていて、テレビの映像や音声とは別の映像情報、音声情報、文字情報を１つの画面上に表示させるものである。視聴者のリモコン等の操作により、各番組に関連のあるデータを表示できる。ニュース情報のBML、天気情報のBMLなど多くの情報で構成されている。このデータは、番組と完全同期（番組と連動した関連情報）、番組中で内容更新（進行にあわせたコンテンツ情報の変更）、番組と非同期（ニュースや天気予報など）がある。
【００５４】
字幕、文字スーパは、テレビ番組再生の映像に文字を重ねて表示するもので、ドラマの台詞など映像や音声に同期して表示する場合を字幕と呼び、地震情報や警報、各種のニュース速報など再生している映像とは関係ないものを文字スーパとして区別する。
【００５５】
字幕と文字スーパでは、時刻同期をとる、とらないという違いがある。しかしながら、システム構成上、共通の伝送方法をとり、同期をとるPESを使っている。映像用PES、音声用PESとは構成が少し異なる、データ伝送専用のPESの方式を持っている。PESパケット中のヘッダを除くPESデータのペイロードをデータグループと呼ぶ。データグループには、字幕管理データと字幕文データの２種類のデータがある。これらはデータグループヘッダにより識別される。
【００５６】
字幕管理データは、使用言語数や字幕の表示モードなど、共通設定情報を伝達するものであり、字幕文データは、字幕や文字スーパの文字情報に、表示時間のデータを付加したものである。字幕表示や文字スーパの時刻同期の方法として、例えばPESのPTSによる指定（番組同期）、字幕文データの表示時間による指定（時刻同期）と、受信後即座に表示する指定（非同期）がある。
【００５７】
データ放送処理部４は、データ放送ストリームのうち、字幕ストリーム及び文字スーパーストリームを抽出する。さらにそれらに関連する時刻管理データがあれば、それも抜き出す。そして表示すべき文字データと、PTS指定による時刻データ、表示時間情報等をOSD出力表示部８へ送り、同期処理部７にてシステムクロックや、音声用APTSや、映像用VPTSを参照することにより、表示データとの同期をはかることができる。なお、字幕文以外に、文字種類、サイズ、表示指定位置、スクロールの指定、表示色などの修飾データや、ビットマップ図形データも含まれており、指示に従った表示が必要である。
【００５８】
加えて付加音と呼ばれるTV等の受信機側の内蔵音の再生を指定することもある。起動音や警告音など、番組再生の進行や、緊急放送等にあわせた音が、通常再生音声に加算されて再生される。なお、付加音の情報は、予め装置内に、ROMなどの不揮発性メモリに格納しておく構成が通常である。一方、あらかじめ装置側で用意した音だけでなく、データストリームとして受信データをRAMに記録しておき、そのデータを再生する場合もある。付加音出力処理部９は、データ放送ストリームから付加音再生の種別や時間に関する情報を受け取り、再生時刻指定があれば、その時刻にあわせて音再生を実行する。付加音再生は、字幕や文字スーパと組み合わせた形で再生される。従ってPTSにより再生指定された文字表示と連動する付加音は同期が必要であり、文字スーパのように、受信再生時に即出力すべき表示及び付加音は、再生映像や音声に同期することなく再生を行うものである。
【００５９】
以上は通常速度による再生方法とオーディオとビデオの同期の方法を説明してきたが、次に、高速再生などの可変速再生時における同期の方法、及び字幕等との同期について図６を用いて、説明する。
【００６０】
可変速対応時においても、データ放送処理部４から抽出された字幕ストリーム及び文字スーパーストリームと、時刻管理データにより、同期を確立することができる。表示すべき字幕等の文字データと、PTS指定もしくは再生時刻設定の情報による時刻データ、表示時間情報等をOSD出力表示部８へ送り、同期処理部７にてシステムクロックや、音声用APTSや、映像用VPTSを参照することにより、表示データとの同期をはかることができる。さらに、付加音出力処理部９は、データ放送ストリームから付加音再生の種別や時間に関する情報を受け取り、再生時刻指定があれば、その時刻にあわせて音再生を実行する。付加音再生は、字幕や文字スーパと組み合わせた形で再生される。
【００６１】
そして、OSD出力表示部８からの出力と、フレームバッファ部２２１からの出力を、ビデオメモリ加算部５２で、加算した結果をビデオ出力する。スキップ処理において、該当するビデオフレームの出力VPTSに該当する字幕データがないときには、この字幕データを加算することなく、次の字幕データの同期にあったフレーム出力時刻まで待つ。NTSC方式の場合、１秒間に約３０枚の出画なので、各々のＰＴＳの時刻差は３３ｍｓ程度である。VPTS基準とする場合には、プラスマイナス１６．５ｍｓ以内であれば、同期していると判断し字幕等を重ねる処理をすればよい。なお、付加音データとPCMバッファ部の音声合成も同じ原理で同期をはかればよい。こちらは１オーディオフレーム単位１０数ｍｓ（オーディオ圧縮方式の差により数ｍｓから数十ｍｓ）精度以内の差であれば同期していると判断し、合成音を生成すればよい。
【００６２】
なお、文字スーパのストリーム等、同期に必要な時刻情報がない場合には、現在出画、もしくは出音しているPTS値を参照し、そのPTSもしくは再生時刻情報をPTSに換算する手段をもって字幕データや付加音データの同期時間と設定すれば、字幕データの同期再生と同じ方法により、データ合成をはかることができる。
【００６３】
図７は、ビデオデコード処理後、文字データから抜き出したテキストもしくは文字情報を同期情報によりビデオ出力処理の前もしくは後どちらかを選択して画像合成して再生する処理を流れ図にしたものである。ステップＡ３０５で、ビデオデコードした結果をフレームバッファ部へ格納する。ステップＡ３５１で、ビデオ出力処理の前後どちらかを選択する。判断基準は後で詳細に説明する。
【００６４】
ステップＡ３５２は、ビデオ再生時刻情報と字幕表示時刻情報が一致（許容出力時刻差以内で例えば３３ｍｓ以内）すれば、データから抜き出した文字情報をデコード画像に加算し、ステップＡ３５３で、画像スキップ出力処理を行う。一方ステップＡ３５４で、画像スキップ処理でスキップした後に、ステップＡ３５５で文字情報を加算する。ステップＡ３０８で、オーディオ側の出力と同期をあわせて出力する。
【００６５】
従って、ビデオデコード処理後、前記データから抜き出したテキストもしくは文字情報を同期情報によりビデオ出力処理の前もしくは後どちらかを選択して画像合成して再生するもので、例えばデータから抜き出した文字情報をデコード画像に加算した後で、画像スキップ出力処理で同期させて出力するか、画像スキップ処理でスキップした後に文字情報を加算するかで、加算された文字情報の出力のさせ方を変えることができる。
【００６６】
また、図７の処理とは異なり、ビデオ出力処理前か後かを判定したあとで、一旦ビデオスキップ処理を施し、表示するビデオ再生時刻（VPTS）に合致する映像に字幕を加算するという構成でもよい。つまりビデオ出力処理前に加算する場合は、ビデオスキップ処理を施し、表示するビデオのVPTSと、再生時刻情報が一致する字幕のみを選別して加算し、表示を行う。一方ビデオ出力処理後に加算する場合は、ビデオスキップ処理を実施したあとで、表示されているビデオのVPTSには依存せず、文字スーパ等を加算して表示を行う。このような構成であると、ビデオスキップ処理を施したあと、表示されるビデオのVPTSと、字幕等を同期の有無で加算するかといった構成となり、字幕などの加算部の処理を共通化できる。
【００６７】
図８は、オーディオデコード処理後、付加音データから抜き出した付加音情報を同期情報によりオーディオ出力処理の前もしくは後どちらかを選択して音声合成して再生する処理を流れ図にしたものである。ステップＡ３０６で、オーディオデコードした結果をPCMバッファ部へ格納する。ステップＡ３３１で、ビデオ出力処理の前後どちらかを選択する。判断基準は後で詳細に説明する。
【００６８】
ステップＡ３３２は、オーディオ再生時刻情報と付加音再生時刻情報が一致（許容出力時刻差以内で例えば数十ｍｓ以内）すれば、データから抜き出した付加音情報をデコード音声に加算し、ステップＡ３３３で、オーディオ可変速処理を行う。一方ステップＡ３３４で、オーディオ可変速処理した後に、ステップＡ３３５で付加音情報を加算する。ステップＡ３０７で、ビデオ側の出力と同期をあわせて出力する。
【００６９】
可変速処理を行うために。オーディオデコード処理が通常再生速度処理以上の処理能力があれば、オーディオ出力処理が可変速処理で、データから抜き出した音声情報を、前記オーディオデコード処理後に加算したうえで、前記可変速処理を施すことができる。例えばデータから抜き出した音声情報をデコード音声に加算した後で、オーディオ出力処理で可変速処理を施すため、加算された音声情報もデコード音声の可変速処理と同期させた音声出力が可能である。
【００７０】
一方、データから抜き出した音声情報を、前記可変速処理後に加算することもできる。オーディオ出力処理で可変速処理を施した後でデータから抜き出した音声情報を加算するため、デコード音声が可変速処理されても、加算された音声情報は通常速度音声での加算を行うことができる。
【００７１】
加算の選択手段として、再生ストリームのコンテンツ内容を判断する手段を有れば、再生時に、データから抜き出した音声情報を、前記判断手段の結果により、オーディオ出力処理の前もしくは後どちらかを選択し、もしくはデータから抜き出したテキストもしくは文字情報を、ビデオ出力処理の前もしくは後どちらかを選択して再生することができる。
【００７２】
例えば再生コンテンツにより、カラオケの字幕のようにオーディオ・ビデオに同期した各出力処理を施すほうがいいか、それとも緊急臨時放送のように各出力処理を施したあとで文字情報をだすほうがいいか、再生コンテンツの内容に従って選択することができる。
【００７３】
加算の選択手段として、利用者による指示内容からコンテンツの再生処理内容を選択する手段を有すれば、データから抜き出した音声情報を、前記選択手段の結果により、オーディオ出力処理の前もしくは後どちらかを選択し、もしくはデータから抜き出したテキストもしくは文字情報を、ビデオ出力処理の前もしくは後どちらかを選択して再生することができる。
【００７４】
例えば、利用者の指示に従って、可変速処理の前に音声情報と文字情報を加算させるか、後に音声情報と文字情報を加算させるといった、利用者の指示に従った加算が選択できる。
【００７５】
加算の選択手段として、再生するストリームのコンテンツ内容及び利用者による使用用途を判断する手段を有すれば、再生時に、データから抜き出した音声情報を、前記判断手段の結果により、オーディオ出力処理の前もしくは後どちらかを選択し、もしくはデータから抜き出したテキストもしくは文字情報を、ビデオ出力処理の前もしくは後どちらかを選択して再生することができる。
【００７６】
例えば、カラオケコンテンツであっても利用者の指示で、可変速処理では、可変速処理の前に音声情報と文字情報を加算させるが、音程のみを変化させる音程変化処理では、音程変化処理の後に音声情報と文字情報を加算させるといった、コンテンツ内容に加えて利用者の指示内容を加味して各出力処理の前後への加算を選択できる。
【００７７】
また、米国の放送方式では字幕は、クローズドキャプション信号と呼ばれ、利用者のリモコン操作により、表示と非表示とを切り替えることが仕様で定められている。従って本発明の実施の形態に適用した場合は、利用者の指示で、各出力処理の加算の選択と、表示の選択が望まれる。さらに字幕文字などを、縦方向や横方向にスクロールするとか、ワイプを行うなどの各種表示効果を伴う場合においても、各種出力処理の前後を選択できるようにしてあれば、早送り時においても、重要な情報を見逃したり、もしくは、字幕が全部表示確認されないと次の画面の表示にうつれないといったまどろっこしさから解消される。このような字幕や、字幕の類似例として、米国のクローズドキャプションだけでなく、欧州のテレテキストなどが存在する。
【００７８】
さらに、字幕と音声の選択を別々に行えるように構成すると、例えばストリームデータから抜き出した音声情報はオーディオ出力処理の前に加算し、同文字情報はビデオ出力処理の後で加算するなど各々の情報毎に別々に加算できるような設定が可能となる。
【００７９】
入力されるストリームは、デジタル放送信号を受信記録したストリームだけとは限らない。外部からのアナログ信号をデジタル符号化したストリームでもよいし、もしくはDVDディスクのように予めデジタル符号化され記録メディアに記録されている商用コンテンツのストリームでもよい。
【００８０】
ＤＶＤディスクのコンテンツのように、ビデオストリームとオーディオストリーム以外に、サブピクチャと呼ばれる字幕などを含む副映像のストリームや、同期して再生するような音声情報を含むストリームを有し、これらのストリームの再生コンテンツ種別や内容を判断する手段を有する構成とする。
【００８１】
すると、コンテンツ再生時に、デコードした音声情報ストリームから得た音声情報を、前記判断手段の結果により、オーディオ出力処理の前もしくは後どちらかを選択して再生できる。また、サブピクチャ等をデコードすることによるテキストもしくは文字情報を、ビデオ出力処理の前もしくは後どちらかを選択して再生することができる。よって、デジタル放送信号入力記録だけでなく、ＤＶＤディスクのコンテンツにも対応可能であるため、再生媒体を特定することなく、同じ再生方法にて対応できる。
【００８２】
さらに、外部からのアナログ信号をデジタル符号化して記録するための手段を持ち、前記デジタル符号化したストリームの再生時に、データから抜き出した音声情報を、コンテンツ内容の判断結果によりオーディオ出力処理の前もしくは後どちらかを選択し、もしくはデータから抜き出したテキストもしくは文字情報を、ビデオ出力処理の前もしくは後どちらかを選択して再生できるように、予めデジタル符号化時に再生時の選択指示情報を加算しておくデータ記録装置があれば、本データ再生装置の効果は高まる。例えば可変速処理を行う前もしくは後で加算すべき情報を前もって記録しておくため、記録したストリームを後での可変速再生と組み合わせた加算再生時に有効である。
【００８３】
（実施の形態２）
本発明の実施の形態２によるデータ再生装置の構成を示すブロック図である図１を主として参照しながら、本実施の形態２のデータ再生装置の構成、及びデータ再生方法について説明する。
【００８４】
データ再生装置の構成は、図１の構成と同一である。本実施の形態２のオーディオ出力処理部６１の可変速制御を行う方法について、図９に示す再生速度変換機能を行う時の例を以下に詳しく説明する。
【００８５】
可変速処理を行うために。オーディオデコード処理が通常再生速度処理以上の処理能力が必要であることは、先に説明したとおりである。例えば１．３倍ぐらいの再生速度を保つためには、再生速度より若干高い１．５倍程度のデコード処理能力が望ましい。これは単にデコード処理性能だけでなく、再生メディアからの読み出し処理性能や、転送処理性能も含んだ能力が必要である。
【００８６】
デコードを高速にすすめ、PCMバッファ等に保管されたオーディオデータは、次のように処理される。図９において、上は可変速処理前の通常速度による再生のデータであり、下は可変速処理後の高速再生のデータを示している。上は、６オーディオフレーム（１オーディオフレームは先に説明した１０数ｍｓ程度）をＴ１の時間で、通常再生する場合を示している。一方、下は１つめと２つめのオーディオフレームの再生を重ねて行い、結果としてＴ２の時間で再生した場合を示している。圧縮比を処理後の時間長を処理前の時間長で割算した値と定義すると、速度比は、圧縮比の逆数となる。従ってここでは、５分の６倍（１．２倍）での高速再生となる。
【００８７】
このとき重なっているオーディオフレーム再生の一方をフェードアウトさせながら、一方をフェードインすることで重ね合わせを実現する。両者は通常再生速度での重ね合わせとする。そのほかの重ならないオーディオフレームにおいては、通常速度再生となる。高速再生といっても、すべてが通常再生速度での再生であるので、原音のピッチが変わることはないので、自然な音声がききとれるような可変速再生が実現できる。
【００８８】
このようなオーディオ出力処理部６１での可変速制御を実施するとともに、データから抜き出した音声情報を、前記オーディオデコード処理後に加算したうえで、前記可変速処理を施すか、データから抜き出した音声情報を、前記可変速処理後に加算処理を施すか選択する手段を有すれば、加算したデータ音声も、元の原音と相違ない音程で再生が可能である。
【００８９】
なお、再生音声の同期とデータから抜き出した付加音の同期については先に説明したとおりである。加算前に同期をとる場合は、もともと全オーディオフレームに対して算出されるPTSをもとに、付加音側のPTSを参照して加算すればよい。一方可変速後、付加音加算する場合は、オーディオフレームの重なり部分のPTSは、重なっているどちらかのオーディオフレームのPTSを有効にするという規則を予め定めておけばよい。
【００９０】
（実施の形態３）
本発明の実施の形態３によるデータ再生装置の構成を示すブロック図である図１を主として参照しながら、本実施の形態２のデータ再生装置の構成、及びデータ再生方法について説明する。
【００９１】
データ再生装置の構成は、図１の構成と同一である。オーディオ出力処理部６１は、可変速再生に限るものではない。例えばデコードした音声の音の高さを変える処理でもよい。デジタル放送信号を受信記録し、少なくともオーディオ、データの符号化されたストリームを、時刻同期を確保しながら再生する際に、オーディオデコード処理後、データから抜き出した音声情報を同期情報によりオーディオ出力処理の前もしくは後どちらかを選択して加算し再生する。すると、例えばデータから抜き出した音声情報をデコード音声に加算した後で、オーディオ出力処理で元音声の音程の高低を変化させるか、オーディオ出力処理で元音声の音程の高低を変化させた後でデータから抜き出した音声情報を加算するかで、加算された音声情報の出力のさせ方を変えることができる。
【００９２】
また、オーディオ出力処理部６１として、そのほかに各種サラウンド効果を加えた音響効果を実施することもできる。付加音を加えたあとで、サラウンド効果を実施するか、サラウンド効果を加えたあとで付加音を加えるかを変えることができる。結果として付加音の広がり感や、出力スピーカを変更することができる。そのほかに、映像処理と音響処理間の同期処理遅延を考慮した遅延設定効果などがオーディオ出力処理部６１に想定できる。接続した映像機器と音響機器の出力遅延を、本発明のデータ再生装置側で設定できるように構成した場合、遅延を施す前に付加音を加えるか、遅延後に付加音を加えるかを設定できる。
【００９３】
一方、ビデオ出力処理部５１として、画面拡大縮小などの出力サイズ変換を設定した場合、字幕を加えた上で拡大するのか、拡大してから字幕を加えるのかといった選択が可能となる。ほかにも、出力テレビモニタにあわせた高・低解像への解像度変換、レターボックスとサイドパネルの出力フォーマット変換、インターレース画質からプログレッシブ画質へのＩＰ変換、NTSC方式とPAL方式間の周波数変換などが想定される。
【００９４】
各オーディオ・ビデオ出力処理の機能別に、加算の前後の選択ができるように構成すれば、画面拡大後、字幕を追加して、可変速処理を施すといった複数出力処理にも対応することができる。
【００９５】
また付加音以外に、複数の記録音声を加算するためのアフレコ音声、伴奏音にカラオケなどのマイクエコーを加算するマイクエコー音声も、オーディオ出力処理の前後に選択して加算できる構成をとれば、上記と同じ効果が得られる。一方、字幕や文字スーパ以外に、個人で編集時に挿入したい文字や図形なども、ビデオ出力処理の前後に選択して加算できる構成をとることで、同様な効果が得られる。このためには、専用のオーディオ演算素子やDSP（デジタルシグナルプロセッサ）を搭載すること、あるいは高性能のCPUを用いることでこれを実現できる。
【００９６】
また２つ以上のオーディオ入力ストリームに対し、オーディオ出力処理前後の加算位置を別々に設定したりするバリエーションもある。また同一のオーディオストリームに対し、２つ以上のビデオ入力ストリームがある場合がある。マルチアングルで撮影した映像をデジタル衛星放送やケーブル放送で放送している。このような場合にも、ビデオデコード能力等が可能であるならば、各々のビデオ出力処理の前後に個別に設定できる構成とすることによって、利用範囲を広げることができる。
【００９７】
なお、外部接続機器の機器ID等、相手側機器を特定する情報を認識することによって、各出力処理の前後加算の選択を設定するような構成でもよい。例えば、相手側出力機器側の機器種別を知るID番号等を受け取り、本体内もしくは、各種設定条件を、条件設定用のメモリカード内のテーブルを参照し、設定を行うような構成をとれば、再生装置による設定を利用者の操作をともなわずとも実現することが可能である。これらの外部接続機器には、TVなどのモニタ出力機器や、オーディオ出力アンプ、AVセレクタ機能を有するAVアンプなどのインタフェース機器、携帯型出力機器、車載用AV再生機器などが想定される。
【００９８】
なお、入力データは、外部から入力されるデータとして説明してきたが、予め機器内に存在するデータであってもよい。
【００９９】
今までは、システムデコード部１が、ビデオとオーディオ及びデータを分離する方式ついて説明してきた。しかし、あらかじめ各々が分離されているファイルデータであってもよい。圧縮ビデオデータと関連する再生時刻情報、圧縮オーディオデータと再生時刻情報、及びこれに関連するデータ放送情報を入力とし、各々の再生時刻情報に対し、同期情報とともに再生できる構成であれば、本発明のデータ再生方法でデータ再生装置を構成することができる。これは、ビデオカメラ等で撮影した信号をパーソナルコンピュータ上で編集した結果として、AV及びデータの混合ファイルもしくは、AVデータ独立のファイルどちらの場合でも、圧縮ビデオデータと関連する再生時刻情報、圧縮オーディオデータと再生時刻情報、データ情報を互いに関連づけた同期をとって再生する場合すべてに適応されるものである。
【０１００】
このデータ再生方法及び、装置の適用例としては、セットトップボックス、デジタル衛星放送受像機及びその記録機器、DVDプレーヤもしくはDVDレコーダ、VCDの関連機器、ハードディスクレコーダ、パーソナルコンピュータなどがある。本発明のデータ再生方法によるAVデータ同期プログラムを作成しておくことにより、パーソナルコンピュータ等へ、外部からの動作プログラムをロードして同期実行動作させることができる。
【０１０１】
なお、本発明はコンピュータプログラムによって実現されてもよく、これを磁気ディスクやCD−ROM等の記録媒体に格納することで、コンピュータシステムで容易に実施することが可能となる。
【０１０２】
【発明の効果】
以上説明したように、本発明の第１手段によれば、オーディオデータが特殊再生された場合であっても、音声データをオーディオデータの特殊再生とは異なる速度で出力させることができる。また、本発明の第２手段によれば、ビデオデータが特殊再生された場合であっても、文字データをビデオデータの特殊再生とは異なる速度で出力させるができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１の例のデータ再生装置の構成を示すブロック図
【図２】本発明の実施の形態１の例のシステムデコード部の構成を示すブロック図
【図３】本発明の実施の形態１の例のオーディオ再生時刻情報管理部の構成図
【図４】本発明の実施の形態１の例のAV同期制御を説明する流れ図
【図５】本発明のデータ放送ストリームの構成例を示す図
【図６】本発明の実施の形態１の例のデータ再生装置のデータ加算の構成を示すブロック図
【図７】本発明の実施の形態１の例のビデオ信号加算を説明する流れ図
【図８】本発明の実施の形態１の例のオーディオ信号加算を説明する流れ図
【図９】本発明の実施の形態２の例のオーディオ可変速処理の原理を説明する図
【符号の説明】
１ システムデコード部
２ ビデオデコード部
３ オーディオデコード部
４ データ放送処理部
５ ビデオ出力部
６ オーディオ出力部
７ 同期処理部
８ OSD出力処理部
９ 付加音出力処理部
５１ ビデオ出力処理部
６１ オーディオ出力処理部
【発明の属する技術分野】
本発明は、デジタル符号化されたオーディオ・ビデオの再生時に、データ放送内容を加算する際に、オーディオとビデオの可変速処理との同期をとりながらデータ放送内容を再生するデータ再生方法及び装置に関する。
【０００２】
【従来の技術】
近年、CD-ROMや、DVD-ROM、ハードディスク等の各種記録媒体にデジタル圧縮されて記録されたオーディオ・ビデオ信号を読み取り、伸張した信号を、装置に接続された映像モニタや音響スピーカ等を通じて再生する再生装置が広く普及してきている。
【０００３】
またBSデジタル放送や、CSデジタル放送などのデジタル圧縮されたオーディオ・ビデオ信号を、デジタル記録して再生する再生装置も普及してきた。
【０００４】
デジタル圧縮符号化されたオーディオ・ビデオ信号のデータをそれぞれ伸張してオーディオ成分信号とビデオ成分信号とを再生する再生装置において、デジタル圧縮に際しての既知な規格としては、MPEG（Motion Picture Experts Group）が知られている。MPEGでは多重化されて圧縮符号化されたオーディオ・ビデオ信号のデータをデコードしたあとで、同期して再生を実行するため、符号時にオーディオ・ビデオ信号におけるオーディオ成分信号とビデオ成分信号とのそれぞれに再生及び表示を実行する時刻情報が付加されて圧縮される。これにより、伸張時には装置が有するシステム時刻基準参照値に対し、これらの時刻情報を参照してオーディオ成分信号とビデオ成分信号との同期を合わせながら再生を実行している。
【０００５】
デジタル放送信号は、ビデオ成分信号はMPEG2 Videoと呼ばれる符号化圧縮方式で、オーディオ成分信号はMPEG2 Audio AAC（Advanced Audio Coding）と呼ばれる符号化圧縮方式で圧縮され、PES (Packetized Elementary Stream）に変換される。字幕、文字スーパの情報も同じくPES形式に変換され、それ以外のデータはセクションと呼ばれる形式に変換され、これらをひとつのまとまった信号にする多重化処理を施して放送される。
【０００６】
以下従来の同期方式について説明する。なお、出願人は、特許文献１に開示されている画像及び音声情報の再生システムを認識しており、本発明の課題を明確にするために、先行技術の内容を従来例として、簡単に説明する。この方式では、現在出力中の再生画像及び再生音声の出力情報をフレーム単位で算出し、再生画像等が所定量進んでいるかを判定して、進んでいるときには画像再生を遅延し、遅れているときは促進することにより、画像の再生のタイミングを変更することにより、オーディオとビデオを同期して再生している。
【０００７】
以下従来の高速再生時等の同期方式について説明する。なお、出願人は、特許文献２に開示されているデコード処理方法を認識しており、本発明の課題を明確にするために、先行技術の内容を従来例として、簡単に説明する。この方式では、高速再生時のような特殊再生時には、副映像処理部に対するタイムスタンプとして、例えばビデオ処理部で得られたタイムスタンプを用いることができるようなセレクタを設け、基準時間とすることにより、特殊再生時においても、主映像と副映像であるサブピクチャとの同期を安定させた再生を実施している。
【０００８】
【特許文献１】
特許第３１００３０８号公報
【特許文献２】
特開平１１−１４９７１７号公報
【０００９】
【発明が解決しようとする課題】
上述した特許文献１及び特許文献２に開示されている方法には、高速再生時等の特殊再生におけるAV同期方法や、副映像との同期方法については詳細に記述されている。しかしながらデジタル放送を受信記録したビデオ、オーディオ、データの各ストリームの高速再生等の特殊再生時における同期方法について、例えば再生ビデオに同期する字幕ストリームと、再生ビデオとは同期しない文字スーパストリーム等の両方に対するデータ放送との同期方法が説明されていない。特許文献２の副映像処理を字幕ストリーム処理へ置き換えを考慮したとしても、文字スーパストリーム処理など、同期情報を判別することや、即時表示には対応できない。
【００１０】
BSデジタルなどの衛星デジタル放送や地上デジタル放送では、DVDビデオコンテンツにはないストリームが追加されるために、特殊再生同期方法においても、DVDビデオコンテンツの特殊再生同期方法をそのまま適用できないという課題があった。
【００１１】
本発明は、以上のような問題点を解消するためになされたもので、第１の目的は、オーディオデータが特殊再生された場合であっても、音声データをオーディオデータの特殊再生とは異なる速度で出力させることである。また、第２の目的は、ビデオデータが特殊再生された場合であっても、文字データをビデオデータの特殊再生とは異なる速度で出力させることである。
【００１２】
【課題を解決するための手段】
第１の本発明（請求項１に対応）によるオーディオ再生装置は、オーディオコンテンツに関するオーディオデータ、当該オーディオデータの再生時刻を規定するオーディオ再生時刻情報、当該オーディオデータに加算可能な音声情報に関する音声データを少なくとも有し、前記オーディオデータに対して音声データを加算する時刻を規定する音声同期情報を含むことが可能なデータストリームを取得し、当該データストリームから、当該オーディオデータ、当該オーディオ再生時刻情報、当該音声データ、当該音声同期情報を抽出する抽出手段と、前記抽出された情報に音声同期情報が含まれない場合、前記抽出されたオーディオ再生時刻情報に基づいて、前記オーディオデータの音声同期情報を設定する設定手段と、前記抽出手段で抽出されたオーディオデータを、前記オーディオ再生時刻情報に基づいて出力するオーディオ再生出力手段と、
前記オーディオ再生出力手段から出力されたオーディオデータに、可変速処理を施すオーディオ処理手段と、前記オーディオ処理手段による可変速処理の動作前又は動作後の何れかを選択する加算選択手段と、前記オーディオ処理手段で可変速処理が施されたオーディオデータを、外部オーディオ再生装置に出力するオーディオ出力手段と、を備え、前記オーディオ処理手段は、前記加算選択手段によって動作前が選択された場合、前記音声同期情報に基づいて前記オーディオデータに前記音声データを加算した後、当該音声データが加算されたオーディオデータに可変速処理を施す一方、前記加算選択手段によって動作後が選択された場合、前記オーディオデータに音声データを加算した後、可変速処理が施されたオーディオデータに前記音声データを加算する。
【００１４】
また、好ましくは、前記加算選択手段は、前記抽出したオーディオデータのコンテンツ内容に応じて、前記可変速処理の動作前又は動作後の何れかを選択する。
【００１５】
また、好ましくは、前記加算選択手段は、利用者からの指示に応じて、前記可変速処理の動作前又は動作後の何れかを選択する。
【００１６】
また、他のオーディオ再生装置は、オーディオコンテンツに関するオーディオデータ、当該オーディオデータの再生時刻を規定するオーディオ再生時刻情報、当該オーディオデータに加算可能な音声情報に関する音声データを少なくとも有し、前記オーディオデータに対して音声データを加算する時刻を規定する音声同期情報を含むことが可能なデータストリームを取得し、当該データストリームから、当該オーディオデータ、当該オーディオ再生時刻情報、当該音声データ、当該音声同期情報を抽出する抽出手段と、前記抽出手段で抽出されたオーディオデータを、前記オーディオ再生時刻情報に基づいて出力するオーディオ再生出力手段と、前記オーディオ再生出力手段から出力されたオーディオデータに、可変速処理を施すオーディオ処理手段と、前記抽出された情報に音声同期情報が含まれるか否かに応じて、前記オーディオ処理手段による可変速処理の動作前又は動作後の何れかを選択する加算選択手段と、前記オーディオ処理手段で可変速処理が施されたオーディオデータを、外部オーディオ再生装置に出力するオーディオ出力手段と、を備え、前記オーディオ処理手段は、前記加算選択手段によって動作前が選択された場合、前記音声同期情報に基づいて前記オーディオデータに前記音声データを加算した後、当該音声データが加算されたオーディオデータに可変速処理を施す一方、前記加算選択手段によって動作後が選択された場合、前記オーディオデータに音声データを加算した後、可変速処理が施されたオーディオデータに前記音声データを加算する。
【００１７】
他の手段のビデオ再生装置は、ビデオコンテンツに関するビデオデータ、当該ビデオデータの再生時刻を規定するビデオ再生時刻情報、当該ビデオデータに合成可能な文字情報に関する文字データを少なくとも有し、前記ビデオデータに対して文字データを合成する時刻を規定する文字同期情報を含むことが可能なデータストリームを取得し、当該データストリームから、当該ビデオデータ、当該ビデオ再生時刻情報、当該文字データ、当該文字同期情報を抽出する抽出手段と、前記抽出された情報に文字同期情報が含まれない場合、前記抽出されたビデオ再生時刻情報に基づいて、前記ビデオデータの文字同期情報を設定する設定手段と、前記抽出手段で抽出されたビデオデータを、前記ビデオ再生時刻情報に基づいて出力するビデオ再生出力手段と、前記ビデオ再生出力手段から出力されたビデオデータに、可変速処理を施すビデオ処理手段と、前記ビデオ処理手段による可変速処理の動作前又は動作後の何れかを選択する合成選択手段と、前記ビデオ処理手段で可変速処理が施されたビデオデータを、外部ビデオ再生装置に出力するビデオ出力手段と、を備え、前記ビデオ処理手段は、前記合成選択手段によって動作前が選択された場合、前記文字同期情報に基づいて前記ビデオデータに前記文字データを合成した後、当該文字データが合成されたビデオデータに可変速処理を施す一方、前記合成選択手段によって動作後が選択された場合、前記ビデオデータに文字データを合成した後、可変速処理が施されたビデオデータに前記文字データを合成する。
【００１９】
また、好ましくは、前記合成選択手段は、前記抽出したビデオデータのコンテンツ内容に応じて、前記可変速処理の動作前又は動作後の何れかを選択する。
【００２０】
また、好ましくは、前記合成選択手段は、利用者からの指示に応じて、前記可変速処理の動作前又は動作後の何れかを選択する。
【００２１】
また、他のビデオ再生装置は、ビデオコンテンツに関するビデオデータ、当該ビデオデータの再生時刻を規定するビデオ再生時刻情報、当該ビデオデータに合成可能な文字情報に関する文字データを少なくとも有し、前記ビデオデータに対して文字データを合成する時刻を規定する文字同期情報を含むことが可能なデータストリームを取得し、当該データストリームから、当該ビデオデータ、当該ビデオ再生時刻情報、当該文字データ、当該文字同期情報を抽出する抽出手段と、前記抽出手段で抽出されたビデオデータを、前記ビデオ再生時刻情報に基づいて出力するビデオ再生出力手段と、前記ビデオ再生出力手段から出力されたビデオデータに、可変速処理を施すビデオ処理手段と、前記抽出された情報に文字同期情報が含まれるか否かに応じて、前記ビデオ処理手段による可変速処理の動作前又は動作後の何れかを選択する合成選択手段と、前記ビデオ処理手段で可変速処理が施されたビデオデータを、外部ビデオ再生装置に出力するビデオ出力手段と、を備え、前記ビデオ処理手段は、前記合成選択手段によって動作前が選択された場合、前記文字同期情報に基づいて前記ビデオデータに前記文字データを合成した後、当該文字データが合成されたビデオデータに可変速処理を施す一方、前記合成選択手段によって動作後が選択された場合、前記ビデオデータに文字データを合成した後、可変速処理が施されたビデオデータに前記文字データを合成する。
【００２６】
【発明の実施の形態】
以下に、本発明にかかる実施の形態について、図面を参照しつつ説明を行う。
【００２７】
（実施の形態１）
はじめに、本発明の実施の形態１によるデータ再生装置の構成を示すブロック図である図１を主として参照しながら、本実施の形態１のデータ再生装置の構成、及びデータ再生方法について説明する。図１は本発明のデータ再生装置の構成を表すブロック図である。
【００２８】
衛星デジタル放送が記録され、デジタル圧縮符号化されたオーディオ・ビデオ・データを格納する光ディスク等のデータ記録装置からデータを読み出すフロントエンド部（図示せず）と、フロントエンド部からのデータの供給を受け、多重化されて記録されているオーディオ・ビデオ・データを分離し、ビデオ再生時刻情報とオーディオ再生時刻情報を抽出する入力解析を行うシステムデコード部１と、システムデコード部１によって分離された圧縮ビデオデータをビデオ再生時刻情報に従って伸張処理を行うビデオデコード部２と、システムデコード部１によって分離された圧縮オーディオデータをオーディオ再生時刻情報に従って伸張処理を行うオーディオデコード部３と、データ放送内容から同期情報と音声、文字情報等を抜き出すデータ放送処理部４が入力を解析する部分である。
【００２９】
さらに、データ放送処理部４内の入力解析の後で、データから抜き出したテキストもしくは文字情報を出力処理するOSD出力処理部８と、ビデオデコード部２の出力の可変速処理等を行うビデオ出力部５と、前記ビデオデコード部２からの出力もしくは前記ビデオ出力処理部５１からの出力の少なくともどちらか一方を選択して前記テキストもしくは文字情報を加算する加算部がビデオ出力部５である。
【００３０】
さらに、データ放送処理部４内の入力解析の後で、データから抜き出した付加音情報を出力処理する付加音出力処理部９と、オーディオデコード部３の出力の可変速処理等を行うオーディオ出力処理部６１と、オーディオデコード部３からの出力もしくはオーディオ出力処理部６１からの出力の少なくともどちらか一方を選択して付加音を加算する加算部がオーディオ出力部６である。
【００３１】
さらに、ビデオ出力部５及びオーディオ出力部６の同期をとる同期処理部７とから構成されている。
【００３２】
図２は、システムデコード部１、ビデオデコード部２、オーディオデコード部３の詳細構成内容を示すブロック図である。
【００３３】
ビデオ処理は、システムデコーダ部１内で、システムストリームをビデオ・オーディオに分離するパーサ部２１１によって分離されたビデオデータを格納する圧縮ビデオバッファ部２１２と、圧縮ビデオバッファ部２１２に格納されたビデオ信号とビデオ再生時刻情報を関連づけるテーブルを有するビデオ再生時刻情報管理部２１３と、圧縮ビデオデータの属性情報（ビデオヘッダ情報）の解析、及び伸張を実行するビデオデコーダ部２と、伸張したビデオデータを格納するフレームバッファ部２２１と、フレームバッファ部２２１からデータを読み出して外部にビデオ信号を出力するビデオ出力部５から構成される。
【００３４】
オーディオ処理は、システムデコード部１内のパーサ部２１１によって分離されたオーディオデータを格納する圧縮オーディオバッファ部２１４と、圧縮オーディオバッファ部２１４に格納されたオーディオ信号とオーディオ再生時刻情報を関連づけるテーブルを有するオーディオ再生時刻情報管理部２１５と、圧縮オーディオデータの属性情報（オーディオヘッダ情報）の解析、及び伸張を実行するオーディオデコーダ部３と、伸張したオーディオデータを格納するPCMバッファ部２３１と、PCMバッファ部２３１内のオーディオデータを外部に出力するオーディオ出力部６から構成される。
【００３５】
MPEGでの同期を実現するために、ビデオとオーディオの各アクセスユニットと呼ばれる復号再生の単位ごと(ビデオは１フレーム、オーディオは１オーディオフレーム)に、いつ復号再生すべきかというタイムスタンプ情報が付加されている。このタイムスタンプ値は、PTS（Presentation Time Stamp）と呼ばれ、ビデオ用は、Video PTS(VPTSと略)、オーディオ用は、 Audio PTS(APTSと略)の再生出力の時刻管理情報を表している。
【００３６】
再生装置内の標準のシステム基準参照部(図示せず)では、MPEGシステムの基準復号器内部のSTC（System Time Clock） を発生する。装置側でSTCを作成するためには、DVDディスク等で使用されるプログラムストリーム（PS）で用いるSCR（System Clock Reference：システム時刻基準参照値）、またはBSデジタル放送で使用されるトランスポートストリーム（TS）で用いるPCR（Program Clock Reference：プログラム時刻基準参照値）の値を用いる。その最終バイトの到着時（読み込み時）に、SCRまたはPCRの示す値をSTCに設定することによって、基準時刻を設定することができる。さらに、このSTCの値の設定と、PLL（位相ロックループ）回路を組み合わせることにより、デコーダ側の基準時刻用システムクロックと完全に周波数が一致したSTCをもつことができる。このSTCのシステムクロックは２７メガヘルツで構成される。このSTCからカウンタ等により分周することにより、各PTS（９０キロヘルツ周期）が参照される。各デコーダは、STCが、ビデオはVPTS、オーディオはAPTSが一致したときに、そのアクセスユニットを再生出力する。PTSの精度は、９０キロヘルツである。従って、この９０キロヘルツの精度の範囲内で、STCとVPTS、APTSの同期をとれるように、各々のデコードを実施すれば、AV同期のとれた出力がなされるものである。
【００３７】
図４は、本発明による同期処理の流れ図である。ステップＡ３０１及びＡ３０２において、システムデコード部１は、データ記録装置等から入力された符号化データを、圧縮ビデオデータと圧縮オーディオデータに分離する。圧縮ビデオデータは、圧縮ビデオバッファ部２１２に、圧縮オーディオデータは、圧縮オーディオバッファ部２１４に格納される。次にステップＡ３０３で、ビデオフレームについているビデオ再生時刻情報VPTSを抜き出し、圧縮ビデオバッファ部２１２への参照アドレスと共に、ビデオ再生時刻管理部２１３に格納される。
【００３８】
一方、ステップＡ３０４で、圧縮オーディオデータは、図３に示すように、オーディオフレームについているオーディオ再生時刻情報APTSを抜き出し、APTSごとにスロットという単位で分割し、圧縮オーディオバッファ部２１４への参照アドレスと共に、オーディオ再生時刻管理部２１５に格納される。
【００３９】
ステップＡ３０５で、VPTSがシステム時刻基準（STC）に達するまえに、ビデオデコードを実施しフレームバッファ部２２１に格納する。同じようにステップＡ３０６で、APTSがSTCに達するまえに、オーディオデコードを実施し、PCMバッファ部２３１に格納する。各々デコードは実施するが、デコード後直ちに出力するわけではない。
【００４０】
次に、ステップＡ３０７で、STCを参照し、APTSが一致もしくは超過した時点で、該APTSに関連するオーディオデコードデータを、PCMバッファ部２３１から、オーディオ出力部６を介して出力する。
【００４１】
さらに、ステップＡ３０８で、STCを参照し、VPTSが一致もしくは超過した時点で、該VPTSに関連するビデオデコードデータを、フレームバッファ部２２１から、ビデオ出力部５を介して出力する。なお、装置によっては、光出力端子からドルビーデジタル等のストリームのままで出力する場合もある。このような場合、ストリームバッファ（図示せず）に一旦蓄えて、STCを参照し、APTSが一致もしくは超過した時点で、オーディオ出力部６から出力する。
【００４２】
入力されるデータの終了もしくは、ユーザによる再生の停止が指示されれば、ステップＡ３０９でデコードを終了する。
【００４３】
STCに対して、VPTS及びAPTSを同期させるよう、ビデオデコード及びオーディオデコードを実施する。特に、APTSにVPTSが、５０ミリ秒先行から、３０ミリ秒遅延までの間にあわせれば、リップシンクのずれは気にならない程度となる。
【００４４】
以上は通常速度による再生方法とオーディオとビデオの同期の方法を説明してきたが、次に、高速再生などの可変速再生時における同期の方法について図６を用いて、説明する。
【００４５】
図６は、AV再生において、高速再生など可変速再生に対応する場合のブロック図を示している。
【００４６】
可変速再生も、高速に再生する仕方に、オーディオもしくはビデオのストリームのデコードをすべて実施したうえで、高速再生などを行う高速デコード処理と、読み出し位置をスキップした部分をカットし、スキップされなかった部分の再生のみを行うスキップ処理に分割される。
【００４７】
まず高速デコード処理時における同期再生方法について説明する。システムデコード部１が、通常再生に必要な入力速度以上のデータを取り込んで、ビデオとオーディオのストリームに分割後、各々のバッファ部へストリームをいれて、ビデオデコード部２及びオーディオデコード部３が起動される。各々のデコーダは、通常の再生速度以上の高速で（再生速度によらず、与えられている資源を有効に活用し）、デコードを実施し、フレームバッファ部２２１、PCMバッファ部２３１にデコード結果を格納する。
【００４８】
その後で、例えば２倍速度再生を実施する場合には、オーディオフレームをすべて再生するのではなく、オーディオ出力部６内の可変速処理部６２にて、オーディオ出力処理変換後に再生時間が、半分になるように特定のオーディオフレームをスキップして再生した音声データを作成し、出力バッファ部６３へ格納する。そして同期処理部７は、再生するオーディオフレームの部分に該当するＡＰＴＳ値を取得する。
【００４９】
一方、ビデオ出力部５では、同期情報を同期処理部７から獲得し、該当するＡＰＴＳに対応するビデオを再生出力するために、特定のフレームの表示をスキップしてAV同期を再生する。つまり、オーディオフレーム処理単位でスキップ再生したときのAPTSに同期したビデオ表示を実施することによって、可変速再生時のAV同期をはかることができる。
【００５０】
また別の方法として、読み出し位置をスキップすることによる高速再生について説明する。システムデコード部１へは、スキップした後のストリームしか入力されないので、入力されたストリームから、STCなどのシステム基準時刻情報や、APTS、VPTSを読みとることで同期を実現する。これは通常再生のAV同期方法と同じである。ただし、０．５秒から数秒程度再生したあとで、またスキップを行うことで、全体として高速な再生を実現する。
【００５１】
ここまでは、オーディオ及びビデオのストリームによる同期方法について説明してきたが、BSデジタル放送などのデータ放送によるデータストリーム付きの同期について説明する。図５は、データ、字幕・文字スーパがついたテレビサービスのストリーム構成を示している。
【００５２】
図５では、１つの映像ストリームに対して、音声ストリームが２つ（ES2、ES3で、例えば日本語ステレオと英語ステレオなど）、データとして３ストリーム（ES4、ES5、ES6）を含んでいると想定する。PIDは、TSパケットで、各々重複しないように予め定められて放送される。さらにコンポーネントタグと呼ばれる識別子がストリーム種別ごとに定められていて、映像なら０ｘ００、音声は０ｘ１０、データなら０ｘ４０、字幕なら０ｘ３０、文字スーパなら０ｘ３８などとタグ値が定められているので、受信側はこのタグ値をみればストリーム種別が判別できるようになっている。
【００５３】
データは、BML（Broadcast Markup Language）という方式で記述されていて、テレビの映像や音声とは別の映像情報、音声情報、文字情報を１つの画面上に表示させるものである。視聴者のリモコン等の操作により、各番組に関連のあるデータを表示できる。ニュース情報のBML、天気情報のBMLなど多くの情報で構成されている。このデータは、番組と完全同期（番組と連動した関連情報）、番組中で内容更新（進行にあわせたコンテンツ情報の変更）、番組と非同期（ニュースや天気予報など）がある。
【００５４】
字幕、文字スーパは、テレビ番組再生の映像に文字を重ねて表示するもので、ドラマの台詞など映像や音声に同期して表示する場合を字幕と呼び、地震情報や警報、各種のニュース速報など再生している映像とは関係ないものを文字スーパとして区別する。
【００５５】
字幕と文字スーパでは、時刻同期をとる、とらないという違いがある。しかしながら、システム構成上、共通の伝送方法をとり、同期をとるPESを使っている。映像用PES、音声用PESとは構成が少し異なる、データ伝送専用のPESの方式を持っている。PESパケット中のヘッダを除くPESデータのペイロードをデータグループと呼ぶ。データグループには、字幕管理データと字幕文データの２種類のデータがある。これらはデータグループヘッダにより識別される。
【００５６】
字幕管理データは、使用言語数や字幕の表示モードなど、共通設定情報を伝達するものであり、字幕文データは、字幕や文字スーパの文字情報に、表示時間のデータを付加したものである。字幕表示や文字スーパの時刻同期の方法として、例えばPESのPTSによる指定（番組同期）、字幕文データの表示時間による指定（時刻同期）と、受信後即座に表示する指定（非同期）がある。
【００５７】
データ放送処理部４は、データ放送ストリームのうち、字幕ストリーム及び文字スーパーストリームを抽出する。さらにそれらに関連する時刻管理データがあれば、それも抜き出す。そして表示すべき文字データと、PTS指定による時刻データ、表示時間情報等をOSD出力表示部８へ送り、同期処理部７にてシステムクロックや、音声用APTSや、映像用VPTSを参照することにより、表示データとの同期をはかることができる。なお、字幕文以外に、文字種類、サイズ、表示指定位置、スクロールの指定、表示色などの修飾データや、ビットマップ図形データも含まれており、指示に従った表示が必要である。
【００５８】
加えて付加音と呼ばれるTV等の受信機側の内蔵音の再生を指定することもある。起動音や警告音など、番組再生の進行や、緊急放送等にあわせた音が、通常再生音声に加算されて再生される。なお、付加音の情報は、予め装置内に、ROMなどの不揮発性メモリに格納しておく構成が通常である。一方、あらかじめ装置側で用意した音だけでなく、データストリームとして受信データをRAMに記録しておき、そのデータを再生する場合もある。付加音出力処理部９は、データ放送ストリームから付加音再生の種別や時間に関する情報を受け取り、再生時刻指定があれば、その時刻にあわせて音再生を実行する。付加音再生は、字幕や文字スーパと組み合わせた形で再生される。従ってPTSにより再生指定された文字表示と連動する付加音は同期が必要であり、文字スーパのように、受信再生時に即出力すべき表示及び付加音は、再生映像や音声に同期することなく再生を行うものである。
【００５９】
以上は通常速度による再生方法とオーディオとビデオの同期の方法を説明してきたが、次に、高速再生などの可変速再生時における同期の方法、及び字幕等との同期について図６を用いて、説明する。
【００６０】
可変速対応時においても、データ放送処理部４から抽出された字幕ストリーム及び文字スーパーストリームと、時刻管理データにより、同期を確立することができる。表示すべき字幕等の文字データと、PTS指定もしくは再生時刻設定の情報による時刻データ、表示時間情報等をOSD出力表示部８へ送り、同期処理部７にてシステムクロックや、音声用APTSや、映像用VPTSを参照することにより、表示データとの同期をはかることができる。さらに、付加音出力処理部９は、データ放送ストリームから付加音再生の種別や時間に関する情報を受け取り、再生時刻指定があれば、その時刻にあわせて音再生を実行する。付加音再生は、字幕や文字スーパと組み合わせた形で再生される。
【００６１】
そして、OSD出力表示部８からの出力と、フレームバッファ部２２１からの出力を、ビデオメモリ加算部５２で、加算した結果をビデオ出力する。スキップ処理において、該当するビデオフレームの出力VPTSに該当する字幕データがないときには、この字幕データを加算することなく、次の字幕データの同期にあったフレーム出力時刻まで待つ。NTSC方式の場合、１秒間に約３０枚の出画なので、各々のＰＴＳの時刻差は３３ｍｓ程度である。VPTS基準とする場合には、プラスマイナス１６．５ｍｓ以内であれば、同期していると判断し字幕等を重ねる処理をすればよい。なお、付加音データとPCMバッファ部の音声合成も同じ原理で同期をはかればよい。こちらは１オーディオフレーム単位１０数ｍｓ（オーディオ圧縮方式の差により数ｍｓから数十ｍｓ）精度以内の差であれば同期していると判断し、合成音を生成すればよい。
【００６２】
なお、文字スーパのストリーム等、同期に必要な時刻情報がない場合には、現在出画、もしくは出音しているPTS値を参照し、そのPTSもしくは再生時刻情報をPTSに換算する手段をもって字幕データや付加音データの同期時間と設定すれば、字幕データの同期再生と同じ方法により、データ合成をはかることができる。
【００６３】
図７は、ビデオデコード処理後、文字データから抜き出したテキストもしくは文字情報を同期情報によりビデオ出力処理の前もしくは後どちらかを選択して画像合成して再生する処理を流れ図にしたものである。ステップＡ３０５で、ビデオデコードした結果をフレームバッファ部へ格納する。ステップＡ３５１で、ビデオ出力処理の前後どちらかを選択する。判断基準は後で詳細に説明する。
【００６４】
ステップＡ３５２は、ビデオ再生時刻情報と字幕表示時刻情報が一致（許容出力時刻差以内で例えば３３ｍｓ以内）すれば、データから抜き出した文字情報をデコード画像に加算し、ステップＡ３５３で、画像スキップ出力処理を行う。一方ステップＡ３５４で、画像スキップ処理でスキップした後に、ステップＡ３５５で文字情報を加算する。ステップＡ３０８で、オーディオ側の出力と同期をあわせて出力する。
【００６５】
従って、ビデオデコード処理後、前記データから抜き出したテキストもしくは文字情報を同期情報によりビデオ出力処理の前もしくは後どちらかを選択して画像合成して再生するもので、例えばデータから抜き出した文字情報をデコード画像に加算した後で、画像スキップ出力処理で同期させて出力するか、画像スキップ処理でスキップした後に文字情報を加算するかで、加算された文字情報の出力のさせ方を変えることができる。
【００６６】
また、図７の処理とは異なり、ビデオ出力処理前か後かを判定したあとで、一旦ビデオスキップ処理を施し、表示するビデオ再生時刻（VPTS）に合致する映像に字幕を加算するという構成でもよい。つまりビデオ出力処理前に加算する場合は、ビデオスキップ処理を施し、表示するビデオのVPTSと、再生時刻情報が一致する字幕のみを選別して加算し、表示を行う。一方ビデオ出力処理後に加算する場合は、ビデオスキップ処理を実施したあとで、表示されているビデオのVPTSには依存せず、文字スーパ等を加算して表示を行う。このような構成であると、ビデオスキップ処理を施したあと、表示されるビデオのVPTSと、字幕等を同期の有無で加算するかといった構成となり、字幕などの加算部の処理を共通化できる。
【００６７】
図８は、オーディオデコード処理後、付加音データから抜き出した付加音情報を同期情報によりオーディオ出力処理の前もしくは後どちらかを選択して音声合成して再生する処理を流れ図にしたものである。ステップＡ３０６で、オーディオデコードした結果をPCMバッファ部へ格納する。ステップＡ３３１で、ビデオ出力処理の前後どちらかを選択する。判断基準は後で詳細に説明する。
【００６８】
ステップＡ３３２は、オーディオ再生時刻情報と付加音再生時刻情報が一致（許容出力時刻差以内で例えば数十ｍｓ以内）すれば、データから抜き出した付加音情報をデコード音声に加算し、ステップＡ３３３で、オーディオ可変速処理を行う。一方ステップＡ３３４で、オーディオ可変速処理した後に、ステップＡ３３５で付加音情報を加算する。ステップＡ３０７で、ビデオ側の出力と同期をあわせて出力する。
【００６９】
可変速処理を行うために。オーディオデコード処理が通常再生速度処理以上の処理能力があれば、オーディオ出力処理が可変速処理で、データから抜き出した音声情報を、前記オーディオデコード処理後に加算したうえで、前記可変速処理を施すことができる。例えばデータから抜き出した音声情報をデコード音声に加算した後で、オーディオ出力処理で可変速処理を施すため、加算された音声情報もデコード音声の可変速処理と同期させた音声出力が可能である。
【００７０】
一方、データから抜き出した音声情報を、前記可変速処理後に加算することもできる。オーディオ出力処理で可変速処理を施した後でデータから抜き出した音声情報を加算するため、デコード音声が可変速処理されても、加算された音声情報は通常速度音声での加算を行うことができる。
【００７１】
加算の選択手段として、再生ストリームのコンテンツ内容を判断する手段を有れば、再生時に、データから抜き出した音声情報を、前記判断手段の結果により、オーディオ出力処理の前もしくは後どちらかを選択し、もしくはデータから抜き出したテキストもしくは文字情報を、ビデオ出力処理の前もしくは後どちらかを選択して再生することができる。
【００７２】
例えば再生コンテンツにより、カラオケの字幕のようにオーディオ・ビデオに同期した各出力処理を施すほうがいいか、それとも緊急臨時放送のように各出力処理を施したあとで文字情報をだすほうがいいか、再生コンテンツの内容に従って選択することができる。
【００７３】
加算の選択手段として、利用者による指示内容からコンテンツの再生処理内容を選択する手段を有すれば、データから抜き出した音声情報を、前記選択手段の結果により、オーディオ出力処理の前もしくは後どちらかを選択し、もしくはデータから抜き出したテキストもしくは文字情報を、ビデオ出力処理の前もしくは後どちらかを選択して再生することができる。
【００７４】
例えば、利用者の指示に従って、可変速処理の前に音声情報と文字情報を加算させるか、後に音声情報と文字情報を加算させるといった、利用者の指示に従った加算が選択できる。
【００７５】
加算の選択手段として、再生するストリームのコンテンツ内容及び利用者による使用用途を判断する手段を有すれば、再生時に、データから抜き出した音声情報を、前記判断手段の結果により、オーディオ出力処理の前もしくは後どちらかを選択し、もしくはデータから抜き出したテキストもしくは文字情報を、ビデオ出力処理の前もしくは後どちらかを選択して再生することができる。
【００７６】
例えば、カラオケコンテンツであっても利用者の指示で、可変速処理では、可変速処理の前に音声情報と文字情報を加算させるが、音程のみを変化させる音程変化処理では、音程変化処理の後に音声情報と文字情報を加算させるといった、コンテンツ内容に加えて利用者の指示内容を加味して各出力処理の前後への加算を選択できる。
【００７７】
また、米国の放送方式では字幕は、クローズドキャプション信号と呼ばれ、利用者のリモコン操作により、表示と非表示とを切り替えることが仕様で定められている。従って本発明の実施の形態に適用した場合は、利用者の指示で、各出力処理の加算の選択と、表示の選択が望まれる。さらに字幕文字などを、縦方向や横方向にスクロールするとか、ワイプを行うなどの各種表示効果を伴う場合においても、各種出力処理の前後を選択できるようにしてあれば、早送り時においても、重要な情報を見逃したり、もしくは、字幕が全部表示確認されないと次の画面の表示にうつれないといったまどろっこしさから解消される。このような字幕や、字幕の類似例として、米国のクローズドキャプションだけでなく、欧州のテレテキストなどが存在する。
【００７８】
さらに、字幕と音声の選択を別々に行えるように構成すると、例えばストリームデータから抜き出した音声情報はオーディオ出力処理の前に加算し、同文字情報はビデオ出力処理の後で加算するなど各々の情報毎に別々に加算できるような設定が可能となる。
【００７９】
入力されるストリームは、デジタル放送信号を受信記録したストリームだけとは限らない。外部からのアナログ信号をデジタル符号化したストリームでもよいし、もしくはDVDディスクのように予めデジタル符号化され記録メディアに記録されている商用コンテンツのストリームでもよい。
【００８０】
ＤＶＤディスクのコンテンツのように、ビデオストリームとオーディオストリーム以外に、サブピクチャと呼ばれる字幕などを含む副映像のストリームや、同期して再生するような音声情報を含むストリームを有し、これらのストリームの再生コンテンツ種別や内容を判断する手段を有する構成とする。
【００８１】
すると、コンテンツ再生時に、デコードした音声情報ストリームから得た音声情報を、前記判断手段の結果により、オーディオ出力処理の前もしくは後どちらかを選択して再生できる。また、サブピクチャ等をデコードすることによるテキストもしくは文字情報を、ビデオ出力処理の前もしくは後どちらかを選択して再生することができる。よって、デジタル放送信号入力記録だけでなく、ＤＶＤディスクのコンテンツにも対応可能であるため、再生媒体を特定することなく、同じ再生方法にて対応できる。
【００８２】
さらに、外部からのアナログ信号をデジタル符号化して記録するための手段を持ち、前記デジタル符号化したストリームの再生時に、データから抜き出した音声情報を、コンテンツ内容の判断結果によりオーディオ出力処理の前もしくは後どちらかを選択し、もしくはデータから抜き出したテキストもしくは文字情報を、ビデオ出力処理の前もしくは後どちらかを選択して再生できるように、予めデジタル符号化時に再生時の選択指示情報を加算しておくデータ記録装置があれば、本データ再生装置の効果は高まる。例えば可変速処理を行う前もしくは後で加算すべき情報を前もって記録しておくため、記録したストリームを後での可変速再生と組み合わせた加算再生時に有効である。
【００８３】
（実施の形態２）
本発明の実施の形態２によるデータ再生装置の構成を示すブロック図である図１を主として参照しながら、本実施の形態２のデータ再生装置の構成、及びデータ再生方法について説明する。
【００８４】
データ再生装置の構成は、図１の構成と同一である。本実施の形態２のオーディオ出力処理部６１の可変速制御を行う方法について、図９に示す再生速度変換機能を行う時の例を以下に詳しく説明する。
【００８５】
可変速処理を行うために。オーディオデコード処理が通常再生速度処理以上の処理能力が必要であることは、先に説明したとおりである。例えば１．３倍ぐらいの再生速度を保つためには、再生速度より若干高い１．５倍程度のデコード処理能力が望ましい。これは単にデコード処理性能だけでなく、再生メディアからの読み出し処理性能や、転送処理性能も含んだ能力が必要である。
【００８６】
デコードを高速にすすめ、PCMバッファ等に保管されたオーディオデータは、次のように処理される。図９において、上は可変速処理前の通常速度による再生のデータであり、下は可変速処理後の高速再生のデータを示している。上は、６オーディオフレーム（１オーディオフレームは先に説明した１０数ｍｓ程度）をＴ１の時間で、通常再生する場合を示している。一方、下は１つめと２つめのオーディオフレームの再生を重ねて行い、結果としてＴ２の時間で再生した場合を示している。圧縮比を処理後の時間長を処理前の時間長で割算した値と定義すると、速度比は、圧縮比の逆数となる。従ってここでは、５分の６倍（１．２倍）での高速再生となる。
【００８７】
このとき重なっているオーディオフレーム再生の一方をフェードアウトさせながら、一方をフェードインすることで重ね合わせを実現する。両者は通常再生速度での重ね合わせとする。そのほかの重ならないオーディオフレームにおいては、通常速度再生となる。高速再生といっても、すべてが通常再生速度での再生であるので、原音のピッチが変わることはないので、自然な音声がききとれるような可変速再生が実現できる。
【００８８】
このようなオーディオ出力処理部６１での可変速制御を実施するとともに、データから抜き出した音声情報を、前記オーディオデコード処理後に加算したうえで、前記可変速処理を施すか、データから抜き出した音声情報を、前記可変速処理後に加算処理を施すか選択する手段を有すれば、加算したデータ音声も、元の原音と相違ない音程で再生が可能である。
【００８９】
なお、再生音声の同期とデータから抜き出した付加音の同期については先に説明したとおりである。加算前に同期をとる場合は、もともと全オーディオフレームに対して算出されるPTSをもとに、付加音側のPTSを参照して加算すればよい。一方可変速後、付加音加算する場合は、オーディオフレームの重なり部分のPTSは、重なっているどちらかのオーディオフレームのPTSを有効にするという規則を予め定めておけばよい。
【００９０】
（実施の形態３）
本発明の実施の形態３によるデータ再生装置の構成を示すブロック図である図１を主として参照しながら、本実施の形態２のデータ再生装置の構成、及びデータ再生方法について説明する。
【００９１】
データ再生装置の構成は、図１の構成と同一である。オーディオ出力処理部６１は、可変速再生に限るものではない。例えばデコードした音声の音の高さを変える処理でもよい。デジタル放送信号を受信記録し、少なくともオーディオ、データの符号化されたストリームを、時刻同期を確保しながら再生する際に、オーディオデコード処理後、データから抜き出した音声情報を同期情報によりオーディオ出力処理の前もしくは後どちらかを選択して加算し再生する。すると、例えばデータから抜き出した音声情報をデコード音声に加算した後で、オーディオ出力処理で元音声の音程の高低を変化させるか、オーディオ出力処理で元音声の音程の高低を変化させた後でデータから抜き出した音声情報を加算するかで、加算された音声情報の出力のさせ方を変えることができる。
【００９２】
また、オーディオ出力処理部６１として、そのほかに各種サラウンド効果を加えた音響効果を実施することもできる。付加音を加えたあとで、サラウンド効果を実施するか、サラウンド効果を加えたあとで付加音を加えるかを変えることができる。結果として付加音の広がり感や、出力スピーカを変更することができる。そのほかに、映像処理と音響処理間の同期処理遅延を考慮した遅延設定効果などがオーディオ出力処理部６１に想定できる。接続した映像機器と音響機器の出力遅延を、本発明のデータ再生装置側で設定できるように構成した場合、遅延を施す前に付加音を加えるか、遅延後に付加音を加えるかを設定できる。
【００９３】
一方、ビデオ出力処理部５１として、画面拡大縮小などの出力サイズ変換を設定した場合、字幕を加えた上で拡大するのか、拡大してから字幕を加えるのかといった選択が可能となる。ほかにも、出力テレビモニタにあわせた高・低解像への解像度変換、レターボックスとサイドパネルの出力フォーマット変換、インターレース画質からプログレッシブ画質へのＩＰ変換、NTSC方式とPAL方式間の周波数変換などが想定される。
【００９４】
各オーディオ・ビデオ出力処理の機能別に、加算の前後の選択ができるように構成すれば、画面拡大後、字幕を追加して、可変速処理を施すといった複数出力処理にも対応することができる。
【００９５】
また付加音以外に、複数の記録音声を加算するためのアフレコ音声、伴奏音にカラオケなどのマイクエコーを加算するマイクエコー音声も、オーディオ出力処理の前後に選択して加算できる構成をとれば、上記と同じ効果が得られる。一方、字幕や文字スーパ以外に、個人で編集時に挿入したい文字や図形なども、ビデオ出力処理の前後に選択して加算できる構成をとることで、同様な効果が得られる。このためには、専用のオーディオ演算素子やDSP（デジタルシグナルプロセッサ）を搭載すること、あるいは高性能のCPUを用いることでこれを実現できる。
【００９６】
また２つ以上のオーディオ入力ストリームに対し、オーディオ出力処理前後の加算位置を別々に設定したりするバリエーションもある。また同一のオーディオストリームに対し、２つ以上のビデオ入力ストリームがある場合がある。マルチアングルで撮影した映像をデジタル衛星放送やケーブル放送で放送している。このような場合にも、ビデオデコード能力等が可能であるならば、各々のビデオ出力処理の前後に個別に設定できる構成とすることによって、利用範囲を広げることができる。
【００９７】
なお、外部接続機器の機器ID等、相手側機器を特定する情報を認識することによって、各出力処理の前後加算の選択を設定するような構成でもよい。例えば、相手側出力機器側の機器種別を知るID番号等を受け取り、本体内もしくは、各種設定条件を、条件設定用のメモリカード内のテーブルを参照し、設定を行うような構成をとれば、再生装置による設定を利用者の操作をともなわずとも実現することが可能である。これらの外部接続機器には、TVなどのモニタ出力機器や、オーディオ出力アンプ、AVセレクタ機能を有するAVアンプなどのインタフェース機器、携帯型出力機器、車載用AV再生機器などが想定される。
【００９８】
なお、入力データは、外部から入力されるデータとして説明してきたが、予め機器内に存在するデータであってもよい。
【００９９】
今までは、システムデコード部１が、ビデオとオーディオ及びデータを分離する方式ついて説明してきた。しかし、あらかじめ各々が分離されているファイルデータであってもよい。圧縮ビデオデータと関連する再生時刻情報、圧縮オーディオデータと再生時刻情報、及びこれに関連するデータ放送情報を入力とし、各々の再生時刻情報に対し、同期情報とともに再生できる構成であれば、本発明のデータ再生方法でデータ再生装置を構成することができる。これは、ビデオカメラ等で撮影した信号をパーソナルコンピュータ上で編集した結果として、AV及びデータの混合ファイルもしくは、AVデータ独立のファイルどちらの場合でも、圧縮ビデオデータと関連する再生時刻情報、圧縮オーディオデータと再生時刻情報、データ情報を互いに関連づけた同期をとって再生する場合すべてに適応されるものである。
【０１００】
このデータ再生方法及び、装置の適用例としては、セットトップボックス、デジタル衛星放送受像機及びその記録機器、DVDプレーヤもしくはDVDレコーダ、VCDの関連機器、ハードディスクレコーダ、パーソナルコンピュータなどがある。本発明のデータ再生方法によるAVデータ同期プログラムを作成しておくことにより、パーソナルコンピュータ等へ、外部からの動作プログラムをロードして同期実行動作させることができる。
【０１０１】
なお、本発明はコンピュータプログラムによって実現されてもよく、これを磁気ディスクやCD−ROM等の記録媒体に格納することで、コンピュータシステムで容易に実施することが可能となる。
【０１０２】
【発明の効果】
以上説明したように、本発明の第１手段によれば、オーディオデータが特殊再生された場合であっても、音声データをオーディオデータの特殊再生とは異なる速度で出力させることができる。また、本発明の第２手段によれば、ビデオデータが特殊再生された場合であっても、文字データをビデオデータの特殊再生とは異なる速度で出力させるができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１の例のデータ再生装置の構成を示すブロック図
【図２】本発明の実施の形態１の例のシステムデコード部の構成を示すブロック図
【図３】本発明の実施の形態１の例のオーディオ再生時刻情報管理部の構成図
【図４】本発明の実施の形態１の例のAV同期制御を説明する流れ図
【図５】本発明のデータ放送ストリームの構成例を示す図
【図６】本発明の実施の形態１の例のデータ再生装置のデータ加算の構成を示すブロック図
【図７】本発明の実施の形態１の例のビデオ信号加算を説明する流れ図
【図８】本発明の実施の形態１の例のオーディオ信号加算を説明する流れ図
【図９】本発明の実施の形態２の例のオーディオ可変速処理の原理を説明する図
【符号の説明】
１ システムデコード部
２ ビデオデコード部
３ オーディオデコード部
４ データ放送処理部
５ ビデオ出力部
６ オーディオ出力部
７ 同期処理部
８ OSD出力処理部
９ 付加音出力処理部
５１ ビデオ出力処理部
６１ オーディオ出力処理部
Claims (8)
- オーディオコンテンツに関するオーディオデータ、当該オーディオデータの再生時刻を規定するオーディオ再生時刻情報、当該オーディオデータに加算可能な音声情報に関する音声データを少なくとも有し、前記オーディオデータに対して音声データを加算する時刻を規定する音声同期情報を含むことが可能なデータストリームを取得し、当該データストリームから、当該オーディオデータ、当該オーディオ再生時刻情報、当該音声データ、当該音声同期情報を抽出する抽出手段と、
前記抽出された情報に音声同期情報が含まれない場合、前記抽出されたオーディオ再生時刻情報に基づいて、前記オーディオデータの音声同期情報を設定する設定手段と、
前記抽出手段で抽出されたオーディオデータを、前記オーディオ再生時刻情報に基づいて出力するオーディオ再生出力手段と、
前記オーディオ再生出力手段から出力されたオーディオデータに、可変速処理を施すオーディオ処理手段と、
前記オーディオ処理手段による可変速処理の動作前又は動作後の何れかを選択する加算選択手段と、
前記オーディオ処理手段で可変速処理が施されたオーディオデータを、外部オーディオ再生装置に出力するオーディオ出力手段と、
を備え、
前記オーディオ処理手段は、前記加算選択手段によって動作前が選択された場合、前記音声同期情報に基づいて前記オーディオデータに前記音声データを加算した後、当該音声データが加算されたオーディオデータに可変速処理を施す一方、前記加算選択手段によって動作後が選択された場合、前記オーディオデータに音声データを加算した後、可変速処理が施されたオーディオデータに前記音声データを加算する、
オーディオ再生装置。 - 前記加算選択手段は、前記抽出したオーディオデータのコンテンツ内容に応じて、前記可変速処理の動作前又は動作後の何れかを選択する、
請求項１に記載のオーディオ再生装置。 - 前記加算選択手段は、利用者からの指示に応じて、前記可変速処理の動作前又は動作後の何れかを選択する、
請求項１に記載のオーディオ再生装置。 - オーディオコンテンツに関するオーディオデータ、当該オーディオデータの再生時刻を規定するオーディオ再生時刻情報、当該オーディオデータに加算可能な音声情報に関する音声データを少なくとも有し、前記オーディオデータに対して音声データを加算する時刻を規定する音声同期情報を含むことが可能なデータストリームを取得し、当該データストリームから、当該オーディオデータ、当該オーディオ再生時刻情報、当該音声データ、当該音声同期情報を抽出する抽出手段と、
前記抽出手段で抽出されたオーディオデータを、前記オーディオ再生時刻情報に基づいて出力するオーディオ再生出力手段と、
前記オーディオ再生出力手段から出力されたオーディオデータに、可変速処理を施すオーディオ処理手段と、
前記抽出された情報に音声同期情報が含まれるか否かに応じて、前記オーディオ処理手段による可変速処理の動作前又は動作後の何れかを選択する加算選択手段と、
前記オーディオ処理手段で可変速処理が施されたオーディオデータを、外部オーディオ再生装置に出力するオーディオ出力手段と、
を備え、
前記オーディオ処理手段は、前記加算選択手段によって動作前が選択された場合、前記音声同期情報に基づいて前記オーディオデータに前記音声データを加算した後、当該音声データが加算されたオーディオデータに可変速処理を施す一方、前記加算選択手段によって動作後が選択された場合、前記オーディオデータに音声データを加算した後、可変速処理が施されたオーディオデータに前記音声データを加算する、
オーディオ再生装置。 - ビデオコンテンツに関するビデオデータ、当該ビデオデータの再生時刻を規定するビデオ再生時刻情報、当該ビデオデータに合成可能な文字情報に関する文字データを少なくとも有し、前記ビデオデータに対して文字データを合成する時刻を規定する文字同期情報を含むことが可能なデータストリームを取得し、当該データストリームから、当該ビデオデータ、当該ビデオ再生時刻情報、当該文字データ、当該文字同期情報を抽出する抽出手段と、
前記抽出された情報に文字同期情報が含まれない場合、前記抽出されたビデオ再生時刻情報に基づいて、前記ビデオデータの文字同期情報を設定する設定手段と、
前記抽出手段で抽出されたビデオデータを、前記ビデオ再生時刻情報に基づいて出力するビデオ再生出力手段と、
前記ビデオ再生出力手段から出力されたビデオデータに、可変速処理を施すビデオ処理手段と、
前記ビデオ処理手段による可変速処理の動作前又は動作後の何れかを選択する合成選択手段と、
前記ビデオ処理手段で可変速処理が施されたビデオデータを、外部ビデオ再生装置に出力するビデオ出力手段と、
を備え、
前記ビデオ処理手段は、前記合成選択手段によって動作前が選択された場合、前記文字同期情報に基づいて前記ビデオデータに前記文字データを合成した後、当該文字データが合成されたビデオデータに可変速処理を施す一方、前記合成選択手段によって動作後が選択された場合、前記ビデオデータに文字データを合成した後、可変速処理が施されたビデオデータに前記文字データを合成する、
ビデオ再生装置。 - 前記合成選択手段は、前記抽出したビデオデータのコンテンツ内容に応じて、前記可変速処理の動作前又は動作後の何れかを選択する、
請求項５に記載のビデオ再生装置。 - 前記合成選択手段は、利用者からの指示に応じて、前記可変速処理の動作前又は動作後の何れかを選択する、
請求項５に記載のビデオ再生装置。 - ビデオコンテンツに関するビデオデータ、当該ビデオデータの再生時刻を規定するビデオ再生時刻情報、当該ビデオデータに合成可能な文字情報に関する文字データを少なくとも有し、前記ビデオデータに対して文字データを合成する時刻を規定する文字同期情報を含むことが可能なデータストリームを取得し、当該データストリームから、当該ビデオデータ、当該ビデオ再生時刻情報、当該文字データ、当該文字同期情報を抽出する抽出手段と、
前記抽出手段で抽出されたビデオデータを、前記ビデオ再生時刻情報に基づいて出力するビデオ再生出力手段と、
前記ビデオ再生出力手段から出力されたビデオデータに、可変速処理を施すビデオ処理手段と、
前記抽出された情報に文字同期情報が含まれるか否かに応じて、前記ビデオ処理手段による可変速処理の動作前又は動作後の何れかを選択する合成選択手段と、
前記ビデオ処理手段で可変速処理が施されたビデオデータを、外部ビデオ再生装置に出力するビデオ出力手段と、
を備え、
前記ビデオ処理手段は、前記合成選択手段によって動作前が選択された場合、前記文字同期情報に基づいて前記ビデオデータに前記文字データを合成した後、当該文字データが合成されたビデオデータに可変速処理を施す一方、前記合成選択手段によって動作後が選択された場合、前記ビデオデータに文字データを合成した後、可変速処理が施されたビデオデータに前記文字データを合成する、
ビデオ再生装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003174335A JP4285099B2 (ja) | 2003-06-19 | 2003-06-19 | データ再生方法及びデータ再生装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003174335A JP4285099B2 (ja) | 2003-06-19 | 2003-06-19 | データ再生方法及びデータ再生装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005012499A JP2005012499A (ja) | 2005-01-13 |
| JP4285099B2 true JP4285099B2 (ja) | 2009-06-24 |
Family
ID=34097845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003174335A Expired - Fee Related JP4285099B2 (ja) | 2003-06-19 | 2003-06-19 | データ再生方法及びデータ再生装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4285099B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006287676A (ja) * | 2005-04-01 | 2006-10-19 | Dainippon Printing Co Ltd | データ放送の画面に字幕を表示させる方法、データ放送番組、データ放送番組プログラム、字幕配信システム。 |
| JP4364176B2 (ja) | 2005-06-20 | 2009-11-11 | シャープ株式会社 | 映像データ再生装置及び映像データ生成装置 |
| CN101204089B (zh) * | 2005-06-20 | 2010-05-19 | 夏普株式会社 | 视频数据再生装置、视频数据生成装置 |
| JP2010263528A (ja) * | 2009-05-11 | 2010-11-18 | Sourcenext Corp | 動画像処理装置、動画像処理方法及びプログラム |
| JP2013219639A (ja) * | 2012-04-11 | 2013-10-24 | Nippon Hoso Kyokai <Nhk> | 字幕表示装置およびそのプログラム |
| JP6223016B2 (ja) * | 2013-06-27 | 2017-11-01 | 株式会社アステム | 映像出力装置、字幕サーバ装置、映像出力方法、及びプログラム |
| CN106231492A (zh) * | 2016-08-08 | 2016-12-14 | 钰太芯微电子科技（上海）有限公司 | 一种mems麦克风识别系统及方法 |
-
2003
- 2003-06-19 JP JP2003174335A patent/JP4285099B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005012499A (ja) | 2005-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100762608B1 (ko) | 음성 재생 장치, 음성 재생 방법 및 프로그램 | |
| KR100711328B1 (ko) | 데이터 처리 장치 및 방법 | |
| JP2011166813A (ja) | 画像符号化装置および方法、並びに記録媒体 | |
| JPWO2013136754A1 (ja) | 表示装置、及び送信装置 | |
| US20060165375A1 (en) | Recordable PVR using metadata and recording control method thereof | |
| US8275473B2 (en) | Data recording and reproducing apparatus, method of recording and reproducing data, and program therefor | |
| JP4285099B2 (ja) | データ再生方法及びデータ再生装置 | |
| KR100823370B1 (ko) | 영상 신호 기록 및 재생 장치, 영상 신호 기록 및 재생 방법, 및 기록 매체 | |
| KR20050052717A (ko) | 오디오 원본 보존 트랜스코딩 시스템 및 방법 | |
| JP4296676B2 (ja) | 画像記録装置および方法、画像再生装置および方法、並びに記録媒体 | |
| JP5194343B2 (ja) | 情報再生装置及び情報再生方法 | |
| JP4013800B2 (ja) | データ作成方法及びデータ記録装置 | |
| US20050069289A1 (en) | Transport stream recording/editing device and recording/editing method | |
| JP2006148679A (ja) | データ処理装置 | |
| JP2004040579A (ja) | デジタル放送受信装置、およびデジタル放送同期再生方法 | |
| JP2002010222A (ja) | 文字多重放送受信装置 | |
| JP4664173B2 (ja) | 字幕隠蔽放送に係る送信装置、再生装置、それらの方法 | |
| JP3910149B2 (ja) | 番組録画装置、番組再生装置、及び番組録画方法 | |
| KR100782196B1 (ko) | 타임 시프트 기능을 가지는 영상표시기기 및 그 제어방법 | |
| WO2007114023A1 (ja) | 情報記録装置および情報記録方法 | |
| JP2008252752A (ja) | 映像情報再生装置及び方法、映像情報再生システム、並びに映像情報再生システムの制御方法 | |
| JP5201251B2 (ja) | 情報再生装置及び情報再生方法 | |
| JP5350037B2 (ja) | 表示制御装置、その制御方法及びプログラム | |
| JP2003174614A (ja) | 記録再生装置および記録再生方法 | |
| JP2001339685A (ja) | 映像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060523 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060613 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080804 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081017 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081202 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090303 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090316 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120403 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4285099 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120403 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130403 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130403 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140403 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |