JPWO2009157078A1 - 映像音声データ出力装置および映像音声データ出力方法 - Google Patents

映像音声データ出力装置および映像音声データ出力方法 Download PDF

Info

Publication number
JPWO2009157078A1
JPWO2009157078A1 JP2010517641A JP2010517641A JPWO2009157078A1 JP WO2009157078 A1 JPWO2009157078 A1 JP WO2009157078A1 JP 2010517641 A JP2010517641 A JP 2010517641A JP 2010517641 A JP2010517641 A JP 2010517641A JP WO2009157078 A1 JPWO2009157078 A1 JP WO2009157078A1
Authority
JP
Japan
Prior art keywords
video
audio
output
data
audio data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010517641A
Other languages
English (en)
Other versions
JP5212473B2 (ja
Inventor
祥 西川
祥 西川
礼敬 政次
礼敬 政次
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Semiconductor Ltd
Original Assignee
Fujitsu Semiconductor Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Semiconductor Ltd filed Critical Fujitsu Semiconductor Ltd
Publication of JPWO2009157078A1 publication Critical patent/JPWO2009157078A1/ja
Application granted granted Critical
Publication of JP5212473B2 publication Critical patent/JP5212473B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/602—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for digital sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4392—Processing of audio elementary streams involving audio buffer management

Abstract

入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離する分離手段と、前記映像ストリーム信号をデコードして、映像データを生成する映像デコーダと、前記音声ストリーム信号をデコードして、音声データを生成する音声デコーダと、前記システムクロックに同期して前記映像データを出力する映像出力部と、前記システムクロックに同期して前記音声データを出力する音声出力部と、前記映像出力部から出力された映像フレームを加工する映像調整手段と、前記映像調整手段で前記映像フレームを加工する時間に応じて、前記音声出力部に入力される前記システムクロックを遅延させる音声出力調整部と、を有するように構成する。これにより、音声出力遅延用バッファを使用することなく映像と音声の同期を取ることが可能になる。

Description

この出願は、映像音声データ出力装置および映像音声データ出力方法に関し、特に、デジタルテレビ放送受信機における映像データおよび音声データを同期させて出力する映像音声データ出力装置および映像音声データ出力方法に関する。
従来、例えば、デジタルテレビ放送は、映像と音声のデータをそれぞれ圧縮し、それらを多重化したストリームを放送波に載せて（デジタル変調して）伝送している。
図１はデジタルテレビ放送受信機の一例の全体構成を概略的に示すブロック図である。図１において、参照符号１はアンテナ、２はチューナ、３はデジタル復調部、４はＴＳ（Transport Stream）デマルチプレクサ、５は映像デコーダ、６は映像出力部、７は音声デコーダ、そして、８は音声出力部を示している。
図１に示されるように、デジタルテレビ放送受信機は、アンテナ１およびチューナ２で所定の放送波を受信する。この受信信号は、例えば、ＯＦＤＭ（Orthogonal frequency division multiplex：直交周波数分割多重方式）やＱＰＳＫ（Quadrature Phase Shift Keying：四位相偏移変調）により変調されており、それをデジタル復調部３によりデジタル復調してＴＳ信号を得る。
復調されたＴＳ信号は、ＴＳデマルチプレクサ４に供給され、映像ストリームおよび音声ストリームが分離される。映像ストリームは、映像デコーダ５および映像出力部６を介して映像出力（映像フレームデータ）として出力され、また、音声ストリームは、音声デコーダ７および音声出力部８を介して音声出力（ＰＣＭ（Pulse Code Modulation）データ）として出力される。
そして、映像出力部６からの映像出力は、表示装置（表示手段）により表示され、また、音声出力部８からの音声出力は、スピーカ（音声出力手段）により出力される。
ところで、従来、例えば、デジタルテレビ放送受信機においてのＡＶ同期（音声（Audio）データと映像（Video）データの同期）は、映像データおよび音声データに付加されているタイムスタンプをシステム時刻に応じて出力することで実現している。
図２は従来の映像音声データ出力装置（同期調整装置）の一例を示すブロック図である。
図２に示されるように、ＴＳデマルチプレクサ４は、映像および音声が多重化されたストリーム（ＴＳ信号）から映像ストリームおよび音声ストリームを分離する。ＴＳ信号には、送信側と受信側の時刻同期を取るためのＰＣＲ（Program Clock Reference）が所定の時間間隔で含まれていて、そのＰＣＲを元に受信側のＳＴＣ生成部９で連続したシステム時間ＳＴＣ（System Time Clock）を生成する。
映像ストリームは、映像ストリーム用バッファ５１１を介して映像デコーダ５に供給され、また、音声ストリームは、音声ストリーム用バッファ７１１を介して音声デコーダ７に供給される。
ここで、映像ストリームおよび音声ストリームには、それぞれフレーム等の単位毎に出力時刻のタイムスタンプＰＴＳ（Presentation Time Stamp）が付加されている。これらのＰＴＳ（映像ＰＴＳおよび音声ＰＴＳ）情報は、それぞれ映像および音声ストリームと関連付けたまま映像ＰＴＳ用バッファ５１２および音声ＰＴＳ用バッファ７１２を介して映像デコーダ５および音声デコーダ７に供給される。
映像デコーダ５は、映像ストリームをデコードした映像フレームデータを、映像フレームデータ用バッファ５２１を介して映像出力部６に供給し、また、音声デコーダ７は、音声ストリームをデコードしたＰＣＭデータ（音声データ）を、ＰＣＭデータ用バッファ７２１を介して音声出力部８に供給する。
なお、図２では、各ＰＴＳ情報がデコーダに入力されているが、これは、例えば、映像フレームのデコード順が必ずしも出力の順番とは一致しないためである。すなわち、デコード処理によって、フレームの出力順が決まった段階で、フレームに付随させていたＰＴＳの順序もきちんとした時間順に並べ替えられるようになっている。
また、音声のデコード処理では、フレームデータの並べ替えは起こらないものがほとんどであるが、コーデックタイプによっては、デコード開始時に先頭の数フレームを出力しない場合もあり、それに応じて出力フレームデータとＰＴＳ情報を合わせるために、先頭の数フレーム分のＰＴＳ情報を削除することも必要になる。
映像デコーダ５および音声デコーダ７から出力された映像ＰＴＳおよび音声ＰＴＳは、それぞれ映像ＰＴＳ用バッファ５２２および音声ＰＴＳ用バッファ７２２を介して映像出力部６および音声出力部８に供給される。
そして、映像出力部６および音声出力部８は、映像および音声の各フレームデータに対応するＰＴＳ時刻とＳＴＣ時刻とを比較し、ＳＴＣ時刻がＰＴＳ時刻に到達した時に、対応するフレームデータを出力する。
すなわち、例えば、デジタルテレビ放送受信機では、ＳＴＣ時刻に基づいて映像と音声のそれぞれのフレームデータをＰＴＳ時刻で出力することによって、ＡＶ同期を取るようになっている。
図３は従来の映像音声データ出力装置の他の例を示すブロック図である。
図３と図２との比較から明らかなように、図３に示す映像音声データ出力装置は、図２の映像音声データ出力装置において、映像出力部６の後段に画質調整部１１を設けると共に、音声出力部８の後段に音声出力遅延用バッファ１２を設けたものである。
すなわち、図３の映像音声データ出力装置は、映像出力部６の後段に画質調整部１１を設け、映像出力部６からの映像出力（映像フレーム）に対してＩＰ変換やノイズ軽減処理等の画質調整を行うようになっている。このように、画質調整部１１により映像出力部６からの映像出力に対してＩＰ変換やノイズ軽減処理を行うと、その画質調整に要する時間だけ映像出力が遅延することになる。
そこで、図３の映像音声データ出力装置では、音声出力部８の後段に音声出力遅延用バッファ１２を設け、画質調整部１１による映像出力の遅延時間分だけ音声出力部８からの音声出力を遅延させてＡＶ同期を取るようになっている。
図４は図３に示す映像音声データ出力装置の動作を説明するためのタイミング図であり、映像出力部６からの映像出力と画質調整部１１からの映像出力との間に処理遅延として１００ｍsec.のオフセットがある場合を示している。
図４に示されように、映像出力部６からの映像出力と画質調整部１１からの画質調整後の映像出力との間の１００ｍsec.のオフセットは、音声出力部８からの音声出力を音声出力遅延用バッファ１２により１００ｍsec.遅延させることにより相殺され、ＡＶ同期を取るようになっている。
ここで、画質調整部１１における画質調整処理に１００ｍsec.の時間を要する場合、例えば、音声出力データ（ＰＣＭデータ）のフォーマットが４４．１ｋＨｚ，２チャンネル，１６ｂｉｔとすると、同期調整に必要となる音声出力遅延用バッファ１２の容量は次のようになる。
100×44.1×2×16=141,120ｂｉｔ → 17.23ｋbyte …（ａ）
すなわち、画質調整部１１による１００ｍsec.の遅延を音声出力遅延用バッファ１２により吸収するために音声出力遅延用バッファ１２の容量は、１７．２３ｋbyte以上の容量が必要なことが分かる。
この音声出力遅延用バッファ１２は、さらに画質調整時間が長くなったり、音声データのサンプリング周波数が高くなったり、或いは、チャンネル数や１サンプルのビット数が多くなれば、それらに応じて容量を増大しなければならない。
図５は図３に示す映像音声データ出力装置におけるＳＴＣ生成部９の例を示すブロック図であり、図６は図３に示す映像音声データ出力装置におけるＡＶ出力タイミング生成回路１０の例を示すブロック図である。ここで、図６に示すＡＶ出力タイミング生成回路１０は、図３における映像ＰＴＳ用バッファ５２２および映像出力部６、並びに、音声ＰＴＳ用バッファ７２２および音声出力部８に相当する。
図５に示されるように、ＳＴＣ生成部９は、例えば、上位３３ビットのカウンタ９１と下位９ビットのカウンタ９２によって構成される。カウンタの初期値は、最初にＰＣＲを検出したタイミングで、そのＰＣＲ（上位３３ビットのベース部（ＰＣＲ_base(33bit)部）と下位９ビットのエクステンション部（ＰＣＲ_ex(9bit)）の値にセットされ、その後は２７ＭＨｚのクロックによってカウントされる。
下位９ビットのカウンタ９２は、２７ＭＨｚのクロックで動作する０〜２９９の巡回カウンタとして構成され、そのカウンタ値が２９９になった時点で上位３３ビットのカウンタ９１がカウントアップされる。そのため、上位３３ビットのカウンタ９１は、２７ＭＨｚ／３００＝９０ｋＨｚでカウントアップ動作するカウンタとなっている。そして、ＳＴＣ_base(33bit)のカウント値は、映像出力部６および音声出力部８に供給されてＳＴＣ時刻として利用される。
図６に示されるように、ＡＶ出力タイミング生成回路１０において、映像出力および音声出力の時刻を示すＰＴＳ値は、それぞれＦＩＦＯ（First-In First-Out）に格納され、そこから取り出したＰＴＳ値よりもＳＴＣ時刻（ＳＴＣ_base）が超えた場合に、その比較したＰＴＳ値に該当するフレームの出力が開始される。
すなわち、映像フレーム出力イネーブル信号および音声フレーム出力イネーブル信号が有効になった時点が、それぞれ映像フレームおよび音声フレームの出力開始時刻となる。そして、映像フレーム出力イネーブル信号が有効になった後、それぞれのＦＩＦＯのＰＴＳ値が次の値に更新される。
なお、映像出力のフレームデータは時間的に離散であるため、映像フレーム出力イネーブル信号が有効になった時刻で各映像フレームが出力される。一方、音声出力のＰＣＭデータは時間的に連続であるため、最初に出力を開始するとき以外は、音声フレーム出力時刻の監視用に用いられ、その出力時刻がずれていた場合には、音声出力データのスキップ処理やリピート出力処理を行って、ＳＴＣ_baseとの同期を取ることになる。
ところで、従来、例えば、ＩＰ変換やノイズ軽減処理等の画質調整によりビデオ出力が遅れると、そのビデオ出力の遅れ分だけ遅延バッファを用いて音声出力を遅らせてビデオ出力と音声出力との同期を取るようにした映像音声データ出力装置が提案されている（例えば、特許文献１〜４参照）。
特開２００７−０８２１５５号公報 特開２００２−３４４８９８号公報 特開平０６−２３７４４３号公報 特開２００３−２８４０６６号公報
上述したように、従来、例えば、デジタルテレビ放送受信機において、ＩＰ変換やノイズ軽減処理等の画質調整を行うと、その調整時間の分だけ映像出力が遅延していた。そのため、映像と音声のＡＶ同期（リップシンク）を取るには、映像出力の遅れた分だけ音声出力を遅延させる必要があった。
通常、音声出力の遅延は、音声出力データを音声出力遅延用バッファに一定時間格納してから出力するため、音声の多チャンネル化や画質調整の複雑化に伴って、音声出力遅延用バッファの容量も増大する傾向にあった。
さらに、音声データに関しても、サラウンド処理等を行う場合もあるため、接続するＡＶアンプ等によって音声データの遅延量を調整することも必要になっていた。
本出願は、上述した従来技術における課題に鑑み、出力遅延用バッファを使用することなく映像と音声の同期を取ることができる映像音声データ出力装置および同期調整方法の提供を目的とする。
第１の実施形態によれば、分離手段と、映像デコーダと、音声デコーダと、映像出力部と、音声出力部と、映像調整手段と、音声出力調整部と、を有する映像音声データ出力装置が提供される。
分離手段は、入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離し、映像デコーダは、映像ストリーム信号をデコードして、映像データを生成し、そして、音声デコーダは、音声ストリーム信号をデコードして、音声データを生成する。
また、映像出力部は、システムクロックに同期して映像データを出力し、音声出力部は、システムクロックに同期して音声データを出力する。さらに、映像調整手段は、映像出力部から出力された映像フレームを加工し、そして、音声出力調整部は、映像調整手段で映像フレームを加工する時間に応じて、音声出力部に入力されるシステムクロックを遅延させる。
第２の実施形態によれば、分離手段と、映像デコーダと、音声デコーダと、映像出力部と、音声出力部と、映像調整手段と、音声出力調整部と、を有する映像音声データ出力装置が提供される。
分離手段は、入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離し、映像デコーダは、映像ストリーム信号をデコードして、映像データを生成し、そして、音声デコーダは、音声ストリーム信号をデコードして、音声データおよび音声タイムスタンプ信号を生成する。
また、映像出力部は、システムクロックに同期して映像データを出力し、音声出力部は、システムクロックおよび音声タイムスタンプ信号に同期して前記音声データを出力する。さらに、映像調整手段は、映像出力部から出力された映像フレームを加工し、そして、音声調整手段は、映像調整手段で映像フレームを加工する時間に応じて、音声出力部に入力される前記音声タイムスタンプ信号を遅延させる。
第３の実施形態によれば、入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離する工程と、分離された前記映像ストリーム信号をデコードして、映像データを生成する工程と、分離された前記音声ストリーム信号をデコードして、音声データを生成する工程と、分離された前記システムクロックに同期して前記映像データを出力する工程と、出力された前記映像データを加工する工程と、前記映像データを加工する時間に応じて、前記システムクロックを遅延させ、前記音声データの出力タイミングを調整する工程と、を有することを特徴とする映像音声データ出力方法が提供される。
第４の実施形態によれば、入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離する工程と、分離された前記映像ストリーム信号をデコードして、映像データを生成する工程と、分離された前記音声ストリーム信号をデコードして、音声データとタイムスタンプ信号を生成する工程と、出力された前記映像データを加工する工程と、前記映像データを加工する時間に応じて、前記タイムスタンプ信号を遅延させ、前記音声データの出力タイミングを調整する工程と、を有することを特徴とする映像音声データ出力方法が提供される。
第５の実施形態によれば、コンピュータに、入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離させる手順と、分離された前記映像ストリーム信号をデコードして、映像データを生成させる手順と、分離された前記音声ストリーム信号をデコードして、音声データとタイムスタンプ信号を生成させる手順と、出力された前記映像データを加工させる手順と、前記映像データを加工する時間に応じて、前記タイムスタンプ信号を遅延させ、前記音声データの出力タイミングを調整させる手順と、を実行させることを特徴とする映像音声データ出力プログラムが提供される。
各実施形態によれば、出力遅延用バッファを使用することなく映像と音声の同期を取ることができる映像音声データ出力装置および同期調整方法を提供することができる。
デジタルテレビ放送受信機の一例の全体構成を概略的に示すブロック図である。 従来の映像音声データ出力装置の一例を示すブロック図である。 従来の映像音声データ出力装置の他の例を示すブロック図である。 図３に示す映像音声データ出力装置の動作を説明するためのタイミング図である。 図３に示す映像音声データ出力装置におけるＳＴＣ生成部の例を示すブロック図である。 図３に示す映像音声データ出力装置におけるＡＶ出力タイミング生成回路の例を示すブロック図である。 第１実施例の映像音声データ出力装置を示すブロック図である。 図７に示す映像音声データ出力装置の動作を説明するためのタイミング図である。 図７に示す映像音声データ出力装置におけるＳＴＣの生成を説明するための図である。 図７に示す映像音声データ出力装置におけるＡＶ出力タイミング生成回路の例を示すブロック図である。 第２実施例の映像音声データ出力装置を示すブロック図である。 図１１に示す映像音声データ出力装置の動作を説明するためのタイミング図である。 図１１に示す映像音声データ出力装置におけるＡＶ出力タイミング生成回路の例を示すブロック図である。 第３実施例の映像音声データ出力装置を示すブロック図である。 第４実施例の映像音声データ出力装置を示すブロック図である。 第５実施例の映像音声データ出力装置を示すブロック図である。 第６実施例の映像音声データ出力装置を示すブロック図である。 第７実施例の映像音声データ出力装置を示すブロック図である。 図１８の第７実施例の映像音声データ出力装置におけるＰＴＳ時刻調整による映像出力の処理を説明するためのフローチャートである。 図１８の第７実施例の映像音声データ出力装置におけるＰＴＳ時刻調整による音声出力の処理を説明するためのフローチャートである。
符号の説明
１ アンテナ
２ チューナ
３ デジタル復調部
４ ＴＳデマルチプレクサ
５ 映像（ビデオ）デコーダ
６ 映像出力部
７ 音声（オーディオ）デコーダ
８ 音声出力部
９ ＳＴＣ生成部
１０，１０ａ，１０ｂ ＡＶ出力タイミング生成回路
１１ 画質調整部
１２ 音声出力遅延用バッファ
１３ サラウンド処理部
２１，２２，２４，２５，２７〜３０，３２，３３，３５，３６ 加算器
２３ α生成部
２６ β生成部
３１，３４ ｔ生成部
５１１ 映像ストリーム用バッファ
５１２，５２２ 映像ＰＴＳ用バッファ
５２１ 映像フレームデータ用バッファ
７１１ 音声ストリーム用バッファ
７１２，７２２ 音声ＰＴＳ用バッファ
７２１ ＰＣＭデータ用バッファ
以下、映像音声データ出力装置および映像音声データ出力方法の実施例を、添付図面を参照して説明する。
図７は第１実施例の映像音声データ出力装置を示すブロック図である。なお、本実施例の映像音声データ出力装置は、例えば、図１に示すデジタルテレビ放送受信機に適用することができる。すなわち、ＴＳデマルチプレクサ４には、例えば、図１のアンテナ１およびチューナ２で受信した信号をデジタル復調部３によりデジタル復調したＴＳ信号が供給される。
図７に示されるように、ＴＳデマルチプレクサ４は、供給されたＴＳ信号を映像ストリームと音声ストリームに分離する。映像ストリームは、映像ストリーム用バッファ５１１を介して映像デコーダ５に供給され、そこでデコードされた映像フレームデータは、映像フレームデータ用バッファ５２１を介して映像出力部６に供給される。
音声ストリームは、音声ストリーム用バッファ７１１を介して音声デコーダ７に供給され、そこでデコードされたＰＣＭデータは、ＰＣＭデータ用バッファ７２１を介して音声出力部８に供給される。
映像ストリームおよび音声ストリームには、フレーム等の単位毎に出力時刻のタイムスタンプＰＴＳが付加されている。映像デコーダ５および音声デコーダ７から出力された映像ＰＴＳ（映像タイムスタンプ信号）および音声ＰＴＳ（音声タイムスタンプ信号）は、それぞれ映像ＰＴＳ用バッファ５２２および音声ＰＴＳ用バッファ７２２を介して映像出力部６および音声出力部８に供給される。
映像出力部６の後段には、画質調整部１１が設けられ、映像出力部６からの映像出力に対してＩＰ変換やノイズ軽減処理等の画質調整を行うようになっている。なお、画質調整部１１から出力される映像出力には、映像出力部６からの映像出力に対するＩＰ変換やノイズ軽減処理等の画質調整に要する時間だけ遅延が含まれることになる。
図７と前述した図３との比較から明らかなように、本第１実施例の映像音声データ出力装置において、音声出力部８の後段には音声出力遅延用バッファ（１２）は設けられておらず、代わりに、音声出力部８に入力するＳＴＣ（システムクロック）に対してオフセットを与えるための加算器２１が設けられている。
本第１実施例の映像音声データ出力装置では、画質調整部１１による映像出力の遅延を、加算器２１により音声出力部８に入力するＳＴＣにオフセットを与え、これにより音声出力部８からの音声出力を遅延して出力させて画質調整部１１からの映像出力との同期を取るようになっている。
すなわち、映像出力部６および音声出力部８は、映像および音声の各フレームデータに対応するＰＴＳ時刻とＳＴＣ時刻とを比較し、ＳＴＣ時刻がＰＴＳ時刻に到達した時に、対応するフレームデータを出力するようになっている。そこで、映像出力部６にはそのままＳＴＣを供給し、音声出力部８に対してのみ加算器２１によりオフセット（負のオフセット）を与えたＳＴＣを供給して、音声出力部８からの音声出力と画質調整部１１からの映像出力とのＡＶ同期を取るようになっている。
なお、本第１実施例の映像音声データ出力装置において、ＳＴＣにオフセットを与えて音声出力部８からの音声出力を遅延させるために、例えば、音声ストリーム用バッファ７１１の容量を、音声出力の遅延に応じて増大する。ただし、この音声ストリーム用バッファ７１１の容量増大は、音声デコーダ７によりデコードされる前の圧縮された音声ストリームであるため、前述した図３における音声出力遅延用バッファ１２の容量増大よりも十分に小さくすることができる。
図８は図７に示す映像音声データ出力装置の動作を説明するためのタイミング図であり、映像出力部６からの映像出力と画質調整部１１からの映像出力との間に処理遅延として１００ｍsec.のオフセットがある場合を示している。
図８に示されように、映像出力部６からの映像出力と画質調整部１１からの画質調整後の映像出力との間の１００ｍsec.のオフセットは、音声出力部８に入力するＳＴＣに対して１００ｍsec.のオフセットを与えることにより、音声出力部８からの音声出力を遅延して出力させ、ＡＶ同期を取るようになっている。
ここで、上述したように、オフセットが与えられたＳＴＣによる音声出力部８からの音声出力の遅延に対応して音声ストリーム用バッファ７１１の容量を増大させることになる。具体的に、音声出力部８からの音声出力を１００ｍsec.遅延させる場合、例えば、音声ストリームが１２８ｋbpsで圧縮されているとすると、音声ストリーム用バッファ７１１の増加容量は次のようになる。
100×128＝12,800ｂｉｔ → 1.56ｋbyte …（ｂ）
これは、前述した従来例における音声出力遅延用バッファ１２に必要とされる１７．２３ｋbyteの約１／１１に相当する。すなわち、音声ストリームは、圧縮されたデータなので音声ストリーム用バッファ７１１の容量増加は、従来例における音声出力遅延用バッファ１２の容量よりも十分小さなものとすることができる。
さらに、従来例の音声出力遅延用バッファを用いる場合には、音声出力遅延用バッファ１２に対して音声データの入出力を行うためのデータ転送のトラフィックが必要となるが、このトラフィックも削除することができ、消費電力の削減も行うことができる。
図９は図７に示す映像音声データ出力装置におけるＳＴＣの生成（映像用ＳＴＣ_video(33bit)および音声用ＳＴＣ_audio(33bit)）を説明するための図である。
図９に示されるように、本第１実施例の映像音声データ出力装置において、ＳＴＣ生成部９からのＳＴＣ（ＳＴＣ_base(33bit)のカウント値）は、Ｄフリップフロップを介して映像出力部６へ供給されると共に、加算器２１でオフセットが加算された後、Ｄフリップフロップを介して音声出力部８へ供給される。ここで、ＳＴＣ_base（ＳＴＣ_base(33bit))は、図５を参照して説明したＳＴＣ生成部９により生成された信号である。
すなわち、画質調整部１１で画質調整処理に要する時間（例えば、１００ｍsec）だけ加算器９によりＳＴＣ時刻を調整（例えば、ＳＴＣ_baseから１００ｍsec.のオフセット分だけ減算）し、その調整されたＳＴＣを音声出力部８に与えるようになっている。
ここで、［ＳＴＣ_base−オフセット］の演算処理によって、ＳＴＣ_audioを音声出力部８に与えるタイミングがずれるが、これを映像出力部６に与えるタイミングと合わせるために、ＤフリップフロップによりＳＴＣ_baseを遅延させただけのＳＴＣ_videoを生成して映像出力部６に供給するようになっている。
図１０は図７に示す映像音声データ出力装置におけるＡＶ出力タイミング生成回路１０ａの例を示すブロック図である。ここで、図１０に示すＡＶ出力タイミング生成回路１０ａは、図７における映像ＰＴＳ用バッファ５２２および映像出力部６、並びに、音声ＰＴＳ用バッファ７２２および音声出力部８に相当する。
図１０と前述した図６との比較から明らかなように、本第１実施例の映像音声データ出力装置では、映像フレーム出力イネーブル信号および音声フレーム出力イネーブル信号を生成するためにそれぞれ異なるＳＴＣ（映像用ＳＴＣ_video(33bit)および音声用ＳＴＣ_audio(33bit)）が使用されている。
すなわち、図９を参照して説明した映像用ＳＴＣ_video(33bit)および音声用ＳＴＣ_audio(33bit)により、それぞれ映像ＰＴＳ(33bit)および音声ＰＴＳ(33bit)が処理され、映像フレーム出力イネーブル信号および音声フレーム出力イネーブル信号が生成される。
ここで、音声フレーム（ＰＣＭ信号）を出力させるための音声フレーム出力イネーブル信号は、映像用ＳＴＣ_video(33bit)に対する音声用ＳＴＣ_audio(33bit)の遅延時間（例えば、１００ｍsec.）に応じて、映像フレームを出力させるための映像フレーム出力イネーブル信号よりも遅延（例えば、１００ｍsec.）されることになる。これにより、例えば、映像出力部６の後段に設けた画質調整部１１による映像フレームの遅延時間を相殺して、画質調整部１１からの映像出力および音声出力部７からの音声出力のＡＶ同期を取るようになっている。
図１１は第２実施例の映像音声データ出力装置を示すブロック図である。
図１１と前述した図３との比較から明らかなように、本第２実施例の映像音声データ出力装置において、音声出力部８の後段には音声出力遅延用バッファ（１２）は設けられておらず、代わりに、音声出力部８に入力する音声ＰＴＳに対してオフセットを与えるための加算器２２が設けられている。
本第２実施例の映像音声データ出力装置では、画質調整部１１による映像出力の遅延を、加算器２２により音声出力部８に入力する音声ＰＴＳにオフセットを与える。これにより音声出力部８からの音声出力を遅延して出力させ、画質調整部１１からの映像出力との同期を取る。
すなわち、映像出力部６および音声出力部８は、映像および音声の各フレームデータに対応するＰＴＳ時刻とＳＴＣ時刻とを比較し、ＳＴＣ時刻がＰＴＳ時刻に到達した時に、対応するフレームデータを出力するようになっている。そこで、映像出力部６にはそのままＰＴＳを供給し、音声出力部８に対してのみ加算器２２によりオフセット（正のオフセット）を与えたＰＴＳを供給して、音声出力部８からの音声出力と画質調整部１１からの映像出力とのＡＶ同期を取るようになっている。
なお、本第２実施例の映像音声データ出力装置においても、ＰＴＳ（音声用ＰＴＳ）にオフセットを与えて音声出力部８からの音声出力を遅延させるために、例えば、音声ストリーム用バッファ７１１の容量を、音声出力の遅延時間（映像出力の遅延時間）に応じて増大する。ただし、この音声ストリーム用バッファ７１１の容量増大は、音声デコーダ７によりデコードされる前の圧縮された音声ストリームであるため、前述した図３における音声出力遅延用バッファ１２の容量増大よりも十分に小さくすることができるのは前述した通りである。
図１２は図１１に示す映像音声データ出力装置の動作を説明するためのタイミング図であり、映像出力部６からの映像出力と画質調整部１１からの映像出力との間に処理遅延として１００ｍsec.のオフセットがある場合を示している。
図１２に示されように、映像出力部６からの映像出力と画質調整部１１からの画質調整後の映像出力との間の１００ｍsec.のオフセットは、音声出力部８に入力するＰＴＳ（音声用ＰＴＳ）にオフセットを与えて、例えば、３００の位置で本来の２００の位置の音声フレームを出力させることでＡＶ同期を取るようになっている。
図１３は図１１に示す映像音声データ出力装置におけるＡＶ出力タイミング生成回路の例を示すブロック図である。ここで、図１３に示すＡＶ出力タイミング生成回路１０ｂは、図１１における映像ＰＴＳ用バッファ５２２および映像出力部６、並びに、音声ＰＴＳ用バッファ７２２，加算器２２および音声出力部８に相当する。
図１３と前述した図６との比較から明らかなように、本第２実施例の映像音声データ出力装置では、音声フレーム出力イネーブル信号を生成するためにＦＩＦＯとＤフリップフロップとの間にオフセットを加算する加算器２２を追加するようになっている。
すなわち、加算器２２により音声ＰＴＳにオフセットを加えることで、映像フレーム出力イネーブル信号に対して音声フレーム出力イネーブル信号を遅延させ、画質調整部１１から出力される映像フレームおよび音声出力部７からの音声出力のＡＶ同期を取るようになっている。
このように、上述した第１および第２実施例によれば、音声出力遅延用バッファ（１２）を使用することなく、画質調整部１１による遅延時間分だけ音声出力を遅らせてＡＶ同期を取ることができる。
また、音声出力部８の後段に音声遅延用バッファ１２を用いる場合、音声遅延用バッファ１２に対する音声データの入出力を行うためのデータ転送のトラフィックが必要であったが、このトラフィックも削除することができ、消費電力を削減することも可能になる。
ここで、音声デコーダ７の出力をバッファリングしないで、直接音声出力部８に供給することも考えられるが、映像処理側で何らかのエラーが起こった場合でもＡＶ同期を保つために音声データのスキップ処理やリピート処理が必要となるため、音声デコーダ７の出力のバッファリングはある程度必要となる。
また、画質調整のためのオフセット時間は、画質調整の処理時間が決まれば一意に決めることができ、動作処理中に変動するものではない。ただし、後述するように、画像サイズによって処理時間が変化するような場合は、オフセット値はその画像サイズに応じた値となる。
このとき、放送中に画像サイズの変化が起こるのであれば、放送中に映像出力のタイミングがずれるのは許されないので、オフセット時間は処理時間の一番長い時間に設定する。そして、画質調整時間がオフセットに満たない場合の画像サイズを処理する場合、映像データもオフセット時間になるまで遅延させることになる。これも音声出力を遅延させたように、遅延バッファを用いるのではなく、映像出力に与えるＳＴＣ時刻かＰＴＳ時刻を調整することで実現することができる。
さらに、音声出力の後段にサラウンド処理等による遅延が見込まれる場合は、その固定時間ｔを加味して音声出力に与えるＳＴＣ時刻またはＰＴＳ時刻を（offset-ｔ）時間だけ調整することになる。
以下、これらの実施例を、図面を参照して詳述する。
図１４は第３実施例の映像音声データ出力装置を示すブロック図であり、また、図１５は第４実施例の映像音声データ出力装置を示すブロック図である。この第３および第４実施例は、画像サイズによって処理時間が変化する場合の調整機能を有する映像音声データ出力装置の例を示すものである。
ここで、図１４に示す第３実施例の映像音声データ出力装置は、映像出力部６および音声出力部８に供給するＳＴＣを制御するものであり、また、図１５に示す第４実施例の映像音声データ出力装置は、映像出力部６および音声出力部８に供給するＰＴＳを制御するものである。
まず、画質調整に要する最大時間をオフセットとする。具体的に、画質調整に要する最大時間は、テレビ放送受信機が想定している受信ストリームの内、その画像の最大サイズ（例えば、ハイビジョン放送の１９２０×１０８０）から処理時間を算出して決める。
ところで、テレビ放送では、例えば、ＨＤ（High Definition）の素材や、ＳＤ（Standard Definition）の素材など様々な画像サイズのデータが放送されるので、その画像サイズによって画質調整時間も変化する。
図１４に示されるように、第３実施例の映像音声データ出力装置は、前述した図７の加算器２１と同様に、加算器２５により音声出力部８に入力するＳＴＣにオフセットを与え、音声出力部８からの音声出力を遅延することで画質調整部１１からの映像出力とのＡＶ同期を取る。さらに、加算器２４により、映像出力部６に入力するＳＴＣにオフセット（offset-α）を与えるようになっている。
ここで、参照符号２３はα生成部を示し、映像フレームデータ用バッファ５２１を参照してαの値を調整するようになっている。なお、αの値は、最大画像サイズの場合には０となり、最大画像サイズでの処理時間と比較した場合の差分時間で、次に出力するフレームの画像サイズによって変化する値となる。
すなわち、映像出力部６に入力するＳＴＣに加えるoffset-αにより、表示画像がＨＤ素材（最大画像サイズ）のときの画質調整部１１での長い処理時間と、表示画像がＳＤ素材のときの画質調整部１１での短い処理時間を、αを変化させることで調整する。そして、表示画像のサイズに関わらず、画質調整部１１からの映像出力と音声出力部８からの音声出力とのＡＶ同期を取るようになっている。
図１５に示されるように、第４実施例の映像音声データ出力装置は、前述した図１１の加算器２２と同様に、加算器２８により音声出力部８に入力するＰＴＳにオフセットを与え、音声出力部８からの音声出力を遅延することで画質調整部１１からの映像出力とのＡＶ同期を取るようになっている。さらに、加算器２７により、映像出力部６に入力するＰＴＳにオフセット（β）を与えるようになっている。
ここで、参照符号２６はβ生成部を示し、映像フレームデータ用バッファ５２１を参照してβの値を調整するようになっている。
すなわち、映像出力部６に入力するＰＴＳに加えるβにより、表示画像がＨＤ素材のときの画質調整部１１での長い処理時間と、表示画像がＳＤ素材のときの画質調整部１１での短い処理時間を、βを変化させることで調整する。そして、表示画像のサイズに関わらず、画質調整部１１からの映像出力と音声出力部８からの音声出力とのＡＶ同期を取るようになっている。
図１６は第５実施例の映像音声データ出力装置を示すブロック図であり、また、図１７は第６実施例の映像音声データ出力装置を示すブロック図である。この第５および第６実施例は、サラウンド処理によって音声出力が遅れる場合の調整機能を有する映像音声データ出力装置の例を示すものである。
ここで、図１６に示す第５実施例の映像音声データ出力装置は、映像出力部６および音声出力部８に供給するＳＴＣを制御するものであり、また、図１７に示す第６実施例の映像音声データ出力装置は、映像出力部６および音声出力部８に供給するＰＴＳを制御するものである。
ところで、例えば、音声出力部８の後段にサラウンド処理部１３を設けて音声出力のサラウンド処理を行う場合、そのサラウンド処理に要する時間をｔとすると、音声出力部８に入力するＳＴＣの調整時間をoffsetから（offset-ｔ）に変更すれば、サラウンド処理時間も考慮した同期調整が可能となる。
図１６に示されるように、第５実施例の映像音声データ出力装置において、加算器２９は、図７における加算器２１に相当し、また、加算器３０は、画質調整部１１の処理時間を調整するオフセット（offset）とサラウンド処理部１３における処理時間を調整するｔとを加算する。ここで、参照符号３１は、ｔ生成部を示し、サラウンド処理部１３での処理時間に対応するｔの値を生成する。
図１７に示されるように、第６実施例の映像音声データ出力装置において、加算器３２は、図１１における加算器２２に相当し、また、加算器３３は、画質調整部１１の処理時間を調整するオフセット（offset）とサラウンド処理部１３における処理時間を調整するｔとを加算する。ここで、参照符号３４は、ｔ生成部を示し、サラウンド処理部１３での処理時間に対応するｔの値を生成する。
これら第５および第６実施例において、サラウンド処理が機器（デジタルテレビ受信機）内部で行われる場合には、機器を設計した時点で音声出力の遅延時間（ｔ）を設定し、また、機器の外部で行われるのであれば、サラウンド処理装置を接続するユーザが設定できるようにする。
すなわち、例えば、サラウンド処理部１３がサラウンドアンプ等のデジタルテレビ放送受信機の外部に設けられる場合、そのサラウンドアンプ（１３）による音声出力の遅延を、デジタルテレビ放送受信機（機器）に設けたｔ生成部３１または３４により適切な値に設定する。これは、例えば、デジタルテレビ放送受信機に対して、ユーザがｔを設定できるように設定メニューを持たせ、設定したｔを内部保持しておくメモリまたはレジスタを設けることにより実現される。
図１８は第７実施例の映像音声データ出力装置を示すブロック図であり、ソフト（プログラム）により実現する場合を示すものであり、ＰＴＳ時刻調整を行う場合を示している。これは、ＰＴＳ時刻調整は、参照するＰＴＳ値を更新するタイミングで値を書き換えればよく、プログラムにより実現可能なものである。
図１８に示されるように、第７実施例の映像音声データ出力装置において、加算器３５は、映像出力部６に供給される映像ＰＴＳに対して映像オフセットoffset_vを加算するものであり、また、加算器３５は、音声出力部８に供給される音声ＰＴＳに対して音声オフセットoffset_aを加算するものである。そして、これら映像オフセットoffset_vおよび音声オフセットoffset_aの加算がプログラムにより制御される。
なお、映像オフセットoffset_vおよび音声オフセットoffset_aはメモリ上に保持され、プログラムによりアクセス可能なものとなっている。また、映像音声出力のためのＰＴＳ情報も、ＦＩＦＯもしくはメモリ上に保持され、プログラムによって読み出し可能となっている。そして、このプログラムは、例えば、映像音声データ出力装置が適用されるデジタルテレビ放送受信機に設けられたプロセッサ（コンピュータ）により実行されることになる。
図１９は図１８の第７実施例の映像音声データ出力装置におけるＰＴＳ時刻調整による映像出力の処理を説明するためのフローチャートである。
ＰＴＳ時刻調整による映像出力の処理が開始すると、ステップＳＴ１０において、フレーム（映像フレーム）Ｆｉの出力時刻ＰＴＳｉから調整出力時刻ＰＴＳ_outを算出してステップＳＴ１１に進む。すなわち、調整出力時刻ＰＴＳ_outは、ＰＴＳ_out＝ＰＴＳｉ＋offset_vにより算出される。
次に、ステップＳＴ１１において、出力設定タイミングを待ち、さらに、ステップＳＴ１２に進んで、出力を停止するかどうかを判別する。ステップＳＴ１２において、出力を停止しないと判別されると、ステップＳＴ１３に進んでＳＴＣを取得し、ステップＳＴ１４において、（ＳＴＣ−ＰＴＳ_out）が零よりも大きいかを判別する。ステップＳＴ１４において、ＳＴＣ−ＰＴＳ_out）≧０が成り立つ、すなわち、ＳＴＣ時刻がＰＴＳ_out時刻に到達していると判別されると、ステップＳＴ１６に進んで、フレームＦｉを出力して（出力イネーブルとして）、ステップＳＴ１７に進む。
ステップＳＴ１４において、ＳＴＣ−ＰＴＳ_out）≧０が成り立たない、すなわち、ＳＴＣ時刻がＰＴＳ_out時刻に到達していないと判別されると、ステップＳＴ１５に進んで、フレームＦi-1を再出力し（出力イネーブルとし）、ステップＳＴ１１に戻って同様の処理を繰り返す。
ステップＳＴ１７では、フレームＦi-1および出力時刻ＰＴＳi-1の情報を開放し、さらに、ステップＳＴ１８に進んで、ｉを１つインクリメント（ｉ＝ｉ＋１）してステップＳＴ１０に戻り、同様の処理を繰り返す。すなわち、次の映像フレームに関する処理を行う。
そして、上述したステップＳＴ１２において、出力を停止すると判別されると、ステップＳＴ１９に進んで出力を停止して処理を終了する。
このように、映像出力の場合、各出力フレームのＰＴＳ時刻にoffset_vを加算した出力時刻によって出力制御が行われる。このとき、映像フレームの出力は離散的であるため、各フレームで調整したＰＴＳとＳＴＣとの比較を行いながら各フレーム出力のタイミングを取る。なお、offset_vの値は、例えば、前述した図１５の第４実施例における画像サイズによって処理時間が変化する場合の調整が行われる。
図２０は図１８の第７実施例の映像音声データ出力装置におけるＰＴＳ時刻調整による音声出力の処理を説明するためのフローチャートである。
ＰＴＳ時刻調整による音声出力の処理が開始すると、ステップＳＴ２０において、フレーム（音声フレーム：ＰＣＭデータ）Ｆｉの出力時刻ＰＴＳｉから調整出力時刻ＰＴＳ_outを算出してステップＳＴ２１に進む。すなわち、調整出力時刻ＰＴＳ_outは、ＰＴＳ_out＝ＰＴＳｉ＋offset_aにより算出する。
次に、ステップＳＴ２１において、ＳＴＣ時刻がＰＴＳ_out時刻に到達しているタイミングを待ち、そして、ステップＳＴ２２に進んで、フレームＦｉを出力する。すなわち、フレームＦｉを出力可能に設定する。
さらに、ステップＳＴ２３に進んで、ｉを１つインクリメント（ｉ＝ｉ＋１）してステップＳＴ２４に進む。ステップＳＴ２４では、フレームＦｉの出力時刻ＰＴＳｉから調整出力時刻ＰＴＳ_outを算出する。すなわち、調整出力時刻ＰＴＳ_outは、ＰＴＳ_out＝ＰＴＳｉ＋offset_aにより算出される。
そして、ステップＳＴ２５に進んで、連続してフレームＦｉが出力され、さらに、ステップＳＴ２６に進んで、フレームＦi-1の出力完了を待つ。そして、フレームＦi-1の出力が完了すると連続してフレームＦｉの出力が開始され、ステップＳＴ２７に進む。
ステップＳＴ２７において、出力を停止しないと判別されると、ステップＳＴ２８に進んでＳＴＣを取得し、ステップＳＴ２９において、ＳＴＣがＰＴＳ_outから許容範囲内にあるかどうかがを判別する。
ステップＳＴ２９において、ＳＴＣがＰＴＳ_outから許容範囲内にないと判別されると、ステップＳＴ３０に進んで、音声データのスキップまたはリピート処理を行い、ステップＳＴ３１に進む。また、ステップＳＴ２９において、ＳＴＣがＰＴＳ_outから許容範囲内にあると判別されると、そのままステップＳＴ３１に進む。
ステップＳＴ３１において、フレームＦi-1および出力時刻ＰＴＳi-1の情報を解放して、ステップＳＴ２３に戻り、同様の処理を繰り返す。
そして、上述したステップＳＴ２７において、出力を停止すると判別されると、ステップＳＴ３２に進んで出力を停止して処理を終了する。
このように、音声出力の場合、各出力フレームのＰＴＳ時刻にoffset_aを加算した出力時刻によって出力制御が行われる。このとき、音声フレーム（ＰＣＭデータ）の出力は連続的であるため、フレーム単位で調整したＰＴＳとＳＴＣとの比較を行いながら各フレーム出力のタイミングを取ると、音声が途切れたりするため、その出力の時刻調整はフレームではなくデータ単位で行う必要がある。そのため、調整したＰＴＳとＳＴＣとの比較は、音声データがＳＴＣと同期を取って出力されているか否かの評価として使用し、それが許容範囲を超えていた場合に、データ単位の調整を行うように制御する。
上述したように、各実施例によれば、画質調整やサラウンド処理等によってＡＶ同期調整が必要になった場合、映像と音声を同期させるためのシステム時間（ＳＴＣ）やタイムスタンプ（ＰＴＳ）を調整することで出力遅延用バッファ等を使用することなくＡＶ同期を取ることができる。これにより、遅延バッファのメモリ回路を削減し、また、遅延バッファの入出力に発生していたデータ転送のトラフィックを抑えることが可能になる。

Claims (11)

  1. 入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離する分離手段と、
    前記映像ストリーム信号をデコードして、映像データを生成する映像デコーダと、
    前記音声ストリーム信号をデコードして、音声データを生成する音声デコーダと、
    前記システムクロックに同期して前記映像データを出力する映像出力部と、
    前記システムクロックに同期して前記音声データを出力する音声出力部と、
    前記映像出力部から出力された映像フレームを加工する映像調整手段と、
    前記映像調整手段で前記映像フレームを加工する時間に応じて、前記音声出力部に入力される前記システムクロックを遅延させる音声出力調整部と、
    を有することを特徴とする映像音声データ出力装置。
  2. 入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離する分離手段と、
    前記映像ストリーム信号をデコードして、映像データを生成する映像デコーダと、
    前記音声ストリーム信号をデコードして、音声データおよび音声タイムスタンプ信号を生成する音声デコーダと、
    前記システムクロックに同期して前記映像データを出力する映像出力部と、
    前記システムクロックおよび前記音声タイムスタンプ信号に同期して前記音声データを出力する音声出力部と、
    前記映像出力部から出力された映像フレームを加工する映像調整手段と、
    前記映像調整手段で前記映像フレームを加工する時間に応じて、前記音声出力部に入力される前記音声タイムスタンプ信号を遅延させる音声出力調整部と、
    を有することを特徴とする映像音声データ出力装置。
  3. 請求項１または２に記載の映像音声データ出力装置において、
    前記分離手段は、前記入力信号から分離した時刻同期データから前記システムクロックを生成するシステムクロック生成部をさらに含むこと特徴とする映像音声データ出力装置。
  4. 請求項１乃至３のいずれか１項に記載の映像音声データ出力装置において、さらに、
    前記分離手段および前記映像デコーダの間に設けられた映像用バッファと、
    前記分離手段および前記音声デコーダの間に設けられた音声用バッファと、を備え、
    前記音声用バッファは、前記映像用バッファによる前記映像ストリームのバッファ時間に加えて、前記音声出力調整部による前記音声データの出力タイミングの遅延に対応した時間だけの前記音声ストリーム信号をバッファできる容量を有することを特徴とする映像音声データ出力装置。
  5. 請求項１乃至４のいずれか１項に記載の映像音声データ出力装置において、さらに、
    前記音声出力部から出力された音声出力を加工する音声調整手段と、
    前記音声調整手段で前記音声出力を加工する時間に応じて、前記映像出力部に入力される前記システムクロックを遅延させる映像出力調整部と、を有することを特徴とする映像音声データ出力装置。
  6. 請求項１乃至４のいずれか１項に記載の映像音声データ出力装置において、
    前記映像デコーダは、前記映像ストリーム信号をデコードして、前記映像データと共に映像タイムスタンプ信号を生成し、
    前記映像出力部は、前記システムクロックおよび前記映像タイムスタンプ信号に同期して前記音声データを出力し、
    前記映像音声データ出力装置は、さらに、
    前記音声出力部から出力された音声出力を加工する音声調整手段と、
    前記音声調整手段で前記音声出力を加工する時間に応じて、前記映像出力部に入力される前記映像タイムスタンプ信号を遅延させる映像出力調整部と、を有することを特徴とする映像音声データ出力装置。
  7. 請求項１乃至６のいずれか１項に記載の映像音声データ出力装置を備えたことを特徴とするデジタルテレビ放送受信機。
  8. 請求項７に記載のデジタルテレビ放送受信機において、
    前記入力信号は、ＴＳストリーム信号であり、
    前記分離手段は、ＴＳデマルチプレクサであることを特徴とするデジタルテレビ放送受信機。
  9. 入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離する工程と、
    分離された前記映像ストリーム信号をデコードして、映像データを生成する工程と、
    分離された前記音声ストリーム信号をデコードして、音声データを生成する工程と、
    分離された前記システムクロックに同期して前記映像データを出力する工程と、
    出力された前記映像データを加工する工程と、
    前記映像データを加工する時間に応じて、前記システムクロックを遅延させ、前記音声データの出力タイミングを調整する工程と、
    を有することを特徴とする映像音声データ出力方法。
  10. 入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離する工程と、
    分離された前記映像ストリーム信号をデコードして、映像データを生成する工程と、
    分離された前記音声ストリーム信号をデコードして、音声データとタイムスタンプ信号を生成する工程と、
    出力された前記映像データを加工する工程と、
    前記映像データを加工する時間に応じて、前記タイムスタンプ信号を遅延させ、前記音声データの出力タイミングを調整する工程と、
    を有することを特徴とする映像音声データ出力方法。
  11. コンピュータに、
    入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離させる手順と、
    分離された前記映像ストリーム信号をデコードして、映像データを生成させる手順と、
    分離された前記音声ストリーム信号をデコードして、音声データとタイムスタンプ信号を生成させる手順と、
    出力された前記映像データを加工させる手順と、
    前記映像データを加工する時間に応じて、前記タイムスタンプ信号を遅延させ、前記音声データの出力タイミングを調整させる手順と、
    を実行させることを特徴とする映像音声データ出力プログラム。
JP2010517641A 2008-06-26 2008-06-26 映像音声データ出力装置および映像音声データ出力方法 Expired - Fee Related JP5212473B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2008/061649 WO2009157078A1 (ja) 2008-06-26 2008-06-26 映像音声データ出力装置および映像音声データ出力方法

Publications (2)

Publication Number Publication Date
JPWO2009157078A1 true JPWO2009157078A1 (ja) 2011-12-01
JP5212473B2 JP5212473B2 (ja) 2013-06-19

Family

ID=41444155

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010517641A Expired - Fee Related JP5212473B2 (ja) 2008-06-26 2008-06-26 映像音声データ出力装置および映像音声データ出力方法

Country Status (3)

Country Link
US (1) US8842218B2 (ja)
JP (1) JP5212473B2 (ja)
WO (1) WO2009157078A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5778478B2 (ja) * 2011-05-23 2015-09-16 ルネサスエレクトロニクス株式会社 データ処理システム
KR20130101629A (ko) * 2012-02-16 2013-09-16 삼성전자주식회사 보안 실행 환경 지원 휴대단말에서 컨텐츠 출력 방법 및 장치
JP5903924B2 (ja) * 2012-02-17 2016-04-13 ソニー株式会社 受信装置および字幕処理方法
JP6313704B2 (ja) * 2012-06-22 2018-04-18 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 受信装置およびその同期処理方法
WO2013190787A1 (ja) * 2012-06-22 2013-12-27 ソニー株式会社 受信装置およびその同期処理方法
DE112013005221T5 (de) * 2012-10-30 2015-08-20 Mitsubishi Electric Corporation Audio/Video-Reproduktionssystem, Video-Anzeigevorrichtung und Audio-Ausgabevorrichtung
JP6275506B2 (ja) 2014-02-21 2018-02-07 ルネサスエレクトロニクス株式会社 コンテンツ出力装置
US10021438B2 (en) 2015-12-09 2018-07-10 Comcast Cable Communications, Llc Synchronizing playback of segmented video content across multiple video playback devices
US10979785B2 (en) * 2017-01-20 2021-04-13 Hanwha Techwin Co., Ltd. Media playback apparatus and method for synchronously reproducing video and audio on a web browser
CN112449229B (zh) * 2019-09-04 2022-01-28 海信视像科技股份有限公司 一种音画同步处理方法及显示设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06237443A (ja) 1991-10-11 1994-08-23 Fujitsu Ltd 音声・動画像通信システム
AU668762B2 (en) 1992-10-07 1996-05-16 Nec Personal Computers, Ltd Synchronous compression and reconstruction system
JP2500579B2 (ja) * 1993-02-03 1996-05-29 日本電気株式会社 映像音声同期システム
JPH06189273A (ja) * 1992-12-21 1994-07-08 Hitachi Ltd 伝送信号再生装置ならびに信号再生装置
US5726989A (en) * 1995-11-06 1998-03-10 Stellar One Corporation Method for ensuring synchronization of MPEG-1 data carried in an MPEG-2 transport stream
JPH1188878A (ja) * 1997-09-11 1999-03-30 Matsushita Electric Ind Co Ltd 不連続トランスポートストリームパケット処理装置
JP2002344898A (ja) 2001-05-17 2002-11-29 Pioneer Electronic Corp 映像表示装置、音声調整装置及び映像音声出力装置、並びに映像音声同期方法
JP3922047B2 (ja) * 2002-02-26 2007-05-30 ソニー株式会社 データ受信装置、および受信データ処理方法、並びにコンピュータ・プログラム
JP3920125B2 (ja) * 2002-03-27 2007-05-30 三菱電機株式会社 復号装置及び復号方法
JP4186514B2 (ja) * 2002-05-29 2008-11-26 ソニー株式会社 放送受信機
JP4375313B2 (ja) 2005-09-16 2009-12-02 セイコーエプソン株式会社 画像音声出力システム、画像音声データ出力装置、音声処理プログラム、及び記録媒体

Also Published As

Publication number Publication date
US8842218B2 (en) 2014-09-23
US20110069223A1 (en) 2011-03-24
JP5212473B2 (ja) 2013-06-19
WO2009157078A1 (ja) 2009-12-30

Similar Documents

Publication Publication Date Title
JP5212473B2 (ja) 映像音声データ出力装置および映像音声データ出力方法
KR101168612B1 (ko) 디지털 방송수신기의 동기장치 및 방법
JP2002290932A (ja) デジタル放送受信装置とその制御方法
JP2006109000A (ja) オーディオビデオ同期システム及びモニター装置
JP2009272945A (ja) 同期再生装置
JP5041844B2 (ja) Ｐｃｒ補正回路
JP2008061010A (ja) 映像音声送信装置
JP2002300128A (ja) トランスポートストリームデコーダおよびそれを用いるデジタル放送受信装置
US20040013270A1 (en) Apparatus and method for converting contents
JP2007201983A (ja) 放送局同期方法、及び制御装置
JP4359024B2 (ja) 同期制御方法と装置およびそれを用いた同期再生装置およびテレビジョン受信装置
JP2001078185A (ja) 信号処理装置
JPH11205789A (ja) Ｍｐｅｇ２トランスポートストリーム伝送レート変換装 置
JP2002176643A (ja) 映像・音声復号処理における映像・音声の同期再生方式
KR100588180B1 (ko) 디지털 텔레비전 방송 수신기
JP4595653B2 (ja) 映像・音声処理装置
JP5800999B2 (ja) デジタル放送受信装置およびデジタル放送受信方法
US20060257108A1 (en) Multimedia reproduction apparatus
KR100240331B1 (ko) 디코더 시스템의 비디오/오디오 동기화 장치
JP4723715B2 (ja) マルチチャンネル表示用データ作成装置、及びマルチチャンネル表示用データ作成方法
JP4026556B2 (ja) データ伝送装置
KR20100106688A (ko) 모바일 방송수신기의 신호 동기화 장치 및 그 방법
JP3705231B2 (ja) トランスポートストリーム・スプライサー
JP3744514B2 (ja) データ伝送装置
JP2008288842A (ja) デジタル放送受信機

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121113

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130211

R150 Certificate of patent or registration of utility model

Ref document number: 5212473

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160308

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees