JP4304615B2 - データ処理装置、データ処理方法及びデータ処理プログラム - Google Patents

データ処理装置、データ処理方法及びデータ処理プログラム Download PDF

Info

Publication number
JP4304615B2
JP4304615B2 JP2004333322A JP2004333322A JP4304615B2 JP 4304615 B2 JP4304615 B2 JP 4304615B2 JP 2004333322 A JP2004333322 A JP 2004333322A JP 2004333322 A JP2004333322 A JP 2004333322A JP 4304615 B2 JP4304615 B2 JP 4304615B2
Authority
JP
Japan
Prior art keywords
time
display
video
timing
sound output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004333322A
Other languages
English (en)
Other versions
JP2006148335A (ja
Inventor
啓 片山
裕司 山口
洋文 湯地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004333322A priority Critical patent/JP4304615B2/ja
Priority to US11/274,542 priority patent/US7600240B2/en
Priority to KR1020050109450A priority patent/KR101190362B1/ko
Priority to CNB2005101254434A priority patent/CN100474934C/zh
Publication of JP2006148335A publication Critical patent/JP2006148335A/ja
Application granted granted Critical
Publication of JP4304615B2 publication Critical patent/JP4304615B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明はデータ処理装置、その方法及びプログラムに関し、例えば、ＭＰＥＧ２（Moving Picture Experts Group Layer 2）方式等に基づいてエンコードされた圧縮映像データ及び圧縮音声データをデコードすることにより映像及び音声を出力するようになされたデコード装置に適用して好適なものである。
近年この種のデコード装置として、デジタル放送受信機が普及し始めている。このようなデジタル放送受信機は、例えばユーザによりチャンネル切換操作が行われると、図４に示すような処理手順ＲＴ１Ｘに従って、映像及び音声を出力するようになされている。
すなわちデジタル放送受信機は、ユーザによりチャンネル切換操作が行われるとステップＳＰ１に移り、ＮＩＴ（Network Information Table）を受信する。このＮＩＴには、伝送路に関する物理的な情報（この場合、衛星の軌道、偏波、トランスポンダごとの周波数等）が示されている。これによりデジタル放送受信機は、このＮＩＴに基づいてチャンネル切換操作により要求された要求チャンネルに対応するトランスポンダを選択することができ、この結果この要求チャンネルに対応するトランスポートストリームを受信することができる。
次いでデジタル放送受信機はステップＳＰ２に移り、ＰＡＴ（Program Association Table）を受信する。そしてこのデジタル放送受信機はステップＳＰ３に移り、このＰＡＴに基づいて要求チャンネルに対応するＰＭＴ（Program Map Table）を受信する。
続いてこのデジタル放送受信機はステップＳＰ４に移り、かかるＰＭＴに基づいて要求チャンネルに対応するＰＩＤ（Program Identification）を認識する。この場合このＰＩＤは、要求チャンネルに対応する圧縮映像データや圧縮音声データやＰＣＲ（Program Clock Reference）データ等が含まれているパケットを識別するための識別情報に相当する。このデジタル放送受信機は、受信しているトランスポートストリームの中から、認識したＰＩＤに対応するパケットを分離することにより、かかる要求チャンネルに対応する圧縮映像データや圧縮音声データやＰＣＲデータ等をストリームとして得ることができる。
因みに以上に説明したステップＳＰ１〜ＳＰ４までの処理は、ＤＥＭＵＸ処理として広く知られているものである（特許文献１参照）。
ところでこのようにして得られたストリーム中のＰＣＲデータには、圧縮映像データや圧縮音声データをエンコードしたエンコード装置側の基準時刻が示されている。
従ってデジタル放送受信機は次のステップＳＰ５に移ると、このデジタル放送受信機において計時される基準時刻（ＳＴＣ（System Time Clock））を、かかるＰＣＲデータに示されている時刻に合わせる。これにより、このデジタル放送受信機において計時される基準時刻を、エンコード装置側の時刻と同期させることができる。
またこのストリームにおいては図５に示すように、例えば１フレーム分に相当する圧縮映像データ「Dpic(0)」、「Dpic(1)」、……ごとに、その映像を表示すべき時刻を示した表示時刻情報（ＰＴＳ（Presentation Time Stamp））が対応付けられている。同じようにしてこのストリームにおいては、例えば１フレーム分に相当する圧縮音声データ「Dframe(0)」、「Dframe(1)」、……ごとに、その音声を出力すべき時刻を示した出音時刻情報（ＰＴＳ）が対応付けられている。
かくしてこのデジタル放送受信機は、例えば、計時している基準時刻が圧縮映像データ「Dpic(0)」に対応付けられている表示時刻情報「pts(0)」と一致したときステップＳＰ６に移り、当該圧縮映像データ「Dpic(0)」をデコードした結果得られた映像データに基づく映像「Vpic(0)」を、表示部に表示する。
またこのデジタル放送受信機は、計時している基準時刻が圧縮音声データ「Dframe(0)」に対応付けられている出音時刻情報「pts(0)」と一致したときステップＳＰ７に移り、当該圧縮音声データ「Dframe(0)」をデコードした結果得られた音声データに基づく音声「Sframe(0)」を、スピーカ等を介して出力する。
このようにしてこのデジタル放送受信機は、映像「Vpic(0)」、……を表示する映像表示タイミングと、この映像「Vpic(0)」、……に対応する音声「Sframe(0)」、……を出力する出音タイミングとをある程度一致させることができる。
特開２００３−２７４３０４公報
ところで実際上このようなデジタル放送受信機は、表示部に映像を表示する際に用いる走査線の垂直方向動作について同期を取るための垂直同期信号を生成し、これに同期させるようにして映像「Vpic(0)」、……を順次表示するようになされている。
従って図５に示したような場合、例えば音声「Sframe(0)」については、その音声「Sframe(0)」を出力すべき出音時刻「pts(0)」に出力できるのにも関わらず、この音声「Sframe(0)」に対応する映像「Vpic(0)」については、その映像「Vpic(0)」を表示すべき表示時刻「pts(0)」に垂直同期信号が生成されていないのでこの映像「Vpic(0)」を表示することができず、これ以降の垂直同期信号が生成されたときにこの映像「Vpic(0)」を表示することになる。
この結果このデジタル放送受信機においては、音声「Sframe(0)」、……の出音タイミングとこの音声「Sframe(0)」、……に対応する映像「Vpic(0)」、……の映像表示タイミングとの間に最大±１／２フレームの差が出てしまうので、映像表示タイミングと出音タイミングとを精度良く一致させているとは言い難い問題があった。
この問題を回避する手法としては、映像「Vpic(0)」、……を表示させる前に、デジタル放送受信機において生成されている垂直同期信号を表示時刻情報に合わせるように調節することも考えられるが、このような調節をした場合には垂直同期信号に乱れが生じ、これにより表示される映像「Vpic(0)」、……にショックが入ってしまうので、この手法を適用するのは好ましくない。
本発明は以上の点を考慮してなされたもので、映像表示タイミングと出音タイミングとを高精度に一致させることができるデータ処理装置、その方法及びプログラムを提案しようとするものである。
かかる課題を解決するため本発明においては、映像データに対応付けられた基準時刻と映像の垂直同期信号ごとの映像データに対応付けられた表示時刻とを比較し、一致した最初のタイミングに時刻映像データのデコード処理を開始し、最初のタイミングから次の垂直同期信号が検出されるまでの表示遅延時間遅延させた表示タイミングから映像信号を表示し、さらに基準時刻と表示遅延時間とを比較し一致したときに表示遅延時間遅れた修正出音時刻に音声データをデコード処理することによって出音するようにした。
この結果、映像表示が遅延する時間だけ音声の出音も遅らせるため映像を表示するタイミングと音声を出力するタイミングとがずれることを回避できるので、すべてが基準時刻を基準にして時間のタイミングを計測しているので映像表示のタイミングと音声の出力タイミングとを高精度に一致させることができる。
上述のように本発明によれば、映像データに対応付けられた基準時刻と映像の垂直同期信号ごとの映像データに対応付けられた表示時刻とが一致した最初のタイミングに時刻映像データのデコード処理を開始し、最初のタイミングから次の垂直同期信号が検出されるまでの表示遅延時間遅延させた表示タイミングから映像信号を表示し、さらに基準時刻と表示タイミングとを比較し一致したとき、表示遅延時間遅れた修正出音時刻に音声データをデコード処理した後出音するようにしたことによって、基準時刻と表示時刻とが一致した最初のタイミングでデコード処理を行い、垂直同期信号が検出された表示タイミングで映像表示させ音声を出音させているので、デコード処理によって映像を表示するタイミングと音声を出力するタイミングとがずれることを回避でき、かくして映像表示のタイミングと音声の出力タイミングとを高精度に一致させ得るデータ処理装置を実現できる。
以下図面について、本発明の一実施の形態を詳述する。
（１）デジタル放送受信機の構成
図１において、１は全体としてデジタル放送受信機を示し、アンテナ等を介して受信したテレビ放送波から得られる入力ストリームが、ＤＥＭＵＸ処理部２内のＮＩＴ取得部３に供給される。
このＮＩＴ取得部３は、当該供給された入力ストリームからＮＩＴ（Network Information Table）を取得する。これによりデジタル放送受信機１は、当該取得したＮＩＴに基づいてユーザのチャンネル切換操作により要求された要求チャンネルに対応するトランスポンダを選択することができ、この結果この要求チャンネルに対応するトランスポートストリームを受信することができる。
この後このＤＥＭＵＸ処理部２内に設けられたＰＡＴ取得部４は、ＰＡＴ（Program Association Table）を取得する。次いでこのＤＥＭＵＸ処理部２内に設けられたＰＭＴ取得部５は、ＰＡＴ取得部４により取得されたＰＡＴに基づいて、ユーザのチャンネル切換操作により要求された要求チャンネルに対応するＰＭＴ（Program Map Table）を取得する。
そしてこのＰＭＴ取得部５は、当該取得したＰＭＴに基づいてかかる要求チャンネルに対応するＰＩＤ（Program Identification）を認識し、当該認識したＰＩＤをフィルタ部６内のＰＣＲフィルタ６Ａ、映像フィルタ６Ｂ及び音声フィルタ６Ｃのそれぞれに設定する。
これによりＰＣＲフィルタ６Ａ、映像フィルタ６Ｂ及び音声フィルタ６Ｃは、それぞれに設定されたＰＩＤに基づいて、受信されているトランスポートストリームから、かかる要求チャンネルに対応するＰＣＲデータ、圧縮映像データ及び圧縮音声データが含まれているＰＣＲパケット、映像パケット及び音声パケットを抽出することができる。
源発振クロック生成部７は、ＰＣＲフィルタ６Ａにより抽出されたＰＣＲパケット中のＰＣＲデータを基準信号として、ＳＴＣカウンタ部１０から出力される信号を位相同期させるような負帰還制御を行う。これによりこの源発振クロック生成部７は、エンコーダ装置側の基準クロック信号に同期した動作クロック信号Ｓ１を生成することができ、かくして得られた動作クロック信号Ｓ１を水平垂直同期信号発生回路８、同期信号発生回路９及びＳＴＣカウンタ部１０に対して供給する。
水平垂直同期信号発生回路８は、源発振クロック生成部７から供給される動作クロック信号Ｓ１に基づいて、走査線の垂直方向動作について同期を取るための垂直同期信号Ｓ２と、走査線の水平方向動作について同期を取るための水平同期信号Ｓ３とを生成する。そしてこの水平垂直同期信号発生回路８は、当該生成した垂直同期信号Ｓ２をラッチ回路１１に対して供給する。またこの水平垂直同期信号発生回路８は、源発振クロック生成部７から供給される動作クロック信号Ｓ１と、当該生成した垂直同期信号Ｓ２及び水平同期信号Ｓ３とを、表示処理部１２に対して供給する。
これによりこの表示処理部１２は、当該供給される動作クロック信号Ｓ１、垂直同期信号Ｓ２及び水平同期信号Ｓ３に従って、映像デコーダ部１３から供給されるデジタル映像信号Ｓ４を、後段の表示部１４に対して供給する。その結果、このデジタル映像信号Ｓ４に基づく映像が表示部１４に表示されるようになされている。
同期信号発生回路９は、源発振クロック生成部７から供給される動作クロック信号Ｓ１に基づいて出音用の同期信号Ｓ５を生成する。そしてこの同期信号発生回路９は、当該生成した同期信号Ｓ５と源発振クロック生成部７から供給される動作クロック信号Ｓ１とを、出音処理部１５に対して供給する。かくしてこの出音処理部１５は、当該供給される動作クロック信号Ｓ１及び同期信号Ｓ５に従って、音声デコーダ部１６から供給されるデジタル音声信号Ｓ６を、後段の出音部１７に対して供給する。その結果、このデジタル音声信号Ｓ６に基づく音声が出音部１７を介して出力されるようになされている。
一方、源発振クロック生成部７からの動作クロック信号Ｓ１に基づいてこのデジタル放送受信機１における基準時刻（ＳＴＣ（System Time Clock））を計時するＳＴＣカウンタ部１０は、ＰＣＲフィルタ６ＡからＰＣＲパケットが供給されると、計時している基準時刻を、供給されたＰＣＲパケット中のＰＣＲデータに示されている時刻に合わせる。これにより、このデジタル放送受信機１において計時される基準時刻を、エンコード装置側の時刻と同期させることができる。そしてこのＳＴＣカウンタ部１０は、計時している基準時刻を示した基準時刻情報Ｉ１をラッチ回路１１及び第１比較回路１８に対して供給するようになされている。
表示時刻情報抽出部１９は、映像フィルタ６Ｂにより抽出された映像パケットから、１フレームごとの圧縮映像データに対応付けられている表示時刻情報（ＰＴＳ（Presentation Time Stamp））Ｉ２を抽出し、これを第１比較回路１８及び演算回路２０に対して供給する。
この第１比較回路１８は、ＳＴＣカウンタ部１０から順次供給される基準時刻情報Ｉ１と、表示時刻情報抽出部１９から供給される表示時刻情報Ｉ２とを比較する。そしてこの第１比較回路１８は、例えば図２に示すように、当該基準時刻情報Ｉ１において示される基準時刻が、当該表示時刻情報Ｉ２において示される例えば表示時刻「pts(0)」と一致したとき、デコード処理を開始させるためのデコード処理開始命令信号Ｓ７を、映像デコーダ部１３に対して供給する。
映像デコーダ部１３は、第１比較回路１８からデコード処理開始命令信号Ｓ７が供給されると、映像フィルタ６Ｂにより抽出された映像パケットから得られる、対応する１フレーム分の圧縮映像データ「Dpic(0)」をデコード処理することによりデジタル映像信号Ｓ４を生成し、これを表示処理部１２に対して供給する。
しかしながらこの場合この表示処理部１２は、図２に示す基準時刻「pts(0)」において、水平垂直同期信号発生回路８から垂直同期信号Ｓ２が供給されていないので、これ以降の垂直同期信号Ｓ２が供給された時刻「vt(n+1)」に、映像デコーダ部１３から供給された１フレーム分のデジタル映像信号Ｓ４を表示部１４に供給する。これにより、このデジタル映像信号Ｓ４に基づく映像「Vpic(0)」を表示するタイミングが、この映像「Vpic(0)」を表示すべき表示時刻「pts(0)」よりも、所定時間ｄｔだけ遅れることになる（以下、この所定時間ｄｔを表示遅延時間と呼ぶ）。
ところで本実施の形態のラッチ回路１１は、予め、水平垂直同期信号発生回路８から垂直同期信号Ｓ２が供給された例えばタイミングＴ１で、ＳＴＣカウンタ部１０から供給された基準時刻「vt(n-1)」を示す基準時刻情報Ｉ１をラッチしている。これによりこのラッチ回路１１から演算回路２０に対しては、基準時刻「vt(n-1)」が示された基準時刻情報Ｉ１が供給されている。
そしてこの演算回路２０は、表示時刻情報抽出部１９から表示時刻「pts(0)」が示された表示時刻情報Ｉ２が供給された際、次式、
Figure 0004304615
を計算することにより表示遅延時間ｄｔを算出するようになされている。因みにこの式（１）を具体的に説明すると、圧縮映像データ「Dpic(0)」に基づく映像「Vpic(0)」を表示すべき表示時刻「pts(0)」から、それ以前に垂直同期信号Ｓ２が供給されたときの時刻「vt(n-1)」を引き算した後、その結果を垂直同期信号Ｓ２の周期時間Vtで割り算する。そしてこの割り算した結果生じた余りを、垂直同期信号Ｓ２の周期時間Vtから引き算することにより、かかる表示遅延時間ｄｔを算出するようになされている。
この演算回路２０は、このように算出した表示遅延時間ｄｔを示す表示遅延時間情報Ｉ３を、加算器２１に対して供給する。
この一方で出音時刻情報抽出部２２は、音声フィルタ６Ｃにより抽出された音声パケットから、１フレームごとの圧縮音声データに対応付けられている出音時刻情報（ＰＴＳ）Ｉ４を抽出し、これを加算器２１に対して供給する。
かくしてこの加算器２１は、出音時刻情報抽出部２２から供給された出音時刻情報Ｉ４が示す例えば出音時刻「pts(0)」に対して、演算回路２０から供給された表示遅延時間情報Ｉ３が示す表示遅延時間ｄｔを加算し、その加算結果「vt(n+1)」を示した修正出音時刻情報Ｉ５を第２比較回路２３に対して供給する。
この第２比較回路２３は、ＳＴＣカウンタ部１０から順次供給される基準時刻情報Ｉ１と、加算器２１から供給される修正出音時刻情報Ｉ５とを比較する。そしてこの第２比較回路２３は、当該基準時刻情報Ｉ１において示される基準時刻が、当該修正出音時刻情報Ｉ５において示される出音時刻「vt(n+1)」と一致したとき、デコード処理を開始させるためのデコード処理開始命令信号Ｓ８を、音声デコーダ部１６に対して供給する。
音声デコーダ部１６は、第２比較回路２３からデコード処理開始命令信号Ｓ８が供給されると、これに応じて音声フィルタ６Ｃにより抽出された音声パケットから得られる、対応する１フレーム分の圧縮音声データ「Dframe(0)」をデコード処理することによりデジタル音声信号Ｓ６を生成し、これを出音処理部１５を介して出音部１７に供給する。これにより、圧縮音声データ「Dframe(0)」に基づく音声「Sframe(0)」が、時刻「pts(0)」から表示遅延時間ｄｔだけ遅れた時刻「vt(n+1)」に出力される。
かくしてこのデジタル放送受信機１では、映像「Vpic(0)」が表示される映像表示タイミングと、この映像「Vpic(0)」に対応する音声「Sframe(0)」が出音される出音タイミングとを、高精度に一致させることができる。
またこの後もこのデジタル放送受信機１は、同じようにして、出音時刻情報抽出部２２から供給される出音時刻情報Ｉ４が示す出音時刻に対して、演算回路２０から供給される表示遅延時間情報Ｉ３が示す表示遅延時間ｄｔを加算し続ける。これによりこれ以降も、映像「Vpic(1)」、……が表示される映像表示タイミングと、それ対応する音声「Sframe(1)」、……が出音される出音タイミングとを、高精度に一致させることができる。
（２）映像音声出力処理
次に、図４との対応部分に同一符号を付して示す図３を用いて、本実施の形態による映像音声出力処理手順ＲＴ１を説明する。
上述したようにデジタル放送受信機１は、ステップＳＰ１においてＮＩＴを受信し、ステップＳＰ２においてＰＡＴを受信し、ステップＳＰ３においてＰＭＴを受信する。次いでデジタル放送受信機１はステップＳＰ４において、このＰＭＴに基づいて認識したＰＩＤを用いて、トランスポートストリームからＰＣＲパケット、映像パケット及び音声パケットを分離する。そしてデジタル放送受信機１はステップＳＰ５において、ＳＴＣカウンタ部１０により計時している基準時刻を、かかるＰＣＲパケット中のＰＣＲデータに示されている時刻に合わせる。
さらに続くステップＳＰ１１においてこのデジタル放送受信機１は、垂直同期信号Ｓ２が供給された例えばタイミングＴ１（図２）で、ＳＴＣカウンタ部１０から供給された基準時刻情報Ｉ１（「vt(n-1)」）を、ラッチ回路１１にラッチさせる。
そして次のステップＳＰ１２においてこのデジタル放送受信機１は、例えば最初にデコードする圧縮映像データ「Dpic(0)」の表示時刻情報Ｉ２（「pts(0)」）を、表示時刻情報抽出部１９によって所定時間内に抽出できたか否かを判定する。
このステップＳＰ１２において肯定結果が得られると、このことは、圧縮映像データ「Dpic(0)」に対応する表示時刻情報Ｉ２（「pts(0)」）を抽出できたことを意味しており、このときデジタル放送受信機１は次のステップＳＰ１３に進む。
そしてこのステップＳＰ１３においてデジタル放送受信機１は、抽出した表示時刻情報Ｉ２（「pts(0)」）とラッチ回路１１によりラッチした基準時刻情報Ｉ１（「vt(n-1)」）とを用いて上述の式（１）を演算回路２０に演算させることにより、表示遅延時間ｄｔを算出する。
このようにしてこのデジタル放送受信機１は、次のステップＳＰ１５において表示する映像「Vpic(0)」の表示遅延時間ｄｔを予め算出することができる。かくしてこのデジタル放送受信機１はステップＳＰ１６において、この映像「Vpic(0)」に対応する音声「Sframe(0)」を、かかる表示遅延時間ｄｔだけ遅らせて出力することができる。
またステップＳＰ１２において否定結果が得られた場合、このことは、圧縮映像データ「Dpic(0)」に対応する表示時刻情報Ｉ２（「pts(0)」）が欠落していた等の理由により、当該表示時刻情報Ｉ２（「pts(0)」）が抽出できなかったことを意味しており、このときこのデジタル放送受信機１は、表示遅延時間ｄｔを算出するステップＳＰ１３ではなくステップＳＰ１４に進む。そしてデジタル放送受信機１はこのステップＳＰ１４において、表示遅延時間ｄｔの値を例えば「０」に設定し、続くステップＳＰ１５及びＳＰ１６に進むようになされている。
（３）動作及び効果
以上の構成においてこのデジタル放送受信機１は、例えば図２に示すように、圧縮映像データ「Dpic(0)」に基づく映像「Vpic(0)」を表示すべき表示時刻「pts(0)」以後、垂直同期信号Ｓ２を所定の周期時間Vtで供給する水平垂直同期信号発生回路８から垂直同期信号Ｓ２が供給されたとき（時刻「vt(n+1)」）、かかる圧縮映像データ「Dpic(0)」に基づく映像「Vpic(0)」を表示部１４に表示するようになされている。
ここで本実施の形態の場合このデジタル放送受信機１は、圧縮映像データ「Dpic(0)」に基づく映像「Vpic(0)」を表示すべき表示時刻「pts(0)」から、表示部１４に当該映像「Vpic(0)」が実際に表示されるまでの表示遅延時間ｄｔを予め算出しておく。そしてこのデジタル放送受信機１は、圧縮音声データ「Dframe(0)」に基づく音声「Sframe(0)」を出力すべき出音時刻「pts(0)」から、算出した表示遅延時間ｄｔが経過したときに、かかる圧縮音声データ「Dframe(0)」に基づく音声「Sframe(0)」を出力するようにした。
かくしてこのデジタル放送受信機１は、映像「Vpic(0)」の表示が遅れる分だけ音声「Sframe(0)」の出力も遅らせることができ、この結果映像「Vpic(0)」を表示する映像表示タイミングと音声「Sframe(0)」を出力する出音タイミングとがずれてしまうことを回避することができる。
以上の構成によれば、圧縮映像データに基づく映像を表示すべき表示時刻から表示部１４に当該映像が表示されるまでの表示遅延時間ｄｔを算出し、圧縮音声データに基づく音声を出力すべき出音時刻から当該算出した表示遅延時間ｄｔが経過したときに、この圧縮音声データに基づく音声を出力するようにしたことにより、映像の表示が遅れる分だけ音声の出力も遅らせることができ、かくして映像を表示する映像表示タイミングと音声を出力する出音タイミングとがずれてしまうことを回避することができる。この結果、映像表示タイミングと出音タイミングとを高精度に一致させることができるデジタル放送受信機１を実現することができる。
（４）他の実施の形態
なお上述の実施の形態においては、図２に示すタイミングＴ１で基準時刻情報Ｉ１（「vt(n-1)」）をラッチ回路１１にラッチさせる場合について述べたが、本発明はこれに限らず、ＳＴＣカウンタ部１０によって計時している基準時刻がエンコーダ装置側の時刻と同期した後であって、圧縮映像データに基づく映像を表示する前であれば、水平垂直同期信号発生回路８から垂直同期信号Ｓ２が供給されるこの他のタイミングで、基準時刻情報Ｉ１をラッチ回路１１にラッチさせるようにしても良い。このような場合でも、上述した式（１）を用いることにより表示遅延時間ｄｔを算出することができる。
また上述の実施の形態においては、映像データ（「Dpic(0)」、……）に基づく映像（「Vpic(0)」、……）を表示すべき表示時刻（「pts(0)」、……）以後、映像を表示させるタイミングを示す映像表示タイミング信号（Ｓ２）を所定の周期時間（Vt）で供給する供給手段（８）から映像表示タイミング信号（Ｓ２）が供給されたとき、映像データ（「Dpic(0)」、……）に基づく映像（「Vpic(0)」、……）を表示する表示手段として、表示処理部１２及び表示部１４を適用する場合について述べたが、本発明はこれに限らずこの他種々の構成を適用することができる。
さらに上述の実施の形態においては、映像データ（「Dpic(0)」、……）に基づく映像（「Vpic(0)」、……）を表示すべき表示時刻（「pts(0)」、……）から表示手段により当該映像（「Vpic(0)」、……）が表示されるまでの表示遅延時間ｄｔを算出する算出手段として、演算回路２０を適用する場合について述べたが、本発明はこれに限らず、上述の式（１）を計算するものであればこの他種々の構成を適用することができる。
さらに上述の実施の形態においては、音声データ（「Dframe(0)」、……）に基づく音声（「Sframe(0)」、……）を出力すべき出音時刻（「pts(0)」、……）から、算出した表示遅延時間ｄｔが経過したとき、音声データ（「Dframe(0)」、……）に基づく音声（「Sframe(0)」、……）を出力する出音手段として、出音処理部１５及び出音部１７を適用する場合について述べたが、本発明はこれに限らずこの他種々の構成を適用することができる。
さらに上述の実施の形態においては、映像音声出力処理手順ＲＴ１等の本発明に係る処理を、図１に示すような各回路を用いて、ハードウェア的に実行する場合について述べたが、本発明はこれに限らず、例えばＣＰＵ（Central Processing Unit）等の制御部が、ハードディスクドライブ等の記憶部に記憶されているプログラムに従って、映像音声出力処理手順ＲＴ１等の本発明に係る処理を、ソフトウェア的に実行するようにしても良い。
本発明は、例えば、ＭＰＥＧ２方式等に基づいてエンコードされた圧縮映像データ及び圧縮音声データをデコードすることにより映像及び音声を出力するようになされたデコード装置に利用することができる。
本実施の形態におけるデジタル放送受信機の構成を示す略線図である。 映像表示タイミングと出音タイミングとを示すタイムチャート（１）である。 映像音声出力処理手順を示すフローチャートである。 従来の映像音声出力処理手順を示すフローチャートである。 映像表示タイミングと出音タイミングとを示すタイムチャート（２）である。
符号の説明
１……デジタル放送受信機、８……水平垂直同期信号発生回路、１１……ラッチ回路、１２……表示処理部、１３……映像デコーダ部、１４……表示部、１５……出音処理部、１６……音声デコーダ部、１７……出音部、１８……第１比較回路、１９……表示時刻情報抽出部、２０……演算回路、２１……加算器、２２……出音時刻情報抽出部、２３……第２比較回路、ＲＴ１……映像音声出力処理手順。

Claims (3)

  1. 映像と音声との同期再生を行うデータ処理装置において、
    上記映像に対応付けられた基準時刻を計時する計時手段と、
    上記基準時刻と、上記映像の垂直同期信号ごとの映像データに対応付けられた表示時刻とを比較する第１の比較手段と、
    上記基準時刻と上記表示時刻とが一致した最初のタイミングに上記映像データのデコード処理を開始することによって映像信号を生成するデコード処理手段と、
    上記最初のタイミングから次の上記垂直同期信号が検出されるまでの表示遅延時間を、当該最初のタイミングから垂直同期信号の時刻を引き算したその結果を当該垂直同期信号の周期時間で割り算し、その余りを当該周期時間から引き算することにより算出する表示遅延時間算出手段と、
    上記最初のタイミングから上記表示遅延時間だけ遅延された上記垂直同期信号に基づくタイミングにより上記映像信号を表示させる表示手段と、
    上記基準時刻と、上記音声を出音する出音時刻に上記表示遅延時間を加算した結果の修正出音時刻とを比較する第２の比較手段と、
    上記基準時刻と上記修正出音時刻とが一致したときに上記映像データに付加された音声データを音声デコード処理した後、上記基準時刻から上記表示遅延時間遅れた上記修正出音時刻に出音する音声出音手段と
    を具えるデータ処理装置。
  2. 映像と音声との同期再生を行うデータ処理方法において、
    上記映像に対応付けられた基準時刻を計時する計時ステップと、
    上記基準時刻と、上記映像の垂直同期信号ごとの映像データに対応付けられた表示時刻とを比較する第１の比較ステップと、
    上記基準時刻と上記表示時刻とが一致した最初のタイミングに上記映像データのデコード処理を開始することによって映像信号を生成するデコード処理ステップと、
    上記最初のタイミングから次の上記垂直同期信号が検出されるまでの表示遅延時間を、当該最初のタイミングから垂直同期信号の時刻を引き算したその結果を当該垂直同期信号の周期時間で割り算し、その余りを当該周期時間から引き算することにより算出する表示遅延時間算出ステップと、
    上記最初のタイミングから上記表示遅延時間だけ遅延された上記垂直同期信号に基づくタイミングにより上記映像信号を表示手段に表示させる表示ステップと、
    上記基準時刻と、上記音声を出音する出音時刻に上記表示遅延時間を加算した結果の修正出音時刻とを比較する第２の比較ステップと、
    上記基準時刻と上記修正出音時刻とが一致したときに上記映像データに付加された音声データを音声デコード処理した後、上記基準時刻から上記表示遅延時間遅れた上記修正出音時刻に出音する音声出音ステップと
    を有するデータ処理方法。
  3. コンピュータに対し、
    上記映像に対応付けられた基準時刻を計時する計時ステップと、
    上記基準時刻と、上記映像の垂直同期信号ごとの映像データに対応付けられた表示時刻とを比較する第１の比較ステップと、
    上記基準時刻と上記表示時刻とが一致した最初のタイミングに上記映像データのデコード処理を開始することによって映像信号を生成するデコード処理ステップと、
    上記最初のタイミングから次の上記垂直同期信号が検出されるまでの表示遅延時間を、当該最初のタイミングから垂直同期信号の時刻を引き算したその結果を当該垂直同期信号の周期時間で割り算し、その余りを当該周期時間から引き算することにより算出する表示遅延時間算出ステップと、
    上記最初のタイミングから上記表示遅延時間だけ遅延された上記垂直同期信号に基づく表示タイミングにより上記映像信号を表示手段に表示させる表示ステップと、
    上記基準時刻と、上記音声を出音する出音時刻に上記表示遅延時間を加算した結果の修正出音時刻とを比較する第２の比較ステップと、
    上記基準時刻と上記修正出音時刻とが一致したときに上記映像データに付加された音声データを音声デコード処理した後、上記基準時刻から上記表示遅延時間遅れた上記修正出音時刻に出音する音声出音ステップと
    を実行させるためのデータ処理プログラム。
JP2004333322A 2004-11-17 2004-11-17 データ処理装置、データ処理方法及びデータ処理プログラム Expired - Fee Related JP4304615B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004333322A JP4304615B2 (ja) 2004-11-17 2004-11-17 データ処理装置、データ処理方法及びデータ処理プログラム
US11/274,542 US7600240B2 (en) 2004-11-17 2005-11-15 Data processing apparatus and method
KR1020050109450A KR101190362B1 (ko) 2004-11-17 2005-11-16 데이터 처리 장치 및 방법
CNB2005101254434A CN100474934C (zh) 2004-11-17 2005-11-17 数据处理装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004333322A JP4304615B2 (ja) 2004-11-17 2004-11-17 データ処理装置、データ処理方法及びデータ処理プログラム

Publications (2)

Publication Number Publication Date
JP2006148335A JP2006148335A (ja) 2006-06-08
JP4304615B2 true JP4304615B2 (ja) 2009-07-29

Family

ID=36575903

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004333322A Expired - Fee Related JP4304615B2 (ja) 2004-11-17 2004-11-17 データ処理装置、データ処理方法及びデータ処理プログラム

Country Status (4)

Country Link
US (1) US7600240B2 (ja)
JP (1) JP4304615B2 (ja)
KR (1) KR101190362B1 (ja)
CN (1) CN100474934C (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070271335A1 (en) * 2006-05-18 2007-11-22 James Edward Bostick Electronic Conferencing System Latency Feedback
JP2008288842A (ja) * 2007-05-17 2008-11-27 Mitsubishi Electric Corp デジタル放送受信機
WO2009028038A1 (ja) * 2007-08-27 2009-03-05 Fujitsu Limited デコーダ装置、およびデコード方法
JP5178375B2 (ja) * 2008-07-30 2013-04-10 パナソニック株式会社 デジタル放送再生装置およびデジタル放送再生方法
US9052867B2 (en) 2010-07-08 2015-06-09 International Business Machines Corporation Feedback mechanism
CN110290411A (zh) * 2019-07-05 2019-09-27 四川长虹电器股份有限公司 视频播放过程中自动校正音画不同步的方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5430485A (en) 1993-09-30 1995-07-04 Thomson Consumer Electronics, Inc. Audio/video synchronization in a digital transmission system
JP2885108B2 (ja) 1994-12-28 1999-04-19 日本電気株式会社 オーディオビデオ復号化装置
JPH09205618A (ja) 1996-01-29 1997-08-05 Mitsubishi Electric Corp 動画像音声伸張再生装置および動画像音声同期制御器
US6134379A (en) * 1997-03-20 2000-10-17 Avid Technology, Inc. Method and apparatus for synchronizing devices in an audio/video system
US6005597A (en) * 1997-10-27 1999-12-21 Disney Enterprises, Inc. Method and apparatus for program selection
JP3422686B2 (ja) * 1998-06-12 2003-06-30 三菱電機株式会社 データ復号装置及びデータ復号方法
JP2001136456A (ja) 1999-11-09 2001-05-18 Hitachi Ltd デジタル放送受信装置
JP2002176643A (ja) 2000-12-06 2002-06-21 Hitachi Kokusai Electric Inc 映像・音声復号処理における映像・音声の同期再生方式
US6906755B2 (en) * 2002-01-04 2005-06-14 Microsoft Corporation Method and apparatus for synchronizing audio and video data

Also Published As

Publication number Publication date
KR101190362B1 (ko) 2012-10-11
JP2006148335A (ja) 2006-06-08
KR20060055369A (ko) 2006-05-23
CN1777292A (zh) 2006-05-24
US7600240B2 (en) 2009-10-06
CN100474934C (zh) 2009-04-01
US20060123458A1 (en) 2006-06-08

Similar Documents

Publication Publication Date Title
TWI294085B (en) Method and apparatus for synchronizing multimedia data stream
US9489980B2 (en) Video/audio synchronization apparatus and video/audio synchronization method
EP0716547B1 (en) Audio/video synchronizer
CN1901656B (zh) 视频和音频重放设备及方法、输出时刻改变设备及方法
US7656947B2 (en) Synchronization device and synchronization method in digital broadcast receiver
KR100707641B1 (ko) 디코더 장치
JP5586511B2 (ja) 同期制御装置及びプログラム
WO2017067489A1 (zh) 机顶盒音视频同步的方法及装置、存储介质
US7480315B2 (en) Method and apparatus for synchronizing clocks
JP4983923B2 (ja) デコーダ装置、およびデコード方法
TW200806050A (en) Method and system for synchronizing audio and video data signals
KR101190362B1 (ko) 데이터 처리 장치 및 방법
CN103581730A (zh) 在数字机顶盒上实现音视频同步的方法
CN108650541B (zh) 实现不同设备同步播放视频的方法和系统
US8238446B2 (en) Method and apparatus for reproducing digital broadcasting
JP2010171919A (ja) 映像表示装置
KR100864009B1 (ko) 오디오／비디오 동기화 방법
US20110064391A1 (en) Video-audio playback apparatus
KR100423129B1 (ko) 디지털 방송수신기에서의 출력 타이밍 조절방법
JP2002176643A (ja) 映像・音声復号処理における映像・音声の同期再生方式
JP2013236355A (ja) 映像表示装置
US20060257108A1 (en) Multimedia reproduction apparatus
JP2007201797A (ja) 伝送システム及び映像出力方法
JP2010141498A (ja) 映像受信装置及び映像送信装置
JP2006310916A (ja) 音声映像情報復号装置、音声映像情報復号方法、音声映像情報復号プログラム及び音声映像情報復号プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070914

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080904

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090402

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090415

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees