JPH11355263A - データ復号装置及びデータ復号方法 - Google Patents
データ復号装置及びデータ復号方法Info
- Publication number
- JPH11355263A JPH11355263A JP16464298A JP16464298A JPH11355263A JP H11355263 A JPH11355263 A JP H11355263A JP 16464298 A JP16464298 A JP 16464298A JP 16464298 A JP16464298 A JP 16464298A JP H11355263 A JPH11355263 A JP H11355263A
- Authority
- JP
- Japan
- Prior art keywords
- data
- time
- decoding
- encoded data
- decoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Time-Division Multiplex Systems (AREA)
- Television Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
Abstract
(57)【要約】
【課題】 パケット単位で複数のメディア符号化データ
が多重された多重符号化データを復号再生する際、装置
の構成や特性を考慮せずにデータ間の正確な同期を即座
に実現させる。 【解決手段】 データ復号装置２５０において画像、音
声間の正確な同期を実現するために、タイミング制御部
１２においてデータの復号終了時刻と、データ内に含ま
れる指定表示時刻との差で表されるバッファリング時間
を求め、データのバッファリングをバッファメモリ１５
において行う。画像の復号終了時刻は、データ復号装置
起動後、最初のデータを画像復号器１３が出力する際
に、画像復号器１３からタイミングパルスを発生させ、
このパルスによりシステムタイムカウンタ１１をラッチ
することで測定可能である。
が多重された多重符号化データを復号再生する際、装置
の構成や特性を考慮せずにデータ間の正確な同期を即座
に実現させる。 【解決手段】 データ復号装置２５０において画像、音
声間の正確な同期を実現するために、タイミング制御部
１２においてデータの復号終了時刻と、データ内に含ま
れる指定表示時刻との差で表されるバッファリング時間
を求め、データのバッファリングをバッファメモリ１５
において行う。画像の復号終了時刻は、データ復号装置
起動後、最初のデータを画像復号器１３が出力する際
に、画像復号器１３からタイミングパルスを発生させ、
このパルスによりシステムタイムカウンタ１１をラッチ
することで測定可能である。
Description
【０００１】
【発明の属する技術分野】この発明は、２つ以上の符号
化データが多重された多重符号化データを入力とし、当
該多重符号化データに含まれる時刻情報を元にそれぞれ
の符号化データの復号出力の同期を取るデータ復号装置
及びデータ復号方法に関するものである。
化データが多重された多重符号化データを入力とし、当
該多重符号化データに含まれる時刻情報を元にそれぞれ
の符号化データの復号出力の同期を取るデータ復号装置
及びデータ復号方法に関するものである。
【０００２】
【従来の技術】従来例として、例えば、図２０に示すよ
うな特開平９−２１４３５１号公報に示された従来のデ
ータ復号装置が挙げられる。この装置はＭＰＥＧ（Ｍｏ
ｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕ
ｐ）デコーダであり、これは画像、音声のメディアデー
タが多重された符号化データを入力とし、分離器３４に
おいてＳＣＲ（Ｓｙｓｔｅｍ Ｃｌｏｃｋ Ｒｅｆｅｒ
ｅｎｃｅ）が分離され、システム同期制御部２８に送信
される。また、分離器３４では、画像データ、音声デー
タのメディアデータも分離され、それぞれバッファ２２
ａ，２２ｂに格納される。画像復号器３２、音声復号器
３０は、それぞれバッファ２２ａ，２２ｂに格納された
画像、音声の符号化データを復号し、同時にそれぞれ表
示時刻を指定する画像ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏ
ｎ Ｔｉｍｅ Ｓｔａｍｐ）、音声ＰＴＳを分離し、シ
ステム同期制御部２８に送信する。
うな特開平９−２１４３５１号公報に示された従来のデ
ータ復号装置が挙げられる。この装置はＭＰＥＧ（Ｍｏ
ｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕ
ｐ）デコーダであり、これは画像、音声のメディアデー
タが多重された符号化データを入力とし、分離器３４に
おいてＳＣＲ（Ｓｙｓｔｅｍ Ｃｌｏｃｋ Ｒｅｆｅｒ
ｅｎｃｅ）が分離され、システム同期制御部２８に送信
される。また、分離器３４では、画像データ、音声デー
タのメディアデータも分離され、それぞれバッファ２２
ａ，２２ｂに格納される。画像復号器３２、音声復号器
３０は、それぞれバッファ２２ａ，２２ｂに格納された
画像、音声の符号化データを復号し、同時にそれぞれ表
示時刻を指定する画像ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏ
ｎ Ｔｉｍｅ Ｓｔａｍｐ）、音声ＰＴＳを分離し、シ
ステム同期制御部２８に送信する。
【０００３】システム同期制御部２８では、２つのＰＴ
Ｓの値と、ＳＣＲを元に再生したＳＳＣ（Ｓｙｓｔｅｍ
Ｓｙｎｃｈｒｏｎｏｕｓ Ｃｌｏｃｋ）の値とを用い
て復号データの出力タイミングを監視及び判定する。判
定の結果、音声の復号タイミングの遅速は音声復号器３
０に通知し、画像の復号タイミングの遅速は画像復号器
３２に通知する。
Ｓの値と、ＳＣＲを元に再生したＳＳＣ（Ｓｙｓｔｅｍ
Ｓｙｎｃｈｒｏｎｏｕｓ Ｃｌｏｃｋ）の値とを用い
て復号データの出力タイミングを監視及び判定する。判
定の結果、音声の復号タイミングの遅速は音声復号器３
０に通知し、画像の復号タイミングの遅速は画像復号器
３２に通知する。
【０００４】システム同期制御部２８における出力タイ
ミングの判定は、ＰＴＳ＋オフセット値とＳＳＣ値の比
較により行われる。両者が一致する場合には、タイミン
グが適正と判断し、ＳＳＣ値が大きい場合には復号速度
が遅いと判断し、逆に、ＳＳＣ値が小さい場合には、復
号速度が速いと判断するものである。オフセット値は、
システム同期制御部２８が保持する固定値であり、装置
の構成等により異なるため、ディップスイッチ等で変更
可能とする。
ミングの判定は、ＰＴＳ＋オフセット値とＳＳＣ値の比
較により行われる。両者が一致する場合には、タイミン
グが適正と判断し、ＳＳＣ値が大きい場合には復号速度
が遅いと判断し、逆に、ＳＳＣ値が小さい場合には、復
号速度が速いと判断するものである。オフセット値は、
システム同期制御部２８が保持する固定値であり、装置
の構成等により異なるため、ディップスイッチ等で変更
可能とする。
【０００５】また、判断結果に応じてこのオフセット値
を自動調整する場合もある。例えば、ある回数続けて音
声の復号速度が速いと判断した場合には、オフセット値
を減少させていく。
を自動調整する場合もある。例えば、ある回数続けて音
声の復号速度が速いと判断した場合には、オフセット値
を減少させていく。
【０００６】
【発明が解決しようとする課題】上記のような従来のデ
ータ復号装置では、符号化装置を変更する度に符号化装
置の特性が変化するので、オフセット値を変更する必要
があり不便であった。また、オフセット値の自動調整機
能を利用しても、正しい値への収束に時間がかかるとい
った問題点があった。
ータ復号装置では、符号化装置を変更する度に符号化装
置の特性が変化するので、オフセット値を変更する必要
があり不便であった。また、オフセット値の自動調整機
能を利用しても、正しい値への収束に時間がかかるとい
った問題点があった。
【０００７】本発明は、上記のような課題を解決するた
めになされたもので、符号化装置の特性とは無関係に即
座に正確な画像、音声等のメディア間の同期を実現しつ
つ、復号前のバッファリング時間を最小とすることを目
的とする。
めになされたもので、符号化装置の特性とは無関係に即
座に正確な画像、音声等のメディア間の同期を実現しつ
つ、復号前のバッファリング時間を最小とすることを目
的とする。
【０００８】
【課題を解決するための手段】この発明に係るデータ復
号装置は、以下の要素を有することを特徴とする。 （ａ）第１の符号化データと、第２の符号化データと、
第１の符号化データと第２の符号化データとの同期をと
るための同期情報とが多重化された多重符号化データを
入力し、第１の符号化データと第２の符号化データと同
期情報とを分離して出力する分離部、（ｂ）上記分離部
で分離された第１の符号化データを入力して記憶する第
１のバッファメモリ、（ｃ）上記分離部で分離された第
２の符号化データを入力して記憶する第２のバッファメ
モリ、（ｄ）上記第１のバッファメモリに記憶された第
１の符号化データを入力して復号し、復号したデータを
第１の復号データとして出力する第１の復号器、（ｅ）
上記第２のバッファメモリに記憶された第２の符号化デ
ータを入力して復号し、復号したデータを第２の復号デ
ータとして出力する第２の復号器、（ｆ）上記分離部で
分離された同期情報を入力し、上記第１の復号器による
第１の復号データと上記第２の復号器による第２の復号
データとが同期情報に示された同期がとられた状態で出
力されるように、上記第１のバッファメモリに上記第１
の符号化データを記憶するバッファリング時間を第１の
バッファリング時間として求め、上記第２のバッファメ
モリに上記第２の符号化データを記憶するバッファリン
グ時間を第２のバッファリング時間として求め、上記第
１のバッファメモリに記憶された上記第１の符号化デー
タの第１の復号器への出力時刻と第２のバッファメモリ
に記憶された第２の符号化データの第２の復号器への出
力時刻を制御するタイミング制御部。
号装置は、以下の要素を有することを特徴とする。 （ａ）第１の符号化データと、第２の符号化データと、
第１の符号化データと第２の符号化データとの同期をと
るための同期情報とが多重化された多重符号化データを
入力し、第１の符号化データと第２の符号化データと同
期情報とを分離して出力する分離部、（ｂ）上記分離部
で分離された第１の符号化データを入力して記憶する第
１のバッファメモリ、（ｃ）上記分離部で分離された第
２の符号化データを入力して記憶する第２のバッファメ
モリ、（ｄ）上記第１のバッファメモリに記憶された第
１の符号化データを入力して復号し、復号したデータを
第１の復号データとして出力する第１の復号器、（ｅ）
上記第２のバッファメモリに記憶された第２の符号化デ
ータを入力して復号し、復号したデータを第２の復号デ
ータとして出力する第２の復号器、（ｆ）上記分離部で
分離された同期情報を入力し、上記第１の復号器による
第１の復号データと上記第２の復号器による第２の復号
データとが同期情報に示された同期がとられた状態で出
力されるように、上記第１のバッファメモリに上記第１
の符号化データを記憶するバッファリング時間を第１の
バッファリング時間として求め、上記第２のバッファメ
モリに上記第２の符号化データを記憶するバッファリン
グ時間を第２のバッファリング時間として求め、上記第
１のバッファメモリに記憶された上記第１の符号化デー
タの第１の復号器への出力時刻と第２のバッファメモリ
に記憶された第２の符号化データの第２の復号器への出
力時刻を制御するタイミング制御部。
【０００９】上記分離部は、同期情報として第１の復号
データが出力されるべき第１の指定表示時刻と、第２の
復号データが出力されるべき第２の指定表示時刻とを分
離し、上記タイミング制御部は、第１の指定表示時刻と
第２の指定表示時刻との差の時間と、第１の復号データ
の出力時刻と第２の復号データの出力時刻との差の時間
とが一致するように、第１のバッファリング時間と第２
のバッファリング時間をそれぞれ算出することを特徴と
する。
データが出力されるべき第１の指定表示時刻と、第２の
復号データが出力されるべき第２の指定表示時刻とを分
離し、上記タイミング制御部は、第１の指定表示時刻と
第２の指定表示時刻との差の時間と、第１の復号データ
の出力時刻と第２の復号データの出力時刻との差の時間
とが一致するように、第１のバッファリング時間と第２
のバッファリング時間をそれぞれ算出することを特徴と
する。
【００１０】上記第１の復号器は、所定の単位の第１の
符号化データの復号の終了時に第１のタイミングパルス
を出力し、上記第２の復号器は、所定の単位の第２の符
号化データの復号の終了時に第２のタイミングパルスを
出力し、上記タイミング制御部は、第１と第２のタイミ
ングパルスを入力して、第１と第２の表示可能時刻をそ
れぞれ求め、上記第１の指定表示時刻と上記第１の表示
可能時刻の差を第１のバッファリング時間とし、上記第
２の指定表示時刻と上記第２の表示可能時刻の差を第２
のバッファリング時間とすることを特徴とする。
符号化データの復号の終了時に第１のタイミングパルス
を出力し、上記第２の復号器は、所定の単位の第２の符
号化データの復号の終了時に第２のタイミングパルスを
出力し、上記タイミング制御部は、第１と第２のタイミ
ングパルスを入力して、第１と第２の表示可能時刻をそ
れぞれ求め、上記第１の指定表示時刻と上記第１の表示
可能時刻の差を第１のバッファリング時間とし、上記第
２の指定表示時刻と上記第２の表示可能時刻の差を第２
のバッファリング時間とすることを特徴とする。
【００１１】上記タイミング制御部は、所定の単位の第
１の符号化データの最初の復号の終了時のタイミングパ
ルスを上記第１のタイミングパルスとして入力するとと
もに、所定の単位の第２の符号化データの最初の復号の
終了時のタイミングパルスを上記第２のタイミングパル
スとして入力することを特徴とする。
１の符号化データの最初の復号の終了時のタイミングパ
ルスを上記第１のタイミングパルスとして入力するとと
もに、所定の単位の第２の符号化データの最初の復号の
終了時のタイミングパルスを上記第２のタイミングパル
スとして入力することを特徴とする。
【００１２】上記分離部は、所定の単位毎に第１の符号
化データを識別する第１の識別子を分離して出力し、所
定の単位毎に第２の符号化データを識別する第２の識別
子を分離して出力し、上記第１の復号器は、更に、第１
のタイミングパルスとともに上記第１の識別子を出力
し、上記第２の復号器は、更に、第２のタイミングパル
スとともに上記第２の識別子を出力し、上記タイミング
制御部は、上記分離部から出力された第１の識別子と上
記第１の復号器から出力された第１の識別子とを入力し
て、第１の符号化データを識別して、その識別された第
１の符号化データ以降に復号される第１の符号化データ
の第１のバッファリング時間を算出し、上記分離部から
出力された第２の識別子と上記第２の復号器から出力さ
れた第２の識別子とを入力して、第２の符号化データを
識別して、その識別された第２の符号化データ以降に復
号される第２の符号化データの第２のバッファリング時
間を算出することを特徴とする。
化データを識別する第１の識別子を分離して出力し、所
定の単位毎に第２の符号化データを識別する第２の識別
子を分離して出力し、上記第１の復号器は、更に、第１
のタイミングパルスとともに上記第１の識別子を出力
し、上記第２の復号器は、更に、第２のタイミングパル
スとともに上記第２の識別子を出力し、上記タイミング
制御部は、上記分離部から出力された第１の識別子と上
記第１の復号器から出力された第１の識別子とを入力し
て、第１の符号化データを識別して、その識別された第
１の符号化データ以降に復号される第１の符号化データ
の第１のバッファリング時間を算出し、上記分離部から
出力された第２の識別子と上記第２の復号器から出力さ
れた第２の識別子とを入力して、第２の符号化データを
識別して、その識別された第２の符号化データ以降に復
号される第２の符号化データの第２のバッファリング時
間を算出することを特徴とする。
【００１３】上記第１と第２の識別子は、第１と第２の
符号化データに対して符号化時に所定の単位毎に割り当
てられた数値であることを特徴とする。
符号化データに対して符号化時に所定の単位毎に割り当
てられた数値であることを特徴とする。
【００１４】上記第１と第２の識別子は、第１と第２の
符号化データに対して分離部が所定の単位毎に割り当て
た数値であることを特徴とする。
符号化データに対して分離部が所定の単位毎に割り当て
た数値であることを特徴とする。
【００１５】上記タイミング制御部は、第１の符号化デ
ータに含まれるバッファ残量管理情報を用いて、第１の
符号化データの表示可能時刻を求め、上記第１の指定表
示時刻と上記第１の表示可能時刻との差を第１のバッフ
ァリング時間とすることを特徴とする。
ータに含まれるバッファ残量管理情報を用いて、第１の
符号化データの表示可能時刻を求め、上記第１の指定表
示時刻と上記第１の表示可能時刻との差を第１のバッフ
ァリング時間とすることを特徴とする。
【００１６】上記タイミング制御部は、分離部が第１の
符号化データを分離した時刻に対してバッファ残量管理
情報として示された第１の符号化データの蓄積時間と第
１の復号器が第１の符号化データの復号処理に要する遅
延時間とを加算して、上記表示可能時刻を求めることを
特徴とする。
符号化データを分離した時刻に対してバッファ残量管理
情報として示された第１の符号化データの蓄積時間と第
１の復号器が第１の符号化データの復号処理に要する遅
延時間とを加算して、上記表示可能時刻を求めることを
特徴とする。
【００１７】上記タイミング制御部は、第１のバッファ
リング時間と第２のバッファリング時間とから所定の同
一の時間を減算して新たな第１のバッファリング時間と
第２のバッファリング時間を求めることを特徴とする。
リング時間と第２のバッファリング時間とから所定の同
一の時間を減算して新たな第１のバッファリング時間と
第２のバッファリング時間を求めることを特徴とする。
【００１８】上記所定の同一の時間は、第１のバッファ
リング時間と第２のバッファリング時間のいずれか小さ
い方の時間であることを特徴とする。
リング時間と第２のバッファリング時間のいずれか小さ
い方の時間であることを特徴とする。
【００１９】上記第１の復号器及び第２の復号器は、更
に、復号した所定の単位の符号化データをいったん蓄積
してその後所定のタイミングで出力するフレームバッフ
ァを有し、それぞれ、このフレームバッファからの所定
の単位の符号化データ出力時に第１及び第２のタイミン
グパルスを出力し、上記タイミング制御部は、第１と第
２のタイミングパルスを入力して、第１と第２の表示可
能時刻をそれぞれ求め、上記第１の指定表示時刻と上記
第１の表示可能時刻との差を第１のバッファリング時間
とし、上記第２の指定表示時刻と上記第２の表示可能時
刻との差を第２のバッファリング時間とすることを特徴
とする。
に、復号した所定の単位の符号化データをいったん蓄積
してその後所定のタイミングで出力するフレームバッフ
ァを有し、それぞれ、このフレームバッファからの所定
の単位の符号化データ出力時に第１及び第２のタイミン
グパルスを出力し、上記タイミング制御部は、第１と第
２のタイミングパルスを入力して、第１と第２の表示可
能時刻をそれぞれ求め、上記第１の指定表示時刻と上記
第１の表示可能時刻との差を第１のバッファリング時間
とし、上記第２の指定表示時刻と上記第２の表示可能時
刻との差を第２のバッファリング時間とすることを特徴
とする。
【００２０】この発明に係るデータ復号方法は、以下の
工程を有することを特徴とする。 （ａ）第１の符号化データと、第２の符号化データと、
第１の符号化データと第２の符号化データとの同期をと
るための同期情報とが多重化された多重符号化データを
入力し、第１の符号化データと第２の符号化データと同
期情報とを分離して出力する分離工程、（ｂ）上記分離
工程で分離された第１の符号化データを入力して第１の
バッファメモリに記憶する工程、（ｃ）上記分離工程で
分離された第２の符号化データを入力して第２のバッフ
ァメモリに記憶する工程、（ｄ）上記第１のバッファメ
モリに記憶された第１の符号化データを入力して復号
し、復号したデータを第１の復号データとして出力する
第１の復号工程、（ｅ）上記第２のバッファメモリに記
憶された第２の符号化データを入力して復号し、復号し
たデータを第２の復号データとして出力する第２の復号
工程、（ｆ）上記分離工程で分離された同期情報を入力
し、上記第１の復号工程による第１の復号データと上記
第２の復号工程による第２の復号データとが同期情報に
示された同期がとられた状態で出力されるように、上記
第１のバッファメモリに上記第１の符号化データを記憶
するバッファリング時間を第１のバッファリング時間と
して求め、上記第２のバッファメモリに上記第２の符号
化データを記憶するバッファリング時間を第２のバッフ
ァリング時間として求め、上記第１のバッファメモリに
記憶された上記第１の符号化データの第１の復号工程へ
の出力時刻と第２のバッファメモリに記憶された第２の
符号化データの第２の復号工程への出力時刻を制御する
タイミング制御工程。
工程を有することを特徴とする。 （ａ）第１の符号化データと、第２の符号化データと、
第１の符号化データと第２の符号化データとの同期をと
るための同期情報とが多重化された多重符号化データを
入力し、第１の符号化データと第２の符号化データと同
期情報とを分離して出力する分離工程、（ｂ）上記分離
工程で分離された第１の符号化データを入力して第１の
バッファメモリに記憶する工程、（ｃ）上記分離工程で
分離された第２の符号化データを入力して第２のバッフ
ァメモリに記憶する工程、（ｄ）上記第１のバッファメ
モリに記憶された第１の符号化データを入力して復号
し、復号したデータを第１の復号データとして出力する
第１の復号工程、（ｅ）上記第２のバッファメモリに記
憶された第２の符号化データを入力して復号し、復号し
たデータを第２の復号データとして出力する第２の復号
工程、（ｆ）上記分離工程で分離された同期情報を入力
し、上記第１の復号工程による第１の復号データと上記
第２の復号工程による第２の復号データとが同期情報に
示された同期がとられた状態で出力されるように、上記
第１のバッファメモリに上記第１の符号化データを記憶
するバッファリング時間を第１のバッファリング時間と
して求め、上記第２のバッファメモリに上記第２の符号
化データを記憶するバッファリング時間を第２のバッフ
ァリング時間として求め、上記第１のバッファメモリに
記憶された上記第１の符号化データの第１の復号工程へ
の出力時刻と第２のバッファメモリに記憶された第２の
符号化データの第２の復号工程への出力時刻を制御する
タイミング制御工程。
【００２１】
【発明の実施の形態】実施の形態１．図１は、データ符
号化装置１００とデータ復号装置２００を示したシステ
ム構成図である。データ符号化装置１００は、第１のデ
ータである画像データ１１０と第２のデータである音声
データ１２０を入力する。データ符号化装置１００は、
画像データ１１０と音声データ１２０を符号化し、第１
の符号化データと第２の符号化データを生成する。更
に、データ符号化装置１００は、第１の符号化データと
第２の符号化データを多重化し、多重符号化データ３０
０を出力する。多重符号化データ３００は、データ復号
装置２００に入力される。データ復号装置２００は、多
重符号化データ３００を第１の符号化データと第２の符
号化データに分離する。第１の符号化データは復号さ
れ、第１の復号データである画像データ２１０として出
力される。第２の符号化データも復号され、第２の復号
データである音声データ２２０として出力される。
号化装置１００とデータ復号装置２００を示したシステ
ム構成図である。データ符号化装置１００は、第１のデ
ータである画像データ１１０と第２のデータである音声
データ１２０を入力する。データ符号化装置１００は、
画像データ１１０と音声データ１２０を符号化し、第１
の符号化データと第２の符号化データを生成する。更
に、データ符号化装置１００は、第１の符号化データと
第２の符号化データを多重化し、多重符号化データ３０
０を出力する。多重符号化データ３００は、データ復号
装置２００に入力される。データ復号装置２００は、多
重符号化データ３００を第１の符号化データと第２の符
号化データに分離する。第１の符号化データは復号さ
れ、第１の復号データである画像データ２１０として出
力される。第２の符号化データも復号され、第２の復号
データである音声データ２２０として出力される。
【００２２】画像データ１１０は、画像フレームＦの連
続としてデータ符号化装置１００に入力される。画像フ
レームＦの符号化に必要な時間を画像データの符号化時
間ＣＦとする。また、音声データ１２０は、音声フレー
ムＡの連続として入力される。音声フレームＡの符号化
に必要な時間を音声データの符号化時間ＣＡとする。ま
た、データ復号装置２００の画像データを復号する時間
を画像データの復号時間ＤＦとする。また、データ復号
装置２００の音声データを復号する時間を音声データの
復号時間ＤＡとする。
続としてデータ符号化装置１００に入力される。画像フ
レームＦの符号化に必要な時間を画像データの符号化時
間ＣＦとする。また、音声データ１２０は、音声フレー
ムＡの連続として入力される。音声フレームＡの符号化
に必要な時間を音声データの符号化時間ＣＡとする。ま
た、データ復号装置２００の画像データを復号する時間
を画像データの復号時間ＤＦとする。また、データ復号
装置２００の音声データを復号する時間を音声データの
復号時間ＤＡとする。
【００２３】図２，図３，図４は、横軸に時刻Ｔを示す
符号化時間と復号時間の関係を示す図である。図２，図
３，図４のいずれのケースも画像フレームＦが時刻Ｔ１
に入力され、音声フレームＡが時刻Ｔ３に入力されてい
る場合を示している。図２，図３，図４に示すように、
画像データの符号化時間ＣＦは、画像フレーム毎にそれ
ぞれ異なり、画像データの復号時間ＤＦもそれぞれ異な
る場合を示している。しかし、画像データの符号化時間
ＣＦと画像データの復号時間ＤＦを加算した合計時間は
等しいことを示している。画像フレームＦは、その成分
により画像データの符号化時間ＣＦ及び画像データの復
号時間ＤＦがフレーム毎に変化する。しかし、その画像
データの符号化時間ＣＦと画像データの復号時間ＤＦの
合計時間は一定になるように符号化及び復号を行ってい
る。一方、音声フレームＡに対する音声データの符号化
時間ＣＡと音声データの復号時間ＤＡは、それぞれどの
フレームでも全て同じである。以上のように、画像デー
タの符号化時間ＣＦと画像データの復号時間ＤＦ及び音
声データの符号化時間ＣＡと音声データの復号時間ＤＡ
には、一定の関係が存在する。
符号化時間と復号時間の関係を示す図である。図２，図
３，図４のいずれのケースも画像フレームＦが時刻Ｔ１
に入力され、音声フレームＡが時刻Ｔ３に入力されてい
る場合を示している。図２，図３，図４に示すように、
画像データの符号化時間ＣＦは、画像フレーム毎にそれ
ぞれ異なり、画像データの復号時間ＤＦもそれぞれ異な
る場合を示している。しかし、画像データの符号化時間
ＣＦと画像データの復号時間ＤＦを加算した合計時間は
等しいことを示している。画像フレームＦは、その成分
により画像データの符号化時間ＣＦ及び画像データの復
号時間ＤＦがフレーム毎に変化する。しかし、その画像
データの符号化時間ＣＦと画像データの復号時間ＤＦの
合計時間は一定になるように符号化及び復号を行ってい
る。一方、音声フレームＡに対する音声データの符号化
時間ＣＡと音声データの復号時間ＤＡは、それぞれどの
フレームでも全て同じである。以上のように、画像デー
タの符号化時間ＣＦと画像データの復号時間ＤＦ及び音
声データの符号化時間ＣＡと音声データの復号時間ＤＡ
には、一定の関係が存在する。
【００２４】図５は、画像ＰＴＳと音声ＰＴＳの関係を
示す図である。画像フレームＦが時刻Ｔ１に入力され、
音声フレームＡが時刻Ｔ３に入力された場合、その差は
Ｔ３−Ｔ１＝ΔＴとなる。データ符号化装置１００は、
画像フレームＦを符号化するに当たり、画像ＰＴＳとし
て時刻Ｔ１を用いる。また、データ符号化装置１００
は、音声フレームＡを符号化するに当たり、音声ＰＴＳ
として時刻Ｔ３を用いる。データ復号装置２００におい
ては、この画像ＰＴＳと音声ＰＴＳを用いて復号された
画像フレームＦと音声フレームＡを同期をとって出力す
る。即ち、画像フレームＦと音声フレームＡは、ΔＴだ
けの時間の差を持って出力する必要があり、この情報を
画像ＰＴＳの値（時刻Ｔ１）と音声ＰＴＳの値（時刻Ｔ
３）から検出する。即ち、データ復号装置２００は、デ
ータ符号化装置１００が入力した画像フレームＦと音声
フレームＡのタイミングと同じタイミングでデータ復号
装置２００から画像フレームＦと音声フレームＡを出力
することができる。
示す図である。画像フレームＦが時刻Ｔ１に入力され、
音声フレームＡが時刻Ｔ３に入力された場合、その差は
Ｔ３−Ｔ１＝ΔＴとなる。データ符号化装置１００は、
画像フレームＦを符号化するに当たり、画像ＰＴＳとし
て時刻Ｔ１を用いる。また、データ符号化装置１００
は、音声フレームＡを符号化するに当たり、音声ＰＴＳ
として時刻Ｔ３を用いる。データ復号装置２００におい
ては、この画像ＰＴＳと音声ＰＴＳを用いて復号された
画像フレームＦと音声フレームＡを同期をとって出力す
る。即ち、画像フレームＦと音声フレームＡは、ΔＴだ
けの時間の差を持って出力する必要があり、この情報を
画像ＰＴＳの値（時刻Ｔ１）と音声ＰＴＳの値（時刻Ｔ
３）から検出する。即ち、データ復号装置２００は、デ
ータ符号化装置１００が入力した画像フレームＦと音声
フレームＡのタイミングと同じタイミングでデータ復号
装置２００から画像フレームＦと音声フレームＡを出力
することができる。
【００２５】この実施の形態においては、図２，図３，
図４に示したような特性を持つ場合に、図５に示すよう
な画像ＰＴＳと音声ＰＴＳに同期して画像フレームＦと
音声フレームＡを正確に出力することができるようなデ
ータ復号装置を提供しようとするものである。
図４に示したような特性を持つ場合に、図５に示すよう
な画像ＰＴＳと音声ＰＴＳに同期して画像フレームＦと
音声フレームＡを正確に出力することができるようなデ
ータ復号装置を提供しようとするものである。
【００２６】図６は、この実施の形態のデータ復号装置
２５０の全体構成図である。ここでは、複数種類のメデ
ィアデータが多重された多重符号化データ３００として
画像データと音声データが多重されているものを一例と
して挙げる。これ以外にも、データ放送等で伝送される
データ等でもよいのは言うまでもない。また、２種類以
上のデータが多重されているものでもよい。
２５０の全体構成図である。ここでは、複数種類のメデ
ィアデータが多重された多重符号化データ３００として
画像データと音声データが多重されているものを一例と
して挙げる。これ以外にも、データ放送等で伝送される
データ等でもよいのは言うまでもない。また、２種類以
上のデータが多重されているものでもよい。
【００２７】図６は、２種類以上のメディア符号化デー
タがパケット単位で多重されており、更に、異種類メデ
ィア間の同期を取るための時刻情報として基準クロック
再生用時刻情報（後述するＰＣＲ）と指定表示時刻（後
述する画像ＰＴＳと音声ＰＴＳ）が含まれる多重符号化
データ３００を入力、復号するデータ復号装置２５０を
示している。パケットは、複数のフレームを有している
伝送単位である。例えば、パケットは、複数の画像フレ
ームを有している。或いは、パケットは、複数の音声フ
レームを有している。１０は多重符号化データを種類別
に分離し、更に同じく多重符号化データに多重されてい
る上記時刻情報を分離する分離部である。１５は分離し
た上記符号化データを種類別にバッファリングする複数
のバッファメモリである。１３と１４はバッファから出
力される符号化データを復号する画像復号器と音声復号
器である。１１は上記分離部で分離した時刻情報のうち
基準クロック再生用時刻情報（ＰＣＲ）により再生され
た基準クロック（ＳＴＣ）をカウントするシステムタイ
ムカウンタである。１２は上記分離部で分離された時刻
情報のうち指定表示時刻（画像ＰＴＳと音声ＰＴＳ）と
上記カウンタのカウント値である生成された基準クロッ
ク（ＳＴＣ）とを比較し、比較した結果、複数メディア
が同期して出力するようにバッファリング時間を増減さ
せるタイミング制御部である。
タがパケット単位で多重されており、更に、異種類メデ
ィア間の同期を取るための時刻情報として基準クロック
再生用時刻情報（後述するＰＣＲ）と指定表示時刻（後
述する画像ＰＴＳと音声ＰＴＳ）が含まれる多重符号化
データ３００を入力、復号するデータ復号装置２５０を
示している。パケットは、複数のフレームを有している
伝送単位である。例えば、パケットは、複数の画像フレ
ームを有している。或いは、パケットは、複数の音声フ
レームを有している。１０は多重符号化データを種類別
に分離し、更に同じく多重符号化データに多重されてい
る上記時刻情報を分離する分離部である。１５は分離し
た上記符号化データを種類別にバッファリングする複数
のバッファメモリである。１３と１４はバッファから出
力される符号化データを復号する画像復号器と音声復号
器である。１１は上記分離部で分離した時刻情報のうち
基準クロック再生用時刻情報（ＰＣＲ）により再生され
た基準クロック（ＳＴＣ）をカウントするシステムタイ
ムカウンタである。１２は上記分離部で分離された時刻
情報のうち指定表示時刻（画像ＰＴＳと音声ＰＴＳ）と
上記カウンタのカウント値である生成された基準クロッ
ク（ＳＴＣ）とを比較し、比較した結果、複数メディア
が同期して出力するようにバッファリング時間を増減さ
せるタイミング制御部である。
【００２８】上記多重符号化データ３００は、分離部１
０に入力される。分離部１０は、画像データと音声デー
タと画像ＰＴＳと音声ＰＴＳとＰＣＲ（Ｐｒｏｇｒａｍ
Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）を分離する。多重
符号化データ３００から分離された画像データ、音声デ
ータは、それぞれバッファメモリ１５に格納される。更
に、多重符号化データ３００から分離された画像ＰＴ
Ｓ、音声ＰＴＳは、タイミング制御部１２に送られる。
画像ＰＴＳ、音声ＰＴＳは、該当する画像データ、音声
データの表示時刻をそれぞれ指定するものである。同様
に、多重符号化データ３００から分離されたＰＣＲ（Ｐ
ｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）は、
システムタイムカウンタ１１に渡され、システムタイム
カウンタ１１の時間軸をデータ符号化装置１００の時間
軸と合わせる。システムタイムカウンタ１１は、基準ク
ロックのカウント値である再生ＳＴＣ（Ｓｙｓｔｅｍ
Ｔｉｍｅ Ｃｌｏｃｋ）値をタイミング制御部１２に対
し、図５に示したような所定のタイミング（Ｔ１，Ｔ
２，Ｔ３，・・・）で送出する。バッファメモリ１５の
画像データ、音声データは、タイミング制御部１２から
の画像復号開始信号、音声復号開始信号により、それぞ
れ画像復号器１３、音声復号器１４に入力され、復号出
力される。画像復号器１３、音声復号器１４は、最初の
画像フレームＦ、音声フレームＡの復号が終了した時点
でタイミングパルスをタイミング制御部１２へ出力す
る。
０に入力される。分離部１０は、画像データと音声デー
タと画像ＰＴＳと音声ＰＴＳとＰＣＲ（Ｐｒｏｇｒａｍ
Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）を分離する。多重
符号化データ３００から分離された画像データ、音声デ
ータは、それぞれバッファメモリ１５に格納される。更
に、多重符号化データ３００から分離された画像ＰＴ
Ｓ、音声ＰＴＳは、タイミング制御部１２に送られる。
画像ＰＴＳ、音声ＰＴＳは、該当する画像データ、音声
データの表示時刻をそれぞれ指定するものである。同様
に、多重符号化データ３００から分離されたＰＣＲ（Ｐ
ｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）は、
システムタイムカウンタ１１に渡され、システムタイム
カウンタ１１の時間軸をデータ符号化装置１００の時間
軸と合わせる。システムタイムカウンタ１１は、基準ク
ロックのカウント値である再生ＳＴＣ（Ｓｙｓｔｅｍ
Ｔｉｍｅ Ｃｌｏｃｋ）値をタイミング制御部１２に対
し、図５に示したような所定のタイミング（Ｔ１，Ｔ
２，Ｔ３，・・・）で送出する。バッファメモリ１５の
画像データ、音声データは、タイミング制御部１２から
の画像復号開始信号、音声復号開始信号により、それぞ
れ画像復号器１３、音声復号器１４に入力され、復号出
力される。画像復号器１３、音声復号器１４は、最初の
画像フレームＦ、音声フレームＡの復号が終了した時点
でタイミングパルスをタイミング制御部１２へ出力す
る。
【００２９】タイミング制御部１２は、画像復号器１３
と音声復号器１４から入力されるタイミングパルスによ
り画像復号器１３、音声復号器１４のそれぞれで復号が
終了する時刻である表示可能ＳＴＣ値を測定する。更
に、タイミング制御部１２は、分離部１０から入力され
る画像ＰＴＳ、音声ＰＴＳ、システムタイムカウンタ１
１〜入力される再生ＳＴＣ値と表示可能ＳＴＣ値と元
に、後述するように、バッファリング時間を算出する。
タイミング制御部１２は、算出したバッファリング時間
が経過した場合、画像復号開始信号、音声復号開始信号
をバッファメモリ１５へ出力する。タイミング制御部１
２は、画像復号開始信号、音声復号開始信号により画像
データ、音声データの復号タイミングを制御し、両デー
タの正確な同期再生を実現する。
と音声復号器１４から入力されるタイミングパルスによ
り画像復号器１３、音声復号器１４のそれぞれで復号が
終了する時刻である表示可能ＳＴＣ値を測定する。更
に、タイミング制御部１２は、分離部１０から入力され
る画像ＰＴＳ、音声ＰＴＳ、システムタイムカウンタ１
１〜入力される再生ＳＴＣ値と表示可能ＳＴＣ値と元
に、後述するように、バッファリング時間を算出する。
タイミング制御部１２は、算出したバッファリング時間
が経過した場合、画像復号開始信号、音声復号開始信号
をバッファメモリ１５へ出力する。タイミング制御部１
２は、画像復号開始信号、音声復号開始信号により画像
データ、音声データの復号タイミングを制御し、両デー
タの正確な同期再生を実現する。
【００３０】図７は、データ符号化装置１００とデータ
復号装置２５０を示すシステム構成図である。図７は、
データ符号化装置１００が画像フレームＦ１〜画像フレ
ームＦ５を順に入力する場合を示している。また、デー
タ符号化装置１００が音声フレームＡ１から音声フレー
ムＡ５を順に入力する場合を示している。データ復号装
置２５０には、前述したように、バッファメモリ１５が
設けられており、図１に示した場合と比べて画像データ
のバッファリング時間ＢＦと音声データのバッファリン
グ時間ＢＡが新たに加えられている点が特徴である。図
８は、画像フレームＦ１、音声フレームＡ１がデータ符
号化装置１００に入力され、データ復号装置２５０によ
り出力されるまでの時間経過を示す図である。図９は、
タイミング制御部１２が画像データのバッファリング時
間ＢＦと音声データのバッファリング時間ＢＡを求める
動作フローチャートである。タイミング制御部１２に入
力されるタイミングパルスは、データ復号装置２５０の
起動直後の最初の画像データ及び音声データ（即ち、画
像フレームＦ１及びＡ１）の復号が終了した時点で送出
される。タイミング制御部１２は、画像復号器１３又は
音声復号器１４からタイミングパルスを受信するのを待
ち続ける（ステップ５０）。タイミング制御部１２がタ
イミングパルスを受信すると、そのタイミングパルスが
画像復号器１３からのタイミングパルスであるか、音声
復号器１４からのタイミングパルスであるかを判断する
（ステップ５１）。タイミングパルスが画像復号器１３
からのタイミングパルスである場合には、そのタイミン
グパルスにより再生ＳＴＣをシステムタイムカウンタ１
１からラッチする。このタイミングパルスによってラッ
チした再生ＳＴＣ値が画像データの表示可能ＳＴＣ値と
なる（ステップ５２）。タイミング制御部１２に、最初
に入力された画像ＰＴＳがこの最初の画像フレームＦ１
の画像ＰＴＳであるため、当該画像ＰＴＳ−表示可能Ｓ
ＴＣ値がバッファリング時間画像データのバッファリン
グ時間ＢＦとなる（ステップ５３）。同様の方法で音声
データに関しても、バッファリング時間（ＢＡ）を算出
する（ステップ５４，５５）。画像データのバッファリ
ング時間ＢＦと音声データのバッファリング時間ＢＡの
両者が求まった時点で、バッファリング時間を求める動
作が終了する（ステップ５６）。こうして、上記表示可
能ＳＴＣ値が示す時刻とＰＴＳが示す時刻の差が画像デ
ータ、音声データそれぞれのバッファリング時間、即
ち、画像データのバッファリング時間ＢＦ、音声データ
のバッファリング時間ＢＡとなる。
復号装置２５０を示すシステム構成図である。図７は、
データ符号化装置１００が画像フレームＦ１〜画像フレ
ームＦ５を順に入力する場合を示している。また、デー
タ符号化装置１００が音声フレームＡ１から音声フレー
ムＡ５を順に入力する場合を示している。データ復号装
置２５０には、前述したように、バッファメモリ１５が
設けられており、図１に示した場合と比べて画像データ
のバッファリング時間ＢＦと音声データのバッファリン
グ時間ＢＡが新たに加えられている点が特徴である。図
８は、画像フレームＦ１、音声フレームＡ１がデータ符
号化装置１００に入力され、データ復号装置２５０によ
り出力されるまでの時間経過を示す図である。図９は、
タイミング制御部１２が画像データのバッファリング時
間ＢＦと音声データのバッファリング時間ＢＡを求める
動作フローチャートである。タイミング制御部１２に入
力されるタイミングパルスは、データ復号装置２５０の
起動直後の最初の画像データ及び音声データ（即ち、画
像フレームＦ１及びＡ１）の復号が終了した時点で送出
される。タイミング制御部１２は、画像復号器１３又は
音声復号器１４からタイミングパルスを受信するのを待
ち続ける（ステップ５０）。タイミング制御部１２がタ
イミングパルスを受信すると、そのタイミングパルスが
画像復号器１３からのタイミングパルスであるか、音声
復号器１４からのタイミングパルスであるかを判断する
（ステップ５１）。タイミングパルスが画像復号器１３
からのタイミングパルスである場合には、そのタイミン
グパルスにより再生ＳＴＣをシステムタイムカウンタ１
１からラッチする。このタイミングパルスによってラッ
チした再生ＳＴＣ値が画像データの表示可能ＳＴＣ値と
なる（ステップ５２）。タイミング制御部１２に、最初
に入力された画像ＰＴＳがこの最初の画像フレームＦ１
の画像ＰＴＳであるため、当該画像ＰＴＳ−表示可能Ｓ
ＴＣ値がバッファリング時間画像データのバッファリン
グ時間ＢＦとなる（ステップ５３）。同様の方法で音声
データに関しても、バッファリング時間（ＢＡ）を算出
する（ステップ５４，５５）。画像データのバッファリ
ング時間ＢＦと音声データのバッファリング時間ＢＡの
両者が求まった時点で、バッファリング時間を求める動
作が終了する（ステップ５６）。こうして、上記表示可
能ＳＴＣ値が示す時刻とＰＴＳが示す時刻の差が画像デ
ータ、音声データそれぞれのバッファリング時間、即
ち、画像データのバッファリング時間ＢＦ、音声データ
のバッファリング時間ＢＡとなる。
【００３１】図１０，図１１，図１２，図１３は、以上
のようにして求められた画像データのバッファリング時
間ＢＦ、音声データのバッファリング時間ＢＡを用いて
画像フレームＦ２〜画像フレームＦ５及び音声フレーム
Ａ２〜音声フレームＡ５を復号する場合の時間経過を示
す図である。タイミング制御部１２では、符号化データ
が分離部１０において分離されたタイミングから上記画
像データのバッファリング時間ＢＦ経過後に、画像復号
開始信号を画像データ用のバッファメモリ１５に対し送
出する。同様の方法で算出された音声データのバッファ
リング時間ＢＡに基づき、音声復号開始信号もタイミン
グ制御部１２から送出され、画像データと音声データが
正確に同期がとれた状態で復号出力される。図１０〜図
１３に示すように、入力時の時間差ΔＴと等しい時間差
で復号された画像データと音声データが出力されてい
る。
のようにして求められた画像データのバッファリング時
間ＢＦ、音声データのバッファリング時間ＢＡを用いて
画像フレームＦ２〜画像フレームＦ５及び音声フレーム
Ａ２〜音声フレームＡ５を復号する場合の時間経過を示
す図である。タイミング制御部１２では、符号化データ
が分離部１０において分離されたタイミングから上記画
像データのバッファリング時間ＢＦ経過後に、画像復号
開始信号を画像データ用のバッファメモリ１５に対し送
出する。同様の方法で算出された音声データのバッファ
リング時間ＢＡに基づき、音声復号開始信号もタイミン
グ制御部１２から送出され、画像データと音声データが
正確に同期がとれた状態で復号出力される。図１０〜図
１３に示すように、入力時の時間差ΔＴと等しい時間差
で復号された画像データと音声データが出力されてい
る。
【００３２】なお、前述したように、画像データの復号
処理は、可変時間処理であるのに対し、音声データや文
字データ等の復号は固定時間処理である。復号が固定時
間処理のデータに関しては、音声復号器１４からのタイ
ミングパルスにより再生ＳＴＣ値をラッチするのではな
く、分離部１０における分離のタイミングでシステムタ
イムカウンタ１１から再生ＳＴＣ値をラッチし、ラッチ
した再生ＳＴＣ値に固定値である音声復号処理遅延時間
を加算することで表示可能ＳＴＣ値を算出してもよく、
処理の簡略化が可能となる。
処理は、可変時間処理であるのに対し、音声データや文
字データ等の復号は固定時間処理である。復号が固定時
間処理のデータに関しては、音声復号器１４からのタイ
ミングパルスにより再生ＳＴＣ値をラッチするのではな
く、分離部１０における分離のタイミングでシステムタ
イムカウンタ１１から再生ＳＴＣ値をラッチし、ラッチ
した再生ＳＴＣ値に固定値である音声復号処理遅延時間
を加算することで表示可能ＳＴＣ値を算出してもよく、
処理の簡略化が可能となる。
【００３３】実施の形態２．なお、実施の形態１ではタ
イミング制御部１２における表示可能ＳＴＣ値の測定の
際に、復号器からのタイミングパルスを使用していた
が、この方法ではバッファリング時間の算出が起動直後
に１度行われるだけであるため、何らかの原因によりバ
ッファリング時間が変化した場合には、装置を起動しな
おす必要がある。そこで、表示可能ＳＴＣ値の測定を随
時行うことが可能な構成を、図１４に示す。
イミング制御部１２における表示可能ＳＴＣ値の測定の
際に、復号器からのタイミングパルスを使用していた
が、この方法ではバッファリング時間の算出が起動直後
に１度行われるだけであるため、何らかの原因によりバ
ッファリング時間が変化した場合には、装置を起動しな
おす必要がある。そこで、表示可能ＳＴＣ値の測定を随
時行うことが可能な構成を、図１４に示す。
【００３４】分離部１０において、画像の符号化データ
から画像ＰＴＳを分離する場合、その画像ＰＴＳがどの
符号化データから分離したものかを識別するための識別
（ＩＤ）も併せてタイミング制御部１２に渡す。この識
別子は、例えば、ＭＰＥＧ−２ビデオ形式の符号化デー
タの場合、ヘッダ情報内に含まれるｔｅｍｐｏｒａｌ＿
ｒｅｆｅｒｅｎｃｅである。ｔｅｍｐｏｒａｌ＿ｒｅｆ
ｅｒｅｎｃｅとは、データ符号化装置１００において、
パケット形式に符号化されたデータの各フレームに順に
サイクリックに振られた１〜１０２４までの番号をい
う。ＭＰＥＧ−２ビデオの場合、伝送順序が表示順序と
異なるデータが存在するため、データ内にｔｅｍｐｏｒ
ａｌ＿ｒｅｆｅｒｅｎｃｅと呼ばれる表示順序を示すカ
ウンタ値が含まれており、これを識別子として利用す
る。タイミング制御部１２では、この画像ＰＴＳと識別
子を併せて内部のメモリ６０に保存しておく。
から画像ＰＴＳを分離する場合、その画像ＰＴＳがどの
符号化データから分離したものかを識別するための識別
（ＩＤ）も併せてタイミング制御部１２に渡す。この識
別子は、例えば、ＭＰＥＧ−２ビデオ形式の符号化デー
タの場合、ヘッダ情報内に含まれるｔｅｍｐｏｒａｌ＿
ｒｅｆｅｒｅｎｃｅである。ｔｅｍｐｏｒａｌ＿ｒｅｆ
ｅｒｅｎｃｅとは、データ符号化装置１００において、
パケット形式に符号化されたデータの各フレームに順に
サイクリックに振られた１〜１０２４までの番号をい
う。ＭＰＥＧ−２ビデオの場合、伝送順序が表示順序と
異なるデータが存在するため、データ内にｔｅｍｐｏｒ
ａｌ＿ｒｅｆｅｒｅｎｃｅと呼ばれる表示順序を示すカ
ウンタ値が含まれており、これを識別子として利用す
る。タイミング制御部１２では、この画像ＰＴＳと識別
子を併せて内部のメモリ６０に保存しておく。
【００３５】画像復号器１３は、復号終了後、タイミン
グ制御部１２に対しタイミングパルスと当該画像データ
の識別子（ＩＤ）を渡す。タイミング制御部１２では、
この表示タイミング信号によりラッチした再生ＳＴＣ値
を表示可能ＳＴＣ値とし、識別子からそれに対応する画
像ＰＴＳを内部のメモリ６０上から獲得し、差を取るこ
とでバッファリング時間を算出する。
グ制御部１２に対しタイミングパルスと当該画像データ
の識別子（ＩＤ）を渡す。タイミング制御部１２では、
この表示タイミング信号によりラッチした再生ＳＴＣ値
を表示可能ＳＴＣ値とし、識別子からそれに対応する画
像ＰＴＳを内部のメモリ６０上から獲得し、差を取るこ
とでバッファリング時間を算出する。
【００３６】以上の処理は、毎フレーム毎に行い、次フ
レームのためのバッファリング時間を毎回更新するよう
にしても構わない。或いは、５秒単位や１０秒単位等の
一定時間おきにバッファリング時間を算出し直すように
しても構わない。
レームのためのバッファリング時間を毎回更新するよう
にしても構わない。或いは、５秒単位や１０秒単位等の
一定時間おきにバッファリング時間を算出し直すように
しても構わない。
【００３７】実施の形態３．なお、実施の形態２では、
分離部１０において、識別子として符号化データ内に含
まれるｔｅｍｐｏｒａｌ＿ｒｅｆｅｒｅｎｃｅを挙げた
が、符号化データ内に利用可能なＩＤがない場合、分離
部１０において、符号化データの処理単位毎にカウント
アップするカウント値や数値やシリアル番号等を独自に
識別子として設定し、使用してもよい。
分離部１０において、識別子として符号化データ内に含
まれるｔｅｍｐｏｒａｌ＿ｒｅｆｅｒｅｎｃｅを挙げた
が、符号化データ内に利用可能なＩＤがない場合、分離
部１０において、符号化データの処理単位毎にカウント
アップするカウント値や数値やシリアル番号等を独自に
識別子として設定し、使用してもよい。
【００３８】実施の形態４．なお、実施の形態１〜３で
は、タイミング制御部１２における表示可能ＳＴＣ値の
測定のために、復号器からのタイミングパルスを使用し
ていたが、例えば、ＭＰＥＧ−２ビデオの場合、符号化
データ内部のパラメータの１つであるＶＢＶ（Ｖｉｄｅ
ｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅｒｉｆｉｅｒ）＿ｄｅｌ
ａｙ値を後述するように使用することで、表示可能ＳＴ
Ｃ値を算出可能である。この実施の形態の構成は、図１
５に示すとおりであり、ＶＢＶ＿ｄｅｌａｙ値が符号化
データ内部に存在するため、タイミング制御部１２は、
分離部１０からは画像ＰＴＳと音声ＰＴＳのみを入力と
し、画像復号器１３と音声復号器１４からのタイミング
パルスやＩＤの入力は不要である。
は、タイミング制御部１２における表示可能ＳＴＣ値の
測定のために、復号器からのタイミングパルスを使用し
ていたが、例えば、ＭＰＥＧ−２ビデオの場合、符号化
データ内部のパラメータの１つであるＶＢＶ（Ｖｉｄｅ
ｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅｒｉｆｉｅｒ）＿ｄｅｌ
ａｙ値を後述するように使用することで、表示可能ＳＴ
Ｃ値を算出可能である。この実施の形態の構成は、図１
５に示すとおりであり、ＶＢＶ＿ｄｅｌａｙ値が符号化
データ内部に存在するため、タイミング制御部１２は、
分離部１０からは画像ＰＴＳと音声ＰＴＳのみを入力と
し、画像復号器１３と音声復号器１４からのタイミング
パルスやＩＤの入力は不要である。
【００３９】ＶＢＶ＿ｄｅｌａｙ値は、バッファの残量
を管理するための情報であり、画像復号器１３内にある
受信バッファ（図示せず）の破綻を避けるための読み出
しタイミングに使用している。図１６に示すように、デ
ータ復号装置２５０は、ＶＢＶ＿ｄｅｌａｙ値に示され
た時間だけ復号前の画像データを受信バッファ（図示せ
ず）に蓄積した後、復号を開始する。ＶＢＶ＿ｄｅｌａ
ｙ値が可変であるのに対し、復号を開始してから画像表
示までの時間は固定であり、この固定値を画像復号処理
遅延時間ＤＤとする。
を管理するための情報であり、画像復号器１３内にある
受信バッファ（図示せず）の破綻を避けるための読み出
しタイミングに使用している。図１６に示すように、デ
ータ復号装置２５０は、ＶＢＶ＿ｄｅｌａｙ値に示され
た時間だけ復号前の画像データを受信バッファ（図示せ
ず）に蓄積した後、復号を開始する。ＶＢＶ＿ｄｅｌａ
ｙ値が可変であるのに対し、復号を開始してから画像表
示までの時間は固定であり、この固定値を画像復号処理
遅延時間ＤＤとする。
【００４０】分離部１０において、画像の符号化データ
を分離したタイミングで再生ＳＴＣ値をラッチし、ラッ
チした再生ＳＴＣ値を画像分離ＳＴＣ値とした場合、画
像データの表示可能ＳＴＣ値は、以下の式で求めること
が可能である。表示可能ＳＴＣ値＝画像分離ＳＴＣ値＋
ＶＢＶ＿ｄｅｌａｙ値＋画像復号処理遅延時間
を分離したタイミングで再生ＳＴＣ値をラッチし、ラッ
チした再生ＳＴＣ値を画像分離ＳＴＣ値とした場合、画
像データの表示可能ＳＴＣ値は、以下の式で求めること
が可能である。表示可能ＳＴＣ値＝画像分離ＳＴＣ値＋
ＶＢＶ＿ｄｅｌａｙ値＋画像復号処理遅延時間
【００４１】この表示可能ＳＴＣ値と画像ＰＴＳの差を
取ることで、画像データのバッファリング時間ＢＦを算
出が可能となる。なお、ＭＰＥＧ−２ビデオ以外のフォ
ーマットにおいても同様に、固定値を加算することで復
号の総処理時間が算出可能なパラメータが符号化データ
内部に存在する場合には、そのパラメータを使用するこ
とが可能である。
取ることで、画像データのバッファリング時間ＢＦを算
出が可能となる。なお、ＭＰＥＧ−２ビデオ以外のフォ
ーマットにおいても同様に、固定値を加算することで復
号の総処理時間が算出可能なパラメータが符号化データ
内部に存在する場合には、そのパラメータを使用するこ
とが可能である。
【００４２】実施の形態５．この実施の形態は、算出し
た画像データのバッファリング時間ＢＦ、音声データの
バッファリング時間ＢＡ同士を比較し、小さい方の値を
各メディアのバッファリング時間から減じ、バッファリ
ング時間を最小にするという調整を行うものである。図
１７は、この実施の形態によりバッファリング時間が最
小となることを示す図であり、図１０と比較すると図１
７においては、画像と音声のうちバッファリング時間の
うち小さいものとして画像データのバッファリング時間
ＢＦを選択し、これを画像、音声それぞれのバッファリ
ング時間から減じるものである（ＢＦ−ＢＦ＝０，ＢＡ
−ＢＦ＝５）。データの種別が３以上になる場合は、そ
の中で最小となるものを選択し、各データのバッファリ
ング時間からこれを減じればよい。
た画像データのバッファリング時間ＢＦ、音声データの
バッファリング時間ＢＡ同士を比較し、小さい方の値を
各メディアのバッファリング時間から減じ、バッファリ
ング時間を最小にするという調整を行うものである。図
１７は、この実施の形態によりバッファリング時間が最
小となることを示す図であり、図１０と比較すると図１
７においては、画像と音声のうちバッファリング時間の
うち小さいものとして画像データのバッファリング時間
ＢＦを選択し、これを画像、音声それぞれのバッファリ
ング時間から減じるものである（ＢＦ−ＢＦ＝０，ＢＡ
−ＢＦ＝５）。データの種別が３以上になる場合は、そ
の中で最小となるものを選択し、各データのバッファリ
ング時間からこれを減じればよい。
【００４３】算出したバッファリング時間の少なくとも
いずれかが負になり、その負の値が最小値をとなった場
合にも、図１８に示すように、その負の値を減じること
で、映像、音声のバッファリング時間を延長し、正しく
メディア間の同期をとって復号出力することが可能であ
る。
いずれかが負になり、その負の値が最小値をとなった場
合にも、図１８に示すように、その負の値を減じること
で、映像、音声のバッファリング時間を延長し、正しく
メディア間の同期をとって復号出力することが可能であ
る。
【００４４】図１７に示した場合は、バッファリング時
間のうち小さいものを減じたが、小さい方のバッファリ
ング時間を引くのではなく、ある一定時間を引くように
しても構わない。
間のうち小さいものを減じたが、小さい方のバッファリ
ング時間を引くのではなく、ある一定時間を引くように
しても構わない。
【００４５】この実施の形態によれば、バッファリング
時間を最小にすることが可能である。或いは、バッファ
リング時間を少なくすることが可能である。また、この
実施の形態によれば、表示可能時刻と指定表示時刻の差
を計算しているものの、その正負に無関係であり、計算
した表示可能時刻と指定表示時刻の前後関係に直接左右
されない復号が可能である。
時間を最小にすることが可能である。或いは、バッファ
リング時間を少なくすることが可能である。また、この
実施の形態によれば、表示可能時刻と指定表示時刻の差
を計算しているものの、その正負に無関係であり、計算
した表示可能時刻と指定表示時刻の前後関係に直接左右
されない復号が可能である。
【００４６】実施の形態６．この実施の形態６では、画
像復号器１３及び音声復号器１４がそれぞれフレームバ
ッファ（図示せず）を有し、それぞれ、復号を終えた画
像データ２１０、音声データ２２０を内部のフレームバ
ッファに蓄積した後、復号タイミングとは独立した異な
る位相で出力すると共に、この出力タイミングでタイミ
ング制御部１２へタイミングパルスを出力するものであ
る。つまり、実施の形態１〜３の復号器１３，１４で
は、復号終了時にタイミングパルスをタイミング制御部
１２へ出力していたが、この実施の形態６の復号器１
３，１４では、復号タイミングとは独立した異なる位相
である復号器１３，１４内部のフレームバッファからの
出力時にタイミングパルスをタイミング制御部１２へ出
力することを特徴とする。
像復号器１３及び音声復号器１４がそれぞれフレームバ
ッファ（図示せず）を有し、それぞれ、復号を終えた画
像データ２１０、音声データ２２０を内部のフレームバ
ッファに蓄積した後、復号タイミングとは独立した異な
る位相で出力すると共に、この出力タイミングでタイミ
ング制御部１２へタイミングパルスを出力するものであ
る。つまり、実施の形態１〜３の復号器１３，１４で
は、復号終了時にタイミングパルスをタイミング制御部
１２へ出力していたが、この実施の形態６の復号器１
３，１４では、復号タイミングとは独立した異なる位相
である復号器１３，１４内部のフレームバッファからの
出力時にタイミングパルスをタイミング制御部１２へ出
力することを特徴とする。
【００４７】図１９は、この実施の形態における各画像
フレーム（Ｆ１，Ｆ２，Ｆ３，・・・）の復号タイミン
グと、フレームバッファからの出力タイミングである表
示タイミングとの関係を表すものである。復号タイミン
グと出力タイミングとの位相差はΔＴであり、エラーの
発生等により、復号タイミングにずれが生じると、位相
差ΔＴが変化する。しかし、この実施の形態の復号器１
３，１４では、フレームバッファからの出力タイミング
によりタイミングパルスを生成するので、エラーの発生
等により位相差が変化したとしても、その位相差の変化
の影響を受けず、正しくメディア間の同期をとることが
可能となる。なお、実施の形態２のところでも述べたよ
うに、音声データや文字データなどの復号は、画像デー
タの復号処理と異なり、固定時間処理であるので、音声
復号器１４からのタイミングパルスの出力を省略し、タ
イミング制御部１２は、音声復号器１４からのタイミン
グパルスにより再生ＳＴＣをラッチするのではなく、分
離部１０における分離のタイミングでシステムタイムカ
ウンタ１１から再生ＳＴＣ値をラッチし、ラッチした再
生ＳＴＣ値に固定値である音声復号処理遅延時間を加算
することで表示可能ＳＴＣ値を算出してもよい。これに
より、処理の簡略が可能となる。
フレーム（Ｆ１，Ｆ２，Ｆ３，・・・）の復号タイミン
グと、フレームバッファからの出力タイミングである表
示タイミングとの関係を表すものである。復号タイミン
グと出力タイミングとの位相差はΔＴであり、エラーの
発生等により、復号タイミングにずれが生じると、位相
差ΔＴが変化する。しかし、この実施の形態の復号器１
３，１４では、フレームバッファからの出力タイミング
によりタイミングパルスを生成するので、エラーの発生
等により位相差が変化したとしても、その位相差の変化
の影響を受けず、正しくメディア間の同期をとることが
可能となる。なお、実施の形態２のところでも述べたよ
うに、音声データや文字データなどの復号は、画像デー
タの復号処理と異なり、固定時間処理であるので、音声
復号器１４からのタイミングパルスの出力を省略し、タ
イミング制御部１２は、音声復号器１４からのタイミン
グパルスにより再生ＳＴＣをラッチするのではなく、分
離部１０における分離のタイミングでシステムタイムカ
ウンタ１１から再生ＳＴＣ値をラッチし、ラッチした再
生ＳＴＣ値に固定値である音声復号処理遅延時間を加算
することで表示可能ＳＴＣ値を算出してもよい。これに
より、処理の簡略が可能となる。
【００４８】
【発明の効果】本発明により、符号化装置の特性や構成
を意識せずに、符号化データの迅速、かつ、正確な同期
復号出力が可能となる。
を意識せずに、符号化データの迅速、かつ、正確な同期
復号出力が可能となる。
【００４９】また、バッファリング時間を最小とするこ
とが可能である。表示可能時刻と指定表示時刻の前後関
係に左右されない復号が可能である。
とが可能である。表示可能時刻と指定表示時刻の前後関
係に左右されない復号が可能である。
【図１】 データ符号化装置１００とデータ復号装置２
００を示すシステム構成図である。
００を示すシステム構成図である。
【図２】 符号化処理時間と復号処理時間を示す図であ
る。
る。
【図３】 符号化処理時間と復号処理時間を示す図であ
る。
る。
【図４】 符号化処理時間と復号処理時間を示す図であ
る。
る。
【図５】 画像フレームＦと音声フレームＡの入力時刻
と出力時刻を示す図である。
と出力時刻を示す図である。
【図６】 実施の形態１に係るデータ復号装置２５０の
構成図である。
構成図である。
【図７】 実施の形態１に係るデータ符号化装置１００
とデータ復号装置２５０を示すシステム構成図である。
とデータ復号装置２５０を示すシステム構成図である。
【図８】 最初の画像フレームＦ１と最初の音声フレー
ムＡ１が入力された場合の時間経過を示す図である。
ムＡ１が入力された場合の時間経過を示す図である。
【図９】 タイミング制御部１２の動作フローチャート
図である。
図である。
【図１０】 画像フレームＦ２と音声フレームＡ２の入
力時刻から出力時刻までの時間経過を示す図である。
力時刻から出力時刻までの時間経過を示す図である。
【図１１】 画像フレームＦ３と音声フレームＡ３の入
力時刻から出力時刻までの時間経過を示す図である。
力時刻から出力時刻までの時間経過を示す図である。
【図１２】 画像フレームＦ４と音声フレームＡ４の入
力時刻から出力時刻までの時間経過を示す図である。
力時刻から出力時刻までの時間経過を示す図である。
【図１３】 画像フレームＦ５と音声フレームＡ５の入
力時刻から出力時刻までの時間経過を示す図である。
力時刻から出力時刻までの時間経過を示す図である。
【図１４】 実施の形態２に係るデータ復号装置２５０
の構成図である。
の構成図である。
【図１５】 実施の形態４に係るデータ復号装置２５０
の構成図である。
の構成図である。
【図１６】 実施の形態４に係る表示可能ＳＴＣ値を説
明する図である。
明する図である。
【図１７】 実施の形態５に係るバッファリング時間の
調整を説明する図である。
調整を説明する図である。
【図１８】 実施の形態５に係るバッファリング時間の
調整を説明する図である。
調整を説明する図である。
【図１９】 実施の形態６に係る復号終了タイミングと
フレームバッファからの出力タイミングの関係を示す図
である。
フレームバッファからの出力タイミングの関係を示す図
である。
【図２０】 従来のデータ復号装置を示す図である。
１０ 分離部、１１ システムタイムカウンタ、１２
タイミング制御部、１３ 画像復号器、１４ 音声復号
器、１５ バッファメモリ、１００ データ符号化装
置、１１０，２１０ 画像データ、１２０，２２０ 音
声データ、２００，２５０ データ復号装置、３００
多重符号化データ、Ａ，Ａ１，Ａ２，Ａ３，Ａ４，Ａ５
音声フレーム、ＢＡ 音声データのバッファリング時
間、ＢＦ画像データのバッファリング時間、ＣＡ，ＣＡ
１，ＣＡ２，ＣＡ３，ＣＡ４，ＣＡ５ 音声データの符
号化時間、ＣＦ，ＣＦ１，ＣＦ２，ＣＦ３，ＣＦ４，Ｃ
Ｆ５ 画像データの符号化時間、ＤＡ，ＤＡ１，ＤＡ
２，ＤＡ３，ＤＡ４，ＤＡ５音声データの復号時間、Ｄ
Ｆ，ＤＦ１，ＤＦ２，ＤＦ３，ＤＦ４，ＤＦ５ 画像デ
ータの復号時間、Ｆ，Ｆ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５
画像フレーム。
タイミング制御部、１３ 画像復号器、１４ 音声復号
器、１５ バッファメモリ、１００ データ符号化装
置、１１０，２１０ 画像データ、１２０，２２０ 音
声データ、２００，２５０ データ復号装置、３００
多重符号化データ、Ａ，Ａ１，Ａ２，Ａ３，Ａ４，Ａ５
音声フレーム、ＢＡ 音声データのバッファリング時
間、ＢＦ画像データのバッファリング時間、ＣＡ，ＣＡ
１，ＣＡ２，ＣＡ３，ＣＡ４，ＣＡ５ 音声データの符
号化時間、ＣＦ，ＣＦ１，ＣＦ２，ＣＦ３，ＣＦ４，Ｃ
Ｆ５ 画像データの符号化時間、ＤＡ，ＤＡ１，ＤＡ
２，ＤＡ３，ＤＡ４，ＤＡ５音声データの復号時間、Ｄ
Ｆ，ＤＦ１，ＤＦ２，ＤＦ３，ＤＦ４，ＤＦ５ 画像デ
ータの復号時間、Ｆ，Ｆ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５
画像フレーム。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｈ０４Ｎ 7/045 Ｈ０４Ｎ 7/13 Ｚ 7/24 (72)発明者 岡 進 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内
Claims (13)
- 【請求項１】 以下の要素を有するデータ復号装置 （ａ）第１の符号化データと、第２の符号化データと、
第１の符号化データと第２の符号化データとの同期をと
るための同期情報とが多重化された多重符号化データを
入力し、第１の符号化データと第２の符号化データと同
期情報とを分離して出力する分離部、（ｂ）上記分離部
で分離された第１の符号化データを入力して記憶する第
１のバッファメモリ、（ｃ）上記分離部で分離された第
２の符号化データを入力して記憶する第２のバッファメ
モリ、（ｄ）上記第１のバッファメモリに記憶された第
１の符号化データを入力して復号し、復号したデータを
第１の復号データとして出力する第１の復号器、（ｅ）
上記第２のバッファメモリに記憶された第２の符号化デ
ータを入力して復号し、復号したデータを第２の復号デ
ータとして出力する第２の復号器、（ｆ）上記分離部で
分離された同期情報を入力し、上記第１の復号器による
第１の復号データと上記第２の復号器による第２の復号
データとが同期情報に示された同期がとられた状態で出
力されるように、上記第１のバッファメモリに上記第１
の符号化データを記憶するバッファリング時間を第１の
バッファリング時間として求め、上記第２のバッファメ
モリに上記第２の符号化データを記憶するバッファリン
グ時間を第２のバッファリング時間として求め、上記第
１のバッファメモリに記憶された上記第１の符号化デー
タの第１の復号器への出力時刻と第２のバッファメモリ
に記憶された第２の符号化データの第２の復号器への出
力時刻を制御するタイミング制御部。 - 【請求項２】 上記分離部は、同期情報として第１の復
号データが出力されるべき第１の指定表示時刻と、第２
の復号データが出力されるべき第２の指定表示時刻とを
分離し、 上記タイミング制御部は、第１の指定表示時刻と第２の
指定表示時刻との差の時間と、第１の復号データの出力
時刻と第２の復号データの出力時刻との差の時間とが一
致するように、第１のバッファリング時間と第２のバッ
ファリング時間をそれぞれ算出することを特徴とする請
求項１記載のデータ復号装置。 - 【請求項３】 上記第１の復号器は、所定の単位の第１
の符号化データの復号の終了時に第１のタイミングパル
スを出力し、上記第２の復号器は、所定の単位の第２の
符号化データの復号の終了時に第２のタイミングパルス
を出力し、 上記タイミング制御部は、第１と第２のタイミングパル
スを入力して、第１と第２の表示可能時刻をそれぞれ求
め、上記第１の指定表示時刻と上記第１の表示可能時刻
の差を第１のバッファリング時間とし、上記第２の指定
表示時刻と上記第２の表示可能時刻の差を第２のバッフ
ァリング時間とすることを特徴とする請求項２記載のデ
ータ復号装置。 - 【請求項４】 上記タイミング制御部は、所定の単位の
第１の符号化データの最初の復号の終了時のタイミング
パルスを上記第１のタイミングパルスとして入力すると
ともに、所定の単位の第２の符号化データの最初の復号
の終了時のタイミングパルスを上記第２のタイミングパ
ルスとして入力することを特徴とする請求項３記載のデ
ータ復号装置。 - 【請求項５】 上記分離部は、所定の単位毎に第１の符
号化データを識別する第１の識別子を分離して出力し、
所定の単位毎に第２の符号化データを識別する第２の識
別子を分離して出力し、 上記第１の復号器は、更に、第１のタイミングパルスと
ともに上記第１の識別子を出力し、上記第２の復号器
は、更に、第２のタイミングパルスとともに上記第２の
識別子を出力し、 上記タイミング制御部は、上記分離部から出力された第
１の識別子と上記第１の復号器から出力された第１の識
別子とを入力して、第１の符号化データを識別して、そ
の識別された第１の符号化データ以降に復号される第１
の符号化データの第１のバッファリング時間を算出し、
上記分離部から出力された第２の識別子と上記第２の復
号器から出力された第２の識別子とを入力して、第２の
符号化データを識別して、その識別された第２の符号化
データ以降に復号される第２の符号化データの第２のバ
ッファリング時間を算出することを特徴とする請求項３
記載のデータ復号装置。 - 【請求項６】 上記第１と第２の識別子は、第１と第２
の符号化データに対して符号化時に所定の単位毎に割り
当てられた数値であることを特徴とする請求項５記載の
データ復号装置。 - 【請求項７】 上記第１と第２の識別子は、第１と第２
の符号化データに対して分離部が所定の単位毎に割り当
てた数値であることを特徴とする請求項５記載のデータ
復号装置。 - 【請求項８】 上記タイミング制御部は、第１の符号化
データに含まれるバッファ残量管理情報を用いて、第１
の符号化データの表示可能時刻を求め、上記第１の指定
表示時刻と上記第１の表示可能時刻との差を第１のバッ
ファリング時間とすることを特徴とする請求項２記載の
データ復号装置。 - 【請求項９】 上記タイミング制御部は、分離部が第１
の符号化データを分離した時刻に対してバッファ残量管
理情報として示された第１の符号化データの蓄積時間と
第１の復号器が第１の符号化データの復号処理に要する
遅延時間とを加算して、上記表示可能時刻を求めること
を特徴とする請求項８記載のデータ復号装置。 - 【請求項１０】 上記タイミング制御部は、第１のバッ
ファリング時間と第２のバッファリング時間とから所定
の同一の時間を減算して新たな第１のバッファリング時
間と第２のバッファリング時間を求めることを特徴とす
る請求項２記載のデータ復号装置。 - 【請求項１１】 上記所定の同一の時間は、第１のバッ
ファリング時間と第２のバッファリング時間のいずれか
小さい方の時間であることを特徴とする請求項１０記載
のデータ復号装置。 - 【請求項１２】 上記第１の復号器及び第２の復号器
は、更に、復号した所定の単位の符号化データをいった
ん蓄積してその後所定のタイミングで出力するフレーム
バッファを有し、それぞれ、このフレームバッファから
の所定の単位の符号化データ出力時に第１及び第２のタ
イミングパルスを出力し、 上記タイミング制御部は、第１と第２のタイミングパル
スを入力して、第１と第２の表示可能時刻をそれぞれ求
め、上記第１の指定表示時刻と上記第１の表示可能時刻
との差を第１のバッファリング時間とし、上記第２の指
定表示時刻と上記第２の表示可能時刻との差を第２のバ
ッファリング時間とすることを特徴とする請求項２記載
のデータ復号装置。 - 【請求項１３】 以下の工程を有するデータ復号方法 （ａ）第１の符号化データと、第２の符号化データと、
第１の符号化データと第２の符号化データとの同期をと
るための同期情報とが多重化された多重符号化データを
入力し、第１の符号化データと第２の符号化データと同
期情報とを分離して出力する分離工程、（ｂ）上記分離
工程で分離された第１の符号化データを入力して第１の
バッファメモリに記憶する工程、（ｃ）上記分離工程で
分離された第２の符号化データを入力して第２のバッフ
ァメモリに記憶する工程、（ｄ）上記第１のバッファメ
モリに記憶された第１の符号化データを入力して復号
し、復号したデータを第１の復号データとして出力する
第１の復号工程、（ｅ）上記第２のバッファメモリに記
憶された第２の符号化データを入力して復号し、復号し
たデータを第２の復号データとして出力する第２の復号
工程、（ｆ）上記分離工程で分離された同期情報を入力
し、上記第１の復号工程による第１の復号データと上記
第２の復号工程による第２の復号データとが同期情報に
示された同期がとられた状態で出力されるように、上記
第１のバッファメモリに上記第１の符号化データを記憶
するバッファリング時間を第１のバッファリング時間と
して求め、上記第２のバッファメモリに上記第２の符号
化データを記憶するバッファリング時間を第２のバッフ
ァリング時間として求め、上記第１のバッファメモリに
記憶された上記第１の符号化データの第１の復号工程へ
の出力時刻と第２のバッファメモリに記憶された第２の
符号化データの第２の復号工程への出力時刻を制御する
タイミング制御工程。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16464298A JP3422686B2 (ja) | 1998-06-12 | 1998-06-12 | データ復号装置及びデータ復号方法 |
| TW87112230A TW388150B (en) | 1998-06-12 | 1998-07-27 | Device and method for data decoding |
| US09/224,052 US6516005B1 (en) | 1998-06-12 | 1998-12-31 | Apparatus and method for data decoding |
| GB9901719A GB2338383B (en) | 1998-06-12 | 1999-01-26 | An apparatus and method for data decoding |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16464298A JP3422686B2 (ja) | 1998-06-12 | 1998-06-12 | データ復号装置及びデータ復号方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11355263A true JPH11355263A (ja) | 1999-12-24 |
| JP3422686B2 JP3422686B2 (ja) | 2003-06-30 |
Family
ID=15797074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16464298A Expired - Fee Related JP3422686B2 (ja) | 1998-06-12 | 1998-06-12 | データ復号装置及びデータ復号方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6516005B1 (ja) |
| JP (1) | JP3422686B2 (ja) |
| GB (1) | GB2338383B (ja) |
| TW (1) | TW388150B (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002032083A1 (fr) * | 2000-10-13 | 2002-04-18 | Sony Corporation | Systeme de controle de la qualite de la communication de donnees, systeme emetteur et recepteur |
| JP2008125120A (ja) * | 2008-01-07 | 2008-05-29 | Sony Corp | 符号化装置 |
| JP2009177849A (ja) * | 2009-05-11 | 2009-08-06 | Sony Corp | 符号化装置と符号化方法 |
| JP2009284187A (ja) * | 2008-05-22 | 2009-12-03 | Nec Corp | パケット複合データの再生処理方法及び再生処理装置 |
| JP2011055562A (ja) * | 2010-12-20 | 2011-03-17 | Sony Corp | 符号化装置及び符号化方法 |
| JP2011066942A (ja) * | 2010-12-20 | 2011-03-31 | Sony Corp | 復号装置及び復号方法 |
| US8798167B2 (en) | 2002-11-29 | 2014-08-05 | Sony Corporation | Encoder and its method |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1182716C (zh) * | 1999-05-20 | 2004-12-29 | 皇家菲利浦电子有限公司 | 发送和接收编码图像的方法及其装置 |
| JP2001203977A (ja) * | 2000-01-19 | 2001-07-27 | Pioneer Electronic Corp | 情報再生装置 |
| US7120162B1 (en) * | 2000-08-03 | 2006-10-10 | Skyworks Solutions, Inc. | System and method for processing audio and video data in a wireless handset |
| US6975363B1 (en) * | 2000-08-31 | 2005-12-13 | Microsoft Corporation | Methods and systems for independently controlling the presentation speed of digital video frames and digital audio samples |
| US6906755B2 (en) * | 2002-01-04 | 2005-06-14 | Microsoft Corporation | Method and apparatus for synchronizing audio and video data |
| WO2003065719A1 (en) * | 2002-01-30 | 2003-08-07 | Gennum Corporation | Video serializer/deserializer with embedded audio support |
| US7729421B2 (en) | 2002-02-20 | 2010-06-01 | International Business Machines Corporation | Low latency video decoder with high-quality, variable scaling and minimal frame buffer memory |
| KR100490403B1 (ko) * | 2002-05-04 | 2005-05-17 | 삼성전자주식회사 | 오디오 스트림의 버퍼링 제어 방법 및 그 장치 |
| US6850284B2 (en) * | 2002-08-27 | 2005-02-01 | Motorola, Inc. | Method and apparatus for decoding audio and video information |
| US7739917B2 (en) | 2002-09-20 | 2010-06-22 | Enventure Global Technology, Llc | Pipe formability evaluation for expandable tubulars |
| US20070206682A1 (en) * | 2003-09-29 | 2007-09-06 | Eric Hamilton | Method And Apparatus For Coding Information |
| JP2005123789A (ja) * | 2003-10-15 | 2005-05-12 | Matsushita Electric Ind Co Ltd | Ａｖ同期システム |
| JP3856792B2 (ja) * | 2004-01-16 | 2006-12-13 | 松下電器産業株式会社 | 信号処理装置 |
| EP1750374A1 (en) * | 2004-05-26 | 2007-02-07 | Pioneer Corporation | Reception device |
| KR100547162B1 (ko) * | 2004-06-10 | 2006-01-26 | 삼성전자주식회사 | 그래픽 데이터를 포함한 ａｖ 스트림을 기록한정보저장매체, 재생방법 및 장치 |
| KR101263522B1 (ko) * | 2004-09-02 | 2013-05-13 | 소니 주식회사 | 콘텐츠 수신 장치, 비디오 오디오 출력 타이밍 제어 방법및 콘텐츠 제공 시스템 |
| CN100340115C (zh) * | 2004-10-22 | 2007-09-26 | 威盛电子股份有限公司 | 影音资料流中时间轴切换处理装置及其方法 |
| JP4304615B2 (ja) * | 2004-11-17 | 2009-07-29 | ソニー株式会社 | データ処理装置、データ処理方法及びデータ処理プログラム |
| US7480315B2 (en) * | 2004-12-31 | 2009-01-20 | Microsoft Corporation | Method and apparatus for synchronizing clocks |
| US7735111B2 (en) | 2005-04-29 | 2010-06-08 | The Directv Group, Inc. | Merging of multiple encoded audio-video streams into one program with source clock frequency locked and encoder clock synchronized |
| JP2006319552A (ja) * | 2005-05-11 | 2006-11-24 | Matsushita Electric Ind Co Ltd | マルチメディア再生装置 |
| JP4311570B2 (ja) | 2005-07-01 | 2009-08-12 | 株式会社ソニー・コンピュータエンタテインメント | 再生装置、ビデオ復号装置および同期再生方法 |
| US9131256B2 (en) * | 2010-09-30 | 2015-09-08 | Verizon Patent And Licensing Inc. | Method and apparatus for synchronizing content playback |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4591980A (en) | 1984-02-16 | 1986-05-27 | Xerox Corporation | Adaptive self-repairing processor array |
| US5153923A (en) | 1988-03-25 | 1992-10-06 | Hitachi, Ltd. | High order information processing method by means of a neural network and minimum and maximum searching method therefor |
| JP2703010B2 (ja) | 1988-12-23 | 1998-01-26 | 株式会社日立製作所 | ニユーラルネツト信号処理プロセツサ |
| US5151969A (en) | 1989-03-29 | 1992-09-29 | Siemens Corporate Research Inc. | Self-repairing trellis networks |
| US5214715A (en) | 1991-01-31 | 1993-05-25 | Trustees Of Boston University | Predictive self-organizing neural network |
| US5288645A (en) | 1992-09-04 | 1994-02-22 | Mtm Engineering, Inc. | Hydrogen evolution analyzer |
| EP0598295B1 (en) | 1992-11-17 | 1998-10-14 | Matsushita Electric Industrial Co., Ltd. | Video and audio signal multiplexing apparatus and separating apparatus |
| ATE243880T1 (de) * | 1993-12-18 | 2003-07-15 | Sony Corp | Datenwiedergabegerät und datenaufzeichnungsmedium |
| DE4440859C2 (de) | 1994-11-15 | 1998-08-06 | Alexander Kaske | Verfahren und Vorrichtung zum Steuern eines autonom explorierenden Roboters |
| JPH08331511A (ja) | 1995-03-31 | 1996-12-13 | Toshiba Corp | 動画像再生装置及び動画像再生処理回路 |
| JPH08275205A (ja) * | 1995-04-03 | 1996-10-18 | Sony Corp | データ符号化／復号化方法および装置、および符号化データ記録媒体 |
| EP0741366B1 (en) | 1995-04-26 | 2001-02-14 | Yozan Inc. | Multiplication circuit |
| KR100207687B1 (ko) | 1995-12-09 | 1999-07-15 | 윤종용 | 앰펙(mpeg) 시스템 복호기 및 오디오/비디오 동기 방법 |
| US6148135A (en) * | 1996-01-29 | 2000-11-14 | Mitsubishi Denki Kabushiki Kaisha | Video and audio reproducing device and video decoding device |
| JP3130464B2 (ja) | 1996-02-02 | 2001-01-31 | ローム株式会社 | データ復号装置 |
| JP2970558B2 (ja) * | 1996-10-25 | 1999-11-02 | 日本電気株式会社 | オーディオ／ビデオ／コンピュータグラフィクス同期再生合成方式及び方法 |
| JP4018823B2 (ja) | 1997-10-24 | 2007-12-05 | 株式会社大宇エレクトロニクス | Ｍｐｅｇ−２放送プログラムの貯蔵及び再生システム |
| KR100294663B1 (ko) * | 1997-12-29 | 2001-09-17 | 구자홍 | 엠펙디코더및디코딩제어방법 |
-
1998
- 1998-06-12 JP JP16464298A patent/JP3422686B2/ja not_active Expired - Fee Related
- 1998-07-27 TW TW87112230A patent/TW388150B/zh not_active IP Right Cessation
- 1998-12-31 US US09/224,052 patent/US6516005B1/en not_active Expired - Lifetime
-
1999
- 1999-01-26 GB GB9901719A patent/GB2338383B/en not_active Expired - Fee Related
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002032083A1 (fr) * | 2000-10-13 | 2002-04-18 | Sony Corporation | Systeme de controle de la qualite de la communication de donnees, systeme emetteur et recepteur |
| US7072662B2 (en) | 2000-10-13 | 2006-07-04 | Sony Corporation | Data communication quality control system, transmitter system and receiver |
| JP2007251978A (ja) * | 2000-10-13 | 2007-09-27 | Sony Corp | データ通信品質制御システム、送信システム及び受信機 |
| JP4518279B2 (ja) * | 2000-10-13 | 2010-08-04 | ソニー株式会社 | データ通信品質制御システム、送信システム及び受信機 |
| US8798167B2 (en) | 2002-11-29 | 2014-08-05 | Sony Corporation | Encoder and its method |
| US9516361B2 (en) | 2002-11-29 | 2016-12-06 | Sony Corporation | Encoding apparatus and the method |
| US9654812B2 (en) | 2002-11-29 | 2017-05-16 | Sony Corporation | Encoding apparatus and the method |
| JP2008125120A (ja) * | 2008-01-07 | 2008-05-29 | Sony Corp | 符号化装置 |
| JP2009284187A (ja) * | 2008-05-22 | 2009-12-03 | Nec Corp | パケット複合データの再生処理方法及び再生処理装置 |
| JP2009177849A (ja) * | 2009-05-11 | 2009-08-06 | Sony Corp | 符号化装置と符号化方法 |
| JP2011055562A (ja) * | 2010-12-20 | 2011-03-17 | Sony Corp | 符号化装置及び符号化方法 |
| JP2011066942A (ja) * | 2010-12-20 | 2011-03-31 | Sony Corp | 復号装置及び復号方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| GB9901719D0 (en) | 1999-03-17 |
| TW388150B (en) | 2000-04-21 |
| GB2338383A (en) | 1999-12-15 |
| GB2338383B (en) | 2000-07-26 |
| US6516005B1 (en) | 2003-02-04 |
| JP3422686B2 (ja) | 2003-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3422686B2 (ja) | データ復号装置及びデータ復号方法 | |
| US6148135A (en) | Video and audio reproducing device and video decoding device | |
| US5808722A (en) | Apparatus for extending and reproducing video and audio data and a video and audio synchronization controller | |
| JP4990762B2 (ja) | インターネットプロトコルに用いるストリーミングオーディオとストリーミングビデオとの同期保持 | |
| KR100290331B1 (ko) | 오디오-비디오 신호의 동기 재생 장치 | |
| WO2017067489A1 (zh) | 机顶盒音视频同步的方法及装置、存储介质 | |
| JP4983923B2 (ja) | デコーダ装置、およびデコード方法 | |
| JPH10200862A (ja) | オーディオ・ビデオ同期再生装置 | |
| JP2004505513A (ja) | ネットワークフィードの固定タイムスロットに圧縮されたローカルビデオセグメントをスプライシングすること | |
| US6041067A (en) | Device for synchronizing data processing | |
| US20040264577A1 (en) | Apparatus and method for controlling the synchronization of a video transport stream | |
| JP3100308B2 (ja) | 画像及び音声情報の再生システム | |
| JPH11275524A (ja) | データ記録方法、データ再生方法、データ記録装置およびデータ再生装置 | |
| JP3556381B2 (ja) | 情報多重化装置 | |
| JPH08214296A (ja) | デコーダおよびｍｐｅｇシステムデコーダ | |
| JP2872104B2 (ja) | タイムスタンプ付加装置および方法、並びにそれを用いた動画像圧縮伸張伝送システムおよび方法 | |
| JP2003101962A (ja) | 同期再生装置及び方法 | |
| JP2002281445A (ja) | オーディオ・ビデオ復号再生装置とその同期再生方法 | |
| JP3542976B2 (ja) | 圧縮符号化データ再生方法および装置 | |
| JP2001231035A (ja) | 復号同期制御装置、復号装置、及び復号同期制御方法 | |
| JP2001339688A (ja) | トランスポートストリーム再生装置 | |
| JP2003284066A (ja) | 復号装置及び復号方法 | |
| JPH10164512A (ja) | データ処理同期装置 | |
| JP2001111610A (ja) | 情報データ伝送システムの受信装置 | |
| JPH11262001A (ja) | 符号化伝送方式におけるタイムスタンプ値演算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030408 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080425 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090425 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100425 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100425 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110425 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120425 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120425 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130425 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130425 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140425 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |