JPH09167153A - 視覚情報をオーディオ情報と同期させる方法及び装置 - Google Patents

視覚情報をオーディオ情報と同期させる方法及び装置

Info

Publication number
JPH09167153A
JPH09167153A JP14756996A JP14756996A JPH09167153A JP H09167153 A JPH09167153 A JP H09167153A JP 14756996 A JP14756996 A JP 14756996A JP 14756996 A JP14756996 A JP 14756996A JP H09167153 A JPH09167153 A JP H09167153A
Authority
JP
Japan
Prior art keywords
image
information
value
stack
counter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP14756996A
Other languages
English (en)
Inventor
Richard Bramley
ブランル リシャルト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SGS THOMSON MICROELECTRONICS
STMicroelectronics SA
Original Assignee
SGS THOMSON MICROELECTRONICS
SGS Thomson Microelectronics SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SGS THOMSON MICROELECTRONICS, SGS Thomson Microelectronics SA filed Critical SGS THOMSON MICROELECTRONICS
Publication of JPH09167153A publication Critical patent/JPH09167153A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/007Transform coding, e.g. discrete cosine transform
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Discrete Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

(57)【要約】 【課題】 本発明は、MPEG標準に従って符号化され
た視覚情報が復号化される時、それをオーデイオ情報と
同期させるための方法及び装置を提供するものである。 【解決手段】 画像復号器の入力に伝送されるワード数
のカウンタ(11)は、画像タイム・マーク(PTS)
の到着時に読み込まれ、その値(14)はマイクロコン
トローラのスタック(13)に貯えられる。それが画像
復号器から出力されるとき、各スタート・コードはマイ
クロコントローラを停止させる。同時に、画像復号器の
出力から伝送されるワード数のカウンタ(12)は読み
込まれ、その値はスタック(13)の値と比較される。
その値がスタック(13)のカウンタの値の一つを超え
るとき、対応するタイム・マーク(PTS)はそれに割
り当てられ、オーデイオ信号と同期させるために用いら
れる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、MPEG1、また
は2の標準に従って符号化された視覚情報を、それが復
号化される時、オーデイオ情報と同期させる方法に関す
る。
【0002】
【発明が解決しようとする課題】記録されたデータを得
るとき、画像を表す情報と音声を表す情報は自然に同期
している。この同期はその後この情報を処理する間維持
されなければならず、または、一時的に失なわれる場合
は復活させなければならない。この同期を得るため、フ
ィルムが元に戻され、または再現されたとき、サウンド
を表す情報と画像を表す情報は互いに一致するか、また
は、少なくとも互いに特定の時間間隔に置かれたタイム
・マークを含んでいる。
【0003】MPEG標準は、動画が符号化され、そし
て復号化される条件を定めている。デイジタル化された
画像の伝送と蓄積技術は、アナログ伝送と比べ最終的に
得られる画像の質を著しく改善した。これらの技術はま
た広い範囲に応用できる。しかしながら、デイジタル動
画の直接伝送と蓄積は極めて高い情報スループット(単
位時間に処理する情報量)を必要とし、実際これら画像
を圧縮し、そして符号化することが必要となっている。
【0004】デイジタル化された画像は、それらを表わ
す情報の量を減らすため、伝送される前に符号化され、
そして、伝送の後復号化される。明らかに、符号化及び
復号化の技術は最終画像の質にとって重要なものであ
り、これらの技術を用いる種々の装置が互換性を有する
ようにするため、それらを標準化することが必要になっ
た。
【0005】エキスパートグループ(動画エキスパート
グループ−the Moving Picture Expert Group :MPE
G)は,ISO標準11172とISO IEC標準1
3818を開発した。これらの二つの標準はしばしばM
PEG1、及びMPEG2と呼ばれており、画像の蓄積
と再生、及びそれらの伝送のため等しく適切に用いるこ
とができる、音声信号と関連する可能性のある動画のた
めの、符号化と復号化の条件を定めている。
【0006】それゆえ、これらMPEGは、コンパクト
デイスク、インタラクテイブ・コンパクトデイスク、磁
気テープへの画像の蓄積、LAN、または電話線を介し
た画像の伝送、及び無線通信によるテレビ画像の伝送に
用いることができる。この技術を詳細に完全に定めてい
る標準は標準化機構から得ることができ、詳細な記載を
参照できる。
【0007】このようにMPEG標準に従って符号化さ
れた動画を表す復号化データが流れるとき、復号器の中
で画像を表す情報のための移行時間は異なった画像に対
して異なったものとなる。さらに、復号化装置におい
て、タイム・マークに関するシステム情報が、復号化さ
れている画像情報から分離されることは通例であった。
【0008】このようにこの処理の間、画像と音声の情
報の同期は失われるか、または、少なくともデコードに
よって不安定を生じていた。本発明の目的は、視覚情報
を対応する音声、またはオーデイオ情報と同期させる方
法、及び装置を提供することである。
【0009】
【課題を解決するための手段】従って、本発明はMPE
G標準に基づき符号化された視覚情報を、それが復号化
されるときオーデイオ情報と同期させる方法に関する。
上記情報はシステム情報とパケットにグループ化された
画像情報を含み、システム情報は各画像パケットのため
のタイム・マーク(PTS)を有し、各画像のための情
報は、スタート符号(PSC)でスタートする。復号化
はシステム情報を画像情報から分離し、画像復号器を制
御するマイクロコントローラにより制御される。
【0010】本発明によると、画像復号器入力に伝送さ
れるワード数のカウンタは、画像タイム・マーク(PT
S)の到達時に読まれ、そしてその値はマイクロコント
ローラのスタックに蓄積される。それが画像復号器から
出力されるとき、各スタート符号はマイクロコントロー
ラを停止させ、同時に画像復号器出力から伝送されるワ
ード数のカウンタは読み込まれ、そしてその値はスタッ
クの値と比較される。その値がスタックのカウンタの値
の一つを超えるとき、対応するタイム・マーク(PT
S)の値はそれに割り当てられ、オーデイオ信号と同期
させるために用いることができる。
【0011】本発明の特別な実施態様によると、マイク
ロコントローラは復号器の外部にある。本発明を添付の
図面を参照して以下により詳細に記載する。
【0012】
【発明の実施の形態】図1は、MPEG標準を適用した
後に現れる圧縮された情報1のフローを示す。画像パケ
ットを表す情報2は、タイム・マーク(PTS)3を含
むシステム情報に先導され、各画像4を表す情報はスタ
ート符号(PSC)5に先導される。復号化のとき、こ
の情報1はマイクロプロセッサ6により分離され、それ
は通常外部にあり、情報1をシステム情報と呼ばれタイ
ム・マーク3を含む情報7とスタート符号(PSC)5
を含む画像情報8に分割する。
【0013】図2の(A)と(B)はシステムデータと
画像パケットデータに分離した後の図1の画像データの
フローを示す。図3は本発明による装置を示すブロック
ダイアグラムである。この分離は画像情報8だけを復号
器9、10に供給するため,マイクロプロセッサ6によ
ってなされる。
【0014】そのため、この画像情報8は時々純粋なビ
デオ情報と呼ばれ、もはやタイム・マークは含まない。
復号器9、10での移行時間は、しかしながら、関係す
る画像と画像パケットにおける位置によって決まる。こ
の現象を反映させるため、実際の復号器は一般に二つの
要素としてシンボル化されており、瞬間復号器9は瞬時
に動作すると考えられ、タイミング・ユニット10は種
々の遅れを作り、しばしば「ビット・バッファー」と呼
ばれる。
【0015】ユニット10の前の画像復号器の入力に置
かれた第1のカウンタ11は、画像情報8における伝送
されたワードをカウントし、ライン19を通してマイク
ロプロセッサ6のスタック13にその値14をアドレス
する。画像情報8は好ましくは16ビットワードの形で
伝送され、カウンタ11は好ましくは、復号器モジュロ
2に伝送されるワードの合計を24のパワーに出力する
24ビットカウンタである。さらに、タイム・リファレ
ンスを有するパケットはマイクロプロセッサ6に入力さ
れるので、そのタイム・リファレンス16の値はスタッ
ク15に貯えられ、それからスタック13に記録された
カウンタの値14と関づけられる。
【0016】カウンタ11と同じ特性を有する第2のカ
ウンタはユニット10からの出力に置かれ、復号器出力
カウンタ12を形成する。このカウンタの値はライン1
7を通してスタック13に貯えられた最も古い入力カウ
ンタの値と比較される。スタート符号(PSC)が現れ
たとき、カウンタ12によって作られた値はスタック1
3に含まれるカウンタ11の値14を超え、それと関連
するタイム・リファレンス16の値はライン18によっ
て復号器9からの画像出力に割り当てられる。これは復
号化された画像とタイム・リファレンスを表す情報20
を作りだす。
【0017】このように、復号器9、10はシステム情
報を運ばないが、復号化される前に画像を表す情報に当
初割り当てられるタイム・マークは、それが復号化され
た後画像を表す情報にも割り当てられる。都合の良いこ
とには、復号化を制御するマイクロコントローラは外部
にあり、別の言葉で言えば復号器9、10それ自身とは
別である。しかしながら、これら種々の要素は単一のユ
ニットに含めることができる。
【0018】都合の良いことに、復号器の入力において
伝送されるワード数のカウンタによって出力される値を
含むマイクロコントローラのスタックは、ファースト−
イン、ファースト−アウト(FIFO)型のカウンタで
ある。それが復号器から出力されるとき、画像と関連し
た各スタート符号(PSC)は、スタック13に含まれ
る入力符号が出力カウンタ12により供給される出力符
号と比較され、そしてタイム・リファレンス16が上記
条件の下で抽出できるようにするため、マイクロコント
ローラ6を停止させる。
【0019】タイム・リファレンスは、すべての望まし
い使用を可能にし、そしてタイムリファレンスを含むサ
ウンド情報データフローに関する画像を配置することを
可能にして、復号器から出力される画像と関連づけるこ
とが出来る。
【図面の簡単な説明】
【図1】MPEG標準の一つに基づいて符号化された画
像データのフローを示す図である。
【図2】システムデータと画像パケットデータを分離し
た後の図1の画像データのフローを示す図である。
【図3】本発明による装置のブロックダイアグラムであ
る。
【符号の説明】
1…圧縮データ 2…画像パケットを表す情報 3…タイム・マーク 4…各画像を表す情報 5…スタート符号 6…マイクロプロセッサ 9,10…復号器 11,12…カウンタ 13,15…スタック

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 復号化の時にMPEG標準に従って符号
    化された視覚情報をオーデイオ情報と同期させる方法で
    あって、 前記情報はシステム情報とパケットでグループ化された
    画像情報を含み、該システム情報は各画像パケットのた
    めのタイム・マーク(PTS)を有し、各画像のための
    情報はスタート符号(PSC)でスタートし、 復号化は、システム情報と画像情報を分離し、画像復号
    器を制御するマイクロコントローラによって制御される
    ものにおいて、 画像復号器の入力に伝送されるワード数のカウンタは、
    画像タイム・マーク(PSC)の到着時に読み込まれ、
    その値はマイクロコントローラのスタックに蓄積され、 それが画像復号器から出力されるとき、各スタート符号
    はマイクロコントローラを停止させ、 同時に画像復号器の出力から伝送されるワード数のカウ
    ンタが読み込まれ、その値はスタックの値と比較され、 その値がスタックの中のカウンタの値の一つを超えたと
    き、対応するタイム・マーク(PSC)の値がそれに割
    り当てられ、オーデイオ信号と同期させるために用いる
    ことが出来ることを特徴とする方法。
  2. 【請求項2】 復号化の間にMPEG標準に従って符号
    化された視覚情報をオーデイオ情報と同期させる装置で
    あって、 前記情報はシステム情報とパケットでグループ化された
    画像情報を含み、該システム情報は各画像パケットのた
    めのタイム・マーク(PTS)を有し、各画像のための
    情報はスタート符号(PSC)でスタートし、 復号化を制御し、画像情報からシステム情報を分離し、
    そして画像復号器を制御する外部のマイクロコントロー
    ラを含むものにおいて、 画像復号器の入力に伝送されるワード数のカウンタを含
    み、画像タイム・マーク(PTS)の到着を読み、そし
    て、その値は外部のマイクロコントローラのスタックに
    蓄積され、 画像復号器から出力するとき、各スタート符号は外部の
    マイクロコントローラを停止させ、 画像復号器の出力から伝送されるワード数のカウンタは
    同時に読み込まれ、その値はスタックの値と比較され、 その値がスタックのカウンタの値の一つを超えたとき、
    対応するタイム・マーク(PTS)の値がそれに割り当
    てられ、オーデイオ信号と同期させるために用いること
    が出来ることを特徴とする装置。
  3. 【請求項3】 請求項2に記載の同期装置において、マ
    イクロコントローラが外部にあることを特徴とする同期
    装置。
  4. 【請求項4】 請求項2または3のいずれかに記載され
    た同期装置において、画像情報(8)が16ビットワー
    ドの形で伝送されることを特徴とする同期装置。
  5. 【請求項5】 請求項4に記載の同期装置において、カ
    ウンタ(11,12)は24ビットカウンタであること
    を特徴とする同期装置。
JP14756996A 1995-06-09 1996-06-10 視覚情報をオーディオ情報と同期させる方法及び装置 Pending JPH09167153A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR9506865 1995-06-09
FR9506865A FR2735320B1 (fr) 1995-06-09 1995-06-09 Procede et dispositif de synchronisation d'informations visuelles avec des informations audio

Publications (1)

Publication Number Publication Date
JPH09167153A true JPH09167153A (ja) 1997-06-24

Family

ID=9479816

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14756996A Pending JPH09167153A (ja) 1995-06-09 1996-06-10 視覚情報をオーディオ情報と同期させる方法及び装置

Country Status (5)

Country Link
US (1) US5889563A (ja)
EP (1) EP0748126B1 (ja)
JP (1) JPH09167153A (ja)
DE (1) DE69616160D1 (ja)
FR (1) FR2735320B1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6181383B1 (en) * 1996-05-29 2001-01-30 Sarnoff Corporation Method and apparatus for preserving synchronization of audio and video presentation when splicing transport streams
US7212247B2 (en) * 2002-01-31 2007-05-01 Thomson Licensing Audio/video system providing variable delay

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971888A (en) * 1975-04-02 1976-07-27 Bell Telephone Laboratories, Incorporated Synchronization system for variable length encoded signals
FR2553954B1 (fr) * 1983-10-21 1990-04-20 Telecommunications Sa Systeme de reception d'informations asynchrones transmises en mode synchrone
FR2648972B1 (fr) * 1989-06-27 1994-08-26 Thomson Csf Dispositif de synchronisation pour un decodeur de donnees codees par un code a longueur variable
GB2240231B (en) * 1990-01-19 1994-03-30 British Broadcasting Corp High definition television coder/decoder
US5287182A (en) * 1992-07-02 1994-02-15 At&T Bell Laboratories Timing recovery for variable bit-rate video on asynchronous transfer mode (ATM) networks
JP3427416B2 (ja) * 1993-05-25 2003-07-14 ソニー株式会社 多重化データ分離装置および方法
JP3197766B2 (ja) * 1994-02-17 2001-08-13 三洋電機株式会社 Mpegオーディオデコーダ、mpegビデオデコーダおよびmpegシステムデコーダ
US5559999A (en) * 1994-09-09 1996-09-24 Lsi Logic Corporation MPEG decoding system including tag list for associating presentation time stamps with encoded data units

Also Published As

Publication number Publication date
EP0748126A1 (fr) 1996-12-11
DE69616160D1 (de) 2001-11-29
FR2735320A1 (fr) 1996-12-13
US5889563A (en) 1999-03-30
FR2735320B1 (fr) 1997-09-05
EP0748126B1 (fr) 2001-10-24

Similar Documents

Publication Publication Date Title
US5588029A (en) MPEG audio synchronization system using subframe skip and repeat
US5905768A (en) MPEG audio synchronization system using subframe skip and repeat
US5874997A (en) Measuring and regulating synchronization of merged video and audio data
US8233780B2 (en) Reproducing apparatus and method, and recording medium
EP0964576A1 (en) Method and arrangement for receiving digital video signals
KR980010748A (ko) 피다중화 데이터 생성장치, 인코딩된 데이터 재생 장치, 클럭 변환 장치, 인코딩된 데이터 기록 매체, 인코딩된 데이터 전송 매체, 피다중화 데이터 생성 방법, 인코딩된 데이터 재생 방법 및 클럭 변환 방법
JP2008123693A (ja) 再生装置、再生方法及びその記録媒体
JPH0918870A (ja) タイミング検出回路及びその方法
JP2001204032A (ja) Mpeg復号装置
JP3133630B2 (ja) Mpegシステムデコーダ
JPH09167153A (ja) 視覚情報をオーディオ情報と同期させる方法及び装置
JPH11205789A (ja) Mpeg2トランスポートストリーム伝送レート変換装 置
CA2725177C (en) Reproducing apparatus and method, and recording medium
JP2002033712A (ja) パケット処理装置及びそのパケット出力方法
JPH08191434A (ja) 動画/音声符号化データ多重化方法及び動画/音声符号化データ多重化装置
EP1148723B1 (en) Special reproduction data generating device, medium, and information aggregate
US7206502B2 (en) Apparatus and method for recording and reproducing digital data
JPH08180585A (ja) オーデイオ信号符号化復号化装置
JP2000050264A (ja) Mpegビデオ再生方法および装置
JPH11164269A (ja) データ伝送装置、データ受信装置およびデータ伝送方法
JPH1023401A (ja) データ多重化方法及び多重データ再生方法、多重データ再生装置