JP4570462B2 - パーソナルビデオレコーディングの応用におけるｍｐｅｇデコーダでの音声画像同期を達成する安定した方法 - Google Patents

パーソナルビデオレコーディングの応用におけるｍｐｅｇデコーダでの音声画像同期を達成する安定した方法 Download PDF

Info

Publication number
JP4570462B2
JP4570462B2 JP2004517094A JP2004517094A JP4570462B2 JP 4570462 B2 JP4570462 B2 JP 4570462B2 JP 2004517094 A JP2004517094 A JP 2004517094A JP 2004517094 A JP2004517094 A JP 2004517094A JP 4570462 B2 JP4570462 B2 JP 4570462B2
Authority
JP
Japan
Prior art keywords
audio
stream
image
receiver
transport stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004517094A
Other languages
English (en)
Other versions
JP2005531245A (ja
Inventor
ムラーリ、マニ
ラマナサン、メーナクシスンダラム
ローガトゥス、エイチ．エイチ．ウェスター
オーケ、バン、デル、シャール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NXP BV
Original Assignee
NXP BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=29779208&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP4570462(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by NXP BV filed Critical NXP BV
Publication of JP2005531245A publication Critical patent/JP2005531245A/ja
Application granted granted Critical
Publication of JP4570462B2 publication Critical patent/JP4570462B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H04N7/54—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal the signals being synchronous
    • H04N7/56—Synchronising systems therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42661—Internal components of the client ; Characteristics thereof for reading from or writing on a magnetic storage medium, e.g. hard disk drive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
    • H04N21/43853—Multiplex stream processing, e.g. multiplex stream decrypting involving multiplex stream decryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4405—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream decryption

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

この発明は、放送されたストリームの記録及び再生の分野に関し、特に、画像記録環境において、放送されたストリームから画像と音声のデコードとプレゼンテーションを同期させる装置並びに方法に関する。
この出願は、発明の名称が“Ｒｏｂｕｓｔ Ｍｅｔｈｏｄ Ｆｏｒ Ｒｅｃｏｖｅｒｉｎｇ Ａ Ｐｒｏｇｒａｍ Ｔｉｍｅ Ｂａｓｅ Ｉｎ ＭＰＥＧ−２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍｓ Ａｎｄ Ａｃｈｉｅｖｉｎｇ Ａｕｄｉｏ／Ｖｉｄｅｏ Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ”でありその開示内容すべてがここに組み込まれる同時継続出願Ｓ／Ｎ０９／９６７，８７７と発明者が同じであり主題も関係している。
Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ ２ （ＭＰＥＧ−２）標準は、例えば、Ｄｉｇｉｔａｌ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ （ＤＳＳ）放送を含む様々な音声・画像配信システムにおいて用いられるデジタル音声・画像（Ａ／Ｖ）圧縮標準である。ＭＰＥＧ−２トランスポート標準であるＩＳＯ１３８１８−１では、放送局側において、定期的に、多重化された音声・画像パケットストリーム内にプログラムクロックリファレンス（ＰＣＲ）タイムスタンプを入れ込んで伝送する必要がある。このプログラムクロックリファレンス・タイムスタンプは、ＤＳＳプログラムストリーム内ではシステムクロックリファレンス（ＳＣＲ）と称されるが、放送されるストリームを発生するＭＰＥＧ−２エンコーダ内の（複数）システムタイムクロック（ＳＴＣ）と厳密な関係を保っているので、従って、これは、デコーダ機器においてエンコーダのシステムタイムクロックを復元するのに用いることができる。さらには、放送されたＭＰＥＧ−２ストリームに多重化された各音声・画像パケットがデコーディング・タイムスタンプ（ＤＳＴ）とプレゼンテーション・タイムスタンプ（ＰＳＴ）を含み、プログラムクロックリファレンスに対する時間を表し、この時間に各パケットがデコーダ機器により表示のためにデコードされ、表現されることになる。
パーソナルビデオレコーディング（ＰＶＲ）の実行に際しては、放送された番組を蓄積媒体に記録し、それらを再生することが含まれる。もし、それら番組全体がＭＰＥＧ−２ストリームとして記録され、そして、元の放送局側のビットレートでインジェクション（ｉｎｊｅｃｔｉｏｎ）により再生される場合は、時間情報が維持され、生放送と同じ音声・画像同期メカニズムを遅延された番組に用いることができる。ＭＰＥＧ−２ストリーム全体を記録するには非常に大きな記憶容量を必要とするが、もし、番組を破棄することによりＭＰＥＧ−２ストリームが変えられたり又は圧縮される場合、又は、サブチャネルを破棄することにより番組が変えられたり又は圧縮される場合、必要な記憶容量は削減されるが、ＰＣＲの正確な到来タイミングが失われる。音声エレメンタリストリーム（ＡＥＳ）と画像エレメンタリストリーム（ＶＥＳ）を記録する場合にも必要な記憶容量は削減されるが、やはり、ＰＣＲの到来タイミングが失われる。ＰＣＲの到来タイミングが失われると、再生中の音声・画像プレゼンテーションにおいて雑音、ブレーク、ポーズ等の現象が現れ、音声・画像同期において重大な問題が生じる。
この発明の第一の観点はＭＰＥＧ符号化トランスポートストリームを受信し、そして、音声及び画像信号を出力する受信機であって、前記符号化トランスポートストリームを受信し、前記符号化トランスポートストリームを復号化し、そして、該復号化トランスポートストリームを出力するのに適合したデクリプタと、前記復号化トランスポートストリームを受信し、前記復号化トランスポートストリームを音声エレメンタリストリームと画像エレメンタリストリームに変換し、該音声エレメンタリストリームと該画像エレメンタリストリームの各パケットの各ヘッダのプレゼンテイションタイムスタンプフィールドとデコーディングタイムスタンプフィールド内の値を変えて受信機記録クロックと時間を合わせ、そして、前記音声エレメンタリストリームと前記画像エレメンタリストリームを出力するのに適合したデマルチプレクサと、前記音声エレメンタリストリームと前記画像エレメンタリストリームを受信そして記録し、前記音声エレメンタリストリームと前記画像エレメンタリストリームの各パケットの各ヘッダのプレゼンテイションタイムスタンプフィールドとデコーディングタイムスタンプフィールド内の値を変えて記録される前記音声エレメンタリストリームと前記画像エレメンタリストリームの時間量を補償するのに適合した蓄積サブシステムと、前記音声エレメンタリストリームを受信そしてデコードし、そして、音声信号を出力するのに適合した音声デコーダと、前記画像エレメンタリストリームを受信そしてデコードし、そして、画像信号を出力するのに適合した画像デコーダを備える。
この発明の第二の観点はＭＰＥＧ符号化トランスポートストリームを受信し、そして、音声及び画像信号を出力する受信機であって、前記符号化トランスポートストリームを受信し、前記符号化トランスポートストリームを復号化し、そして、該復号化トランスポートストリームを出力するのに適合したデクリプタと、前記復号化トランスポートストリームを受信し、一つ又はそれ以上の番組に関わる複数パケットを選択し、前記一つ又はそれ以上の番組に関わる複数パケットのみを含む部分トランスポートを生成し、受信機記録クロックを基にタイムスタンプを前記部分トランスポート内の各パケットに加え、そして、前記部分トランスポートを出力するのに適合したセレクタと、前記部分トランスポートを受信しそして記録するのに適合した蓄積サブシステムと、前記部分トランスポートストリームを受信し、前記部分トランスポートストリームを音声エレメンタリストリームと画像エレメンタリストリームに変換し、該音声エレメンタリストリームと該画像エレメンタリストリームの各パケットの各ヘッダのプレゼンテイションタイムスタンプフィールドとデコーディングタイムスタンプフィールド内の値を変えて前記蓄積サブシステム内に記録される前記部分トランスポートストリームの時間量を補償するのに適合したデマルチプレクサと、前記音声エレメンタリストリームを受信そしてデコードし、そして、音声信号を出力するのに適合した音声デコーダと、前記画像エレメンタリストリームを受信そしてデコードし、そして、画像信号を出力するのに適合した画像デコーダを備える。
この発明の第三の観点はＭＰＥＧデコーダにおいて音声と画像を同期させる方法であって、トランスポートストリームを復号化し、前記トランスポートストリームを逆多重化し、前記トランスポートストリーム内の番組に関わる第一パケットのヘッダから第一番組クロックレフェレンスフィールドの値を抽出し、前記トランスポートストリームを音声エレメンタリストリームと画像エレメンタリストリームに逆多重化し、現在時間と前記復号化トランスポートストリーム内の記録すべき番組に関わるパケットのヘッダ内の第一番組クロックレフェレンスフィールドの値との差を前記記録すべき番組に関わる前記音声及び画像エレメンタリストリーム内の各パケットの各ヘッダの各プレゼンテイションタイムスタンプフィールドと各デコーディングタイムスタンプフィールドに加え、前記音声及び画像エレメンタリストリームを記録し、前記音声及び画像エレメンタリストリームを読み出すと、前記音声及び画像エレメンタリストリームが記録された時間と前記音声及び画像エレメンタリストリームが蓄積から読み出されるときの再生時間との差を前記音声及び記画像エレメンタリストリームの各パケットの各ヘッダの各プレゼンテイションタイムスタンプフィールドと各デコーディングタイムスタンプフィールドに加え、前記音声及び画像エレメンタリストリームをデコードする工程を備える。
この発明の第四の観点はＭＰＥＧデコーダにおいて音声と画像を同期させる方法であって、トランスポートストリームを復号化し、一つ又はそれ以上の番組に関わる複数パケットを選択し、前記一つ又はそれ以上の番組に関わる複数パケットのみを含む部分トランスポートを生成し、現在の記録時間を基にしたタイムスタンプを前記部分トランスポート内の各パケットの各ヘッダに加え、前記部分トランスポートを記録し、前記部分トランスポートを読み出し、前記部分トランスポートストリームを音声エレメンタリストリームと画像エレメンタリストリームに逆多重化し、前記復号化トランスポートストリーム内の記録すべき番組に関わるパケットのヘッダ内の第一番組クロックレフェレンスフィールドの値と現在時間との差を前記音声及び画像エレメンタリストリーム内の各パケットの各ヘッダの各プレゼンテイションタイムスタンプフィールドと各デコーディングタイムスタンプフィールドとに加え、前記音声及び画像エレメンタリストリームをデコードする工程を備える。
この発明の特徴は添付各請求項に規定される。しかし、この発明自体は、添付図面と共に下記の例としての実施形態の詳細な説明を参照することにより明らかとなる。
この発明の目的のために、特に明記しない限り、文言トランスポートストリーム（ＴＳ）はＭＰＥＧ ＴＳを意味し、文言プログラムストリーム（ＰＳ）はＭＰＥＧ ＰＳを意味し、そして、文言パケットエレメンタリストリーム（ＰＥＳ）はＭＰＥＧ ＰＥＳを意味する。文言ＭＰＥＧはＭＰＥＧ−１，ＭＰＥＧ−２，ＭＰＥＧ−４，ＭＰＥＧ−７，そして、その他の、同じ又は類似のＭＰＥＧ−２ストリーム、パケット、そして、フィールド構造を有するＭＰＥＧ標準フォーマットを示す。文言ＭＰＥＧは、さらに、ＤＤＳストリームをも示し、これはＭＰＥＧ−２ストリームと同じ又は類似のパケット、フィールド構造を有するが異なる名称で言われる。
図１はこの発明の第一の実施形態における受信機の概略ブロックダイアグラムを示す。図１において、受信機１００はデクリプタ（ｄｅｃｒｙｐｔｏｒ）１０５、デマルチプレクサ１１０，蓄積サブシステム１１５，音声デコーダ・プレゼンタ１２０，画像デコーダ・プレゼンタ１２５，クロック発振回路１３０，記録（ＲＥＣ）ＳＴＣ１３５，再生（ＰＬＡＹ）ＳＴＣ１４０，そして、周波数調整回路１４５を含む。蓄積サブシステム１１５は書き込み制御器１５０、蓄積媒体１５５，そして、読み出し制御器１６０を含む。
動作時には、符号化トランスポートストリーム（ＴＳ）１６５がデクリプタ１０５により受信され、デクリプタ１０５が復号化ランスポートストリーム１７０を出力し、これが、符号化トランスポートストリーム１６５が放送されているレートでデマルチプレクサ１１０により受信される。ＰＬＬ回路１３０が固定周波数信号１７５を発生し、これが、記録ＳＴＣ１３５と，そして、周波数調整回路１４５にも送出される。記録ＳＴＣ１３５により発生された記録クロック信号１８０がデマルチプレクサ１１０と書き込み制御器１５０により受信される。デマルチプレクサ１１０が復号化ランスポートストリームの第一ヘッダの中から第一ＰＣＲフィールドの値を抽出し、エンコーダシステムタイムクロック周波数（プログラムストリームのＳＣＲフィールド内の初期値を生成し、そして、トランスポートストリームのＰＣＲフィールド内の初期値を生成するのに用いられるクロック）と記録ＳＴＣ１３５の周波数との間のＸオフセットを計算する。この動作はＸ−ｏｆｆｓｅｔ＝１ｓｔ ＰＣＲ − ＲＥＣ ＳＴＣと表すことができる。
デマルチプレクサ１１０が復号化トランスポートストリーム１７０を音声エレメンタリストリーム（ＡＥＳ）１８５と画像エレメンタリストリーム（ＶＥＳ）１９０に変換する。ＡＥＳ１８５とＶＥＳ１９０はＰＥＳフォーマットである。復号化トランスポートストリーム１７０は音声、画像以外のその他のストリーム、例えば、テレテキストに分解してもよい。これらのその他のストリームはＡＥＳ１８５、ＶＥＳ１９０と同様に扱うことになるであろう。デマルチプレクサ１１０はＸ−ｏｆｆｓｅｔを元の（各）ＰＴＳフィールド値ＰＴＳに加算して新しい値ＰＴＳ１を生成し、そして、このＰＴＳ１をＡＥＳ１８５とＶＥＳ１９０の（各）ＰＴＳフィールド内に書き込む。デマルチプレクサ１１０は、さらに、Ｘ−ｏｆｆｓｅｔを元の（各）ＤＴＳフィールド値ＤＴＳに加算して新しい値ＤＴＳ１を生成し、そして、このＤＴＳ１をＡＥＳ１８５とＶＥＳ１９０の（各）ＤＴＳフィールド内に書き込む。これらの二つの動作はＰＴＳ１ ＝ ＰＴＳ ＋ Ｘ−ｏｆｆｓｅｔそしてＤＴＳ１ ＝ ＤＴＳ ＋ Ｘ−ｏｆｆｓｅｔと表すことができる。ＡＥＳ１８５とＶＥＳ１９０は記録ＳＴＣ周波数信号１９５と共に蓄積サブシステム１１５の書き込み制御器１５０に送出される。Ｘオフセットが計算されると記録ＳＴＣ周波数信号１９５は記録ＳＴＣ１３５の値を有する。
書き込み制御器１５０が、単一セグメントと同じ時間に関連するすべてのエレメンタリストリーム情報（ＡＥＳ１８５、ＶＥＳ１９０、周波数信号１９５）をインターリーブし、このセグメントを蓄積媒体１５５に記録する。
受信機１００は番組を二つのモード、ライブ再生モード、又は、遅延再生又はタイムシフト記録モード（ＴＳＲ）で上映できる。ライブ再生モードでは番組は記録されない。ライブ再生モードでは、点線で示されるように、受信機１００がＡＥＳ１８５を音声デコーダ・プレゼンタ１２０に“ホットワイヤ（ｈｏｔｗｉｒｅ）”させ、ＶＥＳ１９０を画像デコーダ・プレゼンタ１２５に“ホットワイヤ（ｈｏｔｗｉｒｅ）”させる。画像デコーダ・プレゼンタ１２５は“マスター”として機能し、記録ＳＴＣ１３５の時間と、ＰＴＳフィールド（ＰＳＴ１の値を含む）と、ＡＥＳ１８５とＶＥＳ１９０のＤＴＳフィールド（ＤＳＴ１の値を含む）とを基に、デマルチプレクサ１１０からセグメントを引き込む。
遅延再生モードでは番組が記録され、蓄積サブシステム１１５の制御の基に再生される。遅延再生モードのために、蓄積サブシステム１１５の読み出し制御器１６０が記録された周波数信号１９５を読み出し、そして周波数調整回路１４５に送出し、周波数調整回路１４５が固定周波数信号１７５を記録された周波数信号１９５と合うように調整し、調整された固定周波数信号１９６を出力する。調整された固定周波数信号１９６は再生ＳＴＣ１４０により受信され、再生ＳＴＣ１４０が再生クロック信号１９７を音声デコーダ・プレゼンタ１２０、画像デコーダ・プレゼンタ１２５、そして、読み出し制御器１６０に送出する。従って、番組が逆多重化されたときに記録ＳＴＣ１３５が動作したのと同じ周波数で再生ＳＴＣ１４０が動作する。
遅延再生モードのために、ポーズ（ＴＰ）における再生ＳＴＣ１４０に応じた時間と、レジューム（ＴＲ）における再生ＳＴＣに応じた時間との差として読み出し制御器１６０が記録オフセット（Ｓ−ｏｆｆｓｅｔ）を計算する。この動作は、Ｓ−ｏｆｆｓｅｔ ＝ ＴＲ − ＴＰと表すことができる。読み出し制御器１６０はＳ−ｏｆｆｓｅｔを現在の（各）ＰＴＳフィールド値ＰＴＳ１に加算し、新しい値ＰＴＳ２を生成し、ＰＴＳ２をＡＥＳ１８５とＶＥＳ１９０の（各）ＰＴＳフィールドに書き込む。読み出し制御器１６０は、さらに、Ｓ−ｏｆｆｓｅｔを現在の（各）ＤＴＳフィールド値ＤＴＳ１に加算し、新しい値ＤＴＳ２を生成し、ＤＴＳ２をＡＥＳ１８５とＶＥＳ１９０の（各）ＤＴＳフィールドに書き込む。これらの二つの動作はＰＴＳ２ ＝ ＰＴＳ１ ＋ Ｓ−ｏｆｆｓｅｔ、そして、ＤＴＳ２ ＝ ＤＴＳ１ ＋ Ｓ−ｏｆｆｓｅｔと表すことができる。画像デコーダ・プレゼンタ１２５は“マスター”として機能し、蓄積サブシステムにより示されたレートで蓄積サブシステム１１５からセグメントを引き込む。
図２はこの発明の第二の実施形態における受信機の概略ブロックダイアグラムを示す図である。図２において、受信機２００はデクリプタ２０５、パケットＩＤ（ＰＩＤ）を基にしたトランスポートパケットセレクタ２１０（以後、セレクタ２１０と呼ぶ）、蓄積サブシステム１１５、デマルチプレクサ２１７，音声デコーダ・プレゼンタ２２０，画像デコーダ・プレゼンタ２２５，クロック発振回路２３０，自励クロック２３５，再生ＳＴＣ２４０，そして、周波数調整回路２４５を含む。蓄積サブシステム２１５は書き込み制御器２５０、蓄積媒体２５５，そして、読み出し制御器２６０を含む。読み出し制御器２６０はオプションとしてインジュクタ２６２を含む。インジュクタ２６２はハードウエア・インジュクタでもよいしソフトウエア・インジュクタでもよい。
動作時には、符号化トランスポートストリーム２６５がデクリプタ２０５により受信され、デクリプタ２０５が復号化ランスポートストリーム２７０を出力し、これが、符号化トランスポートストリーム２６５が放送されているレートでセレクタ２１０により受信される。ＰＬＬ回路２３０が固定周波数信号２７５を発生し、これが、クロック２３５と，そして、周波数調整回路２４５にも送出される。クロック２３５により発生されたクロック信号２８０がセレクタ２１０と書き込み制御器２５０により受信される。セレクタ２１０が、選択した（各）番組を基に、復号化トランスポートストリーム２７０からパケットを抽出する。選択した（各）番組に対応する復号化トランスポートストリーム内の各パケットヘッダのＰＩＤフィールド内の値に基づいて選択が行われる。セレクタ２１０が各選択されたパケットの先頭の４バイトのタイムスタンプを加算して部分復号化トランスポートストリーム２８２を生成し、これが蓄積サブシステム２１５の書き込み制御器２５０により受信される。書き込み制御器２５０は部分復号化トランスポートストリームを蓄積媒体２５５に記録する。
受信機２００は番組を二つのモード、ライブ再生モード、又は、遅延再生又はＴＳＲモードで上映する。ライブ再生モードでは番組は記録されず、点線で示されるように、受信機２００がセレクタ２１０をデマルチプレクサ２１７に“ホットワイヤ”させ、Ｓ−ｏｆｆｓｅｔを零にセットする。
遅延再生モードでは番組が蓄積サブシステム２１５に記録される。遅延再生モードのために、デマルチプレクサ２１７がこれから開示するように様々な動作を行う。開示される順番に動作が実行されるということではない。
部分トランスポートストリーム２８２を蓄積サブシステム２１５からデマルチプレクサ２１７に送出するには二つのオプションがある。第一の又は“プッシュ” オプションでは、インジュクタ２６２が４バイトのタイムスタンプを読み出し、適切な時間に、各パケットをデマルチプレクサ２１７に“インジュクト”する。“プッシュ” オプションでは、パケットが受信されると、デマルチプレクサ２１７が各パケットから４バイトのタイムスタンプを除去する。第二の又は“プル” オプションでは、インジュクタ２６２は用いられず（又は存在せず）、デマルチプレクサ２１７が各パケットを受信すると、各パケットから４バイトのタイムスタンプを読み出し、除去する。ＶＥＳの消費に応じて画像が画像デコーダ・プレゼンタ２２５により“引き込まれる（ｐｕｌｌｅｄ）”。画像デコーダ・プレゼンタ２２５の（図示しない）バッファ内のＶＥＳデータ量が閾値を下回ると、画像デコーダ・プレゼンタによりさらにデータがデマルチプレクサ２１７から“引き込まれる”。
デマルチプレクサ２１７は、記憶オフセット（Ｓ−ｏｆｆｓｅｔ）を、部分トランスポートストリーム２８２の第一ヘッダ内の第一ＰＣＲフィールドの値と現在の再生（ｐｌａｙ）ＳＴＣ２４０の時間との時間差として計算する。この動作はＳ−ｏｆｆｓｅｔ ＝ １ｓｔＰＣＲ ― ＰＬＡＹ ＳＴＣと表すことができる。
デマルチプレクサ２１７が復号化部分トランスポートストリーム２８２をＡＥＳストリームとＶＥＳストリームに変換する。ＡＥＳストリームとＶＥＳストリームはＰＥＳフォーマットである。復号化部分トランスポートストリーム２８２は音声、画像以外のその他のストリーム、例えば、テレテキストに分解してもよい。
デマルチプレクサ２１７は、ＡＥＳとＶＥＳ内の各ＰＥＳに対し、Ｓ−ｏｆｆｓｅｔを現在の（各）ＰＴＳフィールド値ＰＴＳに加算して新しい値ＰＴＳ３を生成し、そして、このＰＴＳ３をＡＥＳとＶＥＳの（各）ＰＴＳフィールド内に書き込む。デマルチプレクサ２１７は、ＡＥＳとＶＥＳ内の各ＰＥＳに対し、Ｓ−ｏｆｆｓｅｔを現在の（各）ＤＴＳフィールド値ＤＴＳに加算して新しい値ＤＴＳ３を生成し、そして、このＤＴＳ３をＡＥＳとＶＥＳの（各）ＰＴＳフィールド内に書き込む。これらの二つの動作はＰＴＳ３ ＝ ＰＴＳ ＋ Ｓ−ｏｆｆｓｅｔそしてＤＴＳ３ ＝ ＤＴＳ ＋ Ｓ−ｏｆｆｓｅｔと表すことができる。
デマルチプレクサ２１７は、部分トランスポートストリーム２８２を有するＰＣＲと到来トランスポートパケットの４バイト・タイムスタンプを用い、固定周波数信号２７５を固定周波数信号２９６に調整する周波数調整回路２４５を介して、再生ＳＴＣ２４０の周波数を計算し、セットする。調整された固定周波数信号２９６が再生ＳＴＣ２４０により受信され、これが再生クロック信号２９７をデマルチプレクサ２１７、音声デコーダ・プレゼンタ２２０，そして、画像デコーダ・プレゼンタ２２５に送出する。この動作は前述の関連出願“Ｒｏｂｕｓｔ Ｍｅｔｈｏｄ Ｆｏｒ Ｒｅｃｏｖｅｒｉｎｇ Ａ Ｐｒｏｇｒａｍ Ｔｉｍｅ Ｂａｓｅ Ｉｎ ＭＰＥＧ−２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍｓ Ａｎｄ Ａｃｈｉｅｖｉｎｇ Ａｕｄｉｏ／Ｖｉｄｅｏ Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ” Ｓ／Ｎ０９／９６７，８７７にすべて開示されている。従って、プログラムストリームが生成された時のプログラムクロックと同じ周波数で再生ＳＴＣ２４０が動作する。
画像デコーダ・プレゼンタ２２５は“マスター”として機能し、蓄積デマルチプレクサ２１７により示されたレートでデマルチプレクサからセグメントを引き込む。
この発明のユーザが受信機１００又は受信機２００のいずれかを特殊再生モード（即ち、高速順方向、高速逆方向、低速順方向、低速逆方向、又は、ポーズ）とすると、蓄積媒体１５５又は蓄積媒体２５５に記録されている画像がユーザにより選択されたレートで表示され、音声は無く、又は、音声が画像と同期する必要はない。この場合、この発明の両実施形態において、記録オフセットがゼロに設定され、そして、ＳＴＣ１４０又は再生ＳＴＣ２４０が最後に設定された周波数で動作することができる。
この発明のユーザが受信機１００又は受信機２００のいずれかを特殊再生モードの後に通常再生モード（実時間再生及び時間遅延再生が通常再生モードである）に戻すと、その結果の状態は時間軸上で不連続状態と考えることができる。この場合、両実施形態において、各ＰＥＳパケットのＰＴＳフィールド内の現在のＰＴＳ値が新オフセットの基に調整される。この新オフセットはＰＴＳフィールド値と再生ＳＴＣ１４０又は再生ＳＴＣ２４０の現在の値の関数である。これは、この発明の第一の実施形態ではＰＴＳ４ ＝ ＰＴＳ１ ＋ Ｎｅｗ Ｏｆｆｓｅｔ、そして、この発明の第二の実施形態ではＰＴＳ５ ＝ ＰＴＳ ＋ Ｎｅｗ Ｏｆｆｓｅｔと表すことができる。このＮｅｗ Ｏｆｆｓｅｔの決定については前述の関連出願“Ｒｏｂｕｓｔ Ｍｅｔｈｏｄ Ｆｏｒ Ｒｅｃｏｖｅｒｉｎｇ Ａ Ｐｒｏｇｒａｍ Ｔｉｍｅ Ｂａｓｅ Ｉｎ ＭＰＥＧ−２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍｓ Ａｎｄ Ａｃｈｉｅｖｉｎｇ Ａｕｄｉｏ／Ｖｉｄｅｏ Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ” Ｓ／Ｎ０９／９６７，８７７にすべて開示されている。
図３は記録中の受信機再生・記録ＳＴＣとこの発明に従って変更されたＰＴＳとの関係をプロットして示している。図３において、縦軸は、音声及び画像デコーダ・プレゼンタ１２０及び１２５（図１参照）又は音声及び画像デコーダ・プレゼンタ２２０及び２２５（図２参照）により見られる時間であり、横軸は実時間である。図３に見られるように、再生ＳＴＣ及び記録ＳＴＣ曲線３００の値は固定レートで直線的に増加している。ＰＴＳ曲線３０５は、上映された番組内で画像と音声が不連続にならないようにするために必要なＡＥＳとＶＥＳ内でのＰＴＳ値の増加を表している。ＰＴＳ曲線３０５の傾きは、再生ＳＴＣ及び記録ＳＴＣ曲線３００からデコーダ時間においてオフセットされることがあるが、同じ傾きでなければならない。ＰＴＳ曲線３１０は、記録されたＡＥＳとＶＥＳのＰＴＳ値、又は、第二の実施形態の場合は、記録された部分トランスポートストリームから得られたＡＥＳとＶＥＳのＰＴＳ値を表している。ＰＴＳ曲線３１０の第一部分３１５においてＰＴＳ曲線３１０がＰＴＳ曲線３０５と重なっており、表現されている音声と画像の時間が正しく合っている。第一部分３１５はライブプレイである。ＰＴＳ曲線３１０の第二部分３２０では番組がポ−ズになっており、不連続であるかのように扱われる。番組がポ−ズになっている限り第二部分３２０のＰＴＳ値は増加しない。ＰＴＳ曲線３１０の第三部分３２５でプレイが再開されるとＰＴＳ曲線３０５とＰＴＳ曲線３１０との間にオフセット３３０が生じる。曲線３０５と３１０の傾きは同じであるが、それらはデコーダ時間においてオフセットされる。オフセット３３０はポーズ（記録）により時間が経過することにより生じるもので、この発明では、上記のようにＰＴＳ値を調整して記録時間を補償することにより修正される。ＰＴＳ値に対応するＤＴＳ値も同様にプロットされるであろう。
図４は特殊再生から通常再生の間の受信機の再生及び記録ＳＴＣ、元のＰＴＳ、そして、この発明に従って変更されたＰＴＳとの関係をプロットして示している。図４において、縦軸は、音声及び画像デコーダ・プレゼンタ１２０及び１２５（図１参照）又は音声及び画像デコーダ・プレゼンタ２２０及び２２５（図２参照）により見られる時間であり、横軸は実時間である。図４に見られるように、再生ＳＴＣ及び記録ＳＴＣ曲線４００の値は固定レートで直線的に増加している。ＰＴＳ曲線４０５は、上映された番組内の画像と音声が不連続にならないようにするために必要なＡＥＳとＶＥＳ内でのＰＴＳ値の増加を表している。ＰＴＳ曲線４０５の傾きは、再生ＳＴＣ及び記録ＳＴＣ曲線４００からデコーダ時間においてオフセットされることがあるが、同じ傾きでなければならない。ＰＴＳ曲線４１０は、記録されたＡＥＳとＶＥＳのＰＴＳ値、又は、第二の実施形態の場合は、記録された部分トランスポートストリームから得られたＡＥＳとＶＥＳのＰＴＳ値を表している。ＰＴＳ曲線４１０の第一部分４１５においてＰＴＳ曲線４１０がＰＴＳ曲線４０５と重なっており、表現されている音声と画像の時間が正しく合っている。第一部分４１５はライブプレイである。ＰＴＳ曲線４１０の第二部分４２０では番組がポ−ズになっており、不連続であるかのように扱われる。番組がポ−ズになっている限り第二部分４２０のＰＴＳ値は増加しない。ＰＴＳ曲線４１０の第三部分４２５でプレイが再開されると曲線４０５とＰＴＳ曲線４１０との間にオフセット４３０が生じる。曲線４０５と４１０の傾きは同じであるが、それらはデコーダ時間においてオフセットされる。オフセット４３０はポーズ（記録）により時間が経過することにより生じるもので、この発明では、上記のようにＰＴＳ値を調整して記録時間を補償することにより修正される。ＰＴＳ曲線４１０の第四部分４３５で、特殊再生、この例では高速順方向再生が行われ、これは不連続として扱われる。ＰＴＳ曲線４１０の第四部分４３５では、特殊再生のディストーション・タイミングという元来の特徴により維持タイミングが不要となる。ところが、ＰＴＳ曲線４１０の第五部分４４５における現在の特殊再生の後、ＰＴＳ曲線４０５と４１０との間にオフセット４４０が生じる。曲線４０５と４１０の傾きは同じであるが、それらはデコーダ時間においてオフセットされる。オフセット４４０は特殊再生による時間ディストーションにより生じるもので、この発明では、やはり、上記のようにＰＴＳ値を調整して記録時間を補償することにより修正される。ＰＴＳ値に対応するＤＴＳ値が同様にプロットされるであろう。
上記のこの発明の実施形態の開示はこの発明を理解するためのものである。この発明は上記の各実施形態の限定されるものではなく、この発明の範囲から離れることなく、各種の変更、再編成、代変えが可能であることが当業者にとっては明らかになることが理解できるであろう。従って、各請求項はこの発明の精神と範囲の中でそのような変更、変形をすべて含むものである。
この発明の第一の実施形態における受信機の概略ブロックダイアグラムを示す図である。 この発明の第二の実施形態における受信機の概略ブロックダイアグラムを示す図である。 記録中の受信機再生・記録ＳＴＣとこの発明に従って変更されたＰＴＳとの関係をプロットして示す図である。 特殊再生から通常再生の間の受信機再生・記録ＳＴＣとこの発明に従って変更されたＰＴＳとの関係をプロットして示す図である。

Claims (20)

  1. ＭＰＥＧ符号化トランスポートストリームを受信し、そして、音声及び画像信号を出力する受信機であって、
    前記符号化トランスポートストリームを受信し、前記符号化トランスポートストリームを復号化し、そして、該復号化トランスポートストリームを出力するのに適合したデクリプタと、
    前記復号化トランスポートストリームを受信し、前記復号化トランスポートストリームを音声エレメンタリストリームと画像エレメンタリストリームに変換し、該音声エレメンタリストリームと該画像エレメンタリストリームの各パケットの各ヘッダのプレゼンテイションタイムスタンプフィールドとデコーディングタイムスタンプフィールド内の値を変えて受信機記録クロックと時間を合わせ、そして、前記音声エレメンタリストリームと前記画像エレメンタリストリームを出力するのに適合したデマルチプレクサと、
    前記音声エレメンタリストリームと前記画像エレメンタリストリームを受信そして記録し、前記音声エレメンタリストリームと前記画像エレメンタリストリームの各パケットの各ヘッダのプレゼンテイションタイムスタンプフィールドとデコーディングタイムスタンプフィールド内の値を変えて記録される前記音声エレメンタリストリームと前記画像エレメンタリストリームの時間量を補償するのに適合した蓄積サブシステムと、
    前記音声エレメンタリストリームを受信そしてデコードし、そして、音声信号を出力するのに適合した音声デコーダと、
    前記画像エレメンタリストリームを受信そしてデコードし、そして、画像信号を出力するのに適合した画像デコーダを備えたことを特徴とする受信機。
  2. 受信機再生クロックの周波数を前記受信機記録クロックの周波数に合わせる周波数調整手段をさらに備えたことを特徴とする請求項１に記載の受信機。
  3. 前記蓄積サブシステムは前記音声及び画像エレメンタリストリームが前記蓄積サブシステムに記録されるときの前記受信機再生クロックにおける記録時間と、前記音声及び画像エレメンタリストリームが前記蓄積サブシステムから読み出されるときの前記受信機再生クロックにおける再生時間との差を前記音声及び記画像エレメンタリストリームの各パケットの各ヘッダの各プレゼンテイションタイムスタンプフィールドと各デコーディングタイムスタンプフィールドに加えることを特徴とする請求項２に記載の受信機。
  4. 前記デマルチプレクサは前記復号化トランスポートストリーム内の記録すべき番組に関わるパケットのヘッダ内の第一番組クロックレフェレンスフィールドの値の差と前記受信機記録クロックの現在時間とを前記音声及び画像エレメンタリストリーム内の各パケットの各ヘッダの各プレゼンテイションタイムスタンプフィールドと各デコーディングタイムスタンプフィールドとに加えることを特徴とする請求項１に記載の受信機。
  5. 前記デマルチプレクサは前記音声エレメンタリストリームを直接前記音声デコーダに入力し、そして前記画像エレメンタリストリームを直接前記画像デコーダに入力するのに適合したことを特徴とする請求項１に記載の受信機。
  6. ＭＰＥＧ符号化トランスポートストリームを受信し、そして、音声及び画像信号を出力する受信機であって、
    前記符号化トランスポートストリームを受信し、前記符号化トランスポートストリームを復号化し、そして、該復号化トランスポートストリームを出力するのに適合したデクリプタと、
    前記復号化トランスポートストリームを受信し、一つ又はそれ以上の番組に関わる複数パケットを選択し、前記一つ又はそれ以上の番組に関わる複数パケットのみを含む部分トランスポートを生成し、受信機記録クロックを基にタイムスタンプを前記部分トランスポート内の各パケットに加え、そして、前記部分トランスポートを出力するのに適合したセレクタと、
    前記部分トランスポートを受信しそして記録するのに適合した蓄積サブシステムと、
    前記部分トランスポートストリームを受信し、前記部分トランスポートストリームを音声エレメンタリストリームと画像エレメンタリストリームに変換し、該音声エレメンタリストリームと該画像エレメンタリストリームの各パケットの各ヘッダのプレゼンテイションタイムスタンプフィールドとデコーディングタイムスタンプフィールド内の値を変えて前記蓄積サブシステム内に記録される前記部分トランスポートストリームの時間量を補償するのに適合したデマルチプレクサと、
    前記音声エレメンタリストリームを受信そしてデコードし、そして、音声信号を出力するのに適合した音声デコーダと、
    前記画像エレメンタリストリームを受信そしてデコードし、そして、画像信号を出力するのに適合した画像デコーダを備えたことを特徴とする受信機。
  7. 受信機再生クロックの周波数を前記受信機記録クロックの周波数に合わせる周波数調整手段をさらに備えたことを特徴とする請求項６に記載の受信機。
  8. 前記周波数調整手段は前記部分トランスポートストリーム内の各パケットの複数ヘッダの複数プレゼンテイションタイムスタンプフィールドの値と前記受信機再生クロックの現在値とを基に前記受信機再生クロックの周波数を調整することを特徴とする請求項７に記載の受信機。
  9. 前記デマルチプレクサは前記復号化トランスポートストリーム内の記録すべき番組に関わるパケットのヘッダ内の第一番組クロックレフェレンスフィールドの値の差と前記受信機記録クロックの現在時間とを前記音声及び画像エレメンタリストリーム内の各パケットの各ヘッダの各プレゼンテイションタイムスタンプフィールドと各デコーディングタイムスタンプフィールドに加えることを特徴とする請求項６に記載の受信機。
  10. 前記セレクタは前記部分トランスポートストリームを直接前記デマルチプレクサに入力するのに適合したことを特徴とする請求項５に記載の受信機。
  11. 前記蓄積サブシステムは前記部分トランスポートストリームの各パケットに加えられた前記タイムスタンプの基に複数パケットをインジェクトすることを特徴とする請求項６に記載の受信機。
  12. ＭＰＥＧデコーダにおいて音声と画像を同期させる方法であって、
    トランスポートストリームを復号化し、
    前記トランスポートストリームを逆多重化し、
    前記トランスポートストリーム内の番組に関わる第一パケットのヘッダから第一番組クロックレフェレンスフィールドの値を抽出し、
    前記トランスポートストリームを音声エレメンタリストリームと画像エレメンタリストリームに逆多重化し、
    現在時間と前記復号化トランスポートストリーム内の記録すべき番組に関わるパケットのヘッダ内の第一番組クロックレフェレンスフィールドの値との差を前記記録すべき番組に関わる前記音声及び画像エレメンタリストリーム内の各パケットの各ヘッダの各プレゼンテイションタイムスタンプフィールドと各デコーディングタイムスタンプフィールドに加え、
    前記音声及び画像エレメンタリストリームを記録し、
    前記音声及び画像エレメンタリストリームを読み出すと、前記音声及び画像エレメンタリストリームが記録された時間と前記音声及び画像エレメンタリストリームが蓄積から読み出されるときの再生時間との差を前記音声及び記画像エレメンタリストリームの各パケットの各ヘッダの各プレゼンテイションタイムスタンプフィールドと各デコーディングタイムスタンプフィールドに加え、
    前記音声及び画像エレメンタリストリームをデコードする工程を備えたことを特徴とする同期方法。
  13. 前記再生時間の周波数を前記記録時間の周波数に合わせるよう調整する工程をさらに備えたことを特徴とする請求項１２に記載の方法。
  14. 前記音声及び画像エレメンタリストリームの読み出しの通常レートからの変化の後に前記通常レートでの読み出しが再開すると、前記複数音声エレメンタリストリームパケットと前記複数映像エレメンタリストリームパケットのヘッダのプレゼンテイションタイムスタンプフィールドの複数値と現在の再生時間を基にしたオフセットを前記音声及び画像エレメンタリストリーム内の各パケットの各ヘッダの各プレゼンテイションタイムスタンプフィールドと各デコーディングタイムスタンプフィールドとに加える工程をさらに備えたことを特徴とする請求項１２に記載の方法。
  15. ＭＰＥＧデコーダにおいて音声と画像を同期させる方法であって、
    トランスポートストリームを復号化し、
    一つ又はそれ以上の番組に関わる複数パケットを選択し、前記一つ又はそれ以上の番組に関わる複数パケットのみを含む部分トランスポートを生成し、
    現在の記録時間を基にしたタイムスタンプを前記部分トランスポート内の各パケットの各ヘッダに加え、
    前記部分トランスポートを記録し、
    前記部分トランスポートを読み出し、
    前記部分トランスポートストリームを音声エレメンタリストリームと画像エレメンタリストリームに逆多重化し、
    前記復号化トランスポートストリーム内の記録すべき番組に関わるパケットのヘッダ内の第一番組クロックレフェレンスフィールドの値と現在時間との差を前記音声及び画像エレメンタリストリーム内の各パケットの各ヘッダの各プレゼンテイションタイムスタンプフィールドと各デコーディングタイムスタンプフィールドとに加え、
    前記音声及び画像エレメンタリストリームをデコードする工程を備えたことを特徴とする同期方法。
  16. 前記再生時間の周波数を前記記録時間の周波数に合わせるよう調整する工程をさらに備えたことを特徴とする請求項１５に記載の方法。
  17. 前記周波数は前記部分トランスポートストリーム内の各パケットの複数ヘッダの複数プレゼンテイションタイムスタンプフィールドの値と現在の再生時間を基に調整されることを特徴とする請求項１６に記載の方法。
  18. 前記音声及び画像エレメンタリストリームの読み出しの通常レートからの変化の後に前記通常レートでの読み出しが再開すると、前記複数音声エレメンタリストリームパケットと前記複数映像エレメンタリストリームパケットのヘッダのプレゼンテイションタイムスタンプフィールドの複数値と現在の再生時間を基にしたオフセットを前記音声及び画像エレメンタリストリーム内の各パケットの各ヘッダの各プレゼンテイションタイムスタンプフィールドと各デコーディングタイムスタンプフィールドとに加える工程をさらに備えたことを特徴とする請求項１５に記載の方法。
  19. 前記選択は前記トランスポートストリーム内の複数パケットの複数ヘッダの複数番組ＩＤフィールドの値を基に行われることを特徴とする請求項１５に記載の方法。
  20. 前記音声及び画像エレメンタリストリームの読み出しのレートは前記部分トランスポートストリームの各パケットのヘッダに加えられた前記タイムスタンプを基にしていることを特徴とする請求項１５に記載の方法。
JP2004517094A 2002-06-27 2003-06-05 パーソナルビデオレコーディングの応用におけるｍｐｅｇデコーダでの音声画像同期を達成する安定した方法 Expired - Fee Related JP4570462B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/183,798 US7315622B2 (en) 2002-06-27 2002-06-27 Robust method for achieving audio/video synchronization in MPEG decoders in personal video recording applications
PCT/IB2003/002660 WO2004004330A2 (en) 2002-06-27 2003-06-05 Robust method for achieving audio/video synchronization in mpeg decoders in personal video recording applications

Publications (2)

Publication Number Publication Date
JP2005531245A JP2005531245A (ja) 2005-10-13
JP4570462B2 true JP4570462B2 (ja) 2010-10-27

Family

ID=29779208

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004517094A Expired - Fee Related JP4570462B2 (ja) 2002-06-27 2003-06-05 パーソナルビデオレコーディングの応用におけるｍｐｅｇデコーダでの音声画像同期を達成する安定した方法

Country Status (9)

Country Link
US (1) US7315622B2 (ja)
EP (1) EP1520423B1 (ja)
JP (1) JP4570462B2 (ja)
KR (1) KR100984638B1 (ja)
CN (1) CN100431353C (ja)
AT (1) ATE361634T1 (ja)
AU (1) AU2003236989A1 (ja)
DE (1) DE60313613T2 (ja)
WO (1) WO2004004330A2 (ja)

Families Citing this family (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2842690B1 (fr) * 2002-07-17 2004-10-08 Thomson Licensing Sa Procede et dispositif de transmission de donnees video pour la mise en oeuvre de modes speciaux
US7336784B2 (en) * 2002-12-20 2008-02-26 Brite Smart Corporation Multimedia decoder method and system with authentication and enhanced digital rights management (DRM) where each received signal is unique and where the missing signal is cached inside the storage memory of each receiver
US20130136189A9 (en) * 2003-01-13 2013-05-30 Jiang Fu Method and system for converting a dss stream to an encrypted mpeg stream
JP4346966B2 (ja) * 2003-06-13 2009-10-21 キヤノン株式会社 撮像装置
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
US11650784B2 (en) 2003-07-28 2023-05-16 Sonos, Inc. Adjusting volume levels
US8290603B1 (en) 2004-06-05 2012-10-16 Sonos, Inc. User interfaces for controlling and manipulating groupings in a multi-zone media system
US11106425B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US10613817B2 (en) 2003-07-28 2020-04-07 Sonos, Inc. Method and apparatus for displaying a list of tracks scheduled for playback by a synchrony group
US11106424B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US8086752B2 (en) 2006-11-22 2011-12-27 Sonos, Inc. Systems and methods for synchronizing operations among a plurality of independently clocked digital data processing devices that independently source digital data
US11294618B2 (en) 2003-07-28 2022-04-05 Sonos, Inc. Media player system
KR20070007244A (ko) * 2003-10-06 2007-01-15 마츠시타 덴끼 산교 가부시키가이샤 Ｐｃｒ 프로그램 클럭 기준을 이용한 디지털 신호의 동기화
US9977561B2 (en) 2004-04-01 2018-05-22 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture to provide guest access
US9374607B2 (en) 2012-06-26 2016-06-21 Sonos, Inc. Media playback system with guest access
US8024055B1 (en) 2004-05-15 2011-09-20 Sonos, Inc. Method and system for controlling amplifiers
US8326951B1 (en) 2004-06-05 2012-12-04 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US8868698B2 (en) 2004-06-05 2014-10-21 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US20050281342A1 (en) * 2004-06-22 2005-12-22 Broadcom Corporation Slow motion and high speed for digital video
KR101263522B1 (ko) * 2004-09-02 2013-05-13 소니 주식회사 콘텐츠 수신 장치, 비디오 오디오 출력 타이밍 제어 방법및 콘텐츠 제공 시스템
JP4039417B2 (ja) * 2004-10-15 2008-01-30 株式会社日立製作所 記録再生装置
KR100636965B1 (ko) * 2004-10-19 2006-10-19 (주)토필드 녹화제어장치 및 녹화제어방법
US7480315B2 (en) * 2004-12-31 2009-01-20 Microsoft Corporation Method and apparatus for synchronizing clocks
JP4650112B2 (ja) * 2005-06-09 2011-03-16 株式会社日立製作所 記録出力装置、記録出力方法及び記録装置
JP4991129B2 (ja) * 2005-07-19 2012-08-01 Ｎｅｃディスプレイソリューションズ株式会社 映像音声再生装置および映像音声再生方法
CN100409681C (zh) * 2005-08-19 2008-08-06 上海晨兴电子科技有限公司 影音同步录制及播放方法
US7643513B2 (en) * 2005-11-30 2010-01-05 Broadcom Corporation Method and system for audio and video transport
US7756136B2 (en) * 2006-07-10 2010-07-13 Cheetah Technologies, L.P. Spatial and temporal loss determination in packet based video broadcast system in an encrypted environment
TWI314017B (en) * 2006-07-12 2009-08-21 Quanta Comp Inc System and method for synchronizing video frames and audio frames
CN100438634C (zh) * 2006-07-14 2008-11-26 杭州国芯科技有限公司 视音频同步方法
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
US8788080B1 (en) 2006-09-12 2014-07-22 Sonos, Inc. Multi-channel pairing in a media system
US8483853B1 (en) 2006-09-12 2013-07-09 Sonos, Inc. Controlling and manipulating groupings in a multi-zone media system
US20080085124A1 (en) * 2006-10-10 2008-04-10 Lsi Logic Corporation Clock generation with minimum number of crystals in a multimedia system
JP4948147B2 (ja) * 2006-12-15 2012-06-06 富士通株式会社 複合コンテンツファイルの編集方法および装置
JP4589355B2 (ja) * 2007-03-30 2010-12-01 株式会社東芝 ストリーム再生装置
JP2009021885A (ja) * 2007-07-12 2009-01-29 Panasonic Corp デジタルテレビ放送記録再生装置およびその再生方法
US7668094B2 (en) * 2007-08-06 2010-02-23 Ittiam Systems (P) Ltd. Time-offset regulated method and system for synchronization and rate control of media data
FR2926694B1 (fr) * 2008-01-18 2010-04-16 Sagem Comm Decodeur de donnees video et procede de decodage de donnees video
JP5094478B2 (ja) * 2008-03-06 2012-12-12 株式会社日立製作所 受信装置
US8208500B2 (en) * 2009-12-30 2012-06-26 Nxp B.V. Low-jitter end-to-end latency control scheme for isochronous communications based on transmitter timestamp information
CN101924905A (zh) * 2010-09-01 2010-12-22 新邮通信设备有限公司 可视电话通信中加解密的方法及系统
US11429343B2 (en) 2011-01-25 2022-08-30 Sonos, Inc. Stereo playback configuration and control
US11265652B2 (en) 2011-01-25 2022-03-01 Sonos, Inc. Playback device pairing
US8938312B2 (en) 2011-04-18 2015-01-20 Sonos, Inc. Smart line-in processing
US9451313B2 (en) 2011-06-29 2016-09-20 Harman International Industries, Incorporated Network media adapter
US9042556B2 (en) 2011-07-19 2015-05-26 Sonos, Inc Shaping sound responsive to speaker orientation
CN102307321A (zh) * 2011-08-31 2012-01-04 深圳创维数字技术股份有限公司 数字电视接收终端、前端服务器及数据同步方法
US9729115B2 (en) 2012-04-27 2017-08-08 Sonos, Inc. Intelligently increasing the sound level of player
US9008330B2 (en) 2012-09-28 2015-04-14 Sonos, Inc. Crossover frequency adjustments for audio speakers
US9510055B2 (en) 2013-01-23 2016-11-29 Sonos, Inc. System and method for a media experience social interface
KR20140099146A (ko) * 2013-02-01 2014-08-11 한국전자통신연구원 다중 영상 기반 방송 서비스를 위한 다중 영상의 기준 ｐｃｒ 결정 방법 및 그 장치
US9485533B2 (en) 2013-03-13 2016-11-01 Nagrastar Llc Systems and methods for assembling and extracting command and control data
US9647997B2 (en) 2013-03-13 2017-05-09 Nagrastar, Llc USB interface for performing transport I/O
US9888283B2 (en) 2013-03-13 2018-02-06 Nagrastar Llc Systems and methods for performing transport I/O
USD758372S1 (en) * 2013-03-13 2016-06-07 Nagrastar Llc Smart card interface
USD759022S1 (en) 2013-03-13 2016-06-14 Nagrastar Llc Smart card interface
USD729808S1 (en) 2013-03-13 2015-05-19 Nagrastar Llc Smart card interface
US9307508B2 (en) 2013-04-29 2016-04-05 Google Technology Holdings LLC Systems and methods for syncronizing multiple electronic devices
US9654545B2 (en) 2013-09-30 2017-05-16 Sonos, Inc. Group coordinator device selection
US9244516B2 (en) 2013-09-30 2016-01-26 Sonos, Inc. Media playback system using standby mode in a mesh network
US20150095679A1 (en) 2013-09-30 2015-04-02 Sonos, Inc. Transitioning A Networked Playback Device Between Operating Modes
US9720576B2 (en) 2013-09-30 2017-08-01 Sonos, Inc. Controlling and displaying zones in a multi-zone system
US9288596B2 (en) 2013-09-30 2016-03-15 Sonos, Inc. Coordinator device for paired or consolidated players
US9300647B2 (en) 2014-01-15 2016-03-29 Sonos, Inc. Software application and zones
US9313591B2 (en) 2014-01-27 2016-04-12 Sonos, Inc. Audio synchronization among playback devices using offset information
US20150220498A1 (en) 2014-02-05 2015-08-06 Sonos, Inc. Remote Creation of a Playback Queue for a Future Event
US9226087B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9226073B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9679054B2 (en) 2014-03-05 2017-06-13 Sonos, Inc. Webpage media playback
US10587693B2 (en) 2014-04-01 2020-03-10 Sonos, Inc. Mirrored queues
US20150324552A1 (en) 2014-05-12 2015-11-12 Sonos, Inc. Share Restriction for Media Items
US20150356084A1 (en) 2014-06-05 2015-12-10 Sonos, Inc. Social Queue
US9874997B2 (en) 2014-08-08 2018-01-23 Sonos, Inc. Social playback queues
CN105446926B (zh) * 2014-09-09 2020-09-22 纳瑞塔有限责任公司 用于执行传输i/o的usb接口
EP3114625A1 (en) 2014-09-24 2017-01-11 Sonos, Inc. Social media connection recommendations based on playback information
US9667679B2 (en) 2014-09-24 2017-05-30 Sonos, Inc. Indicating an association between a social-media account and a media playback system
US9690540B2 (en) 2014-09-24 2017-06-27 Sonos, Inc. Social media queue
US9959087B2 (en) 2014-09-24 2018-05-01 Sonos, Inc. Media item context from social media
US10645130B2 (en) 2014-09-24 2020-05-05 Sonos, Inc. Playback updates
US9860286B2 (en) 2014-09-24 2018-01-02 Sonos, Inc. Associating a captured image with a media item
US9723038B2 (en) 2014-09-24 2017-08-01 Sonos, Inc. Social media connection recommendations based on playback information
USD780763S1 (en) 2015-03-20 2017-03-07 Nagrastar Llc Smart card interface
USD864968S1 (en) 2015-04-30 2019-10-29 Echostar Technologies L.L.C. Smart card interface
US10248376B2 (en) 2015-06-11 2019-04-02 Sonos, Inc. Multiple groupings in a playback system
EP3160147A1 (en) 2015-10-19 2017-04-26 Thomson Licensing Method for fast channel change, corresponding arrangement and device
WO2017090463A1 (ja) * 2015-11-27 2017-06-01 ソニー株式会社 受信装置および方法、並びに通信システム
US10303422B1 (en) 2016-01-05 2019-05-28 Sonos, Inc. Multiple-device setup
US9886234B2 (en) 2016-01-28 2018-02-06 Sonos, Inc. Systems and methods of distributing audio to one or more playback devices
US10652625B1 (en) 2016-06-27 2020-05-12 Amazon Technologies, Inc. Synchronization of multiple encoders for streaming content
US10812558B1 (en) 2016-06-27 2020-10-20 Amazon Technologies, Inc. Controller to synchronize encoding of streaming content
US10652292B1 (en) * 2016-06-28 2020-05-12 Amazon Technologies, Inc. Synchronization of multiple encoders for streaming content
US10712997B2 (en) 2016-10-17 2020-07-14 Sonos, Inc. Room association based on name
CN116233472B (zh) * 2023-05-08 2023-07-18 湖南马栏山视频先进技术研究院有限公司 一种音频视频同步的方法和云端处理系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2171184Y (zh) * 1993-05-20 1994-07-06 宋世鹏 一种接收加密电视信号的解密接收机
US5652627A (en) 1994-09-27 1997-07-29 Lucent Technologies Inc. System and method for reducing jitter in a packet-based transmission network
US5793927A (en) * 1995-06-07 1998-08-11 Hitachi America, Ltd. Methods for monitoring and modifying a trick play data stream to insure MPEG compliance
NZ500194A (en) * 1997-03-21 2000-12-22 Canal Plus Sa Broadcasting randomized subscriber entitlement management messages for digital television
GB2328099B (en) * 1997-08-08 2002-07-03 British Broadcasting Corp Processing coded video
JP3185863B2 (ja) * 1997-09-22 2001-07-11 日本電気株式会社 データ多重化方法および装置
JP3666625B2 (ja) * 1998-03-20 2005-06-29 パイオニア株式会社 データ記録方法およびデータ記録装置
JP2001036723A (ja) * 1999-07-16 2001-02-09 Sony Corp 著作権保護方法、情報信号伝送システム、情報信号出力装置、情報信号受信装置および情報信号記録媒体
JP2001045448A (ja) * 1999-07-30 2001-02-16 Nec Corp ディジタルｔｖ放送における映像データ同期方式
JP4256546B2 (ja) * 1999-08-24 2009-04-22 パナソニック株式会社 ストリーム多重分離装置
JP4129664B2 (ja) * 1999-10-05 2008-08-06 ソニー株式会社 データ処理装置およびデータ処理方法
JP2001177814A (ja) * 1999-12-21 2001-06-29 Mitsubishi Electric Corp 限定受信システム
JP2001291342A (ja) * 2000-04-06 2001-10-19 Matsushita Electric Ind Co Ltd ディジタル情報記録再生装置
JP2002125169A (ja) * 2000-10-18 2002-04-26 Pioneer Electronic Corp 番組案内装置および番組案内方法
JP2002171526A (ja) * 2000-11-30 2002-06-14 Canon Inc データ処理装置、データ処理システム、データ処理方法、及び記憶媒体

Also Published As

Publication number Publication date
AU2003236989A1 (en) 2004-01-19
ATE361634T1 (de) 2007-05-15
WO2004004330A2 (en) 2004-01-08
DE60313613D1 (de) 2007-06-14
US20040001591A1 (en) 2004-01-01
CN100431353C (zh) 2008-11-05
CN1663277A (zh) 2005-08-31
US7315622B2 (en) 2008-01-01
JP2005531245A (ja) 2005-10-13
EP1520423A2 (en) 2005-04-06
EP1520423B1 (en) 2007-05-02
KR100984638B1 (ko) 2010-10-05
AU2003236989A8 (en) 2004-01-19
WO2004004330A3 (en) 2004-03-11
DE60313613T2 (de) 2007-09-06
KR20050023332A (ko) 2005-03-09

Similar Documents

Publication Publication Date Title
JP4570462B2 (ja) パーソナルビデオレコーディングの応用におけるｍｐｅｇデコーダでの音声画像同期を達成する安定した方法
US7742687B2 (en) Digital television recorders and stream format conversion and methods thereof
US8233780B2 (en) Reproducing apparatus and method, and recording medium
JP2003519992A (ja) データストリームの変換方法と装置
JP2003519985A (ja) データストリームの変換方法と装置
JP4468001B2 (ja) ビデオデータと補助データの読み出し同期装置及び処理及び関連製品
US20070286245A1 (en) Digital signal processing apparatus and data stream processing method
JPH08340541A (ja) デジタルデータの伝送方法、伝送装置、記録方法、記録装置、再生方法、再生装置、記録再生方法及び記録再生装置
KR101014664B1 (ko) 복수의 데이터 스트림 간의 연속 재생을 보장하는 재생방법 및 그 재생 장치
US8254764B2 (en) Recording apparatus, image reproducing apparatus, and special reproduction method therefor
CA2490879C (en) Reproducing apparatus and method, and recording medium
JP2002354419A (ja) 記録再生装置および方法、記録媒体、並びにプログラム
US20080310647A1 (en) Audio stream processing method, playback apparatus, and output apparatus
JP4763589B2 (ja) 再生装置、および、その再生方法
CA2725179C (en) Reproducing apparatus and method, and recording medium
KR100539731B1 (ko) 전송스트림저장장치및방법
KR100527843B1 (ko) 엠펙-2 비디오/오디오 전송 스트림 처리 장치 및 그 방법과 그를 이용한 동기화 데이터 서비스 시스템 및 그 방법
JP4187040B2 (ja) 記録再生装置
JP2019186732A (ja) レコーダおよび録画情報の再生方法
JP2001119668A (ja) 記録装置
JP2004200798A (ja) Ｍｐｅｇトランスポートストリーム生成装置、ｍｐｅｇトランスポートストリーム記録再生装置
JP2007150845A (ja) データ再生装置，データ再生方法およびそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060605

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091120

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100216

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100611

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100712

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100715

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100810

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130820

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130820

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130820

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130820

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees