JP5971442B1 - 送信装置および送信方法 - Google Patents

送信装置および送信方法 Download PDF

Info

Publication number
JP5971442B1
JP5971442B1 JP2016100415A JP2016100415A JP5971442B1 JP 5971442 B1 JP5971442 B1 JP 5971442B1 JP 2016100415 A JP2016100415 A JP 2016100415A JP 2016100415 A JP2016100415 A JP 2016100415A JP 5971442 B1 JP5971442 B1 JP 5971442B1
Authority
JP
Japan
Prior art keywords
sequence
image data
picture
encoded image
timing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016100415A
Other languages
English (en)
Other versions
JP2016167877A (ja
Inventor
塚越　郁夫
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Application granted granted Critical
Publication of JP5971442B1 publication Critical patent/JP5971442B1/ja
Publication of JP2016167877A publication Critical patent/JP2016167877A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/46—Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)

Abstract

【課題】フレームレートの切り替え部を持つビデオデータが配信される場合、受信側において表示連続性を容易に確保可能とする。【解決手段】第１のシーケンスの符号化画像データからこの第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオデータを生成し、このビデオデータを含む所定フォーマットのコンテナを送信する。第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化し、第２のシーケンスの符号化画像データの最初のピクチャのデコードタイミングが、第１のシーケンスの符号化画像データの最後のピクチャのデコードタイミングに、該第１のシーケンスの符号化画像データの１ピクチャ分の時間間隔を加えたタイミングとなるように符号化する。【選択図】図２４

Description

本技術は、送信装置および送信方法に関する。
現状の放送サービスにおけるフレームレートは例えば２９．９７Ｈｚとされている。しかし、今後、その他のフレームレートを採用した放送サービスも行われる可能性がある（例えば、特許文献１参照）。その場合、途中にフレームレートの切り替え部を持つビデオデータを配信するという状況も考えられる。
特開２０１１-１７２１６４号公報
本技術の目的は、フレームレートの切り替え部を持つビデオデータが配信される場合、受信側において表示連続性を容易に確保可能とすることにある。
本技術の概念は、
第１のシーケンスの符号化画像データから該第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオデータを生成する画像符号化部と、
上記生成されたビデオデータを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、
上記第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと上記第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化を行う
送信装置にある。
本技術において、画像符号化部により、第１のシーケンスの符号化画像データからこの第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオデータが生成される。この場合、画像符号化部では、第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化が行われる。
送信部により、上述のビデオデータを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。
このように本技術においては、第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化が行われるものである。そのため、例えば、受信側において、第１のシーケンスと第２のシーケンスの表示連続性を容易に確保可能となる。
なお、本技術において、例えば、画像符号化部は、デコードしてから表示するまでの遅延ピクチャ数が、第１のシーケンスの符号化画像データと第２のシーケンスの符号化画像データとで同一となるように符号化する、ようにされてもよい。このように符号化されることで、例えば、受信側におけるバッファ破綻を回避することが可能となる。
また、本技術において、例えば、画像符号化部は、第２のシーケンスの符号化画像データの最初のピクチャのデコードタイミングが、第１のシーケンスの符号化画像データの最後のピクチャのデコードタイミングに、この第１のシーケンスの符号化画像データの１ピクチャ分の時間間隔を加えたタイミングとなるように符号化する、ようにされてもよい。このように符号化されることで、例えば、受信側において、第１のシーケンスと第２のシーケンスのデコードタイミングの連続性を容易に確保でき、第２のシーケンスの最初のピクチャの読み遅れを良好に回避可能となる。
また、本技術において、例えば、ビデオデータの各ピクチャの符号化画像データ毎に、フレームレートに変化があるか否かを示す情報を挿入する情報挿入部をさらに備える、ようにされてもよい。この場合、例えば、情報がフレームレートに変化があることを示すとき、この情報に変化後のフレームレートの値を示す情報が付加される、ようにされてもよい。このように情報が挿入されることで、受信側において、第１のシーケンスから第２のシーケンスへの変化点を容易に把握可能となる。
また、本技術において、例えば、ビデオデータをコンテナするパケットに、第１のシーケンスの符号化画像データから第２のシーケンスの符号化画像データに変化することを通知する情報を挿入する情報挿入部をさらに備える、ようにされてもよい。この場合、例えば、情報挿入部は、通知情報を、ペイロードにピクチャ毎の符号化画像データを含むＰＥＳパケットのエクステンションフィールドに挿入する、ようにされてもよい。このように通知情報が挿入されることで、受信側においては、第１のシーケンスから第２のシーケンスへの変化を容易に把握可能となる。
この場合、例えば、通知情報には、デコード時刻の値の変化に関して不連続があるか否かを示す情報が含まれる、ようにされてもよい。そして、例えば、情報が不連続があることを示すとき、情報に不連続が生じるまでのピクチャ数のカウントダウン値が付加される、ようにされてもよい。
また、この場合、例えば、通知情報には、ピクチャ毎の表示時間間隔が切り替わるか否かを示す情報が含まれる、ようにされてもよい。そして、例えば、情報が切り替わることを示すとき、上記情報に、切り替わるまでのピクチャ数のカウントダウン値が付加される、ようにされてもよい。
また、本技術において、例えば、コンテナのレイヤに、第１のシーケンスの符号化画像データから第２のシーケンスの符号化画像データに変化することを通知する情報を挿入する情報挿入部をさらに備える、ようにされてもよい。この場合、例えば、通知情報には、第１のシーケンスのフレームレートおよび第２のシーケンスのフレームレートの情報が含まれる、ようにされてもよい。このように通知情報が挿入されることで、受信側においては、第１のシーケンスから第２のシーケンスへの変化を容易に把握可能となる。
また、本技術の他の概念は、
第１のシーケンスの符号化画像データから該第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオデータを含む所定フォーマットのコンテナを受信する受信部を備え、
上記ビデオデータは、上記第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと上記第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化されており、
上記受信されたコンテナに含まれているビデオデータを復号化して上記第１のシーケンスおよび上記第２のシーケンスの表示の連続性が維持された画像データを得る画像復号化部をさらに備える
受信装置にある。
本技術において、受信部により、所定フォーマットのコンテナが受信される。このコンテナには、第１のシーケンスの符号化画像データから該第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオデータが含まれている。そして、画像復号化部により、受信されたコンテナに含まれているビデオデータが復号化されて、第１のシーケンスおよび第２のシーケンスの表示の連続性が維持された画像データが得られる。
ここで、ビデオデータは、第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化されている。そのため、第１のシーケンスと第２のシーケンスの表示連続性を容易に確保可能となる。
なお、本技術において、例えば、画像復号化部は、上記同一タイミングより前では第２のシーケンスの各ピクチャの符号化画像データを、第１のシーケンスの各ピクチャの符号化画像データの復号化タイミングに同期したタイミングで復号化する、ようにされてもよい。この場合、非同期の２つの垂直同期信号を同時に発生させるような実装を回避可能となる。
また、本技術において、例えば、ビデオデータをコンテナするパケットおよび/またはコンテナのレイヤに、第１のシーケンスの符号化画像データから第２のシーケンスの符号化画像データに変化することを通知する情報が挿入されており、画像復号化部の処理はこの通知情報を用いて制御される、ようにされてもよい。
また、本技術の他の概念は、
第１のシーケンスの符号化画像データから該第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオデータを受信する受信部と、
上記受信されたビデオデータを処理する処理部を備え、
上記ビデオデータは、上記第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと上記第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化されている
受信装置にある。
本技術において、受信部により、第１のシーケンスの符号化画像データからこの第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオデータが受信される。そして、処理部により、その受信されたビデオデータが処理される。
この場合、ビデオデータは、第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化されている。これにより、例えば、第１のシーケンスと第２のシーケンスの表示連続性を容易に確保可能となる。
なお、例えば、このビデオデータは、デコードしてから表示するまでの遅延ピクチャ数が、第１のシーケンスの符号化画像データと第２のシーケンスの符号化画像データとで同一となるように符号化されている、ようにされてもよい。また、例えば、ビデオデータは、第２のシーケンスの符号化画像データの最初のピクチャのデコードタイミングが、第１のシーケンスの符号化画像データの最後のピクチャのデコードタイミングに、この第１のシーケンスの符号化画像データの１ピクチャ分の時間間隔を加えたタイミングとなるように符号化されている、ようにされてもよい。
本技術によれば、受信側において表示連続性を容易に確保可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 送信装置の構成例を示すブロック図である。 表示連続性を確保するためのエンコーダのＨＲＤ制御の一例を示す図である。 エンコーダのＨＲＤ制御の一例を示す図である。 テンポラル・リフレッシュ・インフォメーションＳＥＩを挿入するためのインタフェースの構造例と、「temporal_refresh_information()」の構造例を示す図である。 「temporal_refresh_information()」の構造例の主要な情報の内容を示す図である。 エンコーダの構成例を示すブロック図である。 エンコーダの処理フローの一例を示す図である。 ＰＥＳエクステンション・フィールド・データ（pes_extension_field_data）の構造例と、その主要な情報の内容を示す図である。 テンポラル・ディスコンティニュティ・インフォメーション（temporal_discontinuity_information（））の構造例を示す図である。 テンポラル・ディスコンティニュティ・インフォメーション（temporal_discontinuity_information（））の構造例における主要な情報の内容を示す図である。 第１のシーケンス（シーケンスＡ）から第２のシーケンス（シーケンスＢ）への切り替え時の表示連続性に関する各情報の変換の一例を示す図である。 ビデオ・パラメータ・デスクリプタ（Video_parameter_descriptor）の構造例を示す図である。 ビデオ・パラメータ・デスクリプタ（Video_parameter_descriptor）の構造例における主要な情報の内容を示す図である。 マルチプレクサの構成例を示すブロック図である。 マルチプレクサの処理フローの一例を示す図である。 トランスポートストリームＴＳの構成例を示す図である。 受信装置の構成例を示すブロック図である。 デマルチプレクサの構成例を示すブロック図である。 デマルチプレクサの処理フローの一例を示す図である。 デコーダの構成例を示すブロック図である。 垂直同期信号Ｖsyncの切り替えタイミングの一例を説明するための図である。 垂直同期信号Ｖsyncの切り替えタイミングの他の一例を説明するための図である。 表示連続性およびデコード連続性を確保するためのエンコーダのＨＲＤ制御の一例を示す図である。
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００を有する構成となっている。
送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、フレームレートの切り替え部、つまり第１のシーケンスの符号化画像データからこの第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオストリームが含まれる。
例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５/ ＨＥＶＣなどの符号化が施される。ここで、第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化が行われる。これにより、例えば、受信側において、第１のシーケンスと第２のシーケンスの表示連続性を容易に確保可能となる。
ビデオストリームの各ピクチャの符号化画像データ毎に、フレームレートに変化があるか否かを示す情報が挿入される。これにより、例えば、受信側において、第１のシーケンスから第２のシーケンスへの変化点を容易に把握可能となる。
また、ビデオストリームをコンテナするパケット、例えば、ＰＥＳパケットに、第１のシーケンスの符号化画像データから第２のシーケンスの符号化画像データに変化することを通知する情報が挿入される。また、コンテナのレイヤ、つまりトランスポートストリームのレイヤに、第１のシーケンスの符号化画像データから第２のシーケンスの符号化画像データに変化することを通知する情報が挿入される。これにより、例えば、受信側において、第１のシーケンスから第２のシーケンスへの変化を容易に把握可能となる。
受信装置２００は、送信装置１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。受信装置２００は、このトランスポートストリームＴＳに含まれるビデオストリームを復号化して画像データを得る。上述したように第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるようにビデオストリームの符号化が行われている。そのため、第１のシーケンスおよび第２のシーケンスの表示の連続性が維持された画像データが得られる。
ここで、ビデオストリームをコンテナするパケットおよび/またはコンテナのレイヤに、第１のシーケンスの符号化画像データから第２のシーケンスの符号化画像データに変化することを通知する情報が挿入されている。画像復号化の処理はこの通知情報に基づいて制御される。例えば、第１のシーケンスから第２のシーケンスへの切り替え部がこの通知情報に基づいて把握され、第１のシーケンスの符号化画像データに同期した垂直同期信号から第２のシーケンスの符号化画像データに同期した垂直同期信号への切り替えが行われる。
また、上述の同一のタイミングより前では第２のシーケンスの各ピクチャの符号化画像データは、第１のシーケンスの各ピクチャの符号化画像データの復号化タイミングに同期したタイミングで復号化される。これにより、例えば、非同期の２つの垂直同期信号を同時に発生させるような実装を回避可能となる。
「送信装置の構成」
図２は、送信装置１００の構成例を示している。この送信装置１００は、ＣＰＵ（Central Processing Unit）１０１と、エンコーダ１０２と、圧縮データバッファ（ｃｐｂ：coded picture buffer）１０３と、マルチプレクサ１０４と、送信部１０５を有している。ＣＰＵ１０１は、制御部であり、送信装置１００の各部の動作を制御する。
エンコーダ１０２は、非圧縮画像データを入力して符号化を行う。エンコーダ１０２は、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５/ ＨＥＶＣなどの符号化を行う。この実施の形態において、エンコーダ１０２には、フレームレートを異にする非圧縮画像データが切り替え入力される。そのため、エンコーダ１０２は、フレームレートの切り替え部、つまり第１のシーケンスの符号化画像データからこの第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオストリーム（ビデオデータ）を生成する。
ここで、エンコーダ１０２は、第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一となるように符号化を行う。
図３は、エンコーダ１０２のＨＲＤ（Hypothetical Reference Decoder）制御の一例を示している。階段状の実線ａは、エンコード（符号化）により発生するデータ量の推移を示しており、各段がそれぞれ一つのピクチャの単位に対応している。段の高さは、エンコードにより発生するデータ量を示している。
タイミングＰ０は、第１のシーケンス（シーケンスＡ）の最初のピクチャの符号化画像データの最初のバイトがｃｐｄ（coded picture buffer:圧縮データバッファ）に入るタイミングを示している。タイミングＰ１は、第１のシーケンスの最後のピクチャの符号化画像データの最初のバイトがｃｐｄに入るタイミングを示している。タイミングＰ２は、第１のシーケンスの最後のピクチャの符号化画像データの最後のバイトがｃｐｄに入るタイミングを示すと共に、第２のシーケンス（シーケンスＢ）の最初のピクチャの符号化画像データの最初のバイトがｃｐｄに入るタイミングを示している。
また、Ｒａは、第１のシーケンスの最初のピクチャの符号化画像データのｃｐｄへの入力ビットレートを示している。ここで、第１のシーケンスの最初のピクチャの符号化画像データのデータ量がＱａであってＴａの時間をもってｃｐｄに入力されるとき、Ｒａ＝Ｑａ/Ｔａとなる。なお、図示の例では、第１のシーケンスのその他のピクチャの符号化画像データのｃｐｄへの入力ビットレートもＲａである場合を示している。
また、Ｒｂは、第２のシーケンスの最初のピクチャの符号化画像データのｃｐｄへの入力ビットレートを示している。ここで、第２のシーケンスの最初のピクチャの符号化画像データのデータ量がＱｂであってＴｂの時間をもってｃｐｄに入力されるとき、Ｒｂ＝Ｑｂ/Ｔｂとなる。なお、図示の例では、第２のシーケンスのその他のピクチャの符号化画像データのｃｐｄへの入力ビットレートもＲｂである場合を示している。なお、Ｒａ，Ｒｂとも、固定ビットレート（constant_bit_rate）の例を示しているが、これに限定せずとも、可変ビットレート（variable_bit_rate）でも考え方は同じである。
階段状の実線ｂは、デコード（復号化）により消費するデータ量の推移を示しており、各段がそれぞれ一つのピクチャの単位に対応している。段の高さは、デコードにより消費するデータ量を示している。Ｑcpbは、ｃｐｄの占有量を示している。この占有量が、どのタイミングにおいてもｃｐｂのサイズ（メモリ容量）に収まるようにエンコードされる。
図示の例では、第１のシーケンスは、４ピクチャからなり、ａ０，ａ１，ａ２，ａ３の順にデコードされると共に、ａ０，ａ２，ａ３，ａ１の順に表示される。この場合、デコードされた各ピクチャの画像データは、ｄｐｂ（decoded picture buffer:非圧縮データバッファ）に入力される。この例において、第１のシーケンスのデコードが行われてから表示が開始されるまでの遅延ピクチャ数は２ピクチャとされている。
第１のシーケンスの各ピクチャは、そのフレームレート（フレーム周波数）に対応した時間間隔を持つ垂直同期信号（Ｖsync）のタイミングでデコードおよび表示がなされる。例えば、ａ０，ａ１，ａ２，ａ３のピクチャは、Ｔａ(0)，Ｔａ(1)，Ｔａ(2)，Ｔａ(3)のタイミングでデコードが行われ、ａ０，ａ２，ａ３，ａ１のピクチャは、Ｔａ(2)，Ｔａ(3)，Ｔａ(4)，Ｔａ(5)のタイミングで表示が開始される。
第２のシーケンスは、６ピクチャからなり、ｂ０，ｂ１，ｂ２，ｂ３，ｂ４，ｂ５の順にデコードされると共に、ｂ１，ｂ２，ｂ０，ｂ４，ｂ５，ｂ３の順に表示される。この場合、デコードされた各ピクチャの画像データは、ｄｐｂに入力される。この例において、第２のシーケンスのデコードが行われてから表示が開始されるまでの遅延ピクチャ数は、第１のシーケンスにおけると同様に、２ピクチャとされている。これにより、バッファ破綻が回避される。
第２のシーケンスの各ピクチャは、そのフレームレート（フレーム周波数）に対応した時間間隔を持つ垂直同期信号（Ｖsync）のタイミングでデコードおよび表示がなされる。例えば、ｂ０，ｂ１，ｂ２，ｂ３，ｂ４，ｂ５は、Ｔｂ(0)，Ｔｂ(1)，Ｔｂ(2)，Ｔｂ(3) ，Ｔｂ(4)，Ｔｂ(5)のタイミングでデコードが行われ、ｂ１，ｂ２，ｂ０，ｂ４，ｂ５，ｂ３のピクチャは、Ｔｂ(2)，Ｔｂ(3)，Ｔｂ(4)，Ｔｂ(5) ，Ｔｂ(6)，Ｔｂ(7)のタイミングで表示が開始される。
この例において、第１のシーケンスの最後のピクチャの表示終了タイミングと第２のシーケンスの最初のピクチャの表示開始タイミングが同一とされる。すなわち、Ｔａ(6)のタイミングと、Ｔｂ(2)のタイミングが等しくされる。これにより、第１のシーケンスと、第２のシーケンスの表示の連続性が保たれる。
この際、第２のシーケンスの最初のピクチャのデコードタイミング（Ｔｂ(0)）は、第２のシーケンスの最初のピクチャの先頭バイトが圧縮データバッファ（ｃｐｂ）に蓄積され始めるタイミング（Ｐ２）から、“Initial_cpb_removal_delay B”だけ遅延を持たせたタイミングとなる。このタイミング（Ｔｂ(0)）が、タイミング（Ｔａ(4)）より遅くなっていれば、第２のシーケンスの最初のピクチャの読み遅れが回避される。
図４もＨＲＤ制御の一例を示している。この例は、上述の図３に示すＨＲＤ制御に対する比較例である。この例では、第２のシーケンスの最初のピクチャのデコードタイミング（Ｔｂ(0)）は、第１のシーケンスの最後のピクチャのデコードタイミング（Ｔａ(3)）にその第２のシーケンスの１フレーム分の期間を加えたタイミング（Ｔa(4)）と、同一のタイミングとされる。
この場合、第１のシーケンスと第２のシーケンスのデコードタイミングの連続性は保たれるが、表示の連続性は保たれなくなる。すなわち、第１のシーケンスの最後のピクチャの表示終了タイミング（Ｔa(6)）と第２のシーケンスの最初のピクチャの表示開始タイミング（Ｔｂ(4)）はずれたものとなる。この場合には、Ｐ３で示すように、第１のシーケンスの最後のピクチャの表示をタイミング（Ｔｂ(4)）の手前まで引き延ばす必要が生じる。
また、エンコーダ１０２は、ビデオストリームの各ピクチャの符号化画像データ毎に、フレームレートに変化があるか否かを示す情報を挿入する。エンコーダ１０２は、この情報を、新たに定義する、テンポラル・リフレッシュ・インフォメーションＳＥＩ（Temporal_refresh_information SEI）を、プリフィックスＳＥＩ（Prefix_SEI）の一つとして挿入する。
図５（ａ）は、テンポラル・リフレッシュ・インフォメーションＳＥＩを挿入するためのインタフェース（I/F）の構造例(Syntax)を示している。「uuid_iso_iec_11578」のフィールドは、“ISO/IEC 11578:1996 Annex A.”で示されるＵＵＩＤ値を持つ。「user_data_payload_byte」のフィールドに、「temporal_refresh_information()」が挿入される。
図５（ｂ）は、「temporal_refresh_information()」の構造例(Syntax)を示している。図６は、その構造例における主要な情報の内容（Semantics）を示している。「userdata_id」の１６ビットフィールドには、所定のユーザデータのＩＤを付す。「temporal_refresh_information_length」の８ビットフィールドは、“temporal_refresh_information”のバイト数（本要素の次の要素からカウント）を示す。
「temporal_timing_discontinuity_flag」の１ビットフィールドは、表示の時間情報、タイムスタンプに不連続が生じることを示すフラグである。“１”は、不連続が生じることを示す。“０”は、不連続が生じないことを示す。“１”であるとき、「num_unit_in_tick」の８ビットフィールドと、「times_scale」の８ビットフィールドが存在する。
「num_unit_in_tick」の８ビットフィールドは、該当するスライス（slice）あるいはピクチャ（picture）の表示期間を示すクロック数である。「times_scale」の８ビットフィールドは、時間情報のスケーリング値を示す。ここで、times_scale/ num_unit_in_tickを計算することでフレームレート（フレーム周波数）を求めることができる。
図７は、エンコーダ１０２の構成例を示している。このエンコーダ１０２は、バッファ遅延制御部１２２と、ＨＲＤ（Hypothetical Reference Decoder）設定部１２３と、パラメータセット/ＳＥＩエンコード部１２４と、スライスエンコード部１２５と、ＮＡＬパケット化部１２６を有している。
バッファ遅延制御部１２２は、時系列的に切り替わる前後のシーケンス間で、シーケンスのバッファリング（buffering）初期値である、“initial_cpb_removal_delay ”と、ピクチャ毎の“cpb_removal_delay”、“ dpb_output_delay”を計算する。この場合、２つのシーケンス間で、表示の連続接続関係を保証するように、前のシーケンスの最後のピクチャのdpbバッファ出力と、後のシーケンスの最初のピクチャのdpbバッファ出力とが時系列的に連続するように、両者の“dpb_output_delay”、そして、“cpb_removal_delay”を制御する（図３参照）。
「initial cpb removal time」は、ｃｐｂ（圧縮データバッファ）からＧＯＰ（Group Of Picture）の先頭のピクチャの符号化画像データをデコードする際に取り出す時刻（初期時刻）を示す。「cpb_removal_delay」は、各ピクチャの符号化画像データをｃｐｂから取り出す時間であり、「initial_cpb_removal_time」と合わせて各ピクチャのデコード時刻が決まる。また、「dpb_output_delay」は、デコード後ｄｐｂ（非圧縮データバッファ）に入ってから取り出すまでの時間を示す。
ＨＲＤ設定部１２３は、バッファ遅延制御部１２２で計算された、「initial cpb removal time」、「cpb_removal_delay」、「dpb_output_delay」の情報に基づいて、ＨＲＤ設定を行う。パラメータセット/ＳＥＩエンコード部１２４は、ＨＲＤ設定などに基づいて、ＶＰＳ（Video Parameter Set）、ＳＰＳ（Sequence Parameter Set）などのパラメータセットの他に、ＳＥＩを生成する。
例えば、「cpb_removal_delay」と「dpb_output_delay」を含むピクチャ・タイミング・ＳＥＩ（Picture_timing SEI）が生成される。また、例えば、「initial_cpb_removal_time」を含むバッファリング・ピリオド・ＳＥＩ（Buffereing_Perifod SEI）が生成される。また、例えば、上述したように、切り替えタイミングを明示する、テンポラル・リフレッシュ・インフォメーションＳＥＩ（temporal_refresh_information SEI）が生成される。
スライスエンコード部１２５は、各ピクチャの画像データをエンコードしてスライスデータ（slice segment header, slice segment data）を得る。スライスデコード部１２５は、フレームバッファにより、時間方向の予測の状態を表す情報として、「Prediction Unit」の予測先ピクチャのインデックスを示す「ref_idx_l0_active(ref_idx_l1_active)を、「slice segment header」に挿入する。これにより、デコード時には、被参照ピクチャが決定される。また、スライスエンコード部１２５は、現在のスライス（slice）のインデックスを、「short_term_ref_pic_set_idx」、 あるいは「it_idx_sps」として、「slice segment header」に挿入する。
ＮＡＬパケット化部１２６は、パラメータセット/ＳＥＩエンコード部１２４で生成されたパラメータセットおよびＳＥＩと、スライスエンコード部１２５で生成されるスライスデータに基づき、各ピクチャの符号化画像データを生成し、ビデオストリーム（符号化ストリーム）を出力する。
図８は、エンコーダ１０２の処理フローの一例を示す。エンコーダ１０２は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、エンコーダ１０２は、符号化する動画シーケンスのパラメータをチェックする。このパラメータには、フレームレート（フレーム周波数）も含まれる。
次に、エンコーダ１０２は、ステップＳＴ３において、シーケンス間でフレームレートに変化があるか否かを判断する。フレームレートに変化があるとき、エンコーダ１０２は、ステップＳＴ４の処理に進む。このステップＳＴ４において、変化点の前後のバッファ入出力タイミング管理を行う。
この場合、以下の（１）式を満足させる。
T_2(first_presentation)=
T_1(last_presentation) + 1* (T_1 temporal disctance)
・・・（１）
ここで、“T_2(first_presentation)”は、第２のシーケンスの最初のピクチャの表示開始タイミングを示す。“T_1(last_presentation)”は、第１のシーケンスの最後のピクチャの表示開始タイミングを示す。“T_1 temporal disctance”は、第１のシーケンスの垂直同期信号間の時間間隔、すなわちフレーム期間を示す。
ステップＳＴ４の処理後、エンコーダ１０２は、ステップＳＴ５の処理に進む。上述のステップＳＴ３でフレームレートに変化がないとき、エンコーダ１０２は、直ちに、ステップＳＴ５の処理に移る。このステップＳＴ５において、エンコーダ１０２は、すべてのピクチャ（Slice) において、ＨＲＤ管理を行い、スライス（Slice）、パラメータセット（parameter set）、ＳＥＩなどの符号化を行ったうえで、ストリームをＮＡＬパケット（NAL packet）で構成させる。その後、エンコーダ１０２は、ステップＳＴ６において、処理を終了する。
図２に戻って、圧縮データバッファ(ｃｐｂ)１０３は、エンコーダ１０２で生成された、各ピクチャの符号化データを含むビデオストリームを、一時的に蓄積する。マルチプレクサ１０４は、圧縮データバッファ１０３に蓄積されているビデオストリームを読み出し、ＰＥＳパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。
マルチプレクサ１０４は、ビデオストリームをコンテナするパケット、例えば、ＰＥＳパケットに、第１のシーケンスの符号化画像データから第２のシーケンスの符号化画像データに変化することを通知する情報を挿入する。この実施の形態においては、ＰＥＳパケットのＰＥＳエクステンション（PES extension）のフィールドに、テンポラル・ディスコンティニュティ・インフォメーション（temporal_discontinuity_information）を定義する。
このテンポラル・ディスコンティニュティ・インフォメーションには、デコード時刻の値の変化に関して不連続があるか否かを示す情報が含まれ、その情報が不連続があることを示すとき、その情報に不連続が生じるまでのピクチャ数のカウントダウン値が付加される。また、このテンポラル・ディスコンティニュティ・インフォメーションには、ピクチャ毎の表示時間間隔が切り替わるか否かを示す情報が含まれ、その情報が切り替わることを示すとき、その情報に切り替わるまでのピクチャ数のカウントダウン値が付加される。
図９（ａ）は、ＰＥＳエクステンション・フィールド・データ（pes_extension_field_data）の構造例(Syntax)を示している。図９（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。なお、「PES_extension field length」は、このシンタクス構造の外部で与えられるものとする。「start_sync_byte」の８ビットフィールドは、エクステンション・フィールド（extension field）の開始を表す符号値を示す。
「extension_field_type」の８ビットフィールドは、エクステンションフィールドのタイプを示す。“０ｘ０１”は、「temporal_discontinuity_information」のタイプ、つまりアクセスユニット（ピクチャ）の時間的な不連続性の情報を供給する構造であることを示す。エクステンションフィールドのタイプが“０ｘ０１”であるとき、「data_byte」のフィールドに、テンポラル・ディスコンティニュティ・インフォメーション（temporal_discontinuity_information）が挿入される。
図１０は、テンポラル・ディスコンティニュティ・インフォメーション（temporal_discontinuity_information（））の構造例(Syntax)を示している。図１１は、その構造例における主要な情報の内容（Semantics）を示している。
「decode_time_discontinuity_flag」の１ビットフィールドは、デコード時刻（あるいはDecodingTimeStamp)の値の変化に関して不連続なことがあるか否かを示すフラグ情報である。“１”は不連続なことがあることを示し、“０”は不連続なことがないことを示す。「presentation_frequency_change_flag」の１ビットフィールドは、アクセスユニットの表示時間間隔が切り替わるか否かを示すフラグ情報である。“１”は切り替わることを示し、“０”は切り替わらないことを示す。
「decode_time_discontinuity_flag」が“１”であるとき、「au_count_down_to_decode_time_switching」の８ビットフィールドが存在する。このフィールドは、デコード時刻の変化量に不連続が生じるまでのアクセスユニット（ピクチャ）単位のカウントダウン値を示す。例えば、“０ｘ００”は当該アクセスユニットが不連続点の前の最後のアクセスユニットであることを示し、“０ｘ０１〜０ｘＦＥ”は当該アクセスユニットの、不連続点前の最後のアクセスユニットまでのカウント値を示す。
また、「presentation_frequency_change_flag」が“１”であるとき、「au_count_down_to_presentation_frequency_change」の８ビットフィールドが存在する。このフィールドは、アクセスユニットごとの表示時間間隔が切り替わるまでのアクセスユニット単位のカウントダウン値を示す。例えば、“０ｘ００”は当該アクセスユニットが表示時間間隔切り替わり前の最後のアクセスユニットであることを示し、“０ｘ０１〜０ｘＦＥ”は当該アクセスユニットの、表示時間間隔切り替わり前の最後のアクセスユニットまでのカウント値を示す。
図１２は、第１のシーケンス（シーケンスＡ）から第２のシーケンス（シーケンスＢ）への切り替え時の表示連続性に関する各情報の変換の一例を示している。ここでは、第１のシーケンスの１フレーム期間を「Time Distance A」として、第２のシーケンスの１フレーム期間を「Time Distance B」としている。また、ここでは、テンポラル・リフレッシュ・インフォメーションＳＥＩ（Temporal_refresh_information SEI）に含まれる「temporal_timing_discontinuity_flag」のフラグ情報と、テンポラル・ディスコンティニュティ・インフォメーション（temporal_discontinuity_information）に含まれる「au_count_down_to_presentation_frequency_change」のカウントダウン値を示している。
また、マルチプレクサ１０４は、トランスポートストリームＴＳに、第１のシーケンスの符号化画像データから第２のシーケンスの符号化画像データに変化することを通知する情報を挿入する。
トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＭＴには、各ビデオストリームに関連した情報を持つビデオエレメンタリ・ループ（video ES1 loop）が存在する。このビデオエレメンタリ・ループには、各ビデオストリームに対応して、ストリームタイプ、パケット識別子（ＰＩＤ）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。この実施の形態において、マルチプレクサ１０４は、このデスクリプタの一つとして、新たに定義するビデオ・パラメータ・デスクリプタ（Video_parameter_descriptor）を挿入する。
図１３は、ビデオ・パラメータ・デスクリプタ（Video_parameter_descriptor）の構造例（Syntax）を示している。また、図１４は、その構造例における主要な情報の内容（Semantics）を示している。
「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、ビデオ・パラメータ・デスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。
「resolution_change_flag」の１ビットフィールドは、水平、垂直の解像度の変化があるか否かを示すフラグ情報である。「video_frame_rate_change_flag」の１ビットフィールドは、ピクチャのフレーム周波数（フレームレート）の変化があるか否かを示す１ビットフィールドである。「video_bit_depth_change_flag」の１ビットフィールドは、符号化ビット幅の変化があるか否かを示すフラグ情報である。「color_gamut_change_flag」の１ビットフィールドは、符号化したピクチャの色域の変化があるか否かを示すフラグ情報である。「dynamic_range_change_flag」の１ビットフィールドは、輝度の明度暗度の範囲の変化があるか否かを示すフラグ情報である。
「video_resolution1」の４ビットフィールドは、現在の水平、垂直の解像度を示す。「video_frame_rate1」の４ビットフィールドは、現在のピクチャのフレーム周波数を示す。「video_bit_depth1」は、現在の符号化ビット幅を示す。「color_gamut1」は、現在の符号化したピクチャの色域を示す。「luma_dynamic_range1」は、現在の輝度の明度暗度の範囲を示す。
「resolution_change_flag = 1」であって水平、垂直の解像度の変化があることが示されるとき、「video_resolution2」の４ビットフィールドが存在する。このフィールドは、変化後の水平、垂直の解像度を示す。また、「video_frame_rate_change_flag = 1」であってピクチャのフレーム周波数の変化があることが示されるとき、「video_frame_rate2」の４ビットフィールドが存在する。このフィールドは、変化後のピクチャのフレーム周波数を示す。
また、「video_bit_depth_change_flag = 1」であって符号化ビット幅の変化があることが示されるとき、「video_bit_depth2」の４ビットフィールドが存在する。このフィールドは、変化後の符号化ビット幅を示す。また、「color_gamut_change_flag = 1」であって符号化したピクチャの色域の変化があることが示されるとき、「color_gamut2」の４ビットフィールドが存在する。このフィールドは、変化後の符号化したピクチャの色域を示す。また、「dynamic_range_change_flag = 1」であって輝度の明度暗度の範囲の変化があることが示されるとき、「luma_dynamic_range2」の４ビットフィールドが存在する。このフィールドは、変化後の輝度の明度暗度の範囲を示す。
図１５は、マルチプレクサ１０４の構成例を示している。セクションコーディング部１４２と、ＰＥＳパケット化部１４３と、トランスポートパケット化部１４５を有している。
ＰＥＳパケット化部１４３は、圧縮データバッファ１０３に蓄積されているビデオストリーム（Elementary Stream）を読み込み、ＰＥＳパケットを生成する。この際、ＰＥＳパケット化部１４３は、ビデオストリームのＨＲＤ情報等を元にＤＴＳ（Decoding Time Stamp）、ＰＴＳ（Presentation Time Stamp）のタイムスタンプをＰＥＳヘッダに付与する。この場合、各ピクチャの「cpu_removal_delay」、「dpb_output_delay」が参照され、ＳＴＣ（System Time Clock）時刻に同期した精度で、各々ＤＴＳ、ＰＴＳに変換され、ＰＥＳヘッダの所定位置に配置される。
また、この際、ＰＥＳパケット化部１４３は、ビデオストリームに含まれるピクチャ（アクセスユニット）の時間的な不連続性の情報に基づき、上述のテンポラル・ディスコンティニュティ・インフォメーション（temporal_discontinuity_information）（図１０参照）を作成する。そして、ＰＥＳパケット化部１４３は、この情報を、ＰＥＳパケットのＰＥＳエクステンション（PES extension）のフィールドに挿入する。
セクションコーディング部１４２は、トランスポートストリームＴＳに挿入すべき各種のセクションデータを生成する。この際、セクションコーディング部１４２は、例えば、ビデオストリームに含まれるピクチャ（アクセスユニット）の時間的な不連続性の情報に基づき、上述のビデオ・パラメータ・デスクリプタ（Video_parameter_descriptor）（図１３参照）も作成する。
ＰＥＳパケット化部１４３で生成されたＰＥＳパケットはトランスポートパケット化部１４５に送られる。また、セクションコーディング部１４２で生成された各種セクションデータもトランスポートパケット化部１４５に送られる。トランスポートパケット化部１４５は、ペイロードにＰＥＳパケットやセクションデータを含むＴＳパケットを生成し、トランスポートストリームＴＳを生成する。
図１６は、マルチプレクサ１０４の処理フローの一例を示す。マルチプレクサ１０４は、ステップＳＴ１１において、処理を開始し、その後に、ステップＳＴ１２の処理に移る。このステップＳＴ１２において、マルチプレクサ１０４は、ビデオストリーム（Elementary Stream）のテンポラル・リフレッシュ・インフォメーションＳＥＩ、ピクチャ・タイミング・ＳＥＩ、バッファリング・ピリオド・ＳＥＩ、あるいはＨＲＤ情報からタイムスタンプを計算する。
次に、マルチプレクサ１０４は、ステップＳＴ１３において、不連続情報としてのテンポラル・ディスコンティニュティ・インフォメーションを作成し、ＰＥＳエクステンションのフィールドに挿入する。次に、マルチプレクサ１０４は、ステップＳＴ１４において、ＰＥＳペイロードにビデオストリーム（Elementary Stream）を挿入する。
次に、マルチプレクサ１０４は、ステップＳＴ１５において、種々のセクションデータを生成する。そのセクションデータの一つとして、ビデオストリーム（Elementary Stream）のパラメータの変化の存在を示すビデオ・パラメータ・デスクリプタも生成する。次に、マルチプレクサ１０４は、ステップＳＴ１６において、ペイロードにＰＥＳパケットやセクションデータを含むＴＳパケットを生成して出力する。マルチプレクサ１０４は、このステップＳＴ１６の処理の後、ステップＳＴ１７において、処理を終了する。
図１７は、トランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、１つのビデオストリームが含まれている。すなわち、この構成例では、ビデオストリームのＰＥＳパケット「video PES1」が存在する。
各ピクチャの符号化画像データは、ＰＥＳペイロード（PES payload）に配置される。この符号化画像データは、ＨＥＶＣの符号化の場合には、ＶＰＳ、ＳＰＳ、ＳＥＩ、ＰＰＳ、Ｐ−ＳＥＩ、ＳＬＩＣＥ、Ｓ−ＳＥＩ，ＥＯＳなどのＮＡＬユニットにより構成される。上述したテンポラル・リフレッシュ・インフォメーションＳＥＩ（temporal_refresh_information SEI）は、Ｐ−ＳＥＩの一つとして挿入される。
また、ＰＥＳヘッダ（PES header）のＰＥＳエクステンションのフィールドに、上述したテンポラル・ディスコンティニュティ・インフォメーション（temporal_continuity_information）が挿入される。なお、ＰＥＳヘッダには、ＤＴＳ、ＰＴＳも配置されている。
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（video ES1 loop）が存在する。
ビデオエレメンタリ・ループには、ビデオストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述したビデオ・パラメータ・デスクリプタ（Video_parameter_descriptor）が挿入される。
図２に戻って、送信部１０５は、トランスポートストリームＴＳを、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調し、ＲＦ変調信号を送信アンテナから送信する。
図２に示す送信装置１００の動作を簡単に説明する。エンコーダ１０２には、非圧縮の画像データが入力される。エンコーダ１０２では、この画像データに対して、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５/ ＨＥＶＣなどの符号化が行われる。この場合、エンコーダ１０２には、フレームレートを異にする画像データが切り替え入力される。そのため、エンコーダ１０２では、フレームレートの切り替え部、つまり第１のシーケンスの符号化画像データからこの第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオストリームが生成される。
エンコーダ１０２では、第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一となるように符号化が行われる。また、エンコーダ１０２では、デコードしてから表示するまでの遅延ピクチャ数が、第１のシーケンスの符号化画像データと第２のシーケンスの符号化画像データとで同一となるように符号化される。さらに、エンコーダ１０２では、第２のシーケンスの符号化画像データの最初のピクチャのデコードタイミングが、第１のシーケンスの符号化画像データの最後のピクチャのデコードタイミングにこの第１のシーケンスの符号化画像データの１フレーム分の期間を加えたタイミングより後のタイミングとなるように符号化される。
また、エンコーダ１０２では、ビデオストリームの各ピクチャの符号化画像データ毎に、フレームレートに変化があるか否かを示す情報が挿入される。すなわち、エンコーダ１０２では、各ピクチャの符号化画像データに、テンポラル・リフレッシュ・インフォメーションＳＥＩ（Temporal_refresh_information SEI）（図５（ｂ）参照）が、プリフィックスＳＥＩ（Prefix_SEI）の一つとして挿入される。
エンコーダ１０２で生成された、各階層のピクチャの符号化データを含むビデオストリームは、圧縮データバッファ（ｃｐｂ）１０３に供給され、一時的に蓄積される。マルチプレクサ１０４では、圧縮データバッファ１０３に蓄積されているビデオストリームが読み出され、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。
マルチプレクサ１０４では、ビデオストリームをコンテナするパケット、例えば、ＰＥＳパケットに、第１のシーケンスの符号化画像データから第２のシーケンスの符号化画像データに変化することを通知する情報が挿入される。すなわち、ＰＥＳパケットのＰＥＳエクステンション（PES extension）のフィールドに、テンポラル・ディスコンティニュティ・インフォメーション（temporal_discontinuity_information）（図１０参照）が挿入される。
また、マルチプレクサ１０４では、トランスポートストリームＴＳに、第１のシーケンスの符号化画像データから第２のシーケンスの符号化画像データに変化することを通知する情報が挿入される。すなわち、ビデオエレメンタリ・ループに、ビデオ・パラメータ・デスクリプタ（Video_parameter_descriptor）（図１３参照）が挿入される。
マルチプレクサ１０４で生成されるトランスポートストリームＴＳは、送信部１０５に送られる。送信部１０５では、このトランスポートストリームＴＳが、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調され、ＲＦ変調信号が送信アンテナから送信される。
「受信装置の構成」
図１８は、受信装置２００の構成例を示している。この受信装置２００は、ＣＰＵ（Central Processing Unit）２０１と、受信部２０２と、デマルチプレクサ２０３と、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４を有している。また、この受信装置２００は、デコーダ２０５と、非圧縮データバッファ（ｄｐｂ：decoded picture buffer）２０６と、ポスト処理部２０７と、クロック発生部２０８と、分周部２０９を有している。ＣＰＵ２０１は、制御部を構成し、受信装置２００の各部の動作を制御する。
受信部２０２は、受信アンテナで受信されたＲＦ変調信号を復調し、トランスポートストリームＴＳを取得する。このトランスポートストリームＴＳには、第１のシーケンスの符号化画像データからこの第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオストリーム（ビデオデータ）が含まれている。デマルチプレクサ２０３は、ビデオストリームを取り出し、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４に送る。
図１９は、デマルチプレクサ２０３の構成例を示している。デマルチプレクサ２０３は、ＴＳアダプテーションフィールド抽出部２３１と、クロック情報抽出部２３２と、ＴＳペイロード抽出部２３３と、セクション抽出部２３４と、ＰＳＩテーブル/デスクリプタ抽出部２３５と、ＰＥＳパケット抽出部２３６を有している。また、デマルチプレクサ２０３は、ＰＥＳヘッダ抽出部２３７と、タイムスタンプ抽出部２３８と、不連続/カウントダウン情報抽出部２３９と、ＰＥＳペイロード抽出部２４０を有している。
ＴＳアダプテーションフィールド抽出部２３１は、トランスポートストリームＴＳのアダプテーションフィールドを持つＴＳパケットから当該アダプテーションフィールドを抽出する。クロック情報抽出部２３２は、ＰＣＲ（Program Clock Reference）が含まれるアダプテーションフィールドから当該ＰＣＲを抽出し、クロック発生部２０８に送る。
ＴＳペイロード抽出部２３３は、トランスポートストリームＴＳのＴＳペイロードを持つＴＳパケットから当該ＴＳペイロードを抽出する。セクション抽出部２３４は、セクションデータが含まれるＴＳペイロードから当該セクションデータを抽出する。ＰＳＩテーブル/デスクリプタ抽出部２３５は、セクション抽出部２３４で抽出されたセクションデータを解析し、ＰＳＩテーブルやデスクリプタを抽出する。そして、ＰＳＩテーブル/デスクリプタ抽出部２３５は、デスクリプタ情報をＣＰＵ２０１に送る。
このデスクリプタ情報には、上述のビデオ・パラメータ・デスクリプタ（Video_parameter_descriptor）も含まれる。ＣＰＵ２０１は、このビデオ・パラメータ・デスクリプタの情報から、事前に、フレーム周波数（フレームレート）の変化があることを認識でき、さらに、変化後のフレーム周波数も認識できる。
ＰＥＳパケット抽出部２３６は、ＰＥＳパケットが含まれるＴＳペイロードから当該ＰＥＳパケットを抽出する。ＰＥＳヘッダ抽出部２３７は、ＰＥＳパケット抽出部２３６で抽出されたＰＥＳパケットからＰＥＳヘッダを抽出する。タイムスタンプ抽出部２３８は、ピクチャ単位にＰＥＳヘッダに挿入されているタイムスタンプ（ＤＴＳ、ＰＴＳ）を抽出し、ＣＰＵ２０１に送る。
また、不連続/カウントダウン情報抽出部１３９は、ピクチャ単位にＰＥＳヘッダのＰＥＳエクステンションの領域に挿入されている上述のテンポラル・ディスコンティニュティ・インフォメーション（temporal_discontinuity_information）を抽出し、不連続情報およびカウントダウン情報をＣＰＵ２０１に送る。
この場合、ＣＰＵ２０１は、デコード時刻（あるいはDecodingTimeStamp)の値の変化に関して不連続がある場合、それを事前に認識でき、しかもその不連続が生じるまでのアクセスユニット（ピクチャ）単位の推移をカウントダウン情報（カウントダウン値）により明確に知ることができる。また、ＣＰＵ２０１は、アクセスユニット（ピクチャ）毎の表示時間間隔が切り替わる場合、それを事前に認識でき、しかも切り替わるまでのアクセスユニット（ピクチャ）単位の推移をカウントダウン情報（カウントダウン値）により明確に知ることができる。
ＰＥＳペイロード抽出部２４０は、ＰＥＳパケット抽出部２３６で抽出されたＰＥＳパケットからＰＥＳペイロード、つまり、各ピクチャの符号化画像データを抽出して、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４に送る。
図２０は、デマルチプレクサ２０３の処理フローの一例を示している。デマルチプレクサ２０３は、ステップＳＴ３１において、処理を開始し、その後に、ステップＳＴ３２において、ＴＳペイロードを抽出する。次に、デマルチプレクサ２０３は、ステップＳＴ３３において、ＰＩＤ解析を行って、セクションか否かを判断する。セクションと判断するとき、デマルチプレクサ２０３は、ステップＳＴ３４において、該当ＰＩＤフィルタを通過するパケットをデマルチプレクスし、セクションパーシング（Section parsing）を行う。
次に、デマルチプレクサ２０３は、ステップＳＴ３５において、ビデオ・パラメータ・デスクリプタ（Video_parameter_descriptor）を解析する。そして、デマルチプレクサ２０３は、ステップＳＴ３６において、フレームレート（フレーム周波数）の変更があるか否かを判断する。フレームレートに変更があるとき、デマルチプレクサ２０３は、ステップＳＴ３７において、変更後のフレームレートをシステム、つまりＣＰＵ２０１に通知する。
次に、デマルチプレクサ２０３は、ステップＳＴ３８に移り、処理を終了する。なお、ステップＳＴ３６でフレームレートに変更がないとき、デマルチプレクサ２０３は、直ちに、ステップＳＴ３８に移り、処理を終了する。
また、ステップＳＴ３３でセクションでないとき、デマルチプレクサ２０３は、ステップＳＴ３９において、ＰＥＳパケットを抽出する。そして、デマルチプレクサ２０３は、ステップＳＴ４０において、ＰＥＳヘッダか否かを判断する。ＰＥＳヘッダであるとき、デマルチプレクサ２０３は、ステップＳＴ４１において、ビデオ・パラメータ・デスクリプタの解析でフレームレートに変更があったか否かを判断する。
フレームレートに変更があったとき、デマルチプレクサ２０３は、ステップＳＴ４２において、ＰＥＳエクステンション（PES extension）のフィールドに、テンポラル・ディスコンティニュティ・インフォメーション（temporal_discontinuity_information）があるか否かを判断する。ステップＳＴ４１の判断はステップＳＴ３６の結果と一致するものである。
テンポラル・ディスコンティニュティ・インフォメーションがあるとき、デマルチプレクサ２０３は、ステップＳＴ４３において、テンポラル・ディスコンティニュティ・インフォメーションの不連続フラグとカウントダウン値でタイムスタンプの不連続性を検知し、システム、つまりＣＰＵ２０１に通知する。その後、デマルチプレクサ２０３は、ステップＳＴ４４の処理に移る。なお、ステップＳＴ４１でフレームレートに変更がなかったとき、あるいはステップＳＴ４２でテンポラル・ディスコンティニュティ・インフォメーションがなかったとき、デマルチプレクサ２０３は、直ちに、ステップＳＴ４４の処理に移る。
このステップＳＴ４４において、デマルチプレクサ２０３は、ＤＴＳ、ＰＴＳがあるか否かを判断する。ＤＴＳ、ＰＴＳがあるとき、デマルチプレクサ２０３は、ステップＳＴ４６の処理に移る。一方、ＤＴＳ、ＰＴＳがないとき、デマルチプレクサ２０３は、ステップＳＴ４５において、ＤＴＳ、ＰＴＳを補間して生成し、その後に、ステップＳＴ４６の処理に移る。ステップＳＴ４６において、デマルチプレクサ２０３は、ＤＴＳ、ＰＴＳをシステム、つまりＣＰＵ２０１に通知する。その後、デマルチプレクサ２０３は、ステップＳＴ３８に移り、処理を終了する。
また、ステップＳＴ４０でＰＥＳヘッダでないとき、デマルチプレクサ２０３は、ステップＳＴ４７においてＰＥＳペイロード（PES payload）を抽出する。そして、デマルチプレクサ２０３は、ステップＳＴ４８において、ＰＩＤの対象となる符号化ストリームを圧縮データバッファ（ｃｐｂ）２０４へ転送する。その後、デマルチプレクサ２０３は、ステップＳＴ３８に移り、処理を終了する。
図１８に戻って、圧縮データバッファ(ｃｐｂ)２０４は、デマルチプレクサ２０３で取り出されるビデオストリーム（符号化ストリーム）を、一時的に蓄積する。デコーダ２０５は、圧縮データバッファ２０４に蓄積されているビデオストリームの各ピクチャの符号化画像データを、そのピクチャのデコードタイミングでデコードし、非圧縮データバッファ（ｄｐｂ）２０６に送る。
ここで、デコーダ２０５には、ＣＰＵ２０１から、ＤＴＳ（Decoding Time stamp）に基づいて、デコードタイミングが与えられる。なお、デコーダ２０５は、各ピクチャの符号化画像データをデコードする際に、必要に応じて、非圧縮データバッファ２０６から被参照ピクチャの画像データを読み出して利用する。
図２１は、デコーダ２０５の構成例を示している。このデコーダ２０５は、ＮＡＬパケット解析部２５１と、デコード部２５２を有している。ＮＡＬパケット解析部２５１は、ピクチャ毎に、符号化画像データを構成する各ＮＡＬパケットを解析し、ＶＰＳ、ＳＰＳ、ＰＰＳなどのパラメータセットや、ＳＥＩ、そして、スライス（slice）を判別する。ＮＡＬパケット解析部２５１は、各ＮＡＬパケットを、判別結果と共にデコード部２５２に送る。
デコード部２５２は、ＮＡＬパケット解析部２５１を経て送られてくるビデオストリーム（符号化ストリーム）が持つ各ピクチャの符号化画像データを、順次デコードタイミングでデコードし、非圧縮データバッファ（ｄｐｂ）２０６に送る。この場合、デコード部２５２は、ＶＰＳ、ＳＰＳ、ＰＰＳのタイミング情報の解析を行って、ストリーム全体のビットレートのレベルである、「general_level_idc」あるいはサブレイヤごとのビットレートのレベル「sublayer_level_idc」を把握し、デコード能力内でデコードし得るものかどうかを確認する。また、この場合、デコード部２５２は、ＳＥＩの解析を行って、例えば、「initial_cpb_removal_time」、「cpb_removal_delay」を把握し、ＣＰＵ２０１からのデコードタイミングが適切か確認する。
また、この場合、デコード部２５２は、ＶＰＳに含まれる「vps_num_units_in_tick」、「vps_times_scale」の情報からフレームレート（フレーム周波数）を求め、ＣＰＵ２０１に送る。これにより、ＣＰＵ２０１は、現在デコード対象のピクチャのフレームレートを確認することが可能となる。なお、デコード部２５２は、テンポラル・リフレッシュ・インフォメーションＳＥＩを解析することで、時間情報、タイムスタンプに不連続が生じるピクチャか否かを判別でき、不連続が生じるピクチャの場合には、このＳＥＩに含まれる「num_units_in_tick」、「times_scale」の情報からもフレームレート（フレーム周波数）を求めることができる。
デコード部２５２は、スライス（Slice）のデコードを行う際に、スライスヘッダ（Slice header）から、時間方向の予測先を表す情報として、「ref_idx_l0_active(ref_idx_l1_active)を取得し、時間方向の予測を行う。なお、デコード後のピクチャは、スライスヘッダ（slice header）から得られる「short_term_ref_pic_set_idx」、あるいは「it_idx_sps」が指標とされて、他のピクチャによる被参照として処理される。
図１８に戻って、非圧縮データバッファ（ｄｐｂ）２０６は、デコーダ２０５でデコードされた各ピクチャの画像データを、一時的に蓄積する。ポスト処理部２０７は、非圧縮データバッファ（ｄｐｂ）２０６から表示タイミングで順次読み出された各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせる処理を行う。この場合、ＣＰＵ２０１から、ＰＴＳ（Presentation Time stamp）に基づいて、デコーダ２０５に表示タイミングが与えられる。
例えば、デコード後の各ピクチャの画像データのフレームレートが１２０ｆｐｓであって、表示能力が１２０ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データをそのままディスプレイに送る。また、例えば、デコード後の各ピクチャの画像データのフレームレートが１２０ｆｐｓであって、表示能力が６０ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データに対して時間方向解像度が１/２倍となるようにサブサンプル処理を施し、６０ｆｐｓの画像データとしてディスプレイに送る。
また、例えば、デコード後の各ピクチャの画像データのフレームレートが６０ｆｐｓであって、表示能力が１２０ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データに対して時間方向解像度が２倍となるように補間処理を施し、１２０ｆｐｓの画像データとしてディスプレイに送る。また、例えば、デコード後の各ピクチャの画像データのフレームレートが６０ｆｐｓであって、表示能力が６０ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データをそのままディスプレイに送る。
クロック発生部２０８は、デマルチプレクサ２０３で抽出されるＰＣＲに同期したシステムクロックＳＴＣを発生する。分周部２０９は、このシステムクロックＳＴＣを分周して、垂直同期信号Ｖsyncを出力する。この垂直同期信号Ｖsyncは、ＣＰＵ２０１に供給されると共に、デマルチプレクサ２０３、デコーダ２０５、ポスト処理部２０７、さらにはその他の必要な箇所に供給される。
この垂直同期信号Ｖsyncの周波数は、ＣＰＵ２０１から、分周値（divider value）が供給されることで制御される。この実施の形態において、この垂直同期信号Ｖsyncの周波数は、第２のシーケンスの最初のピクチャの表示開始タイミングまでは、第１のシーケンスのフレームレートに合ったものとされ、このタイミング以降は、第２のシーケンスのフレームレートに合ったものに切り替えられる。
そのため、本実施の形態において、第２のシーケンスの最初のピクチャの表示開始タイミングより前では、第２のシーケンスの各ピクチャ符号化画像データは、第１のシーケンスの各ピクチャの符号化画像データのデコード（復号化）タイミングで、デコードされる。
図２２は、垂直同期信号Ｖsyncの切り替えタイミングの一例を示している。図示の例では、第１のシーケンスは、４ピクチャからなり、ａ０，ａ１，ａ２，ａ３の順にデコードされると共に、ａ０，ａ２，ａ３，ａ１の順に表示される。この場合、デコードが行われてから表示が開始されるまでの遅延ピクチャ数は２ピクチャとされている。
第１のシーケンスの各ピクチャは、そのフレームレート（フレーム周波数）に対応した時間間隔Ｖａを持つ垂直同期信号（Ｖsync）のタイミングでデコードおよび表示がなされる。例えば、ａ０，ａ１，ａ２，ａ３のピクチャは、Ｔａ(0)，Ｔａ(1)，Ｔａ(2)，Ｔａ(3)のタイミングでデコードが行われ、ａ０，ａ２，ａ３，ａ１のピクチャは、Ｔａ(2)，Ｔａ(3)，Ｔａ(4)，Ｔａ(5)のタイミングで表示が開始される。
第２のシーケンスは、７ピクチャからなり、ｂ０，ｂ１，ｂ２，ｂ３，ｂ４，ｂ５，ｂ６の順にデコードされると共に、ｂ０，ｂ２，ｂ３，ｂ１，ｂ５，ｂ６，ｂ３の順に表示される。この場合、デコードが行われてから表示が開始されるまでの遅延ピクチャ数は、第１のシーケンスにおけると同様に、２ピクチャとされている。
第２のシーケンスの各ピクチャは、そのフレームレート（フレーム周波数）に対応した時間間隔Ｖｂ（＜Ｖａ）を持つ垂直同期信号（Ｖsync）のタイミングでデコードおよび表示がなされるように、デコード、表示のタイミングが、符号化において設定されている。しかし、この実施の形態において、第２のシーケンスの最初のピクチャの表示開始タイミング（Ｔｂ(2)）までは、第１のシーケンスのフレームレートに合ったものとされ、このタイミング以降は、第２のシーケンスのフレームレートに合ったものに切り替えられる。
そのため、デコーダ２０５では、第２のシーケンスの最初のピクチャの表示開始タイミング（Ｔｂ(2)）より前では、第２のシーケンスの各ピクチャ（図示の例では、ｂ０，ｂ１のピクチャ）の符号化画像データは、第１のシーケンスの各ピクチャの符号化画像データのデコード（復号化）タイミングで、第１のシーケンスとのデコードタイミングの連続性が維持されてデコードされる。
すなわち、ｂ０，ｂ１のピクチャは、Ｔａ(4)，Ｔａ(5)のタイミングでデコードが行われる。これは、デマルチプレクサ２０３が、遅くとも第１のシーケンスの最後のピクチャの先頭バイトが圧縮データバッファ（ｃｐｂ）２０４に入るタイミング（図３のＰ１のタイミング）で、ＰＥＳエクステンションの領域からテンポラル・ディスコンティニュティ・インフォメーション（temporal_discontinuity_information）を抽出し、不連続情報を検知するので、タイミング（Ｔｂ(0)）の前であっても、ｂ０のピクチャのデコードを行うことが可能になる。
また、上述したように、垂直同期信号Ｖsyncの切り替えが、第２のシーケンスの最初のピクチャの表示開始タイミング（Ｔｂ(2)）、したがって第１のシーケンスの最後のピクチャの表示終了タイミング（Ｔａ(6)）で行われる。ＣＰＵ２０１は、このタイミングで垂直同期信号Ｖsyncの切り替えが必要であることは、テンポラル・ディスコンティニュティ・インフォメーションの不連続情報、カウントダウン情報から検知できる。
図２３も、垂直同期信号Ｖsyncの切り替えタイミングの一例を示している。図２２の例では、第１のシーケンスのフレーム周期（時間間隔）がＶａで、第２のシーケンスのフレーム周期（時間間隔）がＶｂ（＜Ｖａ）である例を示したが、この例はその逆の場合の例である。すなわち、この例では、第１のシーケンスのフレーム周期（時間間隔）がＶｂで、第２のシーケンスのフレーム周期（時間間隔）がＶａ（＞Ｖｂ）である。
図示の例では、第１のシーケンスは、４ピクチャからなり、ｂ０，ｂ１，ｂ２，ｂ３の順にデコードされると共に、ｂ０，ｂ２，ｂ３，ｂ１の順に表示される。この場合、デコードが行われてから表示が開始されるまでの遅延ピクチャ数は２ピクチャとされている。
第１のシーケンスの各ピクチャは、そのフレームレート（フレーム周波数）に対応した時間間隔Ｖｂを持つ垂直同期信号（Ｖsync）のタイミングでデコードおよび表示がなされる。例えば、ｂ０，ｂ１，ｂ２，ｂ３のピクチャは、Ｔｂ(0)，Ｔｂ(1)，Ｔｂ(2)，Ｔｂ(3)のタイミングでデコードが行われ、ｂ０，ｂ２，ｂ３，ｂ１のピクチャは、Ｔｂ(2)，Ｔｂ(3)，Ｔｂ(4)，Ｔｂ(5)のタイミングで表示が開始される。
第２のシーケンスは、４ピクチャからなり、ａ０，ａ１，ａ２，ａ３の順にデコードされると共に、ａ０，ａ２，ａ３，ａ１の順に表示される。この場合、デコードが行われてから表示が開始されるまでの遅延ピクチャ数は、第１のシーケンスにおけると同様に、２ピクチャとされている。
第２のシーケンスの各ピクチャは、そのフレームレート（フレーム周波数）に対応した時間間隔Ｖａ（＞Ｖｂ）を持つ垂直同期信号（Ｖsync）のタイミングでデコードおよび表示がなされるように、デコード、表示のタイミングが、符号化において設定されている。しかし、この実施の形態において、第２のシーケンスの最初のピクチャの表示開始タイミング（Ｔａ(2)）までは、第１のシーケンスのフレームレートに合ったものとされ、このタイミング以降は、第２のシーケンスのフレームレートに合ったものに切り替えられる。
そのため、デコーダ２０５では、第２のシーケンスの最初のピクチャの表示開始タイミング（Ｔａ(2)）より前では、第２のシーケンスの各ピクチャ（図示の例では、ａ０，ａ１のピクチャ）の符号化画像データは、第１のシーケンスの各ピクチャの符号化画像データのデコード（復号化）タイミングで、第１のシーケンスとのデコードタイミングの連続性が維持されてデコードされる。
すなわち、ａ０，ａ１のピクチャは、Ｔｂ(4)，Ｔｂ(5)のタイミングでデコードが行われる。これは、デマルチプレクサ２０３が、遅くとも第１のシーケンスの最後のピクチャの先頭バイトが圧縮データバッファ（ｃｐｂ）２０４に入るタイミング（図３のＰ１のタイミング）で、ＰＥＳエクステンションの領域からテンポラル・ディスコンティニュティ・インフォメーション（temporal_discontinuity_information）を抽出し、不連続情報を検知するので、タイミング（Ｔａ(0)）の後であっても、ａ０のピクチャのデコードを開始することが可能になる。
また、上述したように、垂直同期信号Ｖsyncの切り替えが、第２のシーケンスの最初のピクチャの表示開始タイミング（Ｔａ(2)）、したがって第１のシーケンスの最後のピクチャの表示終了タイミング（Ｔｂ(6)）で行われる。ＣＰＵ２０１は、このタイミングで垂直同期信号Ｖsyncの切り替えが必要であることは、テンポラル・ディスコンティニュティ・インフォメーションの不連続情報、カウントダウン情報から検知できる。
図１８に示す受信装置２００の動作を簡単に説明する。受信部２０２では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。このトランスポートストリームＴＳには、第１のシーケンスの符号化画像データからこの第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオストリームが含まれている。このトランスポートストリームＴＳは、デマルチプレクサ２０３に送られる。デマルチプレクサ２０３では、トランスポートストリームＴＳから、ビデオストリームが取り出され、圧縮データバッファ（ｃｐｂ）２０４に送られ、一時的に蓄積される。
また、デマルチプレクサ２０３では、ＴＳパケットのアダプテーションフィールドからＰＣＲ（Program Clock Reference）が抽出される。このＰＣＲは、クロック発生部２０８に供給される。クロック発生部２０８では、ＰＣＲに同期したシステムクロックＳＴＣが発生される。そして、このシステムクロックＳＴＣが分周部２０９で分周されて垂直同期信号Ｖsyncが得られる。この垂直同期信号Ｖsyncは、ＣＰＵ２０１の他、デマルチプレクサ２０３、デコーダ２０５、ポスト処理部２０７などの必要な個所に供給される。
また、デマルチプレクサ２０３では、トランスポートストリームＴＳからビデオ・パラメータ・デスクリプタ（Video_parameter_descriptor）などのデスクリプタが抽出され、ＣＰＵ２０１に供給される。ＣＰＵ２０１は、このビデオ・パラメータ・デスクリプタの情報から、事前に、フレーム周波数（フレームレート）の変化があることを認識でき、さらに、変化後のフレーム周波数も認識できる。
また、デマルチプレクサ２０３では、ピクチャ毎にＰＥＳヘッダのＰＥＳエクステンションの領域に挿入されているテンポラル・ディスコンティニュティ・インフォメーション（temporal_discontinuity_information）が抽出され、不連続情報およびカウントダウン情報がＣＰＵ２０１に供給される。
これにより、ＣＰＵ２０１は、デコード時刻（あるいはDecodingTimeStamp)の値の変化に関して不連続がある場合、それを事前に認識でき、しかもその不連続が生じるまでのアクセスユニット（ピクチャ）単位の推移をカウントダウン情報（カウントダウン値）により明確に知ることができる。また、ＣＰＵ２０１は、アクセスユニット（ピクチャ）毎の表示時間間隔が切り替わる場合、それを事前に認識でき、しかも切り替わるまでのアクセスユニット（ピクチャ）単位の推移をカウントダウン情報（カウントダウン値）により明確に知ることができる。
また、デマルチプレクサ２０３では、ピクチャ毎にＰＥＳヘッダに配置されているＤＴＳ，ＰＴＳのタイムスタンプが抽出され、ＣＰＵ２０１に供給される。ＣＰＵ２０１は、このタイムスタンプに基づき、デコーダ２０５に、デコードタイミングおよび表示タイミングを与える。
デコーダ２０５では、圧縮データバッファ２０４に蓄積されているビデオストリームの各ピクチャの符号化画像データが、そのピクチャのデコードタイミングでデコードされ、非圧縮データバッファ（ｄｐｂ）２０６に送られ、一時的に蓄積される。この場合、各ピクチャの符号化画像データがデコードされる際に、必要に応じて、非圧縮データバッファ２０６から被参照ピクチャの画像データが読み出されて利用される。
非圧縮データバッファ（ｄｐｂ）２０６から表示タイミングで順次読み出された各ピクチャの画像データは、ポスト処理部２０７に送られる。この場合、第１のシーケンスの最後のピクチャの表示終了タイミングと第２のシーケンスの最初のピクチャの表示開始タイミングが同一タイミングとされる。
ポスト処理部２０７では、各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせるための補間あるいはサブサンプルが行われる。このポスト処理部２０７で処理された各ピクチャの画像データは、ディスプレイに供給され、その各ピクチャの画像データによる動画像の表示が行われる。
なお、垂直同期信号Ｖsyncの周波数は、ＣＰＵ２０１から供給される分周値（divider value）が変更されることで切り替えられる。この垂直同期信号Ｖsyncの周波数は、第２のシーケンスの最初のピクチャの表示開始タイミングまでは、第１のシーケンスのフレームレートに合ったものとされ、このタイミング以降は、第２のシーケンスのフレームレートに合ったものに切り替えられる。ＣＰＵ２０１は、この切り替えタイミングを、テンポラル・ディスコンティニュティ・インフォメーションの不連続情報、カウントダウン情報に基づいて認識する。
また、このように、第２のシーケンスの最初のピクチャの表示開始タイミングより前では、垂直同期信号Ｖsyncの周波数は第１のシーケンスのフレームレートに合ったものとされる。そのため、ＣＰＵ２０１の制御により、第２のシーケンスの最初のピクチャの表示開始タイミングより前では、第２のシーケンスの各ピクチャの符号化画像データは、第１のシーケンスの各ピクチャの符号化画像データのデコード（復号化）タイミングで、デコードされる。この制御は、テンポラル・ディスコンティニュティ・インフォメーションの不連続情報が検知されることから可能となっている。
以上説明したように、図１に示す送受信システム１０においては、送信側において、第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化されるものである。そのため、例えば、受信側において、第１のシーケンスと第２のシーケンスの表示連続性を容易に確保可能となる。
また、図１に示す送受信システム１０においては、送信側において、デコードしてから表示するまでの遅延ピクチャ数が、第１のシーケンスの符号化画像データと第２のシーケンスの符号化画像データとで同一となるように符号化されるものである。そのため、例えば、受信側において、第１のシーケンスから第２のシーケンスへの切り替わり部におけるバッファ破綻を回避することが可能となる。
また、図１に示す送受信システム１０においては、送信側において、ビデオストリームの各ピクチャの符号化画像データ毎に、フレームレートに変化があるか否かを示す情報、すなわちテンポラル・リフレッシュ・インフォメーションＳＥＩ（Temporal_refresh_information SEI）が挿入されるものである。そのため、例えば、受信側において、第１のシーケンスから第２のシーケンスへの変化点を容易に把握可能となる。
また、図１に示す送受信システム１０においては、送信側において、ビデオストリームをコンテナするパケット、例えば、ＰＥＳパケットに、第１のシーケンスの符号化画像データから第２のシーケンスの符号化画像データに変化することを通知する情報、すなわちテンポラル・ディスコンティニュティ・インフォメーション（temporal_discontinuity_information）が挿入されるものである。そのため、例えば、受信側において、第１のシーケンスから第２のシーケンスへの変化、そして時間情報、タイムスタンプの不連続情報、変化するまでのカウントダウン情報を容易に把握可能となる。
また、図１に示す送受信システム１０においては、送信側において、コンテナのレイヤ、つまりトランスポートストリームＴＳのレイヤに、第１のシーケンスの符号化画像データから第２のシーケンスの符号化画像データに変化することを通知する情報、すなわちビデオ・パラメータ・デスクリプタ（Video_parameter_descriptor）が挿入されるものである。そのため、例えば、受信側において、第１のシーケンスから第２のシーケンスへの変化があること、そして、変化後のフレームレートを容易に把握可能となる。
また、図１に示す送受信システム１０においては、受信側において、第２のシーケンスの最初のピクチャの表示開始タイミングより前では、第２のシーケンスの各ピクチャの符号化画像データは、第１のシーケンスの各ピクチャの符号化画像データのデコード（復号化）タイミングでデコードされるものである。そのため、例えば、非同期の２つの垂直同期信号を同時に発生させるような実装を回避可能となる。
＜２．変形例＞
なお、上述の実施の形態においては、受信側において、第１のシーケンスと第２のシーケンスの表示連続性を容易に確保可能とする例を示した。そのために、送信側において、第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように、符号化が行われる。
ここで、受信側において、第１のシーケンスと第２のシーケンスの表示連続性を容易に確保可能とするとともに、さらに、第１のシーケンスと第２のシーケンスのデコードタイミングの連続性を容易に確保可能とすることも考えられる。そのために、送信側において、さらに、第２のシーケンスの符号化画像データの最初のピクチャのデコードタイミングが、第１のシーケンスの符号化画像データの最後のピクチャのデコードタイミングに、この第１のシーケンスの符号化画像データの１ピクチャ分の時間間隔を加えたタイミングとなるように、符号化が行われる。
図２４は、その場合におけるエンコーダ１０２のＨＲＤ（Hypothetical Reference Decoder）制御の一例を示している。この図２４において、上述の図３と対応する部分については、適宜、その詳細説明を省略する。
図示の例では、第１のシーケンスは、４ピクチャからなり、ａ０，ａ１，ａ２，ａ３の順にデコードされると共に、ａ０，ａ２，ａ３，ａ１の順に表示される。この場合、デコードされた各ピクチャの画像データは、ｄｐｂ（decoded picture buffer:非圧縮データバッファ）に入力される。この例において、第１のシーケンスのデコードが行われてから表示が開始されるまでの遅延ピクチャ数は２ピクチャとされている。
第１のシーケンスの各ピクチャは、そのフレームレート（フレーム周波数）に対応した時間間隔を持つ垂直同期信号（Ｖsync）のタイミングでデコードおよび表示がなされる。例えば、ａ０，ａ１，ａ２，ａ３のピクチャは、Ｔａ(0)，Ｔａ(1)，Ｔａ(2)，Ｔａ(3)のタイミングでデコードが行われ、ａ０，ａ２，ａ３，ａ１のピクチャは、Ｔａ(2)，Ｔａ(3)，Ｔａ(4)，Ｔａ(5)のタイミングで表示が開始される。
第２のシーケンスは、６ピクチャからなり、ｂ０，ｂ１，ｂ２，ｂ３，ｂ４，ｂ５の順にデコードされると共に、ｂ１，ｂ２，ｂ０，ｂ４，ｂ５，ｂ３の順に表示される。この場合、デコードされた各ピクチャの画像データは、ｄｐｂに入力される。この例において、第２のシーケンスのデコードが行われてから表示が開始されるまでの遅延ピクチャ数は、第１のシーケンスにおけると同様に、２ピクチャとされている。これにより、バッファ破綻が回避される。
図３の例と同様に、第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一とされる。すなわち、Ｔａ(6)のタイミングと、Ｔｂ(2)のタイミングが等しくされる。これにより、第１のシーケンスと、第２のシーケンスの表示の連続性が保たれる。
第２のシーケンスは、最初のピクチャの表示開始タイミング（Ｔｂ(2)）以降では、そのフレームレート（フレーム周波数）に対応した時間間隔を持つ垂直同期信号（Ｖsync）のタイミングでデコードおよび表示がなされる。例えば、ｂ２，ｂ３，ｂ４，ｂ５のピクチャは、Ｔｂ(2)，Ｔｂ(3) ，Ｔｂ(4)，Ｔｂ(5)のタイミングでデコードが行われ、ｂ１，ｂ２，ｂ０，ｂ４，ｂ５，ｂ３のピクチャは、Ｔｂ(2)，Ｔｂ(3)，Ｔｂ(4)，Ｔｂ(5) ，Ｔｂ(6)，Ｔｂ(7)のタイミングで表示が開始される。
また、第２のシーケンスは、最初のピクチャの表示開始タイミング（Ｔｂ(2)）より前では、第１のフレームレート（フレーム周波数）に対応した時間間隔を持つ垂直同期信号（Ｖsync）のタイミングでデコードされる。この例において、ｂ０，ｂ１のピクチャは、Ｔｂ(0)，Ｔｂ(1)でデコードされるが、Ｔｂ(0)＝Ｔａ(4)、Ｔｂ(1)＝Ｔａ(5)とされる。
この場合、第２のシーケンスの符号化画像データの最初のピクチャのデコードタイミングが、第１のシーケンスの符号化画像データの最後のピクチャのデコードタイミングに、この第１のシーケンスの符号化画像データの１ピクチャ分の時間間隔を加えたタイミングとされる。すなわち、Ｔａ(4)のタイミングと、Ｔｂ(0)のタイミングが等しくされる。つまり、Ｔｂ(0)のタイミングがＴａ(4)のタイミングと等しくなるように、“Initial_cpb_removal_delay B”が設定される。
このようにＴｂ(0)のタイミングがＴａ(4)のタイミングと等しくなるように符号化されることで、受信側では、第１のシーケンスと第２のシーケンスのデコードタイミングの連続性が容易に確保され、第２のシーケンスの最初のピクチャの読み遅れが回避される。この場合、上述の図２２、図２３で説明したように、受信側において、第２のシーケンスの最初のピクチャの表示開始タイミングより前に位置する当該第２のシーケンスのピクチャのデコードタイミングを調整する処理も不要となる。つまり、受信側の負担も軽減可能となる。
また、上述実施の形態においては、送信装置１００と受信装置２００からなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、例えば、（ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は登録商標である。
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。
また、本技術は、以下のような構成を取ることもできる。
（１）第１のシーケンスの符号化画像データから該第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオデータを生成する画像符号化部を備え、
上記画像符号化部は、
上記第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと上記第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化を行う
符号化装置。
（２）上記画像符号化部は、
デコードしてから表示するまでの遅延ピクチャ数が、上記第１のシーケンスの符号化画像データと上記第２のシーケンスの符号化画像データとで同一となるように符号化する
前記（１）に記載の符号化装置。
（３）上記画像符号化部は、
上記第２のシーケンスの符号化画像データの最初のピクチャのデコードタイミングが、上記第１のシーケンスの符号化画像データの最後のピクチャのデコードタイミングに、該第１のシーケンスの符号化画像データの１ピクチャ分の時間間隔を加えたタイミングとなるように符号化する
前記（１）または（２）に記載の符号化装置。
（４）第１のシーケンスの符号化画像データから該第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオデータを生成する画像符号化部と、
上記生成されたビデオデータを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、
上記第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと上記第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化を行う
送信装置。
（５）上記ビデオデータの各ピクチャの符号化画像データ毎に、フレームレートに変化があるか否かを示す情報を挿入する情報挿入部をさらに備える
前記（４）に記載の送信装置。
（６）上記情報がフレームレートに変化があることを示すとき、該情報に変化後のフレームレートの値を示す情報が付加される
前記（５）に記載の送信装置。
（７）上記ビデオデータをコンテナするパケットに、上記第１のシーケンスの符号化画像データから上記第２のシーケンスの符号化画像データに変化することを通知する情報を挿入する情報挿入部をさらに備える
前記（４）から（６）のいずれかに記載の送信装置。
（８）上記通知情報には、デコード時刻の値の変化に関して不連続があるか否かを示す情報が含まれる
前記（７）に記載の送信装置。
（９）上記情報が不連続があることを示すとき、上記情報に不連続が生じるまでのピクチャ数のカウントダウン値が付加される
前記（８）に記載の送信装置。
（１０）上記通知情報には、ピクチャ毎の表示時間間隔が切り替わるか否かを示す情報が含まれる
前記（７）から（９）のいずれかに記載の送信装置。
（１１）上記情報が切り替わることを示すとき、上記情報に切り替わるまでのピクチャ数のカウントダウン値が付加される
前記（１０）に記載の送信装置。
（１２）上記情報挿入部は、
上記通知情報を、ペイロードにピクチャ毎の符号化画像データを含むＰＥＳパケットのエクステンションフィールドに挿入する
前記（７）から（１１）のいずれかに記載の送信装置。
（１３）上記コンテナのレイヤに、上記第１のシーケンスの符号化画像データから上記第２のシーケンスの符号化画像データに変化することを通知する情報を挿入する情報挿入部をさらに備える
前記（４）から（１２）のいずれかに記載の送信装置。
（１４）上記通知情報には、上記第１のシーケンスのフレームレートおよび上記第２のシーケンスのフレームレートの情報が含まれる
前記（１３）に記載の送信装置。
（１５）第１のシーケンスの符号化画像データから該第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオデータを受信する受信部と、
上記受信されたビデオデータを処理する処理部を備え、
上記ビデオデータは、上記第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと上記第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化されている
受信装置。
（１６）上記ビデオデータは、デコードしてから表示するまでの遅延ピクチャ数が、上記第１のシーケンスの符号化画像データと上記第２のシーケンスの符号化画像データとで同一となるように符号化されている
前記（１５）に記載の受信装置。
（１７） 上記ビデオデータは、上記第２のシーケンスの符号化画像データの最初のピクチャのデコードタイミングが、上記第１のシーケンスの符号化画像データの最後のピクチャのデコードタイミングに、該第１のシーケンスの符号化画像データの１ピクチャ分の時間間隔を加えたタイミングとなるように符号化されている
前記（１５）または（１６）に記載の受信装置。
（１８）第１のシーケンスの符号化画像データから該第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオデータを含む所定フォーマットのコンテナを受信する受信部を備え、
上記ビデオデータは、上記第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと上記第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化されており、
上記受信されたコンテナに含まれているビデオデータを復号化して上記第１のシーケンスおよび上記第２のシーケンスの表示の連続性が維持された画像データを得る画像復号化部をさらに備える
受信装置。
（１９）上記画像復号化部は、
上記同一タイミングより前では上記第２のシーケンスの各ピクチャの符号化画像データを、上記第１のシーケンスの各ピクチャの符号化画像データの復号化タイミングに同期したタイミングで復号化する
前記（１８）に記載の受信装置。
（２０）上記ビデオデータをコンテナするパケットおよび/または上記コンテナのレイヤに、上記第１のシーケンスの符号化画像データから上記第２のシーケンスの符号化画像データに変化することを通知する情報が挿入されており、
上記画像復号化部の処理は、上記通知情報に基づいて制御される
前記（１８）または（１９）に記載の受信装置。
本技術の主な特徴は、フレームレートの切り替え部を持つビデオデータを配信する際に、第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化することで、受信側において、第１のシーケンスと第２のシーケンスの表示連続性を容易に確保可能としたことである（図３参照）。
１０・・・送受信システム
１００・・・送信装置
１０１・・・ＣＰＵ
１０２・・・エンコーダ
１０３・・・圧縮データバッファ（ｃｐｂ）
１０４・・・マルチプレクサ
１０５・・・送信部
１２２・・・バッファ遅延制御部
１２３・・・ＨＲＤ設定部
１２４・・・パラメータセット/ＳＥＩエンコード部
１２５・・・スライスエンコード部
１２６・・・ＮＡＬパケット化部
１４２・・・セクションコーディング部
１４３・・・ＰＥＳパケット化部
１４４・・・トランスポートパケット化部
２００・・・受信装置
２０１・・・ＣＰＵ
２０２・・・受信部
２０３・・・デマルチプレクサ
２０４・・・圧縮データバッファ（ｃｐｂ）
２０５・・・デコーダ
２０６・・・非圧縮データバッファ（ｄｐｂ）
２０７・・・ポスト処理部
２０８・・・クロック発生部
２０９・・・分周部
２３１・・・ＴＳアダプテーションフィールド抽出部
２３２・・・クロック情報抽出部
２３３・・・ＴＳペイロード抽出部
２３４・・・セクション抽出部
２３５・・・ＰＳＩテーブル/デスクリプタ抽出部
２３６・・・ＰＥＳパケット抽出部
２３７・・・ＰＥＳヘッダ抽出部
２３８・・・タイムスタンプ抽出部
２３９・・・不連続/カウントダウン情報抽出部
２４０・・・ＰＥＳペイロード抽出部
２５１・・・ＮＡＬパケット解析部
２５２・・・デコード部

Claims (2)

  1. 第１のシーケンスの符号化画像データから該第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオデータを生成する画像符号化部と、
    上記生成されたビデオデータを含む所定フォーマットのコンテナを送信する送信部を備え、
    上記画像符号化部は、
    上記第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと上記第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化し、
    上記第２のシーケンスの符号化画像データの最初のピクチャのデコードタイミングが、上記第１のシーケンスの符号化画像データの最後のピクチャのデコードタイミングに、該第１のシーケンスの符号化画像データの１ピクチャ分の時間間隔を加えたタイミングとなるように符号化する
    送信装置。
  2. 画像符号化部が、第１のシーケンスの符号化画像データから該第１のシーケンスとはフレームレートを異にする第２のシーケンスの符号化画像データへの切り替え部を持つビデオデータを生成する画像符号化ステップと、
    送信部が、上記生成されたビデオデータを含む所定フォーマットのコンテナを送信する送信ステップを有し、
    上記画像符号化ステップでは、
    上記第１のシーケンスの符号化画像データの最後のピクチャの表示終了タイミングと上記第２のシーケンスの符号化画像データの最初のピクチャの表示開始タイミングが同一タイミングとなるように符号化し、
    上記第２のシーケンスの符号化画像データの最初のピクチャのデコードタイミングが、上記第１のシーケンスの符号化画像データの最後のピクチャのデコードタイミングに、該第１のシーケンスの符号化画像データの１ピクチャ分の時間間隔を加えたタイミングとなるように符号化する
    送信方法。
JP2016100415A 2013-09-12 2016-05-19 送信装置および送信方法 Active JP5971442B1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013189332 2013-09-12
JP2013189332 2013-09-12

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015536492A Division JP6330816B2 (ja) 2013-09-12 2014-08-08 符号化装置、送信装置および受信装置

Publications (2)

Publication Number Publication Date
JP5971442B1 true JP5971442B1 (ja) 2016-08-17
JP2016167877A JP2016167877A (ja) 2016-09-15

Family

ID=52665492

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2015536492A Active JP6330816B2 (ja) 2013-09-12 2014-08-08 符号化装置、送信装置および受信装置
JP2016100920A Active JP5971444B1 (ja) 2013-09-12 2016-05-19 送受信システムおよび送受信方法
JP2016100853A Active JP5971443B1 (ja) 2013-09-12 2016-05-19 受信装置および受信方法
JP2016100415A Active JP5971442B1 (ja) 2013-09-12 2016-05-19 送信装置および送信方法
JP2018084670A Active JP6540856B2 (ja) 2013-09-12 2018-04-26 受信装置および受信方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2015536492A Active JP6330816B2 (ja) 2013-09-12 2014-08-08 符号化装置、送信装置および受信装置
JP2016100920A Active JP5971444B1 (ja) 2013-09-12 2016-05-19 送受信システムおよび送受信方法
JP2016100853A Active JP5971443B1 (ja) 2013-09-12 2016-05-19 受信装置および受信方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018084670A Active JP6540856B2 (ja) 2013-09-12 2018-04-26 受信装置および受信方法

Country Status (7)

Country Link
US (1) US10356450B2 (ja)
EP (1) EP3046328B1 (ja)
JP (5) JP6330816B2 (ja)
CN (1) CN105324999B (ja)
BR (1) BR112015030894B1 (ja)
RU (1) RU2675051C2 (ja)
WO (1) WO2015037373A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3016263A1 (fr) 2014-01-07 2015-07-10 Orange Procede de traitement d'erreur de restitution d'un contenu numerique
US9524249B2 (en) * 2014-12-23 2016-12-20 Intel Corporation Memory encryption engine integration
CN106303673B (zh) 2015-06-04 2021-01-22 中兴通讯股份有限公司 码流对齐、同步处理方法及发送、接收终端和通信系统
US10623535B2 (en) * 2015-07-15 2020-04-14 Sony Corporation Signal processing apparatus and signal processing method
US10110256B2 (en) * 2016-09-16 2018-10-23 Micron Technology, Inc. Apparatuses and methods for staircase code encoding and decoding for storage devices
CN106497179A (zh) * 2016-10-21 2017-03-15 宁波尚高新材料有限公司 一种气凝胶纳米粉末涂料及其制备方法
JP7346585B2 (ja) * 2019-03-01 2023-09-19 フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 仮想参照デコーダ
US10686630B1 (en) * 2019-07-15 2020-06-16 Mellanox Technologies, Ltd. Method and apparatus for blind channel estimation
CN110798731A (zh) * 2019-11-15 2020-02-14 北京字节跳动网络技术有限公司 视频数据的处理方法、装置、电子设备及计算机可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009135888A (ja) * 2007-11-06 2009-06-18 Canon Inc 画像処理装置及びその制御方法
JP2011109301A (ja) * 2009-11-16 2011-06-02 Mitsubishi Electric Corp 画像符号化装置及び画像復号化装置
JP2012010263A (ja) * 2010-06-28 2012-01-12 Sony Corp 符号化装置、撮像装置、符号化伝送システムおよび符号化方法
JP2012169765A (ja) * 2011-02-10 2012-09-06 Canon Inc 符号化装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5943096A (en) * 1995-03-24 1999-08-24 National Semiconductor Corporation Motion vector based frame insertion process for increasing the frame rate of moving images
JP4006840B2 (ja) * 1998-08-10 2007-11-14 ソニー株式会社 システムターゲットデコーダのオーディオバッファ、多重化方法および装置、再生方法および装置
US6806909B1 (en) * 1997-03-03 2004-10-19 Koninklijke Philips Electronics N.V. Seamless splicing of MPEG-2 multimedia data streams
US6842724B1 (en) * 1999-04-08 2005-01-11 Lucent Technologies Inc. Method and apparatus for reducing start-up delay in data packet-based network streaming applications
KR20020026153A (ko) * 2000-02-29 2002-04-06 요트.게.아. 롤페즈 필름 재료 비디오 검출 및 인코딩
US7068719B2 (en) 2001-06-01 2006-06-27 General Instrument Corporation Splicing of digital video transport streams
FR2851112B1 (fr) * 2003-02-07 2005-06-03 Medialive Dispositif securise pour la diffusion, l'enregistrement et la visualisation a la demande des oeuvres audiovisuelles au format de type mpeg-2ts
JP4161770B2 (ja) * 2003-04-01 2008-10-08 ソニー株式会社 データ合成装置およびデータ合成方法
US8428117B2 (en) * 2003-04-24 2013-04-23 Fujitsu Semiconductor Limited Image encoder and image encoding method
US7587279B2 (en) * 2004-07-06 2009-09-08 Genomic Health Method for quantitative PCR data analysis system (QDAS)
KR20060063605A (ko) * 2004-12-06 2006-06-12 엘지전자 주식회사 영상신호의 엔코딩과 그 전송, 그리고 디코딩을 위한 방법및 장치
ATE448644T1 (de) * 2005-08-17 2009-11-15 Nxp Bv Videocodierung und -decodierung unter berücksichtigung von positionen im cache
JP4904914B2 (ja) * 2006-05-17 2012-03-28 ソニー株式会社 ストリーム生成装置、撮像装置、およびストリーム生成方法
MY162367A (en) * 2007-01-05 2017-06-15 Thomson Licensing Hypothetical reference decoder for scalable video coding
US8077222B2 (en) * 2007-11-06 2011-12-13 Canon Kabushiki Kaisha Image processing apparatus to transmit moving image data
US8149917B2 (en) * 2008-02-01 2012-04-03 Activevideo Networks, Inc. Transition creation for encoded video in the transform domain
JP5482254B2 (ja) 2009-11-05 2014-05-07 ソニー株式会社 受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造
US8681858B2 (en) * 2009-12-23 2014-03-25 General Instrument Corporation Rate control for two-pass encoder
KR101090356B1 (ko) * 2009-12-28 2011-12-13 주식회사 더블유코퍼레이션 오디오 신호 및 비디오 신호의 동기화 오차 보정 방법 및 장치
JP5454215B2 (ja) 2010-02-22 2014-03-26 ソニー株式会社 送信装置、送信方法、受信装置、受信方法及び信号伝送システム
US8737769B2 (en) * 2010-11-26 2014-05-27 Microsoft Corporation Reconstruction of sparse data
US20130132462A1 (en) * 2011-06-03 2013-05-23 James A. Moorer Dynamically Generating and Serving Video Adapted for Client Playback in Advanced Display Modes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009135888A (ja) * 2007-11-06 2009-06-18 Canon Inc 画像処理装置及びその制御方法
JP2011109301A (ja) * 2009-11-16 2011-06-02 Mitsubishi Electric Corp 画像符号化装置及び画像復号化装置
JP2012010263A (ja) * 2010-06-28 2012-01-12 Sony Corp 符号化装置、撮像装置、符号化伝送システムおよび符号化方法
JP2012169765A (ja) * 2011-02-10 2012-09-06 Canon Inc 符号化装置

Also Published As

Publication number Publication date
JPWO2015037373A1 (ja) 2017-03-02
EP3046328A4 (en) 2017-04-19
JP6540856B2 (ja) 2019-07-10
JP2016167877A (ja) 2016-09-15
EP3046328A1 (en) 2016-07-20
JP5971444B1 (ja) 2016-08-17
BR112015030894A2 (ja) 2017-07-25
BR112015030894B1 (pt) 2023-03-14
JP2018137807A (ja) 2018-08-30
US10356450B2 (en) 2019-07-16
RU2675051C2 (ru) 2018-12-14
US20160373790A1 (en) 2016-12-22
JP5971443B1 (ja) 2016-08-17
CN105324999A (zh) 2016-02-10
JP2016167879A (ja) 2016-09-15
RU2015153140A3 (ja) 2018-06-13
WO2015037373A1 (ja) 2015-03-19
JP6330816B2 (ja) 2018-05-30
JP2016167880A (ja) 2016-09-15
EP3046328B1 (en) 2022-01-26
CN105324999B (zh) 2021-01-15
RU2015153140A (ru) 2017-06-16

Similar Documents

Publication Publication Date Title
JP5971442B1 (ja) 送信装置および送信方法
JP6876241B2 (ja) 送受信システムおよびその処理方法
JP6795076B2 (ja) 送受信システムおよび送受信方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160519

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160519

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160607

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160627

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250