JP6996490B2 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
JP6996490B2
JP6996490B2 JP2018507292A JP2018507292A JP6996490B2 JP 6996490 B2 JP6996490 B2 JP 6996490B2 JP 2018507292 A JP2018507292 A JP 2018507292A JP 2018507292 A JP2018507292 A JP 2018507292A JP 6996490 B2 JP6996490 B2 JP 6996490B2
Authority
JP
Japan
Prior art keywords
frame rate
image data
picture
display
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018507292A
Other languages
English (en)
Other versions
JPWO2017164087A1 (ja
Inventor
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2017164087A1 publication Critical patent/JPWO2017164087A1/ja
Application granted granted Critical
Publication of JP6996490B2 publication Critical patent/JP6996490B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関する。詳しくは、本技術は、低フレームレートの動画像データをそれよりも大きなフレームレートで符号化して送信する送信装置等に関する。
従来、表示装置における画質向上のために受信側でフレームレートを高く変換して表示することが知られている（例えば、特許文献１参照）。また、従来、例えば、２４Ｈｚの動画像データを６０Ｈｚのフレームレートで符号化して送信し、受信側で３－２プルダウンの表示リピートを行って６０Ｈｚの表示再生を行うことが知られている。この場合、３回リピートと２回リピートが交互に繰り返されることから、例えば動きのあるシーンで、その動きが不自然に見える、いわゆるジャダーが、視聴者に知覚される。
特開２０１３-１４３６４６号公報
２４Ｈｚの動画像データを１２０Ｈｚのフレームレートで符号化して送信する場合、２４Ｈｚに対して１２０Ｈｚは整数倍になるので、受信側では５回リピートを繰り返すことで、素材の滑らかさを損ねることなく、１２０Ｈｚの表示再生が可能となる。
本技術の目的は、例えば、２４Ｈｚの動画像データを６０Ｈｚのフレームレートで符号化して送信する場合であっても受信側で１２０Ｈｚ表示を良好に行い得るようにすることにある。
本技術の概念は、
第１のフレームレートの動画像データを構成する各ピクチャを上記第１のフレームレートより大きな第２のフレームレートで符号化して該第２のフレームレートのビデオストリームを得る符号化部と、
上記第２のフレームレートのビデオストリームを構成する上記各ピクチャの符号化画像データに、上記第１のフレームレートと表示開始タイミングとの同期関係を示す識別情報を挿入する情報挿入部と、
上記識別情報が挿入された上記第２のフレームレートのビデオストリームを送信する送信部を備える
送信装置にある。
本技術において、符号化部により、第１のフレームレートの動画像データを構成する各ピクチャが第１のフレームレートより大きな第２のフレームレートで符号化されて第２のフレームレートのビデオストリームが得られる。情報挿入部により、第２のフレームレートのビデオストリームを構成する各ピクチャの符号化画像データに、第１のフレームレートと表示開始タイミングとの同期関係を示す識別情報が挿入される。送信部により、識別情報が挿入された第２のフレームレートのビデオストリームが送信される。
例えば、情報挿入部は、識別情報を含むＳＥＩメッセージを第２のフレームレートのビデオストリームに挿入する、ようにされてもよい。また、例えば、同期関係を示す識別情報は、第１のフレームレートと同期しているか否かを示す識別情報を含む、ようにされてもよい。さらに、この場合、例えば、同期関係を示す識別情報は、第１のフレームレートと同期していないとき、この第１のフレームレートに対して進んでいるか遅れているかを示す識別情報をさらに含む、ようにされてもよい。また、例えば、第１のフレームレートは２４Ｈｚであって第２のフレームレートは６０Ｈｚであるか、第１のフレームレートは４８Ｈｚであって第２のフレームレートは１２０Ｈｚである、ようにされてもよい。
このように本技術においては、第２のフレームレートのビデオストリームを構成する各ピクチャの符号化画像データに第１のフレームレートと表示開始タイミングとの同期関係を示す識別情報を挿入して送信するものである。そのため、受信側では、この識別情報に基づいて、各ピクチャの画像データの表示開始タイミングを、第１のフレームレートの動画像データを構成する各ピクチャを第１のフレームレートのＮ倍の第３のフレームレートで符号化した場合と同じ状態に容易に補正でき、各ピクチャの画像データにＮの回数の表示リピート処理を行うことで、第３のフレームレートの表示を第１のフレームレートの素材の滑らかさを損なうことなく良好に行い得る。
また、本技術の他の概念は、
第１のフレームレートの動画像データを構成する各ピクチャを上記第１のフレームレートより大きな第２のフレームレートで符号化して得られた該第２のフレームレートのビデオストリームを受信する受信部を備え、
上記第２のフレームレートのビデオストリームを構成する上記各ピクチャの符号化画像データを復号化して該各ピクチャの画像データを得る復号化処理と、上記各ピクチャの画像データの表示開始タイミングを、上記第１のフレームレートの動画像データを構成する各ピクチャを上記第２のフレームレートより大きく、かつ上記第１のフレームレートのＮ倍（Ｎは整数）の第３のフレームレートで符号化した場合と同じ状態に補正するタイミング補正処理と、該表示開始タイミングが補正された上記各ピクチャの画像データを上記第３のフレームレートで上記Ｎの回数だけ繰り返し出力する表示リピート処理を制御する制御部をさらに備える
受信装置にある。
本技術において、受信部により、第２のフレームレートのビデオストリームが受信される。この第２のフレームレートのビデオストリームは、第１のフレームレートの動画像データを構成する各ピクチャをこの第１のフレームレートより大きな第２のフレームレートで符号化して得られたものである。
制御部により、第２のフレームレートのビデオストリームを構成する各ピクチャの符号化画像データを復号化して各ピクチャの画像データを得る復号化処理が制御される。また、制御部により、各ピクチャの画像データの表示開始タイミングを、第１のフレームレートの動画像データを構成する各ピクチャを第２のフレームレートより大きく、かつ第１のフレームレートのＮ倍（Ｎは整数）の第３のフレームレートで符号化した場合と同じ状態に補正するタイミング補正処理が制御される。また、制御部により、表示開始タイミングが補正された各ピクチャの画像データを第３のフレームレートでＮの回数だけ繰り返し出力する表示リピート処理が制御される。
例えば、第１のフレームレートは２４Ｈｚであり、第２のフレームレートは６０Ｈｚであり、第３のフレームレートは１２０Ｈｚであって、Ｎは５であるか、第１のフレームレートは２４Ｈｚであり、第２のフレームレートは６０Ｈｚであり、第３のフレームレートは２４０Ｈｚであって、Ｎは１０であるか、あるいは第１のフレームレートは４８Ｈｚであり、第２のフレームレートは１２０Ｈｚであり、第３のフレームレートは２４０Ｈｚであって、Ｎは５である、ようにされてもよい。
このように本技術においては、各ピクチャの画像データの表示開始タイミングを、第１のフレームレートのＮ倍の第３のフレームレートで符号化した場合と同じ状態に補正し、このように表示開始タイミングが補正された各ピクチャの画像データを第３のフレームレートでＮの回数だけ繰り返し出力する表示リピートの処理を行うものである。そのため、第３のフレームレートの表示を第１のフレームレートの素材の滑らかさを損なうことなく良好に行い得る。
なお、本技術において、例えば、第２のフレームレートのビデオストリームを構成する各ピクチャの符号化画像データに、第１のフレームレートと表示開始タイミングとの同期関係を示す識別情報が挿入されており、制御部は、タイミング補正処理を、同期関係を示す識別情報に基づいて制御する、ようにされてもよい。この場合、例えば、同期関係を示す識別情報は、第１のフレームレートと同期しているか否かを示す識別情報を含む、ようにされてもよい。さらに、この場合、例えば、同期関係を示す識別情報は、第１のフレームレートと同期していないとき、この第１のフレームレートに対して進んでいるか遅れているかを示す識別情報をさらに含む、ようにされてもよい。
このように同期関係を示す識別情報に基づいてタイミング補正処理を制御することで、複数の第２のフレームレートのビデオストリームを扱う場合に、タイミング補正を行う段階で複数のストリーム間にずれが生じることが防止され、複数のビデオストリームの第３のフレームレートでの同期表示を保証できる。また、同期関係を示す識別情報に、第１のフレームレートと同期していないとき、この第１のフレームレートに対して進んでいるか遅れているかを示す識別情報を含めることで、表示開始タイミングの補正方向を容易に判断可能となる。
本技術によれば、例えば、２４Ｈｚの動画像データを６０Ｈｚのフレームレートで符号化して送信する場合であっても受信側で１２０Ｈｚ表示を良好に行い得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 ２４Ｈｚのフレームレートの動画像データを構成する各ピクチャを６０Ｈｚのフレームレートで符号化した場合の符号化例を示す図である。 ２４Ｈｚのフレームレートの動画像データを構成する各ピクチャを６０Ｈｚのフレームレートで符号化したビデオストリームにおける各ピクチャのデコードタイミングと表示開始タイミングの一例を示す図である。 ２４Ｈｚのタイミングと、６０Ｈｚ表示および１２０Ｈｚ表示における各ピクチャの表示開始タイミングとの対応関係の一例を示す図である。 ２４Ｈｚのフレームレートの動画像データを構成する各ピクチャを６０Ｈｚのフレームレートで符号化したビデオストリームにおける各ピクチャのデコードタイミングと表示開始タイミングの一例を示す図である。 ２４Ｈｚのタイミングと、６０Ｈｚ表示および１２０Ｈｚ表示における各ピクチャの表示開始タイミングとの対応関係の一例を示す図である。 送信装置の構成例を示すブロック図である。 ピクチャ・タイミング・ＳＥＩメッセージの構造例を示す図である。 ピクチャ・タイミング・ＳＥＩメッセージの「pic_struct」の表示シーケンスを示す図である。 符号化方式がＨＥＶＣである場合におけるＧＯＰの先頭のアクセスユニットを示す図である。 符号化方式がＨＥＶＣである場合におけるＧＯＰの先頭以外のアクセスユニットを示す図である。 ピクチャ・タイミング・デスプレースメント・ＳＥＩメッセージの構造例と、その構造例における主要な情報の内容を示す図である。 エンコーダの構成例を示すブロック図である。 ビデオストリームの構成例を示す図である。 受信装置の構成例を示すブロック図である。 元素材のフレームレートと、表示フレームレートと、エンコードフレームレートと、表示リピート回数と、シフトピクチャ数との関係の一例を示す図である。 識別情報「ＰＳ」だけを挿入する場合におけるピクチャ・タイミング・デスプレースメント・ＳＥＩメッセージの構造例と、その構造例における主要な情報の内容を示す図である。 ２４Ｈｚのタイミングと、６０Ｈｚ表示および１２０Ｈｚ表示における各ピクチャの表示開始タイミングとの対応関係の一例を示す図である。 ２４Ｈｚのタイミングと、６０Ｈｚ表示および１２０Ｈｚ表示における各ピクチャの表示開始タイミングとの対応関係の一例を示す図である。 識別情報「ＰＳ」のみが挿入される場合、あるいはその識別情報「ＰＳ」も挿入されていない場合に、表示開始タイミングを補正すべきピクチャを認識すると共にその補正方向（早くするか遅くするか）を決定する処理手順の一例を示すフローチャートである。 ２つの６０Ｈｚのフレームレートのビデオストリームを扱う場合であって、識別情報「ＰＳ」の挿入がある場合の例を示す図である。 ２つの６０Ｈｚのフレームレートのビデオストリームを扱う場合であって、識別情報「ＰＳ」の挿入がない場合の例を示す図である。
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。
送信装置１００は、コンテナで伝送されるビデオストリームＶＳ（以下、単に「ビデオストリームＶＳ」という）を、放送波あるいはネットのパケットに載せて送信する。このビデオストリームＶＳには、２４Ｈｚのフレームレート（第１のフレームレート）の動画像データを構成する各ピクチャを６０Ｈｚのフレームレート（第２のフレームレート）で符号化して得られた６０Ｈｚのビデオストリーム（６０ｐストリーム）が含まれる。この場合、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化が施される。
図２（ａ）は、符号化の一例を示している。図示の例は、３階層に階層符号化されているが、１階層であってもよい。横軸は、表示順（ＰＯＣ：Picture Order of Composition）を示している。実線矩形枠のそれぞれが、２４Ｈｚの動画像データを構成する各ピクチャを示し、これらのピクチャの符号化画像データのみが６０Ｈｚのビデオストリームに含まれる。実線矩形枠において、かっこ付きでない数字は表示順を示し、かっこ付きの数字は符号化されているピクチャの順、つまりエンコード順（受信側ではデコード順）を示している。
また、図示の例では、Ｉピクチャ（表示順「６」、符号化順「０」）を参照する形で、このＩピクチャの前にＢピクチャ（表示順「０」、符号化順「１」）が存在する。また、Ｉピクチャ（表示順「６」、符号化順「０」）を参照する形で、このＩピクチャの後にＰピクチャ（表示順「１６」、符号化順「２」）が存在する。また、Ｉピクチャ（表示順「６」、符号化順「０」）およびＰピクチャ（表示順「１６」、符号化順「２」）を参照する形で、これらＩピクチャおよびＰピクチャの間にＢピクチャ（表示順「１０」、符号化順「３」）が存在する。
実線矩形枠で示す各ピクチャの符号化画像データには、ピクチャ・タイミング・ＳＥＩメッセージ（Picture_timing SEI message）が挿入され、その「pic_struct」のフィールドでリピート回数が指定される。この場合、Ｂピクチャ（表示順「０」、符号化順「１」）、Ｂピクチャ（表示順「１０」、符号化順「３」）ではリピート回数が３に指定され、Ｉピクチャ（表示順「６」、符号化順「０」）、Ｐピクチャ（表示順「１６」、符号化順「２」）ではリピート回数が２に指定される。これにより、受信側では、３－２プルダウン（3-2 pulldown）による６０Ｈｚのフレームレートによる表示（６０Ｈｚ表示）が可能とされている。
図２（ｂ）は、符号化の他の一例を示している。図示の例は、３階層に階層符号化されているが、１階層であってもよい。横軸は、表示順（ＰＯＣ：Picture Order of Composition）を示している。実線矩形枠のそれぞれが、２４Ｈｚの動画像データを構成する各ピクチャを示し、これらのピクチャの符号化画像データのみが６０Ｈｚのビデオストリームに含まれる。実線矩形枠において、かっこ付きでない数字は表示順を示し、かっこ付きの数字は符号化されているピクチャの順、つまりエンコード順（受信側ではデコード順）を示している。
また、図示の例では、Ｉピクチャ（表示順「４」、符号化順「０」）を参照する形で、このＩピクチャの前にＢピクチャ（表示順「０」、符号化順「１」）が存在する。また、Ｉピクチャ（表示順「４」、符号化順「０」）を参照する形で、このＩピクチャの後にＰピクチャ（表示順「１４」、符号化順「２」）が存在する。また、Ｉピクチャ（表示順「４」、符号化順「０」）およびＰピクチャ（表示順「１４」、符号化順「２」）を参照する形で、これらＩピクチャおよびＰピクチャの間にＢピクチャ（表示順「１０」、符号化順「３」）が存在する。
実線矩形枠で示す各ピクチャの符号化画像データには、ピクチャ・タイミング・ＳＥＩメッセージ（Picture_timing SEI message）が挿入され、その「pic_struct」のフィールドでリピート回数が指定される。この場合、Ｂピクチャ（表示順「０」、符号化順「１」）、Ｂピクチャ（表示順「１０」、符号化順「３」）ではリピート回数が２に指定され、Ｉピクチャ（表示順「４」、符号化順「０」）、Ｐピクチャ（表示順「１４」、符号化順「２」）ではリピート回数が３に指定される。これにより、受信側では、３－２プルダウン（3-2 pulldown）による６０Ｈｚのフレームレートによる表示（６０Ｈｚ表示）が可能とされている。
６０Ｈｚのフレームレートのビデオストリームに含まれる各ピクチャの符号化画像データに、２４Ｈｚのフレームレートと表示開始タイミングとの同期関係を示す識別情報が挿入される。
例えば、図２（ａ）の符号化例では、Ｂピクチャ（表示順「０」、符号化順「１」）、Ｂピクチャ（表示順「１０」、符号化順「３」）のピクチャの表示開始タイミングが２４Ｈｚタイミングに一致する。そのため、これらのピクチャには、表示開始タイミングが２４Ｈｚタイミングと一致することを示す識別情報「ＰＳ」が挿入される。
また、図２（ａ）の符号化例では、Ｉピクチャ（表示順「６」、符号化順「０」）、Ｐピクチャ（表示順「１６」、符号化順「２」）のピクチャの表示開始タイミングが２４Ｈｚタイミングより遅れる。そのため、これらのピクチャには、表示開始タイミングが２４Ｈｚタイミングより遅れることを示す識別情報「ＰＡ」が挿入される。
例えば、図２（ｂ）の符号化例では、Ｂピクチャ（表示順「０」、符号化順「１」）、Ｂピクチャ（表示順「１０」、符号化順「３」）のピクチャの表示開始タイミングが２４Ｈｚタイミングに一致する。そのため、これらのピクチャには、表示開始タイミングが２４Ｈｚタイミングと一致することを示す識別情報「ＰＳ」が挿入される。
また、図２（ｂ）の符号化例では、Ｉピクチャ（表示順「４」、符号化順「０」）、Ｐピクチャ（表示順「１４」、符号化順「２」）のピクチャの表示開始タイミングが２４Ｈｚタイミングより早まる。そのため、これらのピクチャには、表示開始タイミングが２４Ｈｚタイミングより早まることを示す識別情報「ＰＢ」が挿入される。
受信装置２００は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるビデオストリームＶＳを受信する。このビデオストリームＶＳには、２４Ｈｚの動画像データを構成する各ピクチャを６０Ｈｚで符号化して得られた６０Ｈｚのビデオストリーム（６０ｐストリーム）が含まれる（図２（ａ），図２（ｂ）参照）。この６０Ｈｚのフレームレートのビデオストリームに含まれる各ピクチャの符号化画像データに、２４Ｈｚのフレームレートと表示開始タイミングとの同期関係を示す識別情報（「ＰＳ」、「ＰＡ」、「ＰＢ」）が挿入されている。
受信装置２００は、６０Ｈｚのフレームレートによる表示（６０Ｈｚ表示）を行う場合、ピクチャ・タイミング・ＳＥＩメッセージ（Picture_timing SEI message）の「pic_struct」のフィールドで指定されるリピート回数で表示リピートの処理を行って、６０Ｈｚのフレームレートによる表示（６０Ｈｚ表示）をする。
一方、受信装置２００は、１２０Ｈｚのフレームレートによる表示（１２０Ｈｚ表示）を行う場合、各ピクチャの画像データの表示開始タイミングを、識別情報に基づいて、２４Ｈｚの動画像データを構成する各ピクチャを１２０Ｈｚのフレームレートで符号化した場合と同じ状態に補正し、この表示開始タイミングが補正された各ピクチャの画像データに、１２０Ｈｚのフレームレートで５回のリピート回数で表示リピートの処理を行って、１２０Ｈｚのフレームレートによる表示（１２０Ｈｚ表示）をする。
図３は、図２（ａ）の符号化例に対応した、各ピクチャのデコードタイミングと、表示開始タイミングを示している。この場合、Ｉピクチャ（表示順「６」、符号化順「０」）→Ｂピクチャ（表示順「０」、符号化順「１」）→Ｐピクチャ（表示順「１６」、符号化順「２」）→Ｂピクチャ（表示順「１０」、符号化順「３」）の順にデコードされていく。そして、Ｂピクチャ（表示順「０」、符号化順「１」）のデコード後に、Ｂピクチャ（表示順「０」、符号化順「１」）→Ｉピクチャ（表示順「６」、符号化順「０」）→Ｂピクチャ（表示順「１０」、符号化順「３」）→Ｐピクチャ（表示順「１６」、符号化順「２」）の順に表示されていく。
６０Ｈｚ表示の場合、各ピクチャの表示開始タイミングはそのままで、Ｂピクチャ（表示順「０」）は６０Ｈｚのフレームレートで３回表示リピート、Ｉピクチャ（表示順「６」）は６０Ｈｚのフレームレートで２回表示リピート、Ｂピクチャ（表示順「１０」）は６０Ｈｚのフレームレートで３回表示リピート、Ｐピクチャ（表示順「１６」）は６０Ｈｚのフレームレートで２回表示リピート、のように処理される。
１２０Ｈｚ表示の場合、Ｂピクチャ（表示順「０」）はその表示開始タイミングがそのままで１２０Ｈｚのフレームレートで５回表示リピート、Ｉピクチャ（表示順「６」）はその表示開始タイミングが１/１２０ 秒だけ早くなるように補正された後に１２０Ｈｚのフレームレートで５回表示リピート、Ｂピクチャ（表示順「１０」）はその表示開始タイミングがそのままで１２０Ｈｚのフレームレートで５回表示リピート、Ｐピクチャ（表示順「１６」）はその表示開始タイミングが１/１２０ 秒だけ早くなるように補正された後に１２０Ｈｚのフレームレートで５回表示リピート、のように処理される。
図４は、２４Ｈｚのタイミングと、６０Ｈｚ表示および１２０Ｈｚ表示における各ピクチャの表示開始タイミングとの対応関係の一例を示している。“ＴＳ”は、各ピクチャの符号化画像データに付加されて伝送される表示開始タイミングを与えるタイムスタンプを示している。６０Ｈｚ表示の場合には、２ピクチャ毎にその表示開始タイミングが２４Ｈｚのタイミングより遅れたものとなる。これに対して、１２０Ｈｚ表示の場合には、表示開始タイミングが補正され、全てのピクチャの表示開始タイミングが２４Ｈｚのタイミングと一致したものとされる。そのため、１２０Ｈｚ表示の場合には、動きのあるシーンでも滑らかな表示が行われる。
図５は、図２（ｂ）の符号化例に対応した、各ピクチャのデコードタイミングと、表示開始タイミングを示している。この場合、Ｉピクチャ（表示順「４」、符号化順「０」）→Ｂピクチャ（表示順「０」、符号化順「１」）→Ｐピクチャ（表示順「１４」、符号化順「２」）→Ｂピクチャ（表示順「１０」、符号化順「３」）の順にデコードされていく。そして、Ｂピクチャ（表示順「０」、符号化順「１」）のデコード後に、Ｂピクチャ（表示順「０」、符号化順「１」）→Ｉピクチャ（表示順「４」、符号化順「０」）→Ｂピクチャ（表示順「１０」、符号化順「３」）→Ｐピクチャ（表示順「１４」、符号化順「２」）の順に表示されていく。
６０Ｈｚ表示の場合、各ピクチャの表示開始タイミングはそのままで、Ｂピクチャ（表示順「０」）は６０Ｈｚのフレームレートで２回表示リピート、Ｉピクチャ（表示順「４」）は６０Ｈｚのフレームレートで３回表示リピート、Ｂピクチャ（表示順「１０」）は６０Ｈｚのフレームレートで２回表示リピート、Ｐピクチャ（表示順「１４」）は６０Ｈｚのフレームレートで３回表示リピート、のように処理される。
１２０Ｈｚ表示の場合、Ｂピクチャ（表示順「０」）はその表示開始タイミングがそのままで１２０Ｈｚのフレームレートで５回表示リピート、Ｉピクチャ（表示順「４」）はその表示開始タイミングが１/１２０ 秒だけ遅くなるように補正された後に１２０Ｈｚのフレームレートで５回表示リピート、Ｂピクチャ（表示順「１０」）はその表示開始タイミングがそのままで１２０Ｈｚのフレームレートで５回表示リピート、Ｐピクチャ（表示順「１６」）はその表示開始タイミングが１/１２０ 秒だけ遅くなるように補正された後に１２０Ｈｚのフレームレートで５回表示リピート、のように処理される。
図６は、２４Ｈｚのタイミングと、６０Ｈｚ表示および１２０Ｈｚ表示における各ピクチャの表示開始タイミングとの対応関係の一例を示している。“ＴＳ”は、各ピクチャの符号化画像データに付加されて伝送される表示開始タイミングを与えるタイムスタンプを示している。６０Ｈｚ表示の場合には、２ピクチャ毎にその表示開始タイミングが２４Ｈｚのタイミングより早まったものとなる。これに対して、１２０Ｈｚ表示の場合には、表示開始タイミングが補正され、全てのピクチャの表示開始タイミングが２４Ｈｚのタイミングと一致したものとされる。そのため、１２０Ｈｚ表示の場合には、動きのあるシーンでも滑らかな表示が行われる。
「送信装置の構成」
図７は、送信装置１００の構成例を示している。この送信装置１００は、ＣＰＵ（Central Processing Unit）１０１と、エンコーダ１０２と、マルチプレクサ１０３と、送信部１０４を有している。ＣＰＵ１０１は、制御部であり、送信装置１００の各部の動作を制御する。
エンコーダ１０２は、２４Ｈｚのフレームレートの動画像データＶＤを入力とし、この動画像データＶＤを構成する各ピクチャを、６０Ｈｚのフレームレートで符号化し（図２（ａ），（ｂ）の符号化例参照）、６０Ｈｚのフレームレートのビデオストリームを得る。この場合、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化が施される。
エンコーダ１０２は、６０Ｈｚのフレームレートのビデオストリームに実際に含まれる各ピクチャの符号化画像データに、ピクチャ・タイミング・ＳＥＩメッセージ（Picture_timing SEI message）を挿入し、その「pic_struct」のフィールドでリピート回数を指定する。これにより、受信側では、３－２プルダウン（3-2 pulldown）による６０Ｈｚのフレームレートによる表示（６０Ｈｚ表示）が可能とされる。図８は、ピクチャ・タイミング・ＳＥＩメッセージの構造例（Syntax）を示している。図９は、「pic_struct」の表示シーケンスを示している。
図２（ａ），（ｂ）の符号化例において、実線矩形枠は、６０Ｈｚのフレームレートに実際に含まれる各ピクチャの符号化画像データを示している。図２（ａ）の符号化例の場合、Ｂピクチャ（表示順「０」、符号化順「１」）、Ｂピクチャ（表示順「１０」、符号化順「３」）ではリピート回数が３に指定され、Ｉピクチャ（表示順「６」、符号化順「０」）、Ｐピクチャ（表示順「１６」、符号化順「２」）ではリピート回数が２に指定される。また、図２（ｂ）の符号化例の場合、Ｂピクチャ（表示順「０」、符号化順「１」）、Ｂピクチャ（表示順「１０」、符号化順「３」）ではリピート回数が２に指定され、Ｉピクチャ（表示順「４」、符号化順「０」）、Ｐピクチャ（表示順「１４」、符号化順「２」）ではリピート回数が３に指定される。
また、エンコーダ１０２は、６０Ｈｚのフレームレートのビデオストリームに実際に含まれる各ピクチャの符号化画像データに、２４Ｈｚのフレームレートと表示開始タイミングとの同期関係を示す識別情報、すなわち位相情報（Phase information）を挿入する。なお、各ピクチャの表示開始タイミングは、各ピクチャの符号化画像データに付加された表示用のタイムスタンプ（ＴＳ：Time Stamp）で与えられる。
この場合、各ピクチャの符号化画像データには、表示開始タイミングが２４Ｈｚタイミングと一致することを示す識別情報「ＰＳ」、表示開始タイミングが２４Ｈｚタイミングより遅れることを示す識別情報「ＰＡ」、表示開始タイミングが２４Ｈｚタイミングより早まることを示す識別情報「ＰＢ」のいずれかが挿入される。
図２（ａ）の符号化例の場合、Ｂピクチャ（表示順「０」、符号化順「１」）、Ｂピクチャ（表示順「１０」、符号化順「３」）には識別情報「ＰＳ」が挿入され、Ｉピクチャ（表示順「６」、符号化順「０」）、Ｐピクチャ（表示順「１６」、符号化順「２」）には識別情報「ＰＡ」が挿入される。また、図２（ｂ）の符号化例の場合、Ｂピクチャ（表示順「０」、符号化順「１」）、Ｂピクチャ（表示順「１０」、符号化順「３」）には識別情報「ＰＳ」が挿入され、Ｉピクチャ（表示順「４」、符号化順「０」）、Ｐピクチャ（表示順「１４」、符号化順「２」）には識別情報「ＰＢ」が挿入される。
エンコーダ１０２は、各ピクチャの符号化画像データにこれらの識別情報を挿入するため、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、ピクチャ・タイミング・デスプレースメント・ＳＥＩメッセージ（Picture_timing_displacement SEI message）を挿入する。
図１０は、符号化方式がＨＥＶＣである場合におけるＧＯＰ（Group Of Pictures）の先頭のアクセスユニットを示している。また、図１１は、符号化方式がＨＥＶＣである場合におけるＧＯＰの先頭以外のアクセスユニットを示している。ＨＥＶＣの符号化方式の場合、画素データが符号化されているスライス（slices）の前にデコード用のＳＥＩメッセージ群「Prefix_SEIs」が配置され、このスライス（slices）の後に表示用のＳＥＩメッセージ群「Suffix_SEIs」が配置される。図１０、図１１に示すように、ピクチャ・タイミング・デスプレースメント・ＳＥＩメッセージは、例えば、ＳＥＩメッセージ群「Suffix_SEIs」として配置される。
図１２（ａ）は、ピクチャ・タイミング・デスプレースメント・ＳＥＩメッセージの構造例(Syntax)を示している。図１２（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。「resync_to_picstruct_flag」の１ビットフィールドは、「pic_struct」が示すリピートの起点と元の２４Ｈｚ素材のタイミングが同じか否かを示す。例えば、“１”は同じであることを示し、“０”は同じでないことを示す。「resync_to_picstruct_flag」＝“１”は、表示開始タイミングが２４Ｈｚタイミングと一致することを示す識別情報「ＰＳ」を構成する。
「early_display_flag」の１ビットフィールドは、表示開始タイミングが２４Ｈｚタイミングより遅れるか否かを示すもので、この値が“１”である場合は、一つ前の「pic_struct」で示されるフレームリピート数よりも早く読みだすと２４Ｈｚとの同期表示ができること、すなわち識別情報「ＰＡ」を示し、“０”はそうではないことを示す。
「late_display_flag」のの１ビットフィールドは、表示開始タイミングが２４Ｈｚタイミングより早まるか否かを示すもので、この値が“１”である場合は、一つ前の「pic_struct」で示されるフレームリピート数よりも遅く読みだすと２４Ｈｚとの同期表示ができること、即ち識別情報「ＰＢ」を示し、“０”はそうではないことを示す。
図１３は、エンコーダ１０２の構成例を示している。エンコーダ１０２は、ビデオエンコード部１０２ａと、検出部１０２ｂを有している。ビデオエンコード部１０２ａには、２４Ｈｚのフレームレートの動画像データＶＤが入力される。また、動画像データＶＤの各ピクチャに対応して３－２プルダウン処理のためのリピート回数を示すフレームリピート（Frame repeat）情報が、ビデオエンコード部１０２ａおよび検出部１０２ｂに供給される。
また、動画像データＶＤにフレーム同期した２４Ｈｚフレームクロック（24Hz frame clock）が、ビデオエンコード部１０２ａおよび検出部１０２ｂに供給される。また、２４Ｈｚフレームクロックの１つおきに同期する６０Ｈｚフレームクロック（60Hz frame clock）が、ビデオエンコード部１０２ａおよび検出部１０２ｂに供給される。
ビデオエンコード部１０２ａでは、動画像データＶＤを構成する各ピクチャが、６０Ｈｚフレームクロックに基づいて、６０Ｈｚのフレームレートで符号化され（図２（ａ），（ｂ）の符号化例参照）、６０Ｈｚのフレームレートのビデオストリーム（６０ｐストリーム）が得られる。また、ビデオエンコード部１０２ａでは、動画像データＶＤを構成する各ピクチャに対応したフレームリピート（Frame repeat）情報に基づいて、６０Ｈｚのフレームレートのビデオストリームに実際に含まれる各ピクチャの符号化画像データに挿入されるピクチャ・タイミング・ＳＥＩメッセージの「pic_struct」のフィールドにリピート回数が指定される。
また、検出部１０２ｂでは、２４Ｈｚフレームクロックと６０Ｈｚフレームクロックの位相関係に基づいて、６０Ｈｚのフレームレートのビデオストリームに実際に含まれる各ピクチャの表示開始タイミングと２４Ｈｚのフレームレートとの同期関係を示す識別情報（ＰＳ/ＰＡ/ＰＢ）が生成され、ビデオエンコード部１０２ａに供給される。そして、６０Ｈｚのフレームレートのビデオストリームに実際に含まれる各ピクチャの符号化画像データに、それぞれのピクチャに対応した識別情報を持つピクチャ・タイミング・デスプレースメント・ＳＥＩメッセージ（図１２（ａ）参照）が挿入される。
図７に戻って、マルチプレクサ１０３は、エンコーダ１０２で生成されたビデオストリームを、ＰＥＳ（Packetized Elementary Stream）パケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのビデオストリームＶＳを得る。送信部１０４は、マルチプレクサ１０３で得られたビデオストリームＶＳを、放送波あるいはネットのパケットに載せて、受信装置２００に送信する。
図１４は、ビデオストリームＶＳの構成例を示している。この構成例では、ＰＩＤ１で識別されるビデオストリームのＰＥＳパケット「video PES1」が存在する。ＰＥＳヘッダには、ＤＴＳ、ＰＴＳが配置されている。ＰＥＳペイロードに含まれる各ピクチャの符号化画像データは、「ＡＵＤ」、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」、「ＥＯＳ」などのＮＡＬユニットにより構成されている。ＳＥＩメッセージとして、上述したピクチャ・タイミング・ＳＥＩメッセージ、ピクチャ・タイミング・デスプレースメント・ＳＥＩメッセージなどが挿入されている。
また、ビデオストリームＶＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、各エレメンタリストリームがどのプログラムに属しているかを記した情報である。ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリストリームループが存在する。この構成例では、ビデオエレメンタリストリームループ（video ES1 loop）が存在する。
ビデオエレメンタリストリームループには、ビデオストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。
図７に示す送信装置１００の動作を簡単に説明する。エンコーダ１０２には、２４Ｈｚのフレームレートの動画像データＶＤが入力される。エンコーダ１０２では、この動画像データＶＤを構成する各ピクチャが、６０Ｈｚのフレームレートで、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化が施され（図２（ａ），（ｂ）の符号化例参照）、６０Ｈｚのフレームレートのビデオストリームが得られる。
また、エンコーダ１０２では、６０Ｈｚのフレームレートのビデオストリームに実際に含まれる各ピクチャの符号化画像データに、ピクチャ・タイミング・ＳＥＩメッセージが挿入され、その「pic_struct」のフィールドで、受信側における３－２プルダウン処理のためのリピート回数が指定される。
また、エンコーダ１０２では、６０Ｈｚのフレームレートのビデオストリームに実際に含まれる各ピクチャの符号化画像データに、２４Ｈｚのフレームレートと表示開始タイミングとの同期関係を示す識別情報（ＰＳ/ＰＡ/ＰＢ）を持つ、ピクチャ・タイミング・デスプレースメント・ＳＥＩメッセージ（図１２（ａ）参照）が挿入される。
エンコーダ１０２で生成されたビデオストリームは、マルチプレクサ１０３に供給される。マルチプレクサ１０３では、ビデオストリームのＰＥＳパケット化、さらにトランスポートパケット化が行われて多重され、コンテナ（多重化ストリーム）としてのビデオストリームＶＳが得られる。このビデオストリームＶＳは、送信部１０４に送られる。送信部１０４では、このビデオストリームＶＳが、放送波あるいはネットのパケットに載せて送信される。
「受信装置の構成」
図１５は、受信装置２００の構成例を示している。この受信装置２００は、ＣＰＵ（Central Processing Unit）２０１と、受信部２０２と、デマルチプレクサ２０３と、インバッファ２０４と、デコーダ２０５と、アウトバッファ２０６と、表示処理部２０７と、表示部２０８を有している。ＣＰＵ２０１は、制御部を構成し、受信装置２００の各部の動作を制御する。
受信部２０２は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるビデオストリームＶＳを受信する。このビデオストリームＶＳには、２４Ｈｚのフレームレートの動画像データを構成する各ピクチャが６０Ｈｚのフレームレートで符号化されて得られた６０Ｈｚのビデオストリーム（６０ｐストリーム）が含まれている。
デマルチプレクサ２０３は、ビデオストリームＶＳから、ＰＩＤのフィルタリングによってビデオストリームを取り出す。また、デマルチプレクサ２０３は、ビデオストリームＶＳのレイヤに含まれるセクション情報を抽出し、ＣＰＵ２０１に送る。インバッファ２０４は、デマルチプレクサ２０３で取り出されたビデオストリームを一時的に記憶しておく。
デコーダ２０５は、インバッファ２０４に記憶されたビデオストリームに復号化処理を施して、ビデオストリームに実際に含まれている、２４Ｈｚのフレームレートの動画像データを構成する各ピクチャの画像データを得る。アウトバッファ２０６は、デコーダ２０５で得られた各ピクチャの画像データを一時的に記憶しておく。
また、デコーダ２０５は、各ピクチャの表示開始タイミングを示すＰＴＳ、さらには各ピクチャの符号化画像データ（アクセスユニット）に挿入されているパラメータセットやＳＥＩメッセージを抽出し、ＣＰＵ２０１に送る。この場合、３－２プルダウン処理を行うためのリピート回数情報を持つピクチャ・タイミング・ＳＥＩメッセージ（図８参照）や各ピクチャの表示開始タイミングと２４Ｈｚのフレームレートとの同期関係を示す識別情報（ＰＳ/ＰＡ/ＰＢ）を持つピクチャ・タイミング・デスプレースメント・ＳＥＩメッセージ（図１２（ａ）参照）なども抽出される。
ＣＰＵ２０１は、６０Ｈｚのフレームレートによる表示（６０Ｈｚ表示）を行う場合、アウトバッファ２０６に記憶されている各ピクチャの表示開始タイミングとして、ＰＴＳが示す表示開始タイミングをそのまま用いる。この場合、表示処理部２０７は、ＣＰＵ２０１の制御のもと、アウトバッファ２０６からそれぞれのピクチャの画像データの読み出しをＰＴＳが示す表示開始タイミングで開始し、ピクチャ・タイミング・ＳＥＩメッセージの「pic_struct」のフィールドで指定されるリピート回数だけ６０Ｈｚのフレームレートで表示リピート処理し、３－２プルダウン処理による６０Ｈｚのフレームレートの動画像データを得る（図４、図６の「６０Ｈｚ表示」部分参照）。
一方、ＣＰＵ２０１は、１２０Ｈｚのフレームレート（第３のフレームレート）による表示（１２０Ｈｚ表示）を行う場合、アウトバッファ２０６に記憶されている各ピクチャの表示開始タイミングとして、ＰＴＳが示す表示開始タイミングをそのまま用いるのではなく、各ピクチャの符号化画像データに挿入されている識別情報（ＰＳ/ＰＡ/ＰＢ）に基づいて、当該ＰＴＳが示す表示開始タイミングを適宜補正して用いる。
この場合、ＣＰＵ２０１は、識別情報「ＰＳ」が挿入されているピクチャの表示開始タイミングに関しては、ＰＴＳが示す表示開始タイミングをそのまま用いる。また、ＣＰＵ２０１は、識別情報「ＰＡ」が挿入されているピクチャの表示開始タイミングに関しては、ＰＴＳが示す表示開始タイミングを、１２０Ｈｚのフレームレートで１ピクチャだけ、すなわち１/１２０秒だけ早くする方向にシフト補正して用いる。また、ＣＰＵ２０１は、識別情報「ＰＢ」が挿入されているピクチャの表示開始タイミングに関しては、ＰＴＳが示す表示開始タイミングを、１２０Ｈｚのフレームレートで１ピクチャだけ、すなわち１/１２０秒だけ遅くする方向にシフト補正して用いる。
この場合、表示処理部２０７は、ＣＰＵ２０１の制御のもと、アウトバッファ２０６からそれぞれのピクチャの画像データの読み出しを上述の補正された表示開始タイミングで開始し、５回だけ１２０Ｈｚのフレームレートで表示リピート処理を行って、１２０Ｈｚのフレームレートの動画像データを得る（図４、図６の「１２０Ｈｚ表示」部分参照）。
ここで、表示リピート回数「Frame Repeat At Display Rate」は、第３のフレームレートである表示フレームレート「Display Frame Rate (Hz)」と、第１のフレームレートである元素材のフレームレート「Original Frame Rate (Hz)」とから、以下の数式（１）で算出できる。
{Frame Repeat at Display Rate} = {Display Frame Rate} / {Original Frame Rate}
・・・（１）
また、シフトピクチャ数「Num of pictures to Shift Timing」は、第３のフレームレートである表示フレームレート「Display Frame Rate (Hz)」と、第２のフレームレートであるエンコードフレームレート「Encoding Frame Rate (Hz)」とから、以下の数式（２）で算出できる。
{Num of pictures to Shift Timing}
= {Display Frame Rate} / {Encoding Frame Rate * 2}
・・・（２）
図１６は、元素材のフレームレート「Original Frame Rate (Hz)」と、表示フレームレート「Display Frame Rate (Hz)」と、エンコードフレームレート「Encoding Frame Rate (Hz)」と、表示リピート回数「Frame Repeat At Display Rate」と、シフトピクチャ数「Num of pictures to Shift Timing」との対応関係の一例を示している。
この実施の形態では、「Original Frame Rate (Hz)」が２４Ｈｚ、「Display Frame Rate (Hz)」が１２０Ｈｚ、「Encoding Frame Rate (Hz)」が６０Ｈｚであり、「Frame Repeat At Display Rate」は５、「Num of pictures to Shift Timing」は１となる。また、他の例として、「Original Frame Rate (Hz)」が２４Ｈｚ、「Display Frame Rate (Hz)」が２４０Ｈｚ、「Encoding Frame Rate (Hz)」が６０Ｈｚであるとき、「Frame Repeat At Display Rate」は１０、「Num of pictures to Shift Timing」は２となる。さらに、他の例として、「Original Frame Rate (Hz)」が４８Ｈｚ、「Display Frame Rate (Hz)」が２４０Ｈｚ、「Encoding Frame Rate (Hz)」が１２０Ｈｚであるとき、「Frame Repeat At Display Rate」は５、「Num of pictures to Shift Timing」は１となる。なお、図示の例は一例であって、これに限定されるものではない。
ここで、上述したように表示処理部２０７で非同期ピクチャ（識別情報「ＰＡ」、「ＰＢ」が挿入されているピクチャ）の表示開始タイミングをシフト補正して早読みあるいは遅読みする場合のアウトバッファ２０６への影響について考える。
まず、デコードタイミングは、インバッファ２０４からのピクチャの引き抜きタイミングであり、アウトバッファ２０６には影響しない。次に、デコード後のアウトバッファ２０６のバッファサイズ（buffer occupancy)は、非同期ピクチャを早読みあるいは遅読みすることから、送信側のエンコーダが意図したものとは異なる。
アウトバッファ２０６のタイミングを受信機側で変える場合、後続するデコードピクチャの被参照画として破綻をきたさないかが危惧される。しかし、非同期ピクチャを早読みあるいは遅読みするということは、アウトバッファ２０６からの読出しを開始するタイミングを早くするか、または遅くするかであり、非参照画としてアウトバッファ２０６に滞留する時間には影響しない。しかも、読出しのズレは１２０Ｈｚの精度で１ピクチャ分である。また、そのズレは波及することなく、２ピクチャ間隔で２４Ｈｚと同期リフレッシュされる。従って、アウトバッファ２０６バッファ管理については問題ない。
図１５に戻って、表示部２０８は、表示処理部２０７で得られた動画像データによる動画像を表示する。この表示部２０８は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬ（Organic Electro-Luminescence）パネル等で構成されている。なお、この表示部２０８は、受信装置２００に接続される外部機器であってもよい。
図１５に示す受信装置２００の動作を簡単に説明する。受信部２０２では、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるビデオストリームＶＳが受信される。このビデオストリームＶＳには、２４Ｈｚのフレームレートの動画像データを構成する各ピクチャが６０Ｈｚのフレームレートで符号化されて得られた６０Ｈｚのビデオストリーム（６０ｐストリーム）が含まれている。
受信部２０２で受信されたビデオストリームＶＳは、デマルチプレクサ２０３に供給される。デマルチプレクサ２０３では、ビデオストリームＶＳから、ＰＩＤのフィルタリングによってビデオストリームが取り出される。また、デマルチプレクサ２０３では、ビデオストリームＶＳのレイヤに含まれるセクション情報が抽出され、ＣＰＵ２０１に送られる。
デマルチプレクサ２０３で取り出されたビデオストリームは、インバッファ２０４に供給され、一時的に記憶される。このビデオストリームには、２４Ｈｚのフレームレートの動画像データを構成する各ピクチャの符号化画像データが含まれている。インバッファ２０４に記憶された各ピクチャの符号化画像データは、それぞれ、ＤＴＳ（Decoding Time Stamp）で示されるタイミングでデコーダ２０５に取り込まれてデコードされる。そして、デコーダ２０５で得られる各ピクチャの画像データは、アウトバッファ２０６に供給され、一時的に記憶される。
また、デコーダ２０５では、各ピクチャの表示開始タイミングを示すＰＴＳ、さらには各ピクチャの符号化画像データ（アクセスユニット）に挿入されているパラメータセットやＳＥＩメッセージが抽出され、ＣＰＵ２０１に送られる。この場合、３－２プルダウン処理を行うためのリピート回数情報を持つピクチャ・タイミング・ＳＥＩメッセージや各ピクチャの表示開始タイミングと２４Ｈｚのフレームレートとの同期関係を示す識別情報（ＰＳ/ＰＡ/ＰＢ）を持つピクチャ・タイミング・デスプレースメント・ＳＥＩメッセージなども抽出される。
以下、受信装置２００が６０Ｈｚのフレームレートによる表示（６０Ｈｚ表示）を行う場合の動作と、受信装置２００が１２０Ｈｚのフレームレートによる表示（１２０Ｈｚ表示）を行う場合の動作を分けて説明する。
まず、受信装置２００が６０Ｈｚのフレームレートによる表示（６０Ｈｚ表示）を行う場合について説明する。この場合、ＣＰＵ２０１では、アウトバッファ２０６に記憶されている各ピクチャの表示開始タイミングとして、ＰＴＳが示す表示開始タイミングがそのまま用いられる。表示処理部２０７では、ＣＰＵ２０１の制御のもと、アウトバッファ２０６からのそれぞれのピクチャの画像データの読み出しが、ＰＴＳが示す表示開始タイミングで開始される。
そして、表示処理部２０７では、ピクチャ・タイミング・ＳＥＩメッセージの「pic_struct」のフィールドで指定されるリピート回数だけ６０Ｈｚのフレームレートで表示リピート処理がされ、３－２プルダウン処理による６０Ｈｚのフレームレートの動画像データが得られる。この動画像データは表示部２０８に供給され、この表示部２０８には、６０Ｈｚのフレームレートによる表示（６０Ｈｚ表示）が行われる。
次に、受信装置２００が１２０Ｈｚのフレームレートによる表示（１２０Ｈｚ表示）を行う場合について説明する。この場合、ＣＰＵ２０１では、アウトバッファ２０６に記憶されている各ピクチャの表示開始タイミングとして、各ピクチャの符号化画像データに挿入されている識別情報（ＰＳ/ＰＡ/ＰＢ）に基づいてＰＴＳが示す表示開始タイミングが適宜補正されて用いられる。
この場合、識別情報「ＰＳ」が挿入されているピクチャの表示開始タイミングに関しては、ＰＴＳが示す表示開始タイミングがそのまま用いられる。また、識別情報「ＰＡ」が挿入されているピクチャの表示開始タイミングに関しては、ＰＴＳが示す表示開始タイミングが、１２０Ｈｚのフレームレートで１ピクチャだけ、すなわち１/１２０秒け早くする方向にシフト補正されて用いられる。また、識別情報「ＰＢ」が挿入されているピクチャの表示開始タイミングに関しては、ＰＴＳが示す表示開始タイミングが、１２０Ｈｚのフレームレートで１ピクチャだけ、すなわち１/１２０秒だけ遅くする方向にシフト補正されて用いられる。
表示処理部２０７では、ＣＰＵ２０１の制御のもと、アウトバッファ２０６からそれぞれのピクチャの画像データの読み出しが、上述の補正された表示開始タイミングで開始される。そして、表示処理部２０７では、５回だけ１２０Ｈｚのフレームレートで表示リピート処理が行われ、１２０Ｈｚのフレームレートの動画像データが得られる。この動画像データは表示部２０８に供給され、この表示部２０８には、１２０Ｈｚのフレームレートによる表示（１２０Ｈｚ表示）が行われる。
以上説明したように、図１に示す送受信システム１０において、送信装置１００は、６０Ｈｚのフレームレートのビデオストリームを構成する各ピクチャの符号化画像データに、２４Ｈｚのフレームレートと表示開始タイミングとの同期関係を示す識別情報（「ＰＳ」、「ＰＡ」、「ＰＢ」）を挿入するものである。そのため、受信側では、この識別情報に基づいて、各ピクチャの画像データの表示開始タイミングを、２４Ｈｚのフレームレートの動画像データを構成する各ピクチャを１２０Ｈｚのフレームレートで符号化した場合と同じ状態に容易に補正でき、各ピクチャの画像データに５回の表示リピート処理を行って１２０Ｈｚのフレームレートの動画像データを得て、１２０Ｈｚのフレームレートによる表示（１２０Ｈｚ表示）を、２４Ｈｚの素材の滑らかさを損ねることなく良好に行うことができる。
また、図１に示す送受信システム１０において、受信装置２００は、各ピクチャの符号化画像データに挿入されている識別情報（「ＰＳ」、「ＰＡ」、「ＰＢ」）に基づいて、各ピクチャの画像データの表示開始タイミングを２４Ｈｚのフレームレートの動画像データを構成する各ピクチャを１２０Ｈｚのフレームレートで符号化した場合と同じ状態に補正し、各ピクチャの画像データに５回の表示リピート処理をして１２０Ｈｚのフレームレートの動画像データを得るものである。そのため、１２０Ｈｚのフレームレートによる表示（１２０Ｈｚ表示）を、２４Ｈｚの素材の滑らかさを損ねることなく良好に行うことができる。
＜２．変形例＞
なお、上述実施の形態においては、６０Ｈｚのフレームレートのビデオストリームを構成する各ピクチャの符号化画像データに、２４Ｈｚのフレームレートと表示開始タイミングとの同期関係を示す識別情報として、識別情報「ＰＳ」の他に、識別情報「ＰＡ」、「ＰＢ」を挿入する例を示した。しかし、識別情報「ＰＳ」だけを挿入し、識別情報「ＰＡ」、「ＰＢ」を挿入せずに、受信側で同様の処理を行わせることも考えられる。
図１７（ａ）は、識別情報「ＰＳ」だけを挿入する場合におけるピクチャ・タイミング・デスプレースメント・ＳＥＩメッセージの構造例(Syntax)を示している。図１７（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。この場合、図１２（ａ）に示すピクチャ・タイミング・デスプレースメント・ＳＥＩメッセージの構造例では存在していた「early_display_flag」、「late_display_flag」のフィールドはない。
図１８、図１９は、それぞれ、上述の図４、図６と同様に、２４Ｈｚのタイミングと、６０Ｈｚ表示および１２０Ｈｚ表示における各ピクチャの表示開始タイミングとの対応関係の一例を示している。図１８、図１９の例では、図４、図６の例とは異なり、識別情報「ＰＳ」だけが挿入され、識別情報「ＰＡ」、「ＰＢ」は挿入されていない。
図４、図６の例のように識別情報「ＰＡ」、「ＰＢ」が存在する場合、受信装置２００では、識別情報「ＰＡ」，「ＰＢ」に基づいて、この識別情報「ＰＡ」、「ＰＢ」が挿入されているピクチャが２４Ｈｚのフレームレートに対して早まっているか遅れているかが判断され、当該ピクチャの表示開始タイミングは補正すべきものと認識されると共に、その補正方向が決定される。
例えば、図４の例において、Ｉピクチャ（表示順「６」）には識別情報「ＰＡ」が挿入されており、受信装置２００では、この識別情報「ＰＡ」に基づいて、このＩピクチャ（表示順「６」）の表示開始タイミングが２４Ｈｚのフレームレートに対して遅れていることがわかり、このＩピクチャ（表示順「６」）の表示開始タイミングは補正すべきものと認識され、その補正方向は早くする方向に決定される。
また、例えば、図６の例において、Ｉピクチャ（表示順「４」）には識別情報「ＰＢ」が挿入されており、受信装置２００では、この識別情報「ＰＢ」に基づいて、このＩピクチャ（表示順「４」）の表示開始タイミングが２４Ｈｚのフレームレートに対して早まっていることがわかり、このＩピクチャ（表示順「４」）の表示開始タイミングは補正すべきものと認識され、その補正方向は遅くする方向に決定される。
図１８、図１９の例のように識別情報「ＰＡ」、ＰＢ」が存在しない場合、受信装置２００では、あるピクチャで識別情報「ＰＳ」が抽出されるとき、ピクチャ・タイミング・ＳＥＩメッセージの「pic_struct」で指定されている３－２プルダウン処理のためのリピート回数に基づいて、次のピクチャが２４Ｈｚのフレームレートに対して早まっているか遅れているかが判断され、当該ピクチャの表示開始タイミングは補正すべきものと認識されると共に、その補正方向が決定される。
例えば、図１８の例において、Ｂピクチャ（表示順「０」）には識別情報「ＰＳ」が挿入されており、また、このピクチャのリピート回数は３に指定されている。そのため、受信装置２００では、次のピクチャであるＩピクチャ（表示順「６」）の表示開始タイミングが２４Ｈｚのフレームレートに対して遅れていることがわかり、このＩピクチャ（表示順「６」）の表示開始タイミングは補正すべきものと認識され、その補正方向は早くする方向に決定される。
例えば、図１９の例において、Ｂピクチャ（表示順「０」）には識別情報「ＰＳ」が挿入されており、また、このピクチャのリピート回数は２に指定されている。そのため、受信装置２００では、次のピクチャであるＩピクチャ（表示順「４」）の表示開始タイミングが２４Ｈｚのフレームレートに対して早まっていることがわかり、このＩピクチャ（表示順「４」）の表示開始タイミングは補正すべきものと認識され、その補正方向は遅くする方向に決定される。
図２０のフローチャートは、受信装置２００のＣＰＵ２０１が、上述のように識別情報「ＰＳ」のみが挿入される場合、あるいはその識別情報「ＰＳ」も挿入されていない場合に、表示開始タイミングを補正すべきピクチャを認識すると共にその補正方向（早くするか遅くするか）を決定する処理手順の一例を示している。このフローチャートの処理は、ピクチャ毎に行われる。
ＣＰＵ２０１は、ステップＳＴ１において、処理を開始する。次に、ＣＰＵ２０１は、ステップＳＴ２において、現在のピクチャにピクチャ・タイミング・デスプレースメント・ＳＥＩメッセージが存在するか否かを判断する。ピクチャ・タイミング・デスプレースメント・ＳＥＩメッセージが存在するとき、ＣＰＵ２０１は、ステップＳＴ３において、識別情報「ＰＳ」があるか否か、つまり「resync_to_picstruct_flag」が“１”であるか“０”であるかを判断する。
識別情報「ＰＳ」があるとき、ＣＰＵ２０１は、ステップＳＴ４において、ピクチャ・タイミング・ＳＥＩメッセージの「pic_struct」で指定されている表示リピート数が３であるか否かを判断する。表示リピート数が３であるとき、ＣＰＵ２０１は、ステップＳＴ５において、次のピクチャの表示開始タイミングを補正すべきものと認識して補正対象とし、その補正方向を早くする方向に決定する。ＣＰＵ２０１は、このステップＳＴ５の処理の後、ステップＳＴ６において、処理を終了する。
また、ステップＳＴ４で表示リピート数が３でないとき、ＣＰＵ２０１は、ステップＳＴ７において、ピクチャ・タイミング・ＳＥＩメッセージの「pic_struct」で指定されている表示リピート数が２であるか否かを判断する。表示リピート数が２であるとき、ＣＰＵ２０１は、ステップＳＴ８において、次のピクチャの表示開始タイミングを補正すべきものと認識して補正対象とし、その補正方向を遅くする方向に決定する。ＣＰＵ２０１は、このステップＳＴ８の処理の後、ステップＳＴ６において、処理を終了する。
また、ステップＳＴ３で識別情報「ＰＳ」がないとき、あるいはステップＳＴ７で表示リピート数が２でないとき、ＣＰＵ２０１は、直ちにステップＳＴ６に進み、処理を終了する。
また、ステップＳＴ２でピクチャ・タイミング・デスプレースメント・ＳＥＩメッセージが存在しないとき、ＣＰＵ２０１は、ステップＳＴ９において、現在のピクチャは表示タイミングの補正対象か否かを判断する。現在のピクチャが補正対象でないとき、ＣＰＵ２０１は、ステップＳＴ４の処理に進み、以下上述したと同様の処理をする。一方、現在のピクチャが補正対象であるとき、ＣＰＵ２０１は、直ちにステップＳＴ６に進み、処理を終了する。
上述の図２０のフローチャートの説明でも明らかなように、ピクチャ・タイミング・デスプレースメント・ＳＥＩメッセージが存在せず、従って識別情報「ＰＳ」の挿入がされていなくとも、各ピクチャの画像データの表示開始タイミングを、２４Ｈｚのフレームレートの動画像データを構成する各ピクチャを１２０Ｈｚのフレームレートで符号化した場合と同じ状態に補正できる。そして、この場合も、各ピクチャの画像データに５回の表示リピート処理をして１２０Ｈｚのフレームレートの動画像データを得ることで、１２０Ｈｚのフレームレートによる表示（１２０Ｈｚ表示）を、２４Ｈｚの素材の滑らかさを損ねることなく良好に行うことができる。
このように識別情報「ＰＳ」の挿入がされていなくとも各ピクチャの画像データの表示開始タイミングの補正は可能である。識別情報「ＰＳ」の挿入がある場合には、複数の６０Ｈｚのフレームレートのビデオストリームを扱う場合に、タイミング補正を行う段階で複数のストリーム間にずれが生じることを防止でき、複数の１２０Ｈｚのフレームレートの同期表示を保証できる。
図２１は、２つの６０Ｈｚのフレームレートのビデオストリームを扱う場合であって、識別情報「ＰＳ」の挿入がある場合の例を示している。この場合、識別情報「ＰＳ」の挿入があることで、表示開始タイミングを補正するピクチャが、ストリーム１（Stream 1）とストリーム２（Stream 2）において対応したものが特定される。そのため、タイミング補正を行う段階で２つのストリーム間にずれが生じることはなく、２つのストリームの１２０Ｈｚのフレームレートでの同期表示が可能となる。
図２２は、２つの６０Ｈｚのフレームレートのビデオストリームを扱う場合であって、識別情報「ＰＳ」の挿入がない場合の例を示している。２つのストリームは６０Ｈｚの表示を行う場合は表示タイムスタンプＴＳで同期がとれている。この場合、識別情報「ＰＳ」の挿入がないことで、１２０Ｈｚの表示のために表示開始タイミングを補正する段階で、表示開始タイミングを補正するピクチャが、図示のようにストリーム１（Stream 1）とストリーム２（Stream 2）で補正対象が同一でない可能性がある。この場合には、２つの１２０Ｈｚのフレームレートの同期表示が不可能となる。
また、本技術は、以下のような構成を取ることもできる。
（１）第１のフレームレートの動画像データを構成する各ピクチャを上記第１のフレームレートより大きな第２のフレームレートで符号化して該第２のフレームレートのビデオストリームを得る符号化部と、
上記第２のフレームレートのビデオストリームを構成する上記各ピクチャの符号化画像データに、上記第１のフレームレートと表示開始タイミングとの同期関係を示す識別情報を挿入する情報挿入部と、
上記識別情報が挿入された上記第２のフレームレートのビデオストリームを送信する送信部を備える
送信装置。
（２）上記同期関係を示す識別情報は、
上記第１のフレームレートと同期しているか否かを示す識別情報を含む
前記（１）に記載の送信装置。
（３）上記同期関係を示す識別情報は、
上記第１のフレームレートと同期していないとき、該第１のフレームレートに対して進んでいるか遅れているかを示す識別情報をさらに含む
前記（２）に記載の送信装置。
（４）上記第１のフレームレートは２４Ｈｚであって上記第２のフレームレートは６０Ｈｚであるか、上記第１のフレームレートは４８Ｈｚであって上記第２のフレームレートは１２０Ｈｚである
前記（１）から（３）のいずれかに記載の送信装置。
（５）上記情報挿入部は、
上記識別情報を含むＳＥＩメッセージを上記第２のフレームレートのビデオストリームに挿入する
前記（１）から（４）のいずれかに記載の送信装置。
（６）第１のフレームレートの動画像データを構成する各ピクチャを上記第１のフレームレートより大きな第２のフレームレートで符号化して該第２のフレームレートのビデオストリームを得る符号化ステップと、
上記第２のフレームレートのビデオストリームを構成する上記各ピクチャの符号化画像データに、上記第１のフレームレートと表示開始タイミングとの同期関係を示す識別情報を挿入する情報挿入ステップと、
送信部により、上記識別情報が挿入された上記第２のフレームレートのビデオストリームを送信する送信ステップを有する
送信方法。
（７）第１のフレームレートの動画像データを構成する各ピクチャを上記第１のフレームレートより大きな第２のフレームレートで符号化して得られた該第２のフレームレートのビデオストリームを受信する受信部を備え、
上記第２のフレームレートのビデオストリームを構成する上記各ピクチャの符号化画像データを復号化して該各ピクチャの画像データを得る復号化処理と、上記各ピクチャの画像データの表示開始タイミングを、上記第１のフレームレートの動画像データを構成する各ピクチャを上記第２のフレームレートより大きく、かつ上記第１のフレームレートのＮ倍（Ｎは整数）の第３のフレームレートで符号化した場合と同じ状態に補正するタイミング補正処理と、該表示開始タイミングが補正された上記各ピクチャの画像データを上記第３のフレームレートで上記Ｎの回数だけ繰り返し出力する表示リピート処理を制御する制御部をさらに備える
受信装置。
（８）上記第２のフレームレートのビデオストリームを構成する上記各ピクチャの符号化画像データに、上記第１のフレームレートと表示開始タイミングとの同期関係を示す識別情報が挿入されており、
上記制御部は、上記タイミング補正処理を、上記同期関係を示す識別情報に基づいて制御する
前記（７）に記載の受信装置。
（９）上記同期関係を示す識別情報は、
上記第１のフレームレートと同期しているか否かを示す識別情報を含む
前記（９）に記載の受信装置。
（１０）上記同期関係を示す識別情報は、
上記第１のフレームレートと同期していないとき、該第１のフレームレートに対して進んでいるか遅れているかを示す識別情報をさらに含む
前記（９）に記載の受信装置。
（１１）上記第１のフレームレートは２４Ｈｚであり、上記第２のフレームレートは６０Ｈｚであり、上記第３のフレームレートは１２０Ｈｚであって、上記Ｎは５であるか、上記第１のフレームレートは２４Ｈｚであり、上記第２のフレームレートは６０Ｈｚであり、上記第３のフレームレートは２４０Ｈｚであって、上記Ｎは１０であるか、あるいは上記第１のフレームレートは４８Ｈｚであり、上記第２のフレームレートは１２０Ｈｚであり、上記第３のフレームレートは２４０Ｈｚであって、上記Ｎは５である
前記（７）から（１０）のいずれかに記載の受信装置。
（１２）受信部により、第１のフレームレートの動画像データを構成する各ピクチャを上記第１のフレームレートより大きな第２のフレームレートで符号化して得られた該第２のフレームレートのビデオストリームを受信する受信ステップを有し、
上記第２のフレームレートのビデオストリームを構成する上記各ピクチャの符号化画像データを復号化して該各ピクチャの画像データを得る復号化ステップと、
上記各ピクチャの画像データの表示開始タイミングを、上記第１のフレームレートの動画像データを構成する各ピクチャを上記第２のフレームレートより大きく、かつ上記第１のフレームレートのＮ倍（Ｎは整数）の第３のフレームレートで符号化した場合と同じ状態に補正する補正ステップと、
上記表示開始タイミングが補正された上記各ピクチャの画像データを、上記第３のフレームレートで上記Ｎの回数だけ繰り返し出力する表示リピートステップをさらに有する
受信方法。
本技術の主な特徴は、６０Ｈｚのフレームレートのビデオストリームを構成する各ピクチャの符号化画像データに、２４Ｈｚのフレームレートと表示開始タイミングとの同期関係を示す識別情報を挿入することで、受信側では、各ピクチャの画像データの表示開始タイミングを、２４Ｈｚのフレームレートの動画像データを構成する各ピクチャを１２０Ｈｚのフレームレートで符号化した場合と同じ状態に容易に補正して、１２０Ｈｚのフレームレートによる表示（１２０Ｈｚ表示）を２４Ｈｚの素材の滑らかさを損ねることなく良好に行い得るようにしたことである（図４、図６参照）。
１０・・・送受信システム
１００・・・送信装置
１０１・・・ＣＰＵ
１０２・・・エンコーダ
１０２ａ・・・ビデオエンコード部
１０２ｂ・・・検出部
１０３・・・マルチプレクサ
１０４・・・送信部
２００・・・受信装置
２０１・・・ＣＰＵ
２０２・・・受信部
２０３・・・デマルチプレクサ
２０４・・・インバッファ
２０５・・・デコーダ
２０６・・・アウトバッファ
２０７・・・表示処理部
２０８・・・表示部

Claims (9)

  1. 第１のフレームレートの動画像データを構成する各ピクチャを上記第１のフレームレートより大きな第２のフレームレートで符号化して上記第１のフレームレートの動画像データを構成する各ピクチャの符号化画像データを間欠的に含む上記第２のフレームレートのビデオストリームを得る符号化部と、
    上記第２のフレームレートのビデオストリームに間欠的に含まれる上記第１のフレームレートの動画像データを構成する各ピクチャの符号化画像データに表示開始タイミングを示す情報を挿入すると共に、上記第２のフレームレートのビデオストリームに間欠的に含まれる上記第１のフレームレートの動画像データを構成する各ピクチャの符号化画像データのうち上記表示開始タイミングが上記第１のフレームレートのタイミングと一致するピクチャの符号化画像データに一致していることを示す識別情報を挿入する情報挿入部と、
    上記第２のフレームレートのビデオストリームを送信する送信部を備える
    送信装置。
  2. 上記情報挿入部は、上記第２のフレームレートのビデオストリームに間欠的に含まれる上記第１のフレームレートの動画像データを構成する各ピクチャの符号化画像データのうち上記表示開始タイミングが上記第１のフレームレートのタイミングと一致しないピクチャの符号化画像データに進んでいることを示す識別情報、あるいは遅れていることを示す識別情報をさらに挿入する
    請求項１に記載の送信装置。
  3. 上記第１のフレームレートは２４Ｈｚであって上記第２のフレームレートは６０Ｈｚであるか、上記第１のフレームレートは４８Ｈｚであって上記第２のフレームレートは１２０Ｈｚである
    請求項１または２に記載の送信装置。
  4. 上記情報挿入部は、
    上記識別情報を含むＳＥＩメッセージを上記第２のフレームレートのビデオストリームに挿入する
    請求項１から３のいずれかに記載の送信装置。
  5. 第１のフレームレートの動画像データを構成する各ピクチャを上記第１のフレームレートより大きな第２のフレームレートで符号化して上記第１のフレームレートの動画像データを構成する各ピクチャの符号化画像データを間欠的に含む第２のフレームレートのビデオストリームを得る符号化ステップと、
    上記第２のフレームレートのビデオストリームに間欠的に含まれる上記第１のフレームレートの動画像データを構成する各ピクチャの符号化画像データに表示開始タイミングを示す情報を挿入すると共に、上記第２のフレームレートのビデオストリームに間欠的に含まれる上記第１のフレームレートの動画像データを構成する各ピクチャの符号化画像データのうち上記表示開始タイミングが上記第１のフレームレートのタイミングと一致するピクチャの符号化画像データに一致していることを示す識別情報を挿入する情報挿入ステップと、
    送信部により、上記第２のフレームレートのビデオストリームを送信する送信ステップを有する
    送信方法。
  6. 第１のフレームレートの動画像データを構成する各ピクチャを上記第１のフレームレートより大きな第２のフレームレートで符号化して得られた上記第１のフレームレートの動画像データを構成する各ピクチャの符号化画像データを間欠的に含む第２のフレームレートのビデオストリームを受信する受信部を備え、
    上記第２のフレームレートのビデオストリームに間欠的に含まれる上記第１のフレームレートの動画像データを構成する各ピクチャの符号化画像データに表示開始タイミングを示す情報が挿入されていると共に、上記第２のフレームレートのビデオストリームに間欠的に含まれる上記第１のフレームレートの動画像データを構成する各ピクチャの符号化画像データのうち上記表示開始タイミングが上記第１のフレームレートのタイミングと一致するピクチャの符号化画像データに一致していることを示す識別情報が挿入されており、
    上記第２のフレームレートのビデオストリームに間欠的に含まれる上記第１のフレームレートの動画像データを構成する各ピクチャの符号化画像データを復号化して該各ピクチャの画像データを得る復号化処理と、上記各ピクチャの画像データの表示開始タイミングを、上記一致していることを示す識別情報に基づいて、上記第１のフレームレートの動画像データを構成する各ピクチャを上記第２のフレームレートより大きく、かつ上記第１のフレームレートのＮ倍（Ｎは整数）の第３のフレームレートで符号化した場合と同じ状態に補正するタイミング補正処理と、該表示開始タイミングが補正された上記各ピクチャの画像データを上記第３のフレームレートで上記Ｎの回数だけ繰り返し出力する表示リピート処理を制御する制御部をさらに備える
    受信装置。
  7. 上記第２のフレームレートのビデオストリームに間欠的に含まれる上記第１のフレームレートの動画像データを構成する各ピクチャの符号化画像データのうち上記表示開始タイミングが上記第１のフレームレートのタイミングと一致しないピクチャの符号化画像データに進んでいることを示す識別情報、あるいは遅れていることを示す識別情報がさらに挿入されており、
    上記タイミング補正処理では、上記一致していることを示す識別情報と共に上記進んでいることを示す識別情報、あるいは遅れていることを示す識別情報に基づいて、補正する
    請求項６に記載の受信装置。
  8. 上記第１のフレームレートは２４Ｈｚであり、上記第２のフレームレートは６０Ｈｚであり、上記第３のフレームレートは１２０Ｈｚであって、上記Ｎは５であるか、上記第１のフレームレートは２４Ｈｚであり、上記第２のフレームレートは６０Ｈｚであり、上記第３のフレームレートは２４０Ｈｚであって、上記Ｎは１０であるか、あるいは上記第１のフレームレートは４８Ｈｚであり、上記第２のフレームレートは１２０Ｈｚであり、上記第３のフレームレートは２４０Ｈｚであって、上記Ｎは５である
    請求項６または７に記載の受信装置。
  9. 受信部により、第１のフレームレートの動画像データを構成する各ピクチャを上記第１のフレームレートより大きな第２のフレームレートで符号化して得られた上記第１のフレームレートの動画像データを構成する各ピクチャの符号化画像データを間欠的に含む第２のフレームレートのビデオストリームを受信する受信ステップを有し、
    上記第２のフレームレートのビデオストリームに間欠的に含まれる上記第１のフレームレートの動画像データを構成する各ピクチャの符号化画像データに表示開始タイミングを示す情報が挿入されていると共に、上記第２のフレームレートのビデオストリームに間欠的に含まれる上記第１のフレームレートの動画像データを構成する各ピクチャの符号化画像データのうち上記表示開始タイミングが上記第１のフレームレートのタイミングと一致するピクチャの符号化画像データに一致していることを示す識別情報が挿入されており、
    上記第２のフレームレートのビデオストリームに間欠的に含まれる上記第１のフレームレートの動画像データを構成する各ピクチャの符号化画像データを復号化して該各ピクチャの画像データを得る復号化ステップと、
    上記各ピクチャの画像データの表示開始タイミングを、上記一致していることを示す識別情報に基づいて、上記第１のフレームレートの動画像データを構成する各ピクチャを上記第２のフレームレートより大きく、かつ上記第１のフレームレートのＮ倍（Ｎは整数）の第３のフレームレートで符号化した場合と同じ状態に補正する補正ステップと、
    上記表示開始タイミングが補正された上記各ピクチャの画像データを、上記第３のフレームレートで上記Ｎの回数だけ繰り返し出力する表示リピートステップをさらに有する
    受信方法。
JP2018507292A 2016-03-24 2017-03-16 送信装置、送信方法、受信装置および受信方法 Active JP6996490B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016060956 2016-03-24
JP2016060956 2016-03-24
PCT/JP2017/010795 WO2017164087A1 (ja) 2016-03-24 2017-03-16 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
JPWO2017164087A1 JPWO2017164087A1 (ja) 2019-02-14
JP6996490B2 true JP6996490B2 (ja) 2022-01-17

Family

ID=59900261

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018507292A Active JP6996490B2 (ja) 2016-03-24 2017-03-16 送信装置、送信方法、受信装置および受信方法

Country Status (6)

Country Link
US (1) US10659795B2 (ja)
EP (1) EP3435678B1 (ja)
JP (1) JP6996490B2 (ja)
CN (1) CN108781301B (ja)
TW (1) TWI744292B (ja)
WO (1) WO2017164087A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3080307A1 (en) * 2017-11-02 2019-05-09 Sony Corporation Transmission device, transmission method, reception device, and reception method
CN112866745B (zh) * 2020-12-31 2023-04-25 南方电网大数据服务有限公司 流媒体视频数据处理方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005354361A (ja) 2004-06-10 2005-12-22 Sony Computer Entertainment Inc 符号化装置および符号化方法、復号装置および復号方法、プログラムおよびプログラム記録媒体、データ記録媒体およびデータ構造、並びに再生装置
WO2012137269A1 (ja) 2011-04-01 2012-10-11 パナソニック株式会社 映像信号のフレームレート変換装置及びその方法、そのフレームレート変換を用いた映像処理装置
JP2012227799A (ja) 2011-04-21 2012-11-15 Mitsubishi Electric Corp 画像表示装置
WO2015053157A1 (ja) 2013-10-11 2015-04-16 ソニー株式会社 送信装置、送信方法および受信装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7433683B2 (en) * 2000-12-28 2008-10-07 Northstar Acquisitions, Llc System for fast macrodiversity switching in mobile wireless networks
JP2004159191A (ja) * 2002-11-07 2004-06-03 Seiko Epson Corp 画像データに応じたフレームレートの変換
JP3729189B2 (ja) * 2003-07-18 2005-12-21 ソニー株式会社 撮像装置
CN101534406B (zh) * 2004-03-31 2011-08-10 松下电器产业株式会社 用于可变帧速率记录的视频记录设备
GB0428155D0 (en) * 2004-12-22 2005-01-26 British Telecomm Buffer underflow prevention
JP2013143646A (ja) 2012-01-10 2013-07-22 Sony Corp 表示装置、フレームレート変換装置、および表示方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005354361A (ja) 2004-06-10 2005-12-22 Sony Computer Entertainment Inc 符号化装置および符号化方法、復号装置および復号方法、プログラムおよびプログラム記録媒体、データ記録媒体およびデータ構造、並びに再生装置
WO2012137269A1 (ja) 2011-04-01 2012-10-11 パナソニック株式会社 映像信号のフレームレート変換装置及びその方法、そのフレームレート変換を用いた映像処理装置
JP2012227799A (ja) 2011-04-21 2012-11-15 Mitsubishi Electric Corp 画像表示装置
WO2015053157A1 (ja) 2013-10-11 2015-04-16 ソニー株式会社 送信装置、送信方法および受信装置

Also Published As

Publication number Publication date
EP3435678A4 (en) 2019-01-30
EP3435678A1 (en) 2019-01-30
US20190052889A1 (en) 2019-02-14
US10659795B2 (en) 2020-05-19
CN108781301B (zh) 2021-04-16
EP3435678B1 (en) 2021-04-28
TWI744292B (zh) 2021-11-01
CN108781301A (zh) 2018-11-09
TW201739257A (zh) 2017-11-01
WO2017164087A1 (ja) 2017-09-28
JPWO2017164087A1 (ja) 2019-02-14

Similar Documents

Publication Publication Date Title
US8385413B2 (en) Decoding and presentation time stamps for MPEG-4 advanced video coding
US8351514B2 (en) Method, protocol, and apparatus for transporting advanced video coding content
US9456209B2 (en) Method of multiplexing H.264 elementary streams without timing information coded
EP2866457B1 (en) Reception device, and synchronous processing method therefor
EP2574064A1 (en) Image data transmitting device, image data transmitting method and image data receiving device
US8643698B2 (en) Method and system for transmitting a 1080P60 video in 1080i format to a legacy 1080i capable video receiver without resolution loss
EP2866458B1 (en) Reception device, and synchronous processing method therefor
EP2346261A1 (en) Method and apparatus for multiplexing H.264 elementary streams without timing information coded
US20150109411A1 (en) Image playback apparatus for 3dtv and method performed by the apparatus
EP2528334A1 (en) Reception device, transmission device, communication system, method for controlling reception device, and program
EP2600619A1 (en) Transmitter, transmission method and receiver
EP2651138A1 (en) Image data transmitting device, image data transmitting method, image data receiving device, and image data receiving method
JP6996490B2 (ja) 送信装置、送信方法、受信装置および受信方法
US20140327740A1 (en) Transmission apparatus, transmisson method, receiver and receiving method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211129

R151 Written notification of patent or utility model registration

Ref document number: 6996490

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151