JP6930420B2 - 送信装置、送信方法、画像処理装置、画像処理方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、画像処理装置、画像処理方法、受信装置および受信方法 Download PDF

Info

Publication number
JP6930420B2
JP6930420B2 JP2017520604A JP2017520604A JP6930420B2 JP 6930420 B2 JP6930420 B2 JP 6930420B2 JP 2017520604 A JP2017520604 A JP 2017520604A JP 2017520604 A JP2017520604 A JP 2017520604A JP 6930420 B2 JP6930420 B2 JP 6930420B2
Authority
JP
Japan
Prior art keywords
frame
information
image data
frame rate
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017520604A
Other languages
English (en)
Other versions
JPWO2016190089A1 (ja
Inventor
塚越　郁夫
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2016190089A1 publication Critical patent/JPWO2016190089A1/ja
Application granted granted Critical
Publication of JP6930420B2 publication Critical patent/JP6930420B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H04N21/6336—Control signals issued by server directed to the network components or client directed to client directed to decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Description

本技術は、送信装置、送信方法、画像処理装置、画像処理方法、受信装置および受信方法に関する。詳しくは、本技術は、所定フレームレートの動画像データを送信する送信装置等に関する。
従来、表示装置における画質向上のために受信側でフレームレートを高く変換して表示することが知られている（例えば、特許文献１参照）。フレームレートを高くするためにはフレームの増加処理が必要となるが、そのための処理として、同一のフレームを繰り返すフレームリピートと、前後のフレームを用いて新たなフレームを作成するフレーム補間がある。
特開２０１３-１４３６４６号公報
コンテンツの種類によっては、配信される動画像データに対して受信側でフレーム補間をした場合、制作時の意図の的確な反映が妨げられることも考えられる。
本技術の目的は、受信側でフレーム補間が行われることによって制作時の意図の的確な反映が妨げられることを回避可能とすることにある。
本技術の概念は、
所定フレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のコンテナを送信する送信部と、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、フレーム補間を制限するための情報を挿入する情報挿入部を備える
送信装置にある。
本技術において、送信部により、所定フレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のコンテナが送信される。情報挿入部により、コンテナのレイヤおよび/またはビデオストリームのレイヤに、フレーム補間を制限するための情報が挿入される。
例えば、フレーム補間を制限するための情報には、フレーム補間を禁止する情報が含まれる、ようにされてもよい。また、例えば、フレーム補間を制限するための情報には、フレームリピート回数を示す情報が含まれる、ようにされてもよい。また、例えば、情報挿入部は、フレーム補間を制限するための情報を含むデスクリプタをコンテナのレイヤに挿入する、ようにされてもよい。また、例えば、情報挿入部は、フレーム補間を制限するための情報を含むＳＥＩメッセージをビデオストリームのレイヤに挿入する、ようにされてもよい。
このように本技術においては、コンテナのレイヤおよび/またはビデオストリームのレイヤに、フレーム補間を制限するための情報を挿入するものである。そのため、受信側では、送られてくる動画像データに対するフレーム補間を当該情報に基づいて制限でき、制作時の意図の的確な反映が妨げられることを回避できる。
また、本技術の他の概念は、
所定フレームレートの動画像データを取得する画像データ取得部と、
フレーム補間を制限するための情報に基づいて上記動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理を制御する制御部を備える
画像処理装置にある。
本技術において、データ取得部により、所定フレームレートの動画像データが取得される。制御部により、フレーム補間を制限するための情報に基づいて動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理が制御される。
例えば、画像データ取得部は、所定フレームレートの動画像データに符号化処理を施して得られたビデオストリームを含む所定フォーマットのコンテナを受信し、このビデオストリームに復号化処理を施して所定フレームレートの動画像データを取得する、ようにされてもよい。この場合、例えば、フレーム補間を制限するための情報は、コンテナのレイヤおよび/またはビデオストリームのレイヤに挿入されている、ようにされてもよい。
また、例えば、画像データ取得部は、所定フレームの動画像データを、外部機器からデジタルインタフェースを介して取得する、ようにされてもよい。この場合、例えば、フレーム補間を制限するための情報は、外部機器からデジタルインタフェースを介して取得される、ようにされてもよい。
このように本技術においては、動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理を、フレーム補間を制限するための情報に基づいて制御するものである。そのため、フレーム補間が行われることによって制作時の意図の的確な反映が妨げられることを回避できる。
また、本技術の他の概念は、
所定のフレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されており、
上記ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコード処理と、上記フレーム補間を制御するための情報に基づいて上記デコード処理で得られた動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理を制御する制御部を備える
受信装置にある。
本技術において、受信部により、所定のフレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナが受信される。コンテナのレイヤおよび/またはビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されている。
制御部により、ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコード処理と、フレーム補間を制御するための情報に基づいてデコード処理で得られた動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理が制御される。
このように本技術においては、ビデオストリームに復号化処理を施して得られた動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理を、フレーム補間を制限するための情報に基づいて制御するものである。そのため、フレーム補間が行われることによって制作時の意図の的確な反映が妨げられることを回避できる。
また、本技術の他の概念は、
外部機器からデジタルインタフェースを介して所定フレームレートの動画像データとフレーム補間を制限するための情報を受信する受信部と、
フレーム補間を制限するための情報に基づいて上記動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理を制御する制御部を備える
受信装置にある。
本技術において、受信部により、外部機器からデジタルインタフェースを介して所定フレームレートの動画像データとフレーム補間を制限するための情報が受信される。例えば、デジタルインタフェースは、ＨＤＭＩ（High-Definition Multimedia Interface）である、ようにされてもよい。
制御部により、フレーム補間を制限するための情報に基づいて動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理が制御される。
このように本技術においては、動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理を、フレーム補間を制限するための情報に基づいて制御するものである。そのため、フレーム補間が行われることによって制作時の意図の的確な反映が妨げられることを回避できる。
また、本技術の概念は、
所定のフレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されており、
上記ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコード処理と、上記デコード処理で得られた所定フレームレートの動画像データと上記フレーム補間を制限するための情報をデジタルインタフェースを介して外部機器に送信する送信処理を制御する制御部を備える
受信装置にある。
本技術において、受信部により、所定のフレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナが受信される。コンテナのレイヤおよび/またはビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されている。
制御部により、ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコード処理と、このデコード処理で得られた所定フレームレートの動画像データとフレーム補間を制限するための情報をデジタルインタフェースを介して外部機器に送信する送信処理が制御される。
このように本技術においては、所定フレームレートの動画像データと共に、この動画像データに関連したフレーム補間を制限するための情報を、デジタルインタフェースを介して、外部機器に送るものである。そのため、受信側では、動画像データに対するフレーム補間を、この動画像データに関連したフレーム補間を制限するための情報に基づいて制限でき、制作時の意図の的確な反映が妨げられることを回避できる。
本技術によれば、受信側でフレーム補間が行われることによって制作時の意図の的確な反映が妨げられることを回避できる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 送信装置の構成例を示すブロック図である。 符号化方式がＨＥＶＣである場合におけるＧＯＰの先頭のアクセスユニットを示す図である。 符号化方式がＨＥＶＣである場合におけるＧＯＰの先頭以外のアクセスユニットを示す図である。 フレーム・インタポレーション・リストリクション・ＳＥＩメッセージの構造例と、その構造例における主要な情報の内容を示す図である。 フレーム・インタポレーション・リストリクション・デスクリプタの構造例を示す図である。 フレーム・インタポレーション・リストリクション・デスクリプタの構造例における主要な情報の内容を示す図である。 トランスポートストリームＴＳの構成例を示す図である。 受信装置の構成例を示すブロック図である。 ピクチャ・タイミング・ＳＥＩメッセージの構造例を示す図である。 現状で定義されているピクチャ・タイミング・ＳＥＩメッセージの「pic_struct」の表示シーケンスを示す図である。 フレーム補間を制限しない場合におけるフレームレート変換の例（１）を示す図である。 フレーム補間を制限しない場合におけるフレームレート変換の例（２）を示す図である。 フレーム補間を制限するための情報に基づいてフレーム補間を制限した場合におけるフレームレート変換の例を示す図である。 ピクチャ・タイミング・ＳＥＩメッセージの「pic_struct」に新たに定義する表示シーケンスを示す図である。 送受信システムの他の構成例を示すブロック図である。 “Video displaying InfoFrame”のパケットの構造例と、その構造例における主要な情報の内容を示す図である。
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。
送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、２４Ｈｚ、３０Ｈｚ、６０Ｈｚ、１２０Ｈｚなどの所定フレームレートの動画像データに符号化処理が施されて得られたビデオストリームが含まれる。この場合、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化が施される。
コンテナとしてのトランスポートストリームＴＳのレイヤおよび/またはビデオストリームのレイヤに、フレーム補間を制限するための情報が挿入される。受信側においては、トランスポートストリームＴＳのレイヤやビデオストリームのレイヤから、フレーム補間を制限するための情報を容易に取得可能となる。
この実施の形態において、送信装置１００は、フレーム補間を制限するための情報を含むデスクリプタをトランスポートストリームＴＳのレイヤに挿入する。また、この実施の形態において、送信装置１００は、フレーム補間を制限するための情報を含むＳＥＩメッセージをビデオストリームのレイヤに挿入する。
受信装置２００は、送信装置１００から放送波に載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、所定フレームレートの動画像データに符号化処理が施されて得られたビデオストリームが含まれている。トランスポートストリームＴＳのレイヤおよび/またはビデオストリームのレイヤに、フレーム補間を制限するための情報が挿入されている。
受信装置２００は、ビデオストリームに復号化処理を施して所定フレームレートの動画像データを取得するデコード処理と、さらにこの動画像データのフレームレートを表示フレームレートに変換するフレームレート変換処理を行って、表示用の動画像データを得る。受信装置２００は、フレーム補間を制限するための情報が存在するとき、その情報に基づいてフレームレート変換処理を制御してフレーム補間が行われることを禁止する。
「送信装置の構成」
図２は、送信装置１００の構成例を示している。この送信装置１００は、ＣＰＵ（Central Processing Unit）１０１と、エンコーダ１０２と、マルチプレクサ１０３と、送信部１０４を有している。ＣＰＵ１０１は、制御部であり、送信装置１００の各部の動作を制御する。
エンコーダ１０２は、配信用画像シーケンスを構成する所定フレームレートの動画像データＶＤを入力する。エンコーダ１０２は、この動画像データＶＤに、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化処理を施し、ビデオストリームを生成する。
この際、エンコーダ１０２は、ビデオストリームのレイヤに、フレーム補間を制限するための情報を挿入する。すなわち、エンコーダ１０２は、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、フレーム・インタポレーション・リストリクション・ＳＥＩメッセージ（frame_interpolation_restriction SEI message）を挿入する。
図３は、符号化方式がＨＥＶＣである場合におけるＧＯＰ（Group Of Pictures）の先頭のアクセスユニットを示している。また、図４は、符号化方式がＨＥＶＣである場合におけるＧＯＰの先頭以外のアクセスユニットを示している。ＨＥＶＣの符号化方式の場合、画素データが符号化されているスライス（slices）の前にデコード用のＳＥＩメッセージ群「Prefix_SEIs」が配置され、このスライス（slices）の後に表示用のＳＥＩメッセージ群「Suffix_SEIs」が配置される。図３、図４に示すように、フレーム・インタポレーション・リストリクション・ＳＥＩメッセージは、例えば、ＳＥＩメッセージ群「Suffix_SEIs」として配置される。
図５（ａ）は、フレーム・インタポレーション・リストリクション・ＳＥＩメッセージの構造例(Syntax)を示している。図５（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。「frame_interpolation_prohibited_flag」の１ビットフィールドは、フレーム補間を禁止するか否かを示すフラグ情報を示している。例えば、“１”はフレーム補間が禁止されることを示し、“０”はフレーム補間が禁止されないことを示す。
「frame_repeat_type」のフィールドは、フレームリピートのタイプを示す。例えば、“０００”は無制限のフレームリピートを示す。これは、表示のフレームレートに一致するように、リピート回数は指定せず、受信表示側がリピート回数を決めることを想定したものである。また、“００１”は１フレームリピート、“０１０”は２フレームリピート、“０１１”は３フレームリピート、“１００”は４フレームリピートを示し、“１０１”は５フレームリピートを示す。
図２に戻って、マルチプレクサ１０３は、エンコーダ１０２で生成されたビデオストリームを、ＰＥＳ（Packetized Elementary Stream）パケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。
この際、コンテナとしてのトランスポートストリームＴＳのレイヤに、フレーム補間を制限するための情報を挿入する。すなわち、マルチプレクサ１０３は、プログラムマップテーブルの配下にビデオストリームに対応して配置されたビデオエレメンタリストリームループの中に、フレーム・インタポレーション・リストリクション・デスクリプタ（frame_interpolation_restriction descriptor）を挿入する。
図６は、フレーム・インタポレーション・リストリクション・デスクリプタの構造例（Syntax）を示している。図７は、その構造例における主要な情報の内容（Semantics）を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示す。ここでは、フレーム・インタポレーション・リストリクション・デスクリプタであることを示す。「descriptor length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。ここでは、３バイトを示す。
「frame_interpolation_prohibited_flag」の１ビットフィールドは、フレーム補間を禁止するか否かを示すフラグ情報を示している。例えば、“１”はフレーム補間が禁止されることを示し、“０”はフレーム補間が禁止されないことを示す。
「frame_rate」の３ビットフィールドは、フレームレートを示す。例えば、“００１”は２４Ｈｚを示し、“０１０”は３０Ｈｚを示し“０１１”は６０Ｈｚを示し、“１００”は１２０Ｈｚを示す。
「frame_repeat_type」のフィールドは、フレームリピートのタイプを示す。例えば、“０００”は無制限のフレームリピートを示す。これは、表示のフレームレートに一致するように、リピート回数は指定せず、受信表示側がリピート回数を決めることを想定したものである。また、“００１”は１フレームリピート、“０１０”は２フレームリピート、“０１１”は３付フレームリピート、“１００”は４フレームリピートを示し、“１０１”は５フレームリピートを示す。
図２に戻って、送信部１０４は、マルチプレクサ１０３で得られたトランスポートストリームＴＳを、放送波に載せて、受信装置２００に送信する。
図８は、トランスポートストリームＴＳの構成例を示している。この構成例では、ビデオストリームのＰＥＳパケット「video PES1」が存在する。ＰＥＳペイロードに含まれる各ピクチャの符号化画像データは、「ＡＵＤ」、「ＶＰＳ」、「ＳＰＳ」、「ＰＰＳ」、「ＰＳＥＩ」、「ＳＬＩＣＥ」、「ＳＳＥＩ」、「ＥＯＳ」などのＮＡＬユニットにより構成されている。ＳＥＩメッセージとして、上述したフレーム・インタポレーション・リストリクション・ＳＥＩメッセージ（図５（ａ）参照）が挿入される。
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリストリームループが存在する。この構成例では、ビデオエレメンタリストリームループ（video ES1 loop）が存在する。
ビデオエレメンタリストリームループには、ビデオストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、ＨＥＶＣデスクリプタ（HEVC_descriptor）、上述したフレーム・インタポレーション・リストリクション・デスクリプタ（図６参照）が挿入される。
図２に示す送信装置１００の動作を簡単に説明する。エンコーダ１０２には、配信用画像シーケンスを構成する所定フレームレートの動画像データＶＤが入力される。エンコーダ１０２では、この動画像データＶＤに、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化処理が施され、ビデオストリームが生成される。
また、エンコーダ１０２では、ビデオストリームのレイヤに、フレーム補間を制限するための情報が挿入される。すなわち、エンコーダ１０２では、アクセスユニット（ＡＵ）の“ＳＥＩｓ”の部分に、新規定義する、フレーム・インタポレーション・リストリクション・ＳＥＩメッセージ（図５（ａ）参照）が挿入される。
エンコーダ１０２で生成されたビデオストリームは、マルチプレクサ１０３に供給される。マルチプレクサ１０３では、ビデオストリームのＰＥＳパケット化、さらにトランスポートパケット化が行われて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。
また、マルチプレクサ１０３では、コンテナとしてのトランスポートストリームＴＳのレイヤに、フレーム補間を制限するための情報が挿入される。すなわち、プログラムマップテーブルの配下にビデオストリームに対応して配置されたビデオエレメンタリストリームループの中にフレーム・インタポレーション・リストリクション・デスクリプタ（図６参照）が挿入される。
マルチプレクサ１０３で生成されたトランスポートストリームＴＳは、送信部１０４に送られる。送信部１０４では、このトランスポートストリームＴＳが、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調され、ＲＦ変調信号が送信アンテナから送信される。
「受信装置の構成」
図９は、受信装置２００の構成例を示している。この受信装置２００は、ＣＰＵ（Central Processing Unit）２０１と、受信部２０２と、デマルチプレクサ２０３と、デコーダ２０４と、表示処理部２０５と、表示部２０６を有している。ＣＰＵ２０１は、制御部を構成し、受信装置２００の各部の動作を制御する。
受信部２０２は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、所定フレームレートの動画像データに符号化処理が施されて得られたビデオストリームが含まれている。
デマルチプレクサ２０３は、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによってビデオストリームを取り出し、デコーダ２０４に供給する。また、デマルチプレクサ２０３は、トランスポートストリームＴＳのレイヤに含まれるセクション情報を抽出し、ＣＰＵ２０１に送る。この場合、フレーム補間を制限するための情報を含むフレーム・インタポレーション・リストリクション・デスクリプタ（図６参照）も抽出される。
デコーダ２０４は、デマルチプレクサ２０３から供給されるビデオストリームに復号化処理を施して、所定フレームレートの動画像データを出力する。また、デコーダ２０４は、ビデオストリームを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩメッセージを抽出し、ＣＰＵ２０１に送る。この場合、フレーム補間を制限するための情報を含むフレーム・インタポレーション・リストリクション・ＳＥＩメッセージ（図５（ａ）参照）も抽出される。
なお、図示は省略するが、デコーダ２０４は、出力バッファを備えており、復号化処理で得られた動画像データに対して、フレームリピートを行って出力することも可能とされている。ＣＰＵ２０１は、デコーダ２０４におけるフレームリピートを、例えば、ピクチャ・タイミング・ＳＥＩメッセージ（Picture_timing SEI message）の「pic_struct」のフィールドの情報、あるいはフレーム補間を制限するための情報などに基づいて制御する。
図１０は、ピクチャ・タイミング・ＳＥＩメッセージの構造例（Syntax）を示している。図１１は、現状で定義されている「pic_struct」の表示シーケンスを示している。
表示処理部２０５は、デコーダ２０４で得られた動画像データのフレームレートを表示フレームレートに変換して出力する。ここで、デコーダ２０４で得られた動画像データのフレームレートは表示フレームレートと同じか、それより低くなるように設定されている。表示処理部２０５は、デコーダ２０４で得られた動画像データのフレームレートが表示フレームレートより低いときは、フレーム補間あるいはフレームリピートによってフレームレートの変換処理を行う。なお、表示処理部２０５は、デコーダ２０４で得られた動画像データのフレームレートが表示フレームレートと同じであるときは、フレームレートの変換処理を行うことなく、デコーダ２０４で得られた動画像データをそのまま出力する。
ＣＰＵ２０１は、フレーム・インタポレーション・リストリクション・デスクリプタ、あるいはフレーム・インタポレーション・リストリクション・ＳＥＩメッセージに含まれるフレーム補間を制限するための情報に基づいて、デコーダ２０４および表示処理部２０５の動作を制御する。制御の詳細については後述する。
表示部２０６は、表示処理部２０５で得られた動画像データによる動画像を表示する。この表示部２０６は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬ（Organic Electro-Luminescence）パネル等で構成されている。なお、この表示部２０６は、受信装置２００に接続される外部機器であってもよい。
図９に示す受信装置２００の動作を簡単に説明する。受信部２０２では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。このトランスポートストリームＴＳは、デマルチプレクサ２０３に送られる。デマルチプレクサ２０３では、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、復号化処理をすべきビデオストリームが取り出される。
また、デマルチプレクサ２０３では、トランスポートストリームＴＳのレイヤに含まれるセクション情報が抽出され、ＣＰＵ２０１に送られる。この場合、フレーム補間を制限するための情報を含むフレーム・インタポレーション・リストリクション・デスクリプタ（図６参照）も抽出される。これにより、ＣＰＵ２０１では、このデスクリプタからフレーム補間を制限するための情報が取得される。
デマルチプレクサ２０３で取り出されたビデオストリームは、デコーダ２０４に供給される。デコーダ２０４では、ビデオストリームに復号化処理が施されて、所定フレームレートの動画像データが得られる。また、デコーダ２０４では、ビデオストリームを構成する各アクセスユニットに挿入されているパラメータセットやＳＥＩメッセージが抽出され、ＣＰＵ２０１に送られる。この場合、フレーム補間を制限するための情報を含むフレーム・インタポレーション・リストリクション・ＳＥＩメッセージ（図５（ａ）参照）も抽出される。これにより、ＣＰＵ２０１では、このＳＥＩメッセージからフレーム補間を制限するための情報が取得される。
デコーダ２０４で得られた所定フレームレートの動画像データは、表示処理部２０５に供給される。表示処理部２０５では、デコーダ２０４で得られた動画像データのフレームレートが表示フレームレートに変換されて出力される。なお、デコーダ２０４で得られた動画像データのフレームレートが表示フレームレートと同じであるときは、フレームレートの変換処理は行われず、デコーダ２０４で得られた動画像データがそのまま出力される。
表示処理部２０５から出力された動画像データは、表示部２０６に供給される。この表示部２０６に、動画像データによる動画像が表示される。
「フレーム補間を制限するための情報による制御」
デコーダ２０４および表示処理部２０５の動作は、ＣＰＵ２０１により、フレーム・インタポレーション・リストリクション・デスクリプタ、あるいはフレーム・インタポレーション・リストリクション・ＳＥＩメッセージに含まれるフレーム補間を制限するための情報に基づいて制御される。
（１）例えば、「frame_repeat_type」の情報が“００１”から“１０１”のように制限されたリピート回数を示し、「frame_repeat_type」の情報と「frame_interpolation_prohibited_flag」の情報の組み合わせで用いる場合が考えられる。
ここで、復号化処理で得られた動画像データ（受信動画像データ）のフレームレートが３０Ｈｚで、「frame_repeat_type」が“０１１”で３フレームリピートを示し、さらに、「frame_interpolation_prohibited_flag」が“１”でフレーム補間禁止を示している場合について説明する。
この場合、「frame_repeat_type」の情報に基づいてデコーダ２０４の動作が制御され、デコーダ２０４の出力バッファから４倍速で４回の読み出しが行われ、１２０Ｈｚのフレームレートの動画像データが得られる。そして、表示フレームレートが１２０Ｈｚであるときは、デコーダ２０４から出力される１２０Ｈｚのフレームレートの動画像データがそのまま表示処理部２０５から出力される。
また、表示フレームレートが２４０Ｈｚであるときは、「frame_interpolation_prohibited_flag」の情報に基づいて表示処理部２０５の動作が制御され、表示処理部２０５で各フレームが１回ずつリピートされ、２４０Ｈｚのフレームレートの動画像データが表示処理部２０５から出力される。
なお、このときは、「frame_repeat_type」の情報および「frame_interpolation_prohibited_flag」の情報に基づいてデコーダ２０４の動作が制御され、デコーダ２０４の出力バッファから８倍速で８回の読み出しが行われ、２４０Ｈｚのフレームレートの動画像データが得られるようにされてもよい。この場合、２４０Ｈｚのフレームレートの動画像データがそのまま表示処理部２０５から出力される。
また、上述ではデコーダ２０４で主体的にフレームリピートが行われるように説明したが、全てのフレームリピートが表示処理部２０５で行われるようにされてもよい。
（２）また、例えば、「frame_repeat_type」の情報が“０００”のように無制限のリピート回数を示し、「frame_repeat_type」のフィールドの情報のみを用いる場合が考えられる。
ここで、復号化処理で得られた動画像データ（受信動画像データ）のフレームレートが３０Ｈｚで、「frame_repeat_type」が“０００”で無制限のリピート回数を示している場合について説明する。
この場合、「frame_repeat_type」の情報に基づいてデコーダ２０４の動作が制御される。表示フレームレートが１２０Ｈｚであるときは、デコーダ２０４の出力バッファから４倍速で４回の読み出しが行われ、１２０Ｈｚのフレームレートの動画像データが得られる。そして、この動画像データがそのまま表示処理部２０５から出力される。
また、表示フレームレートが２４０Ｈｚであるときは、デコーダ２０４の出力バッファから８倍速で８回の読み出しが行われ、２４０Ｈｚのフレームレートの動画像データが得られる。そして、この動画像データがそのまま表示処理部２０５から出力される。
なお、上述ではデコーダ２０４でフレームリピートが行われるように説明したが、フレームリピートは表示処理部２０５で行われるようにされてもよい。
（３）また、例えば、「frame_interpolation_prohibited_flag」の情報のみを用いる場合が考えられる。
ここで、復号化処理で得られた動画像データ（受信動画像データ）のフレームレートが３０Ｈｚで、「frame_interpolation_prohibited_flag」が“１”でフレーム補間禁止を示している場合について説明する。
この場合、「frame_repeat_type」の情報に基づいてデコーダ２０４の動作が制御される。表示フレームレートが１２０Ｈｚであるときは、デコーダ２０４の出力バッファから４倍速で４回の読み出しが行われ、１２０Ｈｚのフレームレートの動画像データが得られる。そして、この動画像データがそのまま表示処理部２０５から出力される。
また、表示フレームレートが２４０Ｈｚであるときは、デコーダ２０４の出力バッファから８倍速で８回の読み出しが行われ、２４０Ｈｚのフレームレートの動画像データが得られる。そして、この動画像データがそのまま表示処理部２０５から出力される。
なお、上述ではデコーダ２０４でフレームリピートが行われるように説明したが、フレームリピートは表示処理部２０５で行われるようにされてもよい。
以上説明したように、図１に示す送受信システム１０において、送信装置１００では、コンテナとしてのトランスポートストリームＴＳのレイヤおよびビデオストリームのレイヤに、フレーム補間を制限するための情報が挿入される。そのため、受信側では、送られてくる動画像データに対するフレーム補間を当該情報に基づいて制限でき、制作時の意図の的確な反映が妨げられることを回避できる。
例えば、図１２は、フレーム補間を制限しない場合におけるフレームレート変換の例（１）を示している。ここでは、復号化処理で得られた動画像データ（受信動画像データ）のフレームレートが２４Ｈｚで、表示フレームレートが１２０Ｈｚである場合を例にとって説明する。なお、以下の図１３、図１４に示す例においても同様である。
図１２（ａ）は、復号化処理で得られた２４Ｈｚのフレームレートの動画像データ（受信動画像データ）を示している。図１２（ｂ）は、受信動画像データに対してデコーダの出力バッファからの読み出しによるフレームリピートで３/２プルダウン処理がされて得られた６０Ｈｚのフレームレートの動画像データを示している。図１２（ｃ）は、デコーダ出力の動画像データに対して表示処理部でフレーム補間を行って得られた１２０Ｈｚのフレームレートの動画像データを示している
この例の場合、３/２プルダウン処理で６０Ｈｚのフレームレートにする際に、元の２４Ｈｚの時間グリッドからの表示タイミングのずれが発生する。その結果、動きのぎこちなさが生じオリジナルの動きとは違った表示になる。また、この例の場合、フレーム補間で１２０Ｈのフレームレートにする際、元の２４Ｈｚの時間グリッドから表示タイミングがずれたまま、元には存在しない補間フレームが挿入される。したがって、この例の場合、制作時の意図の的確な反映が妨げられる可能性がある。
また、例えば、図１３は、フレーム補間を制限しない場合におけるフレームレート変換の例（２）を示している。図１３（ａ）は、復号化処理で得られた２４Ｈｚのフレームレートの動画像データ（受信動画像データ）を示している。図１３（ｂ）は、２４Ｈｚのフレームレートのデコーダ出力の動画像データに対して表示処理部でフレーム補間を行って得られた１２０Ｈｚのフレームレートの動画像データを示している。
この例の場合、元の２４Ｈｚの時間グリッドからの表示タイミングのずれは発生しないが、元には存在しない補間フレームが挿入される。したがって、この例の場合、制作時の意図の的確な反映が妨げられる可能性がある。
図１４は、本技術において、フレーム補間を制限するための情報に基づいてフレーム補間を制限した場合におけるフレームレート変換の例を示している。図１４（ａ）は、デコーダ２０４の復号化処理で得られた２４Ｈｚのフレームレートの動画像データ（受信動画像データ）を示している。図１４（ｂ）は、２４Ｈｚのフレームレートのデコーダ出力の動画像データに対してデコーダ２０４、あるいは表示処理部２０５、あるいはデコーダ２０４および表示処理部２０５の双方でフレームリピートがされることで得られた１２０Ｈｚのフレームレートの動画像データを示している。
この例の場合、元の２４Ｈｚの時間グリッドからの表示タイミングのずれは発生せず、しかもフレーム補間を行わないので、オリジナルの画質が維持され、制作時の意図の的確な反映が妨げられることを回避できる。
＜２．変形例＞
なお、上述実施の形態においては、コンテナとしてのトランスポートストリームＴＳのレイヤにフレーム補間を制限するための情報を持つフレーム・インタポレーション・リストリクション・デスクリプタを挿入し、ビデオストリームのレイヤにフレーム補間を制限するための情報を持つフレーム・インタポレーション・リストリクション・ＳＥＩメッセージを挿入している。しかし、これらのデスクリプタおよびＳＥＩメッセージの双方を必ずしも挿入する必要はなく、一方のみを挿入する構成も考えられる。
また、上述実施の形態においては、フレーム・インタポレーション・リストリクション・デスクリプタおよびフレーム・インタポレーション・リストリクション・ＳＥＩメッセージのそれぞれには、フレーム補間を禁止する情報としての「frame_interpolation_prohibited_flag」と、フレームリピート回数を示す情報としての「frame_repeat_type」の双方が含まれている。
フレームリピート回数を示す情報を、ピクチャ・タイミング・ＳＥＩメッセージ（図１０参照）に持たせることも考えられる。この場合、例えば、図１５に示すように、「pic_struct」に新たな表示シーケンスを定義する。例えば、“１３”は、「frame quadrupling」のための３フレームリピートを示す。また、“１４”は、「frame quintupling」のための４フレームリピートを示す。また、“１５”は、無制限のフレームリピートを示す。これは、表示のフレームレートに一致するように、リピート回数は指定せず、受信表示側がリピート回数を決めることを想定したものである。
また、上述実施の形態においては、送信装置１００および受信装置２００により構成される送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、図１６に示す送受信システム１０Ａのように、受信装置２００の部分がデジタルインタフェース、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）のデジタルインタフェースで接続されたセットトップボックス（ＳＴＢ）２００Ａおよびモニタ２００Ｂからなる構成であってもよい。なお、「ＨＤＭＩ」は、登録商標である。
この場合、例えば、デコーダ２０４までがセットトップボックス２００Ａに含まれ、表示処理部２０５以降がモニタ２００Ｂに含まれる。この場合、ＨＤＭＩのデジタルインタフェースにおける伝送レートを考慮して、例えば、セットトップボックス２００Ａのデコーダ２０４ではフレームレート変換が行われないようにされる。つまり、セットトップボックス２００Ａのデコーダ２０４は、受信された動画像データがそのままのフレームレートの動画像データを出力し、セットトップボックス２００Ａは、この動画像データ（非圧縮の動画像データ）をＨＤＭＩのデジタルインタフェースを介してモニタ２００に送信する。
また、セットトップボックス２００Ａは、フレーム補間を制限するための情報を、ＨＤＭＩのデジタルインタフェースを介してモニタ２００に送信する。セットトップボックス２００Ａは、例えば、フレーム補間を制限するための情報を、動画像データのブランキング期間に挿入することで送信する。例えば、“Video displaying InfoFrame”のパケットを用いて、フレーム補間を制限するための情報を、モニタ２００Ｂに送る。
図１７（ａ）は、セットトップボックス２００Ａからモニタ２００Ｂに送る“Video displaying InfoFrame”のパケットの構造例（Syntax）を示している。また、図１７（ｂ）は、その構造例における主要な情報の内容を示している。
第４バイトの第７ビットには、「frame_interpolation_prohibited_flag」の１ビット情報が配置される。この１ビット情報は、フレーム補間を禁止するか否かを示すフラグ情報を示している。例えば、“１”はフレーム補間が禁止されることを示し、“０”はフレーム補間が禁止されないことを示す。
また、第４バイトの第６ビットから第４ビットには、「frame_repeat_type」の３ビット情報が配置される。この３ビット情報は、フレームリピートのタイプを示す。例えば、“０００”は無制限のフレームリピートを示す。これは、表示のフレームレートに一致するように、リピート回数は指定せず、受信表示側がリピート回数を決めることを想定したものである。また、“００１”は１フレームリピート、“０１０”は２フレームリピート、“０１１”は３付フレームリピート、“１００”は４フレームリピートを示し、“１０１”は５フレームリピートを示す。
モニタ２００ＢのＣＰＵは、セットトップボックス２００Ａから送信されてくるフレーム補間を制限するための情報に基づいて、表示処理部２０５の動作を制御する。この制御の詳細については省略するが、上述した送受信システム１０の受信装置２００における制御と同様に行われる。
なお、セットトップボックス２００Ａからモニタ２００Ｂへのフレーム補間を制限するための情報の送信を、“Video displaying InfoFrame”のパケットを用いる代わりに、その他の”InfoFrame”のパケット、例えば“Vender Specific InfoFrame”のパケットなどを用いることも考えられる。また、フレーム補間を制限するための情報の送信を、ＣＥＣラインやＨＥＣの通信ラインを介して送信することも考えられる。
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）あるいはＭＭＴ（MPEG Media Transport）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。
また、本技術は、以下のような構成を取ることもできる。
（１）所定フレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のコンテナを送信する送信部と、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、フレーム補間を制限するための情報を挿入する情報挿入部を備える
送信装置。
（２）上記フレーム補間を制限するための情報には、フレーム補間を禁止する情報が含まれる
前記（１）に記載の送信装置。
（３）上記フレーム補間を制限するための情報には、フレームリピート回数を示す情報が含まれる
前記（１）または（２）に記載の送信装置。
（４）上記情報挿入部は、上記フレーム補間を制限するための情報を含むデスクリプタを上記コンテナのレイヤに挿入する
前記（１）から（３）のいずれかに記載の送信装置。
（５）上記情報挿入部は、上記フレーム補間を制限するための情報を含むＳＥＩメッセージを上記ビデオストリームのレイヤに挿入する
前記（１）から（４）のいずれかに記載の送信装置。
（６）送信部により、所定フレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のコンテナを送信する送信ステップと、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、フレーム補間を制限するための情報を挿入する情報挿入ステップを有する
送信方法。
（７）所定フレームレートの動画像データを取得する画像データ取得部と、
上記動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理部と、
フレーム補間を制限するための情報に基づいて上記フレームレート変換処理部の動作を制御する制御部を備える
画像処理装置。
（８）上記画像データ取得部は、上記所定フレームレートの動画像データに符号化処理を施して得られたビデオストリームを含む所定フォーマットのコンテナを受信し、該ビデオストリームに復号化処理を施して上記所定フレームレートの動画像データを取得する
前記（７）に記載の画像処理装置。
（９）上記フレーム補間を制限するための情報は、上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに挿入されている
前記（８）に記載の画像処理装置。
（１０）上記画像データ取得部は、上記所定フレームの動画像データを、外部機器からデジタルインタフェースを介して取得する
前記（７）に記載の画像処理装置。
（１１）上記フレーム補間を制限するための情報は、上記外部機器から上記デジタルインタフェースを介して取得される
前記（１０）に記載の画像処理装置。
（１２）所定フレームレートの動画像データを取得する画像データ取得ステップと、
上記動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理ステップと、
制御部により、フレーム補間を制限するための情報に基づいて上記フレームレート変換処理ステップの動作を制御する制御ステップを有する
画像処理方法。
（１３）所定フレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されており、
上記ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコード部と、
上記デコード部で得られた動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理部と、
上記フレーム補間を制御するための情報に基づいて上記フレームレート変換処理部の動作を制御する制御部を備える
受信装置。
（１４）受信部により、所定のフレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナを受信する受信ステップを有し、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されており、
上記ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコードステップと、
上記デコードステップで得られた動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理ステップと、
上記フレーム補間を制御するための情報に基づいて上記フレームレート変換処理ステップの動作を制御する制御ステップを有する
受信方法。
（１５）外部機器からデジタルインタフェースを介して所定フレームレートの動画像データを受信する画像データ受信部と、
上記外部機器から上記デジタルインタフェースを介してフレーム補間を制限するための情報を受信する情報受信部と、
上記動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理部と、
フレーム補間を制限するための情報に基づいて上記フレームレート変換処理部の動作を制御する制御部を備える
受信装置。
（１６）画像データ受信部により、外部機器からデジタルインタフェースを介して所定フレームレートの動画像データを受信する画像データ受信ステップと、
情報受信部により、上記外部機器から上記デジタルインタフェースを介してフレーム補間を制限するための情報を受信する情報受信ステップと、
上記動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理ステップと、
フレーム補間を制限するための情報に基づいて上記フレームレート変換処理ステップの動作を制御する制御ステップを有する
受信方法。
（１７）所定のフレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されており、
上記ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコード部と、
上記デコード部で得られた所定フレームレートの動画像データと、上記フレーム補間を制限するための情報を、デジタルインタフェースを介して外部機器に送信する送信部を備える
受信装置。
（１８）受信部により、所定のフレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナを受信する受信ステップを有し、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されており、
上記ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコードステップと、
上記デコードステップで得られた所定フレームレートの動画像データと、上記フレーム補間を制限するための情報を、デジタルインタフェースを介して外部機器に送信する送信ステップを有する
受信方法。
本技術の主な特徴は、コンテナのレイヤおよびビデオストリームのレイヤに、フレーム補間を制限するための情報を挿入することで、受信側において、動画像データに対するフレーム補間を当該情報に基づいて制限して、制作時の意図の的確な反映が妨げられることを回避可能としたことである（図８参照）。
１０，１０Ａ・・・送受信システム
１００・・・送信装置
１０１・・・ＣＰＵ
１０２・・・エンコーダ
１０３・・・マルチプレクサ
１０４・・・送信部
２００・・・受信装置
２００Ａ・・・セットトップボックス
２００Ｂ・・・モニタ
２０１・・・ＣＰＵ
２０２・・・受信部
２０３・・・デマルチプレクサ
２０４・・・デコーダ
２０５・・・表示処理部
２０６・・・表示部

Claims (16)

  1. 所定フレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のコンテナを送信する送信部と、
    上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、フレーム補間を制限するための情報を挿入する情報挿入部を備え、
    上記フレーム補間を制限するための情報は、受信側で前後のフレームを用いて新たなフレームを作成するフレーム補間を制限するか否かを示すフラグ情報と、フレームリピート回数を示す情報を含む
    送信装置。
  2. 上記情報挿入部は、上記フレーム補間を制限するための情報を含むデスクリプタを上記コンテナのレイヤに挿入する
    請求項１に記載の送信装置。
  3. 上記情報挿入部は、上記フレーム補間を制限するための情報を上記ビデオストリームのレイヤに挿入する
    請求項１に記載の送信装置。
  4. 送信部により、所定フレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のコンテナを送信する送信ステップと、
    上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに、フレーム補間を制限するための情報を挿入する情報挿入ステップを有し、
    上記フレーム補間を制限するための情報は、受信側で前後のフレームを用いて新たなフレームを作成するフレーム補間を制限するか否かを示すフラグ情報と、フレームリピート回数を示す情報を含む
    送信方法。
  5. 所定フレームレートの動画像データを取得する画像データ取得部と、
    上記動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理部と、
    フレーム補間を制限するための情報に基づいて上記フレームレート変換処理部の動作を制御する制御部を備え、
    上記フレーム補間を制限するための情報は、受信側で前後のフレームを用いて新たなフレームを作成するフレーム補間を制限するか否かを示すフラグ情報と、フレームリピート回数を示す情報を含む
    画像処理装置。
  6. 上記画像データ取得部は、上記所定フレームレートの動画像データに符号化処理を施して得られたビデオストリームを含む所定フォーマットのコンテナを受信し、該ビデオストリームに復号化処理を施して上記所定フレームレートの動画像データを取得する
    請求項５に記載の画像処理装置。
  7. 上記フレーム補間を制限するための情報は、上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤに挿入されている
    請求項６に記載の画像処理装置。
  8. 上記画像データ取得部は、上記所定フレームレートの動画像データを、外部機器からデジタルインタフェースを介して取得する
    請求項５に記載の画像処理装置。
  9. 上記フレーム補間を制限するための情報は、上記外部機器から上記デジタルインタフェースを介して取得される
    請求項８に記載の画像処理装置。
  10. 所定フレームレートの動画像データを取得する画像データ取得ステップと、
    上記動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理ステップと、
    制御部により、フレーム補間を制限するための情報に基づいて上記フレームレート変換処理ステップの動作を制御する制御ステップを有し、
    上記フレーム補間を制限するための情報は、受信側で前後のフレームを用いて新たなフレームを作成するフレーム補間を制限するか否かを示すフラグ情報と、フレームリピート回数を示す情報を含む
    画像処理方法。
  11. 所定フレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナを受信する受信部を備え、
    上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されており、
    上記フレーム補間を制限するための情報は、受信側で前後のフレームを用いて新たなフレームを作成するフレーム補間を制限するか否かを示すフラグ情報と、フレームリピート回数を示す情報を含み、
    上記ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコード処理と、上記フレーム補間を制御するための情報に基づいて上記デコード処理で得られた動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理を制御する制御部を備える
    受信装置。
  12. 受信部により、所定のフレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナを受信する受信ステップを有し、
    上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されており、
    上記フレーム補間を制限するための情報は、受信側で前後のフレームを用いて新たなフレームを作成するフレーム補間を制限するか否かを示すフラグ情報と、フレームリピート回数を示す情報を含み、
    上記ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコードステップと、
    上記デコードステップで得られた動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理ステップと、
    上記フレーム補間を制御するための情報に基づいて上記フレームレート変換処理ステップの動作を制御する制御ステップを有する
    受信方法。
  13. 外部機器からデジタルインタフェースを介して所定フレームレートの動画像データとフレーム補間を制限するための情報を受信する受信部を備え、
    上記フレーム補間を制限するための情報は、受信側で前後のフレームを用いて新たなフレームを作成するフレーム補間を制限するか否かを示すフラグ情報と、フレームリピート回数を示す情報を含み、
    上記フレーム補間を制限するための情報に基づいて上記動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理を制御する制御部を備える
    受信装置。
  14. 画像データ受信部により、外部機器からデジタルインタフェースを介して所定フレームレートの動画像データを受信する画像データ受信ステップと、
    情報受信部により、上記外部機器から上記デジタルインタフェースを介してフレーム補間を制限するための情報を受信する情報受信ステップを有し、
    上記フレーム補間を制限するための情報は、受信側で前後のフレームを用いて新たなフレームを作成するフレーム補間を制限するか否かを示すフラグ情報と、フレームリピート回数を示す情報を含み、
    上記動画像データのフレームレートを表示フレームレートに変換して出力するフレームレート変換処理ステップと、
    上記フレーム補間を制限するための情報に基づいて上記フレームレート変換処理ステップの動作を制御する制御ステップを有する
    受信方法。
  15. 所定のフレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナを受信する受信部を備え、
    上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されており、
    上記フレーム補間を制限するための情報は、受信側で前後のフレームを用いて新たなフレームを作成するフレーム補間を制限するか否かを示すフラグ情報と、フレームリピート回数を示す情報を含み、
    上記ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコード処理と、上記デコード処理で得られた所定フレームレートの動画像データと上記フレーム補間を制限するための情報をデジタルインタフェースを介して外部機器に送信する送信処理を制御する制御部を備える
    受信装置。
  16. 受信部により、所定のフレームレートの動画像データに符号化処理が施されて得られたビデオストリームを含む所定のフォーマットのコンテナを受信する受信ステップを有し、
    上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤにフレーム補間を制限するための情報が挿入されており、
    上記フレーム補間を制限するための情報は、受信側で前後のフレームを用いて新たなフレームを作成するフレーム補間を制限するか否かを示すフラグ情報と、フレームリピート回数を示す情報を含み、
    上記ビデオストリームに復号化処理を施して所定フレームレートの動画像データを得るデコードステップと、
    上記デコードステップで得られた所定フレームレートの動画像データと、上記フレーム補間を制限するための情報を、デジタルインタフェースを介して外部機器に送信する送信ステップを有する
    受信方法。
JP2017520604A 2015-05-22 2016-05-10 送信装置、送信方法、画像処理装置、画像処理方法、受信装置および受信方法 Active JP6930420B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015104216 2015-05-22
JP2015104216 2015-05-22
PCT/JP2016/063922 WO2016190089A1 (ja) 2015-05-22 2016-05-10 送信装置、送信方法、画像処理装置、画像処理方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
JPWO2016190089A1 JPWO2016190089A1 (ja) 2018-03-08
JP6930420B2 true JP6930420B2 (ja) 2021-09-01

Family

ID=57392728

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017520604A Active JP6930420B2 (ja) 2015-05-22 2016-05-10 送信装置、送信方法、画像処理装置、画像処理方法、受信装置および受信方法

Country Status (5)

Country Link
US (1) US10904592B2 (ja)
EP (1) EP3300374B1 (ja)
JP (1) JP6930420B2 (ja)
CN (1) CN107534786B (ja)
WO (1) WO2016190089A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7300985B2 (ja) * 2017-04-17 2023-06-30 ソニーグループ株式会社 情報処理装置および情報処理方法
CN112584076B (zh) * 2020-12-11 2022-12-06 北京百度网讯科技有限公司 视频的插帧方法、装置及电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0683441B2 (ja) * 1989-06-26 1994-10-19 松下電器産業株式会社 画像信号のフレーム間内挿符号化方法とその装置
CA2992097C (en) * 2004-03-01 2018-09-11 Dolby Laboratories Licensing Corporation Reconstructing audio signals with multiple decorrelation techniques and differentially coded parameters
EP1931141A4 (en) * 2005-09-30 2010-11-03 Sharp Kk IMAGE DISPLAY DEVICE AND METHOD
US8848793B2 (en) * 2007-10-31 2014-09-30 Broadcom Corporation Method and system for video compression with integrated picture rate up-conversion
US8660175B2 (en) * 2007-12-10 2014-02-25 Qualcomm Incorporated Selective display of interpolated or extrapolated video units
US9204086B2 (en) * 2008-07-17 2015-12-01 Broadcom Corporation Method and apparatus for transmitting and using picture descriptive information in a frame rate conversion processor
JP2013030907A (ja) 2011-07-27 2013-02-07 Sony Corp 符号化装置および符号化方法、並びに、復号装置および復号方法
WO2013057938A1 (ja) 2011-10-19 2013-04-25 パナソニック株式会社 システム層処理装置、符号化装置、システム層処理方法、および符号化方法
US20140362923A1 (en) * 2011-12-14 2014-12-11 Yutaka Nio Video signal processing device, video signal output device, and video signal processing method
JP2013143646A (ja) 2012-01-10 2013-07-22 Sony Corp 表示装置、フレームレート変換装置、および表示方法
WO2015053157A1 (ja) 2013-10-11 2015-04-16 ソニー株式会社 送信装置、送信方法および受信装置
WO2016129851A1 (ko) * 2015-02-13 2016-08-18 엘지전자(주) 비균등 위상 보간을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치

Also Published As

Publication number Publication date
CN107534786B (zh) 2020-10-27
US20180146219A1 (en) 2018-05-24
WO2016190089A1 (ja) 2016-12-01
JPWO2016190089A1 (ja) 2018-03-08
EP3300374A1 (en) 2018-03-28
US10904592B2 (en) 2021-01-26
EP3300374A4 (en) 2018-10-24
EP3300374B1 (en) 2022-07-06
CN107534786A (zh) 2018-01-02

Similar Documents

Publication Publication Date Title
CN111372097B (zh) 接收装置、显示设备及接收方法
JP6614156B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6888717B2 (ja) 送信方法および送信装置
EP3261352B1 (en) Transmission device, transmission method, reception device, and reception method
JP6930420B2 (ja) 送信装置、送信方法、画像処理装置、画像処理方法、受信装置および受信方法
JP5886341B2 (ja) 送信装置、送信方法、受信装置および受信方法
US10812838B2 (en) Transmission device, transmission method, reception device, and reception method
JP2016076957A (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190416

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210726

R151 Written notification of patent or utility model registration

Ref document number: 6930420

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151