JP6565679B2 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
JP6565679B2
JP6565679B2 JP2015549162A JP2015549162A JP6565679B2 JP 6565679 B2 JP6565679 B2 JP 6565679B2 JP 2015549162 A JP2015549162 A JP 2015549162A JP 2015549162 A JP2015549162 A JP 2015549162A JP 6565679 B2 JP6565679 B2 JP 6565679B2
Authority
JP
Japan
Prior art keywords
image data
pictures
picture
moving image
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015549162A
Other languages
English (en)
Other versions
JPWO2015076277A1 (ja
Inventor
塚越　郁夫
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2015076277A1 publication Critical patent/JPWO2015076277A1/ja
Application granted granted Critical
Publication of JP6565679B2 publication Critical patent/JP6565679B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関する。詳しくは、本技術は、ハイフレームレート（High Frame Rate）の動画像データを送信する送信装置等に関する。
近年、高速フレームシャッターでハイフレームレート撮影を行うカメラが知られている（例えば、特許文献１参照）。例えば、ノーマルフレームレートが６０ｆｐｓ、５０ｆｐｓなどであるのに対して、ハイフレームレートはその数倍あるいは数十倍、さらには数百倍のフレームレートとなる。
ハイフレームレートのサービスを行う場合、高速フレームシャッターでカメラ撮りされた動画像データを、それよりも低周波数の動画像シーケンスに変換して送信することが考えられる。しかし、高速フレームシャッターの画像は、動きボケを改善し、先鋭度の高い画質を実現する効果がある一方で、受信再生側の従来のフレーム補間技術に画質的な問題を引き起こす要素をもつ。
高速フレームシャッターで撮影された先鋭度の高い画像を用いたフレーム補間は、動きベクトル探索が適合する場合と適合しない場合との差が大きくなる。そのため、両者の差が顕著な画質劣化となって表示されるためである。フレーム補間時に、動きベクトル探索の精度を向上させるためには高負荷演算が要求されるが、受信機コストに影響を及ぼす。
特開２０１０-１７８１２４号公報
ハイフレームレートのサービスの一つとされる、従来のノーマルフレームレート(Normal Frame Rate) の受信機との互換性をとる場合には、高速フレームシャッターで撮影された画像による素材を変換して、ノーマルフレームレートのデコードを行う従来の受信機で一定以上の画品質で表示させることが期待される。
本技術の目的は、ハイフレームレートの動画像データを良好に伝送することにある。
本技術の概念は、
所定フレームレートの第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、該Ｎ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、上記Ｎ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとして、上記所定フレームレートの第２の動画像データを得る画像処理部と、
上記画像処理部で得られた上記第２の動画像データを構成する各ピクチャの画像データを符号化してビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成されたビデオストリームを送信する送信部を備える
送信装置にある。
本技術において、画像処理部により、所定フレームレートの第１の動画像データからこの所定フレームレートの第２の動画像データが得られる。この場合、第２の動画像データは、第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、このＮ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、Ｎ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとすることで得られる。例えば、平均処理は、線形な平均をとる処理、あるいは非線形な平均をとる処理とされる。
画像符号化部により、画像処理部で得られる第２の動画像データを構成する各ピクチャの画像データが符号化されてビデオストリームが生成される。例えば、画像符号化部は、Ｎ個のピクチャ毎の１番目のピクチャの符号化画像データを持つ第１のビデオストリームと、Ｎ個のピクチャ毎の２番目からＮ番目のピクチャの符号化画像データを持つ所定数の第２のビデオストリームとを生成する、ようにされてもよい。この場合、例えば、受信側では、所定フレームレートの１/Ｎのフレームレートの動画像データを処理可能なデコード能力がある場合、この第１のビデオストリームだけを選択してデコード処理を行うという構成で済み、複数のビデオストリームの結合処理などを行うなどの複雑な構成が不要となる。
なお、この場合、例えば、画像符号化部は、画像処理部で得られる第２の動画像データを構成する各ピクチャの画像データを複数の階層に分類し、この分類された各階層のピクチャの画像データを符号化すると共に、複数の階層を所定数の階層組に分割し、この分割された各階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリームを生成し、最下位の階層組には、Ｎ個のピクチャ毎の１番目のピクチャの符号化画像データが含まれる、ようにされてもよい。
また、この場合、例えば、画像符号化部は、第１のビデオストリームに含まれる符号化画像データに、この第１のビデオストリームが第２のビデオストリームの時間的な変動要素を含んでいることを示す第１の識別情報を挿入する、ようにされてもよい。このとき、例えば、画像符号化部は、第１のビデオストリームに含まれる符号化画像データに、平均処理の情報をさらに挿入する、ようにされてもよい。これにより、例えば、受信側では、第１のビデオストリームが持つＮ個のピクチャ毎の１番目のピクチャの符号化画像データに係る画像データが平均処理により得られたものであること、さらにその平均処理がどのような平均処理であるかを容易に把握可能となる。
また、この場合、例えば、送信部は、ビデオストリームを含む所定フォーマットのコンテナを送信し、このコンテナのレイヤに、第１のビデオストリームに含まれる符号化画像データに第１の識別情報が挿入されていることを示す第２の識別情報を挿入する識別情報挿入部をさらに備える、ようにされてもよい。これにより、例えば、受信側では、符号化画像データを処理することなく、この第２の識別情報に基づいて、符号化画像データに第１の識別情報が挿入されていることを識別可能となる。
また、例えば、画像符号化部は、ビデオストリームが持つ各ピクチャの符号化画像データに、所定フレームレートの第１の動画像データを構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報を挿入する、ようにされてもよい。これにより、例えば、受信側では、このシャッター開口時間比率の情報に基づいてフレーム補間の処理を適応的に切り替えることが可能となる。
このように本技術においては、所定フレームレートの動画像データをそのまま送信するものではなく、Ｎ個のピクチャ毎の１番目のピクチャの画像データとして、Ｎ個のピクチャの画像データに平均処理を施して得られた画像データを送信するものである。そのため、例えば、受信側では、所定フレームレートの１/Ｎのフレームレートの動画像データを処理可能なデコード能力がある場合、Ｎ個のピクチャ毎の１番目のピクチャの符号化画像データだけを選択してデコード処理を行って動画像データを得ることで、滑らかな画像を表示でき、また、低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。
また、本技術の他の概念は、
所定フレームレートの動画像データを構成する各ピクチャの画像データを符号化して生成されたビデオストリームを受信する受信部と、
上記受信部で受信されたビデオストリームを処理する処理部を備え、
上記所定フレームレートの動画像データは、
上記所定フレームレートの第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、該Ｎ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、上記Ｎ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとして得られた上記所定フレームレートの第２の動画像データである
受信装置にある。
本技術において、受信部により、所定フレームレートの動画像データを構成する各ピクチャの画像データを符号化して生成されたビデオストリームが受信される。この所定フレームレートの動画像データは、所定フレームレートの第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、このＮ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、このＮ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとして得られた所定フレームレートの第２の動画像データである。そして、処理部により、この受信されたビデオストリームが処理される。
例えば、受信部で受信されたビデオストリームには、Ｎ個のピクチャ毎の１番目のピクチャの符号化画像データを持つ第１のビデオストリームと、Ｎ個のピクチャ毎の２番目からＮ番目のピクチャの符号化画像データを持つ所定数の第２のビデオストリームが含まれる、ようにされてもよい。
また、本技術の他の概念は、
所定フレームレートの第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、該Ｎ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、上記Ｎ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとして得られた上記所定フレームレートの第２の動画像データを構成する各ピクチャの画像データを符号化して生成されたビデオストリームを受信する受信部と、
上記受信部で受信されたビデオストリームを復号化して上記所定フレームレートの第２の動画像データを得る画像復号化部と、
上記画像復号化部で得られた第２の動画像データを処理して上記第１の動画像データを得る画像処理部を備える
受信装置にある。
本技術において、受信部により、ビデオストリームが受信される。このビデオストリームは、所定フレームレートの第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、このＮ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、このＮ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとして得られた所定フレームレートの第２の動画像データを構成する各ピクチャの画像データを符号化して生成されたものである。
例えば、受信部で受信されたビデオストリームには、Ｎ個のピクチャ毎の１番目のピクチャの符号化画像データを持つ第１のビデオストリームと、このＮ個のピクチャ毎の２番目からＮ番目のピクチャの符号化画像データを持つ所定数の第２のビデオストリームが含まれる、ようにされてもよい。
画像復号化部により、受信部で受信されたビデオストリームが復号化されて所定フレームレートの第２の動画像データが得られる。そして、画像処理部により、画像復号化部で得られた第２の動画像データが処理されて第１の動画像データが得られる。この場合、Ｎ個のピクチャ毎の１番目のピクチャの画像データは、Ｎ個のピクチャの画像データに平均処理を施して得られた画像データから、平均処理が施される前の１番目のピクチャの画像データに戻される。
このように本技術においては、Ｎ個のピクチャ毎の１番目のピクチャの画像データが、平均処理が施される前の１番目のピクチャの画像データに戻されるものである。そのため、例えば、受信側では、所定フレームレートの動画像データを処理可能なデコード能力がある場合、先鋭度が高く滑らかなハイフレームレートの画像表示が可能となる。
なお、本技術において、例えば、画像処理部で得られた第１の動画像データに対して時間方向の補間処理を施して所定フレームレートより高いフレームレートの第３の動画像データを得る表示処理部をさらに備える、ようにされてもよい。この場合、例えば、受信部で受信されたビデオストリームが持つ各ピクチャの符号化画像データには、第１の動画像データを構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報が挿入されており、表示処理部は、上シャッター開口時間比率の情報に基づいてフレーム補間の処理を切り替える、ようにされてもよい。
また、本技術の概念は、
所定フレームレートの動画像データを構成する各ピクチャの画像データを符号化してビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成されたビデオストリームを送信する送信部を備え、
上記画像符号化部は、
上記ビデオストリームが持つ各ピクチャの符号化画像データに、上記所定フレームレートの上記第１の動画像データを構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報を挿入する
送信装置にある。
また、本技術の概念は、
所定フレームレートの動画像データを構成する各ピクチャの画像データが符号化されて得られたビデオストリームを受信する受信部と、
上記受信部で受信されたビデオストリームを復号化して上記所定フレームレートの動画像データを得る画像復号化部と、
上記画像復号化部で得られた上記第１の画像データに対して時間方向の補間処理を施して上記所定フレームレートより高いフレームレートの第３の動画像データを得る表示処理部を備え、
上記受信部で受信されたビデオストリームが持つ各ピクチャの符号化画像データには、上記所定フレームレートの動画像データを構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報が挿入されており、
上記表示処理部は、上記シャッター開口時間比率の情報に基づいてフレーム補間の処理を切り替える
受信装置にある。
本技術によれば、ハイフレームレートの動画像データを良好に伝送することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 フレームレートの変換処理の一例を示す図である。 送信装置の構成例を示すブロック図である。 送信装置を構成するプリプロセッサの構成例を示すブロック図である。 送信装置を構成するプリプロセッサと、受信装置を構成するポストプロセッサの、それぞれの入出力データの関係の一例を示す図である。 エンコーダで行われる階層符号化の一例を示す図である。 ＮＡＬユニットヘッダの構造例およびその構造例における主要なパラメータの内容を示す図である。 ＨＥＶＣによる各ピクチャの符号化画像データの構成を説明するための図である。 キャプチャリング・スピード・インフォメーションＳＥＩを挿入するためのインタフェースの構造例および「capturing_speed_information()」の構造例を示す図である。 「capturing_speed_information()」の構造例における主要な情報の内容を示す図である。 シャッター・スピード・インフォメーション・デスクリプタの構造例と、その構造例における主要な情報の内容を示す図である。 ＨＥＶＣデスクリプタの構造例を示す図である。 トランスポートストリームＴＳの構成例を示す図である。 受信装置（ハイフレームレート対応）の構成例を示すブロック図である。 受信装置のデマルチプレクサにおけるストリーム選択を説明するための図である。 受信装置を構成するポストプロセッサの構成例を示すブロック図である。 受信装置（ノーマルフレームレート対応）の構成例を示すブロック図である。 送信装置を構成するプリプロセッサと、受信装置を構成するポストプロセッサの、それぞれの入出力データの関係の一例を示す図である。
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。
送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、ハイフレームレート、この実施の形態においては１２０ｆｐｓの動画像データを構成する各ピクチャの画像データが例えば複数の階層に分類されて符号化されることで得られたビデオストリームが含まれる。この場合、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化が施される。
ここで、符号化の対象となる１２０ｆｐｓの動画像データは、１２０ｆｐｓの第１の動画像データを連続する２個のピクチャ単位で処理し、この２個のピクチャの画像データに線形または非線形の平均処理を施して得られた画像データを１番目のピクチャの画像データとし、この２個のピクチャの２番目のピクチャの画像データをそのまま２番目のピクチャの画像データとして得られた１２０ｆｐｓの第２の動画像データである。
また、符号化の対象となる１２０ｆｐｓの動画像データは、例えば、１２０ｆｐｓの動画像データを出力するカメラの出力そのものであってもよく、あるいは、さらに高いフレームレートの動画像データを出力するカメラの出力に対してフレームレートの変換処理を施して得られたものであってもよい。
図２は、フレームレートの変換処理の一例を示している。図２（ａ）は、カメラの出力であるオリジナル動画像データを示しており、シャッター開口時間比率は１００％で、フレームレートは３６０ｆｐｓである。図２（ｂ）は、変換処理後の、フレームレートが１２０ｆｐｓの動画像データの一例を示している。この場合、オリジナル動画像データが３個のピクチャ単位で処理され、３個のピクチャの画像データが平均化されて、変換後の１個のピクチャの画像データが生成される。この場合、３個のピクチャの画像データを全て使用するので、オリジナル画像シーケンスがカバーする時間に対するシャッター開口時間比率は１００％となる。
図２（ｃ）は、変換処理後の、フレームレートが１２０ｆｐｓの動画像データの一例を示している。この場合、オリジナル動画像データが３個のピクチャ単位で処理され、３個のうち２個のピクチャの画像データが平均化されて、変換後の１個のピクチャの画像データが生成される。この場合、３個のうち２個のピクチャの画像データを使用するので、オリジナル画像シーケンスがカバーする時間に対するシャッター開口時間比率は６６．７％となる。
図２（ｄ）は、変換処理後の、フレームレートが１２０ｆｐｓの動画像データの一例を示している。この場合、オリジナル動画像データが３個のピクチャ単位で処理され、３個のうち１個のピクチャの画像データが、変換後の１個のピクチャの画像データとされる。この場合、３個のうち１個のピクチャの画像データを使用するので、オリジナル画像シーケンスがカバーする時間に対するシャッター開口時間比率は３３．３％となる。
図２（ｅ）は、変換処理後の、フレームレートが１８０ｆｐｓの動画像データの一例を示している。この場合、オリジナル動画像データが２個のピクチャ単位で処理され、２個のうち１個のピクチャの画像データが、変換後の１個のピクチャの画像データとされる。この場合、２個のうち１個のピクチャの画像データを使用するので、オリジナル画像シーケンスがカバーする時間に対するシャッター開口時間比率は５０％となる。
図２（ｆ）は、変換処理後の、フレームレートが６０ｆｐｓの動画像データの一例を示している。この場合、オリジナル動画像データが６個のピクチャ単位で処理され、６個のうち前半の３個のピクチャの画像データが平均化されて、変換後の１個のピクチャの画像データが生成される。この場合、６個のうち３個のピクチャの画像データを使用するので、オリジナル画像シーケンスがカバーする時間に対するシャッター開口時間比率は５０％となる。
トランスポートストリームＴＳには、所定数のビデオストリームが含まれる。この実施の形態においては、２個のピクチャ毎の１番目のピクチャの符号化画像データを持つベースストリーム（第１のビデオストリーム）と、この２個のピクチャ毎の２番目のピクチャの符号化画像データを持つエンハンスストリーム（第２のビデオストリーム）が含まれる。
この場合、複数の階層が２つの階層組に分割され、最下位の階層組のピクチャの符号化画像データを持つベースストリームと、その上位の階層組のピクチャの符号化画像データを持つエンハンスストリームが生成される。ここで、上述の２個のピクチャ毎の１番目のピクチャの符号化画像データは、最下位の階層組のピクチャの符号化画像データに対応する。
各階層のピクチャの符号化画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報が付加される。この実施の形態においては、各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に、階層識別情報（temporal_idを意味する“nuh_temporal_id_plus1”）が配置される。このように階層識別情報が付加されることで、受信側では、ＮＡＬユニットのレイヤにおいて各ピクチャの階層識別が可能となる。
この実施の形態において、ベースストリーム、エンハンスストリームに含まれる符号化画像データに、ベースストリームがエンハンスストリームの時間的な変動要素を含んでいること、つまりベースストリームが持つ各ピクチャの符号化画像データに係る画像データが平均処理により得られたものであることを示す識別情報（第１の識別情報）、さらにはどのような平均処理がされているかを示す平均処理情報が挿入される。これにより、受信側では、ベースストリームが持つ２個のピクチャ毎の１番目のピクチャの符号化画像データに係る画像データが平均処理により得られたものであること、さらにその平均処理がどのような平均処理であるかを容易に把握可能となる。
また、この実施の形態において、トランスポートストリームＴＳのレイヤに、符号化画像データに上述の識別情報（第１の識別情報）が挿入されていることを示す識別情報（第２の識別情報）が挿入される。この識別情報は、例えば、プログラムマップテーブルの配下にビデオストリームにそれぞれ対応して配置されたビデオエレメンタリストリームループの中にデスクリプタとして挿入される。これにより、例えば、受信側では、符号化画像データを処理することなく、この識別情報に基づいて、符号化画像データに識別情報が挿入されていることを識別可能となる。
また、この実施の形態において、ベースストリーム、エンハンスストリームが持つ符号化画像データに、第１の動画像データを構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報が挿入される。これにより、例えば、受信側では、このシャッター開口時間比率の情報に基づいてフレーム補間の処理を適応的に切り替えることが可能となる。
受信装置２００は、送信装置１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。受信装置２００は、６０ｆｐｓの動画像データを処理可能なデコード能力がある場合、トランスポートストリームＴＳに含まれるベースストリームのみをデコードし、６０ｆｐｓの動画像データを得て、画像再生を行う。
一方、受信装置２００は、１２０ｆｐｓの動画像データを処理可能なデコード能力がある場合、トランスポートストリームＴＳに含まれるベースストリームおよびエンハンスストリームの双方をデコードし、１２０ｆｐｓの動画像データ（第２の動画像データ）を得る。そして、この１２０ｆｐｓの第２の動画像データから、平均処理情報などに基づいて１２０ｆｐｓの第１の画像データを生成して、画像再生を行う。
なお、受信装置２００は、画像表示前に、必要に応じて、動画像データに対して時間方向の補間処理を施して、フレームレートをより高くした動画像データを得た後に、画像表示を行う。この場合、受信装置２００は、各ピクチャの符号化画像データに挿入されているシャッター開口時間比率の情報に基づいてフレーム補間の処理を切りかえる。
「送信装置の構成」
図３は、送信装置１００の構成例を示している。この送信装置１００は、プリプロセッサ１０１と、エンコーダ１０２と、マルチプレクサ１０３と、送信部１０４を有している。プリプロセッサ１０１は、１２０ｆｐｓの動画像データＰ(n)（第１の動画像データ）を処理して、１２０ｆｐｓの動画像データＱ(n)（第２の動画像データ）を得る。
この場合、プリプロセッサ１０１は、１２０ｆｐｓの動画像データＰ(n)を連続する２個のピクチャ単位で処理し、この２個のピクチャの画像データに線形または非線形の平均処理を施して得られた画像データを１番目のピクチャの画像データとし、この２個のピクチャの２番目のピクチャの画像データをそのまま２番目のピクチャの画像データとして、１２０ｆｐｓの動画像データＱ(n)を得る。
図４は、プリプロセッサ１０１の構成例を示している。このプリプロセッサ１０１は、スイッチ回路１１０，１１４と、１フレーム期間の遅延素子１１１，１１３と、加算回路１１２を有している。１２０ｆｐｓの動画像データＰ(n)は、スイッチ回路１１０の可動端子に供給される。このスイッチ回路１１０は、偶数フレームの期間は「Even」側の固定端子に接続された状態となり、奇数フレームの期間は「Odd」側の固定端子に接続された状態となる。
スイッチ回路１１０の「Even」側の固定端子に得られる偶数フレームの画像データは、遅延素子１１１で１フレーム期間だけ遅延された後に、「１/２」の利得をもって加算回路１１２に入力される。また、スイッチ回路１１０の「Odd」側の固定端子に得られる奇数フレームの画像データは、「１/２」の利得をもって加算回路１１２に入力される。
加算回路１１２は、連続する２個の画像データ（偶数フレームと奇数フレームの画像データ）の線形平均を取る。加算回路１１２の出力画像データは、スイッチ回路１１４の「Odd」側の固定端子に入力される。また、スイッチ回路１１０の側の固定端子に得られる奇数フレームの画像データは、遅延素子１１３で１フレーム期間だけ遅延された後に、スイッチ回路１１４の「Even」側の固定端子に入力される。
このスイッチ回路１１４は、偶数フレームの期間は「Even」側の固定端子に接続された状態となり、奇数フレームの期間は「Odd」側の固定端子に接続された状態となる。このスイッチ回路１１４の可動端子から、平均処理を施して得られた偶数フレームの画像データと奇数フレームの画像データとが交互に配置された１２０ｆｐｓの動画像データＱ(n)が得られる。
図５（ａ），（ｂ）は、プリプロセッサ１０１の入力データ（動画像データＰ(n)）と、プリプロセッサ１０１の出力データ（動画像データＱ(n)）との関係の一例を、模式的に表している。動画像データＰ(n)の各ピクチャの画像データＰ０，Ｐ１，Ｐ２，Ｐ３，・・・に対応して、動画像データＱ(n)の各ピクチャの画像データＱ０＃，Ｑ１，Ｑ２＃，Ｑ３，・・・が得られる。
なお、図５（ａ），（ｂ）において、カッコ「“”」内の数値は、各フレームの画像データにおける画素値の一例を示している。例えば、画像データＱ０＃の画素値は“７”であり、画像データＰ０の画素値“６”と画像データＰ１の画素値“８”の平均値となっている。これにより、画像データＱ０＃が、画像データＰ０と画像データＰ１に線形の平均処理を施して得られたものであることが示されている。また、例えば、画像データＱ１の画素値は“８”であり、画像データＰ１の画素値“８”と同じとなっている。これにより、画像データＱ１は画像データＰ１と同一のものであることが示されている。
図３に戻って、エンコーダ１０２は、プリプロセッサ１０１で得られる１２０ｆｐｓの動画像データＱ(n)に対して、階層符号化を行う。エンコーダ１０２は、この動画像データＱ(n)を構成する各ピクチャの画像データを複数の階層に分類し、この分類された各階層のピクチャの画像データを符号化し、各階層のピクチャの符号化画像データを持つビデオストリームを生成する。エンコーダ１０２は、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化を行う。この際、エンコーダ１０２は、参照するピクチャ（被参照ピクチャ）が、自己階層および／または自己階層よりも下位の階層に所属するように、符号化する。
図６は、エンコーダ１０２で行われる階層符号化の一例を示している。この例は、０から４までの５階層に分類され、各階層のピクチャの画像データに対して符号化が施された例である。縦軸は階層を示している。階層０から４のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダ部分に配置されるtemporal_id（階層識別情報）として、それぞれ、０から４が設定される。一方、横軸は表示順（ＰＯＣ：picture order of composition）を示し、左側は表示時刻が前で、右側は表示時刻が後になる。
図７（ａ）は、ＮＡＬユニットヘッダの構造例（Syntax）を示し、図７（ｂ）は、その構造例における主要なパラメータの内容（Semantics）を示している。「Forbidden_zero_bit」の１ビットフィールドは、０が必須である。「Nal_unit_type」の６ビットフィールドは、ＮＡＬユニットタイプを示す。「Nuh_layer_id」の６ビットフィールドは、本記載中は０を前提とする。「Nuh_temporal_id_plus1」の３ビットフィールドは、temporal_idを示し、１を加えた値（１〜７）をとる。
図６に戻って、矩形枠のそれぞれがピクチャを示し、数字は、符号化されているピクチャの順、つまりエンコード順（受信側ではデコード順）を示している。図６の例の場合、「２」から「１７」の１６個のピクチャによりサブ・ピクチャグループ（Sub group of pictures）が構成されており、「２」はそのサブ・ピクチャグループの先頭のピクチャとなる。「１」は前のサブ・ピクチャグループのピクチャである。このサブ・ピクチャグループがいくつか集まってＧＯＰ（Group Of Pictures）となる。
ＧＯＰの先頭ピクチャの符号化画像データは、図８に示すように、ＡＵＤ、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳのＮＡＬユニットにより構成される。一方、ＧＯＰの先頭ピクチャ以外のピクチャは、ＡＵＤ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳのＮＡＬユニットにより構成される。ＶＰＳはＳＰＳと共に、シーケンス（ＧＯＰ）に一度、ＰＰＳは毎ピクチャで伝送可能とされている。なお、ＥＯＳは存在しなくともよい。
図６に戻って、実線矢印は、符号化におけるピクチャの参照関係を示している。例えば、「２」のピクチャは、Ｐピクチャであり、「１」のピクチャを参照して符号化される。また、「３」のピクチャは、被参照可能なＢピクチャであり、「１」、「２」のピクチャを参照して符号化される。同様に、その他のピクチャは、表示順で近くのピクチャを参照して符号化される。なお、最上位の階層のピクチャは、他のピクチャからの参照がない。
図３に戻って、エンコーダ１０２は、所定数のビデオストリームを生成する。この実施の形態においては、偶数フレームの符号化画像データを持つベースストリームと、奇数フレームの符号化画像データを持つエンハンスストリームを生成する。この場合、複数の階層が２つの階層組に分割され、最下位の階層組のピクチャの符号化画像データを持つベースストリームと、その上位の階層組のピクチャの符号化画像データを持つエンハンスストリームが生成される。上述の偶数フレームの符号化画像データは、最下位の階層組のピクチャの符号化画像データに対応する。
例えば、図６の階層符号化の例において、エンコーダ１０２は、破線で区切るように、階層０から３を最下位の階層組とし、階層４をその上位に位置する階層組として、２つの階層組に分割する。この場合、最下位の階層組のピクチャの符号化画像データを持つビデオストリームはベースストリームとされ、そのストリームタイプは“０ｘ２４”とされる。また、この最下位の階層組より上位に位置する階層組のピクチャの符号化画像データを含むビデオストリームはエンハンスストリームとされ、そのストリームタイプは、新規定義する“０ｘ２５”とされる。
このストリームタイプは、所定数のビデオストリームのそれぞれが、ベースストリームであるかエンハンスストリームであるかを識別するための識別情報を構成する。このストリームタイプは、トランスポートストリームＴＳのレイヤに挿入される。すなわち、このストリームタイプは、プログラムマップテーブル（ＰＭＴ：Program Map Table）の配下に所定数のビデオストリームにそれぞれ対応して配置されたビデオエレメンタリストリームループ（Video ES loop）の中に挿入される。
エンコーダ１０２は、上述したように、ベースストリーム、エンハンスストリームが持つ各ピクチャの符号化画像データに、ベースストリームが持つ各ピクチャの符号化画像データに係る画像データが平均処理により得られたものであることを示す識別情報（第１の識別情報）、さらにはどのような平均処理がされているかを示す平均処理情報を挿入する。また、エンコーダ１０２は、上述したように、ベースストリーム、エンハンスストリームが持つ各ピクチャの符号化画像データに、動画像データＰ(n)を構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報（図２（ｂ）−（ｄ）参照）を挿入する。
エンコーダ１０２は、新たに定義する、キャプチャリング・スピード・インフォメーションＳＥＩ（Capturing_speed_information SEI）を、プリフィックスＳＥＩ（Prefix_SEI）の一つとして挿入する。
図９（ａ）は、キャプチャリング・スピード・インフォメーションＳＥＩを挿入するためのインタフェース（I/F）の構造例(Syntax)を示している。「uuid_iso_iec_11578」のフィールドは、“ISO/IEC 11578:1996 Annex A.”で示されるＵＵＩＤ値を持つ。「user_data_payload_byte」のフィールドに、「capturing_speed_information()」が挿入される。
図９（ｂ）は、「capturing_speed_information()」の構造例(Syntax)を示している。図１０は、その構造例における主要な情報の内容（Semantics）を示している。「userdata_id」の１６ビットフィールドには、所定のユーザデータのＩＤを付す。「capturing_speed_information_length」の８ビットフィールドは、“capturing_speed_information”のバイト数（本要素の次の要素からカウント）を示す。
「shutter_ratio_denominator_minus1」の５ビットフィールドは、カメラ撮り時のソース素材からエンコーダ入力画像生成時のシャッター開口時間比率の分母の値を表す。「shutter_ratio_numerator_minus1」の５ビットフィールドは、カメラ撮り時のソース素材からエンコーダ入力画像生成時のシャッター開口時間比率の分子の値を表す。この場合、シャッター開口時間比率Ratioは、(SRN+1) / (SRD+1) で表される。
「cross_stream_smoothing_base_flag」の１ビットフィールドは、該当ストリームは、一つのサービスを構成する複数のストリームがテンポラル・スケーラビリティ（temporal scalability） をもつよう符号化されていて、最下層のベースストリーム（base stream）は非最下層のストリームの時間的な変動要素を含んでいるかどうかを示す。すなわち、この１ビットフィールドは、ベースストリームが持つ各ピクチャの符号化画像データに係る画像データが平均処理により得られたものであるかどうかを示す。“１”は、ベースストリームは他の非最下層ストリームの時間的な変動を含むことを示す。“０”は、ベースストリームは、他の非最下層ストリームの時間的な変動を含まないことを示す。
「cross_stream_smoothing_base_flag」の１ビットフィールドが“１”であるとき、「smoothing_type」の８ビットフィールドが存在する。このフィールドは、スムージング（smoothing）、つまり平均処理の方法を示す。“０ｘ００”は、線形な平均をとることを示す。その他は、非線形な平均をとることを示し、平均処理の手順はタイプ毎に指定される。なお、図５（ａ），（ｂ）の例は、線形な平均をとる例である。非線形な平均をとる場合は、例えば、Ｐ０とＰ１の利得が異なるものとされる。
図３に戻って、マルチプレクサ１０３は、エンコーダ１０２で生成されるビデオストリームを、ＰＥＳ（Packetized Elementary Stream）パケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。この実施の形態において、このトランスポートストリームＴＳには、ベースストリームと、エンハンスストリームが含まれる。
また、マルチプレクサ１０３は、トランスポートストリームＴＳのレイヤに、ベースストリーム、エンハンスストリームが持つ符号化画像データに上述の識別情報（第１の識別情報）が挿入されていることを示す識別情報（第２の識別情報）を挿入する。この識別情報は、プログラムマップテーブルの配下にビデオストリームにそれぞれ対応して配置されたビデオエレメンタリストリームループの中にデスクリプタとして挿入される。
マルチプレクサ１０３は、ＨＥＶＣデスクリプタ（HEVC_descriptor）と共に、新規定義するシャッター・スピード・インフォメーション・デスクリプタ（Shutter_speed_information_descriptor）
を挿入する。図１１（ａ）は、シャッター・スピード・インフォメーション・デスクリプタの構造例（Syntax）を示している。図１１（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。
「Shutter_speed_information_descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示す。ここでは、シャッター・スピード・インフォメーション・デスクリプタであることを示す。「Shutter_speed_information_descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。ここでは、１バイトを示す。
「Shutter_speed_information_SEI_existed」の１ビットフィールドは、ビデオストリームに、キャプチャリング・スピード・インフォメーションＳＥＩ（Capturing_speed_information SEI）が符号化されているかどうかを示す。“１”は、ビデオストリームにこのＳＥＩが符号化されていることを保証することを示す。“０”は、ビデオストリームにこのＳＥＩが符号化されていることは保証しないことを示す。
図１２は、ＨＥＶＣデスクリプタ（HEVC_descriptor）の構造例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、ＨＥＶＣデスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。
「level_idc」の８ビットフィールドは、ビットレートのレベル指定値を示す。また、「temporal_layer_subset_flag = 1」であるとき、「temporal_id_min」の５ビットフィールドと、「temporal_id_max」の５ビットフィールドが存在する。「temporal_id_min」は、対応するビデオストリームに含まれる階層符号化データの最も低い階層のtemporal_idの値を示す。「temporal_id_max」は、対応するビデオストリームが持つ階層符号化データの最も高い階層のtemporal_idの値を示す。
図１３は、トランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、ベースストリームとエンハンスストリームの２つのビデオストリームが含まれている。すなわち、この構成例では、ベースストリームのＰＥＳパケット「video PES1」が存在すると共に、エンハンスストリームのＰＥＳパケット「video PES2」が存在する。ＰＥＳパケット「video PES1」、「video PES2」でコンテナされる各ピクチャの符号化画像データには、キャプチャリング・スピード・インフォメーションＳＥＩが挿入される。
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）の一つとして、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各ビデオストリームに関連した情報を持つエレメンタリストリーム・ループが存在する。この構成例では、ベースストリームに対応したビデオエレメンタリストリームループ「video ES1 loop」が存在すると共に、エンハンスストリームに対応したビデオエレメンタリストリームループ「video ES2 loop」が存在する。
「video ES1 loop」には、ベースストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、ベースストリームを示す“０ｘ２４”とされる。また、デスクリプタの一つとして、上述したＨＥＶＣデスクリプタ、シャッター・スピード・インフォメーション・デスクリプタが挿入される。
また、「video ES2 loop」には、エンハンスストリーム（video PES2）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、エンハンスストリームを示す、例えば新規定義する“０ｘ２５”とされる。また、デスクリプタの一つとして、上述したＨＥＶＣデスクリプタ、シャッター・スピード・インフォメーション・デスクリプタが挿入される。
図３に戻って、送信部１０４は、トランスポートストリームＴＳを、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調し、ＲＦ変調信号を送信アンテナから送信する。
図３に示す送信装置１００の動作を簡単に説明する。プリプロセッサ１０１には、ハイフレームレートの動画像データとして、１２０ｆｐｓの動画像データＰ(n)（第１の動画像データが入力される。プリプロセッサ１０１では、この１２０ｆｐｓの動画像データＰ(n)が処理されて、１２０ｆｐｓの動画像データＱ(n)（第２の動画像データ）が得られる。
この場合、プリプロセッサ１０１では、動画像データＰ(n)を連続する２個のピクチャ単位で処理し、この２個のピクチャの画像データに線形または非線形の平均処理を施して得られた画像データを１番目のピクチャの画像データとし、この２個のピクチャの２番目のピクチャの画像データをそのまま２番目のピクチャの画像データとして、１２０ｆｐｓの動画像データＱ(n)が得られる（図５（ａ），（ｂ）参照）。
プリプロセッサ１０１で得られる１２０ｆｐｓの動画像データＱ(n)は、エンコーダ１０２に供給される。このエンコーダ１０２では、この動画像データＱ(n)に対して、階層符号化が行われる。すなわち、エンコーダ１０２では、この動画像データＱ(n)を構成する各ピクチャの画像データが複数の階層に分類されて符号化され、各階層のピクチャの符号化画像データを持つビデオストリームが生成される。この際、参照するピクチャが、自己階層および／または自己階層よりも下位の階層に所属するように、符号化される。
エンコーダ１０２では、偶数フレームの符号化画像データを持つベースストリームと、奇数フレームの符号化画像データを持つエンハンスストリームが生成される。この場合、複数の階層が２つの階層組に分割され、最下位の階層組のピクチャの符号化画像データを持つベースストリームと、その上位の階層組のピクチャの符号化画像データを持つエンハンスストリームが生成される。上述の偶数フレームの符号化画像データは、最下位の階層組のピクチャの符号化画像データに対応する。
エンコーダ１０２では、ベースストリーム、エンハンスストリームが持つ各ピクチャの符号化画像データに、ベースストリームが持つ各ピクチャの符号化画像データに係る画像データが平均処理により得られたものであることを示す識別情報（第１の識別情報）、さらにはどのような平均処理がされているかを示す平均処理情報が挿入される。また、エンコーダ１０２では、ベースストリーム、エンハンスストリームが持つ各ピクチャの符号化画像データに、動画像データＰ(n)を構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報が挿入される。具体的には、エンコーダ１０２において、新たに定義される、キャプチャリング・スピード・インフォメーションＳＥＩが、プリフィックスＳＥＩの一つとして挿入される。
エンコーダ１０２で生成されたビデオストリームは、マルチプレクサ１０３に供給される。マルチプレクサ１０３では、エンコーダ１０２で生成されるビデオストリームに対して、ＰＥＳパケット化、さらにトランスポートパケット化が行われて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。このトランスポートストリームＴＳには、ベースストリームと、エンハンスストリームが含まれる。
また、マルチプレクサ１０３では、トランスポートストリームＴＳのレイヤに、ベースストリーム、エンハンスストリームが持つ符号化画像データに上述の識別情報（第１の識別情報）が挿入されていることを示す識別情報（第２の識別情報）が挿入される。この識別情報は、プログラムマップテーブルの配下にビデオストリームにそれぞれ対応して配置されたビデオエレメンタリストリームループの中にデスクリプタとして挿入される。具体的には、マルチプレクサ１０３において、ＨＥＶＣデスクリプタと共に、新規定義するシャッター・スピード・インフォメーション・デスクリプタが挿入される。
マルチプレクサ１０３で生成されるトランスポートストリームＴＳは、送信部１０４に送られる。送信部１０４では、このトランスポートストリームＴＳが、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調され、ＲＦ変調信号が送信アンテナから送信される。
「受信装置の構成」
図１４は、１２０ｆｐｓの動画像データを処理可能なデコード能力がある受信装置２００Ａの構成例を示している。この受信装置２００Ａは、受信部２０１と、デマルチプレクサ２０２と、デコーダ２０３と、ポストプロセッサ２０４と、ディスプレイプロセッサ２０５を有している。
受信部２０１は、受信アンテナで受信されたＲＦ変調信号を復調し、トランスポートストリームＴＳを取得する。デマルチプレクサ２０２は、図１５（ｂ）に示すように、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、ベースストリームおよびエンハンスストリームを取り出し、デコードタイミング情報に基づいて１つのビデオストリームに統合してデコーダ２０３に供給する。
また、デマルチプレクサ２０２は、トランスポートストリームＴＳのレイヤに含まれるセクション情報を抽出し、図示しない制御部に送る。この場合、シャッター・スピード・インフォメーション・デスクリプタも抽出される。これにより、制御部は、ベースストリーム、エンハンスストリームが持つ符号化画像データにキャプチャリング・スピード・インフォメーションＳＥＩが挿入されていることを把握する。
デコーダ２０３は、デマルチプレクサ２０２から供給されるビデオストリームを復号化して、送信装置１００における動画像データＱ(n)に対応した、１２０ｆｐｓの動画像データＱ´(n)を得る。また、デコーダ２０３は、ビデオストリームが持つ各ピクチャの符号化画像データに挿入されているキャプチャリング・スピード・インフォメーションＳＥＩを抽出し、図示しない制御部に送る。
これにより、制御部は、ベースストリームが持つ各ピクチャの符号化画像データに係る画像データが平均処理により得られたものであることを把握する。また、制御部は、どのような平均処理がされているかを把握する。さらに、後述するポストプロセッサ２０４で得られる１２０ｆｐｓの動画像データＺ(n)を構成する各ピクチャの画像データにおけるシャッター開口時間比率を把握する。
ポストプロセッサ２０４は、１２０ｆｐｓの動画像データＱ´(n)に対して、送信装置１００におけるプリプロセッサ１０１とは逆の処理を施し、動画像データＰ(n)に対応した、１２０ｆｐｓの動画像データＺ(n)を得る。ポストプロセッサ２０４は、制御部の制御のもと、ベースストリームが持つ各ピクチャの符号化画像データに係る画像データが平均処理により得られたものである場合、平均処理情報を参照して、処理を行う。
図１６は、ポストプロセッサ２０４の構成例を示している。このポストプロセッサ２０４は、スイッチ回路２４０，２４４と、１フレーム期間の遅延素子２４１，２４３と、加算回路２４２を有している。１２０ｆｐｓの動画像データＱ´(n)は、スイッチ回路２４０の可動端子に供給される。このスイッチ回路２４０は、偶数フレームの期間は「Even」側の固定端子に接続された状態となり、奇数フレームの期間は「Odd」側の固定端子に接続された状態となる。
スイッチ回路２４０の「Even」側の固定端子に得られる偶数フレームの画像データは、遅延素子２４１で１フレーム期間だけ遅延された後に、「１」の利得をもって加算回路２４２に入力される。また、スイッチ回路１１０の「Odd」側の固定端子に得られる奇数フレームの画像データは、「−１/２」の利得をもって加算回路２４２に入力される。
加算回路２４２は、連続する２個の画像データ（偶数フレームと奇数フレームの画像データ）毎に、偶数フレームの画像データから１/２倍とされた奇数フレームの画像データを減算する。この加算回路２４２の出力画像データは「２」の利得を持って、スイッチ回路２４４の「Odd」側の固定端子に入力される。また、スイッチ回路２４０の側の固定端子に得られる奇数フレームの画像データは、遅延素子２４３で１フレーム期間だけ遅延された後に、スイッチ回路２４４の「Even」側の固定端子に入力される。
このスイッチ回路２４４は、偶数フレームの期間は「Even」側の固定端子に接続された状態となり、奇数フレームの期間は「Odd」側の固定端子に接続された状態となる。このスイッチ回路２４４の可動端子から、平均処理を施す前の状態に戻された偶数フレームの画像データと、奇数フレームの画像データとが交互に配置された１２０ｆｐｓの動画像データＺ(n)が得られる。
図５（ｂ），（ｃ）は、ポストプロセッサ２０４の入力データ（動画像データＱ´(n)）と、ポストプロセッサ２０４の出力データ（動画像データＺ(n)）との関係の一例を、模式的に表している。動画像データＱ´(n)の各ピクチャの画像データＱ０＃，Ｑ１，Ｑ２＃，Ｑ３，・・・に対応して、動画像データＱ(n)の各ピクチャの画像データＺ０，Ｚ１，Ｚ２，Ｚ３，・・・が得られる。
なお、図５（ｂ），（ｃ）において、カッコ「“”」内の数値は、各フレームの画像データにおける画素値の一例を示している。例えば、画像データＺ０，Ｚ２，Ｚ４の画素値は“６”，“１２”，“８”であり、画像データＰ０，Ｐ２，Ｐ４の画素値“６” ，“１２”，“８”と同じ値である。これにより、これらのフレームの画像データが平均処理を施す前の状態に戻されることが示されている。
ディスプレイプロセッサ２０５は、ポストプロセッサ２０４で得られる１２０ｆｐｓの動画像データＺ(n)に対して時間方向の補間処理、つまりフレーム補間処理を施して、１２０ｆｐｓより高いフレームレートの動画像データを得る。ディスプレイプロセッサ２０５は、制御部の制御のもと、動画像データＺ(n)を構成する各ピクチャの画像データにおけるシャッター開口時間比率に基づいて、フレーム補間の処理を切り替える。
この場合、例えば、フレーム周波数に対するシャッター速度の比率が低くなる（相対的にシャッター速度が高速になる）とき、つまりシャッター開口時間比率が小さくなるにつれて、動き予測処理の際の処理ブロックサイズが小さくされ、予測アルゴリズムがより精度の高いものに切り替えられる。これにより、高精細で安定した画質表示が可能になる
図１４に示す受信装置２００の動作を簡単に説明する。受信部２０１では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。このトランスポートストリームＴＳは、デマルチプレクサ２０２に送られる。デマルチプレクサ２０２では、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、ベースストリームおよびエンハンスストリームが取り出され、デコードタイミング情報に基づいて１つのビデオストリームに統合されてデコーダ２０３に供給される。
また、デマルチプレクサ２０２では、トランスポートストリームＴＳのレイヤに含まれるセクション情報が抽出され、図示しない制御部に送られる。この場合、シャッター・スピード・インフォメーション・デスクリプタも抽出される。これにより、制御部では、ベースストリーム、エンハンスストリームが持つ符号化画像データへのキャプチャリング・スピード・インフォメーションＳＥＩの挿入が把握される。
デコーダ２０３では、デマルチプレクサ２０２から供給されるビデオストリームの復号化が行われて、送信装置１００における動画像データＱ(n)に対応した、１２０ｆｐｓの動画像データＱ´(n)が得られる。また、デコーダ２０３では、ビデオストリームが持つ各ピクチャの符号化画像データに挿入されているキャプチャリング・スピード・インフォメーションＳＥＩが抽出され、図示しない制御部に送られる。
これにより、制御部では、ベースストリームが持つ各ピクチャの符号化画像データに係る画像データが平均処理により得られたものであることが把握される。また、制御部は、どのような平均処理がされているかが把握される。さらに、後述するポストプロセッサ２０４で得られる１２０ｆｐｓの動画像データＺ(n)を構成する各ピクチャの画像データにおけるシャッター開口時間比率が把握される。
デコーダ２０３で得られる１２０ｆｐｓの動画像データは、ポストプロセッサ２０４に供給される。このポストプロセッサ２０４では、制御部の制御のもと、１２０ｆｐｓの動画像データＱ´(n)に対して、送信装置１００におけるプリプロセッサ１０１とは逆の処理が施され、動画像データＰ(n)に対応した、１２０ｆｐｓの動画像データＺ(n)が得られる。この場合、制御部では、キャプチャリング・スピード・インフォメーションＳＥＩに基づいて、ベースストリームが持つ各ピクチャの符号化画像データに係る画像データが平均処理により得られたものであることが確認され、平均処理情報が参照されて処理が行われる。
ポストプロセッサ２０４で得られる１２０Ｈｚの動画像データＺ（n）は、ディスプレイプロセッサ２０５に供給される。ディスプレイプロセッサ２０５では、ポストプロセッサ２０４で得られる１２０ｆｐｓの動画像データＺ(n)に対して時間方向の補間処理、つまりフレーム補間処理が施されて、１２０ｆｐｓより高いフレームレートの動画像データが得られる。この画像データは、表示部に供給され、画像表示が行われる。
図１７は、６０ｆｐｓの動画像データを処理可能なデコード能力がある受信装置２００Ｂの構成例を示している。この図１７において、図１４と対応する部分には同一符号を付し、適宜、その詳細説明を省略する。この受信装置２００Ｂは、受信部２０１と、デマルチプレクサ２０２と、デコーダ２０３と、ディスプレイプロセッサ２０５を有している。
受信部２０１では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳを取得される。デマルチプレクサ２０２では、図１５（ａ）に示すように、トランスポートストリームＴＳから、ＰＩＤのフィルタリングによって、ベースストリームのみが取り出されて、デコーダ２０３に供給される。
デコーダ２０３で、デマルチプレクサ２０２から供給されるベースストリームが号化されて、６０ｆｐｓの動画像データが得られる。ディスプレイプロセッサ２０５では、デコーダ２０３で得られる６０ｆｐｓの動画像データに対して時間方向の補間処理、つまりフレーム補間処理が施されて、６０ｆｐｓより高いフレームレートの動画像データが得られる。この画像データは、表示部に供給され、画像表示が行われる。
以上説明したように、図１に示す送受信システム１０においては、送信側では、ハイフレームレートの動画像データである１２０ｆｐｓの動画像データＰ(n)をそのまま送信するものではなく、２個のピクチャ毎の１番目のピクチャの画像データとして、２個のピクチャの画像データに平均処理を施して得られた画像データを送信するものである。
そのため、例えば、受信側では、６０ｆｐｓの動画像データを処理可能なデコード能力がある場合（図１７参照）、２個のピクチャ毎の１番目のピクチャの符号化画像データだけを選択してデコード処理を行って６０ｆｐｓの動画像データを得ることで、滑らかな画像を表示でき、また、低負荷演算によるフレーム補間処理で画質的な問題を引き起こすことが回避可能となる。
また、図１に示す送受信システム１０においては、受信側では、２個のピクチャ毎の１番目のピクチャの画像データが、平均処理が施される前の１番目のピクチャの画像データに戻されるものである。そのため、例えば、１２０ｆｐｓの動画像データを処理可能なデコード能力がある場合（図１４参照）、先鋭度が高く滑らかなハイフレームレートの画像表示が可能となる。
＜２．変形例＞
なお、上述実施の形態においては、全体のフレームレートが１２０ｆｐｓでベースストリームのフレームレート６０ｆｐｓの例を示したが、フレームレートの組み合わせは、これに限定されるものではない。例えば、１００ｆｐｓと５０ｆｐｓの組み合わせでも同様である。
また、上述実施の形態においては、全体のフレームレートとベースストリームのフレームレートとの比率が２：１である場合、つまりＮ＝２の例を示している。しかし、本技術は、２：１の比率だけでなく、その他の比率においても、同様に適用可能である。
図１８（ａ），（ｂ）は、４：１の比率、つまりＮ＝４である場合における、プリプロセッサ１０１の入力データ（動画像データＰ(n)）と、プリプロセッサ１０１の出力データ（動画像データＱ(n)）との関係の一例を、模式的に表している。この例は、線形な平均をとる例である。動画像データＰ(n)の各ピクチャの画像データＰ０，Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６，Ｐ７，・・・に対応して、動画像データＱ(n)の各ピクチャの画像データＱ０＃，Ｑ１，Ｑ２，Ｑ３，Ｑ４＃，Ｑ５，Ｑ２６＃，Ｑ７・・・が得られる。
なお、図１８（ａ），（ｂ）において、カッコ「“”」内の数値は、各フレームの画像データにおける画素値の一例を示している。例えば、画像データＱ０＃の画素値は“９”であり、画像データＰ０，Ｐ１，Ｐ２，Ｐ３の画素値“６”，“８”，“１２”，“１０”の平均値となっている。これにより、画像データＱ０＃が、画像データＰ０，Ｐ１，Ｐ２，Ｐ３に線形の平均処理を施して得られたものであることが示されている。また、例えば、画像データＱ１，Ｑ２，Ｑ３の画素値は“８”，“１２”，“１０”であり、画像データＰ１，Ｐ２，Ｐ３の画素値“８” ，“１２”，“１０”と同じとなっている。これにより、画像データＱ１，Ｑ２，Ｑ３は画像データＰ１，Ｐ２，Ｐ３と同一のものであることが示されている。
また、図１８（ｂ），（ｃ）は、４：１の比率、つまりＮ＝４である場合における、ポストプロセッサ２０４の入力データ（動画像データＱ´(n)）と、ポストプロセッサ２０４の出力データ（動画像データＺ(n)）との関係の一例を、模式的に表している。動画像データＱ´(n)の各ピクチャの画像データＱ０＃，Ｑ１，Ｑ２，Ｑ３，Ｑ４＃，Ｑ５，Ｑ２６＃，Ｑ７・・・に対応して、動画像データＱ(n)の各ピクチャの画像データＺ０，Ｚ１，Ｚ２，Ｚ３，Ｚ４，Ｚ５，Ｚ６，Ｚ７，・・・が得られる。
なお、図１８（ｂ），（ｃ）において、カッコ「“”」内の数値は、各フレームの画像データにおける画素値の一例を示している。例えば、画像データＺ０，Ｚ４の画素値は“６”，“８”であり、画像データＰ０，Ｐ４の画素値“６” ，“８”と同じ値である。これにより、これらのフレームの画像データが平均処理を施す前の状態に戻されることが示されている。
また、上述実施の形態においては、送信装置１００と受信装置２００からなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、例えば、（ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は、登録商標である。
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。
また、本技術は、以下のような構成を取ることもできる。
（１）所定フレームレートの第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、該Ｎ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、上記Ｎ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとして、上記所定フレームレートの第２の動画像データを得る画像処理部と、
上記画像処理部で得られた上記第２の動画像データを構成する各ピクチャの画像データを符号化してビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成されたビデオストリームを送信する送信部を備える
送信装置。
（２）上記画像符号化部は、上記Ｎ個のピクチャ毎の上記１番目のピクチャの符号化画像データを持つ第１のビデオストリームと、上記Ｎ個のピクチャ毎の上記２番目からＮ番目のピクチャの符号化画像データを持つ所定数の第２のビデオストリームとを生成する
前記（１）に記載の送信装置。
（３）上記画像符号化部は、上記画像処理部で得られる上記第２の動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化すると共に、上記複数の階層を所定数の階層組に分割し、該分割された各階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリームを生成し、
最下位の階層組には、上記Ｎ個のピクチャ毎の上記１番目のピクチャの符号化画像データが含まれる
前記（２）に記載の送信装置。
（４）上記画像符号化部は、上記第１のビデオストリームに含まれる符号化画像データに、該第１のビデオストリームが上記第２のビデオストリームの時間的な変動要素を含んでいることを示す第１の識別情報を挿入する
前記（２）または（３）に記載の送信装置。
（５）上記画像符号化部は、上記第１のビデオストリームに含まれる符号化画像データに、上記平均処理の情報をさらに挿入する
前記（２）から（４）のいずれかに記載の送信装置。
（６）上記送信部は、上記ビデオストリームを含む所定フォーマットのコンテナを送信し、
上記コンテナのレイヤに、上記第１のビデオストリームに含まれる符号化画像データに上記第１の識別情報が挿入されていることを示す第２の識別情報を挿入する識別情報挿入部をさらに備える
前記（４）または（５）に記載の送信装置。
（７）上記画像符号化部は、上記ビデオストリームが持つ符号化画像データに、上記所定フレームレートの上記第１の動画像データを構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報を挿入する
前記（１）から（６）のいずれかに記載の送信装置。
（８）所定フレームレートの第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、該Ｎ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、上記Ｎ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとして、上記所定フレームレートの第２の動画像データを得る画像処理ステップと、
上記画像処理ステップで得られた第２の動画像データを構成する各ピクチャの画像データを符号化してビデオストリームを生成する画像符号化ステップと、
送信部により、上記画像符号化ステップで生成されたビデオストリームを送信する送信ステップを有する
送信方法。
（９）所定フレームレートの動画像データを構成する各ピクチャの画像データを符号化して生成されたビデオストリームを受信する受信部と、
上記受信部で受信されたビデオストリームを処理する処理部を備え、
上記所定フレームレートの動画像データは、
上記所定フレームレートの第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、該Ｎ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、上記Ｎ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとして得られた上記所定フレームレートの第２の動画像データである
受信装置。
（１０）上記受信部で受信されたビデオストリームには、
上記Ｎ個のピクチャ毎の上記１番目のピクチャの符号化画像データを持つ第１のビデオストリームと、上記Ｎ個のピクチャ毎の上記２番目からＮ番目のピクチャの符号化画像データを持つ所定数の第２のビデオストリームが含まれる
前記（９）に記載の受信装置。
（１１）所定フレームレートの第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、該Ｎ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、上記Ｎ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとして得られた上記所定フレームレートの第２の動画像データを構成する各ピクチャの画像データを符号化して生成されたビデオストリームを受信する受信部と、
上記受信部で受信されたビデオストリームを復号化して上記所定フレームレートの第２の動画像データを得る画像復号化部と、
上記画像復号化部で得られた第２の動画像データを処理して上記第１の動画像データを得る画像処理部を備える
受信装置。
（１２）上記受信部で受信されたビデオストリームには、
上記Ｎ個のピクチャ毎の上記１番目のピクチャの符号化画像データを持つ第１のビデオストリームと、上記Ｎ個のピクチャ毎の上記２番目からＮ番目のピクチャの符号化画像データを持つ所定数の第２のビデオストリームが含まれる
前記（１１）に記載の受信装置。
（１３）上記画像処理部で得られた上記第１の動画像データに対して時間方向の補間処理を施して上記所定フレームレートより高いフレームレートの第３の動画像データを得る表示処理部をさらに備える
前記（１１）または（１２）に記載の受信装置。
（１４）上記受信部で受信されたビデオストリームが持つ各ピクチャの符号化画像データには、上記第１の動画像データを構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報が挿入されており、
上記表示処理部は、上記シャッター開口時間比率の情報に基づいてフレーム補間の処理を切り替える
前記（１３）に記載の受信装置。
（１５）受信部により、所定フレームレートの第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、該Ｎ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、上記Ｎ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとして得られた上記所定フレームレートの第２の動画像データを構成する各ピクチャの画像データを符号化して生成されたビデオストリームを受信する受信ステップと、
上記受信ステップで受信されたビデオストリームを復号化して上記所定フレームレートの第２の動画像データを得る画像復号化ステップと、
上記画像復号化ステップで得られた第２の動画像データを処理して上記第１の動画像データを得る画像処理ステップを有する
受信方法。
（１６）所定フレームレートの動画像データを構成する各ピクチャの画像データを符号化してビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成されたビデオストリームを送信する送信部を備え、
上記画像符号化部は、
上記ビデオストリームが持つ各ピクチャの符号化画像データに、上記所定フレームレートの上記第１の動画像データを構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報を挿入する
送信装置。
（１７）所定フレームレートの動画像データを構成する各ピクチャの画像データが符号化されて得られたビデオストリームを受信する受信部と、
上記受信部で受信されたビデオストリームを復号化して上記所定フレームレートの動画像データを得る画像復号化部と、
上記画像復号化部で得られた上記第１の画像データに対して時間方向の補間処理を施して上記所定フレームレートより高いフレームレートの第３の動画像データを得る表示処理部を備え、
上記受信部で受信されたビデオストリームが持つ各ピクチャの符号化画像データには、上記所定フレームレートの動画像データを構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報が挿入されており、
上記表示処理部は、上記シャッター開口時間比率の情報に基づいてフレーム補間の処理を切り替える
受信装置。
本技術の主な特徴は、ハイフレームレートの動画像データを送信する際に、Ｎ個のピクチャ毎の１番目のピクチャの画像データとして、Ｎ個のピクチャの画像データに平均処理を施して得られた画像データを送信することで、ノーマルフレームレート対応の従来受信機に対する互換性を確保可能としたことである（図３−５参照）。
１０・・・送受信システム
１００・・・送信装置
１０１・・・プリプロセッサ
１０２・・・エンコーダ
１０３・・・マルチプレクサ
１０４・・・送信部
１１０，１１４・・・スイッチ回路
１１１，１１３・・・遅延素子
１１２・・・加算回路
２００，２００Ａ，２００Ｂ・・・受信装置
２０１・・・受信部
２０２・・・デマルチプレクサ
２０３・・・デコーダ
２０４・・・ポストプロセッサ
２０５・・・ディスプレイプロセッサ
２４０，２４４・・・スイッチ回路
２４１，２４３・・・遅延素子
２４２・・・加算回路

Claims (8)

  1. 所定フレームレートの第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、該Ｎ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、上記Ｎ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとして、上記所定フレームレートの第２の動画像データを得る画像処理部と、
    上記画像処理部で得られた上記第２の動画像データを構成する各ピクチャの画像データを符号化してビデオストリームを生成する画像符号化部と、
    上記画像符号化部で生成されたビデオストリームを送信する送信部を備え、
    上記画像符号化部は、上記Ｎ個のピクチャ毎の上記１番目のピクチャの符号化画像データを持つ第１のビデオストリームと、上記Ｎ個のピクチャ毎の上記２番目からＮ番目のピクチャの符号化画像データを持つ所定数の第２のビデオストリームとを生成し、
    上記画像符号化部は、上記第１および第２のビデオストリームに含まれる符号化画像データに、上記所定フレームレートの第１の動画像データを構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報を挿入する
    送信装置。
  2. 上記画像符号化部は、上記画像処理部で得られる上記第２の動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化すると共に、上記複数の階層を所定数の階層組に分割し、該分割された各階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリームを生成し、
    最下位の階層組には、上記Ｎ個のピクチャ毎の上記１番目のピクチャの符号化画像データが含まれる
    請求項１に記載の送信装置。
  3. 上記画像符号化部は、上記第１のビデオストリームに含まれる符号化画像データに、該第１のビデオストリームが上記第２のビデオストリームの時間的な変動要素を含んでいることを示す第１の識別情報を挿入する
    請求項１に記載の送信装置。
  4. 上記送信部は、上記ビデオストリームを含む所定フォーマットのコンテナを送信し、
    上記コンテナのレイヤに、上記第１のビデオストリームに含まれる符号化画像データに上記第１の識別情報が挿入されていることを示す第２の識別情報を挿入する識別情報挿入部をさらに備える
    請求項３に記載の送信装置。
  5. 上記画像符号化部は、上記第１のビデオストリームに含まれる符号化画像データに、上記平均処理の情報を挿入する
    請求項１に記載の送信装置。
  6. 画像処理部が、所定フレームレートの第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、該Ｎ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、上記Ｎ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとして、上記所定フレームレートの第２の動画像データを得る画像処理ステップと、
    画像符号化部が、上記画像処理ステップで得られた上記第２の動画像データを構成する各ピクチャの画像データを符号化してビデオストリームを生成する画像符号化ステップと、
    送信部が、上記画像符号化ステップで生成されたビデオストリームを送信する送信ステップを有し、
    上記画像符号化ステップでは、上記Ｎ個のピクチャ毎の上記１番目のピクチャの符号化画像データを持つ第１のビデオストリームと、上記Ｎ個のピクチャ毎の上記２番目からＮ番目のピクチャの符号化画像データを持つ所定数の第２のビデオストリームとを生成し、
    上記画像符号化部は、上記第１および第２のビデオストリームに含まれる符号化画像データに、上記所定フレームレートの第１の動画像データを構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報を挿入する
    送信方法。
  7. 所定フレームレートの第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、該Ｎ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、上記Ｎ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとして得られた上記所定フレームレートの第２の動画像データを構成する各ピクチャの画像データを符号化して生成されたビデオストリームを受信する受信部と、
    上記受信部で受信されたビデオストリームを復号化して上記所定フレームレートの第２の動画像データを得る画像復号化部と、
    上記画像復号化部で得られた第２の動画像データを処理して上記第１の動画像データを得る画像処理部を備え、
    上記受信部で受信されたビデオストリームには、上記Ｎ個のピクチャ毎の上記１番目のピクチャの符号化画像データを持つ第１のビデオストリームと、上記Ｎ個のピクチャ毎の上記２番目からＮ番目のピクチャの符号化画像データを持つ所定数の第２のビデオストリームが含まれており、
    上記第１および第２のビデオストリームに含まれる符号化画像データには、上記所定フレームレートの第１の動画像データを構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報が挿入されており、
    上記画像処理部で得られた上記第１の動画像データに対してフレーム補間を行って上記所定フレームレートより高いフレームレートの第３の動画像データを得る表示処理部をさらに備え、
    上記表示処理部は、上記シャッター開口時間比率の情報に基づいて上記フレーム補間の処理方法を切り替える
    受信装置。
  8. 受信部が、所定フレームレートの第１の動画像データを連続するＮ個（Ｎは２以上の整数）のピクチャ単位で処理し、該Ｎ個のピクチャの画像データに平均処理を施して得られた画像データを１番目のピクチャの画像データとし、上記Ｎ個のピクチャの２番目からＮ番目のピクチャの画像データをそのまま２番目からＮ番目のピクチャの画像データとして得られた上記所定フレームレートの第２の動画像データを構成する各ピクチャの画像データを符号化して生成されたビデオストリームを受信する受信部ステップと、
    画像復号化部が、上記受信部で受信されたビデオストリームを復号化して上記所定フレームレートの第２の動画像データを得る画像復号化ステップと、
    画像処理部が、上記画像復号化ステップで得られた第２の動画像データを処理して上記第１の動画像データを得る画像処理ステップを有し、
    上記受信部で受信されたビデオストリームには、上記Ｎ個のピクチャ毎の上記１番目のピクチャの符号化画像データを持つ第１のビデオストリームと、上記Ｎ個のピクチャ毎の上記２番目からＮ番目のピクチャの符号化画像データを持つ所定数の第２のビデオストリームが含まれており、
    上記第１および第２のビデオストリームに含まれる符号化画像データには、上記所定フレームレートの第１の動画像データを構成する各ピクチャの画像データにおけるシャッター開口時間比率の情報が挿入されており、
    表示処理部が、上記画像処理部で得られた上記第１の動画像データに対してフレーム補間を行って上記所定フレームレートより高いフレームレートの第３の動画像データを得る表示処理ステップをさらに有し、
    上記表示処理ステップでは、上記シャッター開口時間比率の情報に基づいて上記フレーム補間の処理方法を切り替える
    受信方法。
JP2015549162A 2013-11-22 2014-11-18 送信装置、送信方法、受信装置および受信方法 Expired - Fee Related JP6565679B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013242391 2013-11-22
JP2013242391 2013-11-22
PCT/JP2014/080559 WO2015076277A1 (ja) 2013-11-22 2014-11-18 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
JPWO2015076277A1 JPWO2015076277A1 (ja) 2017-03-16
JP6565679B2 true JP6565679B2 (ja) 2019-08-28

Family

ID=53179538

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015549162A Expired - Fee Related JP6565679B2 (ja) 2013-11-22 2014-11-18 送信装置、送信方法、受信装置および受信方法

Country Status (5)

Country Link
US (2) US10542259B2 (ja)
EP (1) EP3073740A4 (ja)
JP (1) JP6565679B2 (ja)
CN (1) CN105765980B (ja)
WO (1) WO2015076277A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017030062A1 (ja) * 2015-08-19 2017-02-23 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
MX2018002265A (es) * 2015-08-25 2018-03-23 Sony Corp Aparato de transmision, metodo de transmision, aparato de recepcion, y metodo de recepcion.
AU2016317252B2 (en) * 2015-09-01 2020-12-24 Sony Corporation Transmission device, transmission method, reception device, and reception method
JP6819041B2 (ja) 2015-09-10 2021-01-27 ソニー株式会社 サーバシステムおよびサーバ
EP3349456A4 (en) 2015-09-10 2019-04-24 Sony Corporation SENDING DEVICE, TRANSMISSION PROCEDURE, RECEPTION DEVICE AND RECEPTION PROCEDURE
WO2017043501A1 (ja) * 2015-09-10 2017-03-16 ソニー株式会社 Ａｖサーバシステムおよびａｖサーバ
KR20180063063A (ko) 2015-09-30 2018-06-11 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
CA3039466A1 (en) 2015-10-08 2017-04-13 Sharp Laboratories Of America, Inc. Systems and methods for reducing artifacts in temporal scalable layers of video
WO2017065128A1 (ja) 2015-10-13 2017-04-20 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
TWI670964B (zh) * 2016-12-13 2019-09-01 日商夏普股份有限公司 用於減少於視訊之時間可適性層之假影之系統及方法
US20210136421A1 (en) * 2016-12-31 2021-05-06 Sharp Kabushiki Kaisha Systems and methods for reducing artifacts in temporal scalable layers of video
JP7026450B2 (ja) 2017-04-24 2022-02-28 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
JP6982990B2 (ja) 2017-06-19 2021-12-17 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
WO2019087789A1 (ja) 2017-11-02 2019-05-09 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN112154664B (zh) * 2018-05-30 2024-04-05 索尼公司 接收装置、接收方法、发送装置和发送方法
CN112534827B (zh) * 2018-08-10 2023-07-14 索尼公司 接收装置、接收方法、发送装置和发送方法
WO2020039973A1 (ja) 2018-08-21 2020-02-27 ソニー株式会社 受信装置、受信方法、送信装置および送信方法
EP3672241A1 (en) * 2018-12-17 2020-06-24 Nokia Technologies Oy A method, an apparatus and a computer program product for video encoding and video decoding
US11234044B2 (en) * 2018-12-28 2022-01-25 Sony Group Corporation Transmission apparatus, transmission method, encoding apparatus, encoding method, reception apparatus, and reception method
CN114666597A (zh) * 2019-03-11 2022-06-24 杜比实验室特许公司 帧速率可伸缩视频编码
JP2022543627A (ja) 2019-08-06 2022-10-13 ドルビー ラボラトリーズ ライセンシング コーポレイション 描画面サイズ拡張可能ビデオコーディング
EP4319153A4 (en) * 2021-03-30 2024-08-07 Nec Corp VIDEO CODING DEVICE, VIDEO DECODING DEVICE, VIDEO CODING METHOD, VIDEO DECODING METHOD AND VIDEO SYSTEM

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3934506B2 (ja) * 2002-08-06 2007-06-20 オリンパス株式会社 撮像システムおよび画像処理プログラム
JP4281309B2 (ja) 2002-08-23 2009-06-17 ソニー株式会社 画像処理装置、画像処理方法、および画像フレームデータ記憶媒体、並びにコンピュータ・プログラム
JP2004159191A (ja) * 2002-11-07 2004-06-03 Seiko Epson Corp 画像データに応じたフレームレートの変換
US7639741B1 (en) * 2002-12-06 2009-12-29 Altera Corporation Temporal filtering using object motion estimation
US7330509B2 (en) * 2003-09-12 2008-02-12 International Business Machines Corporation Method for video transcoding with adaptive frame rate control
JP4797446B2 (ja) 2005-05-26 2011-10-19 ソニー株式会社 情報処理システム、情報処理装置および方法、並びにプログラム
JP2007166198A (ja) * 2005-12-13 2007-06-28 National Univ Corp Shizuoka Univ フレームレート変換方法および装置
JP4777274B2 (ja) * 2007-02-19 2011-09-21 キヤノン株式会社 映像再生装置及びその制御方法
WO2008140656A2 (en) 2007-04-03 2008-11-20 Gary Demos Flowfield motion compensation for video compression
JP2009177527A (ja) * 2008-01-24 2009-08-06 Panasonic Corp 画像記録装置、画像再生装置、記録媒体、画像記録方法及びプログラム
JP2010178124A (ja) 2009-01-30 2010-08-12 Victor Co Of Japan Ltd 記録装置及び記録方法
JP2012129807A (ja) * 2010-12-15 2012-07-05 Sony Corp 画像記録装置、画像記録方法およびプログラム
JP2013026727A (ja) * 2011-07-19 2013-02-04 Sony Corp 表示装置および表示方法

Also Published As

Publication number Publication date
US10542259B2 (en) 2020-01-21
WO2015076277A1 (ja) 2015-05-28
US11082696B2 (en) 2021-08-03
EP3073740A4 (en) 2017-05-31
CN105765980A (zh) 2016-07-13
CN105765980B (zh) 2020-02-28
US20160234500A1 (en) 2016-08-11
EP3073740A1 (en) 2016-09-28
JPWO2015076277A1 (ja) 2017-03-16
US20200112724A1 (en) 2020-04-09

Similar Documents

Publication Publication Date Title
JP6565679B2 (ja) 送信装置、送信方法、受信装置および受信方法
US9485287B2 (en) Indicating bit stream subsets
US11722636B2 (en) Transmission device, transmission method, reception device, and reception method
RU2678149C2 (ru) Устройство кодирования, способ кодирования, передающее устройство, устройство декодирования, способ декодирования и приёмное устройство
US10812854B2 (en) Image processing device, image processing method, reception device, and transmission device
US11758160B2 (en) Transmission device, transmission method, reception device, and reception method
JP6760290B2 (ja) 送信装置、送信方法、受信装置および受信方法
US20230112314A1 (en) Reception device, reception method, transmission device, and transmission method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171109

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190715

R151 Written notification of patent or utility model registration

Ref document number: 6565679

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees