JPWO2015025747A1 - 符号化装置、符号化方法、送信装置、復号化装置、復号化方法および受信装置 - Google Patents

符号化装置、符号化方法、送信装置、復号化装置、復号化方法および受信装置 Download PDF

Info

Publication number
JPWO2015025747A1
JPWO2015025747A1 JP2015532814A JP2015532814A JPWO2015025747A1 JP WO2015025747 A1 JPWO2015025747 A1 JP WO2015025747A1 JP 2015532814 A JP2015532814 A JP 2015532814A JP 2015532814 A JP2015532814 A JP 2015532814A JP WO2015025747 A1 JPWO2015025747 A1 JP WO2015025747A1
Authority
JP
Japan
Prior art keywords
picture
image data
encoding
unit
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015532814A
Other languages
English (en)
Other versions
JP6344392B2 (ja
Inventor
塚越　郁夫
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2015025747A1 publication Critical patent/JPWO2015025747A1/ja
Application granted granted Critical
Publication of JP6344392B2 publication Critical patent/JP6344392B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

インターレース方式の画像データに対してもオープンＧＯＰの符号化を可能とする。画像符号化部は、インターレース方式の画像データを構成する各ピクチャの画像データをＮＡＬユニット構造で符号化し、各ピクチャの符号化画像データを持つビデオストリームを生成する。画像符号化部は、ランダムアクセスポイントを構成するイントラピクチャとフィールドペアを構成するピクチャの符号化画像データにおけるスライスのＮＡＬユニットタイプを、このイントラピクチャに依存し、このイントラピクチャとフィールドペアを構成するピクチャであることを示すユニークなタイプに設定する。

Description

本技術は、符号化装置、符号化方法、送信装置、復号化装置、復号化方法および受信装置に関する。詳しくは、本技術は、インターレース方式の画像データをＮＡＬユニット構造で符号化する符号化装置などに関する。
従来、画像データをＮＡＬユニット構造で符号化する符号化方式が知られている。例えば、非特許文献１には、ＨＥＶＣ（High Efficiency Video Coding）方式の符号化について記載されている。
Gary J. Sullivan, Jens-Rainer Ohm, Woo-Jin Han, Thomas Wiegand, "Overview of the High Efficiency Video Coding (HEVC) Standard" IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECNOROGY, VOL. 22, NO. 12, pp. 1649-1668, DECEMBER 2012
ＨＥＶＣ方式の符号化において、インターレース方式の画像データを符号化する際、ランダムアクセスポイントを構成するイントラピクチャとフィールドペアを構成するピクチャをＴＰ（Trailing Picture）とする場合、ＬＰ（Leading Picture）を挿入できなくなる。そのため、この場合には、オープンＧＯＰ（Open Group Of Picture）の符号化ができなくなる。
本技術の目的は、インターレース方式の画像データに対してもオープンＧＯＰの符号化を可能とすることにある。
本技術の概念は、
インターレース方式の画像データを構成する各ピクチャの画像データをＮＡＬユニット構造で符号化し、各ピクチャの符号化画像データを持つビデオストリームを生成する画像符号化部を備え、
上記画像符号化部は、
ランダムアクセスポイントを構成するイントラピクチャとフィールドペアを構成するピクチャの符号化画像データにおけるスライスのＮＡＬユニットタイプを、該イントラピクチャに依存し、該イントラピクチャとフィールドペアを構成するピクチャであることを示すユニークなタイプに設定する
符号化装置にある。
本技術において、画像符号化部により、インターレース方式の画像データを構成する各ピクチャの画像データがＮＡＬユニット構造で符号化され、各ピクチャの画像データを持つビデオストリームが生成される。例えば、画像符号化部は、インターレース方式の画像データを構成する各ピクチャの画像データを複数階層に分類し、この分類された各階層のピクチャの画像データを符号化し、この符号化された各階層のピクチャの画像データを持つビデオストリームを生成する、ようにされてもよい。また、例えば、画像符号化部は、インターレース方式の画像データをＨＥＶＣ方式で符号化する、ようにされてもよい。
ここで、ランダムアクセスポイントを構成するイントラピクチャとフィールドペアを構成するピクチャの符号化画像データにおけるスライスのＮＡＬユニットタイプは、このイントラピクチャに依存し、このイントラピクチャとフィールドペアを構成するピクチャであることを示すユニークなタイプに設定される。そのため、後続するピクチャとしてＬＰの挿入が可能となり、オープンＧＯＰの符号化が可能となる。
また、本技術の他の概念は、
インターレース方式の画像データを構成する各ピクチャの画像データがＮＡＬユニット構造で符号化されて得られた各ピクチャの符号化画像データを持つビデオストリームを復号化して上記インターレース方式の画像データを得る画像復号化部を備え、
上記ビデオストリームにおいて、ランダムアクセスポイントを構成するイントラピクチャとフィールドペアを構成するピクチャの符号化画像データにおけるスライスのＮＡＬユニットタイプは、該イントラピクチャに依存し、該イントラピクチャとフィールドペアを構成するピクチャであることを示すユニークなタイプに設定されている
復号化装置にある。
本技術において、画像復号化部により、ビデオストリームが復号化されてインターレース方式の画像データが得られる。このビデオストリームは、インターレース方式の画像データを構成する各ピクチャの画像データがＮＡＬユニット構造で符号化されて得られた各ピクチャの符号化画像データを持つものである。
このビデオストリームにおいて、ランダムアクセスポイントを構成するイントラピクチャとフィールドペアを構成するピクチャの符号化画像データにおけるスライスのＮＡＬユニットタイプは、このイントラピクチャに依存し、このイントラピクチャとフィールドペアを構成するピクチャであることを示すユニークなタイプに設定されている。そのため、ビデオストリームは、ＬＰが存在するオープンＧＯＰの符号化がなされていることもある。
なお、本技術において、例えば、ビデオストリームは、インターレース方式の画像データを構成する各ピクチャの画像データが複数階層に分類された各階層のピクチャの画像データが符号化されて得られた各階層のピクチャの画像データを持ち、画像復号化部は、階層指定情報で指定された階層のピクチャの符号化画像データを復号化し、所定階層以下の階層のピクチャの画像データを得る、ようにされてもよい。この場合、例えば、自身の復号化能力に応じた復号を行うことが可能となる。
また、本技術において、例えば、画像復号化部で得られるインターレース方式の画像データをプログレッシブ方式の画像データに変換する方式変換部と、この方式変換部で得られた各ピクチャの画像データのフレームレートを表示能力に合わせるポスト処理部をさらに備える、ようにされてもよい。この場合、デコード能力が低い場合であっても、高表示能力にあったフレームレートの画像データを得ることが可能となる。
本技術によれば、インターレース方式の画像データに対してもオープンＧＯＰの符号化が可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 エンコーダで行われるインターレース方式の画像データの階層符号化の一例を示す図である。 ＮＡＬユニットヘッダの構造例（Syntax）およびその構造例における主要なパラメータの内容（Semantics）を示す図である。 ＨＥＶＣによる各ピクチャの符号化画像データの構成を説明するための図である。 エンコーダで行われるインターレース方式の画像データの階層符号化の一例を示す図である。 エンコーダで行われるインターレース方式の画像データの階層符号化の一例を示す図である。 クローズドＧＯＰ（Closed GOP）とオープンＧＯＰ（Open GOP）を説明するための図である。 ＩＲＡＰのピクチャとフィールドペアを構成するピクチャの符号化画像データにおけるスライスのＮＡＬユニットタイプがＲＡＰ＿ｄｅｐｅｎｄｅｎｔに設定された場合における階層符号化の一例を示す図である。 エンコーダで行われるインターレース方式の画像データの符号化の一例を示す図である。 エンコーダで行われるインターレース方式の画像データの符号化の一例を示す図である。 送信装置の構成例を示すブロック図である。 エンコーダの構成例を示すブロック図である。 受信装置の構成例を示すブロック図である。 デコーダの構成例を示すブロック図である。 ポスト処理部の構成例を示すブロック図である。
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。
送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、インターレース方式の画像データを構成する各ピクチャの画像データがＮＡＬユニット構造で符号化され、各ピクチャの符号化画像データを持つビデオストリームが含まれる。この実施の形態において、インターレース方式の画像データは、ＨＥＶＣ（High Efficiency Video Coding）方式で符号化される。
また、このビデオストリームは、インターレース方式の画像データを構成する各ピクチャの画像データが複数の階層に分類され、各階層のピクチャの画像データの符号化データを持つものとされる。この場合、被参照ピクチャが自己階層および／または自己階層よりも低い階層に所属するように符号化される。
各階層のピクチャの符号化画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報が付加される。この実施の形態においては、各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に、階層識別情報（temporal_idを意味する“nuh_temporal_id_plus1”）が配置される。このように階層識別情報が付加されることで、受信側では、所定階層以下の階層の符号化画像データを選択的に取り出してデコード処理を行うことが可能となる。
図２は、エンコーダで行われる階層符号化の一例を示している。この例は、０から３までの４階層に分類され、各階層のピクチャの画像データに対して符号化が施されている。縦軸は階層を示している。階層０から３のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダ部分に配置されるtemporal_id（階層識別情報）として、それぞれ、０から３が設定される。横軸は表示順（ＰＯＣ：picture order of composition）を示し、左側が前で右側が後になる。
図３（ａ）は、ＮＡＬユニットヘッダの構造例（Syntax）を示し、図３（ｂ）は、その構造例における主要なパラメータの内容（Semantics）を示している。「Forbidden_zero_bit」の１ビットフィールドは、０が必須である。「Nal_unit_type」の６ビットフィールドは、ＮＡＬユニットタイプを示す。「Nuh_layer_id」の６ビットフィールドは、０を前提とする。「Nuh_temporal_id_plus1」の３ビットフィールドは、temporal_idを示し、１を加えた値（１〜７）をとる。
図２に戻って、矩形枠のそれぞれがピクチャを示し、数字は、符号化されているピクチャの順、つまりエンコード順（受信側ではデコード順）を示している。実線矢印は、符号化におけるピクチャの参照関係を示している。「０」から「１７」（「２」、「３」を除く）の１６個のピクチャによりＳＯＰ（Structure Of Pictures）を構成しており、「０」はその先頭ピクチャである。「２」は、次のＳＯＰの先頭ピクチャとなる。あるいは、「０」、「１」を除いて、「２」から「３」そして「１７」までの１６個のピクチャによりＳＯＰ（Structure Of Pictures）を構成しており、その場合、「２」がＳＯＰ先頭のピクチャとなる。破線楕円で囲む２つのピクチャはフィールドペアを示し、「Ｆ」は第１フィールド（トップフィールド）を示し、「Ｓ」は第２フィールド（ボトムフィールド）を示している。なお、フィールドペアを構成する２つのピクチャの階層は同一となる。
「１」のピクチャは、ＧＯＰ（Group Of Pictures）の先頭のピクチャとなり得る。ＧＯＰの先頭ピクチャの符号化画像データは、図４に示すように、ＡＵＤ、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳのＮＡＬユニットにより構成される。一方、ＧＯＰの先頭ピクチャ以外のピクチャは、ＡＵＤ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳのＮＡＬユニットにより構成される。ＶＰＳはＳＰＳと共に、シーケンス（ＧＯＰ）に一度、ＰＰＳは毎ピクチャで伝送可能とされている。
この実施の形態では、オープンＧＯＰの符号化が可能とされる。すなわち、ＩＲＡＰのピクチャとフィールドペアを構成するピクチャの符号化画像データにおけるスライスのＮＡＬユニットタイプが、このＩＲＡＰのピクチャに依存し、このＩＲＡＰのピクチャとフィールドペアを構成するピクチャであることを示すユニークなタイプに設定される。
ＨＥＶＣ方式の符号化において、スライスのＮＡＬユニットタイプとして、従来、ＩＲＡＰ(Intra Random Access Point)、ＴＰ（Trailing Picture）、ＬＰ（Leading Picture）が定義されている。「ＩＲＡＰ」は、ランダムアクセスポイントを構成するイントラピクチャを示し、「ＢＬＡ＿Ｗ＿ＬＰ」、「ＢＬＡ＿Ｗ＿ＲＡＤＬ」、「ＢＬＡ＿Ｎ＿ＬＰ」、「ＩＤＲ＿Ｗ＿ＲＡＤＬ」、「ＩＤＲ＿Ｎ＿ＬＰ」、「ＣＲＡ＿ＮＵＴ」の各タイプが含まれる。
「ＴＰ」は、デコード順がＩＲＡＰよりも後で、かつ表示順もＩＲＡＰよりも後のピクチャを示し、「ＴＲＡＩＬ＿Ｎ」、「ＴＲＡＩＬ＿Ｒ」の各タイプが含まれる。「ＬＰ」は、デコード順がＩＲＡＰよりも後で、表示順はＩＲＡＰよりも前のピクチャを示し、「ＲＡＤＬ＿Ｎ」、「ＲＡＤＬ＿Ｒ」、「ＲＡＳＬ＿Ｎ」、「ＲＡＳＬ＿Ｒ」の各タイプが含まれる。
本来、ＩＲＡＰのピクチャとフィールドペアを構成するピクチャは、デコード順がＩＲＡＰよりも後で、かつ表示順もＩＲＡＰよりも後であるのでＴＰとなる。この場合、図５に示すように、後続するピクチャとしてはＴＰのみが可能であり、ＬＰを挿入する余地がなく、オープンＧＯＰの符号化ができなくなる。
この実施の形態では、「ＲＡＰ＿ｄｅｐｅｎｄｅｎｔ」というタイプを新たに定義する。このタイプは、ＩＲＡＰのピクチャではないが、ＩＲＡＰのピクチャに依存し、ＩＲＡＰのピクチャとフィールドペアを構成するピクチャであることを示す。これにより、ＩＲＡＰのピクチャとフィールドペアを構成するピクチャの符号化画像データにおけるスライスのＮＡＬユニットタイプは、ＲＡＰ＿ｄｅｐｅｎｄｅｎｔに設定される。この場合、図６に示すように、後続するピクチャとしてＬＰの挿入が可能となり、オープンＧＯＰの符号化が可能となる。
クローズドＧＯＰ（Closed GOP）と、オープンＧＯＰ（Open GOP）という概念について説明する。図７（ａ）は、クローズドＧＯＰを概略的に示している。クローズドＧＯＰは、デコード順で先頭のＩピクチャがＩＤＲ（Instantaneous Decoding Refresh）ピクチャであるＧＯＰである。図７（ｂ）は、オープンＧＯＰを概略的に示している。オープンＧＯＰは、デコード順で先頭のＩピクチャがｎｏｎ−ＩＤＲピクチャであるＧＯＰである。
図示のように、Ｎ番目のＧＯＰをＧＯＰ Nthとし、（Ｎ−１）番目のＧＯＰをＧＯＰ(N-1)thとする。ＧＯＰ Nthにおいて、デコード順では、ＩＤＲピクチャが最初に来て、その後にＬＰが来て、その後にＴＰが来る。また、ＧＯＰ Nthにおいて、表示順では、ＬＰが最初に来て、その後に、ＩＤＲピクチャ、あるいはｎｏｎ−ＩＤＲピクチャが来て、その後にＴＰが来る。
クローズドＧＯＰの場合、ＧＯＰ Nthの最初から復号を開始した場合、そのＧＯＰ Nth内の全てのピクチャを復号できることが保証される。つまり、最初にＩＤＲピクチャを復号し、その次にＬＰを復号する。このＬＰは、復号順でＩＤＲピクチャを越えてＧＯＰ(N-1)thの参照は禁止されている。そのため、ＬＰが存在する場合、そのＬＰはＧＯＰ Nth内でのみ参照していることから、ＧＯＰ(N-1)thの情報がなくても復号できる。同様に、ＴＰも、ＧＯＰ(N-1)thの参照が禁止されていることから、ＧＯＰ(N-1)thの情報がなくても復号できる。
一方、オープンＧＯＰの場合、ＧＯＰ Nthの最初から復号を開始した場合、表示順がｎｏｎ−ＩＤＲピクチャよりも早いＬＰはＧＯＰ(N-1)thの参照が許可されていることから、復号できないことがある。なお、ＴＰは、ＧＯＰ(N-1)thの参照が禁止されていることから、ＧＯＰ(N-1)thの情報がなくても復号できる。
このように、ＧＯＰ Nthの最初から復号を開始した場合、クローズドＧＯＰの場合はそのＧＯＰ Nth内の全てのピクチャを復号できるが、オープンＧＯＰの場合はＬＰの復号ができないことがある。一方、クローズドＧＯＰの場合、ＧＯＰ(N-1)thの参照が許可されていないことから、オープンＧＯＰの場合に比べて、同一画質を得るためには、ビットレートが高くなる。そのため、従来は、状況に応じて、クローズドＧＯＰとオープンＧＯＰとを使い分けることが行われている。
図８は、ＩＲＡＰのピクチャとフィールドペアを構成するピクチャの符号化画像データにおけるスライスのＮＡＬユニットタイプがＲＡＰ＿ｄｅｐｅｎｄｅｎｔに設定された場合における階層符号化の一例を示している。縦軸は階層を示している。横軸は表示順（ＰＯＣ：picture order of composition）を示し、左側は表示時刻が前で、右側は表示時刻が後になる。この例では、上述の図２の例と同様に、０から３までの４階層に分類され、各階層のピクチャの画像データに対して符号化が施されている。
この例において、矩形枠のそれぞれがピクチャを示し、数字は、符号化されているピクチャの順、つまりエンコード順（受信側ではデコード順）を示している。実線矢印は、符号化におけるピクチャの参照関係を示している。破線楕円で囲む２つのピクチャはフィールドペアを示し、「Ｆ」は第１フィールド（トップフィールド）を示し、「Ｓ」は第２フィールド（ボトムフィールド）を示している。
この例では、階層０の「０」のピクチャがＩＲＡＰのピクチャとして符号化される。次に、この「０」のピクチャとフィールドペアを構成する「１」のピクチャがＲＡＰ＿ｄｅｐｅｎｄｅｎｔのピクチャとして符号化される。その後に、階層１〜３の「２」〜「１５」のピクチャがＬＰとして符号化され、その後に、階層０の「１６」、「１７」のピクチャ、さらには階層１〜３の「１８」〜「３１」のピクチャがＴＰとして符号化される。
この例では、上述したように、ＩＲＡＰのピクチャである「０」のピクチャとフィールドペアを構成する「１」のピクチャがＲＡＰ＿ｄｅｐｅｎｄｅｎｔのピクチャとして符号化されることで、その後に、ＬＰの挿入が可能とされている。そのため、オープンＧＯＰの符号化が可能となる。
なお、ＩＲＡＰのピクチャとフィールドペアを構成するピクチャの符号化画像データにおけるスライスのＮＡＬユニットタイプをＲＡＰ＿ｄｅｐｅｎｄｅｎｔに設定して、後続するピクチャとしてＬＰの挿入を可能とすることは、階層符号化に限定されない。
図９は、符号化の一例を、ストリーム順および表示順のそれぞれで示している。この例では、Ｎ番目のＧＯＰをＧＯＰ Nthとし、（Ｎ−１）番目のＧＯＰをＧＯＰ(N-1)thとしている。また、実線矩形枠のそれぞれがピクチャを示し、数字は、符号化されているピクチャの順、つまりエンコード順（受信側ではデコード順）を示している。一点鎖線矩形枠で囲む２つのピクチャは、第１フィールド（トップフィールド）および第２フィールド（ボトムフィールド）のフィールドペアを示している。
この例において、例えば、ＧＯＰ Nthにおける各ピクチャは以下のように符号化され、ビデオストリームが生成される。すなわち、「０」のピクチャがＩＲＡＰのピクチャとして符号化される。次に、この「０」のピクチャとフィールドペアを構成する「１」のピクチャがＲＡＰ＿ｄｅｐｅｎｄｅｎｔのピクチャとして符号化される。その後に、表示順で「０」のピクチャの前に位置する「２」〜「５」のピクチャがＬＰとして符号化され、その後に、表示順で「１」のピクチャの後に位置する「６」〜「９」のピクチャがＴＰとして符号化される。
この例では、上述したように、「１」のピクチャがＲＡＰ＿ｄｅｐｅｎｄｅｎｔのピクチャとして符号化されることで、その後に、ＬＰの挿入が可能とされている。そのため、オープンＧＯＰの符号化が可能となる。
図１０も、符号化の一例を、ストリーム順および表示順のそれぞれで示している。この例は、ＩＲＡＰのピクチャとフィールドペアを構成するピクチャの符号化画像データにおけるスライスのＮＡＬユニットタイプを、ＲＡＰ＿ｄｅｐｅｎｄｅｎｔではなく、ＴＰに設定する場合を示している。
この例において、例えば、ＧＯＰ Nthにおける各ピクチャは以下のように符号化され、ビデオストリームが生成される。すなわち、「０」のピクチャがＩＲＡＰのピクチャとして符号化される。次に、この「０」のピクチャとフィールドペアを構成する「１」のピクチャがＴＰとして符号化される。その後に、表示順で「１」のピクチャの後に位置する「２」〜「９」のピクチャがＴＰとして符号化される。
この例では、上述したように、「１」のピクチャがＴＰとして符号化されることで、後続するピクチャはＴＰのみとなる。そのため、ＬＰの挿入が前提となるオープンＧＯＰの符号化は不可能となる。
図１に戻って、受信装置２００は、送信装置１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。受信装置２００は、このトランスポートストリームＴＳに含まれるビデオストリームから自身のデコード能力に応じて選択的に所定階層以下の階層の符号化画像データを取り出してデコードし、各ピクチャの画像データを取得して、インターレース方式の画像データを得る。
また、受信装置２００は、上述のようにデコードして得られたインターレース方式の画像データをプログレッシブ方式の画像データに変換し、さらに、フレームレートを表示能力に合わせるポスト処理を行う。このポスト処理により、例えば、デコード能力が低い場合であっても、高表示能力にあったフレームレートの画像データを得ることが可能となる。
［送信装置の構成］
図１１は、送信装置１００の構成例を示している。この送信装置１００は、エンコーダ１０２と、圧縮データバッファ（ｃｐｂ：coded picture buffer）１０３と、マルチプレクサ１０４と、送信部１０５を有している。
エンコーダ１０２は、非圧縮のインターレース方式の画像データを入力し、ＨＥＶＣ方式で階層符号化を行う。エンコーダ１０２は、インターレース方式の画像データを構成する各ピクチャの画像データを複数の階層に分類し、各階層のピクチャの画像データの符号化データを持つビデオストリームを生成する。この場合、エンコーダ１０２は、参照するピクチャ（被参照ピクチャ）が自己階層および／または自己階層よりも低い階層に所属するように符号化する（図２参照）。
この際、エンコーダ１０２は、オープンＧＯＰの符号化が可能となるように、各ピクチャを符号化する。すなわち、エンコーダ１０２は、ＩＲＡＰのピクチャとフィールドペアを構成するピクチャの符号化画像データにおけるスライスのＮＡＬユニットタイプを、ＩＲＡＰのピクチャに依存し、ＩＲＡＰのピクチャとフィールドペアを構成するピクチャであることを示すユニークなタイプに設定する。この実施の形態において、このユニークなタイプは、上述したように、新たに定義する「ＲＡＰ＿ｄｅｐｅｎｄｅｎｔ」である（図８、図９参照）。
図１２は、エンコーダ１０２の構成例を示している。このエンコーダ１０２は、パラメータセット/ＳＥＩエンコード部１２１と、スライスエンコード部１２２と、ＮＡＬパケット化部１２３と、テンポラルＩＤ発生部１２４を有している。
パラメータセット/ＳＥＩエンコード部１２１は、符号化するストリーム数に応じて、各階層のピクチャのＶＰＳ、ＳＰＳ、ＰＰＳなどのパラメータセットとＳＥＩを生成する。スライスエンコード部１２２は、各階層のピクチャの画像データをエンコードしてスライスデータを得る。
ＮＡＬパケット化部１２３は、パラメータセット/ＳＥＩエンコード部１２１で生成されたパラメータセットおよびＳＥＩと、スライスエンコード部１２２で生成されるスライスデータに基づき、各階層のピクチャの符号化画像データを生成し、ビデオストリーム（符号化ストリーム）を得る。
テンポラルＩＤ発生部１２４は、符号化すべきピクチャ毎に、そのピクチャの階層情報に基づいてtemporal_idを発生し、ＮＡＬパケット化部１２３に送る。このＮＡＬパケット化部１２３には、符号化すべきピクチャ毎に、ＮＡＬユニットタイプの情報が送られる。ＮＡＬパケット化部１２３は、各階層のピクチャの符号化画像データを構成するＮＡＬユニットのヘッダに、そのピクチャに対応したtemporal_idを挿入し、さらに、ＮＡＬユニットタイプを設定する（図３参照）。
図１１に戻って、圧縮データバッファ(ｃｐｂ)１０３は、エンコーダ１０２で得られた、各階層のピクチャの符号化データを含むビデオストリームを、一時的に蓄積する。マルチプレクサ１０４は、圧縮データバッファ１０３に蓄積されているビデオストリームを読み出し、ＰＥＳパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。
このトランスポートストリームＴＳには、各階層のピクチャの符号化画像データを持つ単一のビデオストリーム、あるいは複数の階層が２以上の所定数の階層組に分割され、各階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリームが含まれる。マルチプレクサ１０４は、トランスポートストリームＴＳに、階層情報、ストリーム構成情報を挿入する。
トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）の一つとして、ＰＭＴ（Program Map Table）が含まれている。このＰＭＴには、各ビデオストリームに関連した情報を持つビデオエレメンタリ・ループ（video ES1 loop）が存在する。このビデオエレメンタリ・ループには、各ビデオストリームに対応して、ストリームタイプ、パケット識別子（ＰＩＤ）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。
送信部１０５は、トランスポートストリームＴＳを、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調し、ＲＦ変調信号を送信アンテナから送信する。
図１１に示す送信装置１００の動作を簡単に説明する。エンコーダ１０２には、非圧縮のインターレース方式の画像データが入力される。エンコーダ１０２では、この画像データに対して、ＨＥＶＣ方式で階層符号化が行われる。すなわち、エンコーダ１０２では、この画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化され、各階層のピクチャの符号化画像データを持つビデオストリームが生成される。この際、参照するピクチャが、自己階層および／または自己階層よりも下位の階層に所属するように、符号化される。
また、この際、オープンＧＯＰの符号化が可能となるように、各ピクチャが符号化される。すなわち、ＩＲＡＰのピクチャとフィールドペアを構成するピクチャの符号化画像データにおけるスライスのＮＡＬユニットタイプが、ＩＲＡＰのピクチャに依存し、ＩＲＡＰのピクチャとフィールドペアを構成するピクチャであることを示すユニークなタイプである「ＲＡＰ＿ｄｅｐｅｎｄｅｎｔ」に設定される。
エンコーダ１０２で生成された、各階層のピクチャの符号化データを含むビデオストリームは、圧縮データバッファ（ｃｐｂ）１０３に供給され、一時的に蓄積される。マルチプレクサ１０４では、圧縮データバッファ１０３に蓄積されているビデオストリームが読み出され、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。
マルチプレクサ１０４で得られるトランスポートストリームＴＳは、送信部１０５に送られる。送信部１０５では、このトランスポートストリームＴＳが、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調され、ＲＦ変調信号が送信アンテナから送信される。
［受信装置の構成］
図１３は、受信装置２００の構成例を示している。この受信装置２００は、受信部２０２と、デマルチプレクサ２０３と、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４を有している。また、この受信装置２００は、デコーダ２０５と、非圧縮データバッファ（ｄｐｂ：decoded picture buffer）２０６と、ポスト処理部２０７を有している。
受信部２０２は、受信アンテナで受信されたＲＦ変調信号を復調し、トランスポートストリームＴＳを取得する。デマルチプレクサ２０３は、トランスポートストリームＴＳに対してデパケット化処理を行ってビデオストリーム（符号化ストリーム）を取り出し、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４に送る。
圧縮データバッファ(ｃｐｂ)２０４は、デマルチプレクサ２０３で取り出されるビデオストリームを、一時的に蓄積する。デコーダ２０５は、圧縮データバッファ２０４に蓄積されているビデオストリームから、デコードすべき階層として指定された階層のピクチャの符号化画像データを取り出す。そして、デコーダ２０５は、取り出された各ピクチャの符号化画像データを、それぞれ、そのピクチャのデコードタイミングでデコードし、非圧縮データバッファ（ｄｐｂ）２０６に送る。デコーダ２０５は、各ピクチャの符号化画像データをデコードする際に、必要に応じて、非圧縮データバッファ２０６から被参照ピクチャの画像データを読み出して利用する。
図１４は、デコーダ２０５の構成例を示している。このデコーダ２０５は、テンポラルＩＤ解析部２５１と、対象階層選択部２５２と、デコード部２５３を有している。テンポラルＩＤ解析部２５１は、圧縮データバッファ２０４に蓄積されているビデオストリーム（符号化ストリーム）を読み出し、各ピクチャの符号化画像データのＮＡＬユニットヘッダに挿入されているtemporal_idを解析する。
対象階層選択部２５２は、圧縮データバッファ２０４から読み出されたビデオストリームから、テンポラルＩＤ解析部２５１の解析結果に基づいて、デコードすべき階層として指定された階層のピクチャの符号化画像データを取り出し、デコード部２５３に送る。デコード部２５３は、対象階層選択部２５２で取得された各ピクチャの符号化画像データを、順次デコードタイミングでデコードし、非圧縮データバッファ（ｄｐｂ）２０６に送る。
この場合、デコード部２５３は、ＶＰＳ、ＳＰＳの解析を行って、例えば、サブレイヤごとのビットレートのレベル指定値「sublayer_level_idc」を把握し、デコード能力内でデコードし得るものかどうかを確認する。また、この場合、デコード部２５３は、ＳＥＩの解析を行って、例えば、「initial_cpb_removal_time」、「cpb_removal_delay」を把握し、デコードタイミングが適切か確認する。あるいは、デマルチプレクサ２０３で得られたＤＴＳ（デコードタイムスタンプ）から得られるデコードタイミングでもってデコード開始する。また、デマルチプレクサ２０３で得られたＰＴＳ（表示タイムスタンプ）から得られる表示タイミングでもって表示を行うようにする。
デコード部２５３は、スライス（Slice）のデコードを行う際に、スライスヘッダ（Slice header）から、時間方向の予測先を表す情報を取得し、時間方向の予測を行う。また、デコード部２５３は、スライス（Slice）のデコードを行う際に、ＮＡＬユニットヘッダのＮＡＬユニットタイプに記載されるＩＲＡＰ、ＲＡＰ＿ｄｅｐｅｎｄｅｎｔ、ＬＰ、ＴＰのタイプ別にデコード後の読み出し順を管理する。
図１３に戻って、非圧縮データバッファ（ｄｐｂ）２０６は、デコーダ２０５でデコードされた各ピクチャの画像データを、一時的に蓄積する。ポスト処理部２０７は、非圧縮データバッファ（ｄｐｂ）２０６から表示タイミングで順次読み出されたインターレース方式の画像データをプログレッシブ方式の画像データに変換する。さらに、ポスト処理部２０７は、プログレッシブ方式に変換された各ピクチャの画像データに対し、そのフレームレートを、表示能力に合わせる処理を行う。
例えば、デコード後の各ピクチャの画像データのフレームレートが１２０ｆｐｓであって、表示能力が１２０ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データをそのままディスプレイに送る。また、例えば、デコード後の各ピクチャの画像データのフレームレートが１２０ｆｐｓであって、表示能力が６０ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データに対して時間方向解像度が１/２倍となるようにサブサンプル処理を施し、６０ｆｐｓの画像データとしてディスプレイに送る。
また、例えば、デコード後の各ピクチャの画像データがインターレース・フィールドレート６０ｆｐｓであって、表示能力がプログレッシブ・フレームで１２０ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データに対してＩＰ変換を行ってプログレッシブフレームレートで６０ｆｐｓとし、さらにその６０ｆｐｓのピクチャに対して時間方向解像度が２倍となるように補間処理を施し、１２０ｆｐｓの画像データとしてディスプレイに送る。また、例えば、デコード後の各ピクチャの画像データのフレームレートが６０ｆｐｓであって、表示能力が６０ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データをそのままディスプレイに送る。
図１５は、ポスト処理部２０７の構成例を示している。この例は、上述したようにデコード後の各ピクチャの画像データのフレームレートが１２０ｆｐｓあるいは６０ｆｐｓであって、表示能力が１２０ｆｐｓあるいは６０ｆｐｓである場合に対処可能とした例である。
ポスト処理部２０７は、Ｉ/Ｐ変換部２７１と、補間部２７２と、サブサンプル部２７３と、スイッチ部２７４を有している。Ｉ/Ｐ変換部２７１は、非圧縮データバッファ２０６からのデコード後の各ピクチャの画像データ（インターレース方式の画像データ）を、プログレッシブ方式の画像データに変換する。
補間部２７２は、Ｉ/Ｐ変換部２７１で得られる画像データに対して時間方向に補間処理を行って、そのフレームレートを２倍にする。サブサンプル部２７３は、Ｉ/Ｐ変換部２７１で得られる画像データに対して時間方向にサブサンプル処理を行って、そのフレームレートを１/２倍にする。スイッチ部２７４は、Ｉ/Ｐ変換部２７１、補間部２７２あるいはサブサンプル部２７３のいずれかの出力画像データを、選択情報に基づいて、選択的に出力する。
選択情報は、例えば、図示しない制御部が、表示能力を参照して自動的に、あるいは、ユーザ操作に応じて発生する。これにより、非圧縮データバッファ（ｄｐｂ）２０６から表示タイミングで順次読み出された各ピクチャの画像データはプログレッシブ方式に変換されると共に、そのフレームレートは表示能力に合ったものとされる。
図１５に示す受信装置２００の動作を簡単に説明する。受信部２０２では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。このトランスポートストリームＴＳは、デマルチプレクサ２０３に送られる。デマルチプレクサ２０３では、トランスポートストリームＴＳに対してデパケット化処理が行われてビデオストリーム（符号化ストリーム）が取り出される。このビデオストリームは、圧縮データバッファ（ｃｐｂ）２０４に送られ、一時的に蓄積される。
デコーダ２０５では、圧縮データバッファ２０４に蓄積されているビデオストリームから、デコードすべき階層として指定された階層のピクチャの符号化画像データが取り出される。そして、デコーダ２０５では、取り出された各ピクチャの符号化画像データが、それぞれ、そのピクチャのデコードタイミングでデコードされ、非圧縮データバッファ（ｄｐｂ）２０６に送られ、一時的に蓄積される。この場合、各ピクチャの符号化画像データがデコードされる際に、必要に応じて、非圧縮データバッファ２０６から被参照ピクチャの画像データが読み出されて利用される。
非圧縮データバッファ（ｄｐｂ）２０６から表示タイミングで順次読み出された各ピクチャの画像データは、ポスト処理部２０７に送られる。ポスト処理部２０７では、インターレース方式の画像データがプログレッシブ方式の画像データに変換され、さらに、プログレッシブ方式に変換された各ピクチャの画像データに対し、そのフレームレートを、表示能力に合わせるための補間処理あるいはサブサンプル処理が行われる。このポスト処理部２０７で処理された各ピクチャの画像データは、ディスプレイに供給され、その各ピクチャの画像データによる動画像の表示が行われる。
以上説明したように、図１に示す送受信システム１０においては、送信側において、インターレース方式の画像データをＨＥＶＣ方式で符号化する際に、ランダムアクセスポイントを構成するイントラピクチャとフィールドペアを構成するピクチャの符号化画像データにおけるスライスのＮＡＬユニットタイプを、このイントラピクチャに依存し、このイントラピクチャとフィールドペアを構成するピクチャであることを示すユニークなタイプ（「ＲＡＰ＿ｄｅｐｅｎｄｅｎｔ」に）に設定するものである。したがって、例えば、後続するピクチャとしてＬＰの挿入が可能となり、オープンＧＯＰの符号化が可能となる。
＜２．変形例＞
なお、上述実施の形態においては、送信装置１００と受信装置２００からなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は登録商標である。
また、上述実施の形態においては、インターレース画像の場合について説明したが、プログレッシブ画像の場合にも、ＲＡＰ＿ｄｅｐｅｎｄｅｎｔのタイプにより、デコード順と表示順とが共にＩＲＡＰに続く順番となる配置が許容されることになり、ＬＰ，ＲＰの構成が柔軟なストリーム構成が可能となる。
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。
また、本技術は、以下のような構成を取ることもできる。
（１）インターレース方式の画像データを構成する各ピクチャの画像データをＮＡＬユニット構造で符号化し、各ピクチャの符号化画像データを持つビデオストリームを生成する画像符号化部を備え、
上記画像符号化部は、
ランダムアクセスポイントを構成するイントラピクチャとフィールドペアを構成するピクチャの符号化画像データにおけるスライスのＮＡＬユニットタイプを、該イントラピクチャに依存し、該イントラピクチャとフィールドペアを構成するピクチャであることを示すユニークなタイプに設定する
符号化装置。
（２）上記画像符号化部は、
上記インターレース方式の画像データを構成する各ピクチャの画像データを複数階層に分類し、該分類された各階層のピクチャの画像データを符号化し、該符号化された各階層のピクチャの画像データを持つビデオストリームを生成する
前記（１）に記載の符号化装置。
（３）上記画像符号化部は、
上記インターレース方式の画像データをＨＥＶＣ方式で符号化する
前記（１）または（２）に記載の符号化装置。
（４）画像符号化部で、インターレース方式の画像データを構成する各ピクチャの画像データをＮＡＬユニット構造で符号化し、各ピクチャの符号化画像データを持つビデオストリームを生成する画像符号化ステップを有し、
上記画像符号化ステップでは、
ランダムアクセスポイントを構成するイントラピクチャとフィールドペアを構成するピクチャの符号化画像データにおけるスライスのＮＡＬユニットタイプを、該イントラピクチャに依存し、該イントラピクチャとフィールドペアを構成するピクチャであることを示すユニークなタイプに設定する
符号化方法。
（５）インターレース方式の画像データを構成する各ピクチャの画像データをＮＡＬユニット構造で符号化し、各ピクチャの符号化画像データを持つビデオストリームを生成する画像符号化部と、
上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、
ランダムアクセスポイントを構成するイントラピクチャとフィールドペアを構成するピクチャの符号化画像データにおけるスライスのＮＡＬユニットタイプを、該イントラピクチャに依存し、該イントラピクチャとフィールドペアを構成するピクチャであることを示すユニークなタイプに設定する
送信装置。
（６）インターレース方式の画像データを構成する各ピクチャの画像データがＮＡＬユニット構造で符号化されて得られた各ピクチャの符号化画像データを持つビデオストリームを復号化して上記インターレース方式の画像データを得る画像復号化部を備え、
上記ビデオストリームにおいて、ランダムアクセスポイントを構成するイントラピクチャとフィールドペアを構成するピクチャの符号化画像データにおけるスライスのＮＡＬユニットタイプは、該イントラピクチャに依存し、該イントラピクチャとフィールドペアを構成するピクチャであることを示すユニークなタイプに設定されている
復号化装置。
（７）上記ビデオストリームは、上記インターレース方式の画像データを構成する各ピクチャの画像データが複数階層に分類された各階層のピクチャの画像データが符号化されて得られた各階層のピクチャの画像データを持ち、
上記画像復号化部は、
階層指定情報で指定された階層のピクチャの符号化画像データを復号化し、所定階層以下の階層のピクチャの画像データを得る
前記（６）に記載の復号化装置。
（８）上記画像復号化部で得られた上記インターレース方式の画像データをプログレッシブ方式の画像データに変換する方式変換部と、
上記方式変換部で得られた各ピクチャの画像データのフレームレートを表示能力に合わせるポスト処理部をさらに備える
前記（６）または（７）に記載の復号化装置。
（９）画像復号化部により、インターレース方式の画像データを構成する各ピクチャの画像データがＮＡＬユニット構造で符号化されて得られた各ピクチャの符号化画像データを持つビデオストリームを復号化して上記インターレース方式の画像データを得る画像復号化ステップを有し、
上記ビデオストリームにおいて、ランダムアクセスポイントを構成するイントラピクチャとフィールドペアを構成するピクチャの符号化画像データにおけるスライスのＮＡＬユニットタイプは、該イントラピクチャに依存し、該イントラピクチャとフィールドペアを構成するピクチャであることを示すユニークなタイプに設定されている
復号化方法。
（１０）インターレース方式の画像データを構成する各ピクチャの画像データがＮＡＬユニット構造で符号化されて得られた各ピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記受信されたコンテナに含まれるビデオストリームを復号化して上記インターレース方式の画像データを得る画像復号化部を備え、
上記ビデオストリームにおいて、ランダムアクセスポイントを構成するイントラピクチャとフィールドペアを構成するピクチャの符号化画像データにおけるスライスのＮＡＬユニットタイプは、該イントラピクチャに依存し、該イントラピクチャとフィールドペアを構成するピクチャであることを示すユニークなタイプに設定されている
受信装置。
本技術の主な特徴は、インターレース方式の画像データをＮＡＬユニット型で符号化する際に、ランダムアクセスポイントを構成するイントラピクチャとフィールドペアを構成するピクチャの符号化画像データにおけるスライスのＮＡＬユニットタイプを、このイントラピクチャに依存し、このイントラピクチャとフィールドペアを構成するピクチャであることを示すユニークなタイプに設定することで、後続するピクチャとしてＬＰの挿入を可能とし、オープンＧＯＰの符号化を可能にしたことである（図８、図９参照）。
１０・・・送受信システム
１００・・・送信装置
１０２・・・エンコーダ
１０３・・・圧縮データバッファ（ｃｐｂ）
１０４・・・マルチプレクサ
１０５・・・送信部
１２１・・・パラメータセット/ＳＥＩエンコード部
１２２・・・スライスエンコード部
１２３・・・ＮＡＬパケット化部
１２４・・・テンポラルＩＤ発生部
２００・・・受信装置
２０２・・・受信部
２０３・・・デマルチプレクサ
２０４・・・圧縮データバッファ（ｃｐｂ）
２０５・・・デコーダ
２０６・・・非圧縮データバッファ（ｄｐｂ）
２０７・・・ポスト処理部
２５１・・・テンポラルＩＤ解析部
２５２・・・対象階層選択部
２５３・・・デコード部
２７１・・・Ｉ/Ｐ変換部
２７２・・・補間部
２７３・・・サブサンプル部
２７４・・・スイッチ部

Claims (10)

  1. インターレース方式の画像データを構成する各ピクチャの画像データをＮＡＬユニット構造で符号化し、各ピクチャの符号化画像データを持つビデオストリームを生成する画像符号化部を備え、
    上記画像符号化部は、
    ランダムアクセスポイントを構成するイントラピクチャとフィールドペアを構成するピクチャの符号化画像データにおけるスライスのＮＡＬユニットタイプを、該イントラピクチャに依存し、該イントラピクチャとフィールドペアを構成するピクチャであることを示すユニークなタイプに設定する
    符号化装置。
  2. 上記画像符号化部は、
    上記インターレース方式の画像データを構成する各ピクチャの画像データを複数階層に分類し、該分類された各階層のピクチャの画像データを符号化し、該符号化された各階層のピクチャの画像データを持つビデオストリームを生成する
    請求項１に記載の符号化装置。
  3. 上記画像符号化部は、
    上記インターレース方式の画像データをＨＥＶＣ方式で符号化する
    請求項１に記載の符号化装置。
  4. 画像符号化部で、インターレース方式の画像データを構成する各ピクチャの画像データをＮＡＬユニット構造で符号化し、各ピクチャの符号化画像データを持つビデオストリームを生成する画像符号化ステップを有し、
    上記画像符号化ステップでは、
    ランダムアクセスポイントを構成するイントラピクチャとフィールドペアを構成するピクチャの符号化画像データにおけるスライスのＮＡＬユニットタイプを、該イントラピクチャに依存し、該イントラピクチャとフィールドペアを構成するピクチャであることを示すユニークなタイプに設定する
    符号化方法。
  5. インターレース方式の画像データを構成する各ピクチャの画像データをＮＡＬユニット構造で符号化し、各ピクチャの符号化画像データを持つビデオストリームを生成する画像符号化部と、
    上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
    上記画像符号化部は、
    ランダムアクセスポイントを構成するイントラピクチャとフィールドペアを構成するピクチャの符号化画像データにおけるスライスのＮＡＬユニットタイプを、該イントラピクチャに依存し、該イントラピクチャとフィールドペアを構成するピクチャであることを示すユニークなタイプに設定する
    送信装置。
  6. インターレース方式の画像データを構成する各ピクチャの画像データがＮＡＬユニット構造で符号化されて得られた各ピクチャの符号化画像データを持つビデオストリームを復号化して上記インターレース方式の画像データを得る画像復号化部を備え、
    上記ビデオストリームにおいて、ランダムアクセスポイントを構成するイントラピクチャとフィールドペアを構成するピクチャの符号化画像データにおけるスライスのＮＡＬユニットタイプは、該イントラピクチャに依存し、該イントラピクチャとフィールドペアを構成するピクチャであることを示すユニークなタイプに設定されている
    復号化装置。
  7. 上記ビデオストリームは、上記インターレース方式の画像データを構成する各ピクチャの画像データが複数階層に分類された各階層のピクチャの画像データが符号化されて得られた各階層のピクチャの画像データを持ち、
    上記画像復号化部は、
    階層指定情報で指定された階層のピクチャの符号化画像データを復号化し、所定階層以下の階層のピクチャの画像データを得る
    請求項６に記載の復号化装置。
  8. 上記画像復号化部で得られた上記インターレース方式の画像データをプログレッシブ方式の画像データに変換する方式変換部と、
    上記方式変換部で得られた各ピクチャの画像データのフレームレートを表示能力に合わせるポスト処理部をさらに備える
    請求項６に記載の復号化装置。
  9. 画像復号化部により、インターレース方式の画像データを構成する各ピクチャの画像データがＮＡＬユニット構造で符号化されて得られた各ピクチャの符号化画像データを持つビデオストリームを復号化して上記インターレース方式の画像データを得る画像復号化ステップを有し、
    上記ビデオストリームにおいて、ランダムアクセスポイントを構成するイントラピクチャとフィールドペアを構成するピクチャの符号化画像データにおけるスライスのＮＡＬユニットタイプは、該イントラピクチャに依存し、該イントラピクチャとフィールドペアを構成するピクチャであることを示すユニークなタイプに設定されている
    復号化方法。
  10. インターレース方式の画像データを構成する各ピクチャの画像データがＮＡＬユニット構造で符号化されて得られた各ピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部と、
    上記受信されたコンテナに含まれるビデオストリームを復号化して上記インターレース方式の画像データを得る画像復号化部を備え、
    上記ビデオストリームにおいて、ランダムアクセスポイントを構成するイントラピクチャとフィールドペアを構成するピクチャの符号化画像データにおけるスライスのＮＡＬユニットタイプは、該イントラピクチャに依存し、該イントラピクチャとフィールドペアを構成するピクチャであることを示すユニークなタイプに設定されている
    受信装置。
JP2015532814A 2013-08-22 2014-08-08 符号化装置、符号化方法、送信装置、復号化装置、復号化方法および受信装置 Active JP6344392B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013172734 2013-08-22
JP2013172734 2013-08-22
PCT/JP2014/071105 WO2015025747A1 (ja) 2013-08-22 2014-08-08 符号化装置、符号化方法、送信装置、復号化装置、復号化方法および受信装置

Publications (2)

Publication Number Publication Date
JPWO2015025747A1 true JPWO2015025747A1 (ja) 2017-03-02
JP6344392B2 JP6344392B2 (ja) 2018-06-20

Family

ID=52483525

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015532814A Active JP6344392B2 (ja) 2013-08-22 2014-08-08 符号化装置、符号化方法、送信装置、復号化装置、復号化方法および受信装置

Country Status (7)

Country Link
US (1) US10187646B2 (ja)
EP (1) EP3038365B1 (ja)
JP (1) JP6344392B2 (ja)
CN (1) CN105340277B (ja)
BR (1) BR112016003135B1 (ja)
RU (1) RU2678149C2 (ja)
WO (1) WO2015025747A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106464886B (zh) * 2014-06-18 2021-03-30 瑞典爱立信有限公司 视频中的画面的鲁棒编码和解码
US10542288B2 (en) * 2014-06-18 2020-01-21 Telefonaktiebolaget Lm Ericsson (Publ) Random access in a video bitstream
US10484711B2 (en) * 2014-06-18 2019-11-19 Telefonaktiebolaget Lm Ericsson (Publ) Dependent random access point pictures
WO2017051493A1 (ja) * 2015-09-25 2017-03-30 日本電気株式会社 映像符号化装置及び映像復号装置
US10257528B2 (en) * 2015-10-08 2019-04-09 Electronics And Telecommunications Research Institute Method and apparatus for adaptive encoding and decoding based on image quality
WO2018150934A1 (ja) * 2017-02-20 2018-08-23 ソニー株式会社 画像処理装置および方法
KR20210141710A (ko) * 2019-04-03 2021-11-23 후아웨이 테크놀러지 컴퍼니 리미티드 인코더, 디코더 및 대응하는 방법들
EP3975566A4 (en) * 2019-05-20 2022-08-03 Panasonic Intellectual Property Corporation of America ENCODING DEVICE, DECODING DEVICE, ENCODING METHOD, AND DECODING METHOD
CN111160123B (zh) * 2019-12-11 2023-06-09 桂林长海发展有限责任公司 一种飞机目标识别方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05111012A (ja) * 1991-10-17 1993-04-30 Toshiba Corp 動画像符号化装置
WO2012172811A1 (ja) * 2011-06-17 2012-12-20 パナソニック株式会社 動画像復号化装置および動画像復号化方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5317397A (en) 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
AU2003251964A1 (en) * 2002-07-16 2004-02-02 Nokia Corporation A method for random access and gradual picture refresh in video coding
JP5068947B2 (ja) * 2003-02-18 2012-11-07 ノキア コーポレイション ピクチャの符号化方法
EP1743338B1 (en) * 2004-04-28 2009-09-16 Panasonic Corporation Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus
WO2006075635A1 (ja) * 2005-01-17 2006-07-20 Matsushita Electric Industrial Co., Ltd. 画像復号化方法
KR20060122663A (ko) * 2005-05-26 2006-11-30 엘지전자 주식회사 영상신호의 엔코딩 및 디코딩에서의 픽처 정보를 전송하고이를 이용하는 방법
EP1809042A1 (en) * 2006-01-13 2007-07-18 THOMSON Licensing Method and apparatus for coding interlaced video data
WO2010123203A2 (ko) * 2009-04-22 2010-10-28 엘지전자 주식회사 다시점 영상의 참조 픽쳐 리스트 변경 방법
US9596447B2 (en) * 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05111012A (ja) * 1991-10-17 1993-04-30 Toshiba Corp 動画像符号化装置
WO2012172811A1 (ja) * 2011-06-17 2012-12-20 パナソニック株式会社 動画像復号化装置および動画像復号化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAZUO SUGIMOTO 5-1-1 OFUNA, KAMAKURA KANAGAWA 247-8501 JAPAN: "HEVC performance evaluation on interlaced video sequences[online]", JCTVC-K JCTVC-K0331, JPN6018014197, 19 October 2012 (2012-10-19) *

Also Published As

Publication number Publication date
WO2015025747A1 (ja) 2015-02-26
RU2678149C2 (ru) 2019-01-23
RU2016104975A3 (ja) 2018-06-22
EP3038365B1 (en) 2021-01-13
US20160112709A1 (en) 2016-04-21
CN105340277A (zh) 2016-02-17
US10187646B2 (en) 2019-01-22
BR112016003135A2 (ja) 2017-08-01
EP3038365A1 (en) 2016-06-29
CN105340277B (zh) 2019-02-15
EP3038365A4 (en) 2017-03-15
RU2016104975A (ru) 2017-08-18
BR112016003135B1 (pt) 2023-03-07
JP6344392B2 (ja) 2018-06-20

Similar Documents

Publication Publication Date Title
JP6344392B2 (ja) 符号化装置、符号化方法、送信装置、復号化装置、復号化方法および受信装置
US11601696B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
US11140417B2 (en) Apparatus, a method and a computer program for video coding and decoding
US11368744B2 (en) Device and associated method for using layer description and decoding syntax in multi-layer video
TWI692242B (zh) 用於高效率視訊寫碼延伸之承載之資料串流之假想參考解碼器描述符及緩衝器模型之設計
WO2015076277A1 (ja) 送信装置、送信方法、受信装置および受信方法
KR102182166B1 (ko) 트릭 플레이 서비스 제공을 위한 방송 신호 송수신 방법 및 장치
SG191748A1 (en) Indicating bit stream subsets
JP6617845B2 (ja) 受信装置、受信方法、送信装置および送信方法
JP7067653B2 (ja) 復号装置
JP5886341B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP5976189B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6614281B2 (ja) 受信装置および受信方法
JP6350638B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP7306527B2 (ja) 復号装置
JP5976188B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6052354B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP2015226305A (ja) 符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180424

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180507

R151 Written notification of patent or utility model registration

Ref document number: 6344392

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151