JP7052732B2 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
JP7052732B2
JP7052732B2 JP2018559027A JP2018559027A JP7052732B2 JP 7052732 B2 JP7052732 B2 JP 7052732B2 JP 2018559027 A JP2018559027 A JP 2018559027A JP 2018559027 A JP2018559027 A JP 2018559027A JP 7052732 B2 JP7052732 B2 JP 7052732B2
Authority
JP
Japan
Prior art keywords
metadata
tile
slice
bitstream
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018559027A
Other languages
English (en)
Other versions
JPWO2018123608A1 (ja
Inventor
央二 中神
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018123608A1 publication Critical patent/JPWO2018123608A1/ja
Application granted granted Critical
Publication of JP7052732B2 publication Critical patent/JP7052732B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本開示は、画像処理装置および方法に関し、特に、復号の負荷の増大を抑制することができるようにした画像処理装置および方法に関する。
従来、HEVC（High Efficiency Video Coding）において、タイル（Tile）構造を利用して、独立に復号が可能な部分領域をタイルセットとして設定し、MCTS SEI（Motion constrained tile set Supplemental Enhancement Information）により管理することが考えられた（例えば、非特許文献１および非特許文献２参照）。
独立に復号が可能であるのだから、動画像の符号化データから一部のタイルセットの符号化データを抽出すれば、その一部のタイルセットの符号化データを復号して、その一部のタイルセットの画像を得ることができる。つまり、このように抽出した一部のタイルセットの符号化データを復号側に提供するようにすれば、復号側に提供する符号化データの符号量を低減させることができる。
R. Skupin, "Motion-Constrained Tile Sets Extraction Information SEI Messages Draft 1", JCTVC-Y1008, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 25th Meeting: Chengdu, CN, 14-21 October 2016 R. Skupin, Y. Sanchez, K. Gruneberg, C. Hellge, T. Schierl, "On MCTS extraction", JCTVC-Y0031, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 25th Meeting: Chengdu, CN, 14-21 October 2016
しかしながら、単に一部のタイルセットの符号化データを抽出するだけでは、メタデータは抽出前のままであり、抽出後の一部のタイルセットの符号化データに適切に対応しなくなるおそれがあった。そのため、抽出後の一部のタイルセットの符号化データの復号の負荷が増大してしまうおそれがあった。
本開示は、このような状況に鑑みてなされたものであり、復号の負荷の増大を抑制することができるようにするものである。
本技術の一側面の画像処理装置は、動画像の符号化データである第１のビットストリームから、独立に復号が可能な複数のタイルを表すタイルセットの形状を矩形に限定する付加情報を含むメタデータを抽出するメタデータ抽出部と、前記付加情報によって矩形状に限定される前記タイルセットの構成に応じて、前記抽出したメタデータを更新するメタデータ更新部と、前記更新されたメタデータに基づいて、前記第１のビットストリームから、前記矩形状に限定された前記タイルセットを表す第２のビットストリームを抽出するビットストリーム生成部とを備える画像処理装置である。
前記メタデータ更新部は、前記第２のビットストリームに対応するよう、前記タイルセットに含まれる各スライスに対応する、スライス単位のメタデータを更新することができる。
前記メタデータ更新部は、前記第２のビットストリームに対応するよう、前記スライス単位のメタデータに含まれる、前記スライスのアドレスに関する情報を更新することができる。
前記メタデータ更新部は、前記スライス内の前記矩形状に限定されるタイルセットの構成に応じて、当該スライスに含まれる各タイルの先頭から次のタイルまでのオフセットに関する情報を更新することができる。
前記メタデータ更新部は、前記第２のビットストリームの生成に関するピクチャ内のスライス構成の変更に応じて、前記スライス単位のメタデータの追加または削除を行うことができる。
前記メタデータ更新部は、ピクチャ単位のメタデータを前記第２のビットストリームに対応するよう更新することができる。
前記メタデータ更新部は、前記付加情報による矩形状への限定に伴う前記タイルセット内のタイル構成の変更に応じて、前記ピクチャ単位のメタデータに含まれる、前記タイルセット内のタイル構成に関する情報を前記第２のビットストリームに対応するよう更新することができる。
前記メタデータ更新部は、前記第１のビットストリームのシーケンスレベル以上の上位メタデータを前記第２のビットストリームに対応するよう更新することができる。
前記メタデータ更新部は、矩形状に限定された前記タイルセットのサイズに応じて、前記上位メタデータに含まれるピクチャサイズに関する情報を更新することができる。
前記メタデータ更新部は、前記タイルセットに関する、前記第２のビットストリームの生成に伴い不要となった前記第１のビットストリームに含まれるメタデータを削除することができる。
前記メタデータ抽出部は、シーケンスレベル以上の上位メタデータを抽出することができる。
前記メタデータ抽出部は、ピクチャ単位のメタデータを抽出することができる。
本技術の一側面の画像処理方法は、動画像の符号化データである第１のビットストリームから、独立に復号が可能な複数のタイルを表すタイルセットの形状を矩形に限定する付加情報を含むメタデータを抽出し、前記付加情報によって矩形状に限定される前記タイルセットの構成に応じて、前記抽出したメタデータを更新し、前記更新されたメタデータに基づいて、前記第１のビットストリームから、前記矩形状に限定された前記タイルセットを表す第２のビットストリームを抽出する画像処理方法である。
本技術の一側面の画像処理装置および方法においては、動画像の符号化データである第１のビットストリームから、独立に復号が可能な複数のタイルを表すタイルセットの形状を矩形に限定する付加情報を含むメタデータが抽出され、その付加情報によって矩形状に限定されるタイルセットの構成に応じて、その動画像の符号化データから抽出されたメタデータが更新され、その更新されたメタデータに基づいて、第１のビットストリームから、矩形状に限定されたタイルセットを表す第２のビットストリームが抽出される。
本開示によれば、画像を処理することができる。特に、復号の負荷の増大を抑制することができる。
タイルセット抽出の様子の例を説明する図である。 タイルセット抽出の様子の例を説明する図である。 タイルセット抽出に伴うデータ更新の様子の例を説明する図である。 データ変換装置の主な構成例を示すブロック図である。 変換処理の流れの例を説明するフローチャートである。 シーケンスパラメータセットの更新するシンタックスの例を説明する図である。 ピクチャパラメータセットの更新するシンタックスの例を説明する図である。 メタデータ更新処理の流れの例を説明するフローチャートである。 スライスヘッダの更新するシンタックスの例を説明する図である。 タイルセット抽出のパタン例を説明する図である。 タイルセット抽出のパタン例を説明する図である。 ピクチャのタイル構成例を示す図である。 抽出後のタイル構成例を示す図である。 更新するパラメータの例を説明する図である。 抽出後のタイル構成例を示す図である。 更新するパラメータの例を説明する図である。 抽出後のタイル構成例を示す図である。 抽出後のタイル構成例を示す図である。 更新するパラメータの例を説明する図である。 抽出後のタイル構成例を示す図である。 更新するパラメータの例を説明する図である。 抽出するタイルセットの制約の例を説明する図である。 MCTS SEIのシンタックスの例を示す図である。 制御処理の流れの例を説明するフローチャートである。 タイルセットの矩形化の様子の例を説明する図である。 制御処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。 ネットワークシステムの概略的な構成の一例を示すブロック図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．MCTS SEIと部分領域の抽出
２．第１の実施の形態（データ抽出に伴うメタデータ変換）
３．第２の実施の形態（タイルセットの制約）
４．その他
＜１．MCTS SEIと部分領域の抽出＞
従来、例えば、非特許文献１や非特許文献２に記載のように、HEVC（High Efficiency Video Coding）において、タイル（Tile）構造を利用して、独立に復号が可能な部分領域をタイルセットとして設定し、MCTS SEI（Motion constrained tile set Supplemental Enhancement Information）により管理することが考えられた。
独立に復号が可能であるのだから、タイルセットを最小単位とする部分領域の符号化データのみを復号して、その部分領域の画像を得ることができると考えられる。例えば、図１に示されるように、フレームサイズ（解像度）が８Ｋ×４Ｋの動画像について、あるフレームのタイルセットTS1の符号化データを復号し、その次のフレームのタイルセットTS2の符号化データを復号し、その次のフレームのタイルセットTS3の符号化データを復号し、その次のフレームのタイルセットTS4の符号化データを復号し、その次のフレームのタイルセットTS5の符号化データを復号し、その次のフレームのタイルセットTS6の符号化データを復号し、その次のフレームのタイルセットTS7の符号化データを復号することにより、タイルセットTS1乃至タイルセットTS7をフレームとする、フレームサイズが２Ｋ×１Ｋの動画像を得ることができる。
このような２Ｋ×１Ｋの動画像を得る場合、タイルセットTS1乃至タイルセットTS7以外の領域の符号化データは不要である。また、元の動画像の符号化データはタイルセット毎に独立に復号可能であるのだから、その元の動画像の符号化データから上述のような部分領域の符号化データを抽出することが可能である。つまり、２Ｋ×１Ｋの動画像の符号化データとして復号側に提供することができる。
例えば、図２に示されるように、各ピクチャが複数のタイルセット（Tile set 0乃至Tile set N）により構成されるビットストリームＡ（Bitstream A）から、各ピクチャのタイルセット０（Tile set 0）を抽出し、それをピクチャとするビットストリームＢ（Bitstream B）を生成することができる。
このようにすることにより、元の動画像の符号化データを提供する場合よりも、復号側に提供する符号化データの符号量を低減させることができる。このようにすることにより、例えば、送信側の送信に関する負荷（例えば、処理量、バッファ量、処理時間等）の増大を抑制することができる。また、符号化データが伝送される通信媒体の負荷（例えば、帯域占有率や占有時間）の増大や、符号化データが記憶される記憶媒体の負荷（記憶容量、記憶媒体の入出力バスの帯域占有率、占有時間等）の増大を抑制することができる。さらに、受信側の受信に関する負荷（例えば、処理量、バッファ量、処理時間等）の増大を抑制することができる。
しかしながら、単に一部のタイルセットの符号化データを抽出するだけでは、メタデータは抽出前のままであり、抽出後の一部のタイルセットの符号化データに適切に対応しなくなるおそれがあった。メタデータが抽出前のままであるとすると、抽出された符号化データは、元の動画像の部分領域の符号化データとして管理されるので、復号側に要求される性能が不要に高くなってしまうおそれがあった。例えば、図１の場合、８Ｋ×４Ｋの動画像の符号化データのプロファイルレベル（Level）が6.2であり、２Ｋ×１Ｋのタイルセットの符号化データのプロファイルレベル4.2である。つまり、抽出後のタイルセットの符号化データの本来のプロファイルレベルは4.2であるが、元の動画像の符号化データの部分領域として扱われると、そのプロファイルレベルが6.2となり、高くなってしまう。そのため、この符号化データを復号することができるデコーダが不要に限定されてしまうおそれがあった。
また、部分領域を抽出することによるピクチャ内のスライスやタイルの変更、さらにはスライス内のタイル構成の変更等に対応することができないので、メタデータの管理上の構成が、符号化データにおける実際の構成と一致しなくなり、正しく復号することが困難になるおそれがあった。換言するに、正しく復号するためには、復号の際に、そのようなメタデータと符号化データとの間の不一致を把握し、是正する処理が必要になり、復号の負荷が増大するおそれがあった。
そこで、動画像の符号化データから抽出されたその動画像の部分領域の符号化データに応じて、その動画像の符号化データから抽出されたメタデータを更新するようにする。例えば、画像処理装置において、動画像の符号化データから抽出されたその動画像の部分領域の符号化データに応じて、その動画像の符号化データから抽出されたメタデータを更新するメタデータ更新部を備えるようにする。このようにすることにより、メタデータを、抽出後の部分領域の符号化データに適切に対応させることができる。したがって、復号の負荷の増大を抑制することができる。
例えば、メタデータ更新部が、部分領域に含まれる各スライスに対応する、スライス単位のメタデータを更新するようにしてもよい。このようにすることにより、各スライス単位のメタデータの情報を、そのスライスの符号化データに対して適切に対応させることができる。
なお、スライス単位のメタデータは任意である。例えば、スライスヘッダであってもよい。一般的に、HEVCで符号化された動画像の符号化データは、図３のＡに示されるビットストリームＡ（Bitstream A）のように、ビデオパラメータセット（VPS（Video Parameter Set））やシーケンスパラメータセット（SPS（Sequence Parameter Set））等の上位メタデータや、MCTI SEI等を含むSEI NAL（Supplemental Enhancement Information Network Abstraction Layer）等のメタデータと、各ピクチャの情報とにより構成される。各ピクチャは、メタデータであるピクチャパラメータセット（PPS（Picture Parameter Set））と、各スライスの情報（Slice0乃至SliceK）とにより構成される。各スライスは、メタデータであるスライスヘッダ（Slice Header）と、そのスライス内の画像の符号化データであるスライスデータ（Slice Data）とにより構成される。
このような構成のビットストリームＡ（Bitstream A）から一部のスライスを抽出してビットストリームＢ（Bitstream B）を生成すると、そのビットストリームＢは、例えば図３のＢに示されるような構成となる。つまり、基本的な構成は、ビットストリームＡと同様であり、各スライスに対してメタデータとしてスライスヘッダが設けられている。このような各スライスのスライスヘッダ（Slice Header）を更新することにより（Slice Header update）、そのスライスヘッダに含まれる情報を、そのスライスヘッダに対応するスライスデータに合わせることができる。
例えば、メタデータ更新部が、そのスライス単位のメタデータに含まれる、スライスのアドレスに関する情報を更新するようにしてもよい。このようにすることにより、そのスライスのアドレスに関する情報を、そのスライスデータに対して適切に対応させることができ、例えばピクチャ内のスライス構成の変更等に対応させることができる。なお、スライスのアドレスに関する情報は任意である。例えば、スライス内の先頭のタイルの先頭のブロックのアドレスに関する情報であってもよい。
例えば、メタデータ更新部が、そのスライス内のタイル構成の変更に応じて、スライス単位のメタデータに含まれる、タイルのオフセットに関する情報を更新するようにしてもよい。このようにすることにより、そのタイルのオフセットに関する情報を、そのスライスの符号化データに対して適切に対応させることができ、例えばスライス内のタイル構成の変更等に対応させることができる。なお、タイルのオフセットに関する情報は任意である。例えば、そのスライスに含まれる各タイルの先頭から次のタイルまでのオフセットに関する情報であってもよい。
例えば、メタデータ更新部が、ピクチャ内のスライス構成の変更に応じて、そのスライス単位のメタデータの追加または削除を行うようにしてもよい。図３を参照して上述したように、HEVCのビットストリームでは、各スライスにスライスヘッダが設けられる。したがって、例えば、メタデータ更新部は、スライス構成を変更して新たなスライスを設ける場合はそのスライス用のスライスヘッダを追加し、スライスを減らす場合はそのスライス用のスライスヘッダを削除する。このようにすることにより、スライス単位のメタデータを、ピクチャ内のスライス構成に対応させることができる。
例えば、メタデータ更新部が、ピクチャ単位のメタデータを更新するようにしてもよい。図３のＢに示されるように、ビットストリームＢの各ピクチャに対してメタデータとしてピクチャパラメータセットが設けられている。このような各ピクチャのピクチャパラメータセット（PPS）を更新することにより（PPS update）、そのピクチャパラメータセットに含まれる情報を、そのピクチャの符号化データ（そのピクチャに含まれる各スライスのスライスデータ）に合わせることができる。
例えば、メタデータ更新部が、そのピクチャ内の独立に復号が可能なタイルセット内のタイル構成の変更に応じて、ピクチャ単位のメタデータに含まれる、タイルセットに関する情報を更新するようにしてもよい。このようにすることにより、そのタイルセットに関する情報を、そのピクチャの符号化データに対して適切に対応させることができ、例えばタイルセット内のタイル構成の変更等に対応させることができる。なお、このタイルセットに関する情報は任意である。例えば、タイルセットを構成するタイルが単数であるか複数であるかを識別するための識別情報であってもよい。
例えば、メタデータ更新部が、そのピクチャ内の独立に復号が可能なタイルセット内のタイル構成の変更に応じて、ピクチャ単位のメタデータに含まれる、タイルセット内のタイル構成に関する情報を更新するようにしてもよい。このようにすることにより、そのタイルセット内のタイル構成に関する情報を、そのピクチャの符号化データに対して適切に対応させることができ、例えばタイルセット内のタイル構成の変更等に対応させることができる。なお、このタイルセット内のタイル構成に関する情報は任意である。例えば、タイルセットの行方向や列方向の分割数（タイル数）に関する情報であってもよい。
例えば、メタデータ更新部が、シーケンスレベル以上の上位メタデータを更新するようにしてもよい。図３のＢに示されるように、ビットストリームＢにはシーケンスレベル以上の上位メタデータとしてシーケンスパラメータセット（SPS）やビデオパラメータセット（VPS）等が設けられている。このような上位メタデータを更新することにより（VPS,SPS update）、その上位メタデータに含まれる情報を、そのビットストリームに含まれる符号化データに合わせることができる。
例えば、メタデータ更新部が、抽出する部分領域のサイズに応じて、その上位メタデータに含まれる画枠に関する情報を更新するようにしてもよい。このようにすることにより、その画枠に関する情報を、各ピクチャのサイズ（抽出する部分領域のサイズ）に対して適切に対応させることができる。
例えば、メタデータ更新部が、独立に復号が可能なタイルセットに関するメタデータを削除するようにしてもよい。例えば、図３のＡのビットストリームＡから１つのタイルセットを抽出する場合等、抽出後のビットストリームＢにおいてタイルセットとしての管理が不要である場合、このタイルセットに関するメタデータは不要である。そこで、メタデータ更新部がこのタイルセットに関するメタデータを削除することにより、ビットストリームの不要な情報量を低減させることができる。
なお、画像処理装置が、動画像の符号化データよりメタデータを抽出するメタデータ抽出部をさらに備えるようにし、メタデータ更新部が、そのメタデータ抽出部により抽出されたメタデータを更新するように構成されるようにしてもよい。その場合、そのメタデータ抽出部が、シーケンスレベル以上の上位メタデータを抽出するようにしてもよい。また、そのメタデータ抽出部が、ピクチャ単位のメタデータを抽出するようにしてもよい。
また、画像処理装置が、動画像の符号化データよりその部分領域の符号化データを抽出するデータ抽出部をさらに備えるようにし、メタデータ更新部が、そのデータ抽出部により抽出された部分領域の符号化データに含まれるメタデータを更新するように構成されるようにしてもよい。その場合、そのメタデータ更新部が、その部分領域の符号化データに含まれるスライス単位のメタデータを更新するようにしてもよい。
＜２．第１の実施の形態＞
＜データ変換装置＞
図４は、本技術を適用した画像処理装置の一態様であるデータ変換装置の構成の一例を示すブロック図である。図４に示されるデータ変換装置１００は、HEVCにより符号化された動画像の符号化データであるビットストリームＡ（Bitstream A）から、その動画像の部分領域の符号化データを抽出してビットストリームＢ（Bitstream B）を生成する装置である。
図４に示されるように、データ変換装置１００は、メタデータ抽出部１１１、抽出タイル特定部１１２、データ抽出部１１３、メタデータ更新部１１４、およびビットストリーム生成部１１５を有する。
メタデータ抽出部１１１は、メタデータの抽出に関する処理を行う。例えば、メタデータ抽出部１１１は、データ変換装置１００に入力された動画像の符号化データであるビットストリームＡ（Bitstream A）を取得する。メタデータ抽出部１１１は、そのビットストリームＡから、ビデオパラメータセットやシーケンスパラメータセット等の上位メタデータや、ピクチャパラメータセット等のピクチャ単位のメタデータ等を抽出する。メタデータ抽出部１１１は、ビットストリームＡから抽出したメタデータを抽出タイル特定部１１２およびメタデータ更新部１１４に供給する。
抽出タイル特定部１１２は、抽出するタイル（部分領域）の特定に関する処理を行う。例えば、抽出タイル特定部１１２は、メタデータ抽出部１１１から供給されるピクチャパラメータセット等のピクチャ単位のメタデータを取得する。抽出タイル特定部１１２は、ピクチャ単位のメタデータに基づいて、ピクチャ内のタイル構成を把握し、ユーザやプログラム等により指定されたり、任意の情報に基づいてセットされたりした、抽出する部分領域の範囲が、ピクチャ内のどのタイルに対応するかを特定する。つまり、抽出タイル特定部１１２は、ピクチャ内のタイル群の中から抽出するタイル（つまり、抽出する部分領域）を特定する。
なお、抽出前のビットストリームＡにおいて、MCTS SEIによって、独立に復号可能なタイルセットが設定されている場合、抽出タイル特定部１１２が、そのタイルセットを単位として抽出する部分領域を特定するようにしてもよい。つまり、この場合、特定された部分領域は、単数または複数のタイルセットにより構成される。このように、独立に復号可能なタイルセットを部分領域のデータ単位とすることにより、その部分領域を独立に復号可能な領域とすることができる。すなわち、その部分領域の符号化データの抽出をより容易なものとすることができる。抽出タイル特定部１１２は、特定したタイル（抽出するタイル）を示す情報を、データ抽出部１１３およびメタデータ更新部１１４に供給する。
データ抽出部１１３は、符号化データの抽出に関する処理を行う。例えば、データ抽出部１１３は、データ変換装置１００に入力された動画像の符号化データであるビットストリームＡ（Bitstream A）を取得する。また、データ抽出部１１３は、抽出タイル特定部１１２から供給される、抽出するタイルを示す情報を取得する。データ抽出部１１３は、そのビットストリームＡから、抽出タイル特定部１１２により特定されたタイルの符号化データ等を抽出する。データ抽出部１１３は、抽出した部分領域の符号化データをメタデータ更新部１１４に供給する。
メタデータ更新部１１４は、メタデータの更新に関する処理を行う。例えば、メタデータ更新部１１４は、メタデータ抽出部１１１から供給される、ビットストリームＡから抽出されたメタデータを取得する。また、メタデータ更新部１１４は、抽出タイル特定部１１２から供給される、抽出するタイルを示す情報を取得する。また、メタデータ更新部１１４は、データ抽出部１１３から供給される、抽出された部分領域の符号化データを取得する。メタデータ更新部１１４は、抽出するタイルを示す情報に基づいて、必要に応じて、抽出されたメタデータや、抽出された部分領域の符号化データに含まれるメタデータを更新する。例えば、メタデータ更新部１１４は、上位メタデータ、ピクチャ単位のメタデータ、スライス単位のメタデータ等、あらゆるレベルのメタデータを更新することができる。メタデータ更新部１１４は、必要に応じて更新したメタデータや符号化データをビットストリーム生成部１１５に供給する。
ビットストリーム生成部１１５は、部分領域のビットストリームの生成に関する処理を行う。例えば、ビットストリーム生成部１１５は、メタデータ更新部１１４から供給されるメタデータや符号化データを取得する。ビットストリーム生成部１１５は、そのメタデータや符号化データを含むビットストリーム、すなわち、抽出した部分領域のビットストリームを生成する。ビットストリーム生成部１１５は、生成したビットストリーム（ビットストリームＢ（Bitstream B））をデータ変換装置１００の外部に出力する。
このように、メタデータ更新部１１４が、動画像の符号化データから抽出されたその動画像の部分領域の符号化データに応じて、その動画像の符号化データから抽出されたメタデータを更新するので、データ変換装置１００は、メタデータを、抽出後の部分領域の符号化データに適切に対応させることができる。つまり、部分領域の画像をフレーム画像とするビットストリームとして復号することが可能であるので、復号に必要な処理能力（プロファイルレベル）を低減させることができる。さらに、メタデータと符号化データとの間の不一致の把握や是正等の処理を必要とせずに復号することができるようになる。つまり、復号の負荷の増大を抑制することができる。
＜変換処理の流れ＞
データ変換装置１００は、データ変換処理を実行することにより、上述したような部分領域の抽出を行う。図５のフローチャートを参照して、このデータ変換処理の流れの例を説明する。
データ変換処理が開始されると、データ変換装置１００のメタデータ抽出部１１１は、ステップＳ１０１において、入力されたビットストリームＡから、例えばビデオパラメータセットやシーケンスパラメータセット等の、シーケンスレベルまたはそれより上位のメタデータである上位メタデータを抽出する。ステップＳ１０２において、メタデータ抽出部１１１は、処理対象のピクチャのフレーム番号を示す変数NPOCを初期化する（例えば、NPOC=0をセットする）。
ステップＳ１０３において、メタデータ抽出部１１１は、ビットストリームＡから、処理対象のピクチャ、すなわち、フレーム番号NPOCのピクチャのピクチャ単位メタデータ（例えばピクチャパラメータセット）を抽出する。ステップＳ１０４において、抽出タイル特定部１１２は、ステップＳ１０３において抽出されたピクチャ単位メタデータに基づいて、そのピクチャ内のタイル構成を把握し、ユーザやプログラム等により指定されたり、任意の情報に基づいてセットされたりした、抽出する部分領域の範囲が、ピクチャ内のどのタイル（タイルセット）に対応するかを特定する。つまり、抽出タイル特定部１１２は、ピクチャ内のタイル群の中から抽出するタイルを特定する。ビットストリームＡはMCTS SEIが設定されており、タイルセットごとに独立に復号が可能である。そのため、抽出タイル特定部１１２は、タイルセットを最小単位として抽出する部分領域を特定する。ステップＳ１０５において、データ抽出部１１３は、ビットストリームＡから、処理対象のピクチャの、ステップＳ１０４において特定されたタイルセットの符号化データを抽出する。
ステップＳ１０６において、メタデータ更新部１１４は、ステップＳ１０５において抽出された、処理対象ピクチャのタイルセットの符号化データに含まれるスライス単位メタデータ（例えばスライスヘッダ等）を更新する。この処理の詳細は後述する。ステップＳ１０７において、メタデータ更新部１１４は、その処理対象ピクチャのピクチャ単位メタデータを更新する。
ステップＳ１０８において、メタデータ抽出部１１１は、全てのピクチャを処理したか否かを判定する。未処理のピクチャが存在すると判定された場合、処理はステップＳ１０９に進む。ステップＳ１０９において、メタデータ抽出部１１１は、変数NPOCをインクリメント（例えば＋１）する。つまり、処理対象を次のピクチャに移行させる。ステップＳ１０９の処理が終了すると、処理はステップＳ１０３に戻り、それ以降の処理が実行される。以上のようにステップＳ１０３乃至ステップＳ１０９の処理を繰り返し、ステップＳ１０８において、全てのピクチャを処理したと判定された場合、処理はステップＳ１１０に進む。
ステップＳ１１０において、メタデータ更新部１１４は、ステップＳ１０１において抽出された上位メタデータ（例えばビデオパラメータセットやシーケンスパラメータセット等）を更新する。ステップＳ１１１において、ビットストリーム生成部１１５は、以上のように処理されたメタデータや符号化ストリームを含む、抽出された部分領域のビットストリームを生成する。
ステップＳ１１１の処理が終了すると変換処理が終了する。以上のように変換処理を行うことにより、メタデータを、抽出後の部分領域の符号化データに適切に対応させることができ、復号の負荷の増大を抑制することができる。
＜上位メタデータ更新＞
なお、上述したようにステップＳ１１０において、メタデータ更新部１１４は、上位メタデータを更新する。これにより、その上位メタデータに含まれる情報を、抽出される部分領域の符号化データに適切に対応させることができる。例えば、メタデータ更新部１１４は、シーケンスパラメータセットに含まれる画枠に関する情報を更新する。図６にシーケンスパラメータセットのシンタックスの一部の例を示す。図６に示されるpic_width_in_luma_samplesは、ピクチャの横方向のサイズを示すパラメータである。また、pic_height_in_luma_samplesは、ピクチャの縦方向のサイズを示すパラメータである。
抽出後のビットストリーム（ビットストリームＢ）においては抽出される部分領域のサイズがピクチャサイズ（画枠）となるので、メタデータ更新部１１４は、これらのパラメータの値を、抽出される部分領域のサイズに合わせるように更新する。このようにすることにより、シーケンスパラメータセットに含まれる画枠に関する情報を、抽出する部分領域のサイズに対して適切に対応させることができる。したがって、プロファイルレベルを適切に低減させることができ、復号の負荷の増大を抑制することができる。
また、メタデータ更新部１１４は、例えば抽出された部分領域が１つのタイルセットにより構成される場合のように、抽出後の符号化データにおいて、独立に復号可能な部分領域（タイルセット）の管理が不要である場合、そのタイルセットに関するメタデータであるMCTS SEIを削除する。または、メタデータ抽出部１１１がMCTS SEIを抽出しないようにしてもよい。このようにすることにより、抽出後のビットストリームの不要な情報量を低減させることができる。
＜ピクチャ単位メタデータ更新＞
また、上述したようにステップＳ１０７において、メタデータ更新部１１４は、ピクチャ単位メタデータを更新する。これにより、そのピクチャ単位メタデータに含まれる情報を、抽出される部分領域の符号化データに適切に対応させることができる。例えば、メタデータ更新部１１４は、ピクチャパラメータセットに含まれるタイルセットに関する情報や、タイルセット内のタイル構成に関する情報を更新する。
図７にピクチャパラメータセットのシンタックスの一部の例を示す。図７に示されるtiles_enabled_flagは、タイルセットを構成するタイルが単数であるか複数であるかを識別するための識別情報である。つまり、このパラメータは、タイルセットに関する情報である。また、図７に示されるnum_tile_columns_minus1は、タイルセットの列方向の分割数（タイル数）を示すパラメータである。num_tile_rows_minus1は、タイルセットの行方向の分割数（タイル数）を示すパラメータである。つまり、これらのパラメータは、タイルセット内のタイル構成に関する情報である。
抽出後のビットストリーム（ビットストリームＢ）におけるタイルセットは任意に設定することができるため、タイルセット内のタイル構成が、抽出前のビットストリーム（ビットストリームＡ）と異なることもあり得る。そのため、メタデータ更新部１１４は、これらのパラメータの値を、抽出後のタイルセット内のタイル構成に合わせるように更新する。
より具体的には、抽出後のビットストリーム（ビットストリームＢ）において、タイルセットが複数のタイルを含む場合、tiles_enabled_flagの値が１にセットされ、num_tile_columns_minus1やnum_tile_rows_minus1の値が、タイルセット内のタイル構成（分割数）に応じてセットされる。また、タイルセットが単数のタイルを含む場合、tiles_enabled_flagの値が０にセットされる。
このようにすることにより、タイルセットに関する情報や、タイルセット内のタイル構成に関する情報を、抽出する部分領域のタイルセット内のタイル構成に対して適切に対応させることができる。したがって、メタデータと符号化データとの間の不一致の把握や是正等の処理を必要とせずに復号することができるようになるので、復号の負荷の増大を抑制することができる。
なお、以上においては、タイルセットに関する情報として、tiles_enabled_flagを例示したが、タイルセットに関する情報の内容は任意であり、これ以外のパラメータが含まれるようにしてもよい。また、以上においては、タイルセット内のタイル構成に関する情報として、num_tile_columns_minus1やnum_tile_rows_minus1を例示したが、タイルセット内のタイル構成に関する情報の内容は任意であり、これら以外のパラメータが含まれるようにしてもよい。
＜メタデータ更新処理の流れ＞
次に、図５のステップＳ１０６において実行されるメタデータ更新処理の流れの例を、図８のフローチャートを参照して説明する。
メタデータ更新処理が開始されると、メタデータ更新部１１４は、ステップＳ１３１において、追加したスライスのスライス単位メタデータを生成する。例えば、抽出前のビットストリームＡにおいて１つのスライスにまとめられていた複数のタイルを複数のスライスに分割する等、抽出後のビットストリームＢにおいて新たなスライスを設定する場合、メタデータ更新部１１４は、そのスライス用のスライス単位メタデータを生成する。
ステップＳ１３２において、メタデータ更新部１１４は、削除したスライスのスライス単位メタデータを削除する。例えば、抽出前のビットストリームＡにおいて互いに異なるスライスに属していた複数のタイルを１つのスライスにまとめる等、抽出後のビットストリームＢにおいてスライスを削減する場合、メタデータ更新部１１４は、その削除するスライス用のスライス単位メタデータを削除する。
つまり、これらの処理により、メタデータ更新部１１４は、スライス単位メタデータの数を、抽出後のビットストリームＢにおけるスライス数に対応させる。
ステップＳ１３３において、メタデータ更新部１１４は、各スライス単位メタデータに含まれるアドレス情報を更新する。抽出前のピクチャと抽出後の部分領域からなるピクチャとでは、スライス構成やタイル構成が異なるため、メタデータ更新部１１４は、それらの変化に対応するように、各スライス単位メタデータに含まれるアドレス情報を更新する。
ステップＳ１３４において、メタデータ更新部１１４は、タイル構成を変更したスライスのスライス単位メタデータのオフセット情報を更新する。スライス単位メタデータに、各タイルの先頭位置を示すオフセット情報が含まれる場合、メタデータ更新部１１４は、スライス内のタイル構成の変更に対応するように、そのオフセット情報を更新する。
ステップＳ１３４の処理が終了するとメタデータ更新処理が終了する。以上のようにメタデータ更新処理を行うことにより、スライス単位メタデータを、抽出後の部分領域の符号化データに適切に対応させることができ、復号の負荷の増大を抑制することができる。
＜アドレス情報の更新＞
図９は、スライスヘッダの一部のシンタックスの例を示す図である。図９のＡには、スライスヘッダの一部のシンタックスの例が示され、図９のＢには、図９は、スライスヘッダのその他の一部のシンタックスの例が示されている。図９のＡに示されるslice_segment_addressは、スライスの先頭のブロック（CTU（Coding Tree Unit））の位置を示すパラメータである。slice_segment_addressは、その先頭のブロックの位置を、ピクチャ内のブロックのスキャン順（すなわち、ピクチャ内の最初に処理されるブロックからそのスライスの先頭のブロックまでのブロック数（CTU address））で示す。つまり、このパラメータはアドレスに関する情報である。
上述したようにステップＳ１３３においてメタデータ更新部１１４は、抽出後の符号化データにおけるスライス構成やタイル構成に応じて、アドレス情報を更新する。例えば、図１０のＡに示されるようにタイルデータ２０１乃至タイルデータ２０４の４つのタイルデータ（Tile Data）からなるピクチャから、タイルデータ２０２およびタイルデータ２０３を抽出するとする。なお、図１０のＡの抽出前の状態においてスライス構成は任意である。また、タイルデータ２０２の先頭ブロック（CTU）のCTUアドレス（CTUadress）がＡであり、タイルデータ２０３の先頭ブロック（CTU）のCTUアドレスがＢであるとする。
その際、図１０のＢの例のように、タイルデータ２０２およびタイルデータ２０３を１つのスライスにまとめる場合、そのスライス（slice0）は、ピクチャ内の先頭のスライスとなるため、メタデータ更新部１１４は、そのスライスヘッダのslice_segment_addressの値を「０」にセットする。
また、図１０のＣの例のように、タイルデータ２０２およびタイルデータ２０３を互いに異なるスライスとする場合、タイルデータ２０２のスライス（slice0）がピクチャ内の先頭のスライスとなり、タイルデータ２０３のスライス（slice1）がその次のスライスとなる。したがって、メタデータ更新部１１４は、タイルデータ２０２のスライス（slice0）のスライスヘッダのslice_segment_addressの値を「０」にセットし、タイルデータ２０３のスライス（slice1）のスライスヘッダのslice_segment_addressの値を「Ｂ－Ａ」にセットする。
このようにすることにより、スライス単位メタデータに含まれるアドレスに関する情報を、抽出後のビットストリームにおけるスライス構成やそのスライス内のタイル構成に対して適切に対応させることができる。したがって、メタデータと符号化データとの間の不一致の把握や是正等の処理を必要とせずに復号することができるようになるので、復号の負荷の増大を抑制することができる。
なお、以上においては、アドレスに関する情報として、slice_segment_addressを例示したが、アドレスに関する情報の内容は任意であり、これ以外のパラメータが含まれるようにしてもよい。
＜オフセット情報の更新＞
図９のＢに示されるentry_point_offset_minus1は、次のスライスまでの位置のオフセットを示すパラメータである。entry_point_offset_minus1は、そのスライスの長さを、バイトアライン（Byte align）で示す。つまり、このパラメータはオフセットに関する情報である。
上述したようにステップＳ１３４においてメタデータ更新部１１４は、抽出後の符号化データにおけるスライス内のタイル構成に応じて、オフセット情報を更新する。例えば、図１１のＡに示されるようにタイルデータ２０１乃至タイルデータ２０４の４つのタイルデータ（Tile Data）からなるピクチャから、タイルデータ２０２およびタイルデータ２０３を抽出するとする。なお、図１１のＡの抽出前の状態においてスライス構成は任意である。また、タイルデータ２０２の先頭のデータアドレス（DATA adress）がＡであり、タイルデータ２０３の先頭のデータアドレスがＢであるとする。
その際、図１１のＢの例のように、タイルデータ２０２およびタイルデータ２０３を１つのスライスにまとめる場合、そのスライス（slice0）のスライスヘッダには、タイルデータ２０３用のオフセット情報が必要である。そこで、メタデータ更新部１１４は、そのスライスヘッダの、タイルデータ２０２に対応するentry_point_offset_minus1の値を「Ｂ－Ａ」にセットする。
また、図１１のＣの例のように、タイルデータ２０２およびタイルデータ２０３を互いに異なるスライスとする場合、各スライスに１つずつタイルデータが含まれることになるので、いずれのスライスヘッダにもオフセット情報が不要になる。そこで、メタデータ更新部１１４は、entry_point_offset_minus1をセットしない。
このようにすることにより、スライス単位メタデータに含まれるオフセットに関する情報を、抽出後のビットストリームにおけるスライス構成やそのスライス内のタイル構成に対して適切に対応させることができる。したがって、メタデータと符号化データとの間の不一致の把握や是正等の処理を必要とせずに復号することができるようになるので、復号の負荷の増大を抑制することができる。
なお、以上においては、オフセットに関する情報として、entry_point_offset_minus1を例示したが、オフセットに関する情報の内容は任意であり、これ以外のパラメータが含まれるようにしてもよい。
＜スライス単位メタデータの追加・削除＞
図１０や図１１に示されるように、メタデータ更新部１１４は、抽出後のスライス構成に応じてスライスヘッダを設定する。すなわち、既存のスライスが削除された場合、そのスライスヘッダも削除し、新たなスライスが設定された場合、そのスライスヘッダを作成する。このようにすることにより、スライス単位のメタデータを、ピクチャ内のスライス構成に対応させることができる。したがって、メタデータと符号化データとの間の不一致の把握や是正等の処理を必要とせずに復号することができるようになるので、復号の負荷の増大を抑制することができる。
＜ユースケース１＞
より具体的な例について説明する。例えば、ある動画像の符号化データのピクチャ内のタイル構成が、図１２に示されるような構成であるとする。図１２において全体の四角がピクチャを示し、その次に大きな４×３の四角がタイルを示し、一番小さい四角がCTUを示している。各タイル内の「TileN」は、そのタイルのタイル番号Nを示す。また、各CTU内の数字やアルファベットや式は、そのCTUのCTUアドレスを示す。例えば、タイル０（Tile0）の、先頭のCTU（左上のCTU）のCTUアドレスは「０」であり、最後のCTU（右下のCTU）のCTUアドレスは「Ａ－１」である。また、タイル１（Tile1）の先頭のCTUのCTUアドレスが「Ａ」であり、最後のCTUのCTUアドレスが「Ｂ－１」であり、タイル２（Tile2）の先頭のCTUのCTUアドレスが「Ｂ」である。そして、タイル５（Tile5）の先頭のCTUのCTUアドレスが「Ｅ」であり、タイル６（Tile6）の先頭のCTUのCTUアドレスが「Ｆ」である。このようなピクチャから、タイル５とタイル６を抽出するとする。
例えば、図１３のＡに示されるように、抽出前の状態において、そのタイル５およびタイル６が互いに異なるスライス（SliceX, Slice(X+1)）に属しているとする。このタイル５とタイル６を抽出するので、抽出後においては、タイル５はタイル０（Tile0）として管理され、タイル６はタイル１（Tile1）として管理される。
そして、抽出後において、これらのタイルを図１３のＢに示されるように１つのスライス（Slice0）にまとめるとする。その場合、図１３のＢに示されるように、スライス０（Slice0）のスライスヘッダにおいて、タイル０の先頭CTUのCTUアドレスが「０」にセットされ、タイル１用のオフセットが、タイル０のバイトサイズにセットされる。
その場合のパラメータの更新例を図１４のＡに示す。first_slice_segment_in_pic_flagは、当該スライスが当該ピクチャの先頭スライスであるか否かを示すフラグ情報である。スライス０は先頭スライスであるので、この値が「１」にセットされる。そして、スライス０が先頭スライスであるからその先頭CTUのCTUアドレスは「０」である。したがって、slice_segment_addressが「０」にセットされる。num_entry_point_offsetsは、設定するオフセットの数（entry_point_offset_minus1）の数を示すパラメータである。図１３のＢに示されるように、スライス０は２つのタイルにより構成されるので、この値が「１」にセットされる。そして、offset_len_minus1の値は、タイル０のバイトサイズに対応した値にセットされ、entry_point_offset_minus1[0]の値がタイル０のバイトサイズにセットされる。つまり、num_entry_point_offsetsやoffset_len_minus1等のパラメータもオフセットに関する情報に含まれるともいえる。
なお、以上においては、スライス０のタイル数は２であるように説明したが、スライス０がＮ個のタイルを含む場合、スライスヘッダのパラメータは、図１４のＢに示される例のように更新される。
この場合も、図１４のＡの場合と同様に、first_slice_segment_in_pic_flagは、「１」にセットされ、slice_segment_addressは「０」にセットされる。ただし、num_entry_point_offsetsは、「Ｎ－１」にセットされる。そして、offset_len_minus1は、タイル０乃至タイル（N-1）のバイトサイズに対応した値にセットされ、entry_point_offset_minus1[0]乃至entry_point_offset_minus1[N-2]がそれぞれ、タイル０乃至タイル（N-2）のバイトサイズにセットされる。
＜ユースケース２＞
また、例えば、図１５のＡに示されるように、抽出前の状態において、図１２のタイル５およびタイル６が互いに異なるスライス（SliceX, Slice(X+1)）に属しているとする。このタイル５とタイル６を抽出するので、抽出後においては、タイル５はタイル０（Tile0）として管理され、タイル６はタイル１（Tile1）として管理される。
そして、図１５のＢに示されるように、抽出後においてもそのスライス構成を維持するとする。つまり、タイル０およびタイル１が互いに異なるスライス（Slice0, Slice1）に属するとする。その場合、図１５のＢに示されるように、スライス０（Slice0）のスライスヘッダにおいて、タイル０の先頭CTUのCTUアドレスが「０」にセットされ、スライス１（Slice1）のスライスヘッダにおいて、タイル１の先頭CTUのCTUアドレスが「Ｆ－Ｅ」にセットされる。なお、この場合、各スライスは１タイルで構成されるので、これらのスライスヘッダには、オフセットに関する情報は不要である。
この場合、スライス０のスライスヘッダにおいては、図１６のＡに示されるように、例えば、first_slice_segment_in_pic_flagが「１」にセットされ、slice_segment_addressが「０」にセットされる。また、スライス１のスライスヘッダにおいては、図１６のＢに示されるように、first_slice_segment_in_pic_flagが「０」にセットされ、slice_segment_addressが「スライス０のタイル０のCTU数（例えばＦ－Ｅ）」にセットされる。
＜ユースケース３＞
また、例えば、図１７のＡに示されるように、抽出前の状態において、図１２のタイル５およびタイル６が共通のスライス（SliceX）に属しているとする。このタイル５とタイル６を抽出するので、抽出後においては、タイル５はタイル０（Tile0）として管理され、タイル６はタイル１（Tile1）として管理される。
そして、図１７のＢに示されるように、抽出後においてもそのスライス構成を維持するとする。つまり、タイル０およびタイル１が共通のスライス（Slice0）に属するとする。その場合、図１７のＢに示されるように、スライス０（Slice0）のスライスヘッダにおいて、タイル０の先頭CTUのCTUアドレスが「０」にセットされ、タイル１用のオフセットが、タイル０のバイトサイズにセットされる。この場合のパラメータの更新例は、図１４のＡの例と同様であるのでその説明は省略する。
これに対して、図１７のＣに示されるように、抽出後において、スライスを分割するようにする。つまり、タイル０およびタイル１が互いに異なるスライス（Slice0, Slice1）に属するとする。その場合、図１７のＣに示されるように、スライス０（Slice0）のスライスヘッダにおいて、タイル０の先頭CTUのCTUアドレスが「０」にセットされ、スライス１（Slice1）のスライスヘッダにおいて、タイル１の先頭CTUのCTUアドレスが「Ｆ－Ｅ」にセットされる。なお、この場合、各スライスは１タイルで構成されるので、これらのスライスヘッダには、オフセットに関する情報は不要である。この場合のパラメータの更新例は、図１６の例と同様であるのでその説明は省略する。
＜ユースケース４＞
また、例えば、図１８のＡに示されるように、抽出前の状態において、タイル５の途中でスライスが分割されて、タイル５がスライスＸとスライス（Ｘ＋１）に属し、タイル６は、さらに他のスライス（Ｘ＋２）に属しているとする。このタイル５とタイル６を抽出するので、抽出後においては、タイル５はタイル０（Tile0）として管理され、タイル６はタイル１（Tile1）として管理される。
そして、抽出後において、図１８のＢに示されるように、タイル０を１つのスライス（Slice0）にまとめるとする。その場合、図１８のＢに示されるように、スライス０（Slice0）のスライスヘッダにおいて、タイル０の先頭CTUのCTUアドレスが「０」にセットされ、さらに、元のスライス（Ｘ＋１）用のオフセットとして、スライスＸのバイトサイズがセットされる。
この場合のパラメータの更新例を図１９のＡに示す。first_slice_segment_in_pic_flagは、「１」にセットされ、slice_segment_addressが「０」にセットされ、num_entry_point_offsetsが「１」にセットされる。そして、offset_len_minus1の値は、スライスＸおよびスライス（Ｘ＋１）のバイトサイズに対応した値にセットされ、entry_point_offset_minus1[0]の値がスライスＸのバイトサイズにセットされる。
なお、タイル０を含むスライス０にさらに他のタイルを含めることもできる。例えば、図１８のＣに示されるように、タイル１もスライス０に含めるようにすることもできる。その場合、図１８のＣに示されるように、さらに、元のスライス（Ｘ＋２）用のオフセットとして、スライス（Ｘ＋１）のバイトサイズがセットされる。
スライス０にＮ個のタイルが含まれる場合のパラメータの更新例を図１９のＢに示す。この場合も、first_slice_segment_in_pic_flagは、「１」にセットされ、slice_segment_addressは「０」にセットされる。ただし、num_entry_point_offsetsは、「Ｎ－１（元のスライス数）」にセットされる。そして、offset_len_minus1は、元の各スライスのバイトサイズ（スライスＸ乃至スライス（Ｘ＋Ｎ－１）のバイトサイズ）に対応した値にセットされ、元のスライスの数に相当する数のentry_point_offset_minus1（すなわち、entry_point_offset_minus1 [0]乃至entry_point_offset_minus1[N-2]）がそれぞれ、スライスＸ乃至スライス（Ｘ＋Ｎ－２）のバイトサイズにセットされる。
＜ユースケース５＞
また、例えば、図２０のＡに示されるように、抽出前の状態が図１８のＡの状態と同様であり、抽出後も、図２０のＢに示されるように、そのスライス構成を維持するものとする。つまり、タイル０の途中でスライスが分割され、タイル０がスライス０とスライス１に属し、タイル１がスライス２に属するとする。
その場合、図２０のＢに示されるように、スライス０（Slice0）のスライスヘッダにおいて、タイル０の先頭CTUのCTUアドレスが「０」にセットされ、スライス１（Slice1）のスライスヘッダにおいて、スライス１の先頭CTUのCTUアドレスが「Ｅ’－Ｅ」にセットされる。また、スライス２（Slice2）のスライスヘッダにおいて、タイル１の先頭のCTUのCTUアドレスが「Ｆ－Ｅ’」にセットされる。なお、この場合、これらのスライスヘッダには、オフセットに関する情報は不要である。
この場合、スライス０のスライスヘッダにおいては、図２１のＡに示されるように、例えば、first_slice_segment_in_pic_flagが「１」にセットされ、slice_segment_addressが「０」にセットされる。また、スライス１のスライスヘッダにおいては、図２１のＢに示されるように、first_slice_segment_in_pic_flagが「０」にセットされ、slice_segment_addressが「元のスライスＸのCTU数（例えばＥ’－Ｅ）」にセットされる。また、スライス２のスライスヘッダにおいては、図２１のＣに示されるように、first_slice_segment_in_pic_flagが「０」にセットされ、slice_segment_addressが「元のスライス（Ｘ＋１）のCTU数（例えばＦ－Ｅ’）」にセットされる。
以上のように、メタデータ更新部１１４は、任意のケースにおいて、メタデータの情報を、抽出後の部分領域の符号化データに応じて更新することができる。したがって、復号の負荷の増大を抑制することができる。
＜３．第２の実施の形態＞
＜タイルセットの制約＞
上述したように、抽出前の動画像の符号化データにおいて、MCTS SEIによりタイルセットが設定されている場合、抽出する部分領域がそのタイルセットを単位として設定されるようにすることにより、その部分領域の抽出をより容易に行うことができる。
ただし、タイルセットはタイルを単位として設定され、その形状は非矩形であってもよい。これに対して、ピクチャは矩形でなければならない。したがってこのようなタイルセットを単位として部分領域を抽出する場合、例えば図２２に示されるタイルセット３１１やタイルセット３１２のようにその形状が矩形であれば、それをそのままピクチャとすることができる。しかしながら、タイルセット３１３のように非矩形な部分領域を抽出すると、それをそのままピクチャとすることができず、処理が破綻するおそれがあった。
そこで、部分領域として抽出するタイルセットの形状を矩形に限定するようにしてもよい。つまり、部分領域が矩形の場合に限り、その部分領域の符号化データを抽出するようにしてもよい。
図２３に、MCTS SEIの一部のシンタックスの例を示す。このようなMCTS SEIに含まれるパラメータmc_all_tiles_exact_sample_value_match_flagの値が「１」であるか、または、num_tile_rects_in_set_minus1[i]の値が０である場合に限り、そのタイルセットを抽出する部分領域に含めることができるようにする。
このようにすることにより、より確実にデータ変換を行うことができるようにすることができる。
その場合、抽出タイル特定部１１２が制御処理を実行することにより、そのような制御を実現する。図２４のフローチャートを参照して、この制御処理の流れの例を説明する。
制御処理が開始されると、抽出タイル特定部１１２は、ステップＳ３０１において、タイルセットが矩形であるか否かを判定する。矩形であると判定された場合、処理はステップＳ３０２に進む。ステップＳ３０２において、抽出タイル特定部１１２は、その矩形のタイルセットの抽出を許可する。このように抽出が許可されたタイルセットは、抽出対象の部分領域に含めることができる。ステップＳ３０２の処理が終了すると、制御処理が終了する。
また、ステップＳ３０１において、タイルセットが非矩形であると判定された場合、処理はステップＳ３０３に進む。ステップＳ３０３において、抽出タイル特定部１１２は、その非矩形のタイルセットの抽出を禁止する。このように抽出が禁止されたタイルセットは、抽出対象の部分領域に含めることができない。ステップＳ３０３の処理が終了すると、制御処理が終了する。
以上のように制御処理を実行することにより、矩形のタイルセットのみを抽出するようにすることができるため、より確実にデータ変換を行うことができるようにすることができる。
＜タイルセットの加工＞
なお、抽出を禁止する代わりに、抽出後に非矩形のタイルセットを矩形化する（部分領域を矩形化するように、抽出した符号化データを更新する）ようにしてもよい。例えば、図２５のＡに示されるタイルセット３１３は、非矩形である。この点線で囲まれる部分に何らかの情報を補充することにより、図２５のＢに示されるように、タイルセットを矩形化することができる。図２５のＢの場合、矩形となるように、タイルセット３１３に補充データ３２３（斜線部分）が補充されている。
この補充データ３２３は、どのようなデータにより構成されるようにしてもよい。例えば、スキップブロック等の空の符号化データを用いるようにしてもよいし、再度該当領域をエンコードして補充データを生成するようにしてもよい。なお、矩形化の方法は任意であり、データを補充する以外の方法であってもよい。
この場合、例えば、データ抽出部１１３が加工処理を実行して、抽出したタイルセットの矩形化を行う。その場合の加工処理の流れの例を、図２６のフローチャートを参照して説明する。
加工処理が開始されると、ステップＳ３２１において、データ抽出部１１３は、抽出したタイルセットが矩形であるか否かを判定する。矩形であると判定された場合、加工処理が終了する。つまり、抽出した矩形のタイルセットがそのままビットストリームの生成に用いられる。
また、ステップＳ３２１において、抽出したタイルセットが非矩形であると判定された場合、処理はステップＳ３２２に進む。ステップＳ３２２において、データ抽出部１１３は、データを補充する等して、抽出した非矩形のタイルセットを矩形化する。つまり、矩形化されたタイルセットがビットストリームの生成に用いられる。ステップＳ３２２の処理が終了すると、加工処理が終了する。
以上のように加工処理を実行することにより、抽出したタイルセットの形状をすべて矩形とすることができるため、より確実にデータ変換を行うことができるようにすることができる。
＜４．その他＞
＜更新メタデータ＞
なお、更新するメタデータは任意であり、上述した例に限定されない。また、メタデータに対応するデータ単位も任意であり、例えば、TU（Transform Unit）、TB(Transform Block)、PU（Prediction Unit）、PB(Prediction Block)、CU（Coding Unit）、LCU（Largest Coding Unit）、サブブロック、ブロック、タイル、スライス、ピクチャ、シーケンス、またはコンポーネントのいずれであってもよいし、これら以外のデータ単位に対応してもよい。また、メタデータの格納場所も任意である。
＜符号化・復号方式＞
以上においては符号化・復号方式としてHEVCを例に説明したが、本技術は、独立に復号可能な部分領域を形成することができるものであれば、任意の画像符号化・復号方式に適用することができる。
例えば、本技術は、複数の視点（ビュー（view））の画像を含む多視点画像の符号化・復号を行う多視点画像符号化・復号システムや、所定のパラメータについてスケーラビリティ（scalability）機能を有するように複数レイヤ化（階層化）された階層画像の符号化・復号を行う階層画像符号化（スケーラブル符号化）・復号システムにも適用することができる。
＜本技術の適用分野＞
本技術は、画像を処理するものであれば、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用されるシステム、装置、処理部等に適用することができる。
例えば、本技術は、鑑賞の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、交通管理の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、農業の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、畜産業の用に供されるシステムやデバイスにも適用することができる。さらに、本技術は、例えば火山、森林、海洋等の自然の状態を監視するシステムやデバイスにも適用することができる。また、本技術は、例えば天気、気温、湿度、風速、日照時間等を観測する気象観測システムや気象観測装置に適用することができる。さらに、本技術は、例えば鳥類、魚類、ハ虫類、両生類、哺乳類、昆虫、植物等の野生生物の生態を観測するシステムやデバイス等にも適用することができる。
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
図２７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図２７に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。
バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。
入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。
以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部８１４で受信し、記憶部８１３にインストールすることができる。その他、このプログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくこともできる。
なお、上述した一連の処理は、一部をハードウエアにより実行させ、他をソフトウエアにより実行させることもできる。
＜本技術の応用＞
上述した実施形態に係るデータ変換装置１００は、例えば、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機や受信機、または、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置や、これら記憶媒体から画像を再生する再生装置などの、様々な電子機器に応用され得る。
例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。図２８は、本技術を適用したネットワークシステムの概略的な構成の一例を示している。
図２８に示されるネットワークシステム１６００は、機器同士が、ネットワークを介して画像（動画像）に関する情報を授受するシステムである。このネットワークシステム１６００のクラウドサービス１６０１は、自身に通信可能に接続されるコンピュータ１６１１、AV（Audio Visual）機器１６１２、携帯型情報処理端末１６１３、IoT（Internet of Things）デバイス１６１４等の端末に対して、画像（動画像）に関するサービスを提供するシステムである。例えば、クラウドサービス１６０１は、所謂動画配信（オンデマンドやライブ配信）のような、画像（動画像）のコンテンツの供給サービスを端末に提供する。また、例えば、クラウドサービス１６０１は、端末から画像（動画像）のコンテンツを受け取って保管するバックアップサービスを提供する。また、例えば、クラウドサービス１６０１は、端末同士の画像（動画像）のコンテンツの授受を仲介するサービスを提供する。
クラウドサービス１６０１の物理構成は任意である。例えば、クラウドサービス１６０１は、動画像を保存し、管理するサーバ、動画像を端末に配信するサーバ、動画像を端末から取得するサーバ、ユーザ（端末）や課金を管理するサーバ等の各種サーバや、インターネットやLAN等の任意のネットワークを有するようにしてもよい。
コンピュータ１６１１は、例えば、パーソナルコンピュータ、サーバ、ワークステーション等のような情報処理装置により構成される。AV機器１６１２は、例えば、テレビジョン受像機、ハードディスクレコーダ、ゲーム機器、カメラ等のような画像処理装置により構成される。携帯型情報処理端末１６１３は、例えば、ノート型パーソナルコンピュータ、タブレット端末、携帯電話機、スマートフォン等のような携帯型の情報処理装置により構成される。IoTデバイス１６１４は、例えば、機械、家電、家具、その他の物、ICタグ、カード型デバイス等、画像に関する処理を行う任意の物体により構成される。これらの端末は、いずれも通信機能を有し、クラウドサービス１６０１に接続し（セッションを確立し）、クラウドサービス１６０１と情報の授受を行う（すなわち通信を行う）ことができる。また、各端末は、他の端末と通信を行うこともできる。端末間の通信は、クラウドサービス１６０１を介して行うようにしてもよいし、クラウドサービス１６０１を介さずに行うようにしてもよい。
以上のようなネットワークシステム１６００において、端末間や、端末とクラウドサービス１６０１との間で動画像の符号化データを授受する際に、本技術を適用するようにしてもよい。
例えば、動画像の送信先においてその動画像の部分領域のデータのみが必要な場合、送信元（送信側）において、各実施の形態において上述したように、動画像の符号化データをその部分領域の符号化データに変換し、それを送信先に送信するようにしてもよい。このようにすることにより、変換前の動画像のデータを伝送する場合よりも、伝送する符号量を低減させることができる。つまり、送信先において不要なデータの伝送を抑制することができるので、処理量、バッファ量、処理時間等の、送信元による符号化データ送信に関する負荷の増大を抑制することができる。また、伝送される符号量が低減することにより、その符号化データの伝送による伝送媒体の帯域占有率や占有時間の増大を抑制することができる。すなわち、伝送媒体（ネットワーク等）の負荷の増大を抑制することができる。また、送信先において受信する符号量も低減させることができるので、処理量、バッファ量、処理時間等の、送信先による符号化データ受信に関する負荷の増大も抑制することができる。さらに、本技術を適用することにより、部分領域について適切なビットストリームを伝送することができるので、復号の負荷の増大を抑制することができる。
なお、部分領域の符号化データの生成（符号化データの変換）は、符号化データの復号の前に行われればよい。例えば、この符号化データの変換が送信先（受信側）において行われるようにしてもよい。つまり、変換前の動画像の符号化データが伝送されるようにし、送信先において、本技術を適用し、各実施の形態において上述したように、受信した動画像の符号化データを所望の部分領域の符号化データに変換し、変換後の部分領域の符号化データを復号するようにしてもよい。このようにすることにより、復号の負荷の増大を抑制することができる。
なお、その送信先（受信側）が、変換後の部分領域の符号化データを、他（他の端末やクラウドサービス１６０１）に送信するようにしてももちろんよい。また、以上に説明した送信元（送信側）や送信先（受信側）は、上述した端末であってもよいし、クラウドサービス１６０１であってもよい。
＜補足＞
なお、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
また、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
また、例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
なお、本技術は以下のような構成も取ることができる。
（１） 動画像の符号化データから抽出された前記動画像の部分領域の符号化データに応じて、前記動画像の符号化データから抽出されたメタデータを更新するメタデータ更新部
を備える画像処理装置。
（２） 前記メタデータ更新部は、前記部分領域に含まれる各スライスに対応する、スライス単位のメタデータを更新する
（１）に記載の画像処理装置。
（３） 前記メタデータ更新部は、前記スライス単位のメタデータに含まれる、前記スライスのアドレスに関する情報を更新する
（２）に記載の画像処理装置。
（４） 前記メタデータ更新部は、前記スライス内のタイル構成の変更に応じて、前記スライス単位のメタデータに含まれる、タイルのオフセットに関する情報を更新する
（２）または（３）に記載の画像処理装置。
（５） 前記メタデータ更新部は、ピクチャ内のスライス構成の変更に応じて、前記スライス単位のメタデータの追加または削除を行う
（２）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記メタデータ更新部は、ピクチャ単位のメタデータを更新する
（１）乃至（５）のいずれかに記載の画像処理装置。
（７） 前記メタデータ更新部は、独立に復号が可能なタイルセット内のタイル構成の変更に応じて、前記ピクチャ単位のメタデータに含まれる、タイルセットに関する情報を更新する
（６）に記載の画像処理装置。
（８） 前記メタデータ更新部は、独立に復号が可能なタイルセット内のタイル構成の変更に応じて、前記ピクチャ単位のメタデータに含まれる、タイルセット内のタイル構成に関する情報を更新する
（６）または（７）に記載の画像処理装置。
（９） 前記メタデータ更新部は、シーケンスレベル以上の上位メタデータを更新する
（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記メタデータ更新部は、前記部分領域のサイズに応じて、前記上位メタデータに含まれる画枠に関する情報を更新する
（９）に記載の画像処理装置。
（１１） 前記メタデータ更新部は、独立に復号が可能なタイルセットに関するメタデータを削除する
（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２） 前記動画像の符号化データよりメタデータを抽出するメタデータ抽出部をさらに備え、
前記メタデータ更新部は、前記メタデータ抽出部により抽出された前記メタデータを更新するように構成される
（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 前記メタデータ抽出部は、シーケンスレベル以上の上位メタデータを抽出する
（１２）に記載の画像処理装置。
（１４） 前記メタデータ抽出部は、ピクチャ単位のメタデータを抽出する
（１２）または（１３）に記載の画像処理装置。
（１５） 前記動画像の符号化データより前記部分領域の符号化データを抽出するデータ抽出部をさらに備え、
前記メタデータ更新部は、前記データ抽出部により抽出された前記部分領域の符号化データに含まれるメタデータを更新するように構成される
（１２）乃至（１４）のいずれかに記載の画像処理装置。
（１６） 前記メタデータ更新部は、前記部分領域の符号化データに含まれるスライス単位のメタデータを更新する
（１５）に記載の画像処理装置。
（１７） 前記データ抽出部は、独立に復号可能な部分領域の符号化データを抽出する
（１５）または（１６）に記載の画像処理装置。
（１８） 前記データ抽出部は、前記部分領域が矩形の場合に限り、前記部分領域の符号化データを抽出する
（１７）に記載の画像処理装置。
（１９） 前記データ抽出部は、前記部分領域が非矩形の場合、前記部分領域を矩形化するように、抽出した符号化データを更新する
（１７）または（１８）に記載の画像処理装置。
（２０） 動画像の符号化データから抽出された前記動画像の部分領域の符号化データに応じて、前記動画像の符号化データから抽出されたメタデータを更新する
画像処理方法。
１００ データ変換装置， １１１ メタデータ抽出部， １１２ 抽出タイル特定部， １１３ データ抽出部， １１４ メタデータ更新部， １１５ ビットストリーム生成部， ８００ コンピュータ， １６００ ネットワークシステム， １６０１ クラウドサービス， １６１１ コンピュータ， １６１２ AV機器， １６１３ 携帯型情報処理端末， １６１４ IoTデバイス

Claims (13)

  1. 動画像の符号化データである第１のビットストリームから、独立に復号が可能な複数のタイルを表すタイルセットの形状を矩形に限定する付加情報を含むメタデータを抽出するメタデータ抽出部と、
    前記付加情報によって矩形状に限定される前記タイルセットの構成に応じて、前記抽出したメタデータを更新するメタデータ更新部と、
    前記更新されたメタデータに基づいて、前記第１のビットストリームから、前記矩形状に限定された前記タイルセットを表す第２のビットストリームを抽出するビットストリーム生成部と
    を備える画像処理装置。
  2. 前記メタデータ更新部は、前記第２のビットストリームに対応するよう、前記タイルセットに含まれる各スライスに対応する、スライス単位のメタデータを更新する
    請求項１に記載の画像処理装置。
  3. 前記メタデータ更新部は、前記第２のビットストリームに対応するよう、前記スライス単位のメタデータに含まれる、前記スライスのアドレスに関する情報を更新する
    請求項２に記載の画像処理装置。
  4. 前記メタデータ更新部は、前記スライス内の前記矩形状に限定されるタイルセットの構成に応じて、当該スライスに含まれる各タイルの先頭から次のタイルまでのオフセットに関する情報を更新する
    請求項２に記載の画像処理装置。
  5. 前記メタデータ更新部は、前記第２のビットストリームの生成に関するピクチャ内のスライス構成の変更に応じて、前記スライス単位のメタデータの追加または削除を行う
    請求項２に記載の画像処理装置。
  6. 前記メタデータ更新部は、ピクチャ単位のメタデータを前記第２のビットストリームに対応するよう更新する
    請求項１に記載の画像処理装置。
  7. 前記メタデータ更新部は、前記付加情報による矩形状への限定に伴う前記タイルセット内のタイル構成の変更に応じて、前記ピクチャ単位のメタデータに含まれる、前記タイルセット内のタイル構成に関する情報を前記第２のビットストリームに対応するよう更新する
    請求項６に記載の画像処理装置。
  8. 前記メタデータ更新部は、前記第１のビットストリームのシーケンスレベル以上の上位メタデータを前記第２のビットストリームに対応するよう更新する
    請求項１に記載の画像処理装置。
  9. 前記メタデータ更新部は、矩形状に限定された前記タイルセットのサイズに応じて、前記上位メタデータに含まれるピクチャサイズに関する情報を更新する
    請求項８に記載の画像処理装置。
  10. 前記メタデータ更新部は、前記タイルセットに関する、前記第２のビットストリームの生成に伴い不要となった前記第１のビットストリームに含まれるメタデータを削除する
    請求項１に記載の画像処理装置。
  11. 前記メタデータ抽出部は、シーケンスレベル以上の上位メタデータを抽出する
    請求項１に記載の画像処理装置。
  12. 前記メタデータ抽出部は、ピクチャ単位のメタデータを抽出する
    請求項１に記載の画像処理装置。
  13. 動画像の符号化データである第１のビットストリームから独立に復号が可能な複数のタイルを表すタイルセットの形状を矩形に限定する付加情報を含むメタデータを抽出し、
    前記付加情報によって矩形状に限定される前記タイルセットの構成に応じて、前記抽出したメタデータを更新し、
    前記更新されたメタデータに基づいて、前記第１のビットストリームから、前記矩形状に限定された前記タイルセットを表す第２のビットストリームを抽出する
    画像処理方法。
JP2018559027A 2016-12-27 2017-12-14 画像処理装置および方法 Active JP7052732B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016253065 2016-12-27
JP2016253065 2016-12-27
PCT/JP2017/044841 WO2018123608A1 (ja) 2016-12-27 2017-12-14 画像処理装置および方法

Publications (2)

Publication Number Publication Date
JPWO2018123608A1 JPWO2018123608A1 (ja) 2019-10-31
JP7052732B2 true JP7052732B2 (ja) 2022-04-12

Family

ID=62707532

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018559027A Active JP7052732B2 (ja) 2016-12-27 2017-12-14 画像処理装置および方法

Country Status (5)

Country Link
US (1) US11336909B2 (ja)
JP (1) JP7052732B2 (ja)
CN (1) CN110100442B (ja)
DE (1) DE112017006610T5 (ja)
WO (1) WO2018123608A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019145262A1 (en) * 2018-01-25 2019-08-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient sub-picture extraction
WO2020008103A1 (en) * 2018-07-02 2020-01-09 Nokia Technologies Oy Method and apparatus for tile-relative addressing in video coding
WO2020235659A1 (ja) * 2019-05-21 2020-11-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
CN115152218A (zh) * 2020-02-28 2022-10-04 华为技术有限公司 简化条带头语法元素指示的编码器、解码器及对应方法
US20220337855A1 (en) * 2021-04-20 2022-10-20 Samsung Electronics Co., Ltd. Operation of video decoding engine for evc
US11785239B2 (en) 2021-06-29 2023-10-10 Tencent America LLC Independent coded region output supplementary enhancement information message

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009194920A (ja) 2002-06-28 2009-08-27 Sharp Corp 画像符号化装置、および画像送信装置
WO2012060459A1 (ja) 2010-11-01 2012-05-10 日本電気株式会社 動画像配信システム、動画像配信方法および動画像配信用プログラム
WO2015053287A1 (ja) 2013-10-08 2015-04-16 シャープ株式会社 画像復号装置、画像符号化装置、および、符号化データ変換装置
JP2016103808A (ja) 2014-11-28 2016-06-02 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2016519516A (ja) 2013-04-08 2016-06-30 マイクロソフト テクノロジー ライセンシング，エルエルシー 関心領域の符号化のための動き制限タイルセット

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7613727B2 (en) * 2002-02-25 2009-11-03 Sont Corporation Method and apparatus for supporting advanced coding formats in media files
US7260738B2 (en) * 2002-06-17 2007-08-21 Microsoft Corporation System and method for splitting an image across multiple computer readable media
AU2007249117B2 (en) * 2007-12-19 2010-11-18 Canon Kabushiki Kaisha Variable-length encoding for image data compression
US20100232504A1 (en) * 2009-03-13 2010-09-16 The State of Oregon acting by and through the State Board of Higher Education on behalf of the Supporting region-of-interest cropping through constrained compression
WO2012011859A1 (en) * 2010-07-21 2012-01-26 Telefonaktiebolaget L M Ericsson (Publ) Picture coding and decoding
US8767824B2 (en) * 2011-07-11 2014-07-01 Sharp Kabushiki Kaisha Video decoder parallelization for tiles
US8923388B2 (en) * 2011-11-21 2014-12-30 Texas Instruments Incorporated Early stage slice cap decision in video coding
US20140341285A1 (en) * 2012-01-31 2014-11-20 Sony Corporation Image processing device and image processing method
US9736476B2 (en) * 2012-04-27 2017-08-15 Qualcomm Incorporated Full random access from clean random access pictures in video coding
WO2014025319A1 (en) * 2012-08-08 2014-02-13 National University Of Singapore System and method for enabling user control of live video stream(s)
CN104813662A (zh) * 2012-09-28 2015-07-29 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机程序
US20140098883A1 (en) * 2012-10-09 2014-04-10 Nokia Corporation Method and apparatus for video coding
JP5812028B2 (ja) * 2013-03-08 2015-11-11 ソニー株式会社 映像処理装置および映像処理方法
US20140301477A1 (en) * 2013-04-07 2014-10-09 Sharp Laboratories Of America, Inc. Signaling dpb parameters in vps extension and dpb operation
US20140362098A1 (en) * 2013-06-10 2014-12-11 Sharp Laboratories Of America, Inc. Display stream compression
JP6271888B2 (ja) * 2013-07-12 2018-01-31 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
KR101459557B1 (ko) * 2013-07-15 2014-11-17 주식회사 케이티 실시간 시청률에 기반한 모자이크 채널 가이드를 제공하는 서버 및 방법
CN110035300A (zh) * 2013-07-19 2019-07-19 索尼公司 信息处理装置和方法
CA2916892A1 (en) * 2013-07-22 2015-01-29 Sony Corporation Information processing apparatus and method
GB2516825B (en) * 2013-07-23 2015-11-25 Canon Kk Method, device, and computer program for encapsulating partitioned timed media data using a generic signaling for coding dependencies
GB2524476B (en) * 2014-03-14 2016-04-27 Canon Kk Method, device and computer program for optimizing transmission of motion vector related information when transmitting a video stream
WO2015140401A1 (en) * 2014-03-17 2015-09-24 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US10187659B2 (en) * 2014-04-25 2019-01-22 Sharp Kabushiki Kaisha Image decoding device, image coding device, and coding data transform device
US20150313578A1 (en) * 2014-05-05 2015-11-05 Siemens Medical Solutions Usa, Inc. Multi-user wireless ulttrasound server
GB2530751A (en) * 2014-09-30 2016-04-06 Sony Corp Video data encoding and decoding
US20160100177A1 (en) * 2014-10-06 2016-04-07 Qualcomm Incorporated Non-uniform exponential-golomb codes for palette mode coding
GB2539461B (en) * 2015-06-16 2020-01-08 Canon Kk Image data encapsulation
KR102106103B1 (ko) * 2015-07-03 2020-05-04 에스케이 텔레콤주식회사 고 해상도 영상에서의 영상 추출 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009194920A (ja) 2002-06-28 2009-08-27 Sharp Corp 画像符号化装置、および画像送信装置
WO2012060459A1 (ja) 2010-11-01 2012-05-10 日本電気株式会社 動画像配信システム、動画像配信方法および動画像配信用プログラム
JP2016519516A (ja) 2013-04-08 2016-06-30 マイクロソフト テクノロジー ライセンシング，エルエルシー 関心領域の符号化のための動き制限タイルセット
WO2015053287A1 (ja) 2013-10-08 2015-04-16 シャープ株式会社 画像復号装置、画像符号化装置、および、符号化データ変換装置
JP2016103808A (ja) 2014-11-28 2016-06-02 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HATTORI, Sally et al.，HLS: Extensions to Temporal Motion-constrained tile sets SEI message，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Geneva, CH, 23 Oct. - 1 Nov. 2013, [JCTVC-O0063]，JCTVC-O0063 (version 2)，ITU-T，2013年10月30日，JCTVC-O0063-v2.zip: JCTVC-O0063.doc.doc: pp. 1-3
HATTORI, Sally et al.，HLS: Extensions to Temporal Motion-constrained tile sets SEI message，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: San Jose, US, 9 - 17 Jan. 2014, [JCTVC-P0051-v2]，JCTVC-P0051 (version 2)，ITU-T，2014年01月16日，JCTVC-P0051-v2.zip: JCTVC-P0051-v2.doc: pp. 1-9
SKUPIN, R.，Motion-Constrained Tile Sets Extraction Information SEI Messages Draft 1，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 25th Meeting: Chengdu, CN, 14-21 October 2016, [JCTVC-Y1008]，JCTVC-Y1008 (version 1)，ITU-T，2016年11月11日，JCTVC-Y1008-v1.zip: JCTVC-Y1008-v1/JCTVC-Y1008.doc: pp. 1-5

Also Published As

Publication number Publication date
WO2018123608A1 (ja) 2018-07-05
DE112017006610T5 (de) 2019-09-12
US20190387238A1 (en) 2019-12-19
JPWO2018123608A1 (ja) 2019-10-31
US11336909B2 (en) 2022-05-17
CN110100442A (zh) 2019-08-06
CN110100442B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
JP7052732B2 (ja) 画像処理装置および方法
CN111566703B (zh) 图像处理装置和方法
EP3026901B1 (en) Image processing device and method
US10225567B2 (en) Image decoder, image encoder, and encoded data converter
JP2023509537A (ja) ポイントクラウドデ－タ送信装置、ポイントクラウドデ－タ送信方法、ポイントクラウドデ－タ受信装置及びポイントクラウドデ－タ受信方法
CN104185995A (zh) 译码视频及存储视频内容的方法
KR102707169B1 (ko) 비디오 인코딩 및 디코딩 방법 및 장치
CN109587478B (zh) 一种媒体信息的处理方法及装置
US11997256B2 (en) Intra prediction method on basis of MPM list and apparatus therefor
WO2021117802A1 (ja) 画像処理装置および方法
WO2018135321A1 (ja) 画像処理装置および方法
EP3734974A1 (en) Method and apparatus for processing video bitstream, network device, and readable storage medium
JPWO2020026846A1 (ja) 画像処理装置および方法
JPWO2018105410A1 (ja) 画像処理装置および方法
WO2021193428A1 (ja) 情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220314

R151 Written notification of patent or utility model registration

Ref document number: 7052732

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151