JP6132006B1 - 映像符号化装置、映像システム、映像符号化方法、及び映像符号化プログラム - Google Patents

映像符号化装置、映像システム、映像符号化方法、及び映像符号化プログラム Download PDF

Info

Publication number
JP6132006B1
JP6132006B1 JP2015235525A JP2015235525A JP6132006B1 JP 6132006 B1 JP6132006 B1 JP 6132006B1 JP 2015235525 A JP2015235525 A JP 2015235525A JP 2015235525 A JP2015235525 A JP 2015235525A JP 6132006 B1 JP6132006 B1 JP 6132006B1
Authority
JP
Japan
Prior art keywords
video
sop
value
sdr
hdr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015235525A
Other languages
English (en)
Other versions
JP2017103622A (ja
Inventor
貴之 石田
貴之 石田
慶一 蝶野
慶一 蝶野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2015235525A priority Critical patent/JP6132006B1/ja
Application filed by NEC Corp filed Critical NEC Corp
Priority to BR112018010465-5A priority patent/BR112018010465B1/pt
Priority to KR1020207037536A priority patent/KR102242880B1/ko
Priority to KR1020187014826A priority patent/KR102198120B1/ko
Priority to EP16870421.1A priority patent/EP3386200A4/en
Priority to PCT/JP2016/083681 priority patent/WO2017094482A1/ja
Priority to CA3138227A priority patent/CA3138227C/en
Priority to CA3006941A priority patent/CA3006941C/en
Priority to CA3077470A priority patent/CA3077470C/en
Priority to US15/777,980 priority patent/US10645421B2/en
Application granted granted Critical
Publication of JP6132006B1 publication Critical patent/JP6132006B1/ja
Publication of JP2017103622A publication Critical patent/JP2017103622A/ja
Priority to US16/824,778 priority patent/US10827201B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

【課題】スライス境界付近において動きベクトルの選択の制約がある符号化方法を使用する場合に、画質劣化を抑制する。【解決手段】解析手段１１の解析結果およびSDRとHDRの切り替え情報に基づいて、スライス境界付近で最適な動きベクトルを選択できるか否かを推定する推定手段１２と、推定手段１２の推定結果に基づいて符号化構造を、Temporal IDが０のピクチャだけで構成されるSOP構造、Temporal IDが０のピクチャおよび１のピクチャで構成されるSOP構造、Temporal IDが０のピクチャ、１のピクチャ、および２のピクチャで構成されるSOP構造、Temporal IDが０のピクチャ、１のピクチャ、２のピクチャおよび３のピクチャで構成されるSOP構造のいずれかに適応的に決定する符号化構造決定手段１３と、SDRとHDRの切り替え情報を映像復号側に伝送する伝送手段１４とを備える。【選択図】図９

Description

本発明は、映像符号化装置、映像システム、映像符号化方法、及び映像符号化プログラムに関する。
映像の高精細化の要請に応じて、水平方向1920×垂直方向1080（画素）のフルHD（High Definition ）の映像コンテンツが供給されている。また、水平方向3840×垂直方向2160（画素）の高精細映像（以下、４Ｋという。）の試験放送や商用放送が開始されている。さらに、水平方向7680×垂直方向4320（画素）の高精細映像（以下、８Ｋという。）の商用放送が計画されている。
映像コンテンツの配信システムにおいて、一般に、伝送側では映像信号はH.264/AVC (Advanced Video Coding )規格やHEVC(High Efficiency Video Coding)規格に基づいて符号化され、受信側では復号処理を経て映像信号が再生されるが、８Ｋの場合には画素数が多いので、符号化処理及び復号処理における処理負荷が高くなる。
８Ｋの場合の処理負荷を低減するための方法として、例えば非特許文献１に記載されたスライスを用いた画面４分割符号化がある（図１１参照）。図１２に示すように、非特許文献１では、スライス境界付近のブロックにおいて、動き補償（MC）のための動きベクトルでは、画面４分割符号化が使用される場合、インター予測が行われるときに、スライスの垂直方向（縦方向）の成分が１２８画素以下であるという制約が設けられている。なお、スライス境界付近に属さないブロックに対して、スライス境界を跨ぐ垂直方向の動きベクトル範囲の制約（以下、動きベクトル制限という。）はない。
また、4Kや8Kでは、標準ダイナミックレンジ方式（以下、SDR (Standard Dynamic Range)という。）の映像信号だけでなく、ARIB STD-B67規格のハイダイナミックレンジ方式（以下、HDR (High Dynamic Rang )という。）であるHybrid Log Gamma（以下、HLGという。）や、SMPTE ST.2084 規格のHDR であるPerceptual Quantizer（以下、PQという。) などの映像信号も扱うことが検討されている。ゆえに、SDR とHDR の切り替えも考慮する必要がある。
ARIB(Association of Radio Industries and Businesses)標準規格 STD-B32 3.0版 平成２６年７月３１日 電波産業会
動きベクトル制限がある場合、画面中の物体や画面全体が縦方向に速く動くシーンを符号化するときに、スライス境界では最適な動きベクトルが選択できないことがある。その結果、局所的な画質劣化を発生させる可能性がある。劣化の程度は、速い動きのときにＭ値が大きいほど大きくなる。Ｍ値は、参照ピクチャの間隔である。なお、「最適な動きベクトル」は、映像符号化装置における画面間予測（インター予測）処理を行う予測器で選択された本来の（正規の）動きベクトルを意味する。
図１４に、Ｍ＝４の場合とＭ＝８の場合の参照ピクチャの間隔が例示されている。一般に、Ｍ値が小さい場合には、フレーム間距離が小さくなるので、動きベクトルの値は小さくなる傾向がある。しかし、特に定常的なシーンにおいて、時間方向階層が少なくなるため階層（レイヤ）に応じた符号量配分が制約されるため、符号化効率は低下する。一方、Ｍ値が大きい場合には、フレーム間距離が大きくなるので、動きベクトルの値は大きくなる傾向がある。しかし、特に定常的なシーンにおいて、時間方向階層が多くなるため階層（レイヤ）に応じた符号量配分の制約が緩和されるため、符号化効率は向上する。一例として、Ｍ値を８から４に変えると、動きベクトルの値は１／２になり、Ｍ値を４から８に変えると、動きベクトルの値は２倍になる。
なお、非特許文献１においてＳＯＰ（Set of Pictures ）という概念が導入されている。SOP は、時間方向階層符号化を行う場合に、各AU（Access Unit ）の符号化順及び参照関係を記述する単位になる。時間方向階層符号化は、複数フレームの映像の中から、部分的にフレームを取り出せるようにする符号化である。
ＳＯＰ構造は、Ｌ=０の構造、Ｌ=１の構造、Ｌ=２の構造及びL=３の構造を含む。図１５に示すように、Ｌｘ（ｘ＝０，１，２，３）は、以下のような構造である。
・Ｌ＝０の構造：Temporal ID が0のピクチャだけで構成されるSOP 構造（つまり、同SOPに含まれるピクチャの段数は１つである。最大Temporal ID を示すＬが０であるともいえる。）
・Ｌ=１の構造：Temporal ID が０のピクチャおよび１のピクチャで構成されるSOP 構造（つまり、同SOP に含まれるピクチャの段数は２つである。最大Temporal ID を示すＬが１であるともいえる。）
・Ｌ＝２の構造：Temporal ID が０のピクチャ、１のピクチャ、および、２のピクチャで構成されるSOP 構造（つまり、同SOP に含まれるピクチャの段数は３つである。最大Temporal ID を示すＬが２であるともいえる。）
・Ｌ＝３の構造：Temporal ID が０のピクチャ、１のピクチャ、２のピクチャ、および３のピクチャで構成されるSOP 構造（つまり、同SOP に含まれるピクチャの段数は４つである。最大Temporal ID を示すＬが３であるともいえる。）
本明細書の記載では、Ｍ＝１はＬ＝０の構造のSOP に対応し、Ｍ＝２はＮ＝１の場合のＬ＝１の構造のSOP （図１５参照）に対応し、Ｍ＝３はＮ＝２の場合のＬ＝１の構造のSOP （図１５参照）に対応し、Ｍ＝４はＬ＝２の構造のSOP に対応し、Ｍ＝８はＬ＝３の構造のSOP に対応する。
定常的なシーン（例えば、画面中の物体や画面全体が速く動かないシーン）については、上述したように参照ピクチャ間隔（Ｍ値）が大きいほど符号化効率がよい。よって、８Ｋなどの高精細映像を低レートで符号化するためには、映像符号化装置が基本的にＭ＝８で動作することが好ましい。
しかし、上述したように、Ｍ値を大きくすると動きベクトルの値が大きくなる傾向があるので、特に、画面中の物体や画面全体が縦方向に速く動くシーンにおいて、動きベクトル制限に起因して画質が劣化する。動きベクトル制限によって、スライス境界において、最適な動きベクトルを選択できない場合があるためである。
本発明は、映像の画面を分割してから圧縮する符号化方法であって、スライス境界付近において動きベクトルの選択の制約がある符号化方法を使用する場合に、画質劣化を抑制することを目的とする。加えて、上述したように4Kや8KではSDR とHDR の切り替えも考慮する必要があるため、本発明は、SDR とHDR の切り替えも考慮して、上記画質劣化を抑制することを目的とする。
本発明による映像符号化方法は、ダイナミックレンジに関する映像信号の情報を用い、複数のSOP 構造を使用してビットストリームを生成する映像符号化方法であって、時間方向で、符号化対象の映像信号がSDR からHDR に切り替わるとき、または、HDR からSDRに切り替わるとき、ダイナミックレンジを切り替えるためのダイナミックレンジに関する映像信号の情報を伝送可能にするために、切り替わり後の先頭のSOP のSOP 構造をTemporal ID が０のピクチャだけで構成されるSOP 構造に設定することを特徴とする。
本発明による映像符号化装置は、ダイナミックレンジに関する映像信号の情報を用い、複数のSOP 構造を使用してビットストリームを生成する映像符号化装置であって、時間方向で、符号化対象の映像信号がSDR からHDR に切り替わるとき、または、HDR からSDRに切り替わるとき、ダイナミックレンジを切り替えるためのダイナミックレンジに関する映像信号の情報を伝送可能にするために、切り替わり後の先頭のSOP のSOP 構造をTemporal ID が０のピクチャだけで構成されるSOP 構造に設定する符号化構造制御手段を備えることを特徴とする。
本発明による映像符号化プログラムは、ダイナミックレンジに関する映像信号の情報を用い、複数のSOP 構造を使用してビットストリームを生成する映像符号化装置におけるコンピュータに、時間方向で、符号化対象の映像信号がSDR からHDR に切り替わるとき、または、HDR からSDRに切り替わるとき、ダイナミックレンジを切り替えるためのダイナミックレンジに関する映像信号の情報を伝送可能にするために、切り替わり後の先頭のSOP のSOP 構造をTemporal ID が０のピクチャだけで構成されるSOP 構造に設定する処理を実行させることを特徴とする。
本発明による映像システムは、上記の映像符号化装置と、音声信号を符号化する音声符号化部と、映像符号化装置からのビットストリームと音声符号化部からのビットストリームとを多重化して出力する多重化部とを備える。
本発明によれば、SDR とHDR の切り替えに対応しつつ、画質劣化を抑制することができる。
映像符号化装置の実施形態の構成例を示すブロック図である。 映像復号装置の実施形態の構成例を示すブロック図である。 映像符号化装置の第１の実施形態の動作を示すフローチャートである。 映像符号化装置の第２の実施形態の動作を示すフローチャートである。 映像符号化装置の第３の実施形態の動作を示すフローチャートである。 映像システムの一例を示すブロック図である。 映像システムの他の例を示すブロック図である。 映像符号化装置及び映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。 映像符号化装置の主要部を示すブロック図である。 映像復号装置の主要部を示すブロック図である。 画面分割の一例を示す説明図である。 動きベクトル制限を説明するための説明図である。 ＳＯＰ構造を示す説明図である。 参照ピクチャの間隔の一例を示す説明図である。 ＳＯＰ構造を示す説明図である。
以下、本発明の実施形態を図面を参照して説明する。
図１は、映像符号化装置の実施形態の構成例を示すブロック図である。図１に示す映像符号化装置１００は、符号化部１０１、解析部１１１、判定部１１２及びＭ値決定部１１３を含む。なお、映像符号化装置１００は、HEVC規格に基づいて符号化処理を実行するが、他の規格、例えば、H.264/AVC規格に基づいて符号化処理を実行してもよい。また、以下、８Ｋの映像が入力される場合を例にする。
符号化部１０１は、入力画像を複数の画面に分割する画面分割器１０２、周波数変換／量子化器１０３、逆量子化／逆周波数変換器１０４，バッファ１０５、予測器１０６、及びエントロピー符号化器１０７を含む。
画面分割器１０２は、入力映像の画面を４つの画面に分割する（図１１参照）。周波数変換／量子化器１０３は、入力映像信号から予測信号を減じた予測誤差画像を周波数変換する。周波数変換／量子化器１０３は、さらに、周波数変換された予測誤差画像（周波数変換係数）を量子化する。以下、量子化された周波数変換係数を変換量子化値という。
エントロピー符号化器１０７は、予測パラメータと変換量子化値をエントロピー符号化して、ビットストリームを出力する。予測パラメータは、予測モード（イントラ予測、インター予測）、イントラ予測ブロックサイズ、イントラ予測方向、インター予測ブロックサイズ、及び動きベクトルなど、ＣＴＵ（Coding Tree Unit）及びブロックの予測に関連した情報である。
予測器１０６は、入力映像信号に対する予測信号を生成する。予測信号は、イントラ予測またはフレーム間予測に基づいて生成される。
逆量子化／逆周波数変換器１０４は、変換量子化値を逆量子化する。さらに、逆量子化／逆周波数変換器１０４は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ１０５に供給される。バッファ１０５は、再構築画像を格納する。
解析部１１１は、符号化統計情報を解析する。判定部１１２は、上述した動きベクトル制限で、スライス境界付近で最適な動きベクトルを選択できるか否かを、解析部１１１の解析結果に基づいて判定する。なお、符号化統計情報は、過去のフレーム（例えば、現在の符号化対象のフレームの直前のフレーム）の符号化結果の情報であるが、符号化統計情報の具体例については後述する。
なお、スライス境界付近は、最適な動きベクトルを選択できなかった領域になるが、以下の制御を実現する際に、便宜的に、例えば、スライス境界から±１２８画素の範囲や±２５６画素の範囲を、スライス境界付近としてもよい。また、以下の制御を実現する際に、「スライス境界付近」の範囲を、映像の状況（動きが大きい／小さいなど）に応じて、適宜変更可能であるようにしてもよい。例えば、値が大きい動きベクトルの発生比率が高い場合に、「スライス境界付近」の範囲を広く設定するようにしてもよい。
Ｍ値決定部１１３は、判定部１１２の判定結果に基づいて、Ｍ値を適応的に決定する。なお、上述したように、Ｍ値を決定することは、ＳＯＰ構造におけるＬｘ（ｘ＝０，１，２，３）構造を決定することと等価である。また、符号化統計情報については、後述する。
図２は、映像復号装置の実施形態の構成例を示すブロック図である。図２に示す映像復号装置２００は、エントロピー復号器２０２、逆量子化／逆周波数変換器２０３、予測器２０４、及びバッファ２０５を含む。
エントロピー復号器２０２は、映像のビットストリームをエントロピー復号する。エントロピー復号器２０２は、エントロピー復号した変換量子化値を逆量子化／逆周波数変換器２０３に供給する。
逆量子化／逆周波数変換器２０３は、量子化ステップ幅で、輝度及び色差の変換量子化値を逆量子化して周波数変換係数を得る。さらに、逆量子化／逆周波数変換器２０３は、逆量子化した周波数変換係数を逆周波数変換する。
逆周波数変換後、予測器２０４は、バッファ２０５に格納された再構築ピクチャの画像を用いて予測信号を生成する（前記予測は、動き補償予測、または、ＭＣ参照とも呼ぶ）。逆量子化／逆周波数変換器２０３で逆周波数変換された再構築予測誤差画像は、予測器２０４から供給される予測信号が加えられて、再構築ピクチャとしてバッファ２０５に供給される。そして、バッファ２０５に格納された再構築ピクチャが復号映像として出力される。
次に、映像符号化装置１００における解析部１１１、判定部１１２及びＭ値決定部１１３の動作を説明する。
実施形態１．
図３は、図１に示された映像符号化装置１００の第１の実施形態の動作を示すフローチャートである。第１の実施形態では、８Ｋの映像は４分割され（図１１参照）、スライス境界付近において動きベクトル制限があるとする。また、動きベクトル制限として、±１２８を例にする。８Ｋの映像は４分割され、かつ、動きベクトル制限があることは、他の実施形態でも同様である。なお、Ｍ値の初期値は８（Ｍ＝８）である。
解析部１１１は、バッファ１０５に格納されている過去の符号化結果（例えば、直前フレームの符号化結果）を解析する。具体的には、解析部１１１は、スライス境界以外のブロックにおける動きベクトルの平均値又は中央値（以下、平均値又は中央値をＭａｖｇとする。）を算出する（ステップＳ１０１）。なお、第１の実施形態では、符号化統計情報は、動きベクトルの値であり、解析結果は、動きベクトルの平均値又は中央値である。
判定部１１２は、Ｍａｖｇが、動きベクトル制限としての±１２８を基準として、どの程度の大きさになっているかを判定する（ステップＳ１０２）。
そして、Ｍ値決定部１１３は、Ｍａｖｇがどの程度の大きさになっているかの判定結果に基づいて、Ｍ値を決定する（ステップＳ１０３）。
Ｍ値決定部１１３は、判定結果に基づいて、例えば、以下のようにＭ値を決定する。
（１）Ｍ＝８である場合：
｜Ｍａｖｇ｜≦１２８ → Ｍ＝８を維持
１２８＜｜Ｍａｖｇ｜≦２５６ → Ｍ＝４（Ｍ＝８の１／２）に決定
２５６＜｜Ｍａｖｇ｜≦５１２ → Ｍ＝２（Ｍ＝８の１／４）に決定
５１２＜｜Ｍａｖｇ｜ → Ｍ＝１（Ｍ＝８の１／８）に決定
（２）Ｍ＝４である場合：
｜Ｍａｖｇ｜≦６４ → Ｍ＝８に決定
６４＜｜Ｍａｖｇ｜≦１２８ → Ｍ＝４を維持
１２８＜｜Ｍａｖｇ｜≦２５６ → Ｍ＝２に決定
２５６＜｜Ｍａｖｇ｜ → Ｍ＝１に決定
Ｍ値決定部１１３は、Ｍ値がその他の値であるときにも、上記の（１），（２）の場合と同様に、Ｍ値を８にしたときに、動きベクトル制限の下で、スライス境界付近での動きベクトルの値が±１２８以内に収まると推定できたときには、Ｍ値を８に戻す。換言すれば、Ｍ値決定部１１３は、動きベクトル制限の下で、スライス境界付近で最適な動きベクトルを選択できると推定できた場合には、Ｍ値を８に戻す。その他の場合にも、Ｍａｖｇに応じて、スライス境界付近での動きベクトルの値が±１２８以内に収まるようにＭ値を決定する。
なお、上記の場合分け（閾値の設定）は一例であって、閾値を変えたり、より細かな場合分けをしてもよい。
第１の実施形態の映像符号化装置の制御は、以下のような考え方に基づく。
映像が、画面全体が速く動くシーンの映像であるときには、発生した全ての動きベクトルに対して、スライス境界付近でもスライス境界付近以外でも、値が大きい動きベクトルの数の比率が高い。しかし、動きベクトル制限があるので、スライス境界付近では、最適な動きベクトルが選択されていない可能性がある。そこで、判定部１１２は、スライス境界以外の領域において発生した符号化統計情報としての動きベクトル（動きベクトル制限はないので、正規の、換言すれば最適な動きベクトルである。）に基づいて、符号化対象の画面が速く動くシーンの映像の画面であるか否かを推定する。Ｍ値決定部１１３は、速く動くシーンの映像であると判定部１１２が推定した場合には、スライス境界付近において最適な動きベクトルを選択可能になるようにＭ値を変える。
なお、速く動くシーンの映像である場合には、スライス境界付近において最適な動きベクトルが選択されていない可能性があるので、速く動くシーンの映像であると推定されたことは、動きベクトル制限の下で、スライス境界付近において最適な動きベクトルが選択されていないと推定されたことと等価である。
また、上述したように、Ｍ値とＳＯＰ構造とは相関している。よって、Ｍ値決定部１１３がＭ値を決定することは、ＳＯＰ構造（すなわち、Ｌｘ（ｘ＝０，１，２，３）構造）を決定することと等価である。
実施形態２．
図４は、図１に示された映像符号化装置１００の第２の実施形態の動作を示すフローチャートである。
解析部１１１は、バッファ１０５に格納されている過去の符号化結果（例えば、直前フレームの符号化結果）を解析する。具体的には、解析部１１１は、スライス境界以外の範囲における全てのブロック（例えば、PU：Prediction Unit ）に対して、画面内予測（イントラ予測）が用いられたブロックの割合Ｐ１を算出し（ステップＳ２０１）、スライス境界付近の全てのブロックに対して、画面内予測が用いられたブロックの割合Ｐ２を算出する（ステップＳ２０２）。なお、第２の実施形態では、符号化統計情報は、スライス境界付近のブロックの予測モード（具体的には、画面内予測のブロックの数）であり、解析結果は、割合Ｐ１及び割合Ｐ２である。
判定部１１２は、割合Ｐ１と割合Ｐ２とを比較し、それらの乖離の程度を判定する。具体的には、割合Ｐ１と比較して、割合Ｐ２がかなり大きいか否かを判定する。判定部１１２は、例えば、割合Ｐ２と割合Ｐ１との差が所定値を越えているか否か判定する（ステップＳ２０３）。
Ｍ値決定部１１３は、割合Ｐ２と割合Ｐ１との差が所定値を越えている場合には、Ｍ値を小さくする（ステップＳ２０４）。なお、複数の所定値を設け、例えば、差が第１の所定値を越えているときにはＭ値を複数段階小さくし、差が第２の所定値（＜第１の所定値）を越えているときにはＭ値を１段階小さくするようにしてもよい。
また、Ｍ値決定部１１３は、割合Ｐ２と割合Ｐ１との差が所定値以下である場合には、Ｍ値を維持するか、又は、Ｍ値を大きくする（ステップＳ２０５）。例えば、Ｍ値決定部１１３は、差が第３の所定値（＜第２の所定値）以下であるときにはＭ値を大きくし、差が第３の所定値を越えているときにはＭ値を維持する。
第２の実施形態の映像符号化装置の制御は、以下のような考え方に基づく。
符号化部１０１は、画面内の各ブロックを符号化する際に、予測モードとして画面内予測と画面間予測（インター予測）とのいずれかを使用できる。映像が、画面全体が速く動くシーンの映像であるときには、スライス境界付近においても、画面間予測が使用されるときに値が大きい動きベクトルの数の発生率が高いと考えられる（動きベクトル制限がない場合）。動きベクトル制限があるので、スライス境界付近では、最適な動きベクトル（大きな動きベクトル）を発生することができず、その結果、スライス境界付近では、画面内予測が使用されることが多いと考えられる。スライス境界付近以外では、動きベクトル制限はないので、スライス境界付近に比べて、画面内予測が使用されることは少ないと考えられる。
よって、割合Ｐ１と割合Ｐ２とが大きく乖離している場合には、速く動くシーンの映像の信号が符号化部１０１に入力されていると推定される。
なお、速く動くシーンの映像である場合には、スライス境界付近において最適な動きベクトルが選択されていない可能性があるので、速く動くシーンの映像であると推定されたことは、動きベクトル制限の下で、割合Ｐ１と割合Ｐ２とが大きく乖離していることと等価である。
大きく乖離しているか否か判定するための所定値として、一例として、経験的又は実験的に、そのような値を閾値として使用すれば、スライス境界付近において最適な動きベクトルが選択されていない可能性があることを推定可能な値が選択される。
実施形態３．
図５は、図１に示された映像符号化装置１００の第３の実施形態の動作を示すフローチャートである。
解析部１１１は、バッファ１０５に格納されている過去の符号化結果（例えば、直前フレームの符号化結果）を解析する。具体的には、解析部１１１は、以前のフレーム（例えば、現在の符号化対象のフレームの２フレーム前）のスライス境界付近のブロックにおける発生符号量Ｃ１を算出する（ステップＳ３０１）。また、解析部１１１は、直前のフレームのスライス境界付近のブロックにおける発生符号量Ｃ２を算出する（ステップＳ３０２）。なお、第３の実施形態では、符号化統計情報は、スライス境界付近のブロックの発生符号量であり、解析結果は、発生符号量Ｃ１及び発生符号量Ｃ２である。
判定部１１２は、発生符号量Ｃ１と発生符号量Ｃ２とを比較し、それらの乖離の程度を判定する。具体的には、発生符号量Ｃ１と比較して、発生符号量Ｃ２がかなり大きいか否かを判定する。判定部１１２は、例えば、発生符号量Ｃ２と発生符号量Ｃ１との差が所定量を越えているか否か判定する（ステップＳ３０３）。
Ｍ値決定部１１３は、発生符号量Ｃ２と発生符号量Ｃ１との差が所定量を越えている場合には、Ｍ値を小さくする（ステップＳ３０４）。なお、複数の所定量を設け、例えば、差が第１の所定量を越えているときにはＭ値を複数段階小さくし、差が第２の所定量（＜第１の所定量）を越えているときにはＭ値を１段階小さくするようにしてもよい。
また、Ｍ値決定部１１３は、発生符号量Ｃ２と発生符号量Ｃ１との差が所定量以下である場合には、Ｍ値を維持するか、又は、Ｍ値を大きくする（ステップＳ３０５）。例えば、Ｍ値決定部１１３は、差が第３の所定量（＜第２の所定量）以下であるときにはＭ値を大きくし、差が第３の所定量を越えているときにはＭ値を維持する。
第３の実施形態の映像符号化装置の制御は、以下のような考え方に基づく。
上述したように、画面全体が速く動くシーンの映像であるときには、スライス境界付近においても、画面間予測が使用されるときに値が大きい動きベクトルの数の比率が高いと考えられる（動きベクトル制限がない場合）。しかし、動きベクトル制限があるので、スライス境界付近では、最適な動きベクトル（大きな動きベクトル）を発生することができず、その結果、スライス境界付近では、画面内予測が使用されることが多いと考えられる。一般に、画面間予測が使用されるときに比べて、画面内予測が使用されるときには、発生符号量は多くなる。
よって、発生符号量Ｃ１と比較して、発生符号量Ｃ２がかなり多い場合には、速く動くシーンの映像の信号が符号化部１０１に入力される状況に変化したと推定される。
なお、速く動くシーンの映像になった場合には、スライス境界付近において最適な動きベクトルが選択されない可能性があるので、速く動くシーンの映像になったと推定されたことは、動きベクトル制限の下で、発生符号量Ｃ２が大きく増えたことと等価である。
大きく増えたか否か判定するための所定量として、一例として、経験的又は実験的に、そのような量を閾値として使用すれば、スライス境界付近において最適な動きベクトルが選択されない可能性があることを推定可能な値が選択される。
以上に説明したように、上記の各実施形態では、過去の符号化結果（符号化統計情報）に基づいてＭ値が適応的に切替えられる。符号化統計情報に基づいて動きベクトル制限の下で、スライス境界付近で最適な動きベクトル（換言すれば、動きベクトル制限を外れる動きベクトル）を選択できるか否かが推定される。選択できないと推定され場合には、Ｍ値はより小さな値に変更される。選択できると判定された場合、そのときのＭ値でも動きベクトル制限の下でスライス境界付近で最適な動きベクトルを選択できると考えられるので、Ｍ値は、維持されるか、又は、より大きな値に変更される。
その結果、動きベクトル制限によってスライス境界付近で最適な動きベクトルを選択できない状態になることをでるだけ回避でき、局所的な画質劣化が生ずる可能性を低減できる。すなわち、動きの速さに応じてＭ値が適応的に切替えられるので、好適な画質を得ることができる。
また、符号化結果（例えば、直前のフレームの符号化結果）に基づいてＭ値を切り替えることができるので、事前解析（現在のフレームを符号化する際に前処理として実行される解析処理）を行う必要がなく、事前解析を行う場合と比較して、符号化のための処理時間が延びてしまうことが防止される。
なお、映像符号化装置１００において、第１〜第３の実施形態のうちの任意の２つ又は全ての形態が組み込まれるように、解析部１１１、判定部１１２及びＭ値決定部１１３が構成されていてもよい。
さらに、映像符号化装置１００において、Ｍ値決定部１１３は外部から設定されるSDR とHDR の切り替え情報も用いて符号化構造を決定し、さらに、エントロピー符号化器１０７がSDR とHDR の切り替え情報を映像復号装置側に伝送してもよい。
具体的には、Ｍ値決定部１１３は、外部から設定されるSDR とHDR の切り替えの位置（時間位置）で符号化シーケンス（CVS ）を終端できるように、M値を制御する。
説明の簡単のため、現在の時間位置のフレームから切り替え時間位置のフレームまでのフレーム数をfNumSwitch、仮決定したＭ値をＭとする。
fNumSwitchが１以上で、かつ、ＭがfNumSwitchよりも大きな時、Ｍ値決定部１１３は、MをfNumSwitch以下の値に更新する。
その他の場合で、fNumSwitchが０の時、Ｍ値決定部は、過去に符号化したフレームでCVS が終端されるように、Ｍを１とする。つまり、映像符号化装置は、現在のフレームをIDR ピクチャとして圧縮することになる。さらに、エントロピー符号化器１０７は、SDR とHDR の切り替え情報を映像復号装置側に伝送するために、IDR ピクチャのSPS のVUI のtransfer_characteristicsシンタクスに、切り替わったSDR またはHDR の情報を設定する。例えば、HLG のHDR に切り替わった場合transfer_characteristicsシンタクスに18を設定し、PQのHDR に切り替わった場合transfer_characteristicsシンタクスに16を設定し、Rec. ITU-R BT.2020のSDR に切り替わった場合transfer_characteristicsシンタクスに14を設定し、IEC 61966-2-4 のSDR に切り替わった場合transfer_characteristicsシンタクスに11を設定し、Rec. ITU-R BT.709 のSDR に切り替わった場合transfer_characteristicsシンタクスに1 を設定する。なお、このとき、エントロピー符号化器１０７は、IDR ピクチャのビットストリームよりも前に、EOS のビットストリームを出力してもよい。
その他の場合、Ｍ値決定部１１３は、Ｍをそのまま出力する。
なお、上述したSDR やHDR に対応するtransfer_characteristicsシンタクスの値と特性の関係は以下の表の通りである。
Figure 0006132006
また、図２に示された映像復号装置は、第１〜第３の実施形態において例示されたような、動きベクトル制限を満たす範囲で設定されたＭ値を用いて符号化されたビットストリームを復号する。
さらに、図２に示された映像復号装置は、ビットストリームの復号によって、映像符号化装置側から伝送されたSDR とHDR の切り替え情報を受信することもできる。
具体的には、映像復号装置のエントロピー復号器２０２は、SPSのVUIのtransfer_characteristicsシンタクスの値を復号することでSDR とHDR の切り替え情報を受信できる。例えば、transfer_characteristicsシンタクスが18の場合HLG のHDR への切り替わりを受信し、transfer_characteristicsシンタクスが16の場合PQのHDR への切り替わりを受信し、transfer_characteristicsシンタクスが14の場合Rec. ITU-R BT.2020のSDR への切り替わりを受信し、transfer_characteristicsシンタクスが11の場合IEC 61966-2-4 のSDR への切り替わりを受信し、transfer_characteristicsシンタクスが1 の場合Rec. ITU-R BT.709 への切り替わりを受信できる。ここで、SDR とHDR の切り替えは、Ｍ＝１で符号化されたIDR ピクチャのSPS の復号だけで受信（検出）されることはいうまでもない。また、IDR ビットストリームの前にはEOS のビットストリームが受信（検出）されていてもよいことはいうまでもない。
上記の映像復号装置を利用した受信端末は、SDR とHDR の切り替え情報を知ることができ、映像信号の特性に応じた映像表示を調整できる。つまり、SDR とHDR の切り替え表示に対応しつつ、画質劣化が抑制された映像表示ができる。
図６は、映像システムの一例を示すブロック図である。図６に示す映像システムは、上記の各実施形態の映像符号化装置１００と図２に示された映像復号装置２００とが、無線伝送路又は有線伝送路３００で接続されるシステムである。映像符号化装置１００は、上記の第１〜第３の実施形態のいずれかの映像符号化装置１００であるが、映像符号化装置１００において、第１〜第３の実施形態のうちの任意の２つ又は全ての処理を実行するように、解析部１１１、判定部１１２及びＭ値決定部１１３が構成されていてもよい。
なお、上記の例では、SDR とHDR の切り替え情報を映像復号側に伝送する伝送手段は、エントロピー符号化器１０７で実現される。また、符号化された映像と映像符号化側から伝送されたSDR とHDR の切り替え情報を復号する復号手段は、エントロピー復号器２０２で実現される。しかし、エントロピー符号化を行うエントロピー符号化器が、エントロピー符号化器による符号化データとSDR とHDR の切り替え情報とを多重化する多重化器とは分離して構成され、エントロピー復号を行うエントロピー復号器が、多重化ビットストリームからSDR とHDR の切り替え情報と映像とを分離する多重化解除器とは分離して構成されている場合には、映像システムを、多重化器を含まない部分で構成される映像符号化装置と、多重化解除器を含まない部分で構成される映像復号装置とで構成されるシステムとしてもよい。
図７は、映像システムの他の例を示すブロック図である。図７に示す映像システムは、音声符号化部４０１、映像符号化部４０２及び多重化部４０３を含む。
音声符号化部４０１は、映像と音声とを含むデータ（コンテンツ）のうちの音声信号を、例えばARIB STD-B32規格で規定されるMPEG-4 AAC(Advanced Audio Coding) 規格やMPEG-4 ALS 規格(Audio Lossless Coding) に基づいて符号化することによって音声ビットストリームを作成して出力する。
映像符号化部４０２は、例えば、図１に示すように構成され、映像ビットストリームを作成して出力する。
多重化部４０３は、例えばARIB STD-B32規格に基づいて、音声ビットストリーム、映像ビットストリーム及びその他の情報を多重化することによって音声ビットストリームを作成して出力する。
また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
図８に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３およびビットストリームを格納するための記憶媒体１００４を備える。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
図８に示された情報処理システムにおいて、プログラムメモリ１００２には、図１，図２のそれぞれに示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラム（映像符号化プログラム又は映像復号プログラム）が格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図１，図２のそれぞれに示された映像符号化装置または映像復号装置の機能を実現する。
図９は、映像符号化装置の主要部を示すブロック図である。図９に示すように、映像符号化装置１０は、符号化統計情報を解析する解析部１１（実施形態における解析部１１１に相当）と、解析部１１の解析結果に基づいて、スライス境界付近で最適な動きベクトルを選択できるか否かを推定する推定部１２（実施形態では、判定部１１２で実現される。）と、推定部１２の推定結果およびSDR とHDR の切り替え情報に基づいて、符号化構造を、Temporal ID が０のピクチャだけで構成されるSOP 構造、Temporal ID が０のピクチャおよび１のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、および２のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、２のピクチャおよび３のピクチャで構成されるSOP 構造のいずれかに適応的に決定する符号化構造決定部１３（実施形態では、Ｍ値決定部１１３で実現される。）と、SDR とHDR の切り替え情報を映像復号側に伝送する伝送手段１４（実施形態では、エントロピー符号化器１０７で実現される。）とを備える。
図１０は、映像復号装置の主要部を示すブロック図である。図１０に示すように、映像復号装置２０は、Temporal ID が０のピクチャだけで構成されるSOP 構造、Temporal ID が０のピクチャおよび１のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、および２のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、２のピクチャ、および３のピクチャで構成されるSOP 構造のいずれかで符号化された映像と映像符号化側から伝送されたSDR とHDR の切り替え情報を復号する復号部２１（実施形態では、エントロピー復号器２０２で実現される。）を備える。
なお、復号部２１は、設定された符号化構造としての、Temporal IDが0のピクチャだけで構成されるSOP 構造、Temporal ID が０のピクチャおよび１のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、および、２のピクチャで構成されるSOP 構造、Temporal ID が０のピクチャ、１のピクチャ、２のピクチャ、および３のピクチャで構成されるSOP 構造のいずれかのSOP 構造に基づいて符号化されたビットストリームを復号することができる。
さらに、復号部２１は、図１１に示すような4個のスライスに分割されて、さらに、図１２に示すような、あるスライスのPUが別のスライスを動き補償（MC）参照する場合に、スライス境界を跨ぐ同PUのMC参照はスライス境界から１２８ライン以内の画素のみを参照するように制限されて、符号化されたビットストリームを復号できる。
なお、実施形態では、１２０Ｐの動画像を扱う場合、映像符号化および復号側で図１３に示すような、以下のSOP 構造を用いることができる。
・Ｌ＝０の構造：Temporal ID が0のピクチャだけで構成されるSOP 構造（つまり、同SOP に含まれるピクチャの段数は１つである。最大Temporal ID を示すＬが０であるともいえる。）
・Ｌ＝１の構造：Temporal ID が０のピクチャおよび１（またはＭ）のピクチャで構成されるSOP 構造（つまり、同SOP に含まれるピクチャの段数は２つである。最大Temporal ID を示すＬが１（またはＭ）であるともいえる。）
・Ｌ＝２の構造：Temporal ID が０のピクチャ、１のピクチャ、および、２（またはＭ）のピクチャで構成されるSOP 構造（つまり、同SOP に含まれるピクチャの段数は３つである。最大Temporal ID を示すＬが２（またはＭ）であるともいえる。）
・Ｌ＝３の構造：Temporal ID が０のピクチャ、１のピクチャ、２のピクチャ、および３（またはＭ）のピクチャで構成されるSOP 構造（つまり、同SOP に含まれるピクチャの段数は４つである。最大Temporal ID を示すＬが３（またはＭ）であるともいえる。）
・Ｌ＝４の構造：Temporal ID が０のピクチャ、１のピクチャ、２のピクチャ、３のピクチャ、および、４（またはＭ）のピクチャで構成されるSOP 構造（つまり、同SOP に含まれるピクチャの段数は４つである。最大Temporal ID を示すＬが４（またはＭ）であるともいえる。）
１０ 映像符号化装置
１１ 解析部
１２ 推定部
１３ 符号化構造決定部
１４ 伝送部
２０ 映像復号装置
２１ 復号部
１００ 映像符号化装置
１０１ 符号化部
１０２ 画面分割器
１０３ 周波数変換／量子化器
１０４ 逆量子化／逆周波数変換器
１０５ バッファ
１０６ 予測器
１０７ エントロピー符号化器
１１１ 解析部
１１２ 判定部
１１３ Ｍ値決定部
２００ 映像復号装置
２０２ エントロピー復号器
２０３ 逆量子化／逆周波数変換器
２０４ 予測器
２０５ バッファ
４０１ 音声符号化部
４０２ 映像符号化部
４０３ 多重化部
１００１ プロセッサ
１００２ プログラムメモリ
１００３，１０００４ 記憶媒体

Claims (4)

  1. ダイナミックレンジに関する映像信号の情報を用い、複数のSOP 構造を使用してビットストリームを生成する映像符号化方法であって、
    時間方向で、符号化対象の映像信号がSDR （Standard Dynamic Range）からHDR （High Dynamic Rang ）に切り替わるとき、または、HDR からSDR に切り替わるとき、前記ダイナミックレンジを切り替えるための前記ダイナミックレンジに関する映像信号の情報を伝送可能にするために、切り替わり後の先頭のSOP のSOP 構造をTemporal ID が０のピクチャだけで構成されるSOP 構造に設定する
    ことを特徴とする映像符号化方法。
  2. ダイナミックレンジに関する映像信号の情報を用い、複数のSOP 構造を使用してビットストリームを生成する映像符号化装置であって、
    時間方向で、符号化対象の映像信号がSDR （Standard Dynamic Range）からHDR （High Dynamic Rang ）に切り替わるとき、または、HDR からSDRに切り替わるとき、前記ダイナミックレンジを切り替えるための前記ダイナミックレンジに関する映像信号の情報を伝送可能にするために、切り替わり後の先頭のSOP のSOP 構造をTemporal ID が０のピクチャだけで構成されるSOP 構造に設定する符号化構造制御手段を備える
    ことを特徴とする映像符号化装置。
  3. ダイナミックレンジに関する映像信号の情報を用い、複数のSOP 構造を使用してビットストリームを生成する映像符号化装置におけるコンピュータに、
    時間方向で、符号化対象の映像信号がSDR （Standard Dynamic Range）からHDR （High Dynamic Rang ）に切り替わるとき、または、HDR からSDRに切り替わるとき、前記ダイナミックレンジを切り替えるための前記ダイナミックレンジに関する映像信号の情報を伝送可能にするために、切り替わり後の先頭のSOP のSOP 構造をTemporal ID が０のピクチャだけで構成されるSOP 構造に設定する処理を実行させるための
    映像符号化プログラム。
  4. 請求項２に記載の映像符号化装置と、
    音声信号を符号化する音声符号化部と、
    前記映像符号化装置からのビットストリームと前記音声符号化部からのビットストリームとを多重化して出力する多重化部と
    を備える映像システム。
JP2015235525A 2015-12-02 2015-12-02 映像符号化装置、映像システム、映像符号化方法、及び映像符号化プログラム Active JP6132006B1 (ja)

Priority Applications (11)

Application Number Priority Date Filing Date Title
JP2015235525A JP6132006B1 (ja) 2015-12-02 2015-12-02 映像符号化装置、映像システム、映像符号化方法、及び映像符号化プログラム
CA3077470A CA3077470C (en) 2015-12-02 2016-11-14 Video encoding method, video encoding device, video decoding method, video decoding device, program, and video system
KR1020187014826A KR102198120B1 (ko) 2015-12-02 2016-11-14 비디오 인코딩 방법, 비디오 인코딩 디바이스, 비디오 디코딩 방법, 비디오 디코딩 디바이스, 프로그램, 및 비디오 시스템
EP16870421.1A EP3386200A4 (en) 2015-12-02 2016-11-14 VIDEO CODING METHOD, VIDEO CODING APPARATUS, VIDEO DECODING METHOD, VIDEO DECODING APPARATUS, PROGRAM, AND VIDEO SYSTEM
PCT/JP2016/083681 WO2017094482A1 (ja) 2015-12-02 2016-11-14 映像符号化方法、映像符号化装置、映像復号方法、映像復号装置、及びプログラム、並びに映像システム
CA3138227A CA3138227C (en) 2015-12-02 2016-11-14 Video encoding method, video encoding device, video decoding method, video decoding device, program, and video system
BR112018010465-5A BR112018010465B1 (pt) 2015-12-02 2016-11-14 Método de codificação de vídeo e dispositivo de codificação de vídeo para gerar um fluxo de bits e sistema de vídeo
KR1020207037536A KR102242880B1 (ko) 2015-12-02 2016-11-14 비디오 인코딩 방법, 비디오 인코딩 디바이스, 비디오 디코딩 방법, 비디오 디코딩 디바이스, 및 컴퓨터 판독가능 정보 기록 매체
US15/777,980 US10645421B2 (en) 2015-12-02 2016-11-14 Video encoding method, video encoding device, video decoding method, video decoding device, program, and video system
CA3006941A CA3006941C (en) 2015-12-02 2016-11-14 Video encoding method, video encoding device, video decoding method, video decoding device, program, and video system
US16/824,778 US10827201B2 (en) 2015-12-02 2020-03-20 Video encoding method, video encoding device, video decoding method, video decoding device, program, and video system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015235525A JP6132006B1 (ja) 2015-12-02 2015-12-02 映像符号化装置、映像システム、映像符号化方法、及び映像符号化プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017018377A Division JP6241558B2 (ja) 2017-02-03 2017-02-03 映像符号化装置、映像システム、映像符号化方法、及び映像符号化プログラム

Publications (2)

Publication Number Publication Date
JP6132006B1 true JP6132006B1 (ja) 2017-05-24
JP2017103622A JP2017103622A (ja) 2017-06-08

Family

ID=58745672

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015235525A Active JP6132006B1 (ja) 2015-12-02 2015-12-02 映像符号化装置、映像システム、映像符号化方法、及び映像符号化プログラム

Country Status (7)

Country Link
US (2) US10645421B2 (ja)
EP (1) EP3386200A4 (ja)
JP (1) JP6132006B1 (ja)
KR (2) KR102242880B1 (ja)
BR (1) BR112018010465B1 (ja)
CA (3) CA3006941C (ja)
WO (1) WO2017094482A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415634A (zh) * 2018-04-27 2019-11-05 苹果公司 用于高动态范围显示器的标准和高动态范围显示系统和方法
CN111083480A (zh) * 2019-12-10 2020-04-28 四川新视创伟超高清科技有限公司 一种基于cpu的8k超高清视频高速编码方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017235369B2 (en) 2016-03-18 2022-02-03 Koninklijke Philips N.V. Encoding and decoding HDR videos
US10979729B2 (en) * 2016-11-30 2021-04-13 Qualcomm Incorporated Systems and methods for signaling and constraining a high dynamic range (HDR) video system with dynamic metadata
WO2018131986A1 (ko) * 2017-01-16 2018-07-19 세종대학교 산학협력단 영상의 부호화/복호화 방법 및 장치
US11272213B2 (en) * 2017-09-22 2022-03-08 Dolby Laboratories Licensing Corporation Backward compatible display management metadata compression
JP7098475B2 (ja) * 2018-08-07 2022-07-11 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP7067367B2 (ja) * 2018-08-24 2022-05-16 日本電信電話株式会社 映像送信装置及び映像送信方法
CN117063465A (zh) * 2021-03-30 2023-11-14 日本电气株式会社 视频编码设备、视频解码设备、视频编码方法、视频解码方法和视频系统
CN113824914B (zh) * 2021-08-12 2022-06-28 荣耀终端有限公司 视频处理方法、装置、电子设备和存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
JP2008118221A (ja) * 2006-10-31 2008-05-22 Toshiba Corp 復号装置及び復号方法
US9338389B2 (en) * 2011-10-20 2016-05-10 Dolby Laboratories Licensing Corporation Method and system for video equalization
AR091515A1 (es) 2012-06-29 2015-02-11 Sony Corp Dispositivo y metodo para el procesamiento de imagenes
JP6279220B2 (ja) 2013-03-15 2018-02-14 宮川化成工業株式会社 蒸気量測定装置
EP3926963A3 (en) * 2013-04-30 2022-01-26 Saturn Licensing LLC Transmitting device, transmitting method, receiving device, and receiving method
JP2015008361A (ja) * 2013-06-24 2015-01-15 ソニー株式会社 再生装置、再生方法、および記録媒体
MX367832B (es) * 2014-01-24 2019-09-09 Sony Corp Dispositivo de transmisión, método de transmisión, dispositivo de recepción y método de recepción.
MX366333B (es) * 2014-02-21 2019-07-05 Sony Corp Dispositivo de transmision, metodo de transmision, dispositivo de recepcion, y metodo de recepcion.
US20180070083A1 (en) * 2015-03-24 2018-03-08 Sony Corporation Transmission device, transmission method, reception device, and reception method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110415634A (zh) * 2018-04-27 2019-11-05 苹果公司 用于高动态范围显示器的标准和高动态范围显示系统和方法
CN111083480A (zh) * 2019-12-10 2020-04-28 四川新视创伟超高清科技有限公司 一种基于cpu的8k超高清视频高速编码方法
CN111083480B (zh) * 2019-12-10 2022-11-04 四川新视创伟超高清科技有限公司 一种基于cpu的8k超高清视频高速编码方法

Also Published As

Publication number Publication date
US10645421B2 (en) 2020-05-05
EP3386200A4 (en) 2019-09-04
KR102198120B1 (ko) 2021-01-04
JP2017103622A (ja) 2017-06-08
BR112018010465B1 (pt) 2020-03-03
WO2017094482A1 (ja) 2017-06-08
KR20210002124A (ko) 2021-01-06
CA3138227A1 (en) 2017-06-08
CA3077470A1 (en) 2017-06-08
BR112018010465A8 (pt) 2019-02-26
CA3006941A1 (en) 2017-06-08
US20180352260A1 (en) 2018-12-06
KR20180077209A (ko) 2018-07-06
US20200221132A1 (en) 2020-07-09
EP3386200A1 (en) 2018-10-10
CA3138227C (en) 2023-07-04
KR102242880B1 (ko) 2021-04-20
CA3077470C (en) 2021-12-14
CA3006941C (en) 2020-05-05
US10827201B2 (en) 2020-11-03
BR112018010465A2 (ja) 2018-08-28

Similar Documents

Publication Publication Date Title
JP6132006B1 (ja) 映像符号化装置、映像システム、映像符号化方法、及び映像符号化プログラム
KR102435739B1 (ko) 인트라 예측 모드 스케일러블 코딩 방법 및 장치
US20170064323A1 (en) Scalable video coding method and apparatus using intra prediction mode
US11706426B2 (en) Method for decoding image on basis of CCLM prediction in image coding system, and device therefor
US20160127728A1 (en) Video compression apparatus, video playback apparatus and video delivery system
US9762912B2 (en) Gradual updating using transform coefficients for encoding and decoding
US20220337814A1 (en) Image encoding/decoding method and device using reference sample filtering, and method for transmitting bitstream
JP6241565B2 (ja) 映像符号化装置、映像システム、映像符号化方法、及び映像符号化プログラム
JP6677230B2 (ja) 映像符号化装置、映像復号装置、映像システム、映像符号化方法、及び映像符号化プログラム
JP6241558B2 (ja) 映像符号化装置、映像システム、映像符号化方法、及び映像符号化プログラム
JP6489227B2 (ja) 映像符号化装置及び映像符号化方法
KR20230015392A (ko) Gci를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170321

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170403

R150 Certificate of patent or registration of utility model

Ref document number: 6132006

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150