JP7475455B2 - ビデオの符号化および復号のためのハイレベルシンタックス - Google Patents
ビデオの符号化および復号のためのハイレベルシンタックス Download PDFInfo
- Publication number
- JP7475455B2 JP7475455B2 JP2022540581A JP2022540581A JP7475455B2 JP 7475455 B2 JP7475455 B2 JP 7475455B2 JP 2022540581 A JP2022540581 A JP 2022540581A JP 2022540581 A JP2022540581 A JP 2022540581A JP 7475455 B2 JP7475455 B2 JP 7475455B2
- Authority
- JP
- Japan
- Prior art keywords
- header
- slice
- picture
- information
- flag
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 100
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 69
- 241000023320 Luma <angiosperm> Species 0.000 claims description 61
- 230000006978 adaptation Effects 0.000 claims description 31
- 230000003044 adaptive effect Effects 0.000 claims description 25
- 238000013139 quantization Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 6
- 230000011664 signaling Effects 0.000 description 66
- 238000004891 communication Methods 0.000 description 37
- 238000013507 mapping Methods 0.000 description 27
- 239000013598 vector Substances 0.000 description 25
- 230000008569 process Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000002123 temporal effect Effects 0.000 description 12
- 230000001419 dependent effect Effects 0.000 description 7
- 238000001914 filtration Methods 0.000 description 7
- 208000031212 Autoimmune polyendocrinopathy Diseases 0.000 description 6
- 108091000069 Cystinyl Aminopeptidase Proteins 0.000 description 6
- 102100020872 Leucyl-cystinyl aminopeptidase Human genes 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 101150039623 Clip1 gene Proteins 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 229920000069 polyphenylene sulfide Polymers 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 108010063123 alfare Proteins 0.000 description 1
- 235000019395 ammonium persulphate Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000000261 appearance potential spectroscopy Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
-マイクロプロセッサなどの中央処理装置311(CPUと表記);
-本発明を実施するためのコンピュータプログラムを格納するための読み出し専用メモリ306(ROMと表記);
-本発明の実施形態の方法の実行可能コード、ならびに本発明の実施形態によるデジタル画像のシーケンスを符号化する方法および/またはビットストリームを復号する方法を実施するために必要な変数およびパラメータを記録するために適合されたレジスタを記憶するためのランダムアクセスメモリ312(RAMと表記);および
-処理されるデジタルデータが送受信される通信ネットワーク303に接続される通信インタフェース302
に接続された通信バス313を含む。
-本発明の1つ以上の実施形態の方法を実施するためのコンピュータプログラム、および本発明の1つ以上の実施形態の実施中に使用または生成されるデータを格納するための、データ格納手段304(ハードディスク);
-ディスク306のためのディスクドライブ305であって、ディスクドライブは、ディスク306からデータを読み取るか、またはディスクにデータを書き込むように適合されている;
-キーボード310または他の任意のポインティング手段によって、データを表示するため、および/またはユーザとのグラフィカルインタフェースとして機能するためのスクリーン309。
「pic_typeは、AUデリミタNALユニットを含むAU内の符号化ピクチャの全スライスのslice_type値が、表2のpic_typeの値で示される集合のメンバであることを示す。pic_typeの値は、本規格の本バージョンに準拠したビットストリームにおいて、0、1、または2でなければならない。pic_typeの他の値は、ITU-TやISO/IECが将来使用するために予約されている。本仕様に準拠する復号器は、pic_typeの予約値を無視するものとする。」
NALユニットスライス層は、表3に示すように、スライスヘッダとスライスデータを含む。
アダプテーションパラメータセット(APS)NALユニット605は、シンタックス要素を示す表4で定義されている。
・ALF_AP:ALFパラメータ用
・LMCS_APS:LMCSパラメータ用
・SCALING_APS:スケーリングリスト相対パラメータ用
ALFのパラメータは、アダプティブループフィルタのデータシンタックス要素に記述される(表5)。まず、4つのフラグにより、ルマおよびクロマのALFフィルタの有無、CbおよびCr成分のCC-ALF(クロスコンポーネント-アダプティブループフィルタ)の有無が指定される。ルマフィルタフラグが有効な場合、クリップ値がシグナリングされているかどうかを知るために、別のフラグが復号される(alf_luma_clip_flag)。次に、alf_luma_num_filters_signalled_minus1シンタックス要素を使用して、シグナリングされたフィルタの数が復号される。必要であれば、ALF係数デルタを表すシンタックス要素”alf_luma_coeff_delta_idx”は、各有効なフィルタに対して復号される。その後、各フィルタの各係数の絶対値と符号が復号される。
以下の表6は、aps_params_typeパラメータが1に設定されるとき(LMCS_APS)、アダプテーションパラメータセット(APS)シンタックス構造で符号化されるすべてのLMCSシンタックス要素を与える。最大4つのLMCS_APSは、符号化されたビデオシーケンスにおいて使用することができるが、与えられたピクチャに対して単一のLMCS_APSのみを使用することができる。
スケーリングリストは、定量化に使用される量子化マトリックスを更新する可能性を提供する。VVCでは、このスケーリングマトリックスは、スケーリングリストデータシンタックス要素(表7のスケーリングリストデータシンタックス)で説明されているように、APSでシグナリングされる。最初のシンタックス要素は、フラグscaling_matrix_for_lfnst_disabled_flagに基づいて、LFNST(低周波非分離変換)ツールにスケーリングマトリックスが使用されるかどうかを指定する。2つ目は、クロマコンポーネントのためにスケーリングリストが使用される場合に指定される(scaling_list_chroma_present_flag)。それから、スケーリングマトリックスを構築するために必要なシンタックス要素が復号される(scaling_list_copy_mode_flag,scaling_list_pred_mode_flag,scaling_list_pred_id_delta,scaling_list_dc_coef,scaling_list_delta_coef)。
ピクチャヘッダは各ピクチャの先頭で他のスライスデータより先に伝送される。これは、以前の標準草案におけるヘッダと比較して非常に大きなものである。これらすべてのパラメータの完全な説明は、JVET-Q2001-vDに記載されている。表9は、現在のピクチャヘッダ復号シンタックスにおけるこれらのパラメータを示す。
・このピクチャの使い方、参照フレームか否か
・ピクチャのタイプ
・出力フレーム
・ピクチャの番号
・サブピクチャ利用(必要な場合)
・参照画像リスト(必要な場合)
・カラープレーン(必要な場合)
・上書きフラグが有効な場合のパーティション更新
・デルタQPパラメータ(必要な場合)
・動き情報パラメータ(必要な場合)
・ALFパラメータ(必要な場合)
・SAOパラメータ(必要な場合)
・定量化パラメータ(必要な場合)
・LMCSパラメータ(必要な場合)
・スケーリングリストパラメータ(必要な場合)
・ピクチャヘッダ拡張(必要な場合)
・などなど...。
最初のフラグはgdr_or_irap_pic_flagで、現在のピクチャが再同期ピクチャ(IRAPまたはGDR)であるかどうかを示すものである。このフラグが真の場合、gdr_pic_flagは、現在のピクチャがIRAPまたはGDRピクチャであるかどうかを知るために復号される。
現在のピクチャに関する重要な情報を記述するこれらのパラメータの後、ALFがSPSレベルで有効である場合、およびALFがピクチャヘッダレベルで有効である場合、ALFのAPS_IDシンタックス要素の集合が復号される。ALFは、sps_alf_enabled_flagフラグにより、SPSレベルで有効である。また、ALFシグナリングは、alf_info_in_ph_flagが1であるためピクチャヘッダレベルで有効であり、それ以外の場合(alf_info_in_ph_flagが0)はALFシグナリングはスライスレベルでシグナリングされる。
「1であるalf_info_in_ph_flagは、ALF情報がPHシンタックス構造に存在し、PHシンタックス構造を含まないPPSを参照するスライスヘッダには存在しないことを指定する。0であるalf_info_in_ph_flagは、ALF情報がPHシンタックス構造には存在せず、PHシンタックス構造を含まないPPSを参照するスライスヘッダに存在し得ることを指定する。」
LMCSがSPSレベルで有効であった場合、LMCSのAPS_IDシンタックス要素のセットが次に復号される。まず、ph_lmcs_enabled_flagが復号され、現在のピクチャに対してLMCSが有効であるか否かが判断される。LMCSが有効な場合、ID値ph_lmcs_aps_idが復号される。クロマのみに対して、ph_chroma_residual_scale_flagが復号され、クロマに対するメソッドを有効または無効にする。
スケーリングリストがSPSレベルで有効である場合、スケーリングリストのAPS_IDのセットが次に復号される。ph_scaling_list_present_flagは、現在のピクチャに対してスケーリングマトリックスが有効であるか否かを決定するために復号される。そして、APS_IDの値であるph_scaling_list_aps_idが復号される。
サブピクチャパラメータは、SPSで有効になっておりサブピクチャIDシグナリングが無効になっている場合に有効である。また、仮想境界に関するいくつかの情報を含む。サブピクチャパラメータについては、8つのシンタックス要素が定義されている。
・ph_virtual_boundaries_present_flag
・ph_num_ver_virtual_boundaries
・ph_virtual_boundaries_pos_x[i]
・ph_num_hor_virtual_boundaries
・ph_virtual_boundaries_pos_y[i]
これらのサブピクチャパラメータの後には、存在すればpic_output_flagが続く。
参照ピクチャリストがピクチャヘッダで通知される場合(rpl_info_in_ph_flagが1)、参照ピクチャリストのパラメータref_pic_lists()は復号され、以下のシンタックス要素を含んでいる:
・rpl_sps_flag[]
・rpl_idx[]
・poc_lsb_lt[][]
・delta_poc_msb_present_flag[][]
・delta_poc_msb_cycle_lt[][]
パーティションパラメータのセットは、必要に応じて復号され、以下のシンタックス要素を含む:
・partition_constraints_override_flag
・ph_log2_diff_min_qt_min_cb_intra_slice_luma
・ph_max_mtt_hierarchy_depth_intra_slice_luma
・ph_log2_diff_max_bt_min_qt_intra_slice_luma
・ph_log2_diff_max_tt_min_qt_intra_slice_luma
・ph_log2_diff_min_qt_min_cb_intra_slice_chroma
・ph_max_mtt_hierarchy_depth_intra_slice_chroma
・ph_log2_diff_max_bt_min_qt_intra_slice_chroma
・ph_log2_diff_max_tt_min_qt_intra_slice_chroma
・ph_log2_diff_min_qt_min_cb_inter_slice
・ph_max_mtt_hierarchy_depth_inter_slice
・ph_log2_diff_max_bt_min_qt_inter_slice
・ph_log2_diff_max_tt_min_qt_inter_slice
重み付き予測パラメータpred_weight_table()は、PPSレベルで重み付き予測方法が有効であり、かつ重み付き予測パラメータがピクチャヘッダでシグナリングされている場合(wp_info_in_ph_flagが1)、復号される。
ピクチャがイントラの場合、必要に応じてph_cu_qp_delta_subdiv_intra_sliceとph_cu_chroma_qp_offset_subdiv_intra_sliceが復号される。また、インタースライスが許可されている場合、ph_cu_qp_delta_subdiv_inter_sliceとph_cu_chroma_qp_offset_subdiv_inter_sliceは、必要に応じて復号される。最後に、必要に応じてピクチャヘッダ拡張シンタックス要素が復号される。
スライスヘッダは、各スライスの先頭で送信される。スライスヘッダは、約65個のシンタックス要素を含む。これは、以前のビデオ符号化規格のスライスヘッダと比較して非常に大きい。すべてのスライスヘッダパラメータの完全な説明は、JVET-Q2001-vDに記載されている。表10は、現在のスライスヘッダ復号シンタックスにおけるこれらのパラメータを示す。
特定のシグナリング方法では、図7に描かれているように、ピクチャヘッダ708は、スライスヘッダ710の内部でシグナリングされ得る。その場合、ピクチャヘッダ608のみを含むNALユニットは存在しない。ユニット701、702、703、704、705、706、707、720、740は、図6の601、602、603、604、605、606、607、620、640に対応しており、したがって、先の説明から理解することが可能である。これは、フラグpicture_header_in_slice_header_flagのおかげで、スライスヘッダにおいて有効にすることができる。さらに、ピクチャヘッダがスライスヘッダ内にシグナリングされる場合、ピクチャは1つのスライスのみを含むものとする。従って、1枚のピクチャには常に1つのピクチャヘッダしか存在しない。さらに、フラグpicture_header_in_slice_header_flagは、CLVS(符号化済レイヤビデオシーケンス)のすべてのピクチャで同じ値を持つものとする。これは、第1のIRAPを含む2つのIRAP間のすべてのピクチャは、1つのピクチャにつき1つのスライスのみであることを意味する。
「picture_header_in_slice_header_flagが1の場合、スライスヘッダにPHシンタックス構造が存在することを示す。picture_header_in_slice_header_flagが0の場合、スライスヘッダにPHシンタックス構造が存在しないことを示す。
CLVS内のすべての符号化スライスにおいてpicture_header_in_slice_header_flagの値が同じであることは、ビットストリーム適合性の要件である。符号化スライスでpicture_header_in_slice_header_flagが1のときは、CLVS内にnal_unit_typeがPH_NUTであるVCL_NALユニットが存在しないことが適合性の要件となる。
picture_header_in_slice_header_flagが0のとき、現在のピクチャのすべての符号化スライスはpicture_header_in_slice_header_flagが0となり、現在のPUはPH_NALユニットを持つ。
picture_header_structure()は、スタッフビットrbsp_trailing_bits()を除くpicture_rbsp()のシンタックス要素を含む。」
QPデルタ情報、参照ピクチャリストパラメータ、デブロッキングフィルタパラメータ、サンプルアダプテーションオフセットパラメータ、重み付き予測パラメータ及びALFパラメータは、それぞれのフラグにより、ピクチャヘッダ又はスライスヘッダにおいて伝送することができる:
qp_delta_info_in_ph_flag
rpl_info_in_ph_flag
dbf_info_in_ph_flag
sao_info_in_ph_flag
wp_info_in_ph_flag
alf_info_in_ph_flag
これらのフラグは、PPS内で送信される。
ストリーミングアプリケーションによっては、ビットストリームの特定の部分のみを抽出するものもある。これらの抽出は、空間的(サブピクチャとして)または時間的(ビデオシーケンスのサブパート)であることができる。そして、これらの抽出された部分は、他のビットストリームとマージされ得る。また、一部のフレームのみを抽出することでフレームレートを低下させるものもある。一般に、これらのストリーミングアプリケーションの主な目的は、許容される帯域幅の最大値を使用して、エンドユーザーに最大限の品質を提供することである。
クロマスケーリング付きルママッピング(LMCS)技術は、VVCなどのビデオ復号器でループフィルタを適用する前にブロックに適用するサンプル値の変換方法である。
1)1番目のサブツールは、適応的ピースワイズリニアモデルに基づくルマ成分のインループマッピングである。ルマ成分のインループマッピングは、圧縮効率を向上させるために、ダイナミックレンジ全体にコードワードを再分配することによって、入力信号のダイナミックレンジを調整する。ルママッピングでは、「マッピング領域」への順方向のマッピング関数と、「入力領域」に戻るための対応する逆方向のマッピング関数が使用される。
2)2番目のサブツールはクロマ成分に関するもので、ルマに依存したクロマ残差スケーリングが適用される。クロマ残差スケーリングは、ルマ信号とその対応するクロマ信号の間の相互作用を補償するように設計されている。クロマ残差スケーリングは、現在のブロックの再構成された近隣(上および/または左)のルマサンプルの平均値に依存する。
ルママッピングサブツールでは、ピースワイズリニアモデルを使用している。つまり、ピースワイズリニアモデルは入力信号のダイナミックレンジを16等分のサブレンジに分離し、各サブレンジに対して、そのリニアマッピングのパラメータを、そのレンジに割り当てられたコードワードの数で表現している。
lmcs_min_bin_idxは、クロマスケーリング付きルママッピング(LMCS)構築処理で使用する最小のビンインデックスを指定する。lmcs_min_bin_idxの値は、0から15の範囲である。
順方向および逆方向のルママッピング処理を適用するために、いくつかの中間変数とデータ配列が必要である。
OrgCW=(1<<BitDepth)/16
lmcsDeltaCW[i]=(1-2*lmcs_delta_sign_cw_flag[i])*lmcs_delta_abs_cw[i]
i=0...lmcs_min_bin_idx-1の場合、lmcsCW[i]は0に設定される。
i=lmcs_min_bin_idx...LmcsMaxBinIdxの場合、以下が適用される:
lmcsCW[i]=OrgCW+lmcsDeltaCW[i]
lmcsCW[i]の値は、(OrgCW>>3)から(OrgCW<<3-1)の範囲でなければならない。
i=LmcsMaxBinIdx+1...15に対して、lmcsCW[i]は0に設定される。
InputPivot[i]=i*OrgCW
LmcsPivot[0]=0;
for(i=0;i<=15;i++){
LmcsPivot[i+1]=LmcsPivot[i]+lmcsCW[i]
ScaleCoeff[i]=(lmcsCW[i]*(1<<11)+(1<<(Log2(OrgCW)-1)))>>(Log2(OrgCW))
if(lmcsCW[i]==0)
InvScaleCoeff[i]=0
else
InvScaleCoeff[i]=OrgCW*(1<<11)/lmcsCW[i]
図8に示すように、LMCSをルマに適用した場合、予測サンプルpredSamples[i][j]から、predMapSamples[i][j]というLumaリマップサンプルが得られる。
まず、予測サンプルpredSamples[i][j]から、位置(i,j)のインデックスidxYが計算される。
idxY=predSamples[i][j]>>Log2(OrgCW)
そして、第0セクションの中間変数idxY、LmcsPivot[idxY]、InputPivot[idxY]を用いて、predMapSamples[i][j]は以下のように導出される:
predMapSamples[i][j]=LmcsPivot[idxY]+(ScaleCoeff[idxY]*(predSamples[i][j]-InputPivot[idxY])+(1<<10))>>11
予測されたルマサンプルpredMapSample[i][j]と残留ルマサンプルresiSamples[i][j]から再構成処理を求める。
recSamples[i][j]=Clip1(predMapSamples[i][j]+resiSamples[i][j])
図8に従って逆ルママッピングを適用する場合、処理中の現在のブロックの各サンプルrecSample[i][j]に対して、以下の演算が適用される:
idxY=recSamples[i][j]>>Log2(OrgCW)
逆マップされたルマサンプルinvLumaSample[i][j]を以下のように導出する:
invLumaSample[i][j]=InputPivot[idxYInv]+(InvScaleCoeff[idxYInv]*(recSample[i][j]-LmcsPivot[idxYInv])+(1<<10))>>11
その後、クリッピング操作を行い、最終的なサンプルを得る:
finalSample[i][j]=Clip1(invLumaSample[i][j])
クロマスケーリングのためのLMCSセマンティクス
表6のシンタックス要素lmcs_delta_abs_crsは、変数lmcsDeltaCrsのコードワード絶対値を指定する。lmcs_delta_abs_crsの値は、0から7の範囲である。存在しない場合、lmcs_delta_abs_crsは0であると推論される。
クロマスケーリング処理を適用するためには、いくつかの中間変数が必要である。
変数lmcsDeltaCrsは以下のように導出される:
lmcsDeltaCrs=(1-2*lmcs_delta_sign_crs_flag)*lmcs_delta_abs_crs
if(lmcsCW[i]==0)
ChromaScaleCoeff[i]=(1<<11)
else
ChromaScaleCoeff[i]=OrgCW*(1<<11)/(lmcsCW[i]+lmcsDeltaCrs)
最初のステップでは、現在の対応するクロマブロックの周囲の再構成されたルマサンプルの平均ルマ値を計算するために、変数invAvgLumaが導出される。平均ルマは、対応するクロマブロックを囲む左と上のルマブロックから計算される。サンプルがない場合、変数invAvgLumaは以下のように設定される:
invAvgLuma=1<<(BitDepth-1)
For(idxYInv=lmcs_min_bin_idx;idxYInv<=LmcsMaxBinIdx;idxYInv++){
if(invAvgLuma<LmcsPivot[idxYInv+1]) break
}
IdxYInv=Min(idxYInv,15)
varScale=ChromaScaleCoeff[idxYInv]
recSamples[i][j]=Clip1(predSamples[i][j]+Sign(resiSamples[i][j])*((Abs(resiSamples[i][j])*varScale+(1<<10))>>11))
現在のブロックに変換が適用されていない場合は、次のようになる:
recSamples[i][j]=Clip1(predSamples[i][j])
LMCS符号化器の基本原理は、まず、ダイナミックレンジのセグメントが平均分散よりも低いコードワードを持つレンジに、より多くのコードワードを割り当てるというものである。これの別形式として、LMCSの主なターゲットは、平均分散よりも高いコードワードを持つダイナミックレンジセグメントに、より少ないコードワードを割り当てることである。この方法では、画像の滑らかな領域は、平均よりも多くのコードワードで符号化され、その逆も同様である。
実施形態において、ピクチャヘッダ内またはスライスヘッダ内でシグナリングすることができる情報のシグナリングは、ピクチャヘッダがスライスヘッダ内でシグナリングされるとき、ピクチャヘッダ内でシグナリングされ、スライスヘッダ内ではシグナリングされない。また、ピクチャヘッダ内またはスライスヘッダ内でシグナリング可能な情報のシグナリングをスライスヘッダ内でシグナリングする場合、ピクチャヘッダはスライスヘッダ内でシグナリングされないという等価な方法がある。別の等価な方法では、ピクチャヘッダ中またはスライス中にシグナリングすることができる情報のシグナリングがピクチャヘッダ内でシグナリングされるとき、ピクチャヘッダは、スライスヘッダ内でシグナリングされる。表12は、ツール名をXXXに置き換えた実施形態を示す表である。この表では、ピクチャヘッダがスライスヘッダ内でシグナリングされる場合、スライスヘッダ内においてパラメータのシグナリングが許可されない。
「PPSを参照するスライスヘッダがPHシンタックス構造を含む場合、XXX_info_in_ph_flagが1であることがビットストリーム適合性の要件である。」
および/または
「XXX_info_in_ph_flagが0であるとき、picture_header_in_slice_header_flagは0である。」
実施形態では、ピクチャヘッダがスライスヘッダ内でシグナリングされるとき、QPデルタシグナリングは、スライスヘッダ内で回避される。等価な方法では、QPデルタシグナリングが、スライスヘッダ内でシグナリングされるとき、ピクチャヘッダは、スライスヘッダ内でシグナリングされない。別の等価な方法では、ピクチャヘッダにおいてQPデルタがシグナリングされるとき、ピクチャヘッダは、スライスヘッダ内でシグナリングされる。つまり、上記のツールXXXは、QPデルタである。
「PPSを参照するスライスヘッダがPHシンタックス構造を含む場合、qp_delta_info_in_ph_flagが1であることがビットストリーム適合性の要件である。」
および/または
「qp_delta_info_in_ph_flagが0であるとき、picture_header_in_slice_header_flagは0である。」
一実施形態では、ピクチャヘッダがスライスヘッダ内でシグナリングされるとき、参照ピクチャリストのシグナリングは、スライスヘッダ内で回避される。等価な方法では、ピクチャヘッダは、参照ピクチャリストのシグナリングが、スライスヘッダにおいてシグナリングされるとき、スライスヘッダにおいてシグナリングされない。別の等価な方法では、ピクチャヘッダにおいて参照ピクチャリストのシグナリングが行われるとき、ピクチャヘッダはスライスヘッダ内においてシグナリングされる。言い換えれば、上記のツールXXXはRPLである。
「PPSを参照するスライスヘッダがPHシンタックス構造を含む場合、rpl_info_in_ph_flagが1であることがビットストリーム適合性の要件である。」
および/または
「rpl_info_in_ph_flagが0であるとき、picture_header_in_slice_header_flagは0である。」
実施形態において、デブロッキングフィルタパラメータのシグナリングは、ピクチャヘッダがスライスヘッダ内でシグナリングされるとき、スライスヘッダにおいて回避される。等価な方法では、デブロッキングフィルタパラメータのシグナリングが、スライスヘッダ内でシグナリングされるとき、ピクチャヘッダは、スライスヘッダ内でシグナリングされない。別の等価な方法では、ピクチャヘッダにおいてデブロッキングフィルタパラメータのシグナリングが行われるとき、ピクチャヘッダはスライスヘッダ内でシグナリングされる。すなわち、上述したツールXXXは、DBFである。
「PPSを参照するスライスヘッダがPHシンタックス構造を含む場合、dbf_info_in_ph_flagが1であることがビットストリーム適合性の要件である。」
および/または
「dbf_info_in_ph_flagが0であるとき、picture_header_in_slice_header_flagは0である。」
一実施形態において、SAOシグナリングは、ピクチャヘッダがスライスヘッダ内でシグナリングされるとき、スライスヘッダにおいて回避される。等価な方法では、SAOシグナリングが、スライスヘッダ内でシグナリングされるとき、ピクチャヘッダは、スライスヘッダ内でシグナリングされない。別の等価な方法では、SAOシグナリングがピクチャヘッダ内でシグナリングされるとき、ピクチャヘッダは、スライスヘッダ内でシグナリングされる。すなわち、上記のツールXXXは、SAOである。
「PPSを参照するスライスヘッダがPHシンタックス構造を含む場合、sao_info_in_ph_flagが1であることがビットストリーム適合性の要件である。」
および/または
「sao_info_in_ph_flagが0であるとき、picture_header_in_slice_header_flagは0である。」
一実施形態では、ピクチャヘッダがスライスヘッダ内でシグナリングされるとき、重み付き予測のシグナリングは、スライスヘッダで回避される。等価な方法では、重み付けされた予測のシグナリングが、スライスヘッダ内でシグナリングされるとき、ピクチャヘッダは、スライスヘッダ内でシグナリングされない。別の等価な方法では、重み付き予測のシグナリングがピクチャヘッダ内でシグナリングされるとき、ピクチャヘッダは、スライスヘッダ内でシグナリングされる。すなわち、上述したツールXXXは、WPである。
「PPSを参照するスライスヘッダがPHシンタックス構造を含む場合、wp_info_in_ph_flagが1であることがビットストリーム適合性の要件である。」
および/または
「wp_info_in_ph_flagが0である場合、picture_header_in_slice_header_flagは0である。」
一実施形態において、ALFのシグナリングは、ピクチャヘッダがスライスヘッダ内でシグナリングされるとき、スライスヘッダにおいて回避される。等価な方法では、ALFのシグナリングが、スライスヘッダ内でシグナリングされるとき、ピクチャヘッダは、スライスヘッダ内でシグナリングされない。別の等価な方法では、ALFのシグナリングがピクチャヘッダ内でシグナリングされるとき、ピクチャヘッダは、スライスヘッダ内でシグナリングされる。すなわち、上記のツールXXXは、ALFである。
「PPSを参照するスライスヘッダがPHシンタックス構造を含む場合、alf_info_in_ph_flagが1であることがビットストリーム適合性の要件である。」
および/または
「alf_info_in_ph_flagが0であるとき、picture_header_in_slice_header_flagは0である。」
一実施形態では、ピクチャヘッダがスライスヘッダ内でシグナリングされる場合、ピクチャヘッダ内またはスライスヘッダ内でシグナリングされ得るすべてのツール(および/またはパラメータ)は、ピクチャヘッダ内でシグナリングされるように制限される。上記の説明で言及したように、実施形態では、関連するツールは以下の通りである。QPデルタ情報、参照ピクチャリスト、デブロッキングフィルタ、SAO重み付け予測、ALFである。しかしながら、他のツールも可能であり、それらは、スライス及びピクチャヘッダの両方においてシグナリングされ得る。
「フラグrpl_info_in_ph_flag,dbf_info_in_ph_flag,sao_info_in_ph_flag,alf_info_in_ph_flag,wp_info_in_ph_flag,qp_delta_info_in_ph_flagの少なくとも1つが0に設定されると、picture_header_in_slice_header_flagの値は0とする。」
および/または、以下を加える:
「picture_header_in_slice_header_flagが1であるとき、フラグrpl_info_in_ph_flag,dbf_info_in_ph_flag,sao_info_in_ph_flag,wp_info_in_ph_flag,qp_delta_info_in_ph_flagは1とする。」
「PPSを参照するスライスヘッダがPHシンタックス構造を含む場合、XXX_info_in_ph_flagが1であることがビットストリーム適合性の要件である。」
ALFに関連するこれまでのものの1つの代替実施形態では、表31に描かれているように、スライスヘッダのALFのAPS_IDに関連する情報は、ピクチャヘッダの構造より前に設定される。この実施形態では、スライスヘッダ内でALFがシグナリングされたとき、およびスライスヘッダで内ピクチャヘッダがシグナリングされたときに、ピクチャヘッダのすべてのパラメータをパースすることなくAPS_IDを迅速に取得することができる。
ピクチャヘッダがスライスヘッダ内にある場合の実施形態では、シンタックス要素の表32の部分に描かれているように、各リストL0 L1に対する重み付け予測の重みの数が復号される。従って、重み数のシグナリングは、ピクチャヘッダに限定され得る。
一実施形態では、ピクチャヘッダ内またはスライスヘッダ内にシグナリングすることができる情報のシグナリングは、ピクチャヘッダがスライスヘッダ内でシグナリングされるとき、スライスヘッダにシグナリングされ、ピクチャヘッダにシグナリングされない。また、ピクチャヘッダ内またはスライスヘッダ内にシグナリング可能な情報のシグナリングを、ピクチャヘッダ内にシグナリングする場合には、スライスヘッダ内にシグナリングしないようにする。別の等価な方法では、ピクチャヘッダ内またはスライスヘッダ内にシグナリングすることができる情報のシグナリングがスライスヘッダ内にシグナリングされるとき、ピクチャヘッダは、スライスヘッダ内にシグナリングされる。表33は、ツール(またはパラメータ)名をXXXに置き換えた本実施の形態を示す。この表では、ピクチャヘッダがスライスヘッダ内でシグナリングされる場合、ピクチャヘッダでのパラメータのシグナリングは許可されていない。
「PPSを参照するスライスヘッダがPHシンタックスを含む場合、XXX_info_in_ph_flagが0であることがビットストリーム適合性の要件である。」
および/または
「XXX_info_in_ph_flagが1であるとき、picture_header_in_slice_header_flagは0である。」
一実施形態では、ツールXXXは、QPデルタである。一実施形態では、表33に描かれているように、フラグpicture_header_in_slice_header_flagの値が1に設定されるとき、スライスヘッダのQPデルタパラメータの復号は許可される。また、表33に示すように、picture_header_in_slice_header_flagは、QPデルタパラメータがピクチャヘッダ内でシグナリングされる場合、0に等しい値に設定される。別の等価な方法では、表33に描かれているように、QPデルタパラメータがスライスヘッダ内でシグナリングされるとき、picture_header_in_slice_header_flagは1に設定される。この表において、QPデルタ情報がスライスレベルでシグナリングされる場合(qp_delta_info_in_ph_flagが0)、またはピクチャヘッダがスライスヘッダにおいて伝送される場合(picture_header_in_slice_header_flagが1)、スライスヘッダのslice_qp_delta情報は、復号され得る。
「PPSを参照するスライスヘッダがPHシンタックスを含む場合、qp_delta_info_in_ph_flagは0であるというのがビットストリーム適合性の要件である。」
および/または
「qp_delta_info_in_ph_flagが1であるとき、picture_header_in_slice_header_flagは0である。」
一実施形態では、ツールXXXは、参照ピクチャリストである。一実施形態では、表33に描かれているように、フラグpicture_header_in_slice_header_flagの値が1に設定される場合にのみ、スライスヘッダにおける参照ピクチャリストのパラメータの復号が認可される。また、picture_header_in_slice_header_flagは、表33に示すように、ピクチャヘッダ内で参照ピクチャのリストパラメータがシグナリングされるとき、0に設定される。また、picture_header_in_slice_header_flagは、表33に示すように、スライスヘッダ内で参照ピクチャのパラメータを通知する場合に1に設定される。この表において、参照ピクチャリスト情報がスライスレベルでシグナリングされ(rpl_info_in_ph_flagが0)、ピクチャヘッダがスライスヘッダで伝送される場合(picture_header_in_slice_header_flagが1)、スライスヘッダのref_pic_lists()情報は復号され得る。
一実施形態では、ツールXXXは、デブロッキングフィルタ(DBF)である。代替または追加の一実施形態では、表33に描かれているように、フラグpicture_header_in_slice_header_flagの値が1に設定されるとき、スライスヘッダのDBFパラメータが認可される。また、表33に示すように、picture_header_in_slice_header_flagを0に設定すると、DBFパラメータがピクチャヘッダ内でシグナリングされる。また、表33に示すように、DBFパラメータがスライスヘッダ内に格納されている場合、picture_header_in_slice_header_flagは1に設定される。この表では、DBF情報がスライスレベルでシグナリングされる場合(dbf_info_in_ph_flagが0)、またはピクチャヘッダがスライスヘッダ内で伝送される場合(picture_header_in_slice_header_flagが1)、スライスヘッダのslice_deblocking_filter_override_flagフラグが復号され得る。
一実施形態では、ツールXXXは、SAO(サンプルアダプティブオフセット)である。ある代替または追加の実施形態において、スライスヘッダのSAOパラメータは、表33に描かれているように、フラグpicture_header_in_slice_header_flagの値が1に設定される場合にのみ、認可される。また、表33に示すように、picture_header_in_slice_header_flagは、SAOパラメータがピクチャヘッダにシグナリングされるとき、0に設定される。別の等価な方法では、picture_header_in_slice_header_flagは、表33に描かれるようにSAOパラメータがスライスヘッダにシグナリングされるとき、1に設定される。この表において、SAO情報がスライスレベルでシグナリングされ(sao_info_in_ph_flagが0)、ピクチャヘッダがスライスヘッダにおいて伝送される場合(picture_header_in_slice_header_flagが1)、スライスヘッダのslice_sao_luma_flagは復号され得る。
一実施形態では、ツールXXXは、WP(重み付き予測)である。一実施形態において、スライスヘッダ内のWPパラメータは、表33に描かれているように、フラグpicture_header_in_slice_header_flagの値が1に設定される場合にのみ、認可される。また、表33に示すように、picture_header_in_slice_header_flagは、ピクチャヘッダ内でWPパラメータがシグナリングされるとき、0に設定される。また、表33に示すように、スライスヘッダ内でWPパラメータを通知する場合、picture_header_in_slice_header_flagは1に設定される。この表では、WP情報がスライスレベルでシグナリングされる場合(wp_info_in_ph_flagが0)、またはピクチャヘッダがスライスヘッダで伝送される場合(picture_header_in_slice_header_flagが1)、重み付き予測パラメータを含むpred_weight_table()関数が復号され得る。
一実施形態では、ツールXXXは、ALF(アダプティブループフィルタ)である。一実施形態において、スライスヘッダのALFパラメータの復号は、表33に描かれているように、フラグpicture_header_in_slice_header_flagの値が1に設定される場合にのみ、許可される。また、picture_header_in_slice_header_flagは、ALFパラメータがピクチャヘッダ内でシグナリングされる場合、0に設定される(表33)。別の等価な方法では、picture_header_in_slice_header_flagは1に設定される。この表では、ALFがSPSレベルで有効である場合(sps_alf_enabled_flagが1)、ALF情報がスライスレベルでシグナリングされる場合(alf_info_in_ph_flagが0)、またはスライスヘッダ内でピクチャヘッダが伝送される場合(picture_header_in_slice_header_flagが1)のみ、スライスヘッダのALF情報が解読され得る。
実施形態では、ピクチャヘッダがスライスヘッダ内でシグナリングされる場合、ピクチャヘッダ内またはスライスヘッダ内でシグナリングされ得るすべてのツール(および/またはパラメータ)が、スライスヘッダにシグナリングされる。実施形態における上記説明で言及したように、関連するツールは以下の通りである。QPデルタ情報、参照ピクチャリスト、デブロッキングフィルタ、SAO重み付け予測、及びALF。しかし、他のツールは、それらがスライス及びピクチャヘッダの両方でシグナリングされることが可能である場合、可能であり得る。
「フラグrpl_info_in_ph_flag,dbf_info_in_ph_flag,sao_info_in_ph_flag,alf_info_in_ph_flag,wp_info_in_ph_flag,qp_delta_info_in_ph_flagの少なくとも1つが1となるとき、picture_header_in_slice_header_flagは0となるものとする。」
および/または、以下を加える:
「picture_header_in_slice_header_flagが1であるとき、フラグrpl_info_in_ph_flag,dbf_info_in_ph_flag,sao_info_in_ph_flag,wp_info_in_ph_flag,qp_delta_info_in_ph_flagは0とする。」
「PPSを参照するスライスヘッダがPHシンタックスを含む場合、XXX_info_in_ph_flagが0であることがビットストリーム適合性の要件である。」
図10は、本発明の実施形態による符号化器150または復号器100の少なくとも1つと通信ネットワーク199とを含むシステム191、195を示す図である。実施形態によれば、システム195は、例えば、復号器100を構成するユーザ端末または復号器100と通信可能なユーザ端末のユーザインタフェースを介して、復号器100にアクセスするユーザに対してコンテンツ(例えば、表示/出力またはストリーミング用のビデオおよび音声コンテンツ)を処理し提供するためのシステムである。このようなユーザ端末は、コンピュータ、携帯電話、タブレット、または、ユーザに(提供される/ストリーム配信される)コンテンツを提供/表示することができる他のタイプの装置であってもよい。システム195は、通信ネットワーク199を介してビットストリーム101を(連続ストリームまたは信号の形態で(例えば、先のビデオ/オーディオが表示/出力されている間))取得/受信する。実施形態によれば、システム191は、コンテンツを処理し、処理されたコンテンツ、例えば、後の時間に表示/出力/ストリーミングするために処理されたビデオ及びオーディオコンテンツを記憶するためのものである。システム191は、符号化器150によって受信され処理(本発明によるデブロッキングフィルタによるフィルタリングを含む)されたオリジナル画像シーケンス151を含むコンテンツを取得/受信し、符号化器150は、通信ネットワーク191を介して復号器100に伝達されることになるビットストリーム101を発生させる。そして、ビットストリーム101は、いくつかの方法で復号器100に通信されるが、例えば、符号化器150によって予め生成され、ユーザがストレージ装置からコンテンツ(すなわち、ビットストリームデータ)を要求するまで、通信ネットワーク199内のストレージ装置(例えば、サーバやクラウドストレージ)にデータとして格納され、この時点でストレージ装置から復号器100にデータが通信/ストリーム配信されてもよい。また、システム191は、ユーザに対して(例えば、ユーザ端末に表示されるユーザインタフェースのデータを通信することによって)、ストレージ装置に格納されたコンテンツのコンテンツ情報(例えば、コンテンツのタイトル、およびコンテンツを識別、選択および要求するための他のメタ/格納場所データ)を提供/ストリーム化し、要求されたコンテンツがストレージ装置からユーザ端末に配信/ストリーム化できるようにコンテンツのユーザ要求を受信して処理するコンテンツ提供装置を含み得る。あるいは、符号化器150は、ユーザがコンテンツを要求したときに、ビットストリーム101を生成し、復号器100に直接通信/ストリーミングする。その後、復号器100は、ビットストリーム101(または信号)を受信し、本発明によるデブロッキングフィルタによるフィルタリングを行い、ビデオ信号109および/またはオーディオ信号を得る/生成し、これをユーザ端末が使用して、要求されたコンテンツをユーザに提供する。
図11は、ネットワークカメラ2102とクライアント装置2104を含むネットワークカメラシステム2100を説明するための図である。
ネットワークカメラ2102は、撮像部2106、符号化部2108、通信部2110、及び制御部2112を含む。
ネットワークカメラ2102とクライアント装置2104は、ネットワーク200を介して相互に通信可能に接続されている。
撮像部2106は、レンズとイメージセンサ(例えば、電荷結合素子(CCD)や相補型金属酸化膜半導体(CMOS))を含み、対象物の画像を撮影し、その画像に基づく画像データを生成する。この画像は、静止画であっても、動画であってもよい。
符号化部2108は、上述した符号化方法を用いて、画像データを符号化する
ネットワークカメラ2102の通信部2110は、符号化部2108により符号化された符号化画像データをクライアント装置2104に送信する。
さらに、通信部2110は、クライアント装置2104からコマンドを受信する。コマンドには、符号化部2108の符号化のためのパラメータを設定するコマンドが含まれる。
制御部2112は、通信部2110が受信したコマンドに従って、ネットワークカメラ2102内の他のユニットを制御する。
クライアント装置2104は、通信部2114と、復号部2116と、制御部2118とを含む。
クライアント装置2104の通信部2114は、ネットワークカメラ2102にコマンドを送信する。
さらに、クライアント装置2104の通信部2114は、ネットワークカメラ2102から符号化された画像データを受信する。
復号部2116は、上述した復号方法を用いて、符号化された画像データを復号する。
クライアント装置2104の制御部2118は、ユーザ操作や通信部2114が受信したコマンドに従って、クライアント装置2104内の他のユニットを制御する。
クライアント装置2104の制御部2118は、復号部2116で復号された画像を表示するように、表示装置2120を制御する。
また、クライアント装置2104の制御部2118は、ネットワークカメラ2102のパラメータの値を指定するGUI(グラフィカルユーザインタフェース)を表示するように表示装置2120を制御し、符号化部2108の符号化のためのパラメータを含む。
また、クライアント装置2104の制御部2118は、表示装置2120が表示するGUIに対するユーザ操作入力に応じて、クライアント装置2104内の他のユニットを制御する。
クライアント装置2104の制御部2119は、表示装置2120が表示するGUIに対するユーザの操作入力に応じて、ネットワークカメラ2102に対するパラメータの値を指定するコマンドをネットワークカメラ2102に送信するように、クライアント装置2104の通信部2114を制御する。
図12は、スマートフォン2200を説明するための図である。
スマートフォン2200は、通信部2202、復号部2204、制御部2206、表示部2208、画像記録装置2210、及びセンサ2212を含む。
通信部2202は、ネットワーク200を介して符号化された画像データを受信する。
復号部2204は、通信部2202が受信した符号化された画像データを復号する。
復号部2204は、上述した復号方法を用いて、符号化された画像データを復号する。
制御部2206は、通信部2202が受信したユーザ操作やコマンドに従って、スマートフォン2200内の他のユニットを制御する。
例えば、制御部2206は、復号部2204が復号した画像を表示するように、表示部2208を制御する。
Claims (19)
- ビットストリームからビデオデータを復号する方法であって、
前記ビットストリームは、1つ以上のスライスを復号するときに使用される複数のシンタックス要素を含むピクチャヘッダと、スライスを復号するときに使用される複数のシンタックス要素を含むスライスヘッダと、を含み、
前記方法は、
複数のシンタックス要素を復号することと、
前記復号した複数のシンタックス要素を用いて前記ビットストリームから前記ビデオデータを復号することと、
を含み、
前記ピクチャヘッダまたは前記スライスヘッダにおいてシグナリングされ得る情報が前記ピクチャヘッダにおいてシグナリングされる場合、前記ピクチャヘッダが前記スライスヘッダには無いことを示す値を持つフラグが復号されるよう制約され、
前記ピクチャヘッダまたは前記スライスヘッダにおいてシグナリングされ得る前記情報は、アダプティブループフィルタ(ALF)のためのアダプテーションパラメータセットidであり、前記アダプテーションパラメータセットidにより示されるアダプテーションパラメータセット(APS)はルマに対してフィルターの係数のための1つ以上のクリッピングインデックスが復号されるかどうかを示すフラグを含む
ことを特徴とする方法。 - 前記方法は、前記情報が前記ピクチャヘッダ内でシグナリングされるか否かを示す第1のシンタックス要素をパースすることと、前記第1のシンタックス要素に基づいて、前記スライスヘッダまたは前記ピクチャヘッダの何れか一方のみにおいて、スライスヘッダ内およびピクチャヘッダ内でシグナリングされ得る前記情報の前記パースを許可することと、をさらに含む
請求項1に記載の方法。 - 前記第1のシンタックス要素は、ピクチャパラメータセットフラグ内の情報である
請求項2に記載の方法。 - 前記情報が前記ピクチャヘッダ内でシグナリングされることを前記第1のシンタックス要素が示す場合、前記スライスヘッダ内の前記情報のパースは許可されない
請求項2または3に記載の方法。 - 前記情報は、量子化パラメータ値情報、参照ピクチャリスト情報、デブロッキングフィルタ情報、サンプルアダプテーションオフセット(SAO)情報、重み付け予測情報、アダプテーションループフィルタ(ALF)情報のうちの1つ以上を含む
請求項1乃至4の何れか1項に記載の方法。 - 前記情報は、ピクチャヘッダ内およびスライスヘッダ内でシグナリングされ得るすべての情報を含む
請求項1乃至5の何れか1項に記載の方法。 - 前記参照ピクチャリスト情報は、slice_collocated_from_l0_flag、slice_collocated_ref_idx、ph_collocated_from_l0_flag、ph_collocated_ref_idxのうちの1つ以上を含む
請求項5に記載の方法。 - ビットストリームからビデオデータを復号する方法であって、
前記ビットストリームは、1つ以上のスライスを復号するときに使用される複数のシンタックス要素を含むピクチャヘッダと、1つのスライスを復号するときに使用される複数のシンタックス要素を含むスライスヘッダと、を含み、
前記方法は、
複数のシンタックス要素を復号することと、
前記復号した複数のシンタックス要素を用いて前記ビットストリームから前記ビデオデータを復号することと、
を含み、
前記ピクチャヘッダまたは前記スライスヘッダにおいてシグナリングされ得る情報が前記ピクチャヘッダにおいてシグナリングされることを示す値を有するシンタックス要素を前記ビットストリームが含む場合、前記ピクチャヘッダが前記スライスヘッダには無いことを示す値を持つフラグが復号されるよう制約され、
前記ピクチャヘッダまたは前記スライスヘッダにおいてシグナリングされ得る前記情報は、アダプティブループフィルタ(ALF)のためのアダプテーションパラメータセットidであり、前記アダプテーションパラメータセットidにより示されるアダプテーションパラメータセット(APS)はルマに対してフィルターの係数のための1つ以上のクリッピングインデックスが復号されるかどうかを示すフラグを含む
ことを特徴とする方法。 - ビデオデータをビットストリームに符号化する方法であって、
前記ビットストリームは、1つ以上のスライスを復号するときに使用される複数のシンタックス要素を含むピクチャヘッダと、スライスを復号するときに使用される複数のシンタックス要素を含むスライスヘッダと、前記ピクチャヘッダが前記スライスヘッダ内にあるか否かを示すフラグと、を含み、
前記方法は、複数のシンタックス要素を用いて前記ビデオデータを符号化することを含み、
前記ピクチャヘッダまたは前記スライスヘッダにおいてシグナリングされ得る情報が前記ピクチャヘッダにおいてシグナリングされる場合、前記フラグは、前記ピクチャヘッダが前記スライスヘッダには無いことを示す値を持つよう制約され、
前記ピクチャヘッダまたは前記スライスヘッダにおいてシグナリングされ得る前記情報は、アダプティブループフィルタ(ALF)のためのアダプテーションパラメータセットidであり、前記アダプテーションパラメータセットidにより示されるアダプテーションパラメータセット(APS)はルマに対してフィルターの係数のための1つ以上のクリッピングインデックスが復号されるかどうかを示すフラグを含む
ことを特徴とする方法。 - 前記符号化は、前記情報が前記ピクチャヘッダ内でシグナリングされるか否かを示す第1のシンタックス要素を符号化スすることと、前記第1のシンタックス要素に基づいて、前記スライスヘッダまたは前記ピクチャヘッダの何れか一方のみにおいて、スライスヘッダ内およびピクチャヘッダ内でシグナリングされ得る前記情報の符号化を許可することと、をさらに含む
請求項9に記載の方法。 - 前記第1のシンタックス要素は、ピクチャパラメータセットフラグ内の情報である
請求項10に記載の方法。 - 前記情報が前記ピクチャヘッダ内でシグナリングされることを前記第1のシンタックス要素が示す場合、前記スライスヘッダ内の前記情報の符号化は許可されない
請求項10または11に記載の方法。 - 前記情報は、量子化パラメータ値情報、参照ピクチャリスト情報、デブロッキングフィルタ情報、サンプルアダプテーションオフセット(SAO)情報、重み付け予測情報、アダプテーションループフィルタ(ALF)情報のうちの1つ以上を含む
請求項9乃至12の何れか1項に記載の方法。 - 前記情報は、ピクチャヘッダ内およびスライスヘッダ内でシグナリングされ得るすべての情報を含む
請求項9乃至13の何れか1項に記載の方法。 - 前記参照ピクチャリスト情報は、slice_collocated_from_l0_flag、slice_collocated_ref_idx、ph_collocated_from_l0_flag、ph_collocated_ref_idxのうちの1つ以上を含む
請求項13に記載の方法。 - ビットストリームからビデオデータを復号する復号装置であって、
前記ビットストリームは、1つ以上のスライスを復号するときに使用される複数のシンタックス要素を含むピクチャヘッダと、スライスを復号するときに使用される複数のシンタックス要素を含むスライスヘッダと、を含み、
前記復号装置は、
複数のシンタックス要素を復号する手段と、
前記復号した複数のシンタックス要素を用いて前記ビットストリームから前記ビデオデータを復号する手段と、
を有し、
前記ピクチャヘッダまたは前記スライスヘッダにおいてシグナリングされ得る情報が前記ピクチャヘッダにおいてシグナリングされる場合、前記ピクチャヘッダが前記スライスヘッダには無いことを示す値を持つフラグが復号されるよう制約され、
前記ピクチャヘッダまたは前記スライスヘッダにおいてシグナリングされ得る前記情報は、アダプティブループフィルタ(ALF)のためのアダプテーションパラメータセットidであり、前記アダプテーションパラメータセットidにより示されるアダプテーションパラメータセット(APS)はルマに対してフィルターの係数のための1つ以上のクリッピングインデックスが復号されるかどうかを示すフラグを含む
ことを特徴とする復号装置。 - ビットストリームからビデオデータを復号する復号装置であって、
前記ビットストリームは、1つ以上のスライスを復号するときに使用される複数のシンタックス要素を含むピクチャヘッダと、1つのスライスを復号するときに使用される複数のシンタックス要素を含むスライスヘッダと、を含み、
前記復号装置は、
複数のシンタックス要素を復号する手段と、
前記復号した複数のシンタックス要素を用いて前記ビットストリームから前記ビデオデータを復号する手段と、
を有し、
前記ピクチャヘッダまたは前記スライスヘッダにおいてシグナリングされ得る情報が前記ピクチャヘッダにおいてシグナリングされることを示す値を有するシンタックス要素を前記ビットストリームが含む場合、前記ピクチャヘッダが前記スライスヘッダには無いことを示す値を持つフラグが復号されるよう制約され、
前記ピクチャヘッダまたは前記スライスヘッダにおいてシグナリングされ得る前記情報は、アダプティブループフィルタ(ALF)のためのアダプテーションパラメータセットidであり、前記アダプテーションパラメータセットidにより示されるアダプテーションパラメータセット(APS)はルマに対してフィルターの係数のための1つ以上のクリッピングインデックスが復号されるかどうかを示すフラグを含む
ことを特徴とする復号装置。 - ビデオデータをビットストリームに符号化する符号化装置であって、
前記ビットストリームは、1つ以上のスライスを復号するときに使用される複数のシンタックス要素を含むピクチャヘッダと、スライスを復号するときに使用される複数のシンタックス要素を含むスライスヘッダと、前記ピクチャヘッダが前記スライスヘッダ内にあるか否かを示すフラグと、を含み、
前記符号化装置は、複数のシンタックス要素を用いて前記ビデオデータを符号化する手段を有し、
前記ピクチャヘッダまたは前記スライスヘッダにおいてシグナリングされ得る情報が前記ピクチャヘッダにおいてシグナリングされる場合、前記フラグは、前記ピクチャヘッダが前記スライスヘッダには無いことを示す値を持つよう制約され、
前記ピクチャヘッダまたは前記スライスヘッダにおいてシグナリングされ得る前記情報は、アダプティブループフィルタ(ALF)のためのアダプテーションパラメータセットidであり、前記アダプテーションパラメータセットidにより示されるアダプテーションパラメータセット(APS)はルマに対してフィルターの係数のための1つ以上のクリッピングインデックスが復号されるかどうかを示すフラグを含む
ことを特徴とする符号化装置。 - コンピュータに、請求項1乃至15の何れか1項に記載の方法を実行させるコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2024066301A JP2024096913A (ja) | 2020-03-11 | 2024-04-16 | ビデオの符号化および復号のためのハイレベルシンタックス |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB2003562.2A GB2592957A (en) | 2020-03-11 | 2020-03-11 | High level syntax for video coding and decoding |
GB2003562.2 | 2020-03-11 | ||
GB2005741.0A GB2592997B (en) | 2020-03-11 | 2020-04-20 | High level syntax for video coding and decoding |
GB2005741.0 | 2020-04-20 | ||
PCT/EP2021/055661 WO2021180595A1 (en) | 2020-03-11 | 2021-03-05 | High level syntax for video coding and decoding |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024066301A Division JP2024096913A (ja) | 2020-03-11 | 2024-04-16 | ビデオの符号化および復号のためのハイレベルシンタックス |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023516244A JP2023516244A (ja) | 2023-04-19 |
JP7475455B2 true JP7475455B2 (ja) | 2024-04-26 |
Family
ID=70453640
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022540581A Active JP7475455B2 (ja) | 2020-03-11 | 2021-03-05 | ビデオの符号化および復号のためのハイレベルシンタックス |
JP2024066301A Pending JP2024096913A (ja) | 2020-03-11 | 2024-04-16 | ビデオの符号化および復号のためのハイレベルシンタックス |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024066301A Pending JP2024096913A (ja) | 2020-03-11 | 2024-04-16 | ビデオの符号化および復号のためのハイレベルシンタックス |
Country Status (8)
Country | Link |
---|---|
US (1) | US20230108509A1 (ja) |
EP (1) | EP4118832A1 (ja) |
JP (2) | JP7475455B2 (ja) |
KR (1) | KR20220138009A (ja) |
CN (1) | CN115280785A (ja) |
GB (3) | GB2592957A (ja) |
TW (1) | TWI842980B (ja) |
WO (1) | WO2021180595A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220083818A (ko) * | 2019-11-27 | 2022-06-20 | 엘지전자 주식회사 | 슬라이스 관련 정보를 시그널링하는 방법 및 장치 |
JP7475908B2 (ja) * | 2020-03-17 | 2024-04-30 | シャープ株式会社 | 予測画像生成装置、動画像復号装置及び動画像符号化装置 |
GB2593222B (en) * | 2020-03-20 | 2024-07-17 | Canon Kk | High level syntax for video coding and decoding |
WO2021196234A1 (zh) * | 2020-04-03 | 2021-10-07 | 北京大学 | 一种视频编码、解码方法、设备及存储介质 |
WO2023201450A1 (zh) * | 2022-04-17 | 2023-10-26 | Oppo广东移动通信有限公司 | 编解码方法、码流、编码器、解码器以及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9001883B2 (en) * | 2011-02-16 | 2015-04-07 | Mediatek Inc | Method and apparatus for slice common information sharing |
US11758193B2 (en) * | 2019-11-04 | 2023-09-12 | Hfi Innovation Inc. | Signaling high-level information in video and image coding |
AR121125A1 (es) * | 2020-02-29 | 2022-04-20 | Beijing Bytedance Network Tech Co Ltd | Interacción entre cabecera de imagen y cabecera de segmento de un flujo de bits de video |
-
2020
- 2020-03-11 GB GB2003562.2A patent/GB2592957A/en active Pending
- 2020-04-20 GB GB2400742.9A patent/GB2625932A/en active Pending
- 2020-04-20 GB GB2005741.0A patent/GB2592997B/en active Active
-
2021
- 2021-03-04 TW TW110107728A patent/TWI842980B/zh active
- 2021-03-05 EP EP21709034.9A patent/EP4118832A1/en active Pending
- 2021-03-05 KR KR1020227033339A patent/KR20220138009A/ko active Search and Examination
- 2021-03-05 WO PCT/EP2021/055661 patent/WO2021180595A1/en unknown
- 2021-03-05 US US17/910,745 patent/US20230108509A1/en active Pending
- 2021-03-05 JP JP2022540581A patent/JP7475455B2/ja active Active
- 2021-03-05 CN CN202180020471.7A patent/CN115280785A/zh active Pending
-
2024
- 2024-04-16 JP JP2024066301A patent/JP2024096913A/ja active Pending
Non-Patent Citations (1)
Title |
---|
Benjamin Bross et al.,Versatile Video Coding (Draft 8),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 17th Meeting: Brussels, BE, 7-17 January 2020,JVET-Q2001-v7,2020年01月20日,pp.44-45,47,56-57,112,118,135,139,165 |
Also Published As
Publication number | Publication date |
---|---|
JP2023516244A (ja) | 2023-04-19 |
GB2592997B (en) | 2024-04-17 |
KR20220138009A (ko) | 2022-10-12 |
EP4118832A1 (en) | 2023-01-18 |
GB2625932A (en) | 2024-07-03 |
GB2592997A (en) | 2021-09-15 |
JP2024096913A (ja) | 2024-07-17 |
GB202003562D0 (en) | 2020-04-29 |
WO2021180595A1 (en) | 2021-09-16 |
CN115280785A (zh) | 2022-11-01 |
GB2592957A (en) | 2021-09-15 |
TWI842980B (zh) | 2024-05-21 |
GB202005741D0 (en) | 2020-06-03 |
TW202135533A (zh) | 2021-09-16 |
US20230108509A1 (en) | 2023-04-06 |
GB202400742D0 (en) | 2024-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7403633B2 (ja) | ビデオの符号化及び復号のための高レベルシンタックス | |
JP7475455B2 (ja) | ビデオの符号化および復号のためのハイレベルシンタックス | |
JP2024069479A (ja) | ビデオの符号化及び復号のための高レベルシンタックス | |
JP7434580B2 (ja) | ビデオの符号化及び復号のための高レベルシンタックス | |
TWI811651B (zh) | 用於視頻編碼及解碼的高階語法 | |
JP2024105712A (ja) | ビデオの符号化及び復号のための高レベルシンタックス | |
JP2024001274A (ja) | ビデオコーディング及び復号のための高レベルシンタックス |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220912 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220912 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231011 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240318 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240416 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7475455 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |