JP7489518B2 - 符号化装置及び符号化方法 - Google Patents
符号化装置及び符号化方法 Download PDFInfo
- Publication number
- JP7489518B2 JP7489518B2 JP2023061947A JP2023061947A JP7489518B2 JP 7489518 B2 JP7489518 B2 JP 7489518B2 JP 2023061947 A JP2023061947 A JP 2023061947A JP 2023061947 A JP2023061947 A JP 2023061947A JP 7489518 B2 JP7489518 B2 JP 7489518B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- block
- processing
- unit
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 228
- 230000033001 locomotion Effects 0.000 claims description 762
- 239000013598 vector Substances 0.000 claims description 648
- 238000012545 processing Methods 0.000 claims description 318
- 230000008569 process Effects 0.000 claims description 165
- 230000002093 peripheral effect Effects 0.000 claims description 54
- 238000010586 diagram Methods 0.000 description 61
- 238000013139 quantization Methods 0.000 description 51
- 238000009795 derivation Methods 0.000 description 38
- 230000009466 transformation Effects 0.000 description 20
- 238000004891 communication Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000012937 correction Methods 0.000 description 11
- 238000009826 distribution Methods 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- 230000011664 signaling Effects 0.000 description 9
- 230000001934 delay Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 6
- 230000002146 bilateral effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 101100537098 Mus musculus Alyref gene Proteins 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 5
- 101150095908 apex1 gene Proteins 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 238000003892 spreading Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical group COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/57—Motion estimation characterised by a search window with variable size or shape
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
- Selective Calling Equipment (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Error Detection And Correction (AREA)
Description
周辺に対して動き探索処理を行うことで前記第2動きベクトルを導出してもよい。
動きベクトルの導出の完了後に、周辺ブロックの第2動きベクトルの導出の完了を待たずに、対象ブロックの第1動きベクトルの導出を開始できる。よって、周辺ブロックの第2動きベクトルを用いて第1動きベクトルを導出する場合に比べて、復号装置のパイプライン制御における待ち時間を低減できるので、処理の遅延を低減できる。
まず、後述する本開示の各態様で説明する処理および/または構成を適用可能な符号化装置および復号化装置の一例として、実施の形態1の概要を説明する。ただし、実施の形態1は、本開示の各態様で説明する処理および/または構成を適用可能な符号化装置および復号化装置の一例にすぎず、本開示の各態様で説明する処理および/または構成は、実施の形態1とは異なる符号化装置および復号化装置においても実施可能である。
(2)実施の形態1の符号化装置または復号化装置に対して、当該符号化装置または復号化装置を構成する複数の構成要素のうち一部の構成要素について機能または実施する処理の追加、置き換え、削除などの任意の変更を施した上で、本開示の各態様で説明する構成要素に対応する構成要素を、本開示の各態様で説明する構成要素に置き換えること
(3)実施の形態1の符号化装置または復号化装置が実施する方法に対して、処理の追加、および/または当該方法に含まれる複数の処理のうちの一部の処理について置き換え
、削除などの任意の変更を施した上で、本開示の各態様で説明する処理に対応する処理を、本開示の各態様で説明する処理に置き換えること
(4)実施の形態1の符号化装置または復号化装置を構成する複数の構成要素のうちの一部の構成要素を、本開示の各態様で説明する構成要素、本開示の各態様で説明する構成要素が備える機能の一部を備える構成要素、または本開示の各態様で説明する構成要素が実施する処理の一部を実施する構成要素と組み合わせて実施すること
(5)実施の形態1の符号化装置または復号化装置を構成する複数の構成要素のうちの一部の構成要素が備える機能の一部を備える構成要素、または実施の形態1の符号化装置または復号化装置を構成する複数の構成要素のうちの一部の構成要素が実施する処理の一部を実施する構成要素を、本開示の各態様で説明する構成要素、本開示の各態様で説明する構成要素が備える機能の一部を備える構成要素、または本開示の各態様で説明する構成要素が実施する処理の一部を実施する構成要素と組み合わせて実施すること
(6)実施の形態1の符号化装置または復号化装置が実施する方法に対して、当該方法に含まれる複数の処理のうち、本開示の各態様で説明する処理に対応する処理を、本開示の各態様で説明する処理に置き換えること
(7)実施の形態1の符号化装置または復号化装置が実施する方法に含まれる複数の処理のうちの一部の処理を、本開示の各態様で説明する処理と組み合わせて実施すること
まず、実施の形態1に係る符号化装置の概要を説明する。図1は、実施の形態1に係る符号化装置100の機能構成を示すブロック図である。符号化装置100は、動画像/画像をブロック単位で符号化する動画像/画像符号化装置である。
分割部102は、入力動画像に含まれる各ピクチャを複数のブロックに分割し、各ブロックを減算部104に出力する。例えば、分割部102は、まず、ピクチャを固定サイズ(例えば128x128)のブロックに分割する。この固定サイズのブロックは、符号化ツリーユニット(CTU)と呼ばれることがある。そして、分割部102は、再帰的な四分木(quadtree)及び/又は二分木(binary tree)ブロック分割に基づいて、固定サイズのブロックの各々を可変サイズ(例えば64x64以下)のブロックに分割する。この可変サイズのブロックは、符号化ユニット(CU)、予測ユニット(PU)あるいは変換ユニット(TU)と呼ばれることがある。なお、本実施の形態では、CU、PU及びTUは区別される必要はなく、ピクチャ内の一部又はすべてのブロックがCU、PU、TUの処理単位となってもよい。
減算部104は、分割部102によって分割されたブロック単位で原信号(原サンプル)から予測信号(予測サンプル)を減算する。つまり、減算部104は、符号化対象ブロック(以下、カレントブロックという)の予測誤差(残差ともいう)を算出する。そして、減算部104は、算出された予測誤差を変換部106に出力する。
変換部106は、空間領域の予測誤差を周波数領域の変換係数に変換し、変換係数を量子化部108に出力する。具体的には、変換部106は、例えば空間領域の予測誤差に対して予め定められた離散コサイン変換(DCT)又は離散サイン変換(DST)を行う。
Givens Transform)もNon-Separableな変換の例である。
量子化部108は、変換部106から出力された変換係数を量子化する。具体的には、量子化部108は、カレントブロックの変換係数を所定の走査順序で走査し、走査された変換係数に対応する量子化パラメータ(QP)に基づいて当該変換係数を量子化する。そして、量子化部108は、カレントブロックの量子化された変換係数(以下、量子化係数という)をエントロピー符号化部110及び逆量子化部112に出力する。
エントロピー符号化部110は、量子化部108から入力である量子化係数を可変長符号化することにより符号化信号(符号化ビットストリーム)を生成する。具体的には、エントロピー符号化部110は、例えば、量子化係数を二値化し、二値信号を算術符号化する。
逆量子化部112は、量子化部108からの入力である量子化係数を逆量子化する。具体的には、逆量子化部112は、カレントブロックの量子化係数を所定の走査順序で逆量子化する。そして、逆量子化部112は、カレントブロックの逆量子化された変換係数を逆変換部114に出力する。
逆変換部114は、逆量子化部112からの入力である変換係数を逆変換することにより予測誤差を復元する。具体的には、逆変換部114は、変換係数に対して、変換部106による変換に対応する逆変換を行うことにより、カレントブロックの予測誤差を復元する。そして、逆変換部114は、復元された予測誤差を加算部116に出力する。
加算部116は、逆変換部114からの入力である予測誤差と予測制御部128からの入力である予測サンプルとを加算することによりカレントブロックを再構成する。そして、加算部116は、再構成されたブロックをブロックメモリ118及びループフィルタ部120に出力する。再構成ブロックは、ローカル復号ブロックと呼ばれることもある。
ブロックメモリ118は、イントラ予測で参照されるブロックであって符号化対象ピクチャ(以下、カレントピクチャという)内のブロックを格納するための記憶部である。具体的には、ブロックメモリ118は、加算部116から出力された再構成ブロックを格納する。
ループフィルタ部120は、加算部116によって再構成されたブロックにループフィルタを施し、フィルタされた再構成ブロックをフレームメモリ122に出力する。ループフィルタとは、符号化ループ内で用いられるフィルタ(インループフィルタ)であり、例えば、デブロッキング・フィルタ(DF)、サンプルアダプティブオフセット(SAO)及びアダプティブループフィルタ(ALF)などを含む。
フレームメモリ122は、インター予測に用いられる参照ピクチャを格納するための記
憶部であり、フレームバッファと呼ばれることもある。具体的には、フレームメモリ122は、ループフィルタ部120によってフィルタされた再構成ブロックを格納する。
イントラ予測部124は、ブロックメモリ118に格納されたカレントピクチャ内のブロックを参照してカレントブロックのイントラ予測(画面内予測ともいう)を行うことで、予測信号(イントラ予測信号)を生成する。具体的には、イントラ予測部124は、カレントブロックに隣接するブロックのサンプル(例えば輝度値、色差値)を参照してイントラ予測を行うことでイントラ予測信号を生成し、イントラ予測信号を予測制御部128に出力する。
インター予測部126は、フレームメモリ122に格納された参照ピクチャであってカレントピクチャとは異なる参照ピクチャを参照してカレントブロックのインター予測(画面間予測ともいう)を行うことで、予測信号(インター予測信号)を生成する。インター予測は、カレントブロック又はカレントブロック内のサブブロック(例えば4x4ブロック)の単位で行われる。例えば、インター予測部126は、カレントブロック又はサブブロックについて参照ピクチャ内で動き探索(motion estimation)を行う。そして、インター予測部126は、動き探索により得られた動き情報(例えば動きベクトル)を用いて動き補償を行うことでカレントブロック又はサブブロックのインター予
測信号を生成する。そして、インター予測部126は、生成されたインター予測信号を予測制御部128に出力する。
分割したサブブロック単位であってもよい。
カレントブロックの動き軌道(motion trajectory)に沿う2つのブロックの間でパターンマッチングが行われる。したがって、第1パターンマッチングでは、上述した候補の評価値の算出のための所定の領域として、カレントブロックの動き軌道に沿う他の参照ピクチャ内の領域が用いられる。
いて説明する。このモードは、BIO(bi-directional optical
flow)モードと呼ばれることがある。
像の空間勾配の水平成分の積と、(iii)垂直方向の速度及び参照画像の空間勾配の垂直
成分の積と、の和が、ゼロと等しいことを示す。このオプティカルフロー等式とエルミート補間(Hermite interpolation)との組み合わせに基づいて、マージリスト等から得られるブロック単位の動きベクトルが画素単位で補正される。
予測制御部128は、イントラ予測信号及びインター予測信号のいずれかを選択し、選択した信号を予測信号として減算部104及び加算部116に出力する。
次に、上記の符号化装置100から出力された符号化信号(符号化ビットストリーム)を復号可能な復号装置の概要について説明する。図10は、実施の形態1に係る復号装置200の機能構成を示すブロック図である。復号装置200は、動画像/画像をブロック単位で復号する動画像/画像復号装置である。
エントロピー復号部202は、符号化ビットストリームをエントロピー復号する。具体的には、エントロピー復号部202は、例えば、符号化ビットストリームから二値信号に算術復号する。そして、エントロピー復号部202は、二値信号を多値化(debinarize)する。これにより、エントロピー復号部202は、ブロック単位で量子化係数を逆量子化部204に出力する。
逆量子化部204は、エントロピー復号部202からの入力である復号対象ブロック(以下、カレントブロックという)の量子化係数を逆量子化する。具体的には、逆量子化部204は、カレントブロックの量子化係数の各々について、当該量子化係数に対応する量子化パラメータに基づいて当該量子化係数を逆量子化する。そして、逆量子化部204は、カレントブロックの逆量子化された量子化係数(つまり変換係数)を逆変換部206に出力する。
逆変換部206は、逆量子化部204からの入力である変換係数を逆変換することにより予測誤差を復元する。
加算部208は、逆変換部206からの入力である予測誤差と予測制御部220からの入力である予測サンプルとを加算することによりカレントブロックを再構成する。そして、加算部208は、再構成されたブロックをブロックメモリ210及びループフィルタ部212に出力する。
ブロックメモリ210は、イントラ予測で参照されるブロックであって復号対象ピクチャ(以下、カレントピクチャという)内のブロックを格納するための記憶部である。具体的には、ブロックメモリ210は、加算部208から出力された再構成ブロックを格納する。
ループフィルタ部212は、加算部208によって再構成されたブロックにループフィルタを施し、フィルタされた再構成ブロックをフレームメモリ214及び表示装置等に出力する。
フレームメモリ214は、インター予測に用いられる参照ピクチャを格納するための記憶部であり、フレームバッファと呼ばれることもある。具体的には、フレームメモリ214は、ループフィルタ部212によってフィルタされた再構成ブロックを格納する。
イントラ予測部216は、符号化ビットストリームから読み解かれたイントラ予測モードに基づいて、ブロックメモリ210に格納されたカレントピクチャ内のブロックを参照してイントラ予測を行うことで、予測信号(イントラ予測信号)を生成する。具体的には、イントラ予測部216は、カレントブロックに隣接するブロックのサンプル(例えば輝度値、色差値)を参照してイントラ予測を行うことでイントラ予測信号を生成し、イントラ予測信号を予測制御部220に出力する。
インター予測部218は、フレームメモリ214に格納された参照ピクチャを参照して、カレントブロックを予測する。予測は、カレントブロック又はカレントブロック内のサブブロック(例えば4x4ブロック)の単位で行われる。例えば、インター予測部218は、符号化ビットストリームから読み解かれた動き情報(例えば動きベクトル)を用いて動き補償を行うことでカレントブロック又はサブブロックのインター予測信号を生成し、インター予測信号を予測制御部220に出力する。
を行うことにより動き情報を導出する。そして、インター予測部218は、導出された動き情報を用いて動き補償を行う。
予測制御部220は、イントラ予測信号及びインター予測信号のいずれかを選択し、選択した信号を予測信号として加算部208に出力する。
図11は、復号装置200で用いられるパイプライン構成の概略の第1の例を示す図である。このパイプライン構成は、第1ステージ、第2ステージ、第3ステージ及び第4ステージの4つのステージを含む。
時間が長いステージとなってしまっている。
RUCモード等)から、符号化対象又は復号対象のブロックである対象ブロックに用いるインター予測モードを選択する。インター予測部126は、選択されたインター予測モードを用いて動きベクトル(MV)を導出する。具体的には、インター予測モード情報により、対象ブロックに用いるインター予測モードが示される。
図15は、復号装置200で用いられるパイプライン構成の概略の第2の例を示す図である。図15で示す第2の例では、図11で説明した第1の例とは異なり、復号装置200は、インター予測処理おけるMVP導出で使用する周辺の復号化済みブロックの周辺参照用動きベクトルとして、動きベクトル導出に関わる全ての処理を行った後の最終的な動きベクトル(第2動きベクトル)を用いるのではなく、MVP導出処理で取得した1つもしくは複数個のMVPを用いて生成した仮の動きベクトル(第1動きベクトル)を用いる。
ってもよい。
図15から図17を用いて説明した構成により、後続するブロックの処理においてMVPを導出するための周辺参照用動きベクトルのフィードバックを処理フローの早い時点で行うことが可能となる。よって、第1の例で発生していたパイプライン制御におけるステージの待ち時間が大幅に削減される。これにより、処理性能の低い復号装置でも1ピクチャに割り当てられた処理時間内に全てのブロックの処理を完了させることができる可能性が高くなる。
図18は、復号装置200で用いられるパイプライン構成の概略の第3の例を示す図である。図18に示す第3の例では、図11で説明した第1の例とは異なり、復号装置200は、インター予測処理おけるMVP導出で使用する周辺の復号化済みブロックの周辺参照用動きベクトルとして、動きベクトル導出に関わる全ての処理を行った後の最終的な動きベクトルを用いるのではなく、インター予測モードがFRUCモードの場合は最適MVP周辺探索を行う前の仮の動きベクトルを用い、インター予測モードがマージモードの場合はDMVR処理を行う前の仮の動きベクトルを用いる。
符号化ユニットCU0の第2ステージの処理時間が他のステージに比べて充分に短い長さであるため、符号化ユニットCU1では第1ステージの処理が終了してから待ち時間なく第2ステージの処理を開始可能である。
例えばループフィルタ処理等の他の処理における周辺参照用動きベクトルとして使用されてもよい。なお、ループフィルタ処理等の他の処理において、仮の動きベクトルではなく、動き補償に用いられる最終的な動きベクトルが用いられてもよい。具体的には、図18に示す第3ステージにおいて最終的な動きベクトルが導出される。よって、第4ステージ以降の処理では、この最終的な動きベクトルが用いられてもよい。
図18から図20を用いて説明した構成により、後続するブロックの処理においてMVPを導出するための周辺参照用動きベクトルのフィードバックを処理フローの早い時点で行うことが可能となる。よって、第1の例で発生していたパイプライン制御におけるステージの待ち時間が大幅に削減される。これにより、処理性能の低い復号装置でも1ピクチャに割り当てられた処理時間内に全てのブロックの処理を完了させることができる可能性が高くなる。
図17で説明した第2の例及び図20で説明した第3の例において、周辺参照用動きベクトルメモリに仮の動きベクトルを格納するのに加えて、図14で説明した第1の例と同様に最終的な動きベクトルも合わせて格納してもよい。
周辺ブロックである。
図14で説明した第1の例と図17で説明した第2の例と図20で説明した第3の例とを、組み合わせた処理フローが用いられてもよい。
インター予測部126は、処理対象ストリームを低遅延モードで処理するか否かを判定し、処理対象ストリームを低遅延モードで処理する場合に、第2の例又は第3の例で説明したように、MVP導出処理における周辺参照用動きベクトルとして仮の動きベクトルを参照し、処理対象ストリームを低遅延モードで処理しない場合に、第1の例で説明したように、MVP導出処理における周辺参照用動きベクトルとして最終的な動きベクトルを参照してもよい。
201でマージモード又はFRUCモード)、対象ブロックの第1動きベクトルを導出し(S203又はS205)、導出された第1動きベクトルをメモリに格納し、対象ブロックの第2動きベクトルを導出し(S204又はS207)、第2動きベクトルを用いた動き補償により対象ブロックの予測画像を生成する(S208)。符号化装置100は、第1動きベクトルの導出(S203又はS205)では、処理済みのブロックの第1動きベクトルを用いて、対象ブロックの第1動きベクトルを導出する。
3又はS205)では、処理済みブロックが、対象ブロックと同じピクチャに属する場合、処理済みブロックの第1動きベクトルを用いて予測動きベクトルを導出し、処理済みブロックが、対象ブロックと異なるピクチャに属する場合、処理済みブロックの第2動きベクトルを用いて予測動きベクトルを導出する。これによれば、符号化装置100は、処理済みブロックが、対象ブロックと異なるピクチャに属する場合には、第2動きベクトルを用いることで、予測動きベクトルの信頼性を向上できる。
又はS205)では、処理済みブロックの第1動きベクトル又は第2動きベクトルを用いて、複数の予測動きベクトルの各々を導出する。復号装置200は、第1動きベクトルの決定(例えば図17のS205)では、予測動きベクトルリストで示される複数の予測動きベクトルのうち、第2動きベクトルを用いて導出された予測動きベクトル候補から第1動きベクトルを決定する。これによれば、信頼性の高い第2動きベクトルを用いて第1動きベクトルを決定できるので、第1動きベクトルの信頼性の低下を抑制できる。
ード)、対象ブロックの第1動きベクトルを導出し(S203又はS205)、導出された第1動きベクトルをメモリに格納し、対象ブロックの第2動きベクトルを導出し(S204又はS207)、第2動きベクトルを用いた動き補償により対象ブロックの予測画像を生成する(S208)。符号化装置100は、第1動きベクトルの導出では、処理済みのブロックの第1動きベクトルを用いて、対象ブロックの第1動きベクトルを導出する。
図23は、実施の形態1に係る符号化装置100の実装例を示すブロック図である。符号化装置100は、回路160及びメモリ162を備える。例えば、図1に示された符号化装置100の複数の構成要素は、図23に示された回路160及びメモリ162によって実装される。
図24は、実施の形態1に係る復号装置200の実装例を示すブロック図である。復号装置200は、回路260及びメモリ262を備える。例えば、図10に示された復号装置200の複数の構成要素は、図24に示された回路260及びメモリ262によって実装される。
。例えば、回路260は、動画像を復号する専用又は汎用の電子回路である。回路260は、CPUのようなプロセッサであってもよい。また、回路260は、複数の電子回路の集合体であってもよい。また、例えば、回路260は、図10等に示された復号装置200の複数の構成要素のうち、情報を記憶するための構成要素を除く、複数の構成要素の役割を果たしてもよい。
また、本実施の形態における符号化装置100及び復号装置200は、それぞれ、画像符号化装置及び画像復号装置として利用されてもよいし、動画像符号化装置及び動画像復号装置として利用されてもよい。あるいは、符号化装置100及び復号装置200は、それぞれ、インター予測装置(画面間予測装置)として利用され得る。
理回路は回路160又は260に対応し、記憶装置はメモリ162又は262に対応する。
以上の各実施の形態において、機能ブロックの各々は、通常、MPU及びメモリ等によって実現可能である。また、機能ブロックの各々による処理は、通常、プロセッサなどのプログラム実行部が、ROM等の記録媒体に記録されたソフトウェア(プログラム)を読み出して実行することで実現される。当該ソフトウェアはダウンロード等により配布されてもよいし、半導体メモリなどの記録媒体に記録して配布されてもよい。なお、各機能ブロックをハードウェア(専用回路)によって実現することも、当然、可能である。
図25は、コンテンツ配信サービスを実現するコンテンツ供給システムex100の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex106、ex107、ex108、ex109、ex110が設置されている。
また、ストリーミングサーバex103は複数のサーバ又は複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。例えば、ストリーミングサーバex103は、CDN(Contents Delivery Network)により実現され、世界中に分散された多数のエッジサーバとエッジサーバ間をつなぐネットワークによりコンテンツ配信が実現されていてもよい。CDNでは、クライアントに応じて物理的に近いエッジサーバが動的に割り当てられる。そして、当該エッジサーバにコンテンツがキャッシュ及び配信されることで遅延を減らすことができる。また、何らかのエラーが発生した場合又はトラフィックの増加などにより通信状態が変わる場合に複数のエッジサーバで処理を分散したり、他のエッジサーバに配信主体を切り替えたり、障害が生じたネットワークの部分を迂回して配信を続けることができるので、高速かつ安定した配信が実現できる。
サーバで行われる処理の一部又は全てが端末で行われてもよいし、端末で行われる処理の一部又は全てがサーバで行われてもよい。また、これらに関しては、復号処理についても同様である。
近年では、互いにほぼ同期した複数のカメラex113及び/又はスマートフォンex115などの端末により撮影された異なるシーン、又は、同一シーンを異なるアングルから撮影した画像或いは映像を統合して利用することも増えてきている。各端末で撮影した映像は、別途取得した端末間の相対的な位置関係、又は、映像に含まれる特徴点が一致する領域などに基づいて統合される。
端末自体の性能によらず処理を分散して適切なコンテンツを選択することで画質のよいデータを再生することができる。また、他の例として大きなサイズの画像データをTV等で受信しつつ、鑑賞者の個人端末にピクチャが分割されたタイルなど一部の領域が復号されて表示されてもよい。これにより、全体像を共有化しつつ、自身の担当分野又はより詳細に確認したい領域を手元で確認することができる。
コンテンツの切り替えに関して、図26に示す、上記各実施の形態で示した動画像符号化方法を応用して圧縮符号化されたスケーラブルなストリームを用いて説明する。サーバは、個別のストリームとして内容は同じで質の異なるストリームを複数有していても構わないが、図示するようにレイヤに分けて符号化を行うことで実現される時間的/空間的スケーラブルなストリームの特徴を活かして、コンテンツを切り替える構成であってもよい。つまり、復号側が性能という内的要因と通信帯域の状態などの外的要因とに応じてどのレイヤまで復号するかを決定することで、復号側は、低解像度のコンテンツと高解像度のコンテンツとを自由に切り替えて復号できる。例えば移動中にスマートフォンex115で視聴していた映像の続きを、帰宅後にインターネットTV等の機器で視聴したい場合には、当該機器は、同じストリームを異なるレイヤまで復号すればよいので、サーバ側の負担を軽減できる。
図28は、コンピュータex111等におけるwebページの表示画面例を示す図である。図29は、スマートフォンex115等におけるwebページの表示画面例を示す図である。図28及び図29に示すようにwebページが、画像コンテンツへのリンクであるリンク画像を複数含む場合があり、閲覧するデバイスによってその見え方は異なる。画面上に複数のリンク画像が見える場合には、ユーザが明示的にリンク画像を選択するまで、又は画面の中央付近にリンク画像が近付く或いはリンク画像の全体が画面内に入るまでは、表示装置(復号装置)は、リンク画像として各コンテンツが有する静止画又はIピクチャを表示したり、複数の静止画又はIピクチャ等でgifアニメのような映像を表示したり、ベースレイヤのみ受信して映像を復号及び表示したりする。
また、車の自動走行又は走行支援のため2次元又は3次元の地図情報などの静止画又は映像データを送受信する場合、受信端末は、1以上のレイヤに属する画像データに加えて、メタ情報として天候又は工事の情報なども受信し、これらを対応付けて復号してもよい。なお、メタ情報は、レイヤに属してもよいし、単に画像データと多重化されてもよい。
また、コンテンツ供給システムex100では、映像配信業者による高画質で長時間のコンテンツのみならず、個人による低画質で短時間のコンテンツのユニキャスト、又はマルチキャスト配信が可能である。また、このような個人のコンテンツは今後も増加していくと考えられる。個人コンテンツをより優れたコンテンツにするために、サーバは、編集処理を行ってから符号化処理を行ってもよい。これは例えば、以下のような構成で実現できる。
ら撮影エラー、シーン探索、意味の解析、及びオブジェクト検出などの認識処理を行う。そして、サーバは、認識結果に基いて手動又は自動で、ピントずれ又は手ブレなどを補正したり、明度が他のピクチャに比べて低い又は焦点が合っていないシーンなどの重要性の低いシーンを削除したり、オブジェクトのエッジを強調したり、色合いを変化させるなどの編集を行う。サーバは、編集結果に基いて編集後のデータを符号化する。また撮影時刻が長すぎると視聴率が下がることも知られており、サーバは、撮影時間に応じて特定の時間範囲内のコンテンツになるように上記のように重要性が低いシーンのみならず動きが少ないシーンなどを、画像処理結果に基き自動でクリップしてもよい。または、サーバは、シーンの意味解析の結果に基づいてダイジェストを生成して符号化してもよい。
また、これらの符号化又は復号処理は、一般的に各端末が有するLSIex500において処理される。LSIex500は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化又は復号用のソフトウェアをコンピュータex111等で読み取り可能な何らかの記録メディア(CD-ROM、フレキシブルディスク、又はハードディスクなど)に組み込み、そのソフトウェアを用いて符号化又は復号処理を行ってもよい。さらに、スマートフォンex115がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データはスマートフォンex115が有するLSIex500で符号化処理されたデータである。
号化装置)又は動画像復号化装置(画像復号装置)のいずれかを組み込むことができる。衛星などを利用して放送用の電波に映像と音が多重化された多重化データを載せて送受信するため、コンテンツ供給システムex100のユニキャストがし易い構成に対してマルチキャスト向きであるという違いがあるが符号化処理及び復号処理に関しては同様の応用が可能である。
図30は、スマートフォンex115を示す図である。また、図31は、スマートフォンex115の構成例を示す図である。スマートフォンex115は、基地局ex110との間で電波を送受信するためのアンテナex450と、映像及び静止画を撮ることが可能なカメラ部ex465と、カメラ部ex465で撮像した映像、及びアンテナex450で受信した映像等が復号されたデータを表示する表示部ex458とを備える。スマートフォンex115は、さらに、タッチパネル等である操作部ex466と、音声又は音響を出力するためのスピーカ等である音声出力部ex457と、音声を入力するためのマイク等である音声入力部ex456と、撮影した映像或いは静止画、録音した音声、受信した映像或いは静止画、メール等の符号化されたデータ、又は、復号化されたデータを保存可能なメモリ部ex467と、ユーザを特定し、ネットワークをはじめ各種データへのアクセスの認証をするためのSIMex468とのインタフェース部であるスロット部ex464とを備える。なお、メモリ部ex467の代わりに外付けメモリが用いられてもよい。
る。
102 分割部
104 減算部
106 変換部
108 量子化部
110 エントロピー符号化部
112、204 逆量子化部
114、206 逆変換部
116、208 加算部
118、210 ブロックメモリ
120、212 ループフィルタ部
122、214 フレームメモリ
124、216 イントラ予測部
126、218 インター予測部
128、220 予測制御部
160、260 回路
162、262 メモリ
200 復号装置
202 エントロピー復号部
Claims (2)
- 回路と、
メモリと、を備え、
前記回路は、前記メモリを用いて、インター予測処理において、
過去の処理対象ブロックの動きベクトルを用いて、第1の処理対象ブロックの第1動きベクトルを導出し、
前記第1動きベクトルの周辺領域に対して動き探索処理を行うことにより、前記第1の処理対象ブロックの第2動きベクトルを導出し、
前記第2動きベクトルを用いた動き補償により前記第1の処理対象ブロックの予測画像を生成し、
前記第1の処理対象ブロックよりも後の処理対象ブロックである第2の処理対象ブロックが前記第1の処理対象ブロックと同じピクチャに属する場合は、前記第1の処理対象ブロックの前記第1動きベクトルを用いて前記第2の処理対象ブロックの第3動きベクトルを導出し、
前記第2の処理対象ブロックが前記第1の処理対象ブロックと異なるピクチャに属する場合は、前記第1の処理対象ブロックの前記第2動きベクトルを用いて前記第2の処理対象ブロックの第3動きベクトルを導出し、
前記第3動きベクトルの周辺領域に対して動き探索処理を行うことにより、前記第2の処理対象ブロックの第4動きベクトルを導出し、
前記第4動きベクトルを用いた動き補償により前記第2の処理対象ブロックの予測画像を生成し、
前記第3動きベクトルの導出において、
(i)前記第1の処理対象ブロックの前記第1動きベクトル又は前記第2動きベクトルを用いて、複数の予測動きベクトルを示す予測動きベクトルリストを生成し、
(ii)前記複数の予測動きベクトルに基づいて、前記第2の処理対象ブロックの前記第3動きベクトルを決定する、
符号化装置。 - 過去の処理対象ブロックの動きベクトルを用いて、第1の処理対象ブロックの第1動きベクトルを導出し、
前記第1動きベクトルの周辺領域に対して動き探索処理を行うことにより、前記第1の処理対象ブロックの第2動きベクトルを導出し、
前記第2動きベクトルを用いた動き補償により前記第1の処理対象ブロックの予測画像を生成し、
前記第1の処理対象ブロックよりも後の処理対象ブロックである第2の処理対象ブロックが前記第1の処理対象ブロックと同じピクチャに属する場合は、前記第1の処理対象ブロックの前記第1動きベクトルを用いて前記第2の処理対象ブロックの第3動きベクトルを導出し、
前記第2の処理対象ブロックが前記第1の処理対象ブロックと異なるピクチャに属する場合は、前記第1の処理対象ブロックの前記第2動きベクトルを用いて前記第2の処理対象ブロックの第3動きベクトルを導出し、
前記第3動きベクトルの周辺領域に対して動き探索処理を行うことにより、前記第2の処理対象ブロックの第4動きベクトルを導出し、
前記第4動きベクトルを用いた動き補償により前記第2の処理対象ブロックの予測画像を生成し、
前記第3動きベクトルの導出において、
(i)前記第1の処理対象ブロックの前記第1動きベクトル又は前記第2動きベクトルを用いて、複数の予測動きベクトルを示す予測動きベクトルリストを生成し、
(ii)前記複数の予測動きベクトルに基づいて、前記第2の処理対象ブロックの前
記第3動きベクトルを決定する、
符号化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2024077726A JP2024102312A (ja) | 2017-09-26 | 2024-05-13 | 符号化装置、符号化方法、復号装置及び復号方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762563235P | 2017-09-26 | 2017-09-26 | |
US62/563,235 | 2017-09-26 | ||
JP2020201392A JP7014881B2 (ja) | 2017-09-26 | 2020-12-04 | 符号化装置及び符号化方法 |
JP2022006854A JP7260685B2 (ja) | 2017-09-26 | 2022-01-20 | 符号化装置及び符号化方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022006854A Division JP7260685B2 (ja) | 2017-09-26 | 2022-01-20 | 符号化装置及び符号化方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024077726A Division JP2024102312A (ja) | 2017-09-26 | 2024-05-13 | 符号化装置、符号化方法、復号装置及び復号方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023082201A JP2023082201A (ja) | 2023-06-13 |
JP7489518B2 true JP7489518B2 (ja) | 2024-05-23 |
Family
ID=65900971
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019545026A Active JP6806916B2 (ja) | 2017-09-26 | 2018-09-20 | 復号装置及び復号方法 |
JP2020201392A Active JP7014881B2 (ja) | 2017-09-26 | 2020-12-04 | 符号化装置及び符号化方法 |
JP2022006854A Active JP7260685B2 (ja) | 2017-09-26 | 2022-01-20 | 符号化装置及び符号化方法 |
JP2023061947A Active JP7489518B2 (ja) | 2017-09-26 | 2023-04-06 | 符号化装置及び符号化方法 |
JP2024077726A Pending JP2024102312A (ja) | 2017-09-26 | 2024-05-13 | 符号化装置、符号化方法、復号装置及び復号方法 |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019545026A Active JP6806916B2 (ja) | 2017-09-26 | 2018-09-20 | 復号装置及び復号方法 |
JP2020201392A Active JP7014881B2 (ja) | 2017-09-26 | 2020-12-04 | 符号化装置及び符号化方法 |
JP2022006854A Active JP7260685B2 (ja) | 2017-09-26 | 2022-01-20 | 符号化装置及び符号化方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024077726A Pending JP2024102312A (ja) | 2017-09-26 | 2024-05-13 | 符号化装置、符号化方法、復号装置及び復号方法 |
Country Status (10)
Country | Link |
---|---|
US (4) | US11064216B2 (ja) |
EP (1) | EP3691273A4 (ja) |
JP (5) | JP6806916B2 (ja) |
KR (1) | KR20200053482A (ja) |
CN (5) | CN116886901A (ja) |
BR (1) | BR112020001579A2 (ja) |
CA (1) | CA3072323A1 (ja) |
MX (2) | MX2020001436A (ja) |
TW (2) | TWI838835B (ja) |
WO (1) | WO2019065444A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3072323A1 (en) * | 2017-09-26 | 2019-04-04 | Panasonic Intellectual Property Corporation Of America | Encoder, decoder, encoding method and decoding method |
KR20210006355A (ko) * | 2018-05-07 | 2021-01-18 | 인터디지털 브이씨 홀딩스 인코포레이티드 | 인코딩/디코딩에서의 데이터 의존성 |
SG11202105607VA (en) | 2018-11-27 | 2021-06-29 | Op Solutions Llc | Block-based picture fusion for contextual segmentation and processing |
SG11202105604UA (en) * | 2018-11-27 | 2021-06-29 | Op Solutions Llc | Block-based spatial activity measures for pictures cross-reference to related applications |
WO2020186275A1 (en) * | 2019-06-04 | 2020-09-17 | Futurewei Technologies, Inc | Inter coding in video coding with the support of multiple layers |
KR20220098294A (ko) * | 2019-06-17 | 2022-07-11 | 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 | 비디오 코딩에서의 디코더 측 모션 벡터 개선을 위한 방법들 및 장치들 |
CN118200588A (zh) * | 2020-09-18 | 2024-06-14 | 松下电器(美国)知识产权公司 | 三维数据的解码方法及装置、编码装置和计算机可读介质 |
US11616970B1 (en) * | 2022-01-25 | 2023-03-28 | Mediatek Inc. | Motion vector refinement apparatus having motion vector predictor derivation circuit that is allowed to start new task without waiting for motion vector difference computation and associated motion vector refinement method |
US11902611B2 (en) | 2022-03-01 | 2024-02-13 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method and system for edge server selection for in-vehicle media content distribution with deep reinforcement learning |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009055254A (ja) | 2007-08-27 | 2009-03-12 | Nippon Telegr & Teleph Corp <Ntt> | 動き検出装置 |
WO2012086829A1 (ja) | 2010-12-21 | 2012-06-28 | 日本電気株式会社 | 動き推定装置、動き推定方法、動き推定プログラム、および動画像符号化装置 |
JP2013098789A (ja) | 2011-11-01 | 2013-05-20 | Hitachi Kokusai Electric Inc | 画像符号化装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3078990B2 (ja) * | 1994-12-07 | 2000-08-21 | 株式会社グラフィックス・コミュニケーション・ラボラトリーズ | 低遅延モード画像復号方法 |
KR100796085B1 (ko) * | 2000-04-14 | 2008-01-21 | 소니 가부시끼 가이샤 | 복호 장치, 복호 방법, 및 기록 매체 |
JPWO2007066710A1 (ja) * | 2005-12-07 | 2009-05-21 | ソニー株式会社 | 符号化装置、符号化方法および符号化プログラム、ならびに、復号装置、復号方法および復号プログラム |
JP4062712B2 (ja) * | 2006-04-17 | 2008-03-19 | 俊宏 南 | 動画像符号化装置および動画像符号化方法 |
JP5281596B2 (ja) * | 2010-02-04 | 2013-09-04 | 日本電信電話株式会社 | 動きベクトル予測方法,動きベクトル予測装置および動きベクトル予測プログラム |
PL3554079T3 (pl) * | 2011-01-07 | 2023-02-06 | Lg Electronics Inc. | Sposób kodowania informacji wideo, sposób dekodowania informacji wideo i urządzenie do dekodowania przeznaczone do dekodowania informacji wideo |
JPWO2013065308A1 (ja) * | 2011-11-02 | 2015-04-02 | パナソニック株式会社 | 動画像符号化方法、動画像符号化装置、動画像復号方法、動画像復号装置、および、動画像符号化復号装置 |
US9571833B2 (en) * | 2011-11-04 | 2017-02-14 | Nokia Technologies Oy | Method for coding and an apparatus |
JP2013102260A (ja) * | 2011-11-07 | 2013-05-23 | Jvc Kenwood Corp | 動画像復号装置、動画像復号方法及び動画像復号プログラム |
BR122015021735A2 (pt) * | 2011-11-08 | 2019-08-27 | Samsung Electronics Co Ltd | aparelho para decodificar uma imagem |
BR112014013969B1 (pt) * | 2011-12-28 | 2022-05-10 | JVC Kenwood Corporation | Dispositivo de codificação de vídeo, método de codificação de vídeo, programa de codificação de vídeo, dispositivo de decodificação de vídeo, método de decodificação de vídeo, programa de decodificação de vídeo |
JP6344398B2 (ja) | 2013-12-04 | 2018-06-20 | 日本電気株式会社 | 動画像符号化装置、動画像符号化方法および動画像符号化用プログラム |
WO2016008157A1 (en) * | 2014-07-18 | 2016-01-21 | Mediatek Singapore Pte. Ltd. | Methods for motion compensation using high order motion model |
US10958927B2 (en) * | 2015-03-27 | 2021-03-23 | Qualcomm Incorporated | Motion information derivation mode determination in video coding |
US10368083B2 (en) * | 2016-02-15 | 2019-07-30 | Qualcomm Incorporated | Picture order count based motion vector pruning |
WO2017157281A1 (en) * | 2016-03-16 | 2017-09-21 | Mediatek Inc. | Method and apparatus of pattern-based motion vector derivation for video coding |
EP3430809A4 (en) * | 2016-03-18 | 2019-01-30 | Telefonaktiebolaget LM Ericsson (publ) | SUCCESSIVE FOR MOTION VECTOR RECONSTRUCTION |
JP6183505B2 (ja) * | 2016-06-29 | 2017-08-23 | 株式会社Jvcケンウッド | 動画像符号化装置 |
CA3072323A1 (en) | 2017-09-26 | 2019-04-04 | Panasonic Intellectual Property Corporation Of America | Encoder, decoder, encoding method and decoding method |
-
2018
- 2018-09-20 CA CA3072323A patent/CA3072323A1/en active Pending
- 2018-09-20 WO PCT/JP2018/034793 patent/WO2019065444A1/ja unknown
- 2018-09-20 MX MX2020001436A patent/MX2020001436A/es unknown
- 2018-09-20 KR KR1020207005631A patent/KR20200053482A/ko not_active Application Discontinuation
- 2018-09-20 CN CN202310966936.9A patent/CN116886901A/zh active Pending
- 2018-09-20 BR BR112020001579-2A patent/BR112020001579A2/pt unknown
- 2018-09-20 CN CN202310967102.XA patent/CN116886902A/zh active Pending
- 2018-09-20 CN CN202310964025.2A patent/CN116886900A/zh active Pending
- 2018-09-20 EP EP18862113.0A patent/EP3691273A4/en active Pending
- 2018-09-20 CN CN202310962785.XA patent/CN116886920A/zh active Pending
- 2018-09-20 CN CN201880055108.7A patent/CN111066325B/zh active Active
- 2018-09-20 JP JP2019545026A patent/JP6806916B2/ja active Active
- 2018-09-25 TW TW111132456A patent/TWI838835B/zh active
- 2018-09-25 TW TW107133662A patent/TWI778137B/zh active
-
2020
- 2020-02-05 MX MX2023007470A patent/MX2023007470A/es unknown
- 2020-02-19 US US16/794,944 patent/US11064216B2/en active Active
- 2020-12-04 JP JP2020201392A patent/JP7014881B2/ja active Active
-
2021
- 2021-06-08 US US17/342,076 patent/US11463724B2/en active Active
-
2022
- 2022-01-20 JP JP2022006854A patent/JP7260685B2/ja active Active
- 2022-08-25 US US17/895,189 patent/US11677975B2/en active Active
-
2023
- 2023-04-06 JP JP2023061947A patent/JP7489518B2/ja active Active
- 2023-05-02 US US18/142,173 patent/US12052436B2/en active Active
-
2024
- 2024-05-13 JP JP2024077726A patent/JP2024102312A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009055254A (ja) | 2007-08-27 | 2009-03-12 | Nippon Telegr & Teleph Corp <Ntt> | 動き検出装置 |
WO2012086829A1 (ja) | 2010-12-21 | 2012-06-28 | 日本電気株式会社 | 動き推定装置、動き推定方法、動き推定プログラム、および動画像符号化装置 |
JP2013098789A (ja) | 2011-11-01 | 2013-05-20 | Hitachi Kokusai Electric Inc | 画像符号化装置 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7534488B2 (ja) | 符号化装置及び復号装置 | |
JP2024054401A (ja) | 画像符号化装置、画像復号装置、およびビットストリーム生成装置 | |
JP7489518B2 (ja) | 符号化装置及び符号化方法 | |
JP6946419B2 (ja) | 復号装置、復号方法及びプログラム | |
JP7509975B2 (ja) | 符号化装置及び復号装置 | |
JP7527451B2 (ja) | 復号装置、符号化装置、復号方法及び符号化方法 | |
JP2022008413A (ja) | 復号装置、符号化装置及び記録媒体 | |
JP7553686B2 (ja) | 符号化装置、復号装置、符号化方法、及び復号方法 | |
JP7529872B2 (ja) | 符号化装置及び符号化方法 | |
JP7529740B2 (ja) | 復号装置及び符号化装置 | |
JP7017580B2 (ja) | 復号装置、画像復号装置及び復号方法 | |
JP7495568B2 (ja) | 符号化装置及び復号装置 | |
JP7314382B2 (ja) | 復号装置 | |
JP7535642B2 (ja) | 符号化装置、及び、符号化方法 | |
JP2024086961A (ja) | 符号化装置及び復号装置 | |
JP2024107371A (ja) | 送信装置及び送信方法 | |
WO2019059107A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
WO2019031369A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
WO2019146718A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
WO2019049912A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
WO2019031417A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
JP7496909B2 (ja) | 符号化装置及び符号化方法 | |
WO2019124205A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 | |
WO2019093279A1 (ja) | 符号化装置、復号装置、符号化方法および復号方法 | |
WO2019021947A1 (ja) | 符号化装置、復号装置、符号化方法及び復号方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230406 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240411 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240513 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7489518 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |