JPWO2010137323A1 - 映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法 - Google Patents
映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法 Download PDFInfo
- Publication number
- JPWO2010137323A1 JPWO2010137323A1 JP2011515898A JP2011515898A JPWO2010137323A1 JP WO2010137323 A1 JPWO2010137323 A1 JP WO2010137323A1 JP 2011515898 A JP2011515898 A JP 2011515898A JP 2011515898 A JP2011515898 A JP 2011515898A JP WO2010137323 A1 JPWO2010137323 A1 JP WO2010137323A1
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- unit
- error signal
- prediction error
- decoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/127—Prioritisation of hardware or computational resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/543—Motion estimation other than block-based using regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/567—Motion estimation based on rate distortion criteria
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
映像符号化装置の圧縮部6において、変換処理決定部31は、予測誤差信号5をダウンサンプリング処理部36で縮小変換してから変換・量子化するか否かを選択して、量子化係数データ7a,7bいずれかを生成する。量子化係数データ7b生成の場合、続く局所復号部で、量子化係数データ7bを逆量子化・逆変換した後、アップサンプリング処理部で拡大変換して、復号予測誤差信号を生成する。
Description
この発明は、映像圧縮符号化技術や圧縮映像データ伝送技術等に用いられる映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法に関する。
従来、MPEGやITU−T H.26x等の国際標準映像符号化方式では、入力映像フレームを、16×16画素ブロックからなるマクロブロックの単位に分割して圧縮処理を行う。
一方、近年、HDTV(High Definition TeleVision,1920×1080画素)の4倍相当の空間解像度を有する4K×2K画素の映像フォーマット、さらにその4倍に相当する8K×4K画素の映像フォーマット、あるいは色信号のサンプル数を増やして色再現性を高める4:4:4映像信号フォーマット等の高精細・高品質映像を圧縮符号化する技術が望まれている。このような高精細・高品質映像を圧縮符号化する場合は、16×16画素のマクロブロックでは画像信号相関を十分に利用した符号化が行えなくなり、高い圧縮率を実現することが難しくなってくる。このような課題に対応するため、例えば、従来の16×16画素マクロブロックの大きさを、非特許文献1のように32×32画素ブロックへ拡張して、動きベクトルの割り当て単位を大きくして予測に必要なパラメータの符号量を削減したり、予測誤差信号の変換符号化のブロックサイズを大きくして、信号の画素間相関を効果的に除去したりする技術が提案されている。
図12は、非特許文献1による符号化装置の構成を示すブロック図である。非特許文献1による符号化では、まず、符号化対象となる入力映像信号1001を、ブロック分割部1002においてマクロブロック(輝度信号相当で32画素×32ラインの矩形ブロック)の単位に分割し、符号化映像信号1003として予測部1004へ入力する。
予測部1004では、マクロブロック内の各色成分の画像信号をフレーム内・フレーム間で予測して、予測誤差信号1005を得る。特に、フレーム間で動き補償予測を行う場合、マクロブロック自体、またはマクロブロックをさらに細かく分割したサブブロックの単位で動きベクトルを探索し、動きベクトルに基づいて動き補償予測画像を生成して、符号化映像信号1003との差分を取ることによって予測誤差信号1005を得る。なお、非特許文献3では、従来のマクロブロックに対して、マクロブロックの大きさを16×16画素固定のまま、動き予測領域の分割形状を多様化する手法が提案されている。
圧縮部1006は、予測誤差信号1005に対して、動きベクトルの割り当て単位領域の大きさに応じてブロックサイズを変更しながらDCT(離散コサイン変換)処理を施して信号相関を除去した後、量子化して圧縮データ1007を得る。圧縮データ1007は可変長符号化部1008でエントロピー符号化されてビットストリーム1009として出力されるとともに、局所復号部1010に送られ、復号予測誤差信号1011を得る。
この復号予測誤差信号1011を、予測誤差信号1005の生成に用いた予測信号1012と加算して復号信号1013にして、ループフィルタ1014に入力する。復号信号1013は、ループフィルタ1014でブロックひずみを除去する処理が施された後、以降の予測信号1012を生成するための参照画像信号1015としてメモリ1016に格納される。なお、予測信号1012を得るために予測部1004において決定された予測信号生成用パラメータ1017は可変長符号化部1008へ送られ、ビットストリーム1009に多重されて出力される。ここで、予測信号生成用パラメータ1017には、例えば、フレーム内での空間予測をどのように行うかを示すイントラ予測モードや、フレーム間の動き量を示す動きベクトル等の情報が含まれる。
従来のMPEGやITU−T H.26x等の国際標準映像符号化方式がマクロブロックサイズとして16×16画素ブロックを採用していたのに対して、非特許文献1では、32×32画素ブロックのマクロブロックサイズ(スーパーマクロブロック:SMB)を用いる。図13は、M×M画素マクロブロックごとに動き補償予測を行う際の動きベクトル割り当て領域の分割形状の様子を示し、図13(a)は非特許文献1のSMB、図13(b)は従来のMPEG−4 AVC/H.264(非特許文献2参照)のマクロブロックである。SMBが画素数M=32として動きベクトル1本あたりがカバーする動き予測領域の面積を大きく取るのに対して、従来のマクロブロックは画素数M/2=16を用いている。これにより、SMBでは画面全体として必要になる動きベクトルの情報量が画素数M/2=16に比べて少なくなるため、ビットストリームとして伝送すべき動きベクトル符号量を抑制することが可能である。
また、非特許文献1では、分割形状のサイズが(M/2)×(M/2)よりも大きい場合、DCTブロックサイズを16×16画素に設定し、広範な領域の画像間相関を一括除去するように構成している。これによって、予測誤差信号の圧縮効率を高めている。
Siwei Ma and C.-C. Jay Kuo, "High-definition Video Coding with Super-macroblocks", Proc. SPIE, Vol. 6508, 650816 (2007)
MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格
S.Kondo and H.Sasai, "A Motion Compensation Technique using Sliced Blocks and its Application to Hybrid Video Coding", VCIP 2005, July 2005
上述のように、非特許文献1の従来方式では、マクロブロックの大きさを拡張して、動きベクトルの割り当て単位を大きくして予測に必要なパラメータの符号量を削減したり、信号の画素間相関を除去して、予測誤差信号の圧縮効率を高めたりしていた。その一方で、大きなDCTブロックサイズを適用することは、変換係数を表現する際に必要となる有効桁数の増加を伴うため、係数表現ビット数の増加につながるという課題がある。
この発明は、上記のような課題を解決するためになされたもので、実装負荷バランスがよく、符号化対象となる映像信号の統計的・局所的性質に応じて信号相関をよりよく除去して効率的な情報圧縮を行う映像符号化方法を実現して、超高精細映像信号の符号化のために最適性を高めた映像符号化装置およびその方法、並びに映像復号装置およびその方法を提供することを目的とする。
この発明に係る映像符号化装置は、入力される動画像信号の各フレームを所定サイズのマクロブロックに分割してマクロブロック画像として出力するブロック分割部と、参照画像を蓄積するフレームメモリと、フレームメモリの参照画像とマクロブロック画像とを元にフレーム間予測を行って予測画像を生成すると共に、当該フレーム間予測の方法を特定する情報をフレーム間予測情報として出力するフレーム間予測部と、マクロブロック画像から予測画像を減じ、予測誤差信号を生成する予測部と、予測誤差信号をダウンサンプリングし、縮小予測誤差信号を生成するダウンサンプリング処理部と、縮小予測誤差信号を変換・量子化し、量子化変換係数を生成する第一の量子化変換部と、量子化変換係数を逆量子化・逆変換し、復号縮小予測誤差信号を生成する第一の逆量子化変換部と、復号縮小予測誤差信号をアップサンプリングし、復号予測誤差信号を生成するアップサンプリング処理部と、復号予測誤差信号と予測画像とを加算して局所復号画像を生成し、当該局所復号画像を参照画像としてフレームメモリに出力する加算部と、量子化変換係数とフレーム間予測情報をエントロピー符号化し、符号化データを出力するエントロピー符号化部とを備えるようにしたものである。
この発明に係る映像復号装置は、入力される符号化データをエントロピー復号し、当該符号化データに含まれるフレーム間予測情報および量子化変換係数を出力するエントロピー復号部と、参照画像を蓄積するフレームメモリと、量子化変換係数を逆量子化・逆変換し、復号縮小予測誤差信号を生成する第一の逆量子化変換部と、復号縮小予測誤差信号をアップサンプリングし、復号予測誤差信号を生成するアップサンプリング処理部と、フレーム間予測情報に従って、フレームメモリの参照画像から予測画像を生成する予測部と、復号予測誤差信号と予測画像を加算して復号画像を生成し、当該復号画像を参照画像としてフレームメモリに出力する加算部とを備えるようにしたものである。
この発明に係る映像符号化方法は、入力される動画像信号の各フレームを所定サイズのマクロブロックに分割してマクロブロック画像として出力するブロック分割ステップと、フレームメモリに蓄積された参照画像とマクロブロック画像とを元にフレーム間予測を行って予測画像を生成すると共に、当該フレーム間予測の方法を特定する情報をフレーム間予測情報として出力するフレーム間予測ステップと、マクロブロック画像から予測画像を減じ、予測誤差信号を生成する予測ステップと、予測誤差信号をダウンサンプリングし、縮小予測誤差信号を生成するダウンサンプリング処理ステップと、縮小予測誤差信号を変換・量子化し、量子化変換係数を生成する第一の量子化変換ステップと、量子化変換係数を逆量子化・逆変換し、復号縮小予測誤差信号を生成する第一の逆量子化変換ステップと、復号縮小予測誤差信号をアップサンプリングし、復号予測誤差信号を生成するアップサンプリング処理ステップと、復号予測誤差信号と予測画像とを加算して局所復号画像を生成し、当該局所復号画像を参照画像としてフレームメモリに出力する加算ステップと、量子化変換係数とフレーム間予測情報をエントロピー符号化し、符号化データを出力するエントロピー符号化ステップとを備えるようにしたものである。
この発明に係る映像復号方法は、入力される符号化データをエントロピー復号し、当該符号化データに含まれるフレーム間予測情報および量子化変換係数を出力するエントロピー復号ステップと、量子化変換係数を逆量子化・逆変換し、復号縮小予測誤差信号を生成する第一の逆量子化変換ステップと、復号縮小予測誤差信号をアップサンプリングし、復号予測誤差信号を生成するアップサンプリング処理ステップと、フレーム間予測情報に従って、フレームメモリに蓄積された参照画像から予測画像を生成する予測ステップと、復号予測誤差信号と予測画像を加算して復号画像を生成し、当該復号画像を参照画像としてフレームメモリに出力する加算ステップとを備えるようにしたものである。
この発明によれば、予測誤差信号をダウンサンプリングおよび変換・量子化して量子化変換係数を生成するとともに、量子化変換係数をアップサンプリングおよび逆量子化・逆変換して復号予測誤差信号を生成するようにしたので、実装負荷バランスがよく、符号化対象となる映像信号の統計的・局所的性質に応じて信号相関をよりよく除去して効率的な情報圧縮を行う映像符号化方法を実現して、4:4:4フォーマットの超高精細映像信号の符号化のために最適性を高めた映像符号化装置およびその方法、並びに映像復号装置およびその方法をローコストで提供することができる。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面にしたがって説明する。
実施の形態1.
本実施の形態では、4:4:4フォーマットで入力されるデジタル映像信号の圧縮伸張を行う映像符号化装置および映像復号装置につき、各色成分の信号の状態に適応して動き補償予測処理を行う映像符号化装置および映像復号装置について述べる。
実施の形態1.
本実施の形態では、4:4:4フォーマットで入力されるデジタル映像信号の圧縮伸張を行う映像符号化装置および映像復号装置につき、各色成分の信号の状態に適応して動き補償予測処理を行う映像符号化装置および映像復号装置について述べる。
ここで、図1に、実施の形態1に係る映像符号化装置および映像復号装置が入力として用いる4:4:4フォーマットを示す。4:4:4フォーマットとは、図1(a)に示すように、カラー動画像を構成する3つの信号成分C0,C1,C2の画素数がすべて同じであるフォーマットのことを指す。3つの信号成分の色空間は、RGBまたはXYZであってもよいし、輝度・色差(YUV、YCbCr、またはYPbPr)であってもよい。4:4:4フォーマットに対して、図1(b)に示す4:2:0フォーマットは、色空間がYUV、YCbCr、またはYPbPrであり、かつ、輝度Yの画素数に対して色差信号成分(例えばYCbCrならCb,Cr)のそれが水平W・垂直Hそれぞれ2分の1となるフォーマットのことを呼ぶ。
以下に説明する映像符号化装置および映像復号装置は、特に、4:4:4フォーマットの色空間がYUV、YCbCr、またはYPbPrであり、かつ、各色成分を輝度成分相当とみなして処理を行う方式に限定して説明する。ただし、以下に説明する動作は、4:2:0フォーマットの映像信号を対象とする映像符号化装置および映像復号装置においても、その輝度信号に対して直接適用できることは言うまでもない。また、4:2:0フォーマットの色差信号に対してもそれぞれのサイズを半分にすることによって適用できる。
1.映像符号化装置
図2は、実施の形態1に係る映像符号化装置の構成を示すブロック図である。図2に示す映像符号化装置は、4:4:4フォーマットの入力映像フレームをMmax×Mmax画素ブロック(以下、「基準ブロック」と呼ぶ)に分割し、同基準ブロックの単位で動き予測を行い、予測誤差信号を圧縮符号化するように構成する。
図2は、実施の形態1に係る映像符号化装置の構成を示すブロック図である。図2に示す映像符号化装置は、4:4:4フォーマットの入力映像フレームをMmax×Mmax画素ブロック(以下、「基準ブロック」と呼ぶ)に分割し、同基準ブロックの単位で動き予測を行い、予測誤差信号を圧縮符号化するように構成する。
まず、符号化対象となる入力映像信号(動画像信号)1は、ブロック分割部2において基準ブロック(M画素×Mラインの矩形ブロック)の単位に分割されて符号化信号(マクロブロック画像)3として予測部4へ入力される。図3に、ブロック分割部2が生成する基準ブロックを示す。図3に示すように、基準ブロックは、Mmax×Mmax画素からなる矩形のブロックをまとめた単位の基準ブロックデータとして構成する。詳細は後述するが、基準ブロックサイズMmaxはフレーム若しくはシーケンス、またはGOP(Group Of Pictures)等の上位レイヤデータレベルで決定・符号化する。なお、フレーム内で基準ブロックサイズMmaxを変更するように構成してもよいが、その場合は、スライス等の複数マクロブロックをまとめた単位で基準ブロックサイズMmaxを指定するようにする。
基準ブロックデータは、さらにLi×Mi画素ブロック(i:色成分識別子)の「動き予測単位ブロック」に分割され、動き予測単位ブロックをベースとして動き予測、符号化が行われる。図3(a)における動き予測単位ブロックのパターンはL0=Mmax/2、M0=Mmax/2、図3(b)における動き予測単位ブロックのパターンはL0=Mmax/2、M0=Mmaxであり、図3(a),(b)ともにL1=M1=L2=M2=Mmaxである。なお、以下の説明においては、4:4:4フォーマットの各色成分の基準ブロックについては、3つの色成分C0,C1,C2で同一とし、基準ブロックのサイズを変更する場合は、3つの色成分全てについて、同一の基準ブロックのサイズに変更するものとする。また、動き予測単位ブロックのサイズLi,Miそれぞれについては、色成分C0,C1,C2ごとに選択可能として、シーケンス、GOP、フレーム、基準ブロック等の単位で変更可能となるよう構成してもよい。このような構成をとることにより、基準ブロックサイズは変更することなく、色成分ごとの信号の性質の違いに応じて、動き予測単位ブロックサイズを柔軟に決定することができる。また、基準ブロックのサイズは動的に変更しないので、基準ブロックを単位とする符号化・復号処理の並列化・パイプライン化を考慮した効率的な実装が可能である。
予測部(フレーム間予測部)4では、基準ブロック内の各色成分の画像信号を動き補償予測して、予測信号(予測画像)12を生成するとともに、メモリ(フレームメモリ)16が保持する参照画像信号を符号化信号3から減じて予測誤差信号5を得る。この予測部4のより詳細な動作は後述する。圧縮部6は、予測誤差信号5に対してDCT処理などの変換処理を施して信号相関を除去した後、量子化して予測誤差圧縮データ7を得る。このとき、圧縮部6では予測誤差信号5に対して適応可能な変換処理のモードを複数有し、これらのうちから最適なモードを選択して符号化処理を行い、選択したモードは変換処理モード情報32として、可変長符号化部8へ出力する。なお、圧縮部6の動作については、本実施の形態1の映像符号化装置の特徴であるため、後で詳しく述べる。
可変長符号化部(エントロピー符号化部)8は、予測誤差圧縮データ7をエントロピー符号化してビットストリーム9として出力する。
局所復号部10は、予測誤差圧縮データ7から復号予測誤差信号11を得る。この復号予測誤差信号11が、予測誤差信号5の生成に用いた予測信号12と加算部で加算されて復号信号(局所復号画像)13となり、ループフィルタ14へ入力される。なお、予測信号12を得るために予測部4において決定された予測信号生成用パラメータ(フレーム間予測情報)17は可変長符号化部8へ送られ、ビットストリーム9として出力される。予測信号生成用パラメータ17は可変長符号化部8へ送られ、ビットストリーム9として出力される。予測信号生成用パラメータ17の内容については、予測部4の説明とともに以降で詳述する。
局所復号部10は、予測誤差圧縮データ7から復号予測誤差信号11を得る。この復号予測誤差信号11が、予測誤差信号5の生成に用いた予測信号12と加算部で加算されて復号信号(局所復号画像)13となり、ループフィルタ14へ入力される。なお、予測信号12を得るために予測部4において決定された予測信号生成用パラメータ(フレーム間予測情報)17は可変長符号化部8へ送られ、ビットストリーム9として出力される。予測信号生成用パラメータ17は可変長符号化部8へ送られ、ビットストリーム9として出力される。予測信号生成用パラメータ17の内容については、予測部4の説明とともに以降で詳述する。
ループフィルタ14は、圧縮部6における変換係数量子化に伴って発生するブロックひずみが重畳された復号信号13に対し、予測信号生成用パラメータ17および量子化パラメータ19を用いてブロックひずみ補正を行う。
非特許文献1〜3等の映像符号化方式では、基準ブロックをマクロブロックとした場合、マクロブロックの単位でフレーム内符号化、フレーム間予測符号化を選択しながら符号化する方法が一般的である。これはフレーム間の動き予測が十分でない場合に、フレーム内の相関を利用する方が、符号化が効率化される場合があることに起因している。以降、本実施の形態1の映像符号化装置では、発明のポイントを説明するに際してフレーム内符号化についての記述やその選択的使用について文中での明記は行わないが、特に断らない限り、基準ブロックを単位とするフレーム内符号化の選択的使用が可能な構成とする。本実施の形態1の映像符号化装置において、基準ブロックをマクロブロックと定義してもよいが、動き予測の説明のために以降も基準ブロックという用語を用いる。
以下、本実施の形態1の特徴のひとつである予測部4の詳細な動作について説明する。本実施の形態1の予測部4の特徴は以下の2点である。
(1)基準ブロック・動き予測単位ブロックのサイズと動き予測に用いる分割形状の連動適応化。
(2)各色成分の性質に応じた動き予測モード、動きベクトルの決定。
(1)基準ブロック・動き予測単位ブロックのサイズと動き予測に用いる分割形状の連動適応化。
(2)各色成分の性質に応じた動き予測モード、動きベクトルの決定。
上記(1)については、予測部4が、まず基準ブロックを、各色成分の信号の性質に合わせてLi×Mi画素の動き予測単位ブロックへ分割し、さらに動き予測単位ブロックをli×mi画素の組み合わせからなる複数の形状に分割する。そして、予測部4は、各分割領域にそれぞれ固有の動きベクトルを割り当てて予測を行い、最も予測効率に優れる形状を動き予測モードとして選択し、その結果として得られる動きベクトルを用いて各分割領域に対する動き予測を行って、予測誤差信号5を得る。
動き予測単位ブロック内の分割形状は、l×m画素からなる「基本ブロック」の組み合わせによって構成される形状をとるものとする。本実施の形態1の映像符号化装置においては、Mとm、Lとlの間に「m=M/2」、「l=L/2」なる制約を設ける。この条件によって定まる基本ブロックの分割形状を図4に示す。図4は、予測部4による、動き予測単位ブロックを基本ブロック単位で分割した形状例を示す説明図である。以下、本実施の形態1の映像符号化装置では、図4に示す分割形状のパターン(分割パターン)は3つの色成分に対して共通であってもよいし、独立に定めるように構成してもよい。なお、この分割パターンmc_mode0〜7のことを以下では「動き予測モード」と呼ぶこととする。
動き予測単位ブロック内の分割形状は、l×m画素からなる「基本ブロック」の組み合わせによって構成される形状をとるものとする。本実施の形態1の映像符号化装置においては、Mとm、Lとlの間に「m=M/2」、「l=L/2」なる制約を設ける。この条件によって定まる基本ブロックの分割形状を図4に示す。図4は、予測部4による、動き予測単位ブロックを基本ブロック単位で分割した形状例を示す説明図である。以下、本実施の形態1の映像符号化装置では、図4に示す分割形状のパターン(分割パターン)は3つの色成分に対して共通であってもよいし、独立に定めるように構成してもよい。なお、この分割パターンmc_mode0〜7のことを以下では「動き予測モード」と呼ぶこととする。
非特許文献1,2の映像符号化方式では、動き予測適用領域の形状は矩形に限定されており、図4のような矩形以外の対角分割を用いることができない。これに対して本実施の形態1では図4のような動き予測を適用する領域の形状を多様化させることにより、動物体の輪郭部分など、基準ブロック内に複雑な動きを含む場合に、矩形分割よりも少ない動きベクトル本数で動き予測可能となる。非特許文献3は、従来のマクロブロックに対して動き予測適用領域の分割形状の多様化手法を開示している。この非特許文献3では、分割形状を、マクロブロック分割を行う線分とそのブロック境界との交点位置によって表現する。しかしながら、この方法は画素数Mを固定したままで基準ブロック内の分割パターンを増加させる方法であり、以下の問題がある。
問題1:
基準ブロックの分割パターンを記述するための符号量が増加する。Mmax mod m=0なる任意のmを許容することによって、基準ブロック内の分割パターンが増加し、そのパターンを指定するための情報をオーバヘッド情報として符号化する必要が生じる。分割パターンが増加するほど、ある特定の分割パターンの発生する確率が分散するため、分割パターンのエントロピー符号化が非効率となり、符号量としてのオーバヘッドとなって符号化トータルとしての性能に限界が生じる。
基準ブロックの分割パターンを記述するための符号量が増加する。Mmax mod m=0なる任意のmを許容することによって、基準ブロック内の分割パターンが増加し、そのパターンを指定するための情報をオーバヘッド情報として符号化する必要が生じる。分割パターンが増加するほど、ある特定の分割パターンの発生する確率が分散するため、分割パターンのエントロピー符号化が非効率となり、符号量としてのオーバヘッドとなって符号化トータルとしての性能に限界が生じる。
問題2:
分割パターンが増加することによって、符号化時に最適な分割を選択するために必要な演算量が増大する。動き予測は符号化処理負荷の大半を占める高負荷処理であり、やみくもに分割パターンが増加するアルゴリズムでは、映像符号化装置はその中から特定の分割パターンのみを検証・利用するように設計せざるを得ない。したがって映像符号化装置は、アルゴリズムがもつ本来の性能を最大限活かしきることができない場合がある。
分割パターンが増加することによって、符号化時に最適な分割を選択するために必要な演算量が増大する。動き予測は符号化処理負荷の大半を占める高負荷処理であり、やみくもに分割パターンが増加するアルゴリズムでは、映像符号化装置はその中から特定の分割パターンのみを検証・利用するように設計せざるを得ない。したがって映像符号化装置は、アルゴリズムがもつ本来の性能を最大限活かしきることができない場合がある。
これに対して、本実施の形態1の映像符号化装置における図4のアプローチは、まず、1)Mmaxの値を符号化の条件や映像信号の解像度や性質に基づいてフレーム等の上位レベルで変更可能とすること、2)Mmax×Mmaxの画素ブロックを色成分Ciごとの特性に合わせて基本ブロックLi×Mi画素へ分割可能とすること、3)基本ブロックの分割条件を「m=M/2」、「l=L/2」なる制約を満たす分割形状に限定した上で分割のバリエーションを確保すること、の3つの工夫により、上記問題を解決する。基本ブロックのサイズMmaxの値はフレームやスライス内で局所的に変更せず、フレームレベルまたはフレーム列(シーケンス、GOP)等の上位データ構造レベルでのみ変更可能とする。この仕組みは、基準ブロック内に含まれる画像信号パターンの意味の違いに対する適応化を可能とする。例えば、小さい解像度(Video Graphics Array,VGA等)の映像と大きな解像度(HDTV等)の映像では、同じMmax×Mmax画素ブロック内の信号パターンが表現する意味が異なる。同一の被写体を予測する場合、小さい解像度の映像では被写体の構造に近い信号パターンが捕捉されるが、大きな解像度の映像では、小さい解像度のときと同じブロックサイズを用いても被写体のより局所的な部位の信号パターンを捉えられるにすぎない。したがって、基準ブロックのサイズが解像度に拠らず同一の場合、解像度が高くなるにつれ、基準ブロック内の信号パターンはノイズ成分の要素が大きくなり、パターンマッチング技術としての動き予測の性能を向上させることができなくなる。
そこで、基準ブロックサイズMmaxの値を上位データ構造レベルでのみ変更可能とすることで、基準ブロックサイズMmaxの値のシグナリングに要する符号量を抑制しつつ、映像の解像度やシーンチェンジ、画面全体のアクティビティ変化などの状況に応じて、基準ブロックに含まれる信号パターンを動き予測の意味において最適化することができる。この仕組みに加え、図3のように色成分ごとに動き予測単位ブロック内の分割パターンを変更可能とすることによって、各色成分の信号特性に応じて動き予測の処理単位を最適化可能とする。さらに、動き予測単位ブロック内に図4のように分割パターンの限定的自由度を与えることにより、動き予測単位ブロック内の分割パターン表現に要する符号量を抑制しながら、動き予測の全体的な効率を改善することができる。また、基準ブロックサイズMmaxの値をフレームレベルで決定する処理を効率よく行えば、以降、基準ブロック内で検査すべき分割パターンのバリエーションは従来技術に比べ少なく抑えることができ、符号化処理の負荷を小さくすることができる。
基準ブロックサイズMmaxの値を決定する方法には、例えば以下のような方法がある。
(1) 符号化対象映像の解像度に基づいて決定する。同一Mmax値の場合、解像度が大きい場合は基準ブロック内の画像信号パターンがよりノイズ成分的な意味合いを持ち、動きベクトルが画像信号パターンを捉えにくくなる。そのような場合にMmax値を大きくして画像信号パターンを捕捉できるようにする。
(2) フレーム間の差分値の大小をアクティビティとみなしてアクティビティが大きい場合は小さいMmax値で、小さい場合は大きなMmax値で動き予測を行う。また、この際の大きさ制御を、符号化対象映像のフレームレートに基づいて決定する。フレームレートが高いほどフレーム間相関が大きく動きベクトル自体のダイナミックレンジが小さくなりその符号量が小さくなるので、多少アクティビティが小さくてもMmax値を大きすぎないように設定して細かい動きまで予測できるようにする、などの方法が考えられる。
(3) (1)と(2)の方法を重み付けで組み合わせて判断する。
(1) 符号化対象映像の解像度に基づいて決定する。同一Mmax値の場合、解像度が大きい場合は基準ブロック内の画像信号パターンがよりノイズ成分的な意味合いを持ち、動きベクトルが画像信号パターンを捉えにくくなる。そのような場合にMmax値を大きくして画像信号パターンを捕捉できるようにする。
(2) フレーム間の差分値の大小をアクティビティとみなしてアクティビティが大きい場合は小さいMmax値で、小さい場合は大きなMmax値で動き予測を行う。また、この際の大きさ制御を、符号化対象映像のフレームレートに基づいて決定する。フレームレートが高いほどフレーム間相関が大きく動きベクトル自体のダイナミックレンジが小さくなりその符号量が小さくなるので、多少アクティビティが小さくてもMmax値を大きすぎないように設定して細かい動きまで予測できるようにする、などの方法が考えられる。
(3) (1)と(2)の方法を重み付けで組み合わせて判断する。
基準ブロックサイズMmaxの値が決まった後、色成分ごとに動き予測単位ブロックのサイズLi,Miの決定を行う。例えば入力映像信号1がYUV(またはYCbCr等)の色空間で定義された信号の場合、色信号であるU/V成分は輝度信号Y成分に比べて信号帯域が狭い。したがって、ブロック内分散は輝度に比べて小さくなる。これを根拠としてU/V成分のサイズLi,Miについては輝度信号Y成分のサイズLi,Miよりも大きな値をとるように構成する、といった判断基準の例が考えられる(図3参照)。
これら判断を行った結果として得られる各ブロックサイズMmax,Li,Miの値は、基準ブロックサイズ情報18としてブロック分割部2、予測部4、可変長符号化部8へ通知される。なお、図3のように、Mmaxに対してLi,Miを簡易な演算で導出可能な値に設定しておけば、Li,Miを独立な値として符号化するのでなく、算出式の識別子を符号化すればよいため、基準ブロックサイズ情報18に要する符号量を抑制できる。
なお、図2では特に図示していないが、映像符号化装置は、Mmax,Li,Miの値を決定して各部へ通知するための基準ブロックサイズ決定部を備えて、基準ブロックサイズ情報18を決定する構成であってもよい。
なお、図2では特に図示していないが、映像符号化装置は、Mmax,Li,Miの値を決定して各部へ通知するための基準ブロックサイズ決定部を備えて、基準ブロックサイズ情報18を決定する構成であってもよい。
予測部4は、基準ブロックサイズ情報18から導出される動き予測単位ブロックサイズLi,Miに基づいて、図3、図4の分割パターンを用いる動き検出処理を実行する。図5は、予測部4の動作を示すフローチャートである。予測部4は、当該フレームのCi成分をLi×Mi画素の動き予測単位ブロックの単位で動き予測していく。基本的には、このプロセスでは図4のmc_mode0〜7までの分割パターンのそれぞれについて、指定された動き探索範囲で分割領域ごとの最適動きベクトルを検出し、最終的に当該動き予測単位ブロックについてmc_mode0〜7のいずれの動き予測モードを用いるのが最も予測効率がよいかを決定する。
予測効率は、動き予測単位ブロック内の動きベクトルの総符号量Rと、該動きベクトルを適用してメモリ16内に格納される参照画像から生成した予測信号12と入力映像信号1との間の予測誤差量Dとから導出する下記コストJで定義される。予測部4は、このコストJが最小となる動き予測モードと動きベクトルとを出力するように構成する。
J=D+λR (λ:定数) (1)
J=D+λR (λ:定数) (1)
そこで、予測部4はまず、各動き予測モードに対して、コストJの計算を行う(ステップST1)。図6に、mc_mode5のケースを例にとってコストJの計算方法を説明する。このとき、フレームF(t)内の被予測対象の動き予測単位ブロックは、2つの分割領域B0,B1からなる。また、メモリ16内には2枚の符号化・局所復号済みの参照画像F’(t−1),F’(t−2)が格納されていて、分割領域B0,B1はこれら2枚の参照画像F’(t−1),F’(t−2)を使って動き予測できるものとする。図6では分割領域B0は参照画像F’(t−2)を用いて動きベクトルMVt−2(B0)を検出し、分割領域B1は参照画像F’(t−1)を用いて動きベクトルMVt−1(B1)を検出している。Bを分割領域、Sn(x)を第nフレームの画面内位置x=(i,j)における画素値、vを動きベクトルとすると、分割領域Bの予測誤差量Dは、差分絶対値和(Sum of Absolute Difference,SAD)を用いて、下式(2)として計算できる。
予測誤差量Dは、上式(2)計算の結果、得られる分割領域B0,B1に対応する予測誤差量D0,D1からD=D0+D1として求める。
一方、総符号量Rは、予測ベクトルPMV(B0),PMV(B1)を用いて、下式(3)から動きベクトル予測差分値MVD(B0),MVD(B1)を得て、これらの値を符号量換算して符号量R0,R1を得て、総符号量R=R0+R1として求める。
MVD(B0)=MVt−2(B0)−PMV(B0)
(3)
MVD(B1)=MVt−1(B1)−PMV(B1)
MVD(B0)=MVt−2(B0)−PMV(B0)
(3)
MVD(B1)=MVt−1(B1)−PMV(B1)
以上により、コストJが求まる。予測部4は、探索範囲内の検査対象となるすべての動きベクトルについてコストJの計算を行い、mc_mode5の分割パターンとして最もコストJが小さい解を求める。なお、mc_mode1〜4の予測ベクトルPMVの算出例を図7に示す。図7において、矢印は予測ベクトル導出に利用する周辺の動きベクトルMVを意味し、○で囲まれた3本の動きベクトルMVのメディアン(中央値)が、それが指し示す分割領域の予測ベクトルPMVとなる。
なお、Li×Mi画素ブロックに対して、k=7即ちmc_mode7を選択した場合、さらにli×mi画素ブロックに対して、mc_mode0〜7のモードを選択するように構成する。このときのモードの名称は便宜上、sub_mc_mode0〜7とする。li×mi画素ブロックに対してsub_mc_modeを決定する処理は図5の処理フローに準ずるものとし、Li×Mi画素ブロック単位に対応するmc_mode7のコストJ7は、li×mi画素ブロックの単位で定まるsub_mc_modeを用いて得られる総コストとする。
なお、Li×Mi画素ブロックに対して、k=7即ちmc_mode7を選択した場合、さらにli×mi画素ブロックに対して、mc_mode0〜7のモードを選択するように構成する。このときのモードの名称は便宜上、sub_mc_mode0〜7とする。li×mi画素ブロックに対してsub_mc_modeを決定する処理は図5の処理フローに準ずるものとし、Li×Mi画素ブロック単位に対応するmc_mode7のコストJ7は、li×mi画素ブロックの単位で定まるsub_mc_modeを用いて得られる総コストとする。
続いて、予測部4は、このようにして求まるmc_modekでのコストJkが、それまでに検証したmc_modekでのコストよりも小さいかどうかを検証し(ステップST2)、小さい場合は(ステップST2“Yes”)、mc_modekをその時点までの最適な動き予測モードとして保持するとともに、その際の動きベクトルおよび予測誤差信号を保持しておく(ステップST3)。予測部4は、すべての動き予測モードを検証し終えると(ステップST4“Yes”)、それまでに保持されていた動き予測モード、動きベクトル、予測誤差信号5を最終解として出力する(ステップST5)。さもなければ(ステップST2“No”またはステップST4“No”)、ステップST6で変数kをインクリメントして、ステップST1に戻って次の動き予測モードを検証する。
以上述べた予測部4における処理によって、予測誤差信号5と、予測信号生成用パラメータ17(動き予測モードおよび動きベクトル)が出力され、これらは可変長符号化部8にてエントロピー符号化される。
以下、本実施の形態1の特徴のひとつである圧縮部6および関連する局所復号部10の詳細な動作について説明する。本実施の形態1に係る圧縮部6および局所復号部10の特徴は以下のとおりである。
(1)動きベクトル割り当て領域の形状に応じた変換・逆変換処理の切り替え。
(2)解像度可変変換・逆変換処理の適用。
(1)動きベクトル割り当て領域の形状に応じた変換・逆変換処理の切り替え。
(2)解像度可変変換・逆変換処理の適用。
図8は、本実施の形態1に係る圧縮部6の内部構成を示すブロック図である。圧縮部6は、予測誤差信号5を入力とし、その画素間相関を取り除く変換処理を施した後、量子化を行い、ビットストリーム9に多重される量子化係数データ7a,7b(予測誤差圧縮データ7に相当する)を出力する。
上記(1),(2)の特徴を具備するため、まず変換処理決定部31において、変換処理方法の選択を行う。この処理は、予測信号生成用パラメータ17に含まれる動き予測モードを参照して行う。
上記(1),(2)の特徴を具備するため、まず変換処理決定部31において、変換処理方法の選択を行う。この処理は、予測信号生成用パラメータ17に含まれる動き予測モードを参照して行う。
具体的には、変換処理決定部31は、動き予測モードがmc_mode0,5,6の場合、変換処理を行う単位を(m/2)×(l/2)画素ブロックとし、動きベクトル割り当て領域ごとに、以下の2つの選択肢(a),(b)のうち符号化効率が高い(同等符号量なら符号化ひずみが小さい、同等の符号化ひずみなら符号量が少ない)手段を選択する。これは例えば実際に2つの選択肢を試行した結果を評価することにより実現可能である。
(a) 動きベクトル割り当て領域を(m/2)×(l/2)画素ブロックに均等分割して、それぞれ変換・量子化を行う。
(b) 動きベクトル割り当て領域をm×l画素ブロックに均等分割して、それぞれを水平・垂直にダウンサンプリングして(m/2)×(l/2)画素ブロックを生成し、同ブロックに対して変換・量子化を行う。
(a) 動きベクトル割り当て領域を(m/2)×(l/2)画素ブロックに均等分割して、それぞれ変換・量子化を行う。
(b) 動きベクトル割り当て領域をm×l画素ブロックに均等分割して、それぞれを水平・垂直にダウンサンプリングして(m/2)×(l/2)画素ブロックを生成し、同ブロックに対して変換・量子化を行う。
変換処理決定部31は、選択結果を、変換処理モード情報32としてスイッチ(変換選択用スイッチ、SW)33へ出力する。スイッチ33は、変換処理モード情報32に応じて、動きベクトル割り当て領域ごとに変換処理方法を切り替える。変換処理モード情報32が上記選択肢(a)を選択する内容の場合、各動きベクトル割り当て領域の予測誤差信号5は直接変換部34に入力され、(m/2)×(l/2)画素ブロックごとに変換され、その結果が量子化部35で量子化され、量子化係数データ7aとして出力される。なお、図8の上段に示す変換部34と量子化部35とをあわせて第二の量子化変換部とする。
一方、変換処理モード情報32が上記選択肢(b)を選択する内容の場合は、各動きベクトル割り当て領域の予測誤差信号5は、m×lブロックごとに、まずダウンサンプリング処理部36に入力され、(m/2)×(l/2)画素ブロックに縮小変換される。次いで、選択肢(a)で使用するものと同じ変換部34、量子化部35で変換・量子化され、量子化係数データ7bとして出力される。なお、図8の下段に示す変換部34と量子化部35とをあわせて第一の量子化変換部とする。
一方、変換処理モード情報32が上記選択肢(b)を選択する内容の場合は、各動きベクトル割り当て領域の予測誤差信号5は、m×lブロックごとに、まずダウンサンプリング処理部36に入力され、(m/2)×(l/2)画素ブロックに縮小変換される。次いで、選択肢(a)で使用するものと同じ変換部34、量子化部35で変換・量子化され、量子化係数データ7bとして出力される。なお、図8の下段に示す変換部34と量子化部35とをあわせて第一の量子化変換部とする。
ダウンサンプリング処理部36は、予測誤差信号5の性質に適応して設計されるダウンサンプルフィルタを適用して画素間引きを行う。ダウンサンプルフィルタは下式(4)のような線形低域通過フィルタを水平・垂直方向にそれぞれ適用する方法や、ウェーブレット変換を適用しその低域成分のみを抽出するなど、任意に選択してよい。
なお、予測誤差圧縮データ7の量子化係数データとして量子化係数データ7a,7bのいずれを選択するかについて、映像復号装置へ伝達する方法は、変換処理モード情報32を可変長符号化部8に出力して同情報をビットストリーム9に多重化することで実現する。
変換処理決定部31は、mc_mode1〜4の場合には、動きベクトル割り当て領域がm×l画素ブロックでないほうの大きな領域についてのみ、上記選択肢(a),(b)の選択を行う。また、mc_mode7の場合には、常に選択肢(a)を選択する。選択肢(a)は、動き予測がはずれ、動きベクトル割り当て領域内の予測誤差信号分布が一様でない(分散大)場合に有効であり、選択肢(b)は動き予測が有効に機能し、動きベクトル割り当て領域内の予測誤差信号分布が一様である(分散小)場合に有効である。
非特許文献1では、選択肢(b)のケースに対する符号化効率を高めるため、16×16画素よりも大きい動き予測ブロックに対して、16×16画素ブロックに対する直接DCT、即ちDCT処理対象ブロックそのもののサイズ拡張を提案している。しかしながら、大きなブロックサイズでのDCTは、係数表現に必要なビット数が増加し、変換処理自体のハードウエアコストに影響するという問題がある。
sub_mc_modeを使うように構成する場合、(m/2)×(l/2)画素ブロックは、sub_mc_mode7の場合の最小の動きベクトル割り当て領域サイズに該当するので、上記のように構成することにより、大きなブロックサイズでのDCTの効果を維持しつつ、変換・量子化処理は常に(m/2)×(l/2)画素を対象とする処理のみに限定することができ、符号化すべき係数の数も、係数表現に必要なビット数も抑えた符号化を行うことができる。
sub_mc_modeを使うように構成する場合、(m/2)×(l/2)画素ブロックは、sub_mc_mode7の場合の最小の動きベクトル割り当て領域サイズに該当するので、上記のように構成することにより、大きなブロックサイズでのDCTの効果を維持しつつ、変換・量子化処理は常に(m/2)×(l/2)画素を対象とする処理のみに限定することができ、符号化すべき係数の数も、係数表現に必要なビット数も抑えた符号化を行うことができる。
図9に、本実施の形態1における局所復号部10の内部構成を示す。局所復号部10は、量子化係数データ7および変換処理モード情報32を入力とし、スイッチ(変換選択用スイッチ、SW)37が変換処理モード情報32の指示に従って、予測誤差圧縮データ7の量子化係数データが圧縮部6で上記選択肢(a),(b)のいずれの処理で符号化されたかを判定して処理を切り替え、それぞれの処理に適した方法で逆量子化、逆変換を行って復号予測誤差信号11a,11bに復元する。
変換処理モード情報32が選択肢(a)であることを示す場合は、予測誤差圧縮データ7の量子化係数データは、図8に示す量子化係数データ7aであると判断され、(m/2)×(l/2)画素ブロックごとに逆量子化部38、逆変換部39でそれぞれ逆量子化、逆変換されて復号予測誤差信号11aを得る。なお、図9の上段に示す逆量子化部38と逆変換部39とをあわせて第二の逆量子化変換部とする。
一方、変換処理モード情報32が選択肢(b)であることを示す場合は、予測誤差圧縮データ7の量子化係数データは、図8に示す量子化係数データ7bであると判断され、まず、選択肢(a)で使用するものと同じ逆量子化部38、逆変換部39でそれぞれ逆量子化、逆変換され、(m/2)×(l/2)画素ブロック単位の復号予測画素値40を得る。そして、アップサンプリング処理部41が、(m/2)×(l/2)画素ブロックの復号予測画素値40に対して線形補間フィルタを施してm×l画素ブロックからなる復号予測誤差信号11bを生成する。なお、図9の下段に示す逆量子化部38と逆変換部39とをあわせて第一の逆量子化変換部とする。
一方、変換処理モード情報32が選択肢(b)であることを示す場合は、予測誤差圧縮データ7の量子化係数データは、図8に示す量子化係数データ7bであると判断され、まず、選択肢(a)で使用するものと同じ逆量子化部38、逆変換部39でそれぞれ逆量子化、逆変換され、(m/2)×(l/2)画素ブロック単位の復号予測画素値40を得る。そして、アップサンプリング処理部41が、(m/2)×(l/2)画素ブロックの復号予測画素値40に対して線形補間フィルタを施してm×l画素ブロックからなる復号予測誤差信号11bを生成する。なお、図9の下段に示す逆量子化部38と逆変換部39とをあわせて第一の逆量子化変換部とする。
2.符号化ビットストリームの構成
入力映像信号1は、上記処理に基づいて図2の映像符号化装置で符号化され、複数の基準ブロックを束ねた単位(以下、スライスと呼ぶ)でビットストリーム9として映像符号化装置から出力される。
図10に、ビットストリーム9のデータ配列を示す。ビットストリーム9は、フレーム中に含まれる基準ブロック数分の符号化データが集められたものとして構成され、基準ブロックはスライス単位にユニット化される。同一フレームに属する基準ブロックが共通パラメータとして参照するピクチャレベルヘッダが用意され、このピクチャレベルヘッダには、基準ブロックサイズ情報18が格納される。基準ブロックサイズMmaxが、ピクチャレベルより上位のシーケンス単位で固定化されるのであれば、基準ブロックサイズ情報18をシーケンスレベルヘッダに多重するように構成してもよい。
入力映像信号1は、上記処理に基づいて図2の映像符号化装置で符号化され、複数の基準ブロックを束ねた単位(以下、スライスと呼ぶ)でビットストリーム9として映像符号化装置から出力される。
図10に、ビットストリーム9のデータ配列を示す。ビットストリーム9は、フレーム中に含まれる基準ブロック数分の符号化データが集められたものとして構成され、基準ブロックはスライス単位にユニット化される。同一フレームに属する基準ブロックが共通パラメータとして参照するピクチャレベルヘッダが用意され、このピクチャレベルヘッダには、基準ブロックサイズ情報18が格納される。基準ブロックサイズMmaxが、ピクチャレベルより上位のシーケンス単位で固定化されるのであれば、基準ブロックサイズ情報18をシーケンスレベルヘッダに多重するように構成してもよい。
各スライスはそれぞれスライスヘッダから始まり、続いてスライス内の各基準ブロックの符号化データが配列される。図10の例では、第2スライスにK個の基準ブロックが含まれることを示す。基準ブロックデータは、基準ブロックヘッダと予測誤差圧縮データとから構成され、基準ブロックヘッダには基準ブロック内の動き予測単位ブロックの分の動き予測モードmc_modeと動きベクトル(予測信号生成用パラメータ17に相当する)、予測誤差圧縮データ7の生成に用いた量子化パラメータ19などが配列される。動き予測モードは、mc_mode0〜7の種別が符号化され、種別がmc_mode0〜6であれば、動き予測モードで指定される動きベクトル割り当て領域の分の動きベクトル情報が符号化される。種別がmc_mode7であれば、各基本ブロックごとにsub_mc_modeが符号化される。
続いて、基準ブロックごとの量子化パラメータ19が多重化され、圧縮部6から出力される予測誤差圧縮データ7(量子化係数データ7a,7bに相当する)が多重化される。この際、動き予測モードがmc_mode0,5,6の場合には、予測誤差圧縮データの前に、予測誤差圧縮データ7(量子化係数データ7a,7b)の符号化が上記圧縮部6および局所復号部10における選択肢(a),(b)のいずれかで処理されたかを示す情報として変換処理モード情報32が多重される。
なお、図示していないが、各基準ブロック内で用いる動き予測単位ブロックのサイズLi,Miを各基準ブロックごとに選択できるように基準ブロックサイズ決定部を構成しておき、基準ブロック内で用いる動き予測単位ブロックのサイズLi,Miをシーケンス、またはピクチャレベルヘッダに多重する代わりに、各基準ブロックヘッダに多重するように構成してもよい。これにより、基準ブロックごとに動き予測単位ブロックのサイズLi,Miを符号化する必要があるが、局所的な画像信号の性質に応じて動き予測単位ブロックのサイズを変化させることができ、より適応性の高い動き予測を行うことが可能となる。各基準ブロックヘッダに多重するか、シーケンス、GOP、ピクチャ、スライス等の上位レベルのヘッダに固定的に多重するかを示す情報は、シーケンス、GOP、ピクチャ、スライス等の上位レベルヘッダ中に識別情報として多重するように構成しておけばよい。これにより、上位レベルで固定化しても動き予測性能に影響が少ない場合は、基準ブロックごとに動き予測単位ブロックのサイズLi,Miを符号化するオーバヘッドを削減して効率的な符号化を行うことが可能である。
3.映像復号装置
図11は、本実施の形態1における映像復号装置の構成を示すブロック図である。可変長復号部(エントロピー復号部)100は、図10に示すビットストリーム9を入力し、シーケンスレベルヘッダを復号した後、ピクチャレベルヘッダを復号して基準ブロックサイズの情報を復号する。これにより当該ピクチャで用いる基準ブロックのサイズMmaxと動き予測単位ブロックのサイズLi,Miを認識し、この基準ブロックサイズ情報18を予測誤差復号部101および予測部102へ通知する。なお、動き予測単位ブロックのサイズLi,Miを各基準ブロックヘッダ中に多重可能とするビットストリーム構成の場合には、可変長復号部100は、動き予測単位ブロックのサイズLi,Miが各基準ブロックヘッダ中に多重されているか否かを示す識別情報を復号し、同識別情報に基づいて、各基準ブロックヘッダを復号することによって動き予測単位ブロックのサイズLi,Miを認識するように構成する。
図11は、本実施の形態1における映像復号装置の構成を示すブロック図である。可変長復号部(エントロピー復号部)100は、図10に示すビットストリーム9を入力し、シーケンスレベルヘッダを復号した後、ピクチャレベルヘッダを復号して基準ブロックサイズの情報を復号する。これにより当該ピクチャで用いる基準ブロックのサイズMmaxと動き予測単位ブロックのサイズLi,Miを認識し、この基準ブロックサイズ情報18を予測誤差復号部101および予測部102へ通知する。なお、動き予測単位ブロックのサイズLi,Miを各基準ブロックヘッダ中に多重可能とするビットストリーム構成の場合には、可変長復号部100は、動き予測単位ブロックのサイズLi,Miが各基準ブロックヘッダ中に多重されているか否かを示す識別情報を復号し、同識別情報に基づいて、各基準ブロックヘッダを復号することによって動き予測単位ブロックのサイズLi,Miを認識するように構成する。
可変長復号部100において、基準ブロックデータの復号はまず、基準ブロックヘッダの復号から行う。続いて、動き予測単位ブロックあたりに適用する動き予測モードの復号を行う。動き予測モードは、まず動き予測単位ブロックの単位でmc_modeの復号を行う。mc_mode7である場合は、基本ブロックごとにsub_mc_modeの復号を行い、その他の場合は動きベクトル割り当て領域の数分だけ動きベクトルの復号を行い、さらに基準ブロックごとに量子化パラメータ19、変換処理モード情報32、予測誤差圧縮データ7などの情報を順次復号する。
予測誤差圧縮データ7、量子化パラメータ19および変換処理モード情報32は予測誤差復号部101に入力され、復号予測誤差信号11に復元される。この予測誤差復号部101は、復号された変換処理モード情報32に基づいて、図2の映像符号化装置における局所復号部10と等価な処理を行う。即ち、予測誤差復号部101は、図9に示すスイッチ37、逆量子化部38、逆変換部39およびアップサンプリング処理部41を備え、スイッチ37が変換処理モード情報32に従ってアップサンプリング処理部41を経由するか否かを選択して、逆量子化・逆変換を行う。
予測部102は、可変長復号部100によって復号される予測信号生成用パラメータ17とメモリ103内の参照画像信号15とから予測信号12を生成する。なお、予測部102は映像符号化装置における予測部4と等価な処理を行うが、動きベクトル検出動作は含まない。動き予測モードは図4に示すmc_mode0〜7のいずれかであり、予測部102はその分割形状に基づいて各基本ブロックに割り当てられる動きベクトルを用いて復号信号(復号画像)13を生成する。
復号予測誤差信号11と予測信号12は加算部により加算され、復号信号13としてループフィルタ104へ入力される。この復号信号13は、ループフィルタ104で符号化雑音を除去する処理が施された後、以降の予測信号12を生成するための参照画像信号15としてメモリ103に格納される。
復号予測誤差信号11と予測信号12は加算部により加算され、復号信号13としてループフィルタ104へ入力される。この復号信号13は、ループフィルタ104で符号化雑音を除去する処理が施された後、以降の予測信号12を生成するための参照画像信号15としてメモリ103に格納される。
以上より、実施の形態1によれば、映像符号化装置を、入力される入力映像信号1の各フレームを所定サイズのマクロブロックに分割して符号化信号3として出力するブロック分割部2と、参照画像信号15を蓄積するメモリ16と、メモリ16の参照画像信号15と符号化信号3とを元にフレーム間予測を行って予測信号12を生成すると共に、当該フレーム間予測の方法を特定する情報を予測信号生成用パラメータ17として出力し、かつ、符号化信号3から予測信号12を減じ、予測誤差信号5を生成する予測部4と、予測誤差信号5をダウンサンプリングし、縮小予測誤差信号を生成するダウンサンプリング処理部36と、縮小予測誤差信号を変換する変換部34と量子化する量子化部35と、量子化部35が出力した量子化係数データ7bを逆量子化する逆量子化部38と逆変換する逆変換部39と、逆変換部39が出力した復号予測画素値40をアップサンプリングし、復号予測誤差信号11bを生成するアップサンプリング処理部41と、復号予測誤差信号11bと予測信号12とを加算して復号信号13を生成し、この復号信号13を参照画像としてメモリ16に出力する加算部と、量子化係数データ7bと予測信号生成用パラメータ17をエントロピー符号化し、ビットストリーム9を出力する可変長符号化部8とを備えるように構成した。さらに、ダウンサンプリング処理部36、変換部34、量子化部35、逆量子化部38、逆変換部39およびアップサンプリング処理部41を用いるか、変換部34、量子化部35、逆量子化部38および逆変換部39を用いるかを選択するための変換処理決定部31とスイッチ33,37を備えるように構成した。
このため、映像圧縮を行う際に、ブロック単位に予測誤差信号を解像度変換して縮小した後に、変換・量子化・逆量子化・逆変換を行って解像度変換して拡大することにより、符号化効率を高めることができ、回路規模を小さくすることができる。したがって、4:4:4フォーマットのカラー映像信号を効率よく符号化するために、動き補償予測の動きベクトル割り当て領域の大きさが大きい場合にも、動き予測の結果生じる予測誤差信号5の符号化を、その信号分布状態に応じて効率よく、かつ、実装負荷を抑制して実施することができ、高い圧縮率でも符号化品質を維持できる映像符号化装置をローコストで提供することができる。
このため、映像圧縮を行う際に、ブロック単位に予測誤差信号を解像度変換して縮小した後に、変換・量子化・逆量子化・逆変換を行って解像度変換して拡大することにより、符号化効率を高めることができ、回路規模を小さくすることができる。したがって、4:4:4フォーマットのカラー映像信号を効率よく符号化するために、動き補償予測の動きベクトル割り当て領域の大きさが大きい場合にも、動き予測の結果生じる予測誤差信号5の符号化を、その信号分布状態に応じて効率よく、かつ、実装負荷を抑制して実施することができ、高い圧縮率でも符号化品質を維持できる映像符号化装置をローコストで提供することができる。
また、実施の形態1によれば、映像復号装置を、入力されるビットストリーム9をエントロピー復号し、当該ビットストリーム9に含まれる予測信号生成用パラメータ17および量子化係数データを出力する可変長復号部100と、参照画像信号15を蓄積するメモリ103と、量子化係数データを逆量子化する逆量子化部38と逆変換する逆変換部39と、逆変換部39が出力した復号予測画素値40をアップサンプリングし、復号予測誤差信号11bを生成するアップサンプリング処理部41と、予測信号生成用パラメータ17に従って、メモリ103の参照画像信号15から予測信号12を生成する予測部102と、復号予測誤差信号11bと予測信号12を加算して復号信号13を生成し、この復号信号13を参照画像信号15としてメモリ103に出力する加算部とを備えるように構成した。さらに、復号した変換処理モード情報32に従って、逆量子化部38、逆変換部39およびアップサンプリング処理部41を用いるか、逆量子化部38および逆変換部39を用いるかを選択するスイッチ37を備えるように構成した。このため、上記映像符号化装置に対応した映像復号装置を提供することができる。
なお、本実施の形態1では、4:4:4映像信号に対する符号化・復号の実施例を説明したが、前述のとおり、本発明における符号化・復号処理は、従来の輝度・色差成分フォーマットで色間引きを行った4:2:0または4:2:2フォーマットを対象とする映像符号化において、マクロブロックなどの基準ブロックの単位で符号化・復号を行う場合にも適用可能であることは言うまでもない。
映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法は、実装負荷バランスがよく、符号化対象となる映像信号の統計的・局所的性質に応じて信号相関をよりよく除去して効率的な情報圧縮を行う映像符号化方法を実現できることから、4:4:4フォーマットの超高精細映像信号の符号化等に用いるのに適している。
Claims (10)
- 入力される動画像信号の各フレームを所定サイズのマクロブロックに分割してマクロブロック画像として出力するブロック分割部と、
参照画像を蓄積するフレームメモリと、
前記フレームメモリの参照画像と前記マクロブロック画像とを元にフレーム間予測を行って予測画像を生成すると共に、当該フレーム間予測の方法を特定する情報をフレーム間予測情報として出力するフレーム間予測部と、
前記マクロブロック画像から前記予測画像を減じ、予測誤差信号を生成する予測部と、
前記予測誤差信号をダウンサンプリングし、縮小予測誤差信号を生成するダウンサンプリング処理部と、
前記縮小予測誤差信号を変換・量子化し、量子化変換係数を生成する第一の量子化変換部と、
前記量子化変換係数を逆量子化・逆変換し、復号縮小予測誤差信号を生成する第一の逆量子化変換部と、
前記復号縮小予測誤差信号をアップサンプリングし、復号予測誤差信号を生成するアップサンプリング処理部と、
前記復号予測誤差信号と前記予測画像とを加算して局所復号画像を生成し、当該局所復号画像を参照画像として前記フレームメモリに出力する加算部と、
前記量子化変換係数と前記フレーム間予測情報をエントロピー符号化し、符号化データを出力するエントロピー符号化部とを備える映像符号化装置。 - ダウンサンプリング処理部を経由せずに、予測誤差信号を直接変換・量子化し、量子化変換係数を生成する第二の量子化変換部と、
アップサンプリング処理部を経由せずに、前記量子化変換係数を逆量子化・逆変換し、復号予測誤差信号を生成する第二の逆量子化変換部と、
前記ダウンサンプリング処理部、第一の量子化変換部、第一の逆量子化変換部および前記アップサンプリング処理部を用いるか、前記第二の量子化変換部および前記第二の逆量子化変換部を用いるかを選択するための変換選択用スイッチとを備え、
エントロピー符号化部は、前記変換選択用スイッチの選択結果を示す変換処理モード情報をあわせてエントロピー符号化することを特徴とする請求項1記載の映像符号化装置。 - 入力される符号化データをエントロピー復号し、当該符号化データに含まれるフレーム間予測情報および量子化変換係数を出力するエントロピー復号部と、
参照画像を蓄積するフレームメモリと、
前記量子化変換係数を逆量子化・逆変換し、復号縮小予測誤差信号を生成する第一の逆量子化変換部と、
前記復号縮小予測誤差信号をアップサンプリングし、復号予測誤差信号を生成するアップサンプリング処理部と、
前記フレーム間予測情報に従って、前記フレームメモリの参照画像から予測画像を生成する予測部と、
前記復号予測誤差信号と前記予測画像を加算して復号画像を生成し、当該復号画像を参照画像として前記フレームメモリに出力する加算部とを備える映像復号装置。 - アップサンプリング処理部を経由せずに、量子化変換係数を逆量子化・逆変換し、復号予測誤差信号を生成する第二の逆量子化変換部と、
第一の逆量子化変換部および前記アップサンプリング処理部を用いるか、前記第二の逆量子化変換部を用いるかを選択するための変換選択用スイッチとを備え、
エントロピー復号部は、符号化データに含まれる、前記変換選択用スイッチの選択を示す変換処理モード情報をあわせてエントロピー復号し、
前記変換選択用スイッチは、前記変換処理モード情報に基づいて切り替えられることを特徴とする請求項3記載の映像復号装置。 - 入力される動画像信号の各フレームを所定サイズのマクロブロックに分割してマクロブロック画像として出力するブロック分割ステップと、
フレームメモリに蓄積された参照画像と前記マクロブロック画像とを元にフレーム間予測を行って予測画像を生成すると共に、当該フレーム間予測の方法を特定する情報をフレーム間予測情報として出力するフレーム間予測ステップと、
前記マクロブロック画像から前記予測画像を減じ、予測誤差信号を生成する予測ステップと、
前記予測誤差信号をダウンサンプリングし、縮小予測誤差信号を生成するダウンサンプリング処理ステップと、
前記縮小予測誤差信号を変換・量子化し、量子化変換係数を生成する第一の量子化変換ステップと、
前記量子化変換係数を逆量子化・逆変換し、復号縮小予測誤差信号を生成する第一の逆量子化変換ステップと、
前記復号縮小予測誤差信号をアップサンプリングし、復号予測誤差信号を生成するアップサンプリング処理ステップと、
前記復号予測誤差信号と前記予測画像とを加算して局所復号画像を生成し、当該局所復号画像を参照画像として前記フレームメモリに出力する加算ステップと、
前記量子化変換係数と前記フレーム間予測情報をエントロピー符号化し、符号化データを出力するエントロピー符号化ステップとを備える映像符号化方法。 - ダウンサンプリング処理ステップおよびアップサンプリング処理ステップを経由するか否かを選択する変換選択ステップと、
前記変換選択ステップで前記ダウンサンプリング処理ステップを経由しないことが選択された場合に、予測誤差信号を直接変換・量子化し、量子化変換係数を生成する第二の量子化変換ステップと、
前記変換選択ステップで前記アップサンプリング処理ステップを経由しないことが選択された場合に、前記量子化変換係数を逆量子化・逆変換し、復号予測誤差信号を生成する第二の逆量子化変換ステップとを備え、
前記変換選択ステップで前記ダウンサンプリング処理ステップおよび前記アップサンプリング処理ステップを経由することが選択された場合は、前記ダウンサンプリング処理ステップ、第一の量子化変換ステップ、第一の逆量子化変換ステップおよび前記アップサンプリング処理ステップを行い、
前記変換選択ステップで前記ダウンサンプリング処理ステップおよび前記アップサンプリング処理ステップを経由しないことが選択された場合は、前記第二の量子化変換ステップおよび前記第二の逆量子化変換ステップを行い、
エントロピー符号化ステップでは、前記変換選択用ステップの選択結果を示す変換処理モード情報をあわせてエントロピー符号化することを特徴とする請求項5記載の映像符号化方法。 - 入力される符号化データをエントロピー復号し、当該符号化データに含まれるフレーム間予測情報および量子化変換係数を出力するエントロピー復号ステップと、
前記量子化変換係数を逆量子化・逆変換し、復号縮小予測誤差信号を生成する第一の逆量子化変換ステップと、
前記復号縮小予測誤差信号をアップサンプリングし、復号予測誤差信号を生成するアップサンプリング処理ステップと、
前記フレーム間予測情報に従って、フレームメモリに蓄積された参照画像から予測画像を生成する予測ステップと、
前記復号予測誤差信号と前記予測画像を加算して復号画像を生成し、当該復号画像を参照画像として前記フレームメモリに出力する加算ステップとを備える映像復号方法。 - アップサンプリング処理ステップを経由するか否かを選択する変換選択ステップと、
前記変換選択ステップで前記アップサンプリング処理ステップを経由しないことが選択された場合に、量子化変換係数を逆量子化・逆変換し、復号予測誤差信号を生成する第二の逆量子化変換ステップとを備え
エントロピー復号ステップでは、符号化データに含まれる、前記変換選択用ステップの選択を示す変換処理モード情報をあわせてエントロピー復号し、
前記変換選択ステップで、前記変換処理モード情報に基づいて前記アップサンプリング処理ステップを経由することが選択された場合は、第一の逆量子化変換ステップおよび前記アップサンプリング処理ステップを行い、
前記変換選択ステップで、前記変換処理モード情報に基づいて前記アップサンプリング処理ステップを経由しないことが選択された場合は、前記第二の逆量子化変換ステップを行うことを特徴とする請求項7記載の映像復号方法。 - 変換選択用スイッチは、第一の量子化変換部を経由する符号化手段と、第二の量子化変換部を経由する符号化手段とを試行した結果を比較することにより、符号化効率の高い符号化手段を選択することを特徴とする請求項2記載の映像符号化装置。
- 変換選択ステップでは、第一の量子化変換ステップを経由する符号化方法と、第二の量子化変換ステップを経由する符号化方法とを試行した結果を比較することにより、符号化効率の高い符号化方法を選択することを特徴とする請求項6記載の映像符号化方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009130459 | 2009-05-29 | ||
JP2009130459 | 2009-05-29 | ||
PCT/JP2010/003552 WO2010137323A1 (ja) | 2009-05-29 | 2010-05-27 | 映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2010137323A1 true JPWO2010137323A1 (ja) | 2012-11-12 |
Family
ID=43222449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011515898A Pending JPWO2010137323A1 (ja) | 2009-05-29 | 2010-05-27 | 映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20120076203A1 (ja) |
EP (1) | EP2437499A4 (ja) |
JP (1) | JPWO2010137323A1 (ja) |
CN (1) | CN102450018A (ja) |
BR (1) | BRPI1011333A2 (ja) |
WO (1) | WO2010137323A1 (ja) |
Families Citing this family (62)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101776809B1 (ko) * | 2010-03-09 | 2017-09-08 | 스프레드트럼 커뮤니케이션즈 (상하이) 컴퍼니 리미티드 | 적응적 비디오 디코딩 회로망 및 기술들 |
US9012307B2 (en) | 2010-07-13 | 2015-04-21 | Crossbar, Inc. | Two terminal resistive switching device structure and method of fabricating |
US9570678B1 (en) | 2010-06-08 | 2017-02-14 | Crossbar, Inc. | Resistive RAM with preferental filament formation region and methods |
US9601692B1 (en) | 2010-07-13 | 2017-03-21 | Crossbar, Inc. | Hetero-switching layer in a RRAM device and method |
US8946046B1 (en) | 2012-05-02 | 2015-02-03 | Crossbar, Inc. | Guided path for forming a conductive filament in RRAM |
WO2011156787A2 (en) | 2010-06-11 | 2011-12-15 | Crossbar, Inc. | Pillar structure for memory device and method |
US8374018B2 (en) | 2010-07-09 | 2013-02-12 | Crossbar, Inc. | Resistive memory using SiGe material |
US8947908B2 (en) | 2010-11-04 | 2015-02-03 | Crossbar, Inc. | Hetero-switching layer in a RRAM device and method |
US8884261B2 (en) | 2010-08-23 | 2014-11-11 | Crossbar, Inc. | Device switching using layered device structure |
US8569172B1 (en) | 2012-08-14 | 2013-10-29 | Crossbar, Inc. | Noble metal/non-noble metal electrode for RRAM applications |
US8168506B2 (en) | 2010-07-13 | 2012-05-01 | Crossbar, Inc. | On/off ratio for non-volatile memory device and method |
US8492195B2 (en) | 2010-08-23 | 2013-07-23 | Crossbar, Inc. | Method for forming stackable non-volatile resistive switching memory devices |
US8889521B1 (en) | 2012-09-14 | 2014-11-18 | Crossbar, Inc. | Method for silver deposition for a non-volatile memory device |
US9401475B1 (en) | 2010-08-23 | 2016-07-26 | Crossbar, Inc. | Method for silver deposition for a non-volatile memory device |
US8558212B2 (en) | 2010-09-29 | 2013-10-15 | Crossbar, Inc. | Conductive path in switching material in a resistive random access memory device and control |
USRE46335E1 (en) | 2010-11-04 | 2017-03-07 | Crossbar, Inc. | Switching device having a non-linear element |
US8502185B2 (en) | 2011-05-31 | 2013-08-06 | Crossbar, Inc. | Switching device having a non-linear element |
US8930174B2 (en) | 2010-12-28 | 2015-01-06 | Crossbar, Inc. | Modeling technique for resistive random access memory (RRAM) cells |
US9153623B1 (en) | 2010-12-31 | 2015-10-06 | Crossbar, Inc. | Thin film transistor steering element for a non-volatile memory device |
US8815696B1 (en) | 2010-12-31 | 2014-08-26 | Crossbar, Inc. | Disturb-resistant non-volatile memory device using via-fill and etchback technique |
US9620206B2 (en) | 2011-05-31 | 2017-04-11 | Crossbar, Inc. | Memory array architecture with two-terminal memory cells |
US8619459B1 (en) | 2011-06-23 | 2013-12-31 | Crossbar, Inc. | High operating speed resistive random access memory |
US9627443B2 (en) | 2011-06-30 | 2017-04-18 | Crossbar, Inc. | Three-dimensional oblique two-terminal memory with enhanced electric field |
US8946669B1 (en) | 2012-04-05 | 2015-02-03 | Crossbar, Inc. | Resistive memory device and fabrication methods |
US9564587B1 (en) | 2011-06-30 | 2017-02-07 | Crossbar, Inc. | Three-dimensional two-terminal memory with enhanced electric field and segmented interconnects |
US9166163B2 (en) | 2011-06-30 | 2015-10-20 | Crossbar, Inc. | Sub-oxide interface layer for two-terminal memory |
US9252191B2 (en) | 2011-07-22 | 2016-02-02 | Crossbar, Inc. | Seed layer for a p+ silicon germanium material for a non-volatile memory device and method |
US8674724B2 (en) | 2011-07-29 | 2014-03-18 | Crossbar, Inc. | Field programmable gate array utilizing two-terminal non-volatile memory |
US9729155B2 (en) | 2011-07-29 | 2017-08-08 | Crossbar, Inc. | Field programmable gate array utilizing two-terminal non-volatile memory |
US10056907B1 (en) | 2011-07-29 | 2018-08-21 | Crossbar, Inc. | Field programmable gate array utilizing two-terminal non-volatile memory |
US20130117418A1 (en) * | 2011-11-06 | 2013-05-09 | Akamai Technologies Inc. | Hybrid platform for content delivery and transcoding |
US20130188686A1 (en) * | 2012-01-19 | 2013-07-25 | Magnum Semiconductor, Inc. | Methods and apparatuses for providing an adaptive reduced resolution update mode |
US9087576B1 (en) | 2012-03-29 | 2015-07-21 | Crossbar, Inc. | Low temperature fabrication method for a three-dimensional memory device and structure |
US9491475B2 (en) | 2012-03-29 | 2016-11-08 | Magnum Semiconductor, Inc. | Apparatuses and methods for providing quantized coefficients for video encoding |
US9685608B2 (en) | 2012-04-13 | 2017-06-20 | Crossbar, Inc. | Reduced diffusion in metal electrode for two-terminal memory |
US8658476B1 (en) | 2012-04-20 | 2014-02-25 | Crossbar, Inc. | Low temperature P+ polycrystalline silicon material for non-volatile memory device |
US8796658B1 (en) | 2012-05-07 | 2014-08-05 | Crossbar, Inc. | Filamentary based non-volatile resistive memory device and method |
KR101347062B1 (ko) * | 2012-06-27 | 2014-01-10 | 숭실대학교산학협력단 | 움직임 벡터의 예측을 위한 탐색영역 설정 장치 및 방법 |
JP5902814B2 (ja) * | 2012-07-09 | 2016-04-13 | 日本電信電話株式会社 | 映像符号化方法および装置、映像復号方法および装置、及びそれらのプログラム |
US9583701B1 (en) | 2012-08-14 | 2017-02-28 | Crossbar, Inc. | Methods for fabricating resistive memory device switching material using ion implantation |
US9741765B1 (en) | 2012-08-14 | 2017-08-22 | Crossbar, Inc. | Monolithically integrated resistive memory using integrated-circuit foundry compatible processes |
US8946673B1 (en) | 2012-08-24 | 2015-02-03 | Crossbar, Inc. | Resistive switching device structure with improved data retention for non-volatile memory device and method |
US9312483B2 (en) | 2012-09-24 | 2016-04-12 | Crossbar, Inc. | Electrode structure for a non-volatile memory device and method |
US9576616B2 (en) | 2012-10-10 | 2017-02-21 | Crossbar, Inc. | Non-volatile memory with overwrite capability and low write amplification |
US8982647B2 (en) | 2012-11-14 | 2015-03-17 | Crossbar, Inc. | Resistive random access memory equalization and sensing |
US9412790B1 (en) | 2012-12-04 | 2016-08-09 | Crossbar, Inc. | Scalable RRAM device architecture for a non-volatile memory device and method |
JP6151909B2 (ja) | 2012-12-12 | 2017-06-21 | キヤノン株式会社 | 動画像符号化装置、方法およびプログラム |
US9406379B2 (en) | 2013-01-03 | 2016-08-02 | Crossbar, Inc. | Resistive random access memory with non-linear current-voltage relationship |
US9324942B1 (en) | 2013-01-31 | 2016-04-26 | Crossbar, Inc. | Resistive memory cell with solid state diode |
US9112145B1 (en) | 2013-01-31 | 2015-08-18 | Crossbar, Inc. | Rectified switching of two-terminal memory via real time filament formation |
US9392286B2 (en) | 2013-03-15 | 2016-07-12 | Magnum Semiconductor, Inc. | Apparatuses and methods for providing quantized coefficients for video encoding |
US9794575B2 (en) | 2013-12-18 | 2017-10-17 | Magnum Semiconductor, Inc. | Apparatuses and methods for optimizing rate-distortion costs in video encoding |
US9485456B2 (en) | 2013-12-30 | 2016-11-01 | Akamai Technologies, Inc. | Frame-rate conversion in a distributed computing system |
JP6344800B2 (ja) | 2014-01-09 | 2018-06-20 | 株式会社日立国際電気 | 画像処理装置及び動画像伝送方法 |
US10290801B2 (en) | 2014-02-07 | 2019-05-14 | Crossbar, Inc. | Scalable silicon based resistive memory device |
FR3033114A1 (fr) * | 2015-02-19 | 2016-08-26 | Orange | Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants |
US10542277B2 (en) * | 2017-10-24 | 2020-01-21 | Arm Limited | Video encoding |
US11070837B2 (en) * | 2018-04-02 | 2021-07-20 | Panasonic Intellectual Property Corporation Of America | Encoding method, decoding method, encoder, and decoder |
CN108848381B (zh) * | 2018-06-20 | 2021-09-24 | 腾讯科技(深圳)有限公司 | 视频编码方法、解码方法、装置、计算机设备及存储介质 |
MX2021012063A (es) * | 2019-04-16 | 2021-11-03 | Panasonic Ip Corp America | Codificador, decodificador, metodo de codificacion y metodo de decodificacion. |
CN113329228B (zh) * | 2021-05-27 | 2024-04-26 | 杭州网易智企科技有限公司 | 视频编码方法、解码方法、装置、电子设备及存储介质 |
CN116506628B (zh) * | 2023-06-27 | 2023-10-24 | 苇创微电子(上海)有限公司 | 一种基于像素块的编码预测器方法、编码系统及编码装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10191351A (ja) * | 1996-10-24 | 1998-07-21 | Fujitsu Ltd | 動画像符号化装置および復号化装置 |
WO1999022525A1 (en) * | 1997-10-23 | 1999-05-06 | Mitsubishi Denki Kabushiki Kaisha | Image encoding method, image encoder, image decoding method, and image decoder |
JP2002118849A (ja) * | 2000-10-06 | 2002-04-19 | Nec Corp | 動画像符号化方法、動画像符号化装置、動画像復号化装置及びそれらを備えた動画像通信システム |
WO2006110890A2 (en) * | 2005-04-08 | 2006-10-19 | Sarnoff Corporation | Macro-block based mixed resolution video compression system |
JP2007528675A (ja) * | 2004-03-09 | 2007-10-11 | トムソン リサーチ ファンディング コーポレイション | Avc用解像度低下更新モード |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3844844B2 (ja) * | 1997-06-06 | 2006-11-15 | 富士通株式会社 | 動画像符号化装置及び動画像符号化方法 |
-
2010
- 2010-05-27 BR BRPI1011333A patent/BRPI1011333A2/pt not_active IP Right Cessation
- 2010-05-27 WO PCT/JP2010/003552 patent/WO2010137323A1/ja active Application Filing
- 2010-05-27 CN CN2010800238927A patent/CN102450018A/zh active Pending
- 2010-05-27 JP JP2011515898A patent/JPWO2010137323A1/ja active Pending
- 2010-05-27 US US13/322,860 patent/US20120076203A1/en not_active Abandoned
- 2010-05-27 EP EP10780283A patent/EP2437499A4/en not_active Withdrawn
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10191351A (ja) * | 1996-10-24 | 1998-07-21 | Fujitsu Ltd | 動画像符号化装置および復号化装置 |
WO1999022525A1 (en) * | 1997-10-23 | 1999-05-06 | Mitsubishi Denki Kabushiki Kaisha | Image encoding method, image encoder, image decoding method, and image decoder |
JP2002118849A (ja) * | 2000-10-06 | 2002-04-19 | Nec Corp | 動画像符号化方法、動画像符号化装置、動画像復号化装置及びそれらを備えた動画像通信システム |
JP2007528675A (ja) * | 2004-03-09 | 2007-10-11 | トムソン リサーチ ファンディング コーポレイション | Avc用解像度低下更新モード |
WO2006110890A2 (en) * | 2005-04-08 | 2006-10-19 | Sarnoff Corporation | Macro-block based mixed resolution video compression system |
Non-Patent Citations (2)
Title |
---|
JPN6013017320; Alexis Michael Tourapis and Jill Boyce: 'Reduced Resolution Update Mode Extension to the H.264 Standard' IEEE International Conference on Image Processing, 2005. ICIP 2005. Vol.2, 20050911, Pages 910-913 * |
JPN6013017321; Qiang Hao et al.: 'Macroblock-level Reduced Resolution Video Coding Allowing Adaptive DCT Coefficients Selection' IEEE International Symposium on Circuits and Systems, 2007. ISCAS 2007. , 20070527, Pages 529-532 * |
Also Published As
Publication number | Publication date |
---|---|
CN102450018A (zh) | 2012-05-09 |
BRPI1011333A2 (pt) | 2016-03-08 |
US20120076203A1 (en) | 2012-03-29 |
EP2437499A4 (en) | 2013-01-23 |
WO2010137323A1 (ja) | 2010-12-02 |
EP2437499A1 (en) | 2012-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2010137323A1 (ja) | 映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法 | |
JP6667609B2 (ja) | 画像符号化装置、画像符号化方法、画像復号装置および画像復号方法 | |
JP6347860B2 (ja) | 画像復号装置、画像復号方法、画像符号化装置および画像符号化方法 | |
JP5289440B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
JP6082073B2 (ja) | 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法及びビットストリーム | |
KR20200128375A (ko) | 인트라 예측 모드 스케일러블 코딩 방법 및 장치 | |
WO2012081162A1 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
JP5361998B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130416 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130820 |