JP6794364B2 - 画像符号化方法及び装置並びに画像復号方法及び装置 - Google Patents

画像符号化方法及び装置並びに画像復号方法及び装置 Download PDF

Info

Publication number
JP6794364B2
JP6794364B2 JP2017541640A JP2017541640A JP6794364B2 JP 6794364 B2 JP6794364 B2 JP 6794364B2 JP 2017541640 A JP2017541640 A JP 2017541640A JP 2017541640 A JP2017541640 A JP 2017541640A JP 6794364 B2 JP6794364 B2 JP 6794364B2
Authority
JP
Japan
Prior art keywords
scanning
block
decoding
parameter
coded block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017541640A
Other languages
English (en)
Other versions
JP2018509069A (ja
Inventor
リン,タオ
リー,ミン
シャン,グオチアン
ウー,ジャオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority claimed from PCT/CN2016/073603 external-priority patent/WO2016124154A1/zh
Publication of JP2018509069A publication Critical patent/JP2018509069A/ja
Application granted granted Critical
Publication of JP6794364B2 publication Critical patent/JP6794364B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は通信分野に関し、具体的には、画像符号化方法及び装置並びに画像復号方法及び装置に関する。
テレビやディスプレイの超高精細(4K及び8K)の解像度への進展、及びリモートデスクトップを代表的な表現形式とする次世代クラウドコンピューティングと情報処理モード及びプラットフォームの発展や普及に伴い、映像データ圧縮も、より高い解像度及びカメラ撮像画像とコンピュータ画面画像とを含む複合画像へ進展しよう要求されている。映像に対する超高圧縮率及び極めて高品質でのデータ圧縮は、必須な技術となっている。
4K/8K画像及びコンピュータ画面画像の特徴を十分に生かして、映像に対して超高効率での圧縮を行うことは、作成中の最新の国際ビデオ圧縮規格(High Efficiency Video Coding、HEVC)及び他の若干の国際規格、国内規格、業界規格の重要な目標の1つとなっている。
画像のデジタルビデオ信号は、画像のシーケンスがその自然形態である。1フレームの画像は、通常、若干の画素からなる矩形の領域であり、デジタルビデオ信号は、数十フレームから数千乃至数万フレームの画像からなる映像シーケンスであり、単にビデオシーケンス又はシーケンスと呼ばれることもある。デジタルビデオ信号の符号化は、画像を1フレームずつ符号化することである。任意時刻で符号化している1フレームの画像を現在符号化画像と呼ぶ。同様に、デジタルビデオ信号を圧縮したビデオコードストリーム(単にコードストリームと呼ばれ、ビットストリートとも呼ばれる)の復号は、圧縮された画像のコードストリームを1フレームずつ復号することである。任意時刻で復号している1フレームの画像を現在復号画像と呼ぶ。現在符号化画像及び現在復号画像をまとめて現在画像と呼ぶ。
映像符号化のための国際規格、例えば、MPEG-1/2/4、H.264/AVC及びHEVCでは、1フレームの画像の符号化(及び対応する復号)を行う場合、ほとんど、1フレームの画像を若干のMxM画素のサブ画像に分割し、これを符号化ブロック(復号の場合には、復号ブロックであり、符号化/復号ブロックと総称)又は「符号化ユニット(Coding Unit、単にCUという)」と呼び、CUを基本符号化単位として、サブ画像を1つずつ符号化する。Mの大きさは、一般的には、4,8,16,32,64である。このため、1つの映像シーケンスの符号化は、各フレームの画像のそれぞれの符号化ユニット即ちCUを順次符号化することである。任意時刻で符号化しているCUを現在符号化CUと呼ぶ。同様に、1つの映像シーケンスのコードストリームの復号は、各フレームの画像のそれぞれのCUを復号することであり、最後に映像シーケンス全体を再構成することである。任意時刻で復号しているCUを現在復号CUと呼ぶ。現在符号化CU及び現在復号CUをまとめて現在CUと呼ぶ。
1フレームの画像内の各部分の画像の内容及び性質に合わせて、符号化をターゲット的に最大限有効に行うために、1フレームの画像における各CUのサイズは、8x8であったり、64x64であったり等、異なってもよい。サイズが異なるCUをシームレスにスプライシングすることができるように、1フレームの画像は、通常、まずサイズが全く同じであってNxN画素を有する「最大符号化ユニット(Largest Coding Unit、単にLCUという)」に分割されてから、LCUごとに複数のツリー型構造のサイズが同じでなくてもよいCUにさらに分割される。このため、LCUは「符号化ツリーユニット(Coding Tree Unit、単にCTUという)」とも呼ばれる。例えば、1フレームの画像を、まず、サイズが全く同じである64x64画素のLCU(N=64)に分割する。あるLCUは、3つの32x32画素のCUと4つの16x16画素のCUとからなり、これら7つのツリー型構造をなすCUにより1つのCTUを構成する。また、もう1つのLCUは、2つの32x32画素のCUと、3つの16x16画素のCUと、20個の8x8画素のCUとからなる。これら25つのツリー型構造をなすCUによりもう1つのCTUを構成する。このように、1フレームの画像を符号化することは、個々のCTUにおける個々のCUを順次符号化することになる。HEVC国際規格において、LCUとCTUとが同義である。サイズがCTUと等しいCUは、深さが0であるCUと呼ばれる。深さが0であるCUを上下左右に4等分したCUは、深さが1であるCUと呼ばれる。深さが1であるCUを上下左右に4等分したCUは、深さが2であるCUと呼ばれる。深さが2であるCUを上下左右に4等分したCUは、深さが3であるCUと呼ばれる。CUをさらに分割して若干のサブ領域になることもできる。サブ領域は、予測ユニット(PU)、変換ユニット(TU)、非対称分割(AMP)された領域を含むが、これには限定されない。
従来技術による画素表現形式は、以下を含むことができる。
1)1つのカラー画素は、通常、3つの成分(component)からなる。画素カラーフォーマット(pixel color format)のうち、緑成分、青成分、赤成分からなるGBRカラーフォーマットと、1つの輝度(luma)成分及び2つの色度(chroma)成分からなるYUVカラーフォーマットとが最も一般的な2種類である。YUVと総称されるカラーフォーマットは、実際には、複数種のカラーフォーマット、例えば、YCbCrカラーフォーマットを含む。したがって、1つのCUを符号化する場合、1つのCUを3つの成分平面(G平面、B平面、R平面又はY平面、U平面、V平面)に分割し、3つの成分平面をそれぞれ符号化するようにしてもよいし、1つの画素における3つの成分を1つのトリプルにまとめて、これらトリプルからなるCUを全体として符号化するようにしてもよい。前者の画素及び成分の配列方式は、画像(及びそのCU)の平面形式(planar format)と呼ばれる一方、後者の画素及び成分の配列方式は、画像(及びそのCU)のパック形式(packed format)と呼ばれる。画素のGBRカラーフォーマット及びYUVカラーフォーマットは、いずれも画素の3成分表現形式である。
2)画素の3成分表現形式以外に、パレット(Palette)インデックス表現形式は、画素のもう一つの表現形式として従来技術によく使用される。パレットインデックス表現形式では、1つの画素の数値をパレットのインデックスで表現することができる。パレット空間には、表現されるべき画素の3つの成分の数値又は近似数値が記憶されており、パレットのアドレスはこのアドレスに記憶される画素のインデックスと呼ばれる。1つのインデックスは、画素における1つの成分を表現してもよいし、画素における3つの成分を表現してもよい。また、パレットが1つであってもよいし、複数であってもよい。パレットが複数である場合、1つの完全たるインデックスは、実際には、パレットの番号付けと、該番号付けしたパレットのインデックスとで構成される。画素のインデックス表現フォーマットは、つまり、この画素をインデックスで表現することである。画素のインデックス表現フォーマットは、従来技術において、画素のインデックスカラー(indexed color)又は擬似カラー(pseudo color)表現フォーマットとも呼ばれ、或いは、インデックス画素(indexed pixel)又は擬似画素(pseudo pixel)又は画素インデックス又はインデックスと直接呼ばれることもよくある。インデックスは、指数と呼ばれることもある。画素をそのインデックス表現フォーマットによって表現することは、インデックシング又は指数化と呼ばれる。
3)他の従来技術によく使用される画素表現形式は、CMYK表現形式及び階調表現形式を含む。
上記YUVカラーフォーマットは、色度成分に対してダウンサンプリングを行うか否かによって、さらに、1つの画素が1つのY成分、1つのU成分、1つのV成分からなるYUV4:4:4画素カラーフォーマットと、左右に隣り合う2つの画素が2つのY成分、1つのU成分、1つのV成分からなるYUV4:2:2画素カラーフォーマットと、上下左右に隣り合って2x2空間位置に配列される4つの成分が4つのY成分、1つのU成分、1つのV成分からなるYUV4:2:0画素カラーフォーマットといういくつかのサブフォーマットに分割されることができる。1つの成分は、一般的には、1つの8〜16ビットの数字で表される。YUV4:2:2画素カラーフォーマット及びYUV4:2:0画素カラーフォーマットは、いずれも、YUV4:4:4画素カラーフォーマットに対して色度成分のダウンサンプリングを行って得られたものである。画素成分は、画素サンプル(pixel sample)とも呼ばれ、或いは、単にサンプル(sample)と呼ばれる。
符号化又は復号時の最も基本的な要素は、画素でも、画素成分でも、画素インデックス(即ち、インデックス画素)でもよい。符号化又は復号時の最も基本的な要素としての画素、又は画素成分、又はインデックス画素は、まとめて画素サンプルと呼ばれ、画素値と総称されたり、単にサンプルと呼ばれることもある。
コンピュータ画面画像の特徴のうち、同一フレームの画像内に通常、類似した又は全く同じ画素パターン(pixel pattern)が多く存在することが目立っている。例えば、コンピュータ画面画像によく出てくる中国語又は外国語文字は、ほとんど数少ない基本点画で構成され、同一フレームの画像には、類似した又は同じ点画が多く見られる。コンピュータ画面画像によくあるメニューやアイコン等も、類似した又は同じパターンが多くある。このため、既存の画像及びビデオ圧縮技術では、通常、様々なコピー方式が用いられ、少なくとも以下のコピー方式を含む。
1)フレーム内ストリングコピー、即ちフレーム内ストリングマッチングであり、ストリングマッチング又はストリングコピー又は画素ストリングコピーと呼ばれる。画素ストリングコピーでは、1つの現在符号化ブロック又は1つの現在復号ブロック(単に現在ブロックという)を、いくつかの可変長さの画素サンプルストリングに分割する。ここでのストリングとは、任意形状の2次元領域における画素サンプルを、長さが幅よりも遥かに大きいストリング(例えば、幅が1つの画素サンプルで、長さが37つの画素サンプルであるストリング、或いは、幅が2つの画素サンプルで、長さが111つの画素サンプルであるストリングであり、通常、長さは、独立した符号化又は復号パラメータであり、幅は、予め設定された、或いは他の符号化又は復号パラメータから導出されたパラメータであるが、これには限定されない)になるように配列したものである。ストリングコピーによる符号化又は復号の基本的演算は、現在ブロック内のそれぞれの符号化ストリング又は復号ストリング(単に現在ストリングという)を対象として、再構成参照画素サンプル集まりから1つの参照ストリングをコピーし、前記参照ストリングの数値を現在ストリングに与える。ストリングコピー方式でのコピーパラメータは、現在ストリングの変位ベクトル、及びコピー長さ即ちコピーサイズを含み、それぞれ、参照ストリングと現在ストリングとの相対位置、及び現在ストリングの長さ即ち画素サンプルの数を表す。現在ストリングの長さは、参照ストリングの長さでもある。1つの現在ストリングは、1つの変位ベクトルと1つのコピー長さを有する。1つの現在ストリングがいくつかのストリングに分割されていれば、その分だけの変位ベクトル及びコピー長さを有する。
2)パレットインデックスコピー、即ちパレットであり、インデックスコピーとも呼ばれる。パレットによる符号化及び対応する復号方式では、まずパレットを構成又は取得してから、現在符号化ブロック又は現在復号ブロック(単に現在ブロックという)の画素の一部又は全部をパレットのインデックスで表し、そしてインデックスの符号化又は復号を行い、これは、1つの現在ブロックのインデックスをいくつかの長さ可変のインデックスストリングに分割し、即ち、インデックスストリングコピーによる符号化及び復号を行うことを含むが、これには限定されない。インデックスストリングコピーによる符号化及び復号の基本的演算は、現在ブロックにおけるそれぞれのインデックス符号化ストリング又はインデックス復号ストリング(単に現在インデックスストリングという)を対象として、インデックス化した再構成参照画素サンプル集まりから1つの参照インデックスストリングをコピーし、前記参照インデックスストリングのインデックス数値を現在インデックスストリングに与える。インデックスストリングコピー方式でのコピーパラメータは、現在インデックスストリングの変位ベクトル、及びコピー長さ即ちコピーサイズを含み、それぞれ、参照インデックスストリングと現在インデックスストリングとの相対位置、及び現在インデックスストリングの長さ即ち対応する画素サンプルの数を表す。現在インデックスストリングの長さは、参照インデックスストリングの長さでもある。1つの現在インデックスストリングは、1つの変位ベクトルと1つのコピー長さを有する。1つの現在ブロックがいくつかのインデックスストリングに分割されていれば、その分だけの変位ベクトル及びコピー長さを有する。
3)画素ストリングコピーとインデックスコピーとを混合した混合コピー方式である。1つの現在符号化ブロック又は現在復号ブロック(単に現在ブロックという)の符号化又は復号を行う場合、画素は一部又は全部が画素ストリングコピー方式を用いたり、インデックスコピー方式を用いる。
4)コピー方式は、他に、ブロックコピー方式、マイクロブロックコピー方式、ストライプコピー方式、矩形コピー方式、及び若干のコピー方式を混合したコピー方式等をも含む。
上記ブロックコピー方式におけるブロック、マイクロブロックコピー方式におけるマイクロブロック、ストライプコピー方式におけるストライプ、ストリングコピー方式におけるストリング、矩形コピー方式における矩形、パレットインデックス方式における画素インデックスストリングをまとめて画素サンプルセグメントと呼び、単にサンプルセグメントと呼ぶ。サンプルセグメントの基本的構成要素は、画素又は画素成分又は画素インデックスである。1つのサンプルセグメントは、現在画素サンプルセグメントと参照画素サンプルセグメントとの関係を表すコピーパラメータを有する。1つのコピーパラメータは、若干のコピーパラメータ成分を含み、コピーパラメータ成分は、少なくとも、変位ベクトル水平成分、変位ベクトル垂直成分、コピー長さ、コピー幅、コピー高さ、矩形幅、矩形長さ、マッチングされていない画素(参照無し画素とも呼ばれ、即ち、他の場所からコピーされたものではない非コピー画素)を含む。
図1において、従来技術における代替の走査方式が示され、現在、従来技術において、走査時に、通常、完全たる行(又は列)ごとに走査し、完全たる1行(又は列)の走査が終わってから次の行(又は列)の走査を行う。このため、関連する符号化/復号技術では、現在、画像を固定した方式で走査することしかできないが、これは、画像符号化圧縮効率及び画像復号解凍効率に大きな影響を与えている。
本発明の実施例は、関連技術において、関連する符号化/復号技術は固定した方式での走査しかできないことに起因する低効率の問題を少なくとも解決するために、画像符号化方法及び装置並びに画像復号方法及び装置を提供する。
本発明の実施例の一形態によれば、符号化ブロックについて、上記符号化ブロックの走査領域を決定するための領域指示パラメータ、及び上記符号化ブロックの走査領域における画素の走査順序を決定するための走査指示パラメータのうち少なくとも一方を含む走査方式パラメータを決定することと、上記走査方式パラメータに基づいて、上記符号化ブロックにおける画素の一部又は全部について予測値を決定することと、上記予測値に基づく上記符号化ブロックの符号化を行い、符号化後の符号化結果をコードストリームに書き込むことと、を含む画像符号化方法が提供される。
オプションとして、上記符号化ブロックについて走査方式パラメータを決定することは、上記符号化ブロック内の画素サンプル及び/又は上記符号化ブロックの隣接領域内の画素サンプルの特徴パラメータを抽出することと、上記特徴パラメータに基づいて上記符号化ブロックの上記走査方式パラメータを決定することと、を含んでもよい。
オプションとして、上記符号化ブロック内の画素サンプル及び/又は上記符号化ブロックの隣接領域内の画素サンプルの特徴パラメータを抽出することは、上記符号化ブロック内の画素サンプル及び/又は上記符号化ブロックの隣接領域内の画素サンプルの、上記特徴パラメータに含まれるテクスチャ特徴を抽出することを含み、上記特徴パラメータに基づいて上記符号化ブロックの上記走査方式パラメータを決定することは、上記テクスチャ特徴に基づいて上記符号化ブロックの上記走査方式パラメータを決定することを含んでもよい。
オプションとして、上記符号化ブロック内の画素サンプル及び/又は上記符号化ブロックの隣接領域内の画素サンプルのテクスチャ特徴を抽出することは、上記符号化ブロック内の画素サンプル及び/又は上記符号化ブロックの隣接領域内の画素サンプルに対してフィルタリング処理を行うことと、上記フィルタリング処理の結果に基づいて上記テクスチャ特徴を抽出することと、を含んでもよい。
オプションとして、上記符号化ブロック内の画素サンプル及び/又は上記符号化ブロックの隣接領域内の画素サンプルに対してフィルタリング処理を行うことは、上記符号化ブロック内の画素サンプル及び/又は上記符号化ブロックの隣接領域内の画素サンプルに対してエッジ検出フィルタリングを行うことを含んでもよい。
オプションとして、上記テクスチャ特徴に基づいて上記符号化ブロックの上記走査方式パラメータを決定することは、上記テクスチャ特徴に基づいて上記走査方式パラメータにおける上記領域指示パラメータを決定し、上記符号化ブロックの走査領域を得ることを含み、上記符号化ブロックの走査領域は、上記符号化ブロックを1つの上記走査領域とすることと、上記符号化ブロックを複数の上記走査領域に分割することとのうち少なくとも一方を含んでもよい。
オプションとして、上記テクスチャ特徴に基づいて上記走査方式パラメータにおける上記領域指示パラメータを決定し、上記符号化ブロックの走査領域を得ることは、上記テクスチャ特徴で示されるテクスチャ方向が、上記符号化ブロックの境界と交差するか否かを判断することと、上記テクスチャ方向が上記符号化ブロックの境界と交差していれば、上記テクスチャ方向と上記符号化ブロックの境界とが交差する箇所を原点として、水平又は垂直方向において上記符号化ブロックを複数の上記走査領域に分割することと、上記テクスチャ方向が上記符号化ブロックの境界と交差していなければ、上記符号化ブロックを1つの上記走査領域とすることと、を含んでもよい。
オプションとして、上記テクスチャ方向と上記符号化ブロックの境界とが交差する箇所を原点として、水平又は垂直方向において上記符号化ブロックを複数の上記走査領域に分割することは、上記テクスチャ方向が上記符号化ブロックの横方向の境界と交差していれば、上記テクスチャ方向と上記符号化ブロックの境界とが交差する箇所を原点として、上記横方向の境界に垂直な垂直方向において上記符号化ブロックを複数の上記走査領域に分割するか、上記テクスチャ方向が上記符号化ブロックの縦方向の境界と交差していれば、上記テクスチャ方向と上記符号化ブロックの境界とが交差する箇所を原点として、上記縦方向の境界に垂直な水平方向において上記符号化ブロックを複数の上記走査領域に分割すること、を含んでもよい。
オプションとして、上記テクスチャ特徴に基づいて上記符号化ブロックの上記走査方式パラメータを決定することは、上記テクスチャ特徴で示されるテクスチャ方向に基づいて、上記走査方式パラメータのうち、上記符号化ブロックの上記走査領域における画素の走査順序を示す走査指示パラメータを設定することを含んでもよい。
オプションとして、上記特徴パラメータに基づいて上記符号化ブロックの上記走査方式パラメータを決定することは、上記符号化ブロックの上記走査領域における画素サンプルの、行関連度及び列関連度のうち少なくとも一方を含む関連度を取得することと、上記画素サンプルの関連度を比較することと、比較した結果に基づいて、上記符号化ブロックの上記走査領域における画素の走査順序を決定することと、を含んでもよい。
オプションとして、比較した結果に基づいて、上記符号化ブロックの上記走査領域における画素の走査順序を決定することは、比較した結果のうち最大の関連度で示される順序を、上記走査領域における画素の上記走査順序とすること、を含んでもよい。
オプションとして、上記走査方式パラメータに基づいて、上記符号化ブロックにおける画素の一部又は全部について予測値を決定することは、上記符号化ブロックにおける画素の一部又は全部について画素サンプルの基準値を決定し、上記基準値を上記予測値とすることと、上記走査方式パラメータに基づいて上記符号化ブロックにおける画素の一部又は全部について画素サンプルの組み合わせを決定し、上記画素サンプルの組み合わせに対応する基準値の組み合わせを上記予測値とすることと、を含んでもよい。
オプションとして、上記領域指示パラメータで示される上記符号化ブロックの走査領域は、上記符号化ブロックを1つの上記走査領域とすることと、上記符号化ブロックを複数の上記走査領域に分割することとのうち少なくとも一方を含み、上記走査指示パラメータで示される上記符号化ブロックの上記走査領域における画素の上記走査順序は、水平Z字型走査順序、垂直Z字型走査順序、水平円弧状走査順序、垂直円弧状走査順序、ラスタ走査順序、Zigzag走査順序、ジグザグ走査順序、対角Z字型走査順序、対角円弧状走査順序のうち少なくとも一方を含んでもよい。
オプションとして、符号化後の符号化結果をコードストリームに書き込むことは、上記符号化結果及び上記走査方式パラメータを、予め設定されたフォーマットで上記コードストリームの、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ、符号化ツリーユニットCTU、符号化ユニットCU及び上記符号化ブロックが所在するデータユニットのうち少なくとも一方を含むデータユニットに書き込むことを含んでもよい。
本発明の実施例の一形態によれば、コードストリームを解析して復号ブロックの復号パラメータを取得することと、上記復号パラメータに基づいて、上記復号ブロックの走査領域を決定するための領域指示パラメータ、及び/又は上記走査領域における画素の走査順序を決定するための走査指示パラメータを含む走査方式パラメータを取得することと、上記領域指示パラメータ及び/又は上記走査指示パラメータに基づいて、上記復号ブロックにおける画素の一部又は全部について再構成値を決定することと、を含む画像復号方法が提供される。
オプションとして、上記復号パラメータに基づいて走査方式パラメータを決定することは、上記復号パラメータから上記走査方式パラメータにおける上記領域指示パラメータ及び/又は上記走査指示パラメータを取得し、上記復号ブロックの走査領域を得ることを含み、上記復号ブロックの走査領域は、上記復号ブロックを1つの上記走査領域とすることと、上記復号ブロックを複数の上記走査領域に分割することとのうち少なくとも一方を含んでもよい。
オプションとして、上記復号パラメータに基づいて走査方式パラメータを取得することは、上記復号ブロックの隣接領域における画素サンプルの、テクスチャ特徴を含む特徴パラメータを抽出することと、上記テクスチャ特徴に基づいて上記復号ブロックの上記走査方式パラメータを決定することと、を含んでもよい。
オプションとして、上記復号ブロックの隣接領域の特徴パラメータを抽出することは、上記復号ブロックの隣接領域における復号された画素の再構成値に対してフィルタリング処理を行うことと、上記フィルタリング処理の結果に基づいて上記テクスチャ特徴を抽出することと、を含んでもよい。
オプションとして、上記復号ブロックの隣接領域における復号された画素の再構成値に対してフィルタリング処理を行うことは、上記復号ブロックの隣接領域における復号された画素の再構成値に対してエッジ検出フィルタリングを行うことを含んでもよい。
オプションとして、上記テクスチャ特徴に基づいて上記復号ブロックの上記走査方式パラメータを決定することは、上記テクスチャ特徴で示されるテクスチャ方向が、上記復号ブロックの境界と交差するか否かを判断することと、上記テクスチャ方向が上記復号ブロックの境界と交差していれば、上記テクスチャ方向と上記復号ブロックの境界とが交差する箇所を原点として、水平又は垂直方向において上記復号ブロックを複数の上記走査領域に分割することと、上記テクスチャ方向が上記復号ブロックの境界と交差していなければ、上記復号ブロックを1つの上記走査領域とすることと、を含んでもよい。
オプションとして、上記テクスチャ特徴に基づいて上記復号ブロックの上記走査方式パラメータを決定することは、上記テクスチャ特徴で示されるテクスチャ方向に基づいて、上記復号ブロックの上記走査領域における画素の走査順序を設定することを含んでもよい。
オプションとして、上記復号パラメータに基づいて走査方式パラメータを取得することは、上記復号パラメータに基づいて、符号化モードを示すモード指示パラメータを取得することと、上記モード指示パラメータから上記走査方式パラメータを取得することと、を含んでもよい。
オプションとして、上記領域指示パラメータ及び/又は上記走査指示パラメータに基づいて、上記復号ブロックにおける画素の一部又は全部について再構成値を決定することは、上記復号ブロックにおける画素の一部又は全部について予測値を取得し、上記予測値を上記再構成値とするか、上記復号ブロックにおける画素の一部又は全部についての予測値及び対応する予測差分値を取得し、上記予測値と上記予測差分値との総和又は差分を上記再構成値とすること、を含んでもよい。
オプションとして、上記復号ブロックにおける画素の一部又は全部について予測値を取得することは、上記復号ブロックにおける画素の一部又は全部について画素サンプルの基準値を決定し、上記基準値を上記予測値とすることと、上記走査方式パラメータに基づいて上記復号ブロックにおける画素の一部又は全部について画素サンプルの組み合わせを決定し、上記サンプルの組み合わせに対応する基準値の組み合わせを上記予測値とすることと、を含んでもよい。
オプションとして、上記領域指示パラメータで示される上記復号ブロックの走査領域は、上記復号ブロックを1つの上記走査領域とすることと、上記復号ブロックを複数の上記走査領域に分割することとのうち少なくとも一方を含み、上記走査指示パラメータで示される上記復号ブロックの上記走査領域における画素の上記走査順序は、水平Z字型走査順序、垂直Z字型走査順序、水平円弧状走査順序、垂直円弧状走査順序、ラスタ走査順序、Zigzag走査順序、ジグザグ走査順序、対角Z字型走査順序、対角円弧状走査順序のうち少なくとも一方を含んでもよい。
オプションとして、コードストリームを解析して復号ブロックの復号パラメータを取得することは、上記コードストリームの、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ、符号化ツリーユニットCTU、符号化ユニットCU及び上記復号ブロックが所在するデータユニットのうち少なくとも一方を含むデータユニットから上記復号パラメータを取得することを含んでもよい。
本発明の他の一形態によれば、符号化ブロックについて、上記符号化ブロックの走査領域を決定するための領域指示パラメータ、及び上記符号化ブロックの走査領域における画素の走査順序を決定するための走査指示パラメータのうち少なくとも一方を含む走査方式パラメータを決定する第1の決定ユニットと、上記走査方式パラメータに基づいて、上記符号化ブロックにおける画素の一部又は全部について予測値を決定する第2の決定ユニットと、上記予測値に基づく上記符号化ブロックの符号化を行い、符号化後の符号化結果をコードストリームに書き込む符号化ユニットと、を備える画像符号化装置が提供される。
本発明の実施例の他の一形態によれば、コードストリームを解析して復号ブロックの復号パラメータを取得する第1の取得ユニットと、上記復号パラメータに基づいて、上記復号ブロックの走査領域を決定するための領域指示パラメータ、及び/又は上記走査領域における画素の走査順序を決定するための走査指示パラメータを含む走査方式パラメータを取得する第2の取得ユニットと、上記領域指示パラメータ及び/又は上記走査指示パラメータに基づいて、上記復号ブロックにおける画素の一部又は全部について再構成値を決定する決定ユニットと、を備える画像復号装置が提供される。
本発明によると、符号化ブロックについて、符号化ブロックの走査領域を決定するための領域指示パラメータ、及び符号化ブロックの走査領域における画素の走査順序を決定するための走査指示パラメータのうち少なくとも一方を含む走査方式パラメータを決定し、そして、走査方式パラメータに基づいて、符号化ブロックにおける画素の一部又は全部について予測値を決定し、さらに、予測値に基づく符号化ブロックの符号化を行い、符号化後の符号化結果をコードストリームに書き込む。
また、コードストリームを解析して復号ブロックの復号パラメータを取得し、そして、復号パラメータに基づいて、復号ブロックの走査領域を決定するための領域指示パラメータ、及び/又は走査領域における画素の走査順序を決定するための走査指示パラメータを含む走査方式パラメータを取得し、さらに、領域指示パラメータ及び/又は走査指示パラメータに基づいて、復号ブロックにおける画素の一部又は全部について再構成値を決定する。
つまり、符号化/復号ブロックに対して分割走査方式による走査符号化/復号を行うことにより、符号化/復号ブロックをより小さい走査領域に分割し、符号化圧縮効率及び復号解凍効率を向上させる効果を達成することが実現され、さらに、従来技術において、符号化技術は固定した方式による走査しかできないことに起因する低効率の問題を解消する。
ここで説明する図面は、本発明をさらに理解させるためのものであり、本願の一部を構成し、また、本発明における模式的実施例及びその説明は本発明を説明するものであり、本発明を不当に限定するものではない。図面において、
従来技術における代替の走査方式を示す図である。 本発明の実施例による代替の画像符号化方法を示すフローチャートである。 本発明の実施例による代替の走査方式を示す図である。 本発明の実施例による他の代替の走査方式を示す図である。 本発明の実施例によるさらなる代替の走査方式を示す図である。 本発明の実施例によるさらなる代替の走査方式を示す図である。 本発明の実施例によるさらなる代替の走査方式を示す図である。 本発明の実施例によるさらなる代替の走査方式を示す図である。 本発明の実施例によるさらなる代替の走査方式を示す図である。 本発明の実施例による代替の画像復号方法を示すフローチャートである。 本発明の実施例による代替の画像符号化装置を示す図である。 本発明の実施例による代替の画像復号装置を示す図である。
以下、図面を参照しつつ実施例を結合して本発明を詳しく説明する。なお、衝突しない限り、本願の実施例及び実施例中の構成要件を組み合わせることができる。
なお、本発明の明細書、特許請求の範囲及び上記図面における用語は、本発明を不当に限定していない。衝突しない限り、本願の実施例及び実施例中の構成要件を組み合わせることができる。
(実施例1)
本実施例において画像符号化方法が提供され、図2は、本発明の実施例による代替の画像符号化方法のフローチャートであり、図2に示されるように、そのフローは、以下のステップS202〜S206を含む。
S202:符号化ブロックについて、符号化ブロックの走査領域を決定するための領域指示パラメータ、及び符号化ブロックの走査領域における画素の走査順序を決定するための走査指示パラメータのうち少なくとも一方を含む走査方式パラメータを決定する。
S204:走査方式パラメータに基づいて、符号化ブロックにおける画素の一部又は全部について予測値を決定する。
S206:予測値に基づく符号化ブロックの符号化を行い、符号化後の符号化結果をコードストリームに書き込む。
オプションとして、本実施例において、上記画像符号化方法は、映像符号化過程に応用されることができるが、これには限定されず、例えば、パック形式での画像符号化又は成分平面形式での画像符号化過程に応用されることができるが、これには限定されない。映像を符号化する中、符号化すべき符号化ブロックを、決められた走査方式パラメータの指示に従って分割走査し、符号化ブロックをビデオコードストリームに書き込む。つまり、1つの符号化ブロックをK個の走査領域に分割して対応する走査順序で走査することにより、従来技術において、符号化ブロックを固定した走査方式で行(又は列)全体にわたって走査することに起因する低効率の問題を解消し、画像符号化中の圧縮効率を向上させる効果を実現する。Kは、通常、1≦K≦16を満足する。K=1は、1分割、即ち非分割を示し、或いは、シングル分割と呼ばれる。K>1は、マルチ分割、即ち分割走査を示す。
なお、本実施例において、符号化すべき符号化ブロックを符号化する場合、符号化ブロックの走査方式パラメータを決定し、走査方式パラメータは、符号化ブロックの走査領域を決定するための領域指示パラメータ、及び符号化ブロックの走査領域における画素の走査順序を決定するための走査指示パラメータのうち少なくとも一方を含む。そして、決定した走査方式パラメータに基づいて、符号化ブロックにおける画素の一部又は全部について予測値を決定する。さらに、予測値に基づく符号化ブロックの符号化を行い、符号化後の符号化結果をコードストリームに書き込む。つまり、符号化ブロックの走査符号化を分割走査方式で行い、符号化結果をビデオコードストリームに書き込む。これにより、符号化ブロックをより小さい走査領域に分割することで、符号化効率を向上させる効果を達成することが実現される。
なお、本実施例において、「画素サンプル」、「画素値」、「サンプル」、「インデックス画素」、「画素インデックス」は同義である。また、「画素」、「1つの画素成分」、「インデックス画素」を表すか、上記3つのうちいずれかを同時に表すことは、コンテキストから明らかとなる。コンテキストから明らかとなっていなければ、3つのうちいずれかを同時に表すことになる。
また、符号化ブロックは、若干の画素値からなる領域である。符号化ブロックの形状は、矩形、正方形、平行四辺形、台形、多角形、円形、楕円形及び他の様々な形状のうち少なくとも一方の形状であることができるが、これには限定されない。矩形は、幅又は高さが1つの画素値である線(即ち、線分又は線形状)に縮退した矩形をも含む。本実施例の1フレームの画像において、それぞれの符号化ブロックは、形状及びサイズが互いに異なってもよい。また、本実施例の1フレームの画像において、符号化ブロックは、一部又は全部が互いに重なり合ってもよいし、どれも重なり合っていなくてもよい。さらに、1つの符号化ブロックは、「画素」からなること、「画素の成分」からなること、「インデックス画素」からなること、上記3つが混合してなること、及び上記3つのうちいずれか2つが混合してなることができるが、本実施例において、これについて何ら限定もされていない。映像符号化の場合、符号化ブロックは、1フレームの画像のうち符号化される1つの領域を指すことができ、例えば、最大符号化ユニットLCU、符号化ツリーユニットCTU、符号化ユニットCU、CUのサブ領域、予測ユニットPU、変換ユニットTUのうち少なくとも一方を含むことができるが、これには限定されない。
オプションとして、本実施例において、上記走査領域における画素の走査順序は、水平Z字型走査順序、垂直Z字型走査順序、水平円弧状走査順序、垂直円弧状走査順序、ラスタ走査順序、Zigzag走査順序、ジグザグ走査順序、対角Z字型走査順序、対角円弧状走査順序のうち少なくとも一方を含んでもよい。
オプションとして、本実施例において、上記走査方式は、2分割、4分割、8分割、及び16分割のうち少なくとも一方を含むことができるが、これには限定されない。マルチ分割中に、異なる走査領域の走査順序が同じでも、異なってもよい。本実施例において、これについて何ら限定もされていない。
例えば、図3において、1)符号化ブロックの水平Z字型2分割走査、2)符号化ブロックの水平Z字型4分割走査、3)符号化ブロックの垂直Z字型2分割走査、4)符号化ブロックの垂直Z字型4分割走査という4つのオプションの走査方式パラメータで示される走査が示されている。また、例えば、図4乃至図9において、異なる走査方式と異なる走査順序とを組み合わせた複数のオプションの走査方式パラメータで示される走査が示されている。
オプションとして、本実施例において、前記符号化ブロックについて走査方式パラメータを決定することは、
1)符号化ブロック内の画素サンプル及び/又は符号化ブロックの隣接領域内の画素サンプルの特徴パラメータを抽出し、特徴パラメータに基づいて符号化ブロックの走査方式パラメータを決定することと、
2)符号化ブロックの候補走査方式パラメータのうち、符号化ブロックの符号化効率を最適化することができる走査方式パラメータを符号化ブロックの走査方式パラメータとすることと、を含んでもよい。
オプションとして、本実施例において、上記方式1)では、符号化ブロック内の画素サンプル及び/又は符号化ブロックの隣接領域内の画素サンプルのテクスチャ特徴を抽出することができるが、これには限定されず、ただし、特徴パラメータは、テクスチャ特徴を含み、これにより、テクスチャ特徴に基づいて走査方式パラメータを決定することが実現される。本実施例において、上記方式2)では、候補走査方式パラメータは、すべてのオプションの走査方式パラメータを表すことができるが、これには限定されず、これらの走査方式パラメータの符号化中の符号化効率を順次比較することにより、符号化効率が最適である走査方式パラメータを、最終の画像符号化ブロックの走査方式パラメータとすることが実現される。例えば、従来のレート−歪み最適化方法を用いて最大符号化効率を決定することができる。
なお、本実施例において、上記画素(pixel)は、画像の最小表示単位を表し、1つの画素位置に1つ(例えば、モノクロ階調画像)又は3つ(例えば、RGB、YUV)の有効なサンプリング値、即ち画素サンプル(pixel sample(s))を有することができる。本実施例において、位置を記述する時に、画素を用いることができ、処理される画素位置におけるサンプリング値を記述する時に、画素サンプルを用いることができる。
オプションとして、本実施例において、テクスチャ特徴に基づいて符号化ブロックの走査方式パラメータを決定することは、以下を含んでもよい。
1)テクスチャ特徴に基づいて走査方式パラメータにおける領域指示パラメータを決定し、符号化ブロックの走査領域を得、符号化ブロックの走査領域は、符号化ブロックを1つの走査領域とすること、及び符号化ブロックを複数の走査領域に分割することのうち少なくとも一方を含む。
なお、本実施例において、テクスチャ特徴で示されるテクスチャ方向が、符号化ブロックの境界と交差するか否かを判断することにより、符号化後の走査領域を決定することができるが、これには限定されない。例えば、符号化ブロックの境界と交差していれば、この境界に垂直な方向において符号化ブロックを複数の走査領域に分割する。ここで、符号化ブロックにおける画像内容のテクスチャ特徴(即ち、テクスチャ方向)に基づいて複数の走査領域の分割方向を決定することもできるが、これには限定されず、例えば、複数の走査領域がテクスチャ方向と一致する。
2)テクスチャ特徴で示されるテクスチャ方向に基づいて、走査方式パラメータのうち、符号化ブロックの走査領域における画素の走査順序を示す走査指示パラメータを決定する。
オプションとして、本実施例において、上記走査順序について、
(1)テクスチャ方向を、符号化ブロックの走査領域における画素の走査順序とすることと、
(2)符号化ブロックの走査領域における画素サンプルの関連度を取得し、画素サンプルの関連度を比較し、比較した結果に基づいて符号化ブロックの走査領域における画素の走査順序を決定することと、のうち少なくとも一方を含むことができるが、これには限定されない。
なお、本実施例において、上記方式2)では、上記関連度は、行関連度及び列関連度のうち少なくとも一方を含むことができるが、これには限定されない。上記走査順序について、比較した結果のうち最大の関連度で示される順序を、走査領域における画素の走査順序とすることができるが、これには限定されない。
オプションとして、本実施例において、符号化ブロックにおける画素の一部又は全部について予測値を決定することは、符号化ブロックにおける画素の一部又は全部について画素サンプルの基準値を決定し、基準値を予測値とすることと、走査方式パラメータに基づいて符号化ブロックにおける画素の一部又は全部について画素サンプルの組み合わせを決定し、画素サンプルの組み合わせに対応する基準値の組み合わせを予測値とすることと、を含んでもよい。
オプションとして、本実施例において、符号化後の符号化結果をコードストリームに書き込むことは、符号化結果及び走査方式パラメータを、予め設定されたフォーマットでコードストリームのデータユニットに書き込むことを含んでもよく、データユニットは、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ、符号化ツリーユニットCTU、符号化ユニットCU及び符号化ブロックが所在するデータユニットのうち少なくとも一方を含む。
なお、本実施例において、符号化ブロックを符号化することは、符号化ブロックにおける画素の元のサンプリング値(本実施例において画素値とも呼ばれる)の圧縮符号化を行い、即ち、符号化ブロックにおける画素の元のサンプリング値(即ち、画素値)を、この符号化ブロックに用いられる予測方法、予測値の構造方法及び予測差分を示す一連のパラメータになるように(非可逆に)マッピングすることを意味する。本発明の実施例において、符号化ブロックの符号化走査を分割走査方式で行うため、コードストリームにおいて、符号化ブロックに用いられる分割走査方式を識別する情報である走査方式パラメータを符号化する必要がある。上記基準値を参照サンプルと呼ぶこともできる。
つまり、走査方式パラメータに応じて、符号化ブロック内の2次元画素をいくつかの列の、走査順序で連続して配列される画素からなるストリングに分割し、これらのストリングが走査順序で連続して配列されて、符号化ブロック内の2次元画素配列が構成される。それぞれのストリングはそれなりのマッピングストリング(即ち、予測値)があり、それぞれのストリングのマッチングストリングが走査順序で連続して配列されて、符号化ブロック内の2次元画素の予測値が構成され、これをコードストリームに書き込み、即ち、普通の十進法で表されるパラメータの数値を、ビット0,1で表される二進法シンボルストリングに変換し、この二進法シンボルストリングをそのままコードストリームとしてもよいし、この二進法シンボルストリングを、例えば算術エントロピー符号化のような方法により、他の新しい二進法シンボルストリングになるようにマッピングし、新しい二進法シンボルストリングをコードストリームとしてもよい。本実施例において、これについて何ら限定もされていない。
具体的には、以下の例を結合して説明するが、画像の符号化すべき符号化ブロックにおける2次元行列は、
[A B C D
E F G H
I J K L
M N O P]
のようなものである。
なお、従来の走査方式による走査であれば、この2次元行列は、[A B C D E FG H I J K L M N O P]、[A E I M B F J N C G K O D H L P]、[A B C D H G F E I J K L P O N M]、[A E I M NJ F B C G K O P L H D]のような1次元配列として配列されることができる。つまり、従来の固定した走査方式では、上記4つの走査配列に従って走査することしかできない。
一方、本実施例において、この1次元配列順序に従って、任意の連続した配列の画素でストリングを構成することができ、例えば、1次元配列[A B C D H G F E I J K L P O N M]を例として、4つのストリングに分割されることができ、この4つのストリングは、2次元行列における位置として、ストリング1[A B](ボールド体)、ストリング2[C D H G F](下線付き)、ストリング3[E I J K](イタリック体)、ストリング4[L P O N M](正常フォーマット)の、
Figure 0006794364
のようなものである。
実際にマッチングストリングを表現する中、4つのストリングについて、「マッチング位置1,マッチング長さ=2」、「マッチング位置2,マッチング長さ=5」、「マッチング位置3,マッチング長さ=4」、「マッチング位置4,マッチング長さ=5」を順次指示すればよい。コンフォーマルマッチングを用いる場合、マッチング位置から、ストリングの走査方式を上記行列における異なるフォーマットでマークし、マッチング長さ分の画素をこのストリングのマッチングストリングとして取り出すことができる。上記例において、異なるフォーマットが対応する走査領域における内容について異なる走査順序に従って符号化ブロックの分割走査を実現することができることが記述されている。
本願に提供される実施例によれば、画像における符号化すべき符号化ブロックを符号化する場合、符号化ブロックから抽出された特徴パラメータに基づいて符号化ブロックの走査方式パラメータを決定し、走査方式パラメータは、符号化ブロックを1つ以上の走査領域に分割することを示す領域指示パラメータ、及び符号化ブロックを走査する走査順序を示す走査指示パラメータのうち少なくとも一方を含む。そして、決定された走査方式パラメータに基づいて画像における符号化ブロックを走査し、符号化ブロックにおける画素の一部又は全部について予測値を決定する。さらに、予測値に基づく符号化ブロックの符号化を行い、符号化後の符号化結果をコードストリームに書き込む。つまり、符号化ブロックの走査符号化を分割走査方式で行い、符号化結果をビデオコードストリームに書き込む。これにより、符号化ブロックをより小さい走査領域に分割することで、符号化効率を向上させる効果を達成することが実現される。さらに、従来技術において、符号化技術は固定した方式による走査しかできないことに起因する低効率の問題を解消する。
1つの代替案として、符号化ブロックの走査方式パラメータを決定することは、
S1:符号化ブロック内の画素サンプル及び/又は符号化ブロックの隣接領域内の画素サンプルの特徴パラメータを抽出することと、
S2:特徴パラメータに基づいて符号化ブロックの走査方式パラメータを決定することと、を含む。
オプションとして、本実施例において、符号化ブロック内の画素サンプル及び/又は符号化ブロックの隣接領域内の画素サンプルの特徴パラメータを抽出することは、S12:符号化ブロック内の画素サンプル及び/又は符号化ブロックの隣接領域内の画素サンプルの、特徴パラメータに含まれるテクスチャ特徴を抽出することを含み、特徴パラメータに基づいて符号化ブロックの走査方式パラメータを決定することは、S22:テクスチャ特徴に基づいて符号化ブロックの走査方式パラメータを決定することを含んでもよい。オプションとして、本実施例において、テクスチャ特徴に基づいて符号化ブロックの走査方式パラメータを決定することは、領域指示パラメータで示される、符号化ブロックの1つ以上の走査領域への分割、及び走査指示パラメータで示される、符号化ブロックを走査する走査順序を決定することを含むことができるが、これには限定されない。
本願に提供される実施例によれば、符号化ブロックの画像内容によってテクスチャ特徴を抽出し、画像自体のテクスチャ特徴を用いて最適な走査方式パラメータを決定することにより、符号化ブロックを符号化する圧縮効率をさらに向上させる。
1つの代替案として、符号化ブロック内の画素サンプル及び/又は符号化ブロックの隣接領域内の画素サンプルのテクスチャ特徴を抽出することは、
S1:符号化ブロック内の画素サンプル及び/又は符号化ブロックの隣接領域内の画素サンプルに対してフィルタリング処理を行うことと、
S2:フィルタリング処理の結果に基づいてテクスチャ特徴を抽出することと、を含む。
オプションとして、本実施例において、符号化ブロック内の画素サンプル及び/又は符号化ブロックの隣接領域内の画素サンプルに対してフィルタリング処理を行うことは、
S12:符号化ブロック内の画素サンプル及び/又は符号化ブロックの隣接領域内の画素サンプルに対してエッジ検出フィルタリングを行うことを含んでもよい。
オプションとして、本実施例において、上記エッジ検出フィルタリングは1つの実現手段に過ぎず、本実施例において、テクスチャ特徴を取得する実現手段について何ら限定もされていない。これにより、エッジ情報に基づいて、符号化ブロックを走査領域に分割するか否かを決定することが実現される。さらに、検出結果のうち、抽出されたテクスチャ特徴に基づいて、走査領域における画素の走査順序を決定することもできる。
1つの代替案として、テクスチャ特徴に基づいて符号化ブロックの走査方式パラメータを決定することは、
S1:テクスチャ特徴に基づいて走査方式パラメータにおける領域指示パラメータを決定し、符号化ブロックの走査領域を得ることを含み、符号化ブロックの走査領域は、符号化ブロックを1つの走査領域とすることと、符号化ブロックを複数の走査領域に分割することとのうち少なくとも一方を含む。
なお、本実施例において、テクスチャ特徴で示されるテクスチャ方向が、符号化ブロックの境界と交差するか否かを判断することにより、符号化後の走査領域を決定することができるが、これには限定されない。例えば、符号化ブロックの境界と交差していれば、この境界に垂直な方向において符号化ブロックを複数の走査領域に分割する。ここで、符号化ブロックにおける画像内容のテクスチャ特徴(即ち、テクスチャ方向)に基づいて複数の走査領域の分割方向を決定することもできるが、これには限定されず、例えば、複数の走査領域がテクスチャ方向と一致する。
本願に提供される実施例によれば、テクスチャ特徴に基づいて走査方式パラメータにおける領域指示パラメータを決定し、符号化ブロックの分割走査を実現することにより、符号化ブロックの走査符号化を行う中、異なる走査領域の分割走査を同時に行うことができ、符号化効率を向上させる効果を実現する。
1つの代替案として、テクスチャ特徴に基づいて走査方式パラメータにおける領域指示パラメータを決定し、符号化ブロックの走査領域を得ることは、
S1:テクスチャ特徴で示されるテクスチャ方向が、符号化ブロックの境界と交差するか否かを判断することと、
S2:テクスチャ方向が符号化ブロックの境界と交差していれば、テクスチャ方向と符号化ブロックの境界とが交差する箇所を原点として、水平又は垂直方向において符号化ブロックを複数の走査領域に分割することと、
S3:テクスチャ方向が符号化ブロックの境界と交差していなければ、符号化ブロックを1つの走査領域とすることと、を含む。
オプションとして、本実施例において、テクスチャ方向と符号化ブロックの境界とが交差する箇所を原点として、水平又は垂直方向において符号化ブロックを複数の走査領域に分割することは、
S22:テクスチャ方向が符号化ブロックの横方向の境界と交差していれば、テクスチャ方向と符号化ブロックの境界とが交差する箇所を原点として、横方向の境界に垂直な垂直方向において符号化ブロックを複数の走査領域に分割するか、
S24:テクスチャ方向が符号化ブロックの縦方向の境界と交差していれば、テクスチャ方向と符号化ブロックの境界とが交差する箇所を原点として、縦方向の境界に垂直な水平方向において符号化ブロックを複数の走査領域に分割すること、を含んでもよい。
なお、本実施例において、操作を簡略化するために、水平又は垂直方向において符号化ブロックの分割走査を行うことができるが、これには限定されない。また、本実施例において、符号化ブロックにおける画像内容の実際のテクスチャ方向に基づいて、複数の走査領域を決定することもできるが、これには限定されない。つまり、テクスチャ方向と一致する方向において複数の平行する走査領域に分割する。
本願に提供される実施例によれば、テクスチャ特徴で示されるテクスチャ方向が、符号化ブロックの境界と交差するか否かを判断することにより、走査領域を決定する。操作が簡単であるだけでなく、符号化ブロックの圧縮効率をさらに保証する。
1つの代替案として、テクスチャ特徴に基づいて符号化ブロックの走査方式パラメータを決定することは、
S1:テクスチャ特徴で示されるテクスチャ方向に基づいて、走査方式パラメータのうち、符号化ブロックの走査領域における画素の走査順序を示す走査指示パラメータを設定することを含む。
オプションとして、本実施例において、マルチ分割走査にあたり、異なる走査領域に対して、同じ走査順序を用いてもよいし、異なる走査順序を混合して用いてもよいが、これには限定されない。例えば、図4乃至図9は、異なる走査方式及び異なる走査順序を組み合わせた複数の混合した走査を示す図である。
本願に提供される実施例によれば、符号化ブロックのうち1つ以上の走査領域における画素の走査順序をテクスチャ方向に応じて設定することにより、走査符号化操作の簡略化をさらに図り、符号化効率を保証する。
1つの代替案として、特徴パラメータに基づいて符号化ブロックの走査方式パラメータを決定することは、
S1:符号化ブロックの走査領域における画素サンプルの、行関連度及び列関連度のうち少なくとも一方を含む関連度を取得することと、
S2:画素サンプルの関連度を比較することと、
S3:比較した結果に基づいて、符号化ブロックの走査領域における画素の走査順序を決定することと、を含む。
オプションとして、本実施例において、比較した結果に基づいて、符号化ブロックの走査領域における画素の走査順序を決定することは、
S32:比較した結果のうち最大の関連度で示される順序を、走査領域における画素の走査順序とすること、を含んでもよい。
なお、走査領域における画素の行関連度及び/又は列関連度のうち最大の関連度に基づいて、走査領域における画素の走査順序を決定することができるが、これには限定されない。ここで、関連度の取得方式について、本実施例では何ら限定もされていない。
本願に提供される実施例によれば、走査領域に対して対応する走査順序を設定することにより、符号化ブロックに対して多様化した走査順序を用いることが実現され、符号化効率を最大化することが保証される。
1つの代替案として、走査方式パラメータに基づいて、符号化ブロックにおける画素の一部又は全部について予測値を決定することは、
S1:符号化ブロックにおける画素の一部又は全部について画素サンプルの基準値を決定し、基準値を予測値とすることと、
S2:走査方式パラメータに基づいて符号化ブロックにおける画素の一部又は全部について画素サンプルの組み合わせを決定し、画素サンプルの組み合わせに対応する基準値の組み合わせを予測値とすることと、を含む。
オプションとして、本実施例において、上記画素サンプルの組み合わせは、異なる走査領域に応じて形成された複数の画素サンプルの組み合わせであることができるが、これには限定されない。上記基準値を参照サンプルと呼ぶこともできる。
なお、本実施例において、符号化ブロックを符号化することは、符号化ブロックにおける画素の元のサンプリング値(本実施例において画素値とも呼ばれる)の圧縮符号化を行い、即ち、符号化ブロックにおける画素の元のサンプリング値(即ち、画素値)を、この符号化ブロックに用いられる予測方法、予測値の構造方法及び予測差分を示す一連のパラメータになるように(非可逆に)マッピングすることを意味する。本発明の実施例において、符号化ブロックの符号化走査を分割走査方式で行うため、コードストリームにおいて、符号化ブロックに用いられる分割走査方式を識別する情報である走査方式パラメータを符号化する必要がある。
つまり、走査方式パラメータに応じて、符号化ブロック内の2次元画素をいくつかの列の、走査順序で連続して配列される画素からなるストリングに分割し、これらのストリングが走査順序で連続して配列されて、符号化ブロック内の2次元画素配列が構成される。それぞれのストリングはそれなりのマッピングストリング(即ち、予測値)があり、それぞれのストリングのマッチングストリングが走査順序で連続して配列されて、符号化ブロック内の2次元画素の予測値が構成され、これをコードストリームに書き込み、即ち、普通の十進法で表されるパラメータの数値を、ビット0,1で表される二進法シンボルストリングに変換し、この二進法シンボルストリングをそのままコードストリームとしてもよいし、この二進法シンボルストリングを、例えば算術エントロピー符号化のような方法により、他の新しい二進法シンボルストリングになるようにマッピングし、新しい二進法シンボルストリングをコードストリームとしてもよい。本実施例において、これについて何ら限定もされていない。
本願に提供される実施例によれば、符号化ブロックの分割走査を行うとともに、符号化ブロックの分割符号化を分割内容に応じて行うことにより、符号化中の圧縮効率を向上させる効果をさらに達成する。
1つの代替案として、符号化後の符号化結果をコードストリームに書き込むことは、
S1:符号化結果及び走査方式パラメータを、予め設定されたフォーマットでコードストリームの、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ、符号化ツリーユニットCTU、符号化ユニットCU及び符号化ブロックが所在するデータユニットのうち少なくとも一方を含むデータユニットに書き込むことを含む。
なお、上記符号化では、符号化器による構成、符号化器最適化モジュールの設定に基づく構成、直接符号化器最適化モジュールにおいて固定したプリコーディング方式を用いた構成のうち少なくとも一方の方式による構成を行うことができるが、これには限定されない。符号化器に使用可能な方法として、上位隣接ブロックが、垂直に分割する分割走査方式を用い、且つ上位隣接ブロックの垂直エッジが上位隣接ブロックの下側境界と交差していれば、現在ブロックが、上位隣接ブロックと同じ分割走査方式を用いると直接判断し、即ち、現在符号化ブロックのプリコーディング過程が省略され、これにより、符号化時間を節約し、符号化効率を向上させる。
以上の実施形態での説明から、上記実施例による方法をソフトウェア及び必須な汎用ハードウェアプラットフォームを介して実現することができ、もちろんハードウェアによって実現することもできるが、多くの場合、前者がより好適な実施形態であることは、当業者にとって明らかとなる。このような理解に基づいて、本発明の技術案は、本質上、或いは、従来技術に貢献する部分が、ソフトウェア製品の形で体現されることができ、このコンピュータソフトウェア製品は、記憶媒体(例えば、ROM/RAM、磁気ディスク、光ディスク)に記憶され、端末機器(携帯電話、コンピュータ、サーバ、又はネットワークデバイス等であることができる)に本発明の各実施例に記載の方法を実行されるための若干の命令を含む。
(実施例2)
本実施例において画像復号方法が提供され、図10は、本発明の実施例による代替の画像復号方法のフローチャートであり、図10に示されるように、そのフローは、以下のステップS1002〜S1006を含む。
S1002:コードストリームを解析して復号ブロックの復号パラメータを取得する。
S1004:復号パラメータに基づいて、復号ブロックの走査領域を決定するための領域指示パラメータ、及び/又は走査領域における画素の走査順序を決定するための走査指示パラメータを含む走査方式パラメータを取得する。
S1006:領域指示パラメータ及び/又は走査指示パラメータに基づいて、復号ブロックにおける画素の一部又は全部について再構成値を決定する。
オプションとして、本実施例において、上記画像復号方法は、映像復号過程に応用されることができるが、これには限定されず、例えば、パック形式での画像復号又は成分平面形式での画像復号過程に応用されることができるが、これには限定されない。映像を復号する中、復号すべき復号ブロックを、決められた走査方式パラメータの指示に従って分割走査する。つまり、1つの復号ブロックをK個の走査領域に分割して対応する走査順序で走査することにより、従来技術において、復号ブロックを固定した走査方式で行(又は列)全体にわたって走査することに起因する低効率の問題を解消し、画像復号中の解凍効率を向上させる効果を実現する。Kは、通常、1≦K≦16を満足する。K=1は、1分割、即ち非分割を示し、或いは、シングル分割と呼ばれる。K>1は、マルチ分割、即ち分割走査を示す。
なお、本実施例において、復号すべき復号ブロックを復号する場合、コードストリームを解析して復号すべき復号ブロックの復号パラメータを取得し、復号パラメータに基づいて走査方式パラメータを取得し、走査方式パラメータは、復号ブロックの走査領域を決定するための領域指示パラメータ、及び/又は走査領域における画素の走査順序を決定するための走査指示パラメータを含む。そして、領域指示パラメータ及び/又は走査指示パラメータに基づいて、復号ブロックにおける画素の一部又は全部について再構成値を決定する。つまり、復号ブロックの走査復号を分割走査方式で行う。これにより、復号ブロックをより小さい走査領域に分割することで、復号効率を向上させる効果を達成することが実現される。
なお、本実施例において、「画素サンプル」、「画素値」、「サンプル」、「インデックス画素」、「画素インデックス」は同義である。また、「画素」、「1つの画素成分」、「インデックス画素」を表すか、上記3つのうちいずれかを同時に表すことは、コンテキストから明らかとなる。コンテキストから明らかとなっていなければ、3つのうちいずれかを同時に表すことになる。
また、復号ブロックは、若干の画素値からなる領域である。復号ブロックの形状は、矩形、正方形、平行四辺形、台形、多角形、円形、楕円形及び他の様々な形状のうち少なくとも一方の形状であることができるが、これには限定されない。矩形は、幅又は高さが1つの画素値である線(即ち、線分又は線形状)に縮退した矩形をも含む。本実施例の1フレームの画像において、それぞれの復号ブロックは、形状及びサイズが互いに異なってもよい。また、本実施例の1フレームの画像において、復号ブロックは、一部又は全部が互いに重なり合ってもよいし、どれも重なり合っていなくてもよい。さらに、1つの復号ブロックは、「画素」からなること、「画素の成分」からなること、「インデックス画素」からなること、上記3つが混合してなること、及び上記3つのうちいずれか2つが混合してなることができるが、本実施例において、これについて何ら限定もされていない。映像復号の場合、復号ブロックは、1フレームの画像のうち復号される1つの領域を指すことができ、例えば、最大復号ユニットLCU、復号ツリーユニットCTU、復号ユニットCU、CUのサブ領域、予測ユニットPU、変換ユニットTUのうち少なくとも一方を含むことができるが、これには限定されない。
オプションとして、本実施例において、上記走査領域における画素の走査順序は、水平Z字型走査順序、垂直Z字型走査順序、水平円弧状走査順序、垂直円弧状走査順序、ラスタ走査順序、Zigzag走査順序、ジグザグ走査順序、対角Z字型走査順序、対角円弧状走査順序のうち少なくとも一方を含んでもよい。
オプションとして、本実施例において、上記走査方式は、2分割、4分割、8分割、及び16分割のうち少なくとも一方を含むことができるが、これには限定されない。マルチ分割中に、異なる走査領域の走査順序が同じでも、異なってもよい。本実施例において、これについて何ら限定もされていない。
例えば、図3において、1)復号ブロックの水平Z字型2分割走査、2)復号ブロックの水平Z字型4分割走査、3)復号ブロックの垂直Z字型2分割走査、4)復号ブロックの垂直Z字型4分割走査という4つのオプションの走査方式パラメータで示される走査が示されている。また、例えば、図4乃至図9において、異なる走査方式と異なる走査順序とを組み合わせた複数のオプションの走査方式パラメータで示される走査が示されている。
オプションとして、本実施例において、復号パラメータに基づいて走査方式パラメータを取得する方法として、
1)復号パラメータから走査方式パラメータにおける領域指示パラメータ及び/又は走査指示パラメータを取得することと、
2)復号ブロックの隣接領域における画素サンプルの、テクスチャ特徴を含む特徴パラメータを抽出し、テクスチャ特徴に基づいて復号ブロックの走査方式パラメータを決定することと、
3)復号パラメータに基づいて、符号化モードを示すモード指示パラメータを取得し、モード指示パラメータから走査方式パラメータを取得することと、のうち少なくとも一方を含んでもよい。
なお、コードストリームを解析してコードストリームに直接符号化された復号パラメータを取得した後、復号パラメータに基づいて走査方式パラメータを取得する方法として、(1)コードストリームを解析して走査方式パラメータにおける領域指示パラメータ及び/又は走査指示パラメータを直接取得することと、(2)復号ブロックの隣接領域における画素サンプルの特徴パラメータを抽出し、導出方式により走査方式パラメータにおける領域指示パラメータ及び/又は走査指示パラメータを取得することと、(3)走査方式と一部の符号化モードとに対して「固定したバインディング」を行い、即ち、復号パラメータに基づいて符号化モードを示すモード指示パラメータを取得し、モード指示パラメータからモード識別子を解析した場合、このモードに予め設定された領域指示パラメータ及び/又は走査指示パラメータを用いることと、のうち少なくとも一方を含む。
また、本実施例において、上記画素(pixel)は、画像の最小表示単位を表し、1つの画素位置に1つ(例えば、モノクロ階調画像)又は3つ(例えば、RGB、YUV)の有効なサンプリング値、即ち画素サンプル(pixel sample(s))を有することができる。本実施例において、位置を記述する時に、画素を用いることができ、処理される画素位置におけるサンプリング値を記述する時に、画素サンプルを用いることができる。
さらに、方式2)において、テクスチャ特徴で示されるテクスチャ方向が、復号ブロックの境界と交差するか否かを判断することにより、復号後の走査領域を決定することができるが、これには限定されない。例えば、復号ブロックの境界と交差していれば、この境界に垂直な方向において復号ブロックを複数の走査領域に分割する。
オプションとして、本実施例において、領域指示パラメータ及び/又は走査指示パラメータに基づいて、復号ブロックにおける画素の一部又は全部について再構成値を決定する方法として、
1)復号ブロックにおける画素の一部又は全部について予測値を取得し、予測値を再構成値とするか、
2)復号ブロックにおける画素の一部又は全部についての予測値及び対応する予測差分値を取得し、予測値と予測差分値との総和又は差分を再構成値とすること、を含んでもよい。
オプションとして、本実施例において、復号ブロックにおける画素の一部又は全部について予測値を決定することは、復号ブロックにおける画素の一部又は全部について画素サンプルの基準値を決定し、基準値を予測値とすることと、走査方式パラメータに基づいて、復号ブロックにおける画素の一部又は全部について画素サンプルの組み合わせを決定し、サンプルの組み合わせに対応する基準値の組み合わせを予測値とすることと、を含んでもよい。
オプションとして、本実施例において、コードストリームを解析して復号ブロックの復号パラメータを取得することは、コードストリームのデータユニットから復号パラメータを取得することを含んでもよく、データユニットは、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ、符号化ツリーユニットCTU、符号化ユニットCU及び復号ブロックが所在するデータユニットのうち少なくとも一方を含む。
具体的には以下の例を結合して説明する。ストリングマッチング符号化を用いて符号化ブロックの符号化を行うコードストリームについて、復号する中、復号ブロックを異なる走査領域に分割し、それぞれの走査領域ごとに符号化過程に対応する分割走査を用いることができる。例えば、符号化過程は、走査方式パラメータの指示に従って1つの2次元行列における要素を1つの1次元ベクトルになるように配列する過程であれば、復号過程は、符号化と逆な過程、即ち、1つの1次元ベクトルにおける要素を1つの2次元行列になるように配列する過程にされることができる。実際のコードの実現は、読出/書込アドレス制御方法により完成される。例えば、2次元画素は、
[A B C D
E F G H
I J K L
M N O P]
のようなものである。
こうすると、符号化過程に用いられる走査方式パラメータに対応する走査方式パラメータで示される「円弧状4分割走査」によって、上記2次元画素を[A B C D H G F E I J K L P O N M]という1次元配列に変換することができ、実現される擬似コードは、
int position[4][4] = {0, 1, 2, 3,
7, 6, 5, 4,
8, 9, 10, 11,
15, 14, 13, 12};
for (h = 0; h < 4; h++)
for(w = 0; w < 4; w++)
1D_array[position[h][w] ] = 2D_array[h][w]; のようなものになることができる。
本願に提供される実施例によれば、コードストリームを解析して復号ブロックの復号パラメータを取得し、そして、復号パラメータに基づいて走査方式パラメータを決定し、走査方式パラメータは、復号ブロックの走査領域を決定するための領域指示パラメータ、及び/又は走査領域における画素の走査順序を決定するための走査指示パラメータを含む。さらに、領域指示パラメータ及び/又は走査指示パラメータに基づいて、復号ブロックにおける画素の一部又は全部について再構成値を決定する。つまり、復号ブロックの走査復号を分割走査方式で行う。これにより、復号ブロックをより小さい走査領域に分割することで、復号効率を向上させる効果を達成することが実現される。さらに、従来技術において、復号技術は固定した方式による走査しかできないことに起因する低効率の問題を解消する。
1つの代替案として、復号パラメータに基づいて走査方式パラメータを決定することは、
S1:復号パラメータから走査方式パラメータにおける領域指示パラメータ及び/又は走査指示パラメータを取得し、復号ブロックの走査領域を得ることを含み、復号ブロックの走査領域は、復号ブロックを1つの走査領域とすることと、復号ブロックを複数の走査領域に分割することとのうち少なくとも一方を含む。
オプションとして、本実施例において、復号ブロックをシングル分割走査領域としてもよいし、復号ブロックをマルチ分割走査領域に分割してもよい。
なお、本実施例において、復号ブロックの隣接領域における画素サンプルの特徴パラメータに含まれるテクスチャ特徴で示されるテクスチャ方向が、復号ブロックの境界と交差するか否かを判断することで、復号後の走査領域を決定することができるが、これには限定されない。例えば、復号ブロックの境界と交差していれば、この境界に垂直な方向において復号ブロックを複数の走査領域に分割する。ここで、復号ブロックにおける画像内容のテクスチャ特徴(即ち、テクスチャ方向)に基づいて複数の走査領域の分割方向を決定することができるが、これには限定されず、例えば、複数の走査領域がテクスチャ方向と一致する。
オプションとして、本実施例において、復号過程における復号走査順序は、予め設定された走査順序であってもよいし、走査方式パラメータで示される走査順序であってもよい。本実施例において、これについて何ら限定もされていない。
本願に提供される実施例によれば、テクスチャ特徴に基づいて復号ブロックの分割走査を行うことにより、復号ブロックの走査復号を行う中、異なる走査領域の分割走査を同時に行うことができ、復号効率を向上させる効果を実現する。また、走査領域に対して対応する走査順序を設定することにより、復号ブロックに対して多様化した走査順序を用いることが実現され、復号効率を最大化することが保証される。
1つの代替案として、復号パラメータに基づいて走査方式パラメータを取得することは、
S1:復号ブロックの隣接領域における画素サンプルの、テクスチャ特徴を含む特徴パラメータを抽出することと、
S2:テクスチャ特徴に基づいて復号ブロックの走査方式パラメータを決定することと、を含む。
本願に提供される実施例によれば、復号ブロックの画像内容によってテクスチャ特徴を抽出し、画像自体のテクスチャ特徴に基づいて最適な走査方式パラメータを決定することにより、復号ブロックを復号する解凍効率をさらに向上させる。
1つの代替案として、復号ブロックの隣接領域の特徴パラメータを抽出することは、
S1:復号ブロックの隣接領域における復号された画素の再構成値に対してフィルタリング処理を行うことと、
S2:フィルタリング処理の結果に基づいてテクスチャ特徴を抽出することと、を含む。
オプションとして、本実施例において、復号ブロックの隣接領域における復号された画素の再構成値に対してフィルタリング処理を行うことは、
S12:復号ブロックの隣接領域における復号された画素の再構成値に対してエッジ検出フィルタリングを行うことを含む。
オプションとして、本実施例において、上記エッジ検出フィルタリングは1つの実現手段に過ぎず、本実施例において、テクスチャ特徴を取得する実現手段について何ら限定もされていない。これにより、エッジ情報に基づいて、符号化ブロックを走査領域に分割するか否かを決定することが実現される。さらに、検出結果のうち、抽出されたテクスチャ特徴に基づいて走査領域における画素の走査順序を決定することもできる。
1つの代替案として、テクスチャ特徴に基づいて復号ブロックの走査方式パラメータを決定することは、
S1:テクスチャ特徴で示されるテクスチャ方向が、復号ブロックの境界と交差するか否かを判断することと、
S2:テクスチャ方向が復号ブロックの境界と交差していれば、テクスチャ方向と復号ブロックの境界とが交差する箇所を原点として、水平又は垂直方向において復号ブロックを複数の走査領域に分割することと、
S3:テクスチャ方向が復号ブロックの境界と交差していなければ、復号ブロックを1つの走査領域とすることと、を含む。
オプションとして、本実施例において、テクスチャ方向と復号ブロックの境界とが交差する箇所を原点として、水平又は垂直方向において復号ブロックを複数の走査領域に分割することは、
S22:テクスチャ方向が復号ブロックの横方向の境界と交差していれば、テクスチャ方向と復号ブロックの境界とが交差する箇所を原点として、横方向の境界に垂直な垂直方向において復号ブロックを複数の走査領域に分割するか、
S24:テクスチャ方向が復号ブロックの縦方向の境界と交差していれば、テクスチャ方向と復号ブロックの境界とが交差する箇所を原点として、縦方向の境界に垂直な水平方向において復号ブロックを複数の走査領域に分割すること、を含んでもよい。
なお、本実施例において、操作を簡略化するために、水平又は垂直方向において復号ブロックの分割走査を行うことができるが、これには限定されない。また、本実施例において、復号ブロックにおける画像内容の実際のテクスチャ方向に基づいて、複数の走査領域を決定することもできるが、これには限定されない。つまり、テクスチャ方向と一致する方向において複数の平行する走査領域に分割する。
本願に提供される実施例によれば、テクスチャ特徴で示されるテクスチャ方向が、復号ブロックの境界と走査するか否かを判断することにより、走査領域を決定する。操作が簡単であるだけでなく、復号ブロックの解凍効率をさらに保証する。
1つの代替案として、テクスチャ特徴に基づいて復号ブロックの走査方式パラメータを決定することは、
S1:テクスチャ特徴で示されるテクスチャ方向に基づいて、復号ブロックの走査領域における画素の走査順序を設定することを含む。
オプションとして、本実施例において、マルチ分割走査にあたり、異なる走査領域に対して、同じ走査順序を用いてもよいし、異なる走査順序を混合して用いてもよいが、これには限定されない。例えば、図4乃至図9は、異なる走査方式及び異なる走査順序を組み合わせた複数の混合した走査を示す図である。
本願に提供される実施例によれば、復号ブロックのうち1つ以上の走査領域における画素の走査順序をテクスチャ方向に応じて設定することにより、走査復号操作の簡略化をさらに図り、復号効率を保証する。
1つの代替案として、復号パラメータに基づいて走査方式パラメータを取得することは、
S1:復号パラメータに基づいて、符号化モードを示すモード指示パラメータを取得することと、
S2:モード指示パラメータから走査方式パラメータを取得することと、を含む。
オプションとして、本実施例において、走査方式と一部の符号化モードとに対して「固定したバインディング」を行い、即ち、復号パラメータに基づいて符号化モードを示すモード指示パラメータを取得するようにしてもよく、モード指示パラメータからモード識別子を解析した場合、このモードに予め設定された領域指示パラメータ及び/又は走査指示パラメータを用いる。
1つの代替案として、領域指示パラメータ及び/又は走査指示パラメータに基づいて、復号ブロックにおける画素の一部又は全部について再構成値を決定することは、
S1:復号ブロックにおける画素の一部又は全部について予測値を取得し、予測値を再構成値とするか、
S2:復号ブロックにおける画素の一部又は全部についての予測値及び対応する予測差分値を取得し、予測値と予測差分値との総和又は差分を再構成値とすること、を含む。
オプションとして、本実施例において、上記画素サンプルの組み合わせは、異なる走査領域に応じて形成された複数の画素サンプルの組み合わせであることができるが、これには限定されない。上記基準値を参照サンプルと呼ぶこともできる。
オプションとして、本実施例において、復号ブロックにおける画素の一部又は全部について予測値を取得することは、
S12:復号ブロックにおける画素の一部又は全部について画素サンプルの基準値を決定し、基準値を予測値とすることと、
S14:走査方式パラメータに基づいて、復号ブロックにおける画素の一部又は全部について画素サンプルの組み合わせを決定し、サンプルの組み合わせに対応する基準値の組み合わせを予測値とすることと、を含んでもよい。
つまり、上記復号過程は、符号化過程の逆過程となることができるが、これには限定されない。例えば、再構成値を決定する中、コードストリームを解決して予測差分を取得することができ(コードストリームで予測差分を伝送しなくてもよく、この場合、予測差分が0となる)、こうすると、再構成値=予測値+予測差分になる。
なお、本実施例において非可逆符号化方式を用いるため、再構成値の正確性を確保するために、本実施例において、上記予測差分は、コードストリームを解析して直接取得したものであることができるが、これには限定されない。
本願に提供される実施例によれば、復号ブロックの分割走査を行うとともに、復号ブロックの分割復号を分割内容に応じて行うことにより、復号中の解凍効率を向上させる効果をさらに達成する。
1つの代替案として、コードストリームを解析して復号ブロックの復号パラメータを取得することは、
S1:コードストリームの、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ、符号化ツリーユニットCTU、符号化ユニットCU及び復号ブロックが所在するデータユニットのうち少なくとも一方を含むデータユニットから復号パラメータを取得することを含む。
なお、上記復号では、復号器による構成、復号器最適化モジュールの設定に基づく構成、直接復号器最適化モジュールにおいて固定したプリデコード方式を用いた構成のうち少なくとも一方の方式による構成を行うことができるが、これには限定されない。復号器に使用可能な方法として、上位隣接ブロックが、垂直に分割する分割走査方式を用い、且つ上位隣接ブロックの垂直エッジが上位隣接ブロックの下側境界と交差していれば、現在ブロックが、上位隣接ブロックと同じ分割走査方式を用いると直接判断し、即ち、現在復号ブロックのプリデコード過程が省略され、これにより、復号時間を節約し、復号効率を向上させる。
以上の実施形態での説明から、上記実施例による方法をソフトウェア及び必須な汎用ハードウェアプラットフォームを介して実現することができ、もちろんハードウェアによって実現することもできるが、多くの場合、前者がより好適な実施形態であることは、当業者にとって明らかとなる。このような理解に基づいて、本発明の技術案は、本質上、或いは、従来技術に貢献する部分が、ソフトウェア製品の形で体現されることができ、このコンピュータソフトウェア製品は、記憶媒体(例えば、ROM/RAM、磁気ディスク、光ディスク)に記憶され、端末機器(携帯電話、コンピュータ、サーバ、又はネットワークデバイス等であることができる)に本発明の各実施例に記載の方法を実行されるための若干の命令を含む。
(実施例3)
本実施例において画像符号化装置も提供され、この装置は上記実施例及び好適な実施形態を実現するものであって、既に説明したものは省略される。以下で使用されるように、用語「モジュール」とは、所定の機能を実現可能なソフトウェア及び/又はハードウェアの組み合わせである。以下の実施例に説明される装置をソフトウェアで実現することが好ましいが、ハードウェア又はソフトウェアとハードウェアとの組み合わせにより実現することも可能であり、構想されている。
本実施例において画像符号化装置が提供され、図11は、本発明の実施例による代替の画像符号化装置を示す図であり、図11に示されるように、
1)符号化ブロックについて、符号化ブロックの走査領域を決定するための領域指示パラメータ、及び符号化ブロックの走査領域における画素の走査順序を決定するための走査指示パラメータのうち少なくとも一方を含む走査方式パラメータを決定する第1の決定ユニット1102と、
2)走査方式パラメータに基づいて、符号化ブロックにおける画素の一部又は全部について予測値を決定する第2の決定ユニット1104と、
3)予測値に基づく符号化ブロックの符号化を行い、符号化後の符号化結果をコードストリームに書き込む符号化ユニット1106と、を備える。
オプションとして、本実施例において、上記画像符号化装置は、映像符号化過程に応用されることができるが、これには限定されず、例えば、パック形式での画像符号化又は成分平面形式での画像符号化過程に応用されることができるが、これには限定されない。映像を符号化する中、符号化すべき符号化ブロックを、決められた走査方式パラメータの指示に従って分割走査し、符号化ブロックをビデオコードストリームに書き込む。つまり、1つの符号化ブロックをK個の走査領域に分割して対応する走査順序で走査することにより、従来技術において、符号化ブロックを固定した走査方式で行(又は列)全体にわたって走査することに起因する低効率の問題を解消し、画像符号化中の圧縮効率を向上させる効果を実現する。Kは、通常、1≦K≦16を満足する。K=1は、1分割、即ち非分割を示し、或いは、シングル分割と呼ばれる。K>1は、マルチ分割、即ち分割走査を示す。
なお、本実施例において、符号化すべき符号化ブロックを符号化する場合、符号化ブロックの走査方式パラメータを決定し、走査方式パラメータは、符号化ブロックの走査領域を決定するための領域指示パラメータ、及び符号化ブロックの走査領域における画素の走査順序を決定するための走査指示パラメータのうち少なくとも一方を含む。そして、決定した走査方式パラメータに基づいて、符号化ブロックにおける画素の一部又は全部について予測値を決定する。さらに、予測値に基づく符号化ブロックの符号化を行い、符号化後の符号化結果をコードストリームに書き込む。つまり、符号化ブロックの走査符号化を分割走査方式で行い、符号化結果をビデオコードストリームに書き込む。これにより、符号化ブロックをより小さい走査領域に分割することで、符号化効率を向上させる効果を達成することが実現される。
なお、本実施例において、「画素サンプル」、「画素値」、「サンプル」、「インデックス画素」、「画素インデックス」は同義である。また、「画素」、「1つの画素成分」、「インデックス画素」を表すか、上記3つのうちいずれかを同時に表すことは、コンテキストから明らかとなる。コンテキストから明らかとなっていなければ、3つのうちいずれかを同時に表すことになる。
また、符号化ブロックは、若干の画素値からなる領域である。符号化ブロックの形状は、矩形、正方形、平行四辺形、台形、多角形、円形、楕円形及び他の様々な形状のうち少なくとも一方の形状であることができるが、これには限定されない。矩形は、幅又は高さが1つの画素値である線(即ち、線分又は線形状)に縮退した矩形をも含む。本実施例の1フレームの画像において、それぞれの符号化ブロックは、形状及びサイズが互いに異なってもよい。また、本実施例の1フレームの画像において、符号化ブロックは、一部又は全部が互いに重なり合ってもよいし、どれも重なり合っていなくてもよい。さらに、1つの符号化ブロックは、「画素」からなること、「画素の成分」からなること、「インデックス画素」からなること、上記3つが混合してなること、及び上記3つのうちいずれか2つが混合してなることができるが、本実施例において、これについて何ら限定もされていない。映像符号化の場合、符号化ブロックは、1フレームの画像のうち符号化される1つの領域を指すことができ、例えば、最大符号化ユニットLCU、符号化ツリーユニットCTU、符号化ユニットCU、CUのサブ領域、予測ユニットPU、変換ユニットTUのうち少なくとも一方を含むことができるが、これには限定されない。
オプションとして、本実施例において、上記走査領域における画素の走査順序は、水平Z字型走査順序、垂直Z字型走査順序、水平円弧状走査順序、垂直円弧状走査順序、ラスタ走査順序、Zigzag走査順序、ジグザグ走査順序、対角Z字型走査順序、対角円弧状走査順序のうち少なくとも一方を含んでもよい。
オプションとして、本実施例において、上記走査方式は、2分割、4分割、8分割、及び16分割のうち少なくとも一方を含むことができるが、これには限定されない。マルチ分割中に、異なる走査領域の走査順序が同じでも、異なってもよい。本実施例において、これについて何ら限定もされていない。
例えば、図3において、1)符号化ブロックの水平Z字型2分割走査、2)符号化ブロックの水平Z字型4分割走査、3)符号化ブロックの垂直Z字型2分割走査、4)符号化ブロックの垂直Z字型4分割走査という4つのオプションの走査方式パラメータで指示される走査が示されている。また、例えば、図4乃至図9において、異なる走査方式と異なる走査順序とを組み合わせた複数のオプションの走査方式パラメータで指示される走査が示されている。
オプションとして、本実施例において、前記符号化ブロックについて走査方式パラメータを決定することは、
1)符号化ブロック内の画素サンプル及び/又は符号化ブロックの隣接領域内の画素サンプルの特徴パラメータを抽出し、特徴パラメータに基づいて符号化ブロックの走査方式パラメータを決定することと、
2)符号化ブロックの候補走査方式パラメータのうち、符号化ブロックの符号化効率を最適化することができる走査方式パラメータを符号化ブロックの走査方式パラメータとすることと、を含んでもよい。
オプションとして、本実施例において、上記方式1)では、符号化ブロック内の画素サンプル及び/又は符号化ブロックの隣接領域内の画素サンプルのテクスチャ特徴を抽出することができるが、これには限定されず、ただし、特徴パラメータは、テクスチャ特徴を含み、これにより、テクスチャ特徴に基づいて走査方式パラメータを決定することが実現される。本実施例において、上記方式2)では、候補走査方式パラメータは、すべてのオプションの走査方式パラメータを表すことができるが、これには限定されず、これらの走査方式パラメータの符号化中の符号化効率を順次比較することにより、符号化効率が最適である走査方式パラメータを、最終の画像符号化ブロックの走査方式パラメータとすることが実現される。例えば、従来のレート−歪み最適化方法を用いて最大符号化効率を決定することができる。
なお、本実施例において、上記画素(pixel)は、画像の最小表示単位を表し、1つの画素位置に1つ(例えば、モノクロ階調画像)又は3つ(例えば、RGB、YUV)の有効なサンプリング値、即ち画素サンプル(pixel sample(s))を有することができる。本実施例において、位置を記述する時に、画素を用いることができ、処理される画素位置におけるサンプリング値を記述する時に、画素サンプルを用いることができる。
オプションとして、本実施例において、テクスチャ特徴に基づいて符号化ブロックの走査方式パラメータを決定することは、
1)テクスチャ特徴に基づいて走査方式パラメータにおける領域指示パラメータを決定し、符号化ブロックの走査領域を得、符号化ブロックの走査領域は、符号化ブロックを1つの走査領域とすること、及び符号化ブロックを複数の走査領域に分割することのうち少なくとも一方を含むことを含んでもよい。
なお、本実施例において、テクスチャ特徴で示されるテクスチャ方向が、符号化ブロックの境界と交差するか否かを判断することにより、符号化後の走査領域を決定することができるが、これには限定されない。例えば、符号化ブロックの境界と交差していれば、この境界に垂直な方向において符号化ブロックを複数の走査領域に分割する。ここで、符号化ブロックにおける画像内容のテクスチャ特徴(即ち、テクスチャ方向)に基づいて複数の走査領域の分割方向を決定することもできるが、これには限定されず、例えば、複数の走査領域がテクスチャ方向と一致する。
2)テクスチャ特徴で示されるテクスチャ方向に基づいて、走査方式パラメータのうち、符号化ブロックの走査領域における画素の走査順序を示す走査指示パラメータを決定する。
オプションとして、本実施例において、上記走査順序について、
(1)テクスチャ方向を、符号化ブロックの走査領域における画素の走査順序とすることと、
(2)符号化ブロックの走査領域における画素サンプルの関連度を取得し、画素サンプルの関連度を比較し、比較した結果に基づいて符号化ブロックの走査領域における画素の走査順序を決定することと、のうち少なくとも一方を含むことができるが、これには限定されない。
なお、本実施例において、上記方式2)では、上記関連度は、行関連度及び列関連度のうち少なくとも一方を含むことができるが、これには限定されない。上記走査順序について、比較した結果のうち最大の関連度で示される順序を、走査領域における画素の走査順序とすることができるが、これには限定されない。
オプションとして、本実施例において、符号化ブロックにおける画素の一部又は全部について予測値を決定することは、符号化ブロックにおける画素の一部又は全部について画素サンプルの基準値を決定し、基準値を予測値とすることと、走査方式パラメータに基づいて符号化ブロックにおける画素の一部又は全部について画素サンプルの組み合わせを決定し、画素サンプルの組み合わせに対応する基準値の組み合わせを予測値とすることと、を含んでもよい。
オプションとして、本実施例において、符号化後の符号化結果をコードストリームに書き込むことは、符号化結果及び走査方式パラメータを、予め設定されたフォーマットでコードストリームのデータユニットに書き込むことを含んでもよく、データユニットは、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ、符号化ツリーユニットCTU、符号化ユニットCU及び符号化ブロックが所在するデータユニットのうち少なくとも一方を含む。
なお、本実施例において、符号化ブロックを符号化することは、符号化ブロックにおける画素の元のサンプリング値(本実施例において画素値とも呼ばれる)の圧縮符号化を行い、即ち、符号化ブロックにおける画素の元のサンプリング値(即ち、画素値)を、この符号化ブロックに用いられる予測方法、予測値の構造方法及び予測差分を示す一連のパラメータになるように(非可逆に)マッピングすることを意味する。本発明の実施例において、符号化ブロックの符号化走査を分割走査方式に行うため、コードストリームにおいて、符号化ブロックに用いられる分割走査方式を識別する情報である走査方式パラメータを符号化する必要がある。上記基準値を参照サンプルと呼ぶこともできる。
つまり、走査方式パラメータに応じて、符号化ブロック内の2次元画素をいくつかの列の、走査順序で連続して配列される画素からなるストリングに分割し、これらのストリングが走査順序で連続して配列されて、符号化ブロック内の2次元画素配列が構成される。それぞれのストリングはそれなりのマッピングストリング(即ち、予測値)があり、それぞれのストリングのマッチングストリングが走査順序で連続して配列されて、符号化ブロック内の2次元画素の予測値が構成され、これをコードストリームに書き込み、即ち、普通の十進法で表されるパラメータの数値を、ビット0,1で表される二進法シンボルストリングに変換し、この二進法シンボルストリングをそのままコードストリームとしてもよいし、この二進法シンボルストリングを、例えば算術エントロピー符号化のような方法により、他の新しい二進法シンボルストリングになるようにマッピングし、新しい二進法シンボルストリングをコードストリームとしてもよい。本実施例において、これについて何ら限定もされていない。
具体的には、以下の例を結合して説明するが、画像の符号化すべき符号化ブロックにおける2次元行列は、
[A B C D
E F G H
I J K L
M N O P]
のようなものである。
なお、従来の走査方式による走査であれば、この2次元行列は、[A B C D E FG H I J K L M N O P]、[A E I M B F J N C G K O D H L P]、[A B C D H G F E I J K L P O N M]、[A E I M NJ F B C G K O P L H D]のような1次元配列として配列されることができる。つまり、従来の固定した走査方式では、上記4つの走査配列に従って走査することしかできない。
一方、本実施例において、この1次元配列順序に従って、任意の連続した配列の画素でストリングを構成することができ、例えば、1次元配列[A B C D H G F E I J K L P O N M]を例として、4つのストリングに分割されることができ、この4つのストリングは、2次元行列における位置として、ストリング1[A B](ボールド体)、ストリング2[C D H G F](下線付き)、ストリング3[E I J K](イタリック体)、ストリング4[L P O N M](正常フォーマット)の、
Figure 0006794364
のようなものである。
実際にマッチングストリングを表現する中、4つのストリングについて、「マッチング位置1,マッチング長さ=2」、「マッチング位置2,マッチング長さ=5」、「マッチング位置3,マッチング長さ=4」、「マッチング位置4,マッチング長さ=5」を順次指示すればよい。コンフォーマルマッチングを用いる場合、マッチング位置から、ストリングの走査方式を上記行列における異なるフォーマットでマークし、マッチング長さ分の画素をこのストリングのマッチングストリングとして取り出すことができる。上記例において、異なるフォーマットが対応する走査領域における内容について異なる走査順序に従って符号化ブロックの分割走査を実現することができることが記述されている。
本願に提供される実施例によれば、画像における符号化すべき符号化ブロックを符号化する場合、符号化ブロックから抽出された特徴パラメータに基づいて符号化ブロックの走査方式パラメータを決定し、走査方式パラメータは、符号化ブロックを1つ以上の走査領域に分割することを示す領域指示パラメータ、及び符号化ブロックを走査する走査順序を示す走査指示パラメータのうち少なくとも一方を含む。そして、決定された走査方式パラメータに基づいて画像における符号化ブロックを走査し、符号化ブロックにおける画素の一部又は全部について予測値を決定する。さらに、予測値に基づく符号化ブロックの符号化を行い、符号化後の符号化結果をコードストリームに書き込む。つまり、符号化ブロックの走査符号化を分割走査方式で行い、符号化結果をビデオコードストリームに書き込む。これにより、符号化ブロックをより小さい走査領域に分割することで、符号化効率を向上させる効果を達成することが実現される。さらに、従来技術において、符号化技術は固定した方式による走査しかできないことに起因する低効率の問題を解消する。
1つの代替案として、第1の決定ユニットは、
1)符号化ブロック内の画素サンプル及び/又は符号化ブロックの隣接領域内の画素サンプルの特徴パラメータを抽出する抽出モジュールと、
2)特徴パラメータに基づいて符号化ブロックの走査方式パラメータを決定する第1の決定モジュールと、を含む。
オプションとして、本実施例において、抽出モジュールは、符号化ブロック内の画素サンプル及び/又は符号化ブロックの隣接領域内の画素サンプルの、特徴パラメータに含まれるテクスチャ特徴を抽出する抽出サブモジュールを含み、第1の決定モジュールは、テクスチャ特徴に基づいて符号化ブロックの走査方式パラメータを決定する第1の決定サブモジュールを含んでもよい。
オプションとして、本実施例において、テクスチャ特徴に基づいて符号化ブロックの走査方式パラメータを決定することは、領域指示パラメータで示される、符号化ブロックの1つ以上の走査領域への分割、及び走査指示パラメータで示される、符号化ブロックを走査する走査順序を決定することを含むことができるが、これには限定されない。
本願に提供される実施例によれば、符号化ブロックの画像内容によって少なくともテクスチャ方向を含むテクスチャ特徴を抽出し、画像自体のテクスチャ特徴を用いて最適な走査方式パラメータを決定することにより、符号化ブロックを符号化する圧縮効率をさらに向上させる。
1つの代替案として、抽出サブモジュールは、
S1:符号化ブロック内の画素サンプル及び/又は符号化ブロックの隣接領域内の画素サンプルに対してフィルタリング処理を行うステップと、
S2:フィルタリング処理の結果に基づいてテクスチャ特徴を抽出するステップと、により、符号化ブロック内の画素サンプル及び/又は符号化ブロックの隣接領域内の画素サンプルのテクスチャ特徴を抽出することを実現する。
オプションとして、本実施例において、抽出サブモジュールは、
S12:符号化ブロック内の画素サンプル及び/又は符号化ブロックの隣接領域内の画素サンプルに対してエッジ検出フィルタリングを行うステップにより、符号化ブロック内の画素サンプル及び/又は符号化ブロックの隣接領域内の画素サンプルに対してフィルタリング処理を行うことを実現してもよい。
オプションとして、本実施例において、上記エッジ検出フィルタリングは1つの実現手段に過ぎず、本実施例において、テクスチャ特徴を取得する実現手段について何ら限定もされていない。これにより、エッジ情報に基づいて、符号化ブロックを走査領域に分割するか否かを決定することが実現される。さらに、検出結果のうち、抽出されたテクスチャ特徴に基づいて、走査領域における画素の走査順序を決定することもできる。
1つの代替案として、第1の決定サブモジュールは、
S1:テクスチャ特徴に基づいて走査方式パラメータにおける領域指示パラメータを決定し、符号化ブロックの走査領域を得、符号化ブロックの走査領域は、符号化ブロックを1つの走査領域とすることと、符号化ブロックを複数の走査領域に分割することとのうち少なくとも一方を含むステップにより、テクスチャ特徴に基づいて符号化ブロックの走査方式パラメータを決定することを実現する。
なお、本実施例において、テクスチャ特徴で示されるテクスチャ方向が、符号化ブロックの境界と交差するか否かを判断することにより、符号化後の走査領域を決定することができるが、これには限定されない。例えば、符号化ブロックの境界と交差していれば、この境界に垂直な方向において符号化ブロックを複数の走査領域に分割する。ここで、符号化ブロックにおける画像内容のテクスチャ特徴(即ち、テクスチャ方向)に基づいて複数の走査領域の分割方向を決定することもできるが、これには限定されず、例えば、複数の走査領域がテクスチャ方向と一致する。
本願に提供される実施例によれば、テクスチャ特徴に基づいて走査方式パラメータにおける領域指示パラメータを決定し、符号化ブロックの分割走査を実現することにより、符号化ブロックの走査符号化を行う中、異なる走査領域の分割走査を同時に行うことができ、符号化効率を向上させる効果を実現する。
1つの代替案として、第1の決定サブモジュールは、
S1:テクスチャ特徴で示されるテクスチャ方向が、符号化ブロックの境界と交差するか否かを判断するステップと、
S2:テクスチャ方向が符号化ブロックの境界と交差していれば、テクスチャ方向と符号化ブロックの境界とが交差する箇所を原点として、水平又は垂直方向において符号化ブロックを複数の走査領域に分割するステップと、
S3:テクスチャ方向が符号化ブロックの境界と交差していなければ、符号化ブロックを1つの走査領域とするステップとにより、テクスチャ特徴に基づいて走査方式パラメータにおける領域指示パラメータを決定し、符号化ブロックの走査領域を得ることを実現する。
オプションとして、本実施例において、テクスチャ方向と符号化ブロックの境界とが交差する箇所を原点として、水平又は垂直方向において符号化ブロックを複数の走査領域に分割することは、
S22:テクスチャ方向が符号化ブロックの横方向の境界と交差していれば、テクスチャ方向と符号化ブロックの境界とが交差する箇所を原点として、横方向の境界に垂直な垂直方向において符号化ブロックを複数の走査領域に分割するか、
S24:テクスチャ方向が符号化ブロックの縦方向の境界と交差していれば、テクスチャ方向と符号化ブロックの境界とが交差する箇所を原点として、縦方向の境界に垂直な水平方向において符号化ブロックを複数の走査領域に分割すること、を含んでもよい。
なお、本実施例において、操作を簡略化するために、水平又は垂直方向において符号化ブロックの分割走査を行うことができるが、これには限定されない。また、本実施例において、符号化ブロックにおける画像内容の実際のテクスチャ方向に基づいて、複数の走査領域を決定することもできるが、これには限定されない。つまり、テクスチャ方向と一致する方向において複数の平行する走査領域に分割する。
本願に提供される実施例によれば、テクスチャ特徴で示されるテクスチャ方向が、符号化ブロックの境界と交差するか否かを判断することにより、走査領域を決定する。操作が簡単であるだけでなく、符号化ブロックの圧縮効率をさらに保証する。
1つの代替案として、第1の決定サブモジュールは、
S1:テクスチャ特徴で示されるテクスチャ方向に基づいて、走査方式パラメータのうち、符号化ブロックの走査領域における画素の走査順序を示す走査指示パラメータを設定するステップにより、テクスチャ特徴に基づいて符号化ブロックの走査方式パラメータを決定することを実現する。
オプションとして、本実施例において、マルチ分割走査にあたり、異なる走査領域に対して、同じ走査順序を用いてもよいし、異なる走査順序を混合して用いてもよいが、これには限定されない。例えば、図4乃至図9は、異なる走査方式及び異なる走査順序を組み合わせた複数の混合した走査を示す図である。
本願に提供される実施例によれば、符号化ブロックのうち1つ以上の走査領域における画素の走査順序をテクスチャ方向に応じて設定することにより、走査符号化操作の簡略化をさらに図り、符号化効率を保証する。
1つの代替案として、第1の決定モジュールは、
1)符号化ブロックの走査領域における画素サンプルの、行関連度及び列関連度のうち少なくとも一方を含む関連度を取得する取得サブモジュールと、
2)画素サンプルの関連度を比較する比較サブモジュールと、
3)比較した結果に基づいて、符号化ブロックの走査領域における画素の走査順序を決定する第2の決定サブモジュールと、を含む。
オプションとして、本実施例において、比較サブモジュールは、
S1:比較した結果のうち最大の関連度で示される順序を、走査領域における画素の走査順序とするステップにより、比較した結果に基づいて、符号化ブロックの走査領域における画素の走査順序を決定することを実現してもよい。
なお、走査領域における画素の行関連度及び/又は列関連度のうち最大の関連度に基づいて、走査領域における画素の走査順序を決定することができるが、これには限定されない。ここで、関連度の取得方式について、本実施例では何ら限定もされていない。
本願に提供される実施例によれば、走査領域に対して対応する走査順序を設定することにより、符号化ブロックに対して多様化した走査順序を用いることが実現され、符号化効率を最大化することが保証される。
1つの代替案として、第2の決定ユニットは、
1)符号化ブロックにおける画素の一部又は全部について画素サンプルの基準値を決定し、基準値を予測値とする第2の決定モジュールと、
2)走査方式パラメータに基づいて符号化ブロックにおける画素の一部又は全部について画素サンプルの組み合わせを決定し、画素サンプルの組み合わせに対応する基準値の組み合わせを予測値とする第3の決定モジュールと、を含む。
オプションとして、本実施例において、上記画素サンプルの組み合わせは、異なる走査領域に応じて形成された複数の画素サンプルの組み合わせであることができるが、これには限定されない。上記基準値を参照サンプルと呼ぶこともできる。
なお、本実施例において、符号化ブロックを符号化することは、符号化ブロックにおける画素の元のサンプリング値(本実施例において画素値とも呼ばれる)の圧縮符号化を行い、即ち、符号化ブロックにおける画素の元のサンプリング値(即ち、画素値)を、この符号化ブロックに用いられる予測方法、予測値の構造方法及び予測差分を示す一連のパラメータになるように(非可逆に)マッピングすることを意味する。本発明の実施例において、符号化ブロックの符号化走査を分割走査方式で行うため、コードストリームにおいて、符号化ブロックに用いられる分割走査方式を識別する情報である走査方式パラメータを符号化する必要がある。
つまり、走査方式パラメータに応じて、符号化ブロック内の2次元画素をいくつかの列の、走査順序で連続して配列される画素からなるストリングに分割し、これらのストリングが走査順序で連続して配列されて、符号化ブロック内の2次元画素配列が構成される。それぞれのストリングはそれなりのマッピングストリング(即ち、予測値)があり、それぞれのストリングのマッチングストリングが走査順序で連続して配列されて、符号化ブロック内の2次元画素の予測値が構成され、これをコードストリームに書き込み、即ち、普通の十進法で表されるパラメータの数値を、ビット0,1で表される二進法シンボルストリングに変換し、この二進法シンボルストリングをそのままコードストリームとしてもよいし、この二進法シンボルストリングを、例えば算術エントロピー符号化のような方法により、他の新しい二進法シンボルストリングになるようにマッピングし、新しい二進法シンボルストリングをコードストリームとしてもよい。本実施例において、これについて何ら限定もされていない。
本願に提供される実施例によれば、符号化ブロックの分割走査を行うとともに、符号化ブロックの分割符号化を分割内容に応じて行うことにより、符号化中の圧縮効率を向上させる効果をさらに達成する。
1つの代替案として、符号化ユニットは、
1)符号化結果及び走査方式パラメータを、予め設定されたフォーマットでコードストリームの、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ、符号化ツリーユニットCTU、符号化ユニットCU及び符号化ブロックが所在するデータユニットのうち少なくとも一方を含むデータユニットに書き込む符号化モジュールを含む。
なお、上記符号化では、符号化器による構成、符号化器最適化モジュールの設定に基づく構成、直接符号化器最適化モジュールにおいて固定したプリコーディング方式を用いた構成のうち少なくとも一方の方式による構成を行うことができるが、これには限定されない。符号化器に使用可能な方法として、上位隣接ブロックが、垂直に分割する分割走査方式を用い、且つ上位隣接ブロックの垂直エッジが上位隣接ブロックの下側境界と交差していれば、現在ブロックが、上位隣接ブロックと同じ分割走査方式を用いると直接判断し、即ち、現在符号化ブロックのプリコーディング過程が省略され、これにより、符号化時間を節約し、符号化効率を向上させる。
なお、上記各モジュールは、ソフトウェア又はハードウェアプラットフォームにより実現されることができ、後者の場合、上記モジュールはいずれも同一のプロセッサに位置するか、上記モジュールはそれぞれ複数のプロセッサに位置することにより実現されることができるが、これには限定されない。
(実施例4)
本実施例において画像復号装置も提供され、この装置は上記実施例及び好適な実施形態を実現するものであって、既に説明したものは省略される。以下で使用されるように、用語「モジュール」とは、所定の機能を実現可能なソフトウェア及び/又はハードウェアの組み合わせである。以下の実施例に説明される装置をソフトウェアで実現することが好ましいが、ハードウェア又はソフトウェアとハードウェアとの組み合わせにより実現することも可能であり、構想されている。
本実施例において画像復号装置が提供され、図12は、本発明の実施例による代替の画像復号装置を示す図であり、図12に示されるように、
1)コードストリームを解析して復号ブロックの復号パラメータを取得する第1の取得ユニット1202と、
2)復号パラメータに基づいて、復号ブロックの走査領域を決定するための領域指示パラメータ、及び/又は走査領域における画素の走査順序を決定するための走査指示パラメータを含む走査方式パラメータを取得する第2の取得ユニット1204と、
3)領域指示パラメータ及び/又は走査指示パラメータに基づいて、復号ブロックにおける画素の一部又は全部について再構成値を決定する決定ユニット1206と、を備える。
オプションとして、本実施例において、上記画像復号装置は、映像復号過程に応用されることができるが、これには限定されず、例えば、パック形式での画像復号又は成分平面形式での画像復号過程に応用されることができるが、これには限定されない。映像を復号する中、復号すべき復号ブロックを、決められた走査方式パラメータの指示に従って分割走査する。つまり、1つの復号ブロックをK個の走査領域に分割して対応する走査順序で走査することにより、従来技術において、復号ブロックを固定した走査方式で行(又は列)全体にわたって走査することに起因する低効率の問題を解消し、画像復号中の解凍効率を向上させる効果を実現する。Kは、通常、1≦K≦16を満足する。K=1は、1分割、即ち非分割を示し、或いは、シングル分割と呼ばれる。K>1は、マルチ分割、即ち分割走査を示す。
なお、本実施例において、復号すべき復号ブロックを復号する場合、コードストリームを解析して復号すべき復号ブロックの復号パラメータを取得し、復号パラメータに基づいて走査方式パラメータを取得し、走査方式パラメータは、復号ブロックの走査領域を決定するための領域指示パラメータ、及び/又は走査領域における画素の走査順序を決定するための走査指示パラメータを含む。そして、領域指示パラメータ及び/又は走査指示パラメータに基づいて、復号ブロックにおける画素の一部又は全部について再構成値を決定する。つまり、復号ブロックの走査復号を分割走査方式で行う。これにより、復号ブロックをより小さい走査領域に分割することで、復号効率を向上させる効果を達成することが実現される。
なお、本実施例において、「画素サンプル」、「画素値」、「サンプル」、「インデックス画素」、「画素インデックス」は同義である。また、「画素」、「1つの画素成分」、「インデックス画素」を表すか、上記3つのうちいずれかを同時に表すことは、コンテキストから明らかとなる。コンテキストから明らかとなっていなければ、3つのうちいずれかを同時に表すことになる。
また、復号ブロックは、若干の画素値からなる領域である。復号ブロックの形状は、矩形、正方形、平行四辺形、台形、多角形、円形、楕円形及び他の様々な形状のうち少なくとも一方の形状であることができるが、これには限定されない。矩形は、幅又は高さが1つの画素値である線(即ち、線分又は線形状)に縮退した矩形をも含む。本実施例の1フレームの画像において、それぞれの復号ブロックは、形状及びサイズが互いに異なってもよい。また、本実施例の1フレームの画像において、復号ブロックは、一部又は全部が互いに重なり合ってもよいし、どれも重なり合っていなくてもよい。さらに、1つの復号ブロックは、「画素」からなること、「画素の成分」からなること、「インデックス画素」からなること、上記3つが混合してなること、及び上記3つのうちいずれか2つが混合してなることができるが、本実施例において、これについて何ら限定もされていない。映像復号の場合、復号ブロックは、1フレームの画像のうち復号される1つの領域を指すことができ、例えば、最大復号ユニットLCU、復号ツリーユニットCTU、復号ユニットCU、CUのサブ領域、予測ユニットPU、変換ユニットTUのうち少なくとも一方を含むことができるが、これには限定されない。
オプションとして、本実施例において、上記走査領域における画素の走査順序は、水平Z字型走査順序、垂直Z字型走査順序、水平円弧状走査順序、垂直円弧状走査順序、ラスタ走査順序、Zigzag走査順序、ジグザグ走査順序、対角Z字型走査順序、対角円弧状走査順序のうち少なくとも一方を含んでもよい。
オプションとして、本実施例において、上記走査方式は、2分割、4分割、8分割、及び16分割のうち少なくとも一方を含むことができるが、これには限定されない。マルチ分割中に、異なる走査領域の走査順序が同じでも、異なってもよい。本実施例において、これについて何ら限定もされていない。
例えば、図3において、1)復号ブロックの水平Z字型2分割走査、2)復号ブロックの水平Z字型4分割走査、3)復号ブロックの垂直Z字型2分割走査、4)復号ブロックの垂直Z字型4分割走査という4つのオプションの走査方式パラメータで示される走査が示されている。また、例えば、図4乃至図9において、異なる走査方式と異なる走査順序とを組み合わせた複数のオプションの走査方式パラメータで示される走査が示されている。
オプションとして、本実施例において、復号パラメータに基づいて走査方式パラメータを取得する方法として、
1)復号パラメータから走査方式パラメータにおける領域指示パラメータ及び/又は走査指示パラメータを取得することと、
2)復号ブロックの隣接領域における画素サンプルの、テクスチャ特徴を含む特徴パラメータを抽出し、テクスチャ特徴に基づいて復号ブロックの走査方式パラメータを決定することと、
3)復号パラメータに基づいて、符号化モードを示すモード指示パラメータを取得し、モード指示パラメータから走査方式パラメータを取得することと、のうち少なくとも一方を含んでもよい。
なお、コードストリームを解析してコードストリームに直接符号化された復号パラメータを取得した後、復号パラメータに基づいて走査方式パラメータを取得する方法として、(1)コードストリームを解析して走査方式パラメータにおける領域指示パラメータ及び/又は走査指示パラメータを直接取得することと、(2)復号ブロックの隣接領域における画素サンプルの特徴パラメータを抽出し、導出方式により走査方式パラメータにおける領域指示パラメータ及び/又は走査指示パラメータを取得することと、(3)走査方式と一部の符号化モードとに対して「固定したバインディング」を行い、即ち、復号パラメータに基づいて符号化モードを示すモード指示パラメータを取得し、モード指示パラメータからモード識別子を解析した場合、このモードに予め設定された領域指示パラメータ及び/又は走査指示パラメータを用いることと、のうち少なくとも一方を含む。
また、本実施例において、上記画素(pixel)は、画像の最小表示単位を表し、1つの画素位置に1つ(例えば、モノクロ階調画像)又は3つ(例えば、RGB、YUV)の有効なサンプリング値、即ち画素サンプル(pixel sample(s))を有することができる。本実施例において、位置を記述する時に、画素を用いることができ、処理される画素位置におけるサンプリング値を記述する時に、画素サンプルを用いることができる。
さらに、方式2)において、テクスチャ特徴で示されるテクスチャ方向が、復号ブロックの境界と交差するか否かを判断することにより、復号後の走査領域を決定することができるが、これには限定されない。例えば、復号ブロックの境界と交差していれば、この境界に垂直な方向において復号ブロックを複数の走査領域に分割する。
オプションとして、本実施例において、領域指示パラメータ及び/又は走査指示パラメータに基づいて、復号ブロックにおける画素の一部又は全部について再構成値を決定する方法として、
1)復号ブロックにおける画素の一部又は全部について予測値を取得し、予測値を再構成値とするか、
2)復号ブロックにおける画素の一部又は全部についての予測値及び対応する予測差分値を取得し、予測値と予測差分値との総和又は差分を再構成値とすること、を含んでもよい。
オプションとして、本実施例において、復号ブロックにおける画素の一部又は全部について予測値を決定することは、復号ブロックにおける画素の一部又は全部について画素サンプルの基準値を決定し、基準値を予測値とすることと、走査方式パラメータに基づいて、復号ブロックにおける画素の一部又は全部について画素サンプルの組み合わせを決定し、サンプルの組み合わせに対応する基準値の組み合わせを予測値とすることと、を含んでもよい。
オプションとして、本実施例において、コードストリームを解析して復号ブロックの復号パラメータを取得することは、コードストリームのデータユニットから復号パラメータを取得することを含んでもよく、データユニットは、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ、符号化ツリーユニットCTU、符号化ユニットCU及び復号ブロックが所在するデータユニットのうち少なくとも一方を含む。
具体的には以下の例を結合して説明する。ストリングマッチング符号化を用いて符号化ブロックの符号化を行うコードストリームについて、復号する中、復号ブロックを異なる走査領域に分割し、それぞれの走査領域ごとに符号化過程に対応する分割走査を用いることができる。例えば、符号化過程は、走査方式パラメータの指示に従って1つの2次元行列における要素を1つの1次元ベクトルになるように配列する過程であれば、復号過程は、符号化と逆な過程、即ち、1つの1次元ベクトルにおける要素を1つの2次元行列になるように配列する過程にされることができる。実際のコードの実現は、読出/書込アドレス制御方法により完成される。例えば、2次元画素は、
[A B C D
E F G H
I J K L
M N O P]
のようなものである。
こうすると、符号化過程に用いられる走査方式パラメータに対応する走査方式パラメータで示される「円弧状4分割走査」によって、上記2次元画素を[A B C D H G F E I J K L P O N M]という1次元配列に変換することができ、実現される擬似コードは、
int position[4][4] = {0, 1, 2, 3,
7, 6, 5, 4,
8, 9, 10, 11,
15, 14, 13, 12};
for (h = 0; h < 4; h++)
for(w = 0; w < 4; w++)
1D_array[position[h][w] ] = 2D_array[h][w]; のようなものになることができる。
本願に提供される実施例によれば、コードストリームを解析して復号ブロックの復号パラメータを取得し、そして、復号パラメータに基づいて走査方式パラメータを決定し、走査方式パラメータは、復号ブロックの走査領域を決定するための領域指示パラメータ、及び/又は走査領域における画素の走査順序を決定するための走査指示パラメータを含む。さらに、領域指示パラメータ及び/又は走査指示パラメータに基づいて、復号ブロックにおける画素の一部又は全部について再構成値を決定する。つまり、復号ブロックの走査復号を分割走査方式で行う。これにより、復号ブロックをより小さい走査領域に分割することで、復号効率を向上させる効果を達成することが実現される。さらに、従来技術において、復号技術は固定した方式による走査しかできないことに起因する低効率の問題を解消する。
1つの代替案として、第2の取得ユニットは、
1)前記復号パラメータから前記走査方式パラメータにおける前記領域指示パラメータ及び/又は前記走査指示パラメータを取得し、前記復号ブロックの走査領域を得、前記復号ブロックの走査領域は、前記復号ブロックを1つの前記走査領域とすることと、前記復号ブロックを複数の前記走査領域に分割することとのうち少なくとも一方を含む第1の取得モジュールを含む。
オプションとして、本実施例において、復号ブロックをシングル分割走査領域としてもよいし、復号ブロックをマルチ分割走査領域に分割してもよい。
なお、本実施例において、復号ブロックの隣接領域における画素サンプルの特徴パラメータに含まれるテクスチャ特徴で示されるテクスチャ方向が、復号ブロックの境界と交差するか否かを判断することで、復号後の走査領域を決定することができるが、これには限定されない。例えば、復号ブロックの境界と交差していれば、この境界に垂直な方向において復号ブロックを複数の走査領域に分割する。ここで、復号ブロックにおける画像内容のテクスチャ特徴(即ち、テクスチャ方向)に基づいて複数の走査領域の分割方向を決定することができるが、これには限定されず、例えば、複数の走査領域がテクスチャ方向と一致する。
オプションとして、本実施例において、復号過程における復号走査順序は、予め設定された走査順序であってもよいし、走査方式パラメータで示される走査順序であってもよい。本実施例において、これについて何ら限定もされていない。
本願に提供される実施例によれば、テクスチャ特徴に基づいて復号ブロックの分割走査を行うことにより、復号ブロックの走査復号を行う中、異なる走査領域の分割走査を同時に行うことができ、復号効率を向上させる効果を実現する。また、走査領域に対して対応する走査順序を設定することにより、復号ブロックに対して多様化した走査順序を用いることが実現され、復号効率を最大化することが保証される。
1つの代替案として、第2の取得ユニットは、
1)復号ブロックの隣接領域における画素サンプルの、テクスチャ特徴を含む特徴パラメータを抽出する抽出モジュールと、
2)テクスチャ特徴に基づいて復号ブロックの走査方式パラメータを決定する第1の決定モジュールと、を含む。
本願に提供される実施例によれば、復号ブロックの画像内容によってテクスチャ特徴を抽出し、画像自体のテクスチャ特徴に基づいて最適な走査方式パラメータを決定することにより、復号ブロックを復号する解凍効率をさらに向上させる。
1つの代替案として、抽出モジュールは、
1)復号ブロックの隣接領域における復号された画素の再構成値に対してフィルタリング処理を行うフィルタリングサブモジュールと、
2)フィルタリング処理の結果に基づいてテクスチャ特徴を抽出する抽出サブモジュールと、を含む。
オプションとして、本実施例において、フィルタリングサブモジュールは、
S1:復号ブロックの隣接領域における復号された画素の再構成値に対してエッジ検出フィルタリングを行うステップにより、復号ブロックの隣接領域における復号された画素の再構成値のフィルタリング処理を行うことを実現してもよい。
オプションとして、本実施例において、上記エッジ検出フィルタリングは1つの実現手段に過ぎず、本実施例において、テクスチャ特徴を取得する実現手段について何ら限定もされていない。これにより、エッジ情報に基づいて、符号化ブロックを走査領域に分割するか否かを決定することが実現される。さらに、検出結果のうち、抽出されたテクスチャ特徴に基づいて走査領域における画素の走査順序を決定することもできる。
1つの代替案として、第1の決定モジュールは、
1)テクスチャ特徴で示されるテクスチャ方向が、復号ブロックの境界と交差するか否かを判断する判断サブモジュールと、
2)テクスチャ方向が復号ブロックの境界と交差していれば、テクスチャ方向と復号ブロックの境界とが交差する箇所を原点として、水平又は垂直方向において復号ブロックを複数の走査領域に分割する第1の分割サブモジュールと、
3)テクスチャ方向が復号ブロックの境界と交差していなければ、復号ブロックを1つの走査領域とする第2の分割サブモジュールと、を含む。
オプションとして、本実施例において、第1の分割サブモジュールは、
S1:テクスチャ方向が復号ブロックの横方向の境界と交差していれば、テクスチャ方向と復号ブロックの境界とが交差する箇所を原点として、横方向の境界に垂直な垂直方向において復号ブロックを複数の走査領域に分割するステップ、或いは、
S2:テクスチャ方向が復号ブロックの縦方向の境界と交差していれば、テクスチャ方向と復号ブロックの境界とが交差する箇所を原点として、縦方向の境界に垂直な水平方向において復号ブロックを複数の走査領域に分割するステップにより、テクスチャ方向と復号ブロックの境界とが交差する箇所を原点として、水平又は垂直方向において復号ブロックを複数の走査領域に分割することを実現してもよい。
なお、本実施例において、操作を簡略化するために、水平又は垂直方向において復号ブロックの分割走査を行うことができるが、これには限定されない。また、本実施例において、復号ブロックにおける画像内容の実際のテクスチャ方向に基づいて、複数の走査領域を決定することもできるが、これには限定されない。つまり、テクスチャ方向と一致する方向において複数の平行する走査領域に分割する。
本願に提供される実施例によれば、テクスチャ特徴で示されるテクスチャ方向が、復号ブロックの境界と走査するか否かを判断することにより、走査領域を決定する。操作が簡単であるだけでなく、復号ブロックの解凍効率をさらに保証する。
1つの代替案として、第1の決定モジュールは、
1)テクスチャ特徴で示されるテクスチャ方向に基づいて、復号ブロックの走査領域における画素の走査順序を設定する設定サブモジュール、を含む。
オプションとして、本実施例において、マルチ分割走査にあたり、異なる走査領域に対して、同じ走査順序を用いてもよいし、異なる走査順序を混合して用いてもよいが、これには限定されない。例えば、図4乃至図9は、異なる走査方式及び異なる走査順序を組み合わせた複数の混合した走査を示す図である。
本願に提供される実施例によれば、復号ブロックのうち1つ以上の走査領域における画素の走査順序をテクスチャ方向に応じて設定することにより、走査復号操作の簡略化をさらに図り、復号効率を保証する。
1つの代替案として、第2の取得ユニットは、
1)復号パラメータに基づいて、符号化モードを示すモード指示パラメータを取得する第2の取得モジュール、或いは、
2)モード指示パラメータから走査方式パラメータを取得する第3の取得モジュール、を含む。
オプションとして、本実施例において、走査方式と一部の符号化モードとに対して「固定したバインディング」を行い、即ち、復号パラメータに基づいて符号化モードを示すモード指示パラメータを取得するようにしてもよく、モード指示パラメータからモード識別子を解析した場合、このモードに予め設定された領域指示パラメータ及び/又は走査指示パラメータを用いる。
1つの代替案として、決定ユニットは、
1)復号ブロックにおける画素の一部又は全部について予測値を取得し、予測値を再構成値とする第4の取得モジュールと、
2)復号ブロックにおける画素の一部又は全部についての予測値及び対応する予測差分値を取得し、予測値と予測差分値との総和又は差分を再構成値とする第5の取得モジュールと、を含む。
オプションとして、本実施例において、上記画素サンプルの組み合わせは、異なる走査領域に応じて形成された複数の画素サンプルの組み合わせであることができるが、これには限定されない。上記基準値を参照サンプルと呼ぶこともできる。
オプションとして、本実施例において、第4の取得モジュールは、
(1)復号ブロックにおける画素の一部又は全部について画素サンプルの基準値を決定し、基準値を予測値とする第1の決定サブモジュールと、
(2)走査方式パラメータに基づいて、復号ブロックにおける画素の一部又は全部について画素サンプルの組み合わせを決定し、サンプルの組み合わせに対応する基準値の組み合わせを予測値とする第2の決定サブモジュールと、を含んでもよい。
つまり、上記復号過程は、符号化過程の逆過程となることができるが、これには限定されない。例えば、再構成値を決定する中、コードストリームを解決して予測差分を取得することができ(コードストリームで予測差分を伝送しなくてもよく、この場合、予測差分が0となる)、こうすると、再構成値=予測値+予測差分になる。
なお、本実施例において非可逆符号化方式を用いるため、再構成値の正確性を確保するために、本実施例において、上記予測差分は、コードストリームを解析して直接取得したものであることができるが、これには限定されない。
本願に提供される実施例によれば、復号ブロックの分割走査を行うとともに、復号ブロックの分割復号を分割内容に応じて行うことにより、復号中の解凍効率を向上させる効果をさらに達成する。
1つの代替案として、第1の取得ユニットは、
1)コードストリームの、ビデオパラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ、符号化ツリーユニットCTU、符号化ユニットCU及び復号ブロックが所在するデータユニットのうち少なくとも一方を含むデータユニットから復号パラメータを取得する復号モジュールを含む。
なお、上記復号では、復号器による構成、復号器最適化モジュールの設定に基づく構成、直接復号器最適化モジュールにおいて固定したプリデコード方式を用いた構成のうち少なくとも一方の方式による構成を行うことができるが、これには限定されない。復号器に使用可能な方法として、上位隣接ブロックが、垂直に分割する分割走査方式を用い、且つ上位隣接ブロックの垂直エッジが上位隣接ブロックの下側境界と交差していれば、現在ブロックが、上位隣接ブロックと同じ分割走査方式を用いると直接判断し、即ち、現在復号ブロックのプリデコード過程が省略され、これにより、復号時間を節約し、復号効率を向上させる。
なお、上記各モジュールは、ソフトウェア又はハードウェアプラットフォームにより実現されることができ、後者の場合、上記モジュールはいずれも同一のプロセッサに位置するか、上記モジュールはそれぞれ複数のプロセッサに位置することにより実現されることができるが、これには限定されない。
(実施例5)
本発明の実施例において、記憶媒体がさらに提供される。オプションとして、本実施例において、上記記憶媒体は、
S1:符号化ブロックについて、符号化ブロックの走査領域を決定するための領域指示パラメータ、及び符号化ブロックの走査領域における画素の走査順序を決定するための走査指示パラメータのうち少なくとも一方を含む走査方式パラメータを決定するステップと、
S2:走査方式パラメータに基づいて、符号化ブロックにおける画素の一部又は全部について予測値を決定するステップと、
S3:予測値に基づく符号化ブロックの符号化を行い、符号化後の符号化結果をコードストリームに書き込むステップと、を実行するためのプログラムコードを記憶するように構成されてもよい。
本発明の実施例において、記憶媒体がさらに提供される。オプションとして、本実施例において、上記記憶媒体は、
S1:コードストリームを解析して復号ブロックの復号パラメータを取得するステップと、
S2:復号パラメータに基づいて、復号ブロックの走査領域を決定するための領域指示パラメータ、及び/又は走査領域における画素の走査順序を決定するための走査指示パラメータを含む走査方式パラメータを取得するステップと、
S3:領域指示パラメータ及び/又は走査指示パラメータに基づいて、復号ブロックにおける画素の一部又は全部について再構成値を決定するステップと、を実行するためのプログラムコードを記憶するように構成されてもよい。
オプションとして、本実施例において、上記記憶媒体は、Uディスク、リードオンリーメモリ(ROM、Read-Only Memory)、ランダムアクセスメモリ(RAM、RandomAccess Memory)、ポータブルハードディスク、磁気ディスク又は光ディスク等、様々なプログラムコードを記憶可能な媒体を含むことができるが、これには限定されない。
オプションとして、本実施例における具体例は、上記実施例及び代替の実施形態に説明される例を参照してもよいが、本実施例はここでその説明を省略する。
当業者にとって、上述の本発明の各モジュール又は各ステップは汎用の計算装置によって実現することができ、単独の計算装置に集成させることができれば、複数の計算装置から構成されるネットワークに分布させることもでき、計算装置で実行可能なプログラムコードによって実現してもよいので、それらを記憶装置に格納して計算装置によって実行することができ、そして場合によって、示した又は説明したステップを上述と異なる手順で実行することができ、それぞれ集積回路モジュールに製作したり、これらのうち複数のモジュール又はステップを単独の集積回路モジュールに製作したりして実現することができることは、明らかである。このように、本発明は、如何なる特定のハードウェアとソフトウェアの結合に限定されない。
以上は、本発明の好適な実施例に過ぎず、本発明を限定することは意図していない。当業者であれば、本発明に様々な変更や変形が可能である。本発明の思想や原則内の如何なる修正、均等の置き換え、改良なども、本発明の保護範囲内に含まれるべきである。
本発明の実施例に係わる画像符号化及び/又は復号過程において、符号化/復号ブロックに対して分割走査方式による走査符号化/復号を行うことにより、符号化/復号ブロックをより小さい走査領域に分割し、符号化圧縮効率及び復号解凍効率を向上させる効果を達成することが実現され、さらに、従来技術において、符号化技術は固定した方式による走査しかできないことに起因する低効率の問題を解消する。

Claims (14)

  1. 符号化ブロックについて、前記符号化ブロックの走査領域を決定するための領域指示パラメータと前記符号化ブロックの走査領域における画素の走査順序を決定するための走査指示パラメータを含む走査方式パラメータを決定することと、
    前記走査方式パラメータに基づいて、前記符号化ブロックにおける画素の一部又は全部について予測値を決定することと、
    前記予測値に基づく前記符号化ブロックの符号化を行い、符号化後の符号化結果をコードストリームに書き込むことと、
    を含み、
    前記符号化ブロックについて走査方式パラメータを決定することは、
    前記符号化ブロック内の画素サンプル及び/又は前記符号化ブロックの隣接領域内の画素サンプルの特徴パラメータを抽出することと、
    前記特徴パラメータに基づいて前記符号化ブロックの前記走査方式パラメータを決定することと、を含む画像符号化方法。
  2. 前記符号化ブロック内の画素サンプル及び/又は前記符号化ブロックの隣接領域内の画素サンプルの特徴パラメータを抽出することは、前記符号化ブロック内の画素サンプル及び/又は前記符号化ブロックの隣接領域内の画素サンプルの、前記特徴パラメータに含まれるテクスチャ特徴を抽出することを含み、
    前記特徴パラメータに基づいて前記符号化ブロックの前記走査方式パラメータを決定することは、前記テクスチャ特徴に基づいて前記符号化ブロックの前記走査方式パラメータを決定することを含み、
    前記符号化ブロック内の画素サンプル及び/又は前記符号化ブロックの隣接領域内の画素サンプルのテクスチャ特徴を抽出することは、
    前記符号化ブロック内の画素サンプル及び/又は前記符号化ブロックの隣接領域内の画素サンプルに対してフィルタリング処理を行うことと、
    前記フィルタリング処理の結果に基づいて前記テクスチャ特徴を抽出することと、を含み、
    前記符号化ブロック内の画素サンプル及び/又は前記符号化ブロックの隣接領域内の画素サンプルに対してフィルタリング処理を行うことは、
    前記符号化ブロック内の画素サンプル及び/又は前記符号化ブロックの隣接領域内の画素サンプルに対してエッジ検出フィルタリングを行うことを含み、
    或は、
    前記テクスチャ特徴に基づいて前記符号化ブロックの前記走査方式パラメータを決定することは、
    前記テクスチャ特徴に基づいて前記走査方式パラメータにおける前記領域指示パラメータを決定し、前記符号化ブロックの走査領域を得ることを含み、前記符号化ブロックの走査領域は、前記符号化ブロックを1つの前記走査領域とすることと、前記符号化ブロックを複数の前記走査領域に分割することとのうち少なくとも一方を含み、
    前記テクスチャ特徴に基づいて前記走査方式パラメータにおける前記領域指示パラメータを決定し、前記符号化ブロックの走査領域を得ることは、
    前記テクスチャ特徴で示されるテクスチャ方向が、前記符号化ブロックの境界と交差するか否かを判断することと、
    前記テクスチャ方向が前記符号化ブロックの境界と交差していれば、前記テクスチャ方向と前記符号化ブロックの境界とが交差する箇所を原点として、水平又は垂直方向において前記符号化ブロックを複数の前記走査領域に分割することと、
    前記テクスチャ方向が前記符号化ブロックの境界と交差していなければ、前記符号化ブロックを1つの前記走査領域とすることと、を含み、
    前記テクスチャ方向と前記符号化ブロックの境界とが交差する箇所を原点として、水平又は垂直方向において前記符号化ブロックを複数の前記走査領域に分割することは、
    前記テクスチャ方向が前記符号化ブロックの横方向の境界と交差していれば、前記テクスチャ方向と前記符号化ブロックの境界とが交差する箇所を原点として、前記横方向の境界に垂直な垂直方向において前記符号化ブロックを複数の前記走査領域に分割するか、
    前記テクスチャ方向が前記符号化ブロックの縦方向の境界と交差していれば、前記テクスチャ方向と前記符号化ブロックの境界とが交差する箇所を原点として、前記縦方向の境界に垂直な水平方向において前記符号化ブロックを複数の前記走査領域に分割すること、を含み、
    或は、
    前記テクスチャ特徴に基づいて前記符号化ブロックの前記走査方式パラメータを決定することは、
    前記テクスチャ特徴で示されるテクスチャ方向に基づいて、前記走査方式パラメータのうち、前記符号化ブロックの前記走査領域における画素の走査順序を示す走査指示パラメータを設定することを含む
    請求項1に記載の方法。
  3. 前記特徴パラメータに基づいて前記符号化ブロックの前記走査方式パラメータを決定することは、
    前記符号化ブロックの前記走査領域における画素サンプルの、行関連度および列関連度のうち少なくとも一方を含む関連度を取得することと、
    前記画素サンプルの関連度を比較することと、
    比較した結果に基づいて、前記符号化ブロックの前記走査領域における画素の走査順序を決定することと、を含み、
    比較した結果に基づいて、前記符号化ブロックの前記走査領域における画素の走査順序を決定することは、
    比較した結果のうち最大の関連度で示される順序を、前記走査領域における画素の前記走査順序とすること、を含む
    請求項1に記載の方法。
  4. 前記走査方式パラメータに基づいて、前記符号化ブロックにおける画素の一部又は全部について予測値を決定することは、
    前記符号化ブロックにおける画素の一部又は全部について画素サンプルの基準値を決定し、前記基準値を前記予測値とすることと、
    前記走査方式パラメータに基づいて前記符号化ブロックにおける画素の一部又は全部について画素サンプルの組み合わせを決定し、前記画素サンプルの組み合わせに対応する基準値の組み合わせを前記予測値とすることと、を含む
    請求項1に記載の方法。
  5. 前記領域指示パラメータで示される前記符号化ブロックの走査領域は、前記符号化ブロックを1つの前記走査領域とすることと、前記符号化ブロックを複数の前記走査領域に分割することとのうち少なくとも一方を含み、前記走査指示パラメータで示される前記符号化ブロックの前記走査領域における画素の前記走査順序は、水平Z字型走査順序、垂直Z字型走査順序、水平円弧状走査順序、垂直円弧状走査順序、ラスタ走査順序、Zigzag走査順序、ジグザグ走査順序、対角Z字型走査順序、対角円弧状走査順序のうち少なくとも一方を含む
    請求項1に記載の方法。
  6. コードストリームを解析して復号ブロックの復号パラメータを取得することと、
    前記復号パラメータに基づいて、前記復号ブロックの走査領域を決定するための領域指示パラメータと前記走査領域における画素の走査順序を決定するための走査指示パラメータを含む走査方式パラメータを取得することと、
    前記領域指示パラメータ及び/又は前記走査指示パラメータに基づいて、前記復号ブロックにおける画素の一部又は全部について再構成値を決定することと、
    を含み、
    前記復号パラメータに基づいて走査方式パラメータを決定することは、
    記復号ブロックの隣接領域内の画素サンプルの特徴パラメータを抽出することと、
    前記特徴パラメータに基づいて前記復号ブロックの前記走査方式パラメータを決定することと、を含む画像復号方法。
  7. 前記復号パラメータに基づいて走査方式パラメータを決定することは、
    前記復号パラメータから前記走査方式パラメータにおける前記領域指示パラメータ及び/又は前記走査指示パラメータを取得し、前記復号ブロックの走査領域を得ることを含み、前記復号ブロックの走査領域は、前記復号ブロックを1つの前記走査領域とすることと、前記復号ブロックを複数の前記走査領域に分割することとのうち少なくとも一方を含む
    請求項6に記載の方法。
  8. 前記特徴パラメータがテクスチャ特徴を含み、
    前記復号パラメータに基づいて走査方式パラメータを取得することは、
    前記テクスチャ特徴に基づいて前記復号ブロックの前記走査方式パラメータを決定することをさらに含み、
    前記復号ブロックの隣接領域の特徴パラメータを抽出することは、
    前記復号ブロックの隣接領域における復号された画素の再構成値に対してフィルタリング処理を行うことと、
    前記フィルタリング処理の結果に基づいて前記テクスチャ特徴を抽出することと、を含み、
    前記復号ブロックの隣接領域における復号された画素の再構成値に対してフィルタリング処理を行うことは、
    前記復号ブロックの隣接領域における復号された画素の再構成値に対してエッジ検出フィルタリングを行うことを含み、
    或は、
    前記テクスチャ特徴に基づいて前記復号ブロックの前記走査方式パラメータを決定することは、
    前記テクスチャ特徴で示されるテクスチャ方向が、前記復号ブロックの境界と交差するか否かを判断することと、
    前記テクスチャ方向が前記復号ブロックの境界と交差していれば、前記テクスチャ方向と前記復号ブロックの境界とが交差する箇所を原点として、水平又は垂直方向において前記復号ブロックを複数の前記走査領域に分割することと、
    前記テクスチャ方向が前記復号ブロックの境界と交差していなければ、前記復号ブロックを1つの前記走査領域とすることと、を含み、
    或は、
    前記テクスチャ特徴に基づいて前記復号ブロックの前記走査方式パラメータを決定することは、
    前記テクスチャ特徴で示されるテクスチャ方向に基づいて、前記復号ブロックの前記走査領域における画素の走査順序を設定することを含む
    請求項6に記載の方法。
  9. 前記復号パラメータに基づいて走査方式パラメータを取得することは、
    前記復号パラメータに基づいて、符号化モードを示すモード指示パラメータを取得することと、
    前記モード指示パラメータから前記走査方式パラメータを取得することと、を含む
    請求項6に記載の方法。
  10. 前記領域指示パラメータ及び/又は前記走査指示パラメータに基づいて、前記復号ブロックにおける画素の一部又は全部について再構成値を決定することは、
    前記復号ブロックにおける画素の一部又は全部について予測値を取得し、前記予測値を前記再構成値とするか、
    前記復号ブロックにおける画素の一部又は全部についての予測値及び対応する予測差分値を取得し、前記予測値と前記予測差分値との総和又は差分を前記再構成値とすること、を含む
    請求項6に記載の方法。
  11. 前記復号ブロックにおける画素の一部又は全部について予測値を取得することは、
    前記復号ブロックにおける画素の一部又は全部について画素サンプルの基準値を決定し、前記基準値を前記予測値とすることと、
    前記走査方式パラメータに基づいて前記復号ブロックにおける画素の一部又は全部について画素サンプルの組み合わせを決定し、前記サンプルの組み合わせに対応する基準値の組み合わせを前記予測値とすることと、を含む
    請求項10に記載の方法。
  12. 前記領域指示パラメータで示される前記復号ブロックの走査領域は、前記復号ブロックを1つの前記走査領域とすることと、前記復号ブロックを複数の前記走査領域に分割することとのうち少なくとも一方を含み、前記走査指示パラメータで示される前記復号ブロックの前記走査領域における画素の前記走査順序は、水平Z字型走査順序、垂直Z字型走査順序、水平円弧状走査順序、垂直円弧状走査順序、ラスタ走査順序、Zigzag走査順序、ジグザグ走査順序、対角Z字型走査順序、対角円弧状走査順序のうち少なくとも一方を含む
    請求項6に記載の方法。
  13. 符号化ブロックについて、前記符号化ブロックの走査領域を決定するための領域指示パラメータと前記符号化ブロックの走査領域における画素の走査順序を決定するための走査指示パラメータを含む走査方式パラメータを決定する第1の決定ユニットと、
    前記走査方式パラメータに基づいて、前記符号化ブロックにおける画素の一部又は全部について予測値を決定する第2の決定ユニットと、
    前記予測値に基づく前記符号化ブロックの符号化を行い、符号化後の符号化結果をコードストリームに書き込む符号化ユニットと、
    を備え、
    前記第1の決定ユニットは、前記符号化ブロック内の画素サンプル及び/又は前記符号化ブロックの隣接領域内の画素サンプルの特徴パラメータを抽出して、前記特徴パラメータに基づいて前記符号化ブロックの前記走査方式パラメータを決定する、画像符号化装置。
  14. コードストリームを解析して復号ブロックの復号パラメータを取得する第1の取得ユニットと、
    前記復号パラメータに基づいて、前記復号ブロックの走査領域を決定するための領域指示パラメータと前記走査領域における画素の走査順序を決定するための走査指示パラメータを含む走査方式パラメータを取得する第2の取得ユニットと、
    前記領域指示パラメータ及び/又は前記走査指示パラメータに基づいて、前記復号ブロックにおける画素の一部又は全部について再構成値を決定する決定ユニットと、
    を備え、
    前記第2の取得ユニットは、前記復号ブロックの隣接領域内の画素サンプルの特徴パラメータを抽出して、前記特徴パラメータに基づいて前記復号ブロックの前記走査方式パラメータを決定する、画像復号装置。
JP2017541640A 2015-02-08 2016-02-05 画像符号化方法及び装置並びに画像復号方法及び装置 Active JP6794364B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN201510063069 2015-02-08
CN201510063069.3 2015-02-08
CN201610079054.0A CN105872539B (zh) 2015-02-08 2016-02-03 图像编码方法和装置及图像解码方法和装置
CN201610079054.0 2016-02-03
PCT/CN2016/073603 WO2016124154A1 (zh) 2015-02-08 2016-02-05 图像编码方法和装置及图像解码方法和装置

Publications (2)

Publication Number Publication Date
JP2018509069A JP2018509069A (ja) 2018-03-29
JP6794364B2 true JP6794364B2 (ja) 2020-12-02

Family

ID=56624571

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017541640A Active JP6794364B2 (ja) 2015-02-08 2016-02-05 画像符号化方法及び装置並びに画像復号方法及び装置

Country Status (5)

Country Link
US (2) US10750180B2 (ja)
EP (2) EP3255891A4 (ja)
JP (1) JP6794364B2 (ja)
KR (1) KR102532391B1 (ja)
CN (1) CN105872539B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872539B (zh) * 2015-02-08 2020-01-14 同济大学 图像编码方法和装置及图像解码方法和装置
CN106534853B (zh) * 2016-12-21 2019-10-25 中国科学技术大学 基于混合扫描顺序的光场图像压缩方法
CN110650343B (zh) 2018-06-27 2024-06-07 中兴通讯股份有限公司 图像的编码、解码方法及装置、电子设备及系统
FR3086485A1 (fr) * 2018-09-21 2020-03-27 Orange Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image.
CN109905156B (zh) * 2019-01-23 2021-04-02 武汉科技大学 基于图像结构相似性的迫零预编码器设计方法

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3967405B2 (ja) * 1996-10-09 2007-08-29 テキサス インスツルメンツ インコーポレイテツド 画像信号の符号化方法
FI114679B (fi) * 2002-04-29 2004-11-30 Nokia Corp Satunnaisaloituspisteet videokoodauksessa
JP2005039723A (ja) * 2003-07-18 2005-02-10 Univ Waseda 画像符号化装置及び画像符号化方法
KR100928968B1 (ko) * 2004-12-14 2009-11-26 삼성전자주식회사 영상 부호화 및 복호화장치와 그 방법
CN1665301A (zh) 2005-03-07 2005-09-07 清华大学 一种视频编解码中的自适应的扫描方法
CN102611892B (zh) * 2006-03-16 2014-10-08 华为技术有限公司 在编码过程中实现自适应量化的方法及装置
WO2008020672A1 (en) 2006-08-17 2008-02-21 Electronics And Telecommunications Research Institute Apparatus for encoding and decoding image using adaptive dct coefficient scanning based on pixel similarity and method therefor
CN101389021B (zh) 2007-09-14 2010-12-22 华为技术有限公司 视频编解码方法及装置
KR101379187B1 (ko) * 2008-06-23 2014-04-15 에스케이 텔레콤주식회사 블록 변환을 이용한 인트라 예측 방법 및 장치와 그를이용한 영상 부호화/복호화 방법 및 장치
JP5093349B2 (ja) 2008-06-27 2012-12-12 富士通株式会社 画像圧縮装置及び画像復元装置
JP2012089905A (ja) * 2009-01-13 2012-05-10 Hitachi Ltd 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法
KR101457894B1 (ko) * 2009-10-28 2014-11-05 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
US20110110416A1 (en) * 2009-11-12 2011-05-12 Bally Gaming, Inc. Video Codec System and Method
CN102939750B (zh) * 2010-04-13 2016-07-06 Ge视频压缩有限责任公司 跨平面预测
CN106454370B (zh) * 2010-04-13 2019-11-01 Ge视频压缩有限责任公司 解码器、重建数组的方法、编码器、编码方法及数据流
CN107257484B (zh) * 2010-08-11 2020-05-12 Ge视频压缩有限责任公司 解码器、编码器、用于解码的方法和用于编码的方法
CN102595113B (zh) * 2011-01-13 2014-06-04 华为技术有限公司 一种变换系数块的扫描方法、装置和系统
JP6094973B2 (ja) * 2011-05-20 2017-03-15 サン パテント トラスト 色平面内予測を用いて映像を符号化および復号する方法および装置
US9894353B2 (en) * 2011-06-13 2018-02-13 Sun Patent Trust Method and apparatus for encoding and decoding video using intra prediction mode dependent adaptive quantization matrix
PL409214A1 (pl) * 2011-11-08 2015-07-20 Kt Corporation Sposób i urządzenie do skanowania współczynników na podstawie trybu podziału jednostki predykcji
TWI679877B (zh) * 2011-12-13 2019-12-11 日商Jvc建伍股份有限公司 動態影像編碼裝置、動態影像編碼方法、及儲存有動態影像編碼程式之記錄媒體
TWI685249B (zh) * 2011-12-21 2020-02-11 日商Jvc建伍股份有限公司 動態影像編碼裝置、動態影像編碼方法、及儲存有動態影像編碼程式之記錄媒體
WO2013145642A1 (ja) * 2012-03-28 2013-10-03 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム、並びに画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法及び受信プログラム
US10334259B2 (en) * 2012-12-07 2019-06-25 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
US9544566B2 (en) * 2012-12-14 2017-01-10 Qualcomm Incorporated Disparity vector derivation
CN111800640B (zh) 2013-06-13 2023-11-10 上海天荷电子信息有限公司 方向交替变换来回扫描串匹配的图像编码解码方法和装置
US9558567B2 (en) * 2013-07-12 2017-01-31 Qualcomm Incorporated Palette prediction in palette-based video coding
US9451254B2 (en) * 2013-07-19 2016-09-20 Qualcomm Incorporated Disabling intra prediction filtering
US9756347B2 (en) * 2013-07-23 2017-09-05 Futurewei Technologies, Inc. Screen content coding systems and methods
CN104378644B (zh) * 2013-08-16 2020-12-04 上海天荷电子信息有限公司 定宽度变长度像素样值串匹配增强的图像压缩方法和装置
GB2521117B (en) * 2013-10-25 2017-02-15 Canon Kk Method of encoding or decoding a video frame
CN104754361B (zh) * 2013-12-28 2018-01-23 同济大学 图像编码、解码方法及装置
US11284103B2 (en) * 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10542274B2 (en) * 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
US10687064B2 (en) * 2014-08-04 2020-06-16 Qualcomm Incorporated Palette mode encoding and decoding with inferred pixel scan order
AU2014216056A1 (en) * 2014-08-25 2016-03-10 Canon Kabushiki Kaisha Method, apparatus and system for predicting a block of video samples
WO2016070845A1 (en) * 2014-11-06 2016-05-12 Mediatek Inc. Method for sub-block based palette coding
WO2016074627A1 (en) * 2014-11-12 2016-05-19 Mediatek Inc. Methods of escape pixel coding in index map coding
US9628803B2 (en) * 2014-11-25 2017-04-18 Blackberry Limited Perceptual image and video coding
US9749646B2 (en) * 2015-01-16 2017-08-29 Microsoft Technology Licensing, Llc Encoding/decoding of high chroma resolution details
CN105828080B (zh) * 2015-01-26 2020-02-14 同济大学 图像编解码方法及装置
US9591325B2 (en) * 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
CN105872539B (zh) * 2015-02-08 2020-01-14 同济大学 图像编码方法和装置及图像解码方法和装置
US9826142B2 (en) * 2015-03-17 2017-11-21 Canon Kabushiki Kaisha Image pickup apparatus and method of controlling image pickup apparatus
CN106254888B (zh) * 2015-06-09 2020-06-02 同济大学 一种图像编码及解码方法、图像处理设备
US20160366439A1 (en) * 2015-06-12 2016-12-15 Qualcomm Incorporated Palette copy extension
EP3360329A4 (en) * 2015-11-18 2019-04-10 MediaTek Inc. METHOD AND DEVICE FOR AN INTRAPRADICATION MODE WITH AN INTRAPREDICATION FILTER FOR VIDEO AND IMAGE COMPRESSION
GB2547053B (en) * 2016-02-08 2020-07-08 Canon Kk Methods, devices, and computer programs for combining the use of intra-layer prediction and inter-layer prediction with scalability & screen content features
WO2017184970A1 (en) * 2016-04-22 2017-10-26 Vid Scale, Inc. Prediction systems and methods for video coding based on filtering nearest neighboring pixels
US10560712B2 (en) * 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
KR102575281B1 (ko) * 2016-10-14 2023-09-06 한화비전 주식회사 결함화소 정보 기록장치, 결함화소 보정장치 및 방법
KR101808327B1 (ko) * 2017-03-08 2017-12-13 광운대학교 산학협력단 영상 코덱에서 패딩을 이용한 영상 부/복호화 방법 및 장치
CA3105446C (en) * 2018-07-02 2023-04-11 Huawei Technologies Co., Ltd. Apparatus and method for filtering in video coding
WO2020055288A2 (en) * 2018-09-16 2020-03-19 Huawei Technologies Co., Ltd. Apparatus and method for filtering in video coding with look-up table selected based on bitstream information
US11423642B2 (en) * 2019-03-01 2022-08-23 Tencent America LLC Method and apparatus for point cloud compression
EP3973711A4 (en) * 2019-06-18 2022-08-31 Huawei Technologies Co., Ltd. APPARATUS AND METHOD FOR FILTERING IN VIDEO CODING

Also Published As

Publication number Publication date
EP3255891A1 (en) 2017-12-13
US20180027235A1 (en) 2018-01-25
EP3255891A4 (en) 2018-02-21
KR102532391B1 (ko) 2023-05-15
KR20170128282A (ko) 2017-11-22
US10750180B2 (en) 2020-08-18
JP2018509069A (ja) 2018-03-29
CN105872539B (zh) 2020-01-14
CN105872539A (zh) 2016-08-17
US20200344479A1 (en) 2020-10-29
EP4164226A1 (en) 2023-04-12
US11431977B2 (en) 2022-08-30

Similar Documents

Publication Publication Date Title
JP6794364B2 (ja) 画像符号化方法及び装置並びに画像復号方法及び装置
WO2015120823A1 (zh) 使用多种形式的参考像素存储空间的图像压缩方法和装置
CN105491376B (zh) 图像编码、解码方法及装置
CN104754362B (zh) 使用精细划分块匹配的图像压缩方法
US11917168B2 (en) Image encoding and decoding methods, image processing device, and computer storage medium
CN105847842B (zh) 图像编码方法及装置、图像解码方法及装置
US11653019B2 (en) Image coding and decoding methods, image processing device and computer storage medium
EP3310059B1 (en) Image encoding and decoding method, image processing device, and computer storage medium
CN105992003B (zh) 依据排序或频度对调色板颜色编号的图像压缩方法和装置
WO2016202189A1 (zh) 图像编码及解码方法、图像处理设备、计算机存储介质
CN106303535B (zh) 参考像素取自不同程度重构像素的图像压缩方法和装置
CN106303534B (zh) 多种索引串与像素串融合复制方式的图像压缩方法和装置
WO2016197893A1 (zh) 图像编码及解码方法、图像处理设备、计算机存储介质
WO2016124154A1 (zh) 图像编码方法和装置及图像解码方法和装置
CN105828080B (zh) 图像编解码方法及装置
CN105828079B (zh) 图像处理方法及装置
CN115190316A (zh) 封存和激活越界等值串常现位置的数据编解码方法及装置
WO2016119666A1 (zh) 图像编解码方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171011

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201020

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201111

R150 Certificate of patent or registration of utility model

Ref document number: 6794364

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250