JP5884313B2 - 画像処理装置、画像処理方法、プログラム及び記録媒体 - Google Patents
画像処理装置、画像処理方法、プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP5884313B2 JP5884313B2 JP2011142897A JP2011142897A JP5884313B2 JP 5884313 B2 JP5884313 B2 JP 5884313B2 JP 2011142897 A JP2011142897 A JP 2011142897A JP 2011142897 A JP2011142897 A JP 2011142897A JP 5884313 B2 JP5884313 B2 JP 5884313B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- line
- determination
- image
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
1.装置の概要
1−1.画像符号化装置
1−2.画像復号装置
2.既存の手法の説明
3.第1の実施例
3−1.デブロックフィルタの構成例
3−2.処理の流れ
4.第2の実施例
4−1.デブロックフィルタの構成例
4−2.処理の流れ
5.第3の実施例
5−1.デブロックフィルタの構成例
5−2.処理の流れ
6.応用例
7.まとめ
まず、図1及び図2を用いて、本明細書で開示する技術を適用可能な一例としての装置の概要を説明する。本明細書で開示する技術は、例えば、画像符号化装置及び画像復号装置に適用可能である。
図1は、一実施形態に係る画像符号化装置10の構成の一例を示すブロック図である。図1を参照すると、画像符号化装置10は、A/D(Analogue to Digital)変換部11、並べ替えバッファ12、減算部13、直交変換部14、量子化部15、可逆符号化部16、蓄積バッファ17、レート制御部18、逆量子化部21、逆直交変換部22、加算部23、デブロックフィルタ24a、フレームメモリ25、セレクタ26、イントラ予測部30、動き探索部40、及びモード選択部50を備える。
図2は、一実施形態に係る画像復号装置60の構成の一例を示すブロック図である。図2を参照すると、画像復号装置60は、蓄積バッファ61、可逆復号部62、逆量子化部63、逆直交変換部64、加算部65、デブロックフィルタ24b、並べ替えバッファ67、D/A(Digital to Analogue)変換部68、フレームメモリ69、セレクタ70及び71、イントラ予測部80、並びに動き補償部90を備える。
一般的に、H.264/AVC又はHEVCなどの既存の画像符号化方式におけるデブロックフィルタによる処理は、フィルタリング要否判定処理及びフィルタリング処理という2種類の処理を含む。以下、HEVCを例にとって、これら2つの処理について説明する。
フィルタリング要否判定処理は、入力画像内のブロックの境界ごとにデブロックフィルタを適用すべきか否かを判定する処理である。ブロックの境界は、左右に隣接するブロック間の垂直境界と、上下に隣接するブロック間の水平境界とを含む。JCTVC−A119では、8×8画素のブロックサイズが最小の処理単位である。例えば、16×16画素のマクロブロック内には4つの8×8画素のブロックが存在し、ブロックごとに1つの(左の)垂直境界及び1つの(上の)水平境界、即ち合計で4+4=8個の境界が判定の対象となる。なお、本明細書において、マクロブロックとの用語は、HEVCの文脈における符号化単位(CU:Coding Unit)をも含むものとする。
−条件A:
(A1)ブロックBa若しくはBbがイントラ予測モードである;
(A2)ブロックBa若しくはBbが非ゼロの直交変換係数を有する;又は
(A3)|MVAx−MVBx|≧4若しくは|MVAy−MVBy|≧4
−条件B:
|p22−2p12+p02|+|q22−2q12+q02|+|p25−2p15+p05|+|q25−2q15+q05|<β
−条件A1:ブロックBa又はBbがイントラ予測モードである
ある境界についてデブロックフィルタを適用すべきと判定されると、垂直境界については当該境界の左右の画素、水平境界については当該境界の上下の画素に、フィルタリング処理が行われる。輝度成分については、画素値に応じてフィルタ強度が強(strong)フィルタと弱(weak)フィルタとの間で切り替えられ得る。
−強度選択・・・1行ごと(又は1列ごと)にフィルタ強度を選択。以下の条件C1〜C3が全て満たされる場合には強フィルタ、いずれか1つでも満たされない場合には弱フィルタが選択される:
(C1)d<(β>>2)
(C2)(|p3j−p0j|+|q0j−q3j|)<(β>>3)
(C3)|p0j−q0j|<((5tC+1)>>1)
ここで、jは、垂直境界については行、水平境界については列のインデックスである。また、d=|p22−2p12+p02|+|q22−2q12+q02|+|p25−2p15+p05|+|q25−2q15+q05|である。
Δ=Clip(−tC,tC,(13(q0j−p0j)+4(q1j−p1j)−5(q2j−p2j)+16)>>5))
p0j=Clip0−255(p0j+Δ)
q0j=Clip0−255(q0j−Δ)
p1j=Clip0−255(p1j+Δ/2)
q1j=Clip0−255(q1j−Δ/2)
p0j=Clip0−255((p2j+2p1j+2p0j+2q0j+q1j+4)>>3)
q0j=Clip0−255((p1j+2p0j+2q0j+2q1j+q2j+4)>>3)
p1j=Clip0−255((p2j+p1j+p0j+q0j+2)>>2)
q1j=Clip0−255((p0j+q0j+q1j+q2j+2)>>2)
p2j=Clip0−255((2p3j+3p2j+p1j+p0j+q0j+4)>>3)
q2j=Clip0−255((p0j+q0j+q1j+3q2j+2q3j+4)>>3)
Δ=Clip(−tC,tC,((((q0j−p0j)<<2)+p1j−q1j+4)>>3))
p0j=Clip0−255(p0j+Δ)
q0j=Clip0−255(q0j−Δ)
[3−1.デブロックフィルタの構成例]
本節では、図1に示した画像符号化装置10のデブロックフィルタ24a及び図2に示した画像復号装置60のデブロックフィルタ24bの第1の実施例に係る構成の一例を説明する。なお、デブロックフィルタ24a及びデブロックフィルタ24bの構成は、共通であってよい。従って、これ以降の説明では、特に両者を区別する必要が無い場合には、デブロックフィルタ24a及びデブロックフィルタ24bをデブロックフィルタ24と総称する。
ブロック判定部110は、ライン判定部120によるライン単位の判定の前段階の処理として、ブロック単位の判定条件についての判定を行う。ブロック単位の判定条件とは、典型的には、境界を挟む2つの隣接ブロックの変換係数及び符号化パラメータの少なくとも1つに基づく条件である。変換係数とは、例えば、直交変換係数であってよい。また、符号化パラメータとは、例えば、予測モード及び動きベクトルの一方又は双方であってよい。ブロック単位の判定条件は、例えば、上述した既存の手法における、輝度成分の判定条件のうちの判定条件A及び色差成分の判定条件A1であってよい。
−条件A:
(A1)ブロックBa若しくはBbがイントラ予測モードである;
(A2)ブロックBa若しくはBbが非ゼロの直交変換係数を有する;又は
(A3)|MVAx−MVBx|≧4若しくは|MVAy−MVBy|≧4
そして、ブロック判定部110は、条件Aを満たす境界について、ライン判定部120にさらにライン単位での判定を行わせる。一方、ブロック判定部110は、条件Aを満たさない境界について、ライン判定部120によるライン単位での判定をスキップさせる。
−条件A1:ブロックBa又はBbがイントラ予測モードである
色差成分については、ライン判定部120によるライン単位での判定は行われなくてよい。この場合、条件A1を満たす境界については、当該境界の全てのラインの色差成分がフィルタリング部140によりフィルタリングされる。条件A1を満たさない境界については、当該境界の全てのラインの色差成分は、フィルタリングされない。
ライン判定部120は、各境界と直交するラインごとに、当該境界を挟んで隣接する2つの隣接ブロックを対象としてデブロックフィルタを適用するか否かを判定する。ライン単位の判定条件は、例えば、次の判定条件B´であってよい。
−条件B´:
d=|p2i−2p1i+p0i|+|q2i−2q1i+q0i|
とした場合に、
d<(β>>1)
ここで、dは判定用パラメータ、βは上述したエッジ判定閾値である。また、iはラインのインデックスである。各ブロックのサイズが8×8画素であれば、iは、0≦i≦7の整数である。
強度選択部130は、フィルタリング部140により各ラインに適用されるデブロックフィルタの強度をラインごとに選択する。より具体的には、強度選択部130は、ライン判定部120によりデブロックフィルタを適用すべきと判定された各ラインについて、次のようにフィルタの強度を選択する:
−強度選択・・・ラインごとにフィルタ強度を選択。以下の条件C1´〜C3が全て満たされる場合には強フィルタ、いずれか1つでも満たされない場合には弱フィルタが選択される:
(C1´)d<(β>>3)
(C2)(|p3i−p0i|+|q0i−q3i|)<(β>>3)
(C3)|p0i−q0i|<((5tC+1)>>1)
ここで、dは、上述した条件B´の判定において算出される判定用パラメータである。なお、このようなフィルタ強度の選択は、輝度成分のみについて行われ得る。そして、強度選択部130は、選択したフィルタ強度を表す情報(例えば、強フィルタ及び弱フィルタのいずれかを表すフラグ)を、ラインごとにフィルタリング部140へ出力する。
フィルタリング部140は、ブロック判定部110及びライン判定部120による判定結果に応じて、各境界を挟んで隣接する2つの隣接ブロックの各ラインにデブロックフィルタを適用する。フィルタリング部140のフィルタの構成は、上述した既存の手法と同様であってよい。例えば、フィルタリング部140は、ライン判定部120によりデブロックフィルタを適用すべきと判定された各ラインについて、次のようにフィルタリング後の画素値を算出する。
−弱フィルタが選択された場合:
Δ=Clip(−tC,tC,(13(q0i−p0i)+4(q1i−p1i)−5(q2i−p2i)+16)>>5))
p0i=Clip0−255(p0i+Δ)
q0i=Clip0−255(q0i−Δ)
p1i=Clip0−255(p1i+Δ/2)
q1i=Clip0−255(q1i−Δ/2)
p0i=Clip0−255((p2i+2p1i+2p0i+2q0i+q1i+4)>>3)
q0i=Clip0−255((p1i+2p0i+2q0i+2q1i+q2i+4)>>3)
p1i=Clip0−255((p2i+p1i+p0i+q0i+2)>>2)
q1i=Clip0−255((p0i+q0i+q1i+q2i+2)>>2)
p2i=Clip0−255((2p3i+3p2i+p1i+p0i+q0i+4)>>3)
q2i=Clip0−255((p0i+q0i+q1i+3q2i+2q3i+4)>>3)
Δ=Clip(−tC,tC,((((q0i−p0i)<<2)+p1i−q1i+4)>>3))
p0i=Clip0−255(p0i+Δ)
q0i=Clip0−255(q0i−Δ)
判定制御部150は、ブロック判定部110及びライン判定部120によるデブロックフィルタの適用の要否の判定を制御する。例えば、判定制御部150は、ブロック判定部110により隣接ブロックの変換係数又は符号化パラメータに基づいてデブロックフィルタを適用しないと判定される境界を対象として、ライン判定部120にラインごとの判定をスキップさせる。
図7は、第1の実施例に係るデブロックフィルタ24による処理の流れの一例を示すフローチャートである。図7のステップS102からステップS112までの処理は、入力画像内の全ての境界(垂直境界及び水平境界を含む)の各々について繰り返される。
[4−1.デブロックフィルタの構成例]
図8は、第2の実施例に係るデブロックフィルタ24の詳細な構成の一例を示すブロック図である。図8を参照すると、デブロックフィルタ24は、ブロック判定部110、ライン判定セクション220、強度選択セクション230、フィルタリングセクション240及び判定制御部150を有する。
ライン判定セクション220による処理は、ブロック判定部110においてブロック単位の判定条件を満たすと判定された境界の各々について行われ得る。ライン判定セクション220は、複数のライン判定部222−1〜222−nを含む。各ブロックのサイズが8×8画素である場合には、n=8であってよい(n=2又はn=4などであってもよい)。ある1つの境界についてのライン判定部222−1〜222−nによる処理は、並列的に行われ得る。
強度選択セクション230は、複数の強度選択部232−1〜232−nを含む。各強度選択部232は、対応するラインに適用されるデブロックフィルタの強度を、例えば上述した条件C1´〜C3に従って選択する。そして、各強度選択部232は、選択したフィルタ強度を表す情報(例えば、強フィルタ及び弱フィルタのいずれかを表すフラグ)を、フィルタリングセクション240の対応するフィルタリング部242へ出力する。ある1つの境界についての強度選択部232−1〜232−nによる処理は、並列的に行われ得る。
フィルタリングセクション240は、複数のフィルタリング部242−1〜242−nを含む。各フィルタリング部242は、ブロック判定部110及び対応するライン判定部222による判定結果に応じて、各境界を挟んで隣接する2つの隣接ブロックの対応するラインにデブロックフィルタを適用する。各フィルタリング部242のフィルタの構成は、上述した既存の手法と同様であってよい。そして、各フィルタリング部242は、フィルタを適用した画素についてはフィルタリング後の画素値、その他の画素については入力画像の画素値を、出力画像の画素値として出力する。ある1つの境界についてのフィルタリング部242−1〜242−nによる処理は、並列的に行われ得る。
図9は、第2の実施例に係るデブロックフィルタ24による処理の流れの一例を示すフローチャートである。図9のステップS202からステップS212までの処理は、入力画像内の全ての境界(垂直境界及び水平境界を含む)の各々について繰り返される。
[5−1.デブロックフィルタの構成例]
上述した第1及び第2の実施例では、各ラインへのデブロックフィルタの適用の要否が、当該ライン(即ち、判定対象の各ライン)に属する参照画素値から算出されるパラメータ値を判定用閾値と比較することにより判定される。これに対し、本節で説明する第3の実施例では、パラメータ値の計算の繰り返しに伴う処理コストを低減するために、パラメータ値の推定の考え方が導入される。本実施例では、フィルタ強度の選択もまた、推定されるパラメータ値を用いて行われ得る。
パラメータ推定部360は、ライン判定部320によるライン単位の判定の際に使用される判定用パラメータのうち、各境界と直交する少なくとも1つのラインについての判定用パラメータの値を計算する。そして、パラメータ推定部360は、上記少なくとも1つのラインについて計算した値から、他のラインについての判定用パラメータの値を推定する。また、パラメータ推定部360は、強度選択部330によるフィルタ強度の選択の際に使用される強度選択用パラメータの値を、判定用パラメータと同様に計算し及び推定する。以下の説明において、他のラインについてのパラメータ値の推定の基礎となる上記少なくとも1つのラインを基本ライン、パラメータ値が推定されるラインを推定ラインという。基本ラインから推定ラインへのパラメータ値の推定は、例えば、ライン位置に応じた線型又は非線形の内挿又は外挿によって行われてよい。以下、図11A〜図11Cを用いて、パラメータ推定部360によるパラメータ推定処理の3つの例を説明する。
図11Aを参照すると、境界を挟んで隣接する2つのブロックBa及びBbが示されている。図11Aの例において、基本ラインは、境界の中央部分で当該境界と直交する2つのラインL3及びL4である。推定ラインは、基本ライン以外のラインL0、L1、L2、L5、L6及びL7である。
d1i=|p2i−2p1i+p0i|+|q2i−2q1i+q0i|
そして、パラメータ推定部360は、計算した2つの判定用パラメータd13及びd14の値を用いて、例えば次の推定式に従って推定ラインについての判定用パラメータd1j(jは0〜2、5〜7)を推定する。
d10=4d13−3d14
d11=3d13−2d14
d12=2d13−1d14
d15=2d14−1d13
d16=3d14−2d13
d17=4d14−3d13
なお、上記推定式に従って推定される推定値が負となる推定ラインについては、負の推定値の代わりに、当該推定ラインにより近い基本ラインについて計算されたパラメータ値が、そのまま推定値として扱われてもよい。
d2i=|p3i−p0i|+|q0j−q3j|
d3i=|p0i−q0i|
そして、パラメータ推定部360は、計算した強度選択用パラメータd23及びd24の値を用いて、各推定ラインについてのパラメータ値d2j(jは0〜2、5〜7)を推定する。また、パラメータ推定部360は、計算した強度選択用パラメータd33及びd34の値を用いて、各推定ラインについてのパラメータ値d3j(jは0〜2、5〜7)を推定する。
図11Bの例において、基本ラインは、1ラインおきに設定されるラインL0、L2、L4及びL6である。推定ラインは、基本ライン以外のラインL1、L3、L5及びL7である。
図11Cの例において、基本ラインは、ラインL0、L3、L4及びL7である。推定ラインは、基本ライン以外のラインL1、L2、L5及びL6である。
ライン判定部320は、各境界と直交するラインごとに、当該境界を挟んで隣接する2つの隣接ブロックを対象としてデブロックフィルタを適用するか否かを判定する。本実施例において、ライン判定部320による判定は、パラメータ推定部360により計算され又は推定された判定用パラメータを用いて行われる。ライン単位の判定条件は、上述した判定条件B´と同様の条件であってよい。
−条件B´:
d1i<(β>>1)
各ブロックのサイズが8×8画素であれば、iは、0≦i≦7の整数である。
強度選択部330は、フィルタリング部140により各ラインに適用されるデブロックフィルタの強度をラインごとに選択する。本実施例において、強度選択部330による強度選択は、パラメータ推定部360により計算され又は推定された強度選択用パラメータを用いて行われる。強度選択部330は、例えば、各ラインについて、以下の条件C1´〜C3が全て満たされる場合には強フィルタ、いずれか1つでも満たされない場合には弱フィルタを選択する。
(C1´)d1i<(β>>3)
(C2) d2i<(β>>3)
(C3) d3i<((5tC+1)>>1)
なお、条件C1´から理解されるように、上述した判定用パラメータd1iは、この場合には強度選択用パラメータでもある。
制御部350は、第1及び第2の実施例の判定制御部150に関連して説明した制御に加えて、パラメータ推定部360によるパラメータ推定処理を制御する。例えば、制御部350は、処理対象のラインのライン位置を認識し、各ラインが基本ラインであるか推定ラインであるかを識別する。そして、制御部350は、まず、基本ラインの判定用パラメータd1並びに基本ラインの強度選択用パラメータd2及びd3の値を、当該基本ラインの画素値からそれぞれパラメータ推定部360に計算させる。その後、制御部350は、推定ラインの判定用パラメータd1並びに推定ラインの強度選択用パラメータd2及びd3の値を、基本ラインについて計算したパラメータ値からそれぞれパラメータ推定部360に推定させる。
図12は、第3の実施例に係るデブロックフィルタ24による処理の流れの一例を示すフローチャートである。図12のステップS302からステップS318までの処理は、入力画像内の全ての境界(垂直境界及び水平境界を含む)の各々について繰り返される。
上述した実施形態に係る画像符号化装置10及び画像復号装置60は、衛星放送、ケーブルTVなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、4つの応用例について説明する。
図13は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置900は、アンテナ901、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、表示部906、音声信号処理部907、スピーカ908、外部インタフェース909、制御部910、ユーザインタフェース911、及びバス912を備える。
図14は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機920は、アンテナ921、通信部922、音声コーデック923、スピーカ924、マイクロホン925、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、制御部931、操作部932、及びバス933を備える。
図15は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置940は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置940は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置940は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置940は、音声データ及び映像データを復号する。
図16は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置960は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
ここまで、図1〜図16を用いて、一実施形態に係る画像符号化装置10及び画像復号装置60のデブロックフィルタのいくつかの実施例について詳しく説明した。これら実施例によれば、画像内で境界を挟んで互いに隣接する2つの隣接ブロックを対象としてデブロックフィルタを適用するか否かがラインごとに判定され、その判定結果に応じて各ラインにデブロックフィルタが適用される。従って、ブロックごとにデブロックフィルタの適用の要否が判定される場合と比較して、より小さい粒度での判定が可能となる。それにより、良好な画質を既に有する部分にデブロックフィルタが適用される可能性、及び劣化した画質を有する部分にデブロックフィルタが適用されない可能性が低減される。即ち、フィルタリング後の画質を向上させることができる。
120,222−1〜n,320 ライン判定部
130,232−1〜n,330 強度選択部
140,242−1〜n フィルタリング部
150,350 制御部
360 パラメータ推定部
Claims (4)
- 符号化ストリームを復号して画像を生成する復号部と、
前記復号部により生成された前記画像内で境界を挟んで互いに隣接する各々8×8の隣接ブロック内の前記境界と直交する0番目から7番目までの8つのラインに属する画素にデブロックフィルタを適用するかを、当該隣接ブロックの0番目、3番目、4番目及び7番目のラインに属する画素を用いて判定する判定部と、
前記判定部によりデブロックフィルタを適用すると判定された画素にデブロックフィルタを適用するフィルタリング部と、
を備える画像処理装置。 - 符号化ストリームを復号して画像を生成することと、
生成された前記画像内で境界を挟んで互いに隣接する各々8×8の隣接ブロック内の前記境界と直交する0番目から7番目までの8つのラインに属する画素にデブロックフィルタを適用するかを、当該隣接ブロックの0番目、3番目、4番目及び7番目のラインに属する画素を用いて判定することと、
デブロックフィルタを適用すると判定された画素にデブロックフィルタを適用することと、
を含む画像処理方法。 - 画像処理装置を制御するプロセッサを、
符号化ストリームを復号して画像を生成する復号部と、
前記復号部により生成された前記画像内で境界を挟んで互いに隣接する各々8×8の隣接ブロック内の前記境界と直交する0番目から7番目までの8つのラインに属する画素にデブロックフィルタを適用するかを、当該隣接ブロックの0番目、3番目、4番目及び7番目のラインに属する画素を用いて判定する判定部と、
前記判定部によりデブロックフィルタを適用すると判定された画素にデブロックフィルタを適用するフィルタリング部と、
として機能させるためのプログラム。 - 請求項3に記載のプログラムを記録したコンピュータ読取可能な記録媒体。
Priority Applications (12)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011142897A JP5884313B2 (ja) | 2011-01-18 | 2011-06-28 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
CN201610255063.0A CN105812811B (zh) | 2011-01-18 | 2011-12-15 | 图像处理装置和图像处理方法 |
CN201611035524.XA CN106658016B (zh) | 2011-01-18 | 2011-12-15 | 图像处理装置和图像处理方法 |
PCT/JP2011/079031 WO2012098790A1 (ja) | 2011-01-18 | 2011-12-15 | 画像処理装置及び画像処理方法 |
CN201180064596.6A CN103329533B (zh) | 2011-01-18 | 2011-12-15 | 图像处理装置和图像处理方法 |
US13/989,091 US10080015B2 (en) | 2011-01-18 | 2011-12-15 | Image processing device and image processing method to apply deblocking filter |
CN201610258267.XA CN105872548B (zh) | 2011-01-18 | 2011-12-15 | 图像处理装置和图像处理方法 |
US16/013,096 US10536694B2 (en) | 2011-01-18 | 2018-06-20 | Image processing device and image processing method to apply deblocking filter |
US16/683,499 US20200084445A1 (en) | 2011-01-18 | 2019-11-14 | Image processing device and image processing method |
US16/683,603 US11245895B2 (en) | 2011-01-18 | 2019-11-14 | Image processing device and image processing method to apply deblocking filter |
US17/645,650 US11770525B2 (en) | 2011-01-18 | 2021-12-22 | Image processing device and image processing method |
US18/364,887 US20230379463A1 (en) | 2011-01-18 | 2023-08-03 | Image processing device and image processing method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011008139 | 2011-01-18 | ||
JP2011008139 | 2011-01-18 | ||
JP2011142897A JP5884313B2 (ja) | 2011-01-18 | 2011-06-28 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016010216A Division JP6037064B2 (ja) | 2011-01-18 | 2016-01-22 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012165354A JP2012165354A (ja) | 2012-08-30 |
JP2012165354A5 JP2012165354A5 (ja) | 2014-07-10 |
JP5884313B2 true JP5884313B2 (ja) | 2016-03-15 |
Family
ID=46515427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011142897A Active JP5884313B2 (ja) | 2011-01-18 | 2011-06-28 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
Country Status (4)
Country | Link |
---|---|
US (6) | US10080015B2 (ja) |
JP (1) | JP5884313B2 (ja) |
CN (4) | CN105812811B (ja) |
WO (1) | WO2012098790A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5884313B2 (ja) | 2011-01-18 | 2016-03-15 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
US9560355B2 (en) * | 2011-02-25 | 2017-01-31 | Sun Patent Trust | Efficient decisions for deblocking |
TWI514852B (zh) | 2011-09-09 | 2015-12-21 | Panasonic Ip Corp America | 低複雜解區塊濾波器決策技術 |
TWI632808B (zh) * | 2012-04-06 | 2018-08-11 | 新力股份有限公司 | Image processing device and method |
US9973784B2 (en) * | 2012-09-20 | 2018-05-15 | Sony Corporation | Image processing device and method |
US10291932B2 (en) | 2015-03-06 | 2019-05-14 | Qualcomm Incorporated | Method and apparatus for low complexity quarter pel generation in motion search |
KR102233887B1 (ko) * | 2016-12-27 | 2021-03-29 | 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 | 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법 |
WO2020085278A1 (ja) | 2018-10-22 | 2020-04-30 | 日本放送協会 | 符号化装置、復号装置、及びプログラム |
WO2020175146A1 (ja) * | 2019-02-27 | 2020-09-03 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
AU2020229625A1 (en) * | 2019-02-27 | 2021-10-07 | Telefonaktiebolaget Lm Ericsson (Publ) | Deblocking using sub-pel motion vector threshold |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04180381A (ja) * | 1990-11-14 | 1992-06-26 | Matsushita Electric Ind Co Ltd | 画像信号の復号化装置 |
JPH0965336A (ja) * | 1995-08-24 | 1997-03-07 | Graphics Commun Lab:Kk | フィルタ装置 |
JP3734121B2 (ja) | 1997-08-19 | 2006-01-11 | 株式会社リコー | ベルト駆動装置およびベルト定着装置 |
AUPP444898A0 (en) * | 1998-07-02 | 1998-07-23 | Canon Kabushiki Kaisha | A method and apparatus for boundary filtering a digital image |
US7319415B2 (en) * | 2002-05-01 | 2008-01-15 | Thomson Licensing | Chroma deblocking filter |
JP4270125B2 (ja) * | 2004-12-16 | 2009-05-27 | ソニー株式会社 | データ処理装置、画像処理装置、それらの方法およびプログラム |
JP4455487B2 (ja) * | 2005-12-16 | 2010-04-21 | 株式会社東芝 | 復号化装置及び復号化方法及びプログラム |
US20080123750A1 (en) * | 2006-11-29 | 2008-05-29 | Michael Bronstein | Parallel deblocking filter for H.264 video codec |
US8204129B2 (en) | 2007-03-27 | 2012-06-19 | Freescale Semiconductor, Inc. | Simplified deblock filtering for reduced memory access and computational complexity |
CN100571391C (zh) * | 2007-05-09 | 2009-12-16 | 安凯(广州)软件技术有限公司 | 用于视频编解码系统中解块滤波的并行处理方法 |
CN101170701B (zh) * | 2007-11-16 | 2010-10-27 | 四川虹微技术有限公司 | 视频编解码系统中去块滤波方法及装置 |
CN101212665B (zh) * | 2007-12-25 | 2012-01-25 | 海信集团有限公司 | 一种环路滤波方法 |
CN101267560A (zh) * | 2008-03-19 | 2008-09-17 | 浙江大学 | 去块滤波方法及装置 |
CN101540900A (zh) * | 2008-03-20 | 2009-09-23 | 矽统科技股份有限公司 | 降低视频流中的区块效应的方法 |
JP5360430B2 (ja) | 2008-03-31 | 2013-12-04 | 日本電気株式会社 | デブロッキングフィルタ処理装置、デブロッキングフィルタ処理方法 |
CN101330615B (zh) | 2008-06-23 | 2011-10-12 | 青岛海信数字多媒体技术国家重点实验室有限公司 | 一种环路滤波方法 |
WO2010035403A1 (ja) * | 2008-09-25 | 2010-04-01 | パナソニック株式会社 | フィルタ装置およびフィルタ方法 |
JP2010081539A (ja) * | 2008-09-29 | 2010-04-08 | Victor Co Of Japan Ltd | 動画像符号化装置および動画像符号化プログラム |
KR101260157B1 (ko) * | 2009-02-13 | 2013-05-06 | 리서치 인 모션 리미티드 | 인트라코딩된 이미지 또는 프레임에 대한 인루프 디블로킹 |
CN102860005B (zh) * | 2010-02-05 | 2016-07-06 | 瑞典爱立信有限公司 | 去块滤波控制 |
BR112013006832A2 (pt) | 2010-09-28 | 2017-05-23 | Samsung Electronics Co Ltd | método de filtragem adaptativa, e aparelho de filtragem adaptativa |
EP3748964A1 (en) | 2010-12-07 | 2020-12-09 | Sony Corporation | Image processing device and image processing method |
EP3582497A1 (en) | 2010-12-07 | 2019-12-18 | Sony Corporation | Image processing device and image processing method |
EP2664139A2 (en) * | 2011-01-14 | 2013-11-20 | Telefonaktiebolaget LM Ericsson (PUBL) | A method for deblocking filter control and a deblocking filtering control device |
CN103299632B (zh) * | 2011-01-14 | 2017-02-22 | 瑞典爱立信有限公司 | 去块效应滤波方法及去块效应滤波器单元 |
JP5884313B2 (ja) | 2011-01-18 | 2016-03-15 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
US9560355B2 (en) | 2011-02-25 | 2017-01-31 | Sun Patent Trust | Efficient decisions for deblocking |
US9729879B2 (en) * | 2011-03-10 | 2017-08-08 | Hfi Innovation Inc. | Method and apparatus of deblocking filter |
TWI514852B (zh) | 2011-09-09 | 2015-12-21 | Panasonic Ip Corp America | 低複雜解區塊濾波器決策技術 |
-
2011
- 2011-06-28 JP JP2011142897A patent/JP5884313B2/ja active Active
- 2011-12-15 CN CN201610255063.0A patent/CN105812811B/zh active Active
- 2011-12-15 CN CN201180064596.6A patent/CN103329533B/zh active Active
- 2011-12-15 CN CN201610258267.XA patent/CN105872548B/zh active Active
- 2011-12-15 US US13/989,091 patent/US10080015B2/en active Active
- 2011-12-15 WO PCT/JP2011/079031 patent/WO2012098790A1/ja active Application Filing
- 2011-12-15 CN CN201611035524.XA patent/CN106658016B/zh active Active
-
2018
- 2018-06-20 US US16/013,096 patent/US10536694B2/en active Active
-
2019
- 2019-11-14 US US16/683,499 patent/US20200084445A1/en not_active Abandoned
- 2019-11-14 US US16/683,603 patent/US11245895B2/en active Active
-
2021
- 2021-12-22 US US17/645,650 patent/US11770525B2/en active Active
-
2023
- 2023-08-03 US US18/364,887 patent/US20230379463A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US10080015B2 (en) | 2018-09-18 |
CN106658016B (zh) | 2019-07-23 |
CN105812811A (zh) | 2016-07-27 |
CN105812811B (zh) | 2019-06-18 |
US20200084446A1 (en) | 2020-03-12 |
JP2012165354A (ja) | 2012-08-30 |
CN103329533A (zh) | 2013-09-25 |
US20200084445A1 (en) | 2020-03-12 |
CN103329533B (zh) | 2016-12-21 |
US20180302619A1 (en) | 2018-10-18 |
US11770525B2 (en) | 2023-09-26 |
US20220116599A1 (en) | 2022-04-14 |
US10536694B2 (en) | 2020-01-14 |
US20230379463A1 (en) | 2023-11-23 |
WO2012098790A1 (ja) | 2012-07-26 |
CN105872548B (zh) | 2019-04-12 |
US11245895B2 (en) | 2022-02-08 |
CN106658016A (zh) | 2017-05-10 |
CN105872548A (zh) | 2016-08-17 |
US20130251029A1 (en) | 2013-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10785504B2 (en) | Image processing device and image processing method | |
US10972722B2 (en) | Image processing device and image processing method | |
US10666945B2 (en) | Image processing device and image processing method for decoding a block of an image | |
US20200029075A1 (en) | Image processing device and image processing method | |
JP5884313B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
WO2013047325A1 (ja) | 画像処理装置および方法 | |
JP6217826B2 (ja) | 画像処理装置及び画像処理方法 | |
WO2013001886A1 (ja) | 画像処理装置及び画像処理方法 | |
WO2012124406A1 (ja) | 画像処理装置及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140528 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140528 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150608 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150821 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150908 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160125 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5884313 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |