JP4300839B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents
画像処理装置、画像処理方法および画像処理プログラム Download PDFInfo
- Publication number
- JP4300839B2 JP4300839B2 JP2003083093A JP2003083093A JP4300839B2 JP 4300839 B2 JP4300839 B2 JP 4300839B2 JP 2003083093 A JP2003083093 A JP 2003083093A JP 2003083093 A JP2003083093 A JP 2003083093A JP 4300839 B2 JP4300839 B2 JP 4300839B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- signal shape
- boundary
- distortion
- pixel column
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【発明の属する技術分野】
本発明は、デジタル動画像の画質を改善するための画像処理装置、画像処理方法および画像処理プログラムに関する。
【0002】
【従来の技術】
従来、デジタル動画像の画質を改善するために、フィルタリング処理が施されている(特開2002−077909号公報参照)。
デジタル動画像には種々の形式が規定されているが、MPEG(Moving Picture Experts Group)形式の動画像においては、従来、画質改善のためにVM(Verification Model)に規定されているポストフィルタが用いられている。
【0003】
さらに、VMに規定されるポストフィルタとしては、ブロック歪みを低減するためのデブロッキングフィルタおよびリンギングを低減するためのデリンギングフィルタが知られている。
なお、ブロック歪みとは、動画像を符号化する際に所定サイズのブロック単位で処理することに起因するノイズである。ブロック歪みは、空間的に輝度の変化の小さいブロック境界や、エッジを含むブロックと平坦なブロックとのブロック境界および時間的に変化の大きいブロック境界において、より目立ちやすいという特徴を有する。
【0004】
また、リンギングとは、符号化により高周波成分の波が失われ、それに起因して、失われた高周波成分の逆相の波が、画像の平坦部分に現れることによるノイズである。リンギングは、時間的に動きを伴うエッジの周辺や、空間的なエッジの周辺において、より目立ちやすいという特徴を有する。
ところで、上述のデブロッキングフィルタにおいては、2つのモードが用意されており、その1つは、ブロック歪みの低減に比重を置くDCオフセットモード、他は、原信号の保存に比重を置くデフォルトモードである。そして、デブロッキングフィルタによるフィルタリング処理においては、DCオフセットモードおよびデフォルトモードのいずれかが、ブロックの境界を構成する画素の内容に応じて選択して用いられている。
【0005】
具体的には、ブロック境界が滑らかな変化を呈しており、ブロック境界を構成する画素(ブロック境界に隣接する2つの画素)の間に大きな変化がない場合には、DCオフセットモードが選択され、ブロック境界を挟む一定の範囲(9画素×1画素の領域)に渡って平滑化される。
これは、ブロック境界が滑らかに変化していることから、ブロック境界の一定範囲に渡りフィルタリング処理を施したとしても、信号の劣化が少なく、また、ブロック境界を構成する画素についてのみフィルタリング処理を施すと、ブロック歪みが目立ち易いためである。
【0006】
一方、ブロック境界が一定の変化を呈しており、ブロック境界を構成する画素に比較的大きな変化がある場合、デフォルトモードが選択され、ブロック境界を構成する画素のみについて平滑化される。
これは、ブロック境界が一定の変化を呈することから、ブロック歪みが目立ち難く、また、フィルタリング処理を施す画素を出来る限り限定することにより、画像本来の情報が保存されるためである。
【0007】
また、デリンギングフィルタは、リンギングがエッジ周辺に発生することから、エッジ検出を行い、検出されたエッジの周辺に対して荷重平均値フィルタを適用するものである。
そして、エッジ検出の際には、ブロック内の信号の平均値を用いてエッジを判定し、その後、所定の荷重を与えられた荷重平均値フィルタによる処理が行われる。
【0008】
【特許文献1】
特開2002−077909号公報
【0009】
【発明が解決しようとする課題】
しかしながら、上述したデブロッキングフィルタのデフォルトモードにおいては、ブロック境界が一定の変化を呈することから、画像本来の情報を保存することが望ましく、さらに、ブロック歪みを十分に低減させることが必要である。にもかかわらず、デフォルトモードにおいては、ブロック境界を構成する画素のみにフィルタリング処理を施すことから、ブロック歪みが十分に低減されないという問題があった。また、ブロック境界を構成する画素が、符号化における量子化パラメータ以上の差を有するものである場合、デフォルトモードにおいては、フィルタリング処理が施されないという問題があった。
【0010】
また、上述したデリンギングフィルタによる処理においては、エッジ検出後に施される荷重平均値フィルタの荷重が、固定的に定められた値のものであることから、エッジ検出の精度によっては、エッジを含む大振幅の信号(画像の大きな変化)を平滑化し、輪郭をぼやけさせてしまうという問題があった。
本発明の課題は、動画像の画質をより効果的に改善することである。
【0011】
【課題を解決するための手段】
以上の課題を解決するため、本発明に係る画像処理装置は、複数ブロックに区分された動画像データのブロック境界を挟んで、該ブロック境界と交差する方向に配列された画素列について、ブロック歪みを低減させるデブロッキングフィルタ処理を含む歪み低減処理を施す画像処理装置であって、前記ブロック境界を構成する2つのブロックそれぞれに含まれる画素列(例えば、図1に示す画素列(xl,xr))において、前記ブロック境界を挟む所定の画素を構成する周波数成分のうち、非零となる要素数(例えば、発明の実施の形態における非零要素数Pl,Pr)をそれぞれのブロックに含まれる前記画素列について取得し、取得した非零となる要素数の、より少ないものである最小値の信号形状に基づいて導出される歪みの形状を示すベクトル及びブロックの境界における境界不連続量に基づいて、動画像データから除去するブロック歪み成分(例えば、(3)式における“N”)を推定し、前記ブロック歪みを低減する処理を施すことを特徴としている。
【0012】
上記の画像処理装置は、前記ブロック歪み成分を推定する際に、前記画素列のうち、ブロック境界により近い所定数の画素のみ(例えば、ブロック境界に近い2画素ずつ等)について、所定のブロック歪み成分を推定し、他の画素については、ブロック歪み成分を零であると推定してもよい。
【0013】
上記の画像処理装置は、取得した非零となる要素数の、より大きいものである最大値の信号形状を算出し、処理対象であるブロックに応じた所定条件に基づいて、前記最小値の信号形状あるいは前記最大値の信号形状のいずれかを選択し、選択した信号形状に基づいて、前記ブロック歪み成分を推定してもよい。
【0014】
上記の画像処理装置は、処理対象であるブロックあるいは該ブロックを含むマクロブロックの符号化方法に基づいて、フレーム内符号化が行われているマクロブロックについては前記最大値の信号形状を選択し、フレーム間符号化が行われているマクロブロックについては前記最小値の信号形状を選択してもよい。
また、上記の画像処理装置は処理対象であるブロックが符号化された際に検出された動きベクトルを取得し、該動きベクトルの大きさが所定値より大きく、かつ、処理対象であるブロックの符号化方法がフレーム間符号化である場合にのみ、前記最小値の信号形状を選択してもよい
【0015】
上記の画像処理装置は、処理対象であるブロックにおける動きの量(例えば、処理対象ブロックと、参照されるブロックとの平均BMQ:Block-based Moving Quantity)に基づいて、フレーム間の各ブロックにおける差分絶対値和(BMQ)が所定の値より大きい場合には前記最小値の信号形状を選択し、前記差分絶対値和が所定の値以下の場合には前記最大値の信号形状を選択してもよい。
【0016】
上記の画像処理装置は、処理対象であるブロックのフレームにおける位置(例えば、フレーム内のアドレス)に基づいて、参照されるフレームにおいて同一位置(同一アドレス)にあるブロックを参照し、前記動きの量を検出してもよい。
【0017】
上記の画像処理装置は、処理対象であるブロックが符号化された際に検出された動きベクトルに基づいて、参照されるフレームにおいて動きベクトルが示す位置のブロックを参照し、前記動きの量を検出してもよい。
【0018】
上記の画像処理装置は、処理対象であるブロックが符号化された際に検出された動きベクトルの大きさに基づいて、前記動きの量を検出することをしてもよい。
上記の画像処理装置は、処理対象であるブロックにおける量子化パラメータの大きさに基づいて、前記2つのブロックのうち、より大きい量子化パラメータが所定の値以上である場合には前記最小値の信号形状を選択し、前記量子化パラメータが所定の値より小さい場合には前記最大値の信号形状を選択してもよい。
【0019】
上記の画像処理装置は、前記動画像データに含まれるリンギングを低減する処理において、ε平均値フィルタに基づく処理を施してもよい。
上記の画像処理装置は、処理対象であるブロックに含まれるエッジ検出を行い、検出されたエッジ周辺に対し、前記ε平均値フィルタを施してもよい。
【0020】
本発明に係る画像処理方法は、複数ブロックに区分された動画像データのブロック境界を挟んで、該ブロック境界と交差する方向に配列された画素列について、ブロック歪みを低減させるデブロッキングフィルタ処理を含む歪み低減処理を施すための画像処理方法であって、前記ブロック境界を構成する2つのブロックそれぞれに含まれる画素列において、前記ブロック境界に隣接する所定数の画素を構成する周波数成分のうち、非零となる要素数をそれぞれのブロックに含まれる前記画素列について取得し、取得した非零となる要素数の、より少ないものである最小値の信号形状に基づいて導出される歪みの形状を示すベクトル及びブロックの境界における境界不連続量に基づいて、動画像データから除去するブロック歪み成分を推定し、前記ブロック歪みを低減する処理を施すことを特徴としている。
【0021】
本発明に係る画像処理プログラムは、複数ブロックに区分された動画像データのブロック境界を挟んで、該ブロック境界と交差する方向に配列された画素列について、ブロック歪みを低減させるデブロッキングフィルタ処理を含む歪み低減処理を施すための画像処理プログラムであって、前記ブロック境界を構成する2つのブロックそれぞれに含まれる画素列において、前記ブロック境界に隣接する所定数の画素を構成する周波数成分のうち、非零となる要素数をそれぞれのブロックに含まれる前記画素列について取得し、取得した非零となる要素数の、より少ないものである最小値の信号形状に基づいて導出される歪みの形状を示すベクトル及びブロックの境界における境界不連続量に基づいて、動画像データから除去するブロック歪み成分を推定し、前記ブロック歪みを低減する処理を施す機能をコンピュータに実現させることを特徴としている。
【0022】
本発明によれば、フィルタリングの対象であるブロックのブロック歪み成分を推定する際に、ブロック境界を挟む両側の画素列それぞれにおける周波数成分の非零となる要素数のうち、より少ない非零要素数に基づいて、ブロック歪み成分の推定を行う。
したがって、従来行われているブロック歪み成分の推定(雑音推定)の場合に比べ、ブロック歪みの低減効果を高めることが可能となる。
【0023】
また、ブロック境界を挟む画素列のうち、ブロック境界に近い所定画素にのみデブロッキングフィルタを施すことにより、ブロック歪みの低減効果を向上させた場合であっても、画像本来の情報が失われること防止できる。
さらに、ブロック歪み成分を推定する際に、動画像における動きの量および符号化における量子化パラメータに基づいて、境界を挟む両側の画素列それぞれにおける周波数成分の非零となる要素数のうち、より少ないもの、あるいは、より多いもののいずれかを適宜選択する。
【0024】
したがって、動画像データの内容に応じて、より適切なデブロッキングフィルタリング処理を行うことが可能となる
即ち、本発明により、動画像の画質をより効果的に改善することができる。
【0025】
【発明の実施の形態】
以下、図を参照して本発明に係る画像処理装置の実施の形態を説明する。
初めに、本発明に係る画像処理方法について説明する。
本発明に係る画像処理方法では、VMに規定されるデブロッキングフィルタのデフォルトモードに対し、雑音推定に基づく歪み低減法を適用して、より効率的な歪み低減を実現可能としている。
【0026】
以下、具体的な方法について説明する。
一般に、動画像信号の復号化において、ブロック歪みを含む復号化対象の動画像信号Xは、以下に示すように、符号化前の信号X0に歪み成分Nが加えられたものであると仮定することができる。ただし、(1)式において、“X”,“X0”,“N”は一次元ベクトルとして表している。
【0027】
【数1】
【0028】
そのため、ブロック歪みが除去された復号化対象の動画像信号X´は、理想的にはX0と等しいものとなり、
【0029】
【数2】
【0030】
と表される。
即ち、雑音推定に基づくブロック歪みの低減においては、歪み成分である信号Nの推定問題に帰着する。
ここで、ブロック歪みは、▲1▼ブロック境界の不連続量、▲2▼信号の変化が大きいブロックの境界ほど目立たない、という特徴を有する。
【0031】
そこで、ブロックの境界不連続量Dおよびブロックにおける局所的な信号形状Pを定義し、これらを用いて、歪み成分Nをモデル化して取り扱うこととする。
すると、歪み成分Nは、次式によりモデル化することができる。
【0032】
【数3】
【0033】
なお、(3)式における“bP”は、局所的な信号形状Pに基づく、歪みの形状を表すベクトルである。
そして、局所的な信号形状Pは、図1に示すように境界を挟む画素列(xl,xr)について、8点DCT(Discrete Cosine Transform)変換した後の周波数成分(Xl,Xr)の非零要素数Pl,Prを用いて、
【0034】
【数4】
【0035】
で定義され、ブロックの境界不連続量Dは、
【0036】
【数5】
【0037】
で定義される。ただし、図2に示すように、(5)式において、 “dN”は、ブロック境界を構成する2画素の差分値、“sl”,“sr”は、ブロック境界を構成する2画素を除いた7画素において、隣接する画素間の差分値の平均値である。
すると、(4)式より、局所的な信号形状Pが大きいほど、高周波成分が残されており、ブロック歪みが目立たないことがわかる。
【0038】
また、(5)式より、ブロック境界を構成する2画素の差分値dNが大きいほど、ブロックの境界不連続量Dが大きくなり、より強くブロック歪みが低減されることとなる。さらに、“sl”,“sr”それぞれの値が小さい場合、ブロック境界を挟んで滑らかに変化していることから、ブロック歪みが目立つと考えられる。そして、この場合にも、ブロックの境界不連続量Dが大きくなり、より強くブロック歪みが低減されることとなる。
【0039】
一方、雑音推定に基づく歪み低減法においては、ブロックの境界不連続量Dおよび局所的な信号形状Pは、復号後の画像毎に与えられることから、(3)式におけるベクトルbpは推定して取得する必要がある。
即ち、雑音推定に基づく歪み低減法によりブロック歪みを低減して得られた画像の信号(一次元ベクトル)をX1とおくと、
【0040】
【数6】
【0041】
と表される。
そして、より理想的な歪み低減が行われる場合には、符号化前の信号X0と、歪み低減後の信号X1との誤差が最小となることから、“X0”,“X1”の差分を最小とするベクトルbpを推定すればよい。
【0042】
(2)式および(6)式から、“X0”,“X1”の差分を最小とするベクトルbpは、次式により表される。
【0043】
【数7】
【0044】
ここで、ベクトルbpを求めるためには、例えば、SIDBA(Standard Image Data-Base)画像等のサンプル画像を複数用いて、実際に、DCTおよび量子化を含む符号化処理を行い、さらに、復号化することにより、ブロック歪みの発生した画像を得る。そして、それらの画像内の局所毎に、局所的な信号形状Pと、(X−X0)/Dとを求め、得られた各局所的な信号形状Pに対応する(X−X0)/Dの平均値を算出することにより、その平均値を“bp”とする。
【0045】
なお、ブロック境界を挟んで並ぶ画素(左から順に、m=0,1,2,・・・,15の番号を付すものとする)と、歪みの形状を示すベクトルbpとの関係は、およそ、図3に示す特性となる。
以上は、一般的に行われている雑音推定に基づく歪み低減法の手法であるが、このような手法において、隣接するブロックの一方が、高周波成分を多く含む画像であり、他方が平坦な画像である場合、(4)式より、周波数成分の非零要素数の最大値、即ち、高周波成分を多く含む画像の非零要素数が局所的な信号形状Pとして算出される。
【0046】
ここで、隣接するブロックの一方が、高周波成分を多く含む画像であり、他方が平坦な画像である場合には、そのブロック境界がブロック歪みとして視覚的に認識されやすい。
しかしながら、このような場合、局所的な信号形状Pとして、より大きな値が算出されることから、歪みの形状を示すベクトルbpは、図3に示すように、振幅が小さいものとなる。すると、(6)式より、ブロック歪みの低減効果は不十分なものとなり、ブロック歪みが目立つこととなる。
【0047】
そこで、本発明に係る画像処理方法においては、局所的な信号形状Pを算出するに当たり、(4)式に示す演算(以下、「max演算」と言う。)では、ブロック歪みを十分に低減できない領域については、以下の式のいずれかを適宜選択して局所的な信号形状Pを算出することとする。
【0048】
【数8】
【0049】
なお、(8)式中、“τ”は、歪み低減力をより強めるための補正値であり、また、(8)式に示す演算を、以下、「min演算」と言う。
(8)式によって局所的信号形状Pを算出することとすると、局所的信号形状Pは、より小さい値となり、相対的にブロック歪み低減効果が向上することとなる。
【0050】
さらに、(8)式により局所的信号形状Pを算出し、ブロック歪み低減効果を向上させた場合、それに伴い、信号の劣化が生じ、画像本来の情報が失われることとなる。
そこで、歪みの形状を示すベクトルとして、(7)式により定められる “bp” に修正を加え、min演算用の“bp”(以下、「b´p」とする。)を定義することとする。
【0051】
具体的には、“b´p”が示す歪みの形状として、例えば、ブロック境界に隣接する2画素のみに歪みが加えられているものと想定し、ブロック境界から3画素以上離れた画素の信号については、歪みの形状を示すベクトル値を“0”と定める。
即ち、ブロック境界を挟んで並ぶ画素列(左から順に、m=0,1,2,・・・,15の番号を付すものとする)と、歪みの形状を示すベクトルb´pとの関係を、およそ、図4に示す特性とする。
【0052】
このように“b´p”を定めることにより、歪み低減効果を向上させた場合であっても、画像本来の情報が失われることを防止できる。
なお、“b´p”が示す歪みの形状として、ブロック境界に隣接する2画素のみに歪みが加えられているものと想定する場合を例に挙げたが、歪みが加えられていると想定する画素の数は、2画素以外であってもよい。
【0053】
また、“b´p”を定めた場合、(6)式は、以下のように修正される。
【0054】
【数9】
【0055】
ここで、(8)式に示すように、max演算およびmin演算の双方を、処理対象の領域に応じて切り替えることとすると、その切り替えの条件を適切に定める必要がある。即ち、歪み低減効果を向上させるべく、領域の判定条件を定める必要がある。
このような判定条件を定めるに当たり、歪み低減効果を向上させる必要がある領域は、ブロック歪みが目立つ領域およびブロック歪みが多く発生する領域であることに鑑み、▲1▼フレーム間符号化が行われているフレーム、▲2▼動きの多い領域(時間的に輝度変化が大きい領域)、▲3▼量子化パラメータが大きいブロックの境界、の3つの検討事項を想定し、それぞれについて検討を行った。
【0056】
その結果、検討事項▲1▼については、図5に示す検討結果が得られた。図5は、フレーム内符号化フレーム(I−VOP(Video Object Plane))およびフレーム間符号化フレーム(P−VOP)のそれぞれについて、max演算およびmin演算を適用した場合の画質改善効果を示す図である。
なお、図5における横軸は、量子化パラメータQP、縦軸は、MSE−R(画質改善度を表す指標)であり、MSE−R=(原画像と歪み低減後の画像との平均2乗誤差)/(原画像と復号後の画像との平均2乗誤差)である。
【0057】
図5によれば、フレーム内符号化フレームについては、min演算(ここでは、歪み形状を示すベクトルbpの場合をいう。以下、単に「min演算」というときは同様。)より、max演算の場合が有効であることがわかる。これは、本来、雑音推定に基づく歪み低減法が、静止画像(フレーム内符号化フレーム)に対して提案されたものであることによると考えられる。
【0058】
また、図5によれば、フレーム間符号化フレームについては、量子化パラメータが大きいほど、min演算の場合が有効であることがわかる。これは、フレーム間符号化フレームの場合、前フレームの量子化雑音と、差分画像が量子化されることによる歪みとによって、フレーム内符号化フレームに比べてブロック歪みが増大することによると考えられる。
【0059】
なお、検討事項▲1▼に関連して、さらに詳細な判定条件について検討した結果、フレーム単位で符号化方法を判定し、判定結果をそのフレーム全体に適用する場合より、マクロブロック単位(あるいはブロック単位)で符号化方法を判定し、max演算あるいはmin演算のいずれかを切り替えて適用する方が、より有効な歪み低減を行えることが判明した。
【0060】
即ち、フレーム内符号化が行われているマクロブロック(あるいはブロック)についてはmax演算を行い、フレーム間符号化が行われているマクロブロック(あるいはブロック)についてはmin演算を行う方が、歪み低減効果が高い場合があることが判明した。
この場合の具体的な判定方法は、以下の通りである。
【0061】
図6は、条件判定を行うブロック境界およびマクロブロック境界を示す図である。
図6において、各マクロブロックには、符号化方法を示す符号化モード(CodeMode(a),(b))が設定されており、符号化モードはデコーダから取得することが可能である。そして、符号化モードはマクロブロック単位で設定されていることから、マクロブロック内の隣接ブロックについては、符号化モードが同一である。一方、マクロブロックの境界を挟む隣接ブロックについては、符号化モードが同一の場合および異なる場合がある。
【0062】
マクロブロックあるいはブロック単位で符号化方法を判定する場合、境界に隣接するブロックの両方においてフレーム間符号化を表す符号化モードが設定されていれば、条件判定のためのフラグ(CodedFlag)として“1”を設定し、境界に隣接するブロックのいずれかもしくは両方においてフレーム内符号化を表す符号化モードが設定されていれば、条件判定のフラグとして“0”を設定する。
【0063】
したがって、フレーム内符号化された同一マクロブロック内の隣接ブロックについては、フラグ“0”が設定される。また、フレーム内符号化された異なるマクロブロックの境界を挟む隣接ブロックについても、フラグ“0”が設定される。一方、それ以外の場合には、フラグ“1”が設定される。
そして、フラグ“0”が設定されている場合には、max演算を行い、フラグ“1”が設定されている場合には、min演算を行うものと判定する。
【0064】
このような条件判定を行うことによって、より有効な歪み低減効果を得ることができるのは、フレーム間符号化フレーム内においても、フレーム内符号化が行われているマクロブロックもあり、マクロブロック単位で細かく演算方法を切り替えることにより、適切に歪み低減力を制御することができるためであると考えられる。
【0065】
なお、マクロブロックあるいはブロック単位で符号化方法を判定する場合、フレーム間符号化された領域であっても、平坦な領域については信号の劣化が目立つ場合もあり、必ずしもmin演算が有効でないこともある。
そこで、動きが大きい領域についてはブロック歪みが大きいことから、後述するように動きベクトルによって動きの量を判定し、動きの量が大きいマクロブロックあるいはブロックについてのみmin演算を適用することが望ましいと考えられる。
【0066】
また、検討事項▲2▼については、フレーム間の各ブロックにおける差分絶対値和(BMQ:Block-based Moving Quantity)を評価量として、動きの多い領域を定義した結果、画像内のブロック全てにおけるBMQの平均値(以下、「平均BMQ」と言う。)が一定の値(α)を超えると、max演算の場合より、min演算の方が、MSE−Rが小さくなり、歪み低減効果が高いことが判明した。
【0067】
図7は、サンプル画像について、平均BMQと、MSE−Rとの関係を示す図である。なお、図7において、“Max”は、max演算の場合の特性、“Min”は、min演算の歪み形状を示すベクトルbpの場合の特性、“Min(Shape)”は、min演算の歪み形状を示すベクトルb´pの場合の特性を示している。
【0068】
したがって、統計的に取得されるαの値(例えば、図7では、α=5.5)に応じて、max演算とmin演算とを切り替えることが望ましいと考えられる。
このとき、(8)式は、以下のように表される。
【0069】
【数10】
【0070】
なお、評価量として用いたBMQは、以下の式により与えられる。
【0071】
【数11】
【0072】
ただし、(11)式において、現フレームの信号x(m,n,k)と、前フレームの信号x(m,n,k−1)との差分をとることとしているが、このとき参照される前フレームのブロックとして、現フレームの対象ブロックと同一位置のブロックを採用することや、動き補償において参照元となっているブロックを採用することのいずれも可能である。
【0073】
このように、αの値に応じて、max演算とmin演算とを切り替えた結果、量子化パラメータQPと、MSE−Rとの関係は、図8のようになる。
なお、図8においては、max演算の場合(図8中の“Max”)、歪み形状を示すベクトルbpのmin演算の場合(図8中の“Min”)、歪み形状を示すベクトルb´pのmin演算の場合(図8中の“Min(Shape)”)に加え、max演算とmin演算とをα=5.5で切り替えた場合(図8中の“Switching with BMQ”)の特性を示している。
【0074】
図8において、平均BMQのみに基づいてmax演算とmin演算とを切り替えた場合、量子化パラメータQP<20の領域では、最も歪み低減効果が高いものとなる。
なお、検討事項▲2▼に関連して、さらに詳細な判定条件について検討した結果、差分絶対値和に基づく平均BMQによって動きの量を評価する場合の他、動きベクトルの大きさに基づいて、動きの量を評価することが可能であることが判明した。
【0075】
この場合、動きベクトルは、図9において矢印として示すように、各ブロックについて1つあるいは各マクロブロックについて1つが設定されていることから、これらを利用することが可能である。
即ち、各動きベクトルの大きさは、その成分の2乗の和の平方根として求めることができる。さらに、処理対象である画素列が属するブロックあるいはマクロブロックそれぞれの動きベクトルの大きさを加え、評価対象である動きの量とする。
【0076】
そして、平均BMQを動きの量として条件判定する場合と同様に、動きが多いと判定された領域に対してmin演算を行うことにより、歪み低減効果を高めることができる。
このとき、検討事項▲1▼において説明したように、マクロブロックあるいはブロック単位で、その符号化方法に基づく条件判定を行う場合、動きベクトルの大きさに基づく条件を併せて判定することが可能である。
【0077】
即ち、動きベクトルがマクロブロック毎あるいはブロック毎に設定されていることに鑑み、各マクロブロックあるいはブロックについて、符号化方法に基づく判定条件と、動きベクトルの大きさに基づく判定条件とを併せて考慮することが可能である。
具体的には、符号化方法に基づく条件判定のためのフラグ(CodedFlag)が“0”であり、かつ、動きベクトルの大きさが一定の値(α)以下である場合にはmax演算を行い、それ以外の場合にはmin演算を行うことにより、歪み低減効果をより高めることができる。
【0078】
このように、動きベクトルの大きさを評価量として用いると、ブロック単位あるいはマクロブロック単位で演算方法を切り替えることが可能であり、また、平均BMQを用いる場合より、少ない演算量で動き量の評価を行うことができる。なお、動きベクトルの大きさを判定条件とする場合の他、動きベクトルを用いて動き補償を行った後の画像と、処理対象フレームの差分を用いて条件判定を行うことや、動きベクトルを用いて動き補償を行った後の画像と処理対象フレームとの差分を示す画像のみに対して、条件判定を行い、動きの多い領域に対してmin演算を行うことも可能である。
【0079】
また、ここで用いる動きベクトルについては、デコーダにおいて既に算出されているため、デコーダから取得して用いることが可能である。
次に、検討事項▲3▼については、上述のように、図8に示す特性から、平均BMQのみに基づいてmax演算とmin演算とを切り替えた場合、量子化パラメータQP>20の領域では、min演算の歪み形状を示すベクトルb´pの場合に比べ、歪み低減効果が劣ることが判明した。
【0080】
そこで、量子化パラメータQPの値に基づいて、max演算とmin演算とを切り替えることとする。
このとき、図10に示すように、ブロック境界を挟む2つのブロックに設定された量子化パラメータQP(QP_l,QP_r)のうち、より大きいものQPmaxを取得し、その量子化パラメータQPmaxと統計的に取得される閾値βとを比較することにより、max演算とmin演算との切り替えを行うこととする。
【0081】
即ち、(8)式において、以下のように判定条件を与えることとする。
【0082】
【数12】
【0083】
このように、量子化パラメータQPによってmax演算とmin演算とを切り替えた結果、量子化パラメータQPとMSE−Rとの関係は、図11のようになる。
なお、図11においては、max演算の場合(図11中の“Max”)、歪み形状を示すベクトルbpのmin演算の場合(図11中の“Min”)、歪み形状を示すベクトルb´pのmin演算の場合(図11中の“Min(Shape)”)、平均BMQに応じてmax演算とmin演算とを切り替えた場合(図11中の“Switching with BMQ”)に加え、平均BMQおよび量子化パラメータQPに応じてmax演算とmin演算とを切り替えた場合(図11中の“Switching with BMQ and QP”)の特性を示している。
【0084】
図11において、平均BMQおよび量子化パラメータQPに応じてmax演算とmin演算とを切り替えた場合の特性が、量子化パラメータQPの全ての領域において、最も歪み低減効果が高いものとなっている。
以上の検討結果の有効性について、ブロック歪み低減度合を示すGBIM(Generalized Block-edge Impairment Metric)を用いて評価すると、図12に示す結果が得られる。
【0085】
図12は、3種類のサンプル画像について、▲1▼デコーダ出力(図12中のDecoder)、▲2▼VMのデブロッキングフィルタにおけるデフォルトモード(図12中のVM De-block Default mode)、▲3▼min演算の歪み形状を示すベクトルbpの場合で、かつ、平均BMQおよび量子化パラメータQPに応じた切り替えを行わない場合(図12中のNbr)、▲4▼min演算の歪み形状を示すベクトルb´pの場合で、かつ、平均BMQおよび量子化パラメータQPに応じた切り替えを行う場合(τ=0)(図12中のNbrProRe(1))、▲5▼min演算の歪み形状を示すベクトルb´pの場合で、かつ、平均BMQおよび量子化パラメータQPに応じた切り替えを行う場合(τ=2)(図12中のNbrProRe(2))のそれぞれについて、GBIMを示している。
【0086】
図12によれば、▲5▼min演算の歪み形状を示すベクトルb´pの場合で、かつ、平均BMQおよび量子化パラメータQPに応じた切り替えを行う場合(τ=2)が、最も歪み低減効果が高く、次いで、▲4▼min演算の歪み形状を示すベクトルb´pの場合で、かつ、平均BMQおよび量子化パラメータQPに応じた切り替えを行う場合(τ=0)の歪み低減効果が高いことがわかる。
【0087】
以上は、VMに規定されるデブロッキングフィルタのデフォルトモードに対する処理であるが、さらに、デリンギングフィルタとして、ε平均値フィルタを用いることにより、効果的なリンギング除去を行うことが可能である。
即ち、任意の閾値εを定め、以下に示すε平均値フィルタを施すことにより、一定振幅(ε未満)のリンギングが低減され、大振幅であるエッジ自身が保存されることとなる。
【0088】
【数13】
【0089】
なお、デリンギングフィルタとして、ε平均値フィルタを用いる場合、予め、画像のエッジ検出を行った上で、検出されたエッジの周辺に対して、ε平均値フィルタを施すこととしてもよい。
次に、本画像処理方法を使用した画像処理装置1の構成を説明する。
図13は、本実施の形態に係る画像処理装置1の構成を示すブロック図である。図13において、画像処理装置1は、デコーダ10と、フレームメモリ部20と、ポストフィルタ部30とを含んで構成される。
【0090】
デコーダ10は、符号化された動画像データを受け取り、可変長復号、逆量子化および逆DCTを含む復号化処理を行い、復号した動画像データをフレームメモリ部20に出力する。
フレームメモリ部20は、例えば、2フレーム分等のフレームデータを記憶するメモリを備えており、ポストフィルタ部30によってフィルタリング処理が行われる際に、記憶しているデータに対し、読み出しおよび書き込みが行われる。
【0091】
ポストフィルタ部30は、フレームメモリ部20に記憶された復号後の動画像データに対し、上述した画像処理方法(即ち、(10)式および(12)式等に基づくデブロッキング処理およびε平均値フィルタによるデリンギング処理を用いた画像処理方法)に基づくフィルタリング処理を施し、動画像データに含まれるブロック歪みおよびリンギングを低減する。
【0092】
次に、動作を説明する。
画像処理装置1は、符号化された動画像データが入力されると、初めに、デコーダ10によって、動画像データの復号化処理を行い、復号化された動画像データをフレームメモリ部20に記憶する。
すると、ポストフィルタ部30が、フレームメモリ部20に記憶された動画像データに対し、デブロッキングフィルタ、デリンギングフィルタとしてのε平均値フィルタの順にフィルタリング処理を施す。
【0093】
このとき、デブロッキングフィルタによる処理として、(10)式および(12)式による条件判定を行いながら、ブロック歪みを適応的に低減する。
また、デリンギングフィルタとして、ε平均値フィルタを用いた処理を行う。このとき、動画像データについて、エッジ検出を行うことなくε平均値フィルタを施すこと、および、エッジ検出後に、エッジ周辺に対してε平均値フィルタを施すことのいずれも可能である。
【0094】
このように処理した結果、動画像データにおいて、例えば、VMに規定されるデブロッキングフィルタおよびデリンギングフィルタを用いた場合に比べ、ブロック歪み低減効果およびリンギング除去効果がより高いものとなっている。
なお、デリンギングフィルタとして、ε平均値フィルタを用いることとして説明したが、VMに規定される従来のデリンギングフィルタを用いることも可能である。
【0095】
以上のように、本実施の形態に係る画像処理装置1は、フィルタリングの対象であるブロック境界の局所的な信号形状を算出する際に、境界を挟む両側の画素列それぞれにおける周波数成分の非零要素数のうち、より少ない非零要素数を採用して、局所的な信号形状とし、その局所的な信号形状に基づいて、雑音推定を行う。
【0096】
したがって、従来行われている雑音推定の場合に比べ、ブロック歪みの低減効果を高めることが可能となる。
また、ブロック境界を挟む画素列のうち、ブロック境界に近い所定画素にのみデブロッキングフィルタを施すことにより、ブロック歪みの低減効果を向上させた場合であっても、画像本来の情報が失われること防止できる。
【0097】
さらに、局所的な信号形状を算出する際に、動画像における動きの大きさおよび符号化における量子化パラメータに基づいて、境界を挟む両側の画素列それぞれにおける周波数成分の非零要素数のうち、より少ない非零要素数、あるいは、より多い非零要素数のいずれかを適宜選択する。
したがって、動画像データの内容に応じて、より適切なデブロッキングフィルタリング処理を行うことが可能となり、動画像の画質を効果的に改善することができる。
【図面の簡単な説明】
【図1】 ブロック境界を挟む画素列(xl,xr)を示す図である。
【図2】 ブロック境界を構成する2画素の差分値“dN”、ブロック境界を構成する2画素を除いた7画素“sl”,“sr”を示す図である。
【図3】 ブロック境界を挟んで並ぶ画素と、歪みの形状を示すベクトルbpとの関係を示す図である。
【図4】 ブロック境界を挟んで並ぶ画素列と、歪みの形状を示すベクトルb´pとの関係を示す図である。
【図5】 フレーム内符号化フレーム、フレーム間符号化フレームについて、max演算およびmin演算を適用した場合の画質改善効果を示す図である。
【図6】 条件判定を行うブロック境界およびマクロブロック境界を示す図である。
【図7】 サンプル画像について、平均BMQと、MSE−Rとの関係を示す図である。
【図8】 量子化パラメータQPと、MSE−Rとの関係を示す図である。
【図9】 マクロブロックおよびブロックに設定された動きベクトルを示す図である。
【図10】 ブロック境界を挟む2つのブロックに設定された量子化パラメータQP(QP_l,QP_r)を示す図である。
【図11】 量子化パラメータQPとMSE−Rとの関係を示す図である。
【図12】 ブロック歪み低減度合を示すGBIMを用いて評価した結果を示す図である。
【図13】 本実施の形態に係る画像処理装置1の構成を示すブロック図である。
【符号の説明】
1 画像処理装置,10 デコーダ,20 フレームメモリ部,30 ポストフィルタ部
Claims (17)
- 複数のブロックに区分された動画像のブロック歪みを低減させるデブロッキングフィルタ処理を含む歪み低減処理を施す画像処理装置であって、
前記複数ブロックは、隣接する第1のブロックと第2のブロックと、を含み、
前記第1のブロックは、前記第1のブロックと前記第2のブロックとの間のブロック境界と交差する方向に配列された第1の画素列を含み、
前記第2のブロックは、前記ブロック境界と交差する方向に配列された第2の画素列を含み、
前記第1の画素列について取得された周波数成分のうち非零となる第1の要素数から第1の信号形状を算出し、
前記第2の画素列について取得された周波数成分のうち非零となる第2の要素数から第2の信号形状を算出し、
前記第1の信号形状及び前記第2の信号形状のうちの最小値の信号形状に基づいて前記ブロック歪みの歪みの形状を示すベクトルを導出し、
前記動画像のデータに対して前記ブロックの境界における境界不連続量及び前記ベクトルに基づいて処理を施し、前記ブロック歪みを低減すること、
を特徴とする画像処理装置。 - 前記第1の画素列のうち前記ブロック境界により近い所定数の画素のみについて前記第1の信号形状を算出し、前記第2の画素列のうち前記ブロック境界により近い所定数の画素のみについて前記第2の信号形状を算出し、前記ブロック境界から所定数以上離れた画素については前記ベクトルの値を零であると定めることを特徴とする請求項1記載の画像処理装置。
- 複数のブロックに区分された動画像のブロック歪みを低減させるデブロッキングフィルタ処理を含む歪み低減処理を施す画像処理装置であって、
前記複数ブロックは、隣接する第1のブロックと第2のブロックと、を含み、
前記第1のブロックは、前記第1のブロックと前記第2のブロックとの間のブロック境界と交差する方向に配列された第1の画素列を含み、
前記第2のブロックは、前記ブロック境界と交差する方向に配列された第2の画素列を含み、
前記第1の画素列について取得された周波数成分のうち非零となる第1の要素数から第1の信号形状を算出し、
前記第2の画素列について取得された周波数成分のうち非零となる第2の要素数から第2の信号形状を算出し、
前記複数のブロックのうち処理対象であるブロックあるいは前記処理対象であるブロックを含むマクロブロックの符号化方法に基づいて、フレーム内符号化が行われているマクロブロックについては前記第1の信号形状及び前記第2の信号形状のうちの最大値の信号形状を選択し、フレーム間符号化が行われているマクロブロックについては前記第1の信号形状及び前記第2の信号形状のうちの最小値の信号形状を選択し、
前記最大値の信号形状又は前記最小値の信号形状に基づいて前記ブロック歪みの歪みの形状を示すベクトルを導出し、
前記動画像のデータに対して前記ブロックの境界における境界不連続量及び前記ベクトルに基づいて処理を施し、前記ブロック歪みを低減すること、
を特徴とする画像処理装置。 - 前記第1の画素列のうち前記ブロック境界により近い所定数の画素のみについて前記第1の信号形状を算出し、前記第2の画素列のうち前記ブロック境界により近い所定数の画素のみについて前記第2の信号形状を算出し、前記ブロック境界から所定数以上離れた画素については前記ベクトルの値を零であると定めることを特徴とする請求項3記載の画像処理装置。
- 処理対象であるブロックが符号化された際に検出された動きベクトルを取得し、該動きベクトルの大きさが所定値より大きく、かつ、処理対象であるブロックの符号化方法がフレーム間符号化である場合にのみ、前記最小値の信号形状を選択することを特徴とする請求項3記載の画像処理装置。
- 複数のブロックに区分された動画像のブロック歪みを低減させるデブロッキングフィルタ処理を含む歪み低減処理を施す画像処理装置であって、
前記複数ブロックは、隣接する第1のブロックと第2のブロックと、を含み、
前記第1のブロックは、前記第1のブロックと前記第2のブロックとの間のブロック境界と交差する方向に配列された第1の画素列を含み、
前記第2のブロックは、前記ブロック境界と交差する方向に配列された第2の画素列を含み、
前記第1の画素列について取得された周波数成分のうち非零となる第1の要素数から第1の信号形状を算出し、
前記第2の画素列について取得された周波数成分のうち非零となる第2の要素数から第2の信号形状を算出し、
前記複数のブロックのうち処理対象であるブロックにおける動きの量に基づいて、フレーム間の各ブロックにおける差分絶対値和が所定の値より大きい場合には前記第1の信号形状及び前記第2の信号形状のうちの最小値の信号形状を選択し、前記差分絶対値和が所定の値以下の場合には前記第1の信号形状及び前記第2の信号形状のうちの最大値の信号形状を選択し、
前記最大値の信号形状又は前記最小値の信号形状に基づいて前記ブロック歪みの歪みの形状を示すベクトルを導出し、
前記動画像のデータに対して前記ブロックの境界における境界不連続量及び前記ベクトルに基づいて処理を施し、前記ブロック歪みを低減すること、
を特徴とする画像処理装置。 - 前記第1の画素列のうち前記ブロック境界により近い所定数の画素のみについて前記第1の信号形状を算出し、前記第2の画素列のうち前記ブロック境界により近い所定数の画素のみについて前記第2の信号形状を算出し、前記ブロック境界から所定数以上離れた画素については前記ベクトルの値を零であると定めることを特徴とする請求項6記載の画像処理装置。
- 前記複数のブロックのうち処理対象であるブロックのフレームにおける位置に基づいて、参照されるフレームにおいて同一位置にあるブロックを参照し、前記動きの量を検出することを特徴とする請求項6記載の画像処理装置。
- 前記複数のブロックのうち処理対象であるブロックが符号化された際に検出された動きベクトルに基づいて、参照されるフレームにおいて動きベクトルが示す位置のブロックを参照し、前記動きの量を検出することを特徴とする請求項6記載の画像処理装置。
- 前記複数のブロックのうち処理対象であるブロックが符号化された際に検出された動きベクトルの大きさに基づいて、前記動きの量を検出することを特徴とする請求項6記載の画像処理装置。
- 複数のブロックに区分された動画像のブロック歪みを低減させるデブロッキングフィルタ処理を含む歪み低減処理を施す画像処理装置であって、
前記複数ブロックは、隣接する第1のブロックと第2のブロックと、を含み、
前記第1のブロックは、前記第1のブロックと前記第2のブロックとの間のブロック境界と交差する方向に配列された第1の画素列を含み、
前記第2のブロックは、前記ブロック境界と交差する方向に配列された第2の画素列を含み、
前記第1の画素列について取得された周波数成分のうち非零となる第1の要素数から第1の信号形状を算出し、
前記第2の画素列について取得された周波数成分のうち非零となる第2の要素数から第2の信号形状を算出し、
前記複数のブロックのうち処理対象であるブロックにおける量子化パラメータの大きさに基づいて、前記第1のブロックの量子化パラメータ及び前記第2のブロックの量子化パラメータのうち最大値の量子化パラメータを取得し、前記最大値の量子化パラメータが所定の値以上である場合には前記第1の信号形状及び前記第2の信号形状のうちの最小値の信号形状を選択し、前記最大値の量子化パラメータが所定の値より小さい場合には前記第1の信号形状及び前記第2の信号形状のうちの最大値の信号形状を選択し、
前記最大値の信号形状又は前記最小値の信号形状に基づいて前記ブロック歪みの歪みの形状を示すベクトルを導出し、
前記動画像のデータに対して前記ブロックの境界における境界不連続量及び前記ベクトルに基づいて処理を施し、前記ブロック歪みを低減すること、
を特徴とする画像処理装置。 - 前記第1の画素列のうち前記ブロック境界により近い所定数の画素のみについて前記第1の信号形状を算出し、前記第2の画素列のうち前記ブロック境界により近い所定数の画素のみについて前記第2の信号形状を算出し、前記ブロック境界から所定数以上離れた画素については前記ベクトルの値を零であると定めることを特徴とする請求項11記載の画像処理装置。
- 前記動画像データに含まれるリンギングを低減する処理において、ε平均値フィルタに基づく処理を施すことを特徴とする請求項1〜12のいずれかに記載の画像処理装置。
- 前記複数のブロックのうち処理対象であるブロックに含まれるエッジ検出を行い、検出されたエッジ周辺に対し、前記ε平均値フィルタを施すことを特徴とする請求項13記載の画像処理装置。
- 複数のブロックに区分された動画像のブロック歪みを低減させるデブロッキングフィルタ処理を含む歪み低減処理を施す画像処理方法であって、
前記複数ブロックは、隣接する第1のブロックと第2のブロックと、を含み、
前記第1のブロックは、前記第1のブロックと前記第2のブロックとの間のブロック境界と交差する方向に配列された第1の画素列を含み、
前記第2のブロックは、前記ブロック境界と交差する方向に配列された第2の画素列を含み、
前記第1の画素列について取得された周波数成分のうち非零となる第1の要素数から第1の信号形状を算出し、
前記第2の画素列について取得された周波数成分のうち非零となる第2の要素数から第2の信号形状を算出し、
前記第1の信号形状及び前記第2の信号形状のうちの最小値の信号形状に基づいて前記ブロック歪みの歪みの形状を示すベクトルを導出し、
前記動画像のデータに対して前記ブロックの境界における境界不連続量及び前記ベクトルに基づいて処理を施し、前記ブロック歪みを低減すること、
を特徴とする画像処理方法。 - 複数のブロックに区分された動画像のブロック歪みを低減させるデブロッキングフィルタ処理を含む歪み低減処理を施すための画像処理プログラムであって、
前記複数ブロックは、隣接する第1のブロックと第2のブロックと、を含み、
前記第1のブロックは、前記第1のブロックと前記第2のブロックとの間のブロック境界と交差する方向に配列された第1の画素列を含み、
前記第2のブロックは、前記ブロック境界と交差する方向に配列された第2の画素列を含み、
前記第1の画素列について取得された周波数成分のうち非零となる第1の要素数から第1の信号形状を算出し、
前記第2の画素列について取得された周波数成分のうち非零となる第2の要素数から第2の信号形状を算出し、
前記第1の信号形状及び前記第2の信号形状のうちの最小値の信号形状に基づいて前記ブロック歪みの歪みの形状を示すベクトルを導出し、
前記動画像のデータに対して前記ブロックの境界における境界不連続量及び前記ベクトルに基づいて処理を施し、前記ブロック歪みを低減する機能をコンピュータに実現させることを特徴とする画像処理プログラム。 - 複数のブロックに区分された動画像のブロック歪みを低減させるデブロッキングフィルタ処理を含む歪み低減処理を施す画像処理装置であって、
前記複数ブロックは、隣接する第1のブロックと第2のブロックと、を含み、
前記第1のブロックは、前記第1のブロックと前記第2のブロックとの間のブロック境界と交差する方向に配列された第1の画素列を含み、
前記第2のブロックは、前記ブロック境界と交差する方向に配列された第2の画素列を含み、
前記第1の画素列のうち前記ブロック境界により近い所定数の画素のみについて取得された周波数成分のうち非零となる第1の要素数から第1の信号形状を算出し、
前記第2の画素列のうち前記ブロック境界により近い所定数の画素のみについて取得された周波数成分のうち非零となる第2の要素数から第2の信号形状を算出し、
前記第1の信号形状及び前記第2の信号形状のうちの最小値の信号形状に基づいて前記ブロック歪みの歪みの形状を示すベクトルを導出し、
前記動画像のデータに対して前記ブロックの境界における境界不連続量及び前記ベクトルに基づいて処理を施し、前記ブロック歪みを低減すること、
を特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003083093A JP4300839B2 (ja) | 2002-11-14 | 2003-03-25 | 画像処理装置、画像処理方法および画像処理プログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002330815 | 2002-11-14 | ||
JP2003083093A JP4300839B2 (ja) | 2002-11-14 | 2003-03-25 | 画像処理装置、画像処理方法および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004215216A JP2004215216A (ja) | 2004-07-29 |
JP4300839B2 true JP4300839B2 (ja) | 2009-07-22 |
Family
ID=32828447
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003083093A Expired - Fee Related JP4300839B2 (ja) | 2002-11-14 | 2003-03-25 | 画像処理装置、画像処理方法および画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4300839B2 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7666618B2 (en) | 2004-07-16 | 2010-02-23 | Danisco A/S | Lipolytic enzyme: uses thereof in the food industry |
US7718408B2 (en) | 2003-12-24 | 2010-05-18 | Danisco A/S | Method |
US7718204B2 (en) | 1998-07-21 | 2010-05-18 | Danisco A/S | Foodstuff |
US7807398B2 (en) | 2003-01-17 | 2010-10-05 | Danisco A/S | Method of using lipid acyltransferase |
US7906307B2 (en) | 2003-12-24 | 2011-03-15 | Danisco A/S | Variant lipid acyltransferases and methods of making |
US7955814B2 (en) | 2003-01-17 | 2011-06-07 | Danisco A/S | Method |
US7960150B2 (en) | 2007-01-25 | 2011-06-14 | Danisco A/S | Production of a lipid acyltransferase from transformed Bacillus licheniformis cells |
US8012732B2 (en) | 2004-03-12 | 2011-09-06 | Danisco A/S | Fungal lypolytic and amylase enzyme composition and methods using the same |
US8030044B2 (en) | 2003-12-24 | 2011-10-04 | Danisco A/S | Lipid acyltransferases |
USRE43135E1 (en) | 2001-05-18 | 2012-01-24 | Danisco A/S | Method of improving dough and bread quality |
USRE43341E1 (en) | 1995-06-07 | 2012-05-01 | Danisco A/S | Method of improving the properties of a flour dough, a flour dough improving composition and improved food products |
US8652809B2 (en) | 2007-08-17 | 2014-02-18 | Dupont Nutrition Biosciences Aps | Method for producing ultra-heat treatment milk |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009083020A1 (en) * | 2007-12-28 | 2009-07-09 | F. Hoffmann-La Roche Ag | Assessment of physiological conditions |
-
2003
- 2003-03-25 JP JP2003083093A patent/JP4300839B2/ja not_active Expired - Fee Related
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USRE43341E1 (en) | 1995-06-07 | 2012-05-01 | Danisco A/S | Method of improving the properties of a flour dough, a flour dough improving composition and improved food products |
US7972638B2 (en) | 1998-07-21 | 2011-07-05 | Danisco A/S | Foodstuff |
US7718204B2 (en) | 1998-07-21 | 2010-05-18 | Danisco A/S | Foodstuff |
US7781001B2 (en) | 1998-07-21 | 2010-08-24 | Danisco A/S | Foodstuff |
US8163315B2 (en) | 1998-07-21 | 2012-04-24 | Danisco A/S | Foodstuff |
USRE43135E1 (en) | 2001-05-18 | 2012-01-24 | Danisco A/S | Method of improving dough and bread quality |
US8278062B2 (en) | 2003-01-14 | 2012-10-02 | Dupont Nutrition Biosciences Aps | Method of using lipid acyltransferase |
US8003095B2 (en) | 2003-01-17 | 2011-08-23 | Danisco A/S | Method of using lipid acyltransferase |
US7955814B2 (en) | 2003-01-17 | 2011-06-07 | Danisco A/S | Method |
US7955813B2 (en) | 2003-01-17 | 2011-06-07 | Danisco, A/S | Method of using lipid acyltransferase |
US7807398B2 (en) | 2003-01-17 | 2010-10-05 | Danisco A/S | Method of using lipid acyltransferase |
US7718408B2 (en) | 2003-12-24 | 2010-05-18 | Danisco A/S | Method |
US8030044B2 (en) | 2003-12-24 | 2011-10-04 | Danisco A/S | Lipid acyltransferases |
US7906307B2 (en) | 2003-12-24 | 2011-03-15 | Danisco A/S | Variant lipid acyltransferases and methods of making |
US8440435B2 (en) | 2003-12-24 | 2013-05-14 | Dupont Nutrition Biosciences Aps | Method for reducing 1,2-diglyceride content of an edible oil |
US8012732B2 (en) | 2004-03-12 | 2011-09-06 | Danisco A/S | Fungal lypolytic and amylase enzyme composition and methods using the same |
US7666618B2 (en) | 2004-07-16 | 2010-02-23 | Danisco A/S | Lipolytic enzyme: uses thereof in the food industry |
US8192782B2 (en) | 2004-07-16 | 2012-06-05 | Danisco A/S | Enzymatic oil-degumming method |
US8535900B2 (en) | 2004-07-16 | 2013-09-17 | Dupont Nutrition Biosciences Aps | Lipolytic enzyme uses thereof in the food industry |
US8889371B2 (en) | 2004-07-16 | 2014-11-18 | Dupont Nutrition Biosciences Aps | Lipolytic enzyme: uses thereof in the food industry |
US7960150B2 (en) | 2007-01-25 | 2011-06-14 | Danisco A/S | Production of a lipid acyltransferase from transformed Bacillus licheniformis cells |
US8652809B2 (en) | 2007-08-17 | 2014-02-18 | Dupont Nutrition Biosciences Aps | Method for producing ultra-heat treatment milk |
Also Published As
Publication number | Publication date |
---|---|
JP2004215216A (ja) | 2004-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3308921B2 (ja) | 映像データループフィルタリング方法及び装置 | |
JP5207942B2 (ja) | 量子化効果減少のための映像データ後処理方法及び装置 | |
JP4455487B2 (ja) | 復号化装置及び復号化方法及びプログラム | |
KR100797807B1 (ko) | 코딩 아티팩트 감소 방법 | |
US6240135B1 (en) | Method of removing blocking artifacts in a coding system of a moving picture | |
EP1555832A2 (en) | Adaptive loop filtering for reducing blocking artifacts | |
EP1838107A2 (en) | Adaptive filtering based upon boundary strength | |
JP4300839B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2006513633A (ja) | エラー隠蔽中に生成されるアーチファクトをスムージングするデコーダ装置及び方法 | |
EP1506525B1 (en) | System for and method of sharpness enhancement for coded digital video | |
KR100331331B1 (ko) | 영상데이터 루프필터링 방법 | |
JPH05308623A (ja) | 画像信号復号化装置 | |
KR100301013B1 (ko) | 영상데이터 루프필터링방법 및 장치 | |
JP2002077909A (ja) | 画像符号化装置および画像符号化方法およびその方法を記述したプログラムを記録した記録媒体 | |
EP1570678B1 (en) | Method of measuring blocking artefacts | |
Yang et al. | A new enhancement method for digital video applications | |
KR100967872B1 (ko) | H.264 동영상 표준 부호화 방식의 블록화 현상 제거를위한 적응적 후처리 기법 | |
Huang et al. | A post deblocking filter for H. 264 video | |
JPH06311499A (ja) | 画像信号復号化装置 | |
JP4403803B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
Boroczky et al. | Post-processing of compressed video using a unified metric for digital video processing | |
JPH09307896A (ja) | 動画像符号化方法及び動画像符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060322 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070403 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071113 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090106 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090304 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090331 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120501 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090413 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120501 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130501 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140501 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |