JPWO2004107736A1 - 画像処理装置、および画像処理プログラム - Google Patents

画像処理装置、および画像処理プログラム Download PDF

Info

Publication number
JPWO2004107736A1
JPWO2004107736A1 JP2005506486A JP2005506486A JPWO2004107736A1 JP WO2004107736 A1 JPWO2004107736 A1 JP WO2004107736A1 JP 2005506486 A JP2005506486 A JP 2005506486A JP 2005506486 A JP2005506486 A JP 2005506486A JP WO2004107736 A1 JPWO2004107736 A1 JP WO2004107736A1
Authority
JP
Japan
Prior art keywords
tile
image processing
processing apparatus
difference
slope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005506486A
Other languages
English (en)
Other versions
JP4321523B2 (ja
Inventor
英康 国場
英康 国場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2004107736A1 publication Critical patent/JPWO2004107736A1/ja
Application granted granted Critical
Publication of JP4321523B2 publication Critical patent/JP4321523B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/527Global motion vector estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明は、画像をタイル単位に圧縮・伸張することによってタイル境界に発生する歪み(以下『タイル歪み』という)を軽減する画像処理装置である。この画像処理装置は、段差検出部、スロープ演算部、およびスロープ修正部を備える。この段差検出部は、タイル境界を挟む画素間で差分を算出し、この差分に基づいてタイル歪みの階調段差を検出する。スロープ演算部は、この階調段差を所定幅(ただし、所定幅<タイル幅)でゼロに近づけるスロープ状の補正値を算出し、タイルの境界近傍の画素値に付加する。その結果、タイル歪みによる急峻な階調段差を、なだらかなスロープ変化に修正する。このような処理により、タイル歪みは良好に軽減する。

Description

画像をタイル単位に圧縮・伸張することにより、画像のタイル境界に非連続なタイル歪みが発生する。本発明は、このタイル歪みを目立たないように軽減する画像処理技術に関する。
JPEG2000その他の画像圧縮技術では、処理バッファの容量を削減するため、画像を小区画(タイル)単位に画像圧縮する。このようなタイル単位の画像圧縮技術では、圧縮効率を極端に高めることによって、伸張画像のタイル境界にタイル歪みが生じる。
一方、JPEGその他の画像圧縮技術では、(8画素×8画素)程度の微小ブロックを直交変換単位として画像圧縮を実行する。このような微小ブロック単位の処理においても、ブロックノイズを生じることが従来から知られている。
従来、この種のブロックノイズを軽減する技術として、下記の特許文献1〜3が知られている。
すなわち、特許文献1には、隣接ブロック内の画素変化を外延することで対象ブロック内の画素平均値を予測し、その予測値に応じて対象ブロックの画素値を一律にレベルシフトする技術が記載されている。
一方、特許文献2,3には、ブロックの境界部分をフィルタ処理することによってブロックノイズを軽減する技術が記載されている。
米国特許第5757969号明細書 米国特許第6115503号明細書 米国特許第5555029号明細書
ところで、上述した特許文献1は、(8画素×8画素)程度の微小ブロックを対象とした技術である。このような微小ブロックの画素平均値を、周囲の微小ブロックから予測することは比較的容易である。また、この予測が万一外れても、予測外れの影響は微小ブロック内に限定されるため、画像全体に顕著な破綻が目立つことはない。
一方、本発明が対象とするタイルは、数百画素以上の大面積である。そのため、タイルの場合には、タイル個々の絵柄といった変動要因が大きく影響し、特許文献1のような予測動作では外れる確率が高くなる。
また、大面積のタイルは辺が長い。そのためタイル全体を一律にレベルシフトする方法では、一カ所のタイル歪みを除去できても、辺上の別の箇所で新たなタイル歪みが発生する。
一方、上述した特許文献2のフィルタ処理を、タイル歪みの軽減に応用した場合、タイル境界に存在する絵柄本来の高域成分まで欠損してしまうという問題が生じる。
そこで、本発明では、タイル歪みを軽減するための新たな技術を提供することを目的とする。
以下、本発明について説明する。
[1]
本発明の画像処理装置は、画像をタイル単位に圧縮・伸張することによってタイル境界に発生する歪み(以下『タイル歪み』という)を軽減する装置である。この画像処理装置は、段差検出部、スロープ演算部、およびスロープ修正部を備える。
この段差検出部は、タイル境界を挟む画素間において差分を算出し、この差分に基づいてタイル歪みの階調段差を検出する。
スロープ演算部は、この階調段差を所定幅(ただし、所定幅<タイル幅)でゼロに近づけるスロープを求め、このスロープ状に値を変化させるための補正値を算出する。
スロープ修正部は、このスロープ状の補正値でタイルの境界近傍の画素値を修正することにより、タイル歪みの階調段差をなだらかなスロープ変化に修正する。
[2]
なお好ましくは、上記の段差検出部は、まず、差分をタイルの境界線方向に局所平滑化する。段差検出部は、この局所平滑化された差分に基づいて、タイル歪みの階調段差を求める。
[3]
また好ましくは、上記の段差検出部は、差分をタイルの境界線方向に重み付け加算して階調段差を求める。この場合、段差検出部は、差分の変化が大きい箇所ほど、重み付け加算の加重配分を抑制する。
[4]
なお好ましくは、上記の段差検出部は、差分をタイルの境界線方向に重み付け加算して階調段差を求める。この場合、段差検出部は、差分が大きい箇所ほど、重み付け加算の加重配分を抑制する。
[5]
また好ましくは、上記の段差検出部は、差分をタイルの境界線方向に重み付け加算して階調段差を求める。この場合、段差検出部は、境界線方向における画素値の変化が大きい箇所ほど、重み付け加算の加重配分を抑制する。
[6]
なお好ましくは、上記の段差検出部は、タイル境界の近傍画素を境界線方向に平滑して平滑値を求める。段差検出部は、タイル境界を挟む平滑化値について差分を算出し、その差分に基づいてタイル歪みの階調段差を求める。
[7]
また好ましくは、上記のスロープ修正部は、タイル境界において画素値のグラディエントを求める。スロープ修正部は、このグラディエントと略直交する方向にスロープ変化を付加する。
[8]
なお好ましくは、上記のスロープ修正部は、タイルの境界両側の画素値にスロープ変化を付加する。
[9]
また好ましくは、上記のスロープ修正部は、タイルの境界片側の画素値にスロープ変化を付加する。
[10]
なお好ましくは、水平W画素×垂直H画素の画像を、水平w画素×垂直h画素のタイルに区分し、タイルの群を走査順に処理する場合、段差検出部は、少なくとも(W+h−1)画素分のバッファを準備する。段差検出部は、このバッファに、タイル歪みの軽減処理を済ませたタイル群の『未処理のタイル群と接する辺』に位置する画素値を逐次更新しながら保持する。
[11]
本発明の画像処理プログラムは、コンピュータを、上述した画像処理装置として機能させることを特徴とする。
[12]
以上説明したように、本発明では、タイル境界を挟む画素間の差分からタイル歪みの階調段差を検出し、この階調段差をなだらかなスロープ変化に修正する。
その結果、タイル歪みの目立たない、良好な画像を得ることができる。
なお、本発明における上述した目的およびそれ以外の目的は、以下の説明と添付図面とによって容易に確認することができる。
図1は、本実施形態における画像処理装置11の構成を示す図である。
図2は、画像処理装置11の動作を説明する流れ図である。
図3は、タイル境界の様子を説明する図である。
図4は、階調段差の算出処理を説明する図である。
図5は、スロープ状の階調修正を示す図である。
図6は、スロープの付加方向を示す図である。
図7は、バッファ15の記録更新動作を説明する図である。
図8は、画像処理装置11の動作を説明する流れ図である。
以下、図面に基づいて本発明にかかる実施形態を説明する。
[本実施形態の構成説明]
図1は、本実施形態における画像処理装置11の構成を示す図である。
この画像処理装置11は、次の構成要件を備える。
(1)画像伸張部12・・JPEG2000の画像圧縮ファイルを、タイル単位に画像伸張する。
(2)タイル画像メモリ13・・画像伸張されたタイルを一時記憶する。
(3)段差検出部14・・タイル境界を挟んだ画素間の差分に基づいて、タイル歪みの階調段差を検出する。
(4)バッファ15・・(W+h−1)画素分の記憶容量を少なくとも有する。ただし、Wは画像の水平画素数であり、hはタイルの垂直画素数である。
(5)スロープ演算部16・・階調段差からスロープ状の補正値を算出する。
(6)スロープ修正部17・・タイル境界の近傍画素にスロープ変化を付加する。
[本実施形態の動作説明]
図2は、画像処理装置11の動作を説明する流れ図である。以下、図2に示すステップ番号に沿って動作説明を行う。
ステップS1:
画像伸張部12は、JPEG2000の画像圧縮ファイルを取り込み、タイル単位に画像伸張(算術復号化,エントロピー復号化,逆量子化,および逆ウェーブレット変換)を行う。このタイル単位の画像伸張は、図7に示す走査順(左のタイルから右のタイルへ、右端のタイルからは下段左端のタイルへ)に実施される。
画像伸張された未処理タイル(タイル歪みの軽減処理を済ませる前のタイル)の輝度成分は、タイル画像メモリ13に一時記憶される。
ステップS2:
段差検出部14は、未処理タイルの上辺または左辺に、処理済みタイル(タイル歪みの軽減処理を済ませたタイル)が隣接しているか否かを判定する。
ここで、隣接する処理済みタイルがある場合、段差検出部14はステップS4に動作を移行する。
一方、隣接する処理済みタイルがない場合(未処理タイルが画面の左上隅に位置する場合)、段差検出部14はステップS3に動作を移行する。
ステップS3:
段差検出部14は、未処理タイルの下辺(図3に示すAh1〜Ahw)と右辺(図3に示すA1w〜A(h−1)w)に並ぶ画素列を、バッファ15に一時記憶する。このような動作の後、段差検出部14はステップS10に動作を移行する。
ステップS4:
段差検出部14は、処理済みタイルの隣接辺をバッファ15から読み出す。
例えば、図3に示すケースでは、段差検出部14は、バッファ15から、処理済みタイルUの下辺(Uh1〜Uhw)、および処理済みタイルLの右辺(L1w〜Lhw)をそれぞれ読み出す。
ステップS5:
段差検出部14は、タイル境界を挟む画素間において、画素値の差分を算出する。
例えば、図3に示すケースでは、段差検出部14は、処理済みタイルUの下辺(Uh1〜Uhw)から、未処理タイルAの上辺(A11〜A1w)をそれぞれ減算する。また、処理済みタイルLの右辺(L1w〜Lhw)から、未処理タイルAの左辺(A11〜Ah1)をそれぞれ減算する。
ステップS6:
段差検出部14は、図4に示すように、求めた差分を境界線方向に沿って局所平滑化し、階調段差(ΔA1w〜ΔAh1)を求める。
なお、タイル境界線の端では、局所平滑化のサンプル数が不足するため、差分の折り返しや外延を行って、サンプル数の不足を補うことが好ましい。
また、図4に示すように、未処理タイルの上辺と左辺とを、連続したタイル境界線として扱うことが好ましい。この場合、未処理タイルの左上隅においてタイル境界線は途切れず、左上隅において局所平滑化のサンプル数を確保することができる。その結果、左上隅付近の階調段差(ΔA11など)を一段と正確に求めることができる。
以下、局所平滑化の具体例について個別に説明する。
[1]局所平滑化を平均演算によって実行する場合
一般に、差分には、境界線方向になだらかに変化するタイル歪みの階調段差Δと、絵柄や画像ノイズに起因する高域成分とが含まれる。そこで、境界線方向に平均演算を実行して高域成分を抑制することにより、タイル歪みの階調段差Δを検出することができる。
[2]局所平滑化を重み付け加算により実行する場合
例えば、差分の局所サンプルが、
(a−2,a−1,a,a,a
の場合に、
Figure 2004107736
ただしw(k)は加重配分
の重み付け加算を実行して、階調段差Δを計算する。
このとき、加重配分ω(k)は、画素間距離(kの絶対値)が離れるほど、小さく設定することが好ましい。
例えば、加重配分ω(k)は、
ω(−2)<ω(−1)<ω(0)>ω(1)>ω(2)
のように設定される。このような加重配分により、タイル境界上に比較的短い幅で発生する階調段差Δを正確に検出することができる。
[3]重み付け加算の加重配分を差分変化に応じて調整する場合
上述した(1)式の重み付け加算を実行して、階調段差Δを計算する。
このとき、加重配分ω(k)は、差分変化に応じて
Figure 2004107736
のように調整する。
なお、式中のσは加重配分のバラツキ幅を調整する係数であり、例えば10程度に設定される(以下同じ)。
ここでは、境界線方向の差分変化が大きい箇所ほど、加重配分が抑制される。その結果、絵柄に起因して差分が大きく変化する箇所を階調段差Δに反映させず、境界線方向に微小変化する階調段差Δを正確に検出できる。
[4]重み付け加算の加重配分を差分に応じて調整する場合
上述した(1)式の重み付け加算を実行して、階調段差Δを計算する。
このとき、加重配分ω(k)は、差分の絶対値に応じて、
Figure 2004107736
のように調整される。
ここでは、差分の絶対値が大きい箇所ほど、加重配分が抑制される。その結果、絵柄に起因して差分が大きくなる箇所を階調段差Δに反映させず、微小レベルの階調段差Δを正確に検出できる。
[5]重み付け加算の加重配分を画素値の変化に応じて調整する場合
上述した(1)式の重み付け加算を実行して、階調段差Δを計算する。
このとき、加重配分ω(k)は、画素値の変化に応じて、
Figure 2004107736
のように調整される。
ここでは、境界線方向における画素値の変化が大きい箇所ほど、加重配分が抑制される。その結果、画像の平坦領域における差分を重視して、階調段差Δを正確に検出できる。
[6]局所平滑化をメディアン演算,または最頻値演算で実行する場合
差分の局所サンプルの中からメディアン値または最頻値を求めて、階調段差Δとする。
この場合は、絵柄やノイズによる突発的な変動分を除去し、境界線方向になだらかに変化する階調段差Δを正確に検出できる。
ステップS7:
スロープ演算部16は、タイル歪みの階調段差Δから所定幅(ただし、所定幅<タイル幅)でゼロに近づくスロープを設定する。ここでの所定幅は、急峻な階調段差が目立たなくなる程度の幅に設定することが好ましい。例えば、4画素程度の幅に設定すればよい。
このスロープ状に変化する補正値(例えば、Δ,Δ,Δ/2,Δ/3)を求める。
ステップS8:
スロープ修正部17は、未処理タイルの境界近傍にスロープ状の補正値を付加する。その結果、図5[A],[B]に示すように、タイル境界における急峻な階調段差Δが、なだらかなスロープ変化に修正され、目立たなくなる。(ちなみに、この図5は、分かりやすくするため、絵柄本来の信号変化を除いて図示している。タイル境界の両側にまたがる絵柄変化が、このスロープ変化に重畳することによって、スロープ変化はさらに目立たなくなる。)
なお、このスロープの付加方向を工夫することにより、絵柄に対する悪影響を更に低く抑えることもできる。
以下、スロープの付加方向について、図6を用いて説明する。
図6[A]では、タイル境界と直交する方向にスロープ変化を付加する。この場合は、左辺側の処理(左辺側の階調段差の検出,左辺側のスロープ付加)と、上辺側の処理(上辺側の階調段差の検出,上辺側のスロープ付加)とを2段階で実施することが好ましい。このような段階的な処理により、未処理タイルの左上隅付近において2方向のスロープ変化を破綻無く付加することができる。
一方、図6[B]では、未処理タイルの左上隅付近において、斜め右下方向にスロープ変化を付加する。この場合、左上隅付近におけるスロープ変化の重複を極力防ぐことができる。
また、図6[C]では、タイル境界における画素値のグラディエントを求め、このグラディエントの略直交方向にスロープ変化を付加する。この場合、画素値変化の緩やかな方向にスロープ変化を付加することになるため、絵柄に対する悪影響を一段と低く抑えることができる。
ステップS9:
段差検出部14は、バッファ15内の処理済みタイルUの下辺(図3に示すUh1〜Uhw)を、未処理タイルAの下辺(図3に示すAh1〜Ahw)で上書き更新する。
さらに、段差検出部14は、バッファ15内の処理済みタイルLの右辺(図3に示すL1w〜L(h−1)w)を、未処理タイルAの右辺(図3に示すA1w〜A(h−1)w)で上書き更新する。
このようなデータ更新により、図7に示すように、処理済みタイル群の『未処理のタイル群と接する辺』の最新の画素値が、バッファ15内に常に保持される。
このバッファは、最大でも(W+h−1)画素分の記憶容量があれば足りるため、画像処理装置11の装置構成を単純化することができる。
ステップS10:
ここで、画像処理装置11は、全タイルの処理を完了したか否かを判定する。
まだ、全タイルの処理が済んでいない場合、画像処理装置11はステップS1に戻って動作を繰り返す。
一方、全タイルの処理が完了している場合、画像処理装置11は、タイル歪みの軽減処理を終了する。この画像処理装置11で処理された輝度成分は、色差成分と合わせてコンポーネント化され、カラー画像として外部出力される。
[本実施形態の効果など]
以上説明したように、本実施形態では、タイル歪みによる急峻な階調段差を、なだらかなスロープ状の階調変化に修正する。したがって、タイル歪みが目立たなくなる。
このような処理を施すことにより、高圧縮の画像圧縮ファイルであっても良質な伸張画像を得ることが可能になる。また逆に、タイル歪みを気にせず、更に高圧縮の画像圧縮を行うことが可能になる。
さらに、スロープ状の階調修正では、スロープ変化と絵柄自体がなだらかに混じるため、画像に疑エッジは生じにくい。また、スロープ状の階調修正では、空間周波数フィルタをかける場合と異なり、絵柄本来の高域成分は欠損しづらい。このような理由から、本実施形態の画像処理は、絵柄に対する悪影響が極めて小さい。
また、本実施形態では、タイルの境界線方向に差分を局所平滑化して階調段差を求める。この局所平滑化によって『絵柄やノイズの変動』を差分から除去し、タイル歪みの階調段差を正確に求めることができる。
さらに、本実施形態では、差分の局所サンプルごとに平滑化を行うため、階調段差の局所変化を保存できる。そのため、一律のスロープ変化を付加するだけでなく、長いタイル辺の局所々々に適正量のスロープ変化を柔軟に付加することができる。その結果、従来技術とは明らかに異なり、長いタイル辺の一箇所で階調段差を解消したら、別の箇所に階調段差が現れるなどの不具合はない。
なお、本実施形態では、上記の局所平滑化において、差分の変化が大きな箇所ほど、加重配分を低くする。通常、差分の変化が大きな箇所は、画像の絵柄本来の変動成分の影響が強い。そこで、差分の変化が大きい箇所について加重配分を抑制することにより、タイル歪みの階調段差を一段と正確に検出できる。
また、本実施形態では、上記の局所平滑化において、差分の大きい箇所ほど、加重配分を低くする。通常、差分の大きな箇所は、画像の絵柄本来の変動成分の影響が強い。そこで、差分の大きい箇所について加重配分を抑制することにより、タイル歪みの階調段差を一段と正確に検出できる。
なお、本実施形態では、上記の局所平滑化において、境界線方向の画素値の変化が大きい箇所ほど、加重配分を低くする。通常、画素値の変化が大きな箇所は、画像の絵柄本来の変動成分の影響が強い。そこで、画素値の変化が大きな箇所について加重配分を抑制することにより、タイル歪みの階調段差を一段と正確に検出できる。
また、本実施形態では、タイル境界の片側(未処理タイル側)に、スロープ変化を付加している。この場合、反対側の処理済みタイルに対してスロープ変化を改めて付加する必要がなく、処理速度を高速化することができる。
さらに、本実施形態では、処理済みタイルのタイル辺を、(W+h−1)画素分のバッファに更新記憶して保持する。したがって、処理中に処理済みタイルの膨大な画像データを保持する必要がなく、画像処理装置11に必要なメモリ容量を大幅に削減できる。
[本実施形態の補足事項]
なお、上述した実施形態では、ウェーブレット逆変換後の画素値にたいして、処理を行っている。しかしながら、本発明はこれに限定されるものではない。例えば、ウェーブレット変換係数に対して上述の処理を施すことも可能である。この場合、低域サブバンドの差分を算出することによって、上述の局所平滑化を省略することができる。
また、上述した実施形態では、JPEG2000の場合について説明した。しかしながら、本発明はこれに限定されるものではない。一般に、本発明は、タイル歪みを含む画像全般に対して有効である。
なお、上述した実施形態では、輝度成分にタイル歪みの軽減処理を実施している。しかしながら、本発明はこれに限定されるものではない。例えば、色成分のそれぞれについて、タイル歪みの軽減処理を施してもよい。また、輝度成分を一番多く含む色成分のみに、タイル歪みの軽減処理を施してもよい。
なお、上述した実施形態において、階調段差Δの値が大きいほど、スロープ変化の幅を広くすることが好ましい。この場合、スロープ変化の傾きを常に小さく保つことができるため、タイル歪みは一段と目立たなくなる。
また、上述した実施形態では、タイル境界の片側にスロープ変化を付加している。しかしながら、本発明はこれに限定されるものではない。例えば、図5[C]に示すように、タイル境界の両側にスロープ変化を付加してもよい。この場合、各タイルについては、階調段差Δの半分程度のスロープを付ければよいため、絵柄に対する悪影響を更に小さくすることができる。なお、この場合は、対向するタイル境界からそれぞれ発生するスロープが重複しないよう、所定幅<(タイル幅/2)に設定することもできる。
また、上述した実施形態において、スロープ形状は、階調変化が目立ちにくいものであればよく、直線状または曲線状のいずれでもよい。
さらに、上述した実施形態では、単調に減少または増加するスロープを設定したが、本発明のスロープはこれに限定されない。一例として、隣接タイルの境界付近の画素値変化(特に低域変化)にスムーズに連続した後、ゼロに近づくスロープを設定してもよい。例えば、隣接タイルの境界付近の画素値変化が階調段差を拡大する傾き方向であれば、図5[D]に示すようなピークを含むスロープを付加すればよい。なお、この場合のピークは、所定幅を若干広げるなどして、実質的にリンギングとならない程度のなだらかなピークにすることが好ましい。
なお、本実施形態の画像処理装置11は、ハードウェアで実現してもよいし、コンピュータ上でソフトウェア的に実現してもよい。また、インターネットなどの通信回線上において、本発明の画像処理サービスを提供してもよい。
また、上述した実施形態では、タイル境界を挟む画素間の差分を平滑化して、段差Δを求めている。しかしながら、本発明はこれに限定されるものではない。例えば、図8に示す処理により段差Δを求めてもよい。
すなわち、段差検出部14は、タイル境界の近傍画素を境界線方向に局所平滑化することにより、まず平滑化値を求める(図8のステップS30)。次に、段差検出部14は、タイル境界を挟む平滑化値の間で差分を求める。段差検出部14は、この平滑化値の差分に基づいて、タイル歪みの段差Δを画素単位または辺単位に推定する(図8のステップS31)。このような処理によっても、画像構造の影響を排除して、タイル歪みの段差Δを精度良く求めることができる。
なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。
以上説明したように、本発明は、画像処理装置および画像処理プログラムに利用可能な技術である。

Claims (11)

  1. 画像をタイル単位に圧縮・伸張することによって前記タイル境界に発生する歪み(以下『タイル歪み』という)を軽減する画像処理装置であって、
    前記タイル境界を挟む画素間で差分を算出し、前記差分に基づいて前記タイル歪みの階調段差を検出する段差検出部と、
    前記階調段差を所定幅(ただし、所定幅<タイル幅)でゼロに近づける『スロープ状の補正値』を算出するスロープ演算部と、
    前記スロープ状の補正値で前記タイルの境界近傍の画素値を修正することにより、前記タイル歪みの階調段差をなだらかなスロープ変化に修正するスロープ修正部と
    を備えたことを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記段差検出部は、前記差分を前記タイルの境界線方向に局所平滑化し、局所平滑化された差分に基づいて、前記タイル歪みの階調段差を求める
    ことを特徴とする画像処理装置。
  3. 請求項1に記載の画像処理装置において、
    前記段差検出部は、前記差分を前記タイルの境界線方向に重み付け加算して前記階調段差を求める手段であり、前記差分の変化が大きい箇所ほど、前記重み付け加算の加重配分を抑制する
    ことを特徴とする画像処理装置。
  4. 請求項1に記載の画像処理装置において、
    前記段差検出部は、前記差分を前記タイルの境界線方向に重み付け加算して前記階調段差を求める手段であり、前記差分の絶対値が大きい箇所ほど、前記重み付け加算の加重配分を抑制する
    ことを特徴とする画像処理装置。
  5. 請求項1に記載の画像処理装置において、
    前記段差検出部は、前記差分を前記タイルの境界線方向に重み付け加算して前記階調段差を求める手段であり、前記境界線方向における画素値の変化が大きい箇所ほど、前記重み付け加算の加重配分を抑制する
    ことを特徴とする画像処理装置。
  6. 請求項1に記載の画像処理装置において、
    前記段差検出部は、前記タイル境界の近傍画素を境界線方向に平滑して平滑値を求め、前記タイル境界を挟む前記平滑化値の差分を算出し、前記差分に基づいて前記タイル歪みの階調段差を求める
    ことを特徴とする画像処理装置。
  7. 請求項1ないし請求項6のいずれか1項に記載の画像処理装置において、
    前記スロープ修正部は、前記タイル境界において画素値のグラディエントを求め、前記グラディエントに略直交する方向に前記スロープ変化を付加する
    ことを特徴とする画像処理装置。
  8. 請求項1ないし請求項7のいずれか1項に記載の画像処理装置において、
    前記スロープ修正部は、前記タイル境界の両側の画素値に前記スロープ変化を付加する
    ことを特徴とする画像処理装置。
  9. 請求項1ないし請求項7のいずれか1項に記載の画像処理装置において、
    前記スロープ修正部は、前記タイル境界の片側の画素値に前記スロープ変化を付加する
    ことを特徴とする画像処理装置。
  10. 請求項1ないし請求項9のいずれか1項に記載の画像処理装置において、
    水平W画素×垂直H画素の画像を、水平w画素×垂直h画素のタイルに区分し、前記タイルの群を走査順に処理する場合、
    前記段差検出部は、少なくとも(W+h−1)画素分のバッファを有し、前記タイル歪みの軽減処理を済ませたタイル群から、『未処理のタイル群と接する辺』の画素値を抽出して前記バッファに記録する
    ことを特徴とする画像処理装置。
  11. コンピュータを、請求項1ないし請求項10のいずれか1項に記載の画像処理装置として機能させるための画像処理プログラム。
JP2005506486A 2003-05-27 2004-05-20 画像処理装置、および画像処理プログラム Expired - Lifetime JP4321523B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2003149136 2003-05-27
JP2003149136 2003-05-27
PCT/JP2004/007198 WO2004107736A1 (ja) 2003-05-27 2004-05-20 画像処理装置、および画像処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2004107736A1 true JPWO2004107736A1 (ja) 2006-07-20
JP4321523B2 JP4321523B2 (ja) 2009-08-26

Family

ID=33487143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005506486A Expired - Lifetime JP4321523B2 (ja) 2003-05-27 2004-05-20 画像処理装置、および画像処理プログラム

Country Status (5)

Country Link
US (1) US7209597B2 (ja)
EP (1) EP1631057A4 (ja)
JP (1) JP4321523B2 (ja)
CN (1) CN1795665B (ja)
WO (1) WO2004107736A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279308A (ja) 2005-03-28 2006-10-12 Toshiba Corp 情報処理装置および画像処理方法
JP5451313B2 (ja) * 2009-10-27 2014-03-26 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US8755636B2 (en) * 2011-09-14 2014-06-17 Mediatek Inc. Method and apparatus of high-resolution image reconstruction based on multi-frame low-resolution images
WO2013063784A1 (en) 2011-11-03 2013-05-10 Thomson Licensing Video encoding and decoding based on image refinement
US9741089B2 (en) 2013-05-02 2017-08-22 Arm Limited Graphics processing systems
US9767595B2 (en) 2013-05-02 2017-09-19 Arm Limited Graphics processing systems
US9607356B2 (en) 2013-05-02 2017-03-28 Arm Limited Graphics processing systems
JP6208993B2 (ja) * 2013-06-28 2017-10-04 ルネサスエレクトロニクス株式会社 画像復号装置及び画像復号装置の復号処理方法
US9514563B2 (en) * 2013-08-30 2016-12-06 Arm Limited Graphics processing systems
US11107264B2 (en) * 2019-01-18 2021-08-31 Arm Limited Graphics processing systems for determining blending operations

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0514735A (ja) * 1991-07-01 1993-01-22 Kubota Corp 画像処理装置
KR0128881B1 (ko) 1994-04-30 1998-04-10 배순훈 디지틀화상복호화장치
JP3540855B2 (ja) * 1995-03-08 2004-07-07 シャープ株式会社 ブロック歪み補正器
JPH0993580A (ja) * 1995-09-28 1997-04-04 Toshiba Corp 画像復号化装置
US6041145A (en) * 1995-11-02 2000-03-21 Matsushita Electric Industrial Co., Ltd. Device and method for smoothing picture signal, device and method for encoding picture and device and method for decoding picture
US5974196A (en) * 1996-03-15 1999-10-26 Sony Corporation Method and apparatus for blocking effect reduction in images
EP1469680B1 (en) * 1996-05-14 2008-06-18 Daewoo Electronics Corporation Method and apparatus for removing blocking effects in a motion picture decoder
US6434275B1 (en) * 1997-05-28 2002-08-13 Sony Corporation Block distortion reduction method and device and encoding method and device
FI103003B1 (fi) * 1997-06-13 1999-03-31 Nokia Mobile Phones Ltd Suodatusmenetelmä, suodatin ja matkaviestinpääte
AUPP444898A0 (en) * 1998-07-02 1998-07-23 Canon Kabushiki Kaisha A method and apparatus for boundary filtering a digital image
JP4419287B2 (ja) * 2000-06-27 2010-02-24 ソニー株式会社 画像処理装置および画像処理方法、並びに記録媒体
JP3589956B2 (ja) 2000-07-12 2004-11-17 日本電信電話株式会社 画像間濃度平滑化方法および画像間濃度平滑化プログラムを記録した記録媒体
EP1193649A1 (en) * 2000-09-28 2002-04-03 Sony International (Europe) GmbH Quality rating function for a discrete decoded picture
US7003174B2 (en) * 2001-07-02 2006-02-21 Corel Corporation Removal of block encoding artifacts
EP1359547A3 (fr) * 2002-03-29 2006-05-24 Koninklijke Philips Electronics N.V. Procédé de traitement d'images numériques pour applications bas débit

Also Published As

Publication number Publication date
EP1631057A1 (en) 2006-03-01
JP4321523B2 (ja) 2009-08-26
US7209597B2 (en) 2007-04-24
EP1631057A4 (en) 2007-01-17
CN1795665B (zh) 2013-01-09
WO2004107736A1 (ja) 2004-12-09
CN1795665A (zh) 2006-06-28
US20060018558A1 (en) 2006-01-26

Similar Documents

Publication Publication Date Title
US7209597B2 (en) Image processing apparatus for reducing tile distortion
JP3095140B2 (ja) ブロック化効果の低減のための一次元信号適応フィルター及びフィルタリング方法
JP3001094B2 (ja) リンギングノイズの減少のための信号適応フィルタリング方法及び信号適応フィルター
US7783125B2 (en) Multi-resolution processing of digital signals
EP1959390A1 (en) Visual processing apparatus, display apparatus, visual processing method, program and integrated circuit
US20090097775A1 (en) Visual processing device, visual processing method, program, display device, and integrated circuit
JP5035029B2 (ja) 信号処理装置および方法、並びにプログラム
JP4641784B2 (ja) 階調変換処理装置、階調変換処理方法、画像表示装置、テレビジョン、携帯情報端末、カメラ、集積回路および画像処理プログラム
US10922792B2 (en) Image adjustment method and associated image processing circuit
JP3195142B2 (ja) 画像処理方法及び装置
WO2002067589A1 (en) Image processing system, image processing method, and image processing program
JP2005167520A (ja) 圧縮復元画像におけるモスキート・ノイズの削減方法及び装置
JP2006333202A (ja) 映像信号処理装置、および映像信号処理方法
US8601042B2 (en) Signal processing device and method, and signal processing program
JP4380498B2 (ja) ブロック歪み低減装置
JP2005117449A (ja) モスキートノイズ低減装置、モスキートノイズ低減方法、及びモスキートノイズ低減用プログラム
JP5180550B2 (ja) 画像処理装置及び画像処理方法
KR101515440B1 (ko) 압축 영상에 대한 명암 대비 개선 장치 및 방법
JP4449430B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに記録媒体
US5757975A (en) Artifact reduction for large dynamic range input data in JPEG compression
JP4083043B2 (ja) 符号化ノイズ除去装置
JP4495653B2 (ja) 符号化歪み低減装置および符号化歪み低減プログラム
JP2004056213A (ja) 画像伸張装置、および画像伸張プログラム
JP3889629B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2005191865A (ja) 画像処理装置、画像処理プログラムおよび画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090512

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090525

R150 Certificate of patent or registration of utility model

Ref document number: 4321523

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120612

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150612

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150612

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150612

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250