JP4266195B2 - 画像処理装置、画像処理方法、プログラム及び情報記録媒体 - Google Patents

画像処理装置、画像処理方法、プログラム及び情報記録媒体 Download PDF

Info

Publication number
JP4266195B2
JP4266195B2 JP2004270314A JP2004270314A JP4266195B2 JP 4266195 B2 JP4266195 B2 JP 4266195B2 JP 2004270314 A JP2004270314 A JP 2004270314A JP 2004270314 A JP2004270314 A JP 2004270314A JP 4266195 B2 JP4266195 B2 JP 4266195B2
Authority
JP
Japan
Prior art keywords
processing
coefficient
frequency conversion
detiling
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004270314A
Other languages
English (en)
Other versions
JP2006086883A (ja
Inventor
亨 水納
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2004270314A priority Critical patent/JP4266195B2/ja
Publication of JP2006086883A publication Critical patent/JP2006086883A/ja
Application granted granted Critical
Publication of JP4266195B2 publication Critical patent/JP4266195B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本発明は、画像処理の分野に係り、より詳細には、画像を重複しないタイルに分割し、タイル単位で2次元周波数変換した際のミラリングの影響により発生するタイル境界歪みの除去(デタイル)を行う画像処理装置及び方法に関する。
近年、画像入出力技術の進歩により、画像に対する高精細化の流れはとどまるところを知らず、高精細画像を容易に圧縮・伸長できる技術への要求も強いものがある。
こうした要求を満たす圧縮・伸長方式の一つとして、高精細画像を小さい単位に分割して処理でき、高圧縮率でも高画質な画像を復号可能なJPEG2000がある。
JPEG2000においては、画像を重複しない矩形のブロック(タイル)に分割することにより、少ないメモリ環境下で圧縮伸張処理を行うことが可能である。すなわち、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となり、圧縮伸長動作はタイル毎に独立に行うことができる。
このような分割処理はタイリングと呼ばれ、省メモリ化・処理高速化に有効な手法であるが、圧縮率の高い条件で圧縮を行った場合、その伸張画像においてタイルの境界が不連続になるタイル境界歪みが生じるという問題がある。
このタイル境界歪みは、見かけ上、離散コサイン変換(DCT)におけるブロック歪みに類似したものである。このDCTのブロック歪みの除去に関しては、
(1)ブロック分割された画像のDCT成分からブロック境界を抽出し、ブロック境界に垂直な一次元ローパスフィルタをかける方法(特許文献1参照)、
(2)ブロック境界の方向とエッジの方向との関係からブロック歪みの有無を判定し、ブロック歪みがある画素に対してローパスフィルタをかける方法(特許文献2参照)、
(3)ブロック歪みを検出し、検出されたブロック歪みに対しローパスフィルタをかける方法(特許文献3参照)、などが知られている。
これらはいずれも、ブロック境界の方向とエッジ度に応じて画素値に適応的なローパスフィルタをかけることにより、ブロック境界の歪みは平滑化しつつブロック境界に位置する真のエッジへの平滑化は避けることを意図している。しかし、こうした手法は、それがいかに適応的であっても、「歪み自体の平滑化(予定した作用)」と「真のエッジの平滑化(予定しない副作用)」のトレードオフにさいなまれることになる。
これに鑑み、本出願人は、JPEG2000のようなウェーブレット変換を用いる圧縮伸長システムにおいて、隣接するタイルのローパス係数とハイパス係数を利用して、ウェーブレット変換時のミラリングの影響を受けたタイル境界付近のハイパス係数の補正処理を行う、タイル境界歪み除去(デタイル)方法を提案している(特許文献4参照)。
特開平05-316361号公報 特許第2839987号公報 特開平09-307855号公報 特開2001−257596号公報
前記特許文献4に記載のデタイル方法は、ウェーブレット係数空間での画像復元に類する手法であり良好なタイル境界歪み除去を達成可能であるが、処理時間の短縮が課題である。
JPEG2000では、タイル単位で2次元のウェーブレット変換を行う。この2次元のウェーブレット変換では、まず垂直方向にウェーブレット変換を行い、その結果に対し水平方向にウェーブレット変換を行う。通常、この2次元ウェーブレット変換は階層的に行われる。すなわち、1回目の2次元ウェーブレット変換により生成されたLLサブバンド係数に対し2次元ウェーブレット変換を適用し、そのLLサブバンドに対し2次元ウェーブレット変換を適用するという操作を必要回数繰り返す。そして、各階層の垂直方向のウェーブレット変換時にタイル境界の下側のハイパス係数がミラリングの影響を受け、水平方向のウェーブレット変換時にタイル境界の右側のハイパス係数がミラリングの影響を受けることになる。
したがって、JPEG2000の符号データの伸長システムにおいて、前記特許文献4の教えるウェーブレット係数空間上でのデタイル処理を、ウェーブレット変換の手順を逆に辿りながら忠実に行おうとすると、次のような処理手順となる(処理手順については発明を実施するための最良の形態の欄でより具体的に説明する)。
まず、符号データより復号されたウェーブレット係数のうちの最上位階層のウェーブレット係数に対し、水平方向のタイル境界付近のハイパス係数を補正する処理が行われる。この補正後の係数値が元の量子化区間から外れた場合に係数値を量子化区間の近い側の端に修正するためのクリッピング処理が行われる。次に、最上位階層のウェーブレット係数に対し水平方向の逆ウェーブレット変換が行われ、その結果に対し垂直方向のタイル境界付近のハイパス係数を補正する処理が行われる。この補正後の係数値に対するクリッピング処理は、ウェーブレット係数に対し水平方向のウェーブレット変換(順変換)を行って最上位階層のウェーブレット係数に戻してから実行される。これは、水平方向逆ウェーブレット変換後の中間的なウェーブレット係数に対する量子化区間が定まらないためである。
このようにして、符号化時の2次元ウェーブレット変換と丁度逆の手順を辿ってデタイル処理された最上位階層のウェーブレット係数に対し2次元逆ウェーブレット変換を行った後、次位階層のウェーブレット係数に対し同様のデタイル処理を行うことになる。
このように、各階層のデタイル処理で水平方向の逆ウェーブレット変換と順ウェーブレット変換が行われ、これが処理時間の増加要因となり、階層数が多い場合にはデタイルのために長い処理時間を要してしまう。
よって、本発明の目的は、タイル単位の2次元ウェーブレット変換の際のミラリングの影響によるタイル境界歪みの除去を、ウェーブレット係数空間上で、より少ない処理時間で効率的に行うことができ、また、その処理のためのハードウェアやソフトウェアを単純化することができる新規な画像処理装置及び方法を提供することである。
ここまでは、ウェーブレット変換の場合について説明したが、本発明は、ウェーブレット変換以外の周波数変換を用いる場合にも適用し得るものである。
よって、本発明のより一般的な目的は、タイル(重複しない矩形ブロック)単位の2次元周波数変換の際のミラリングの影響によるタイル境界歪みの除去を、周波数変換係数空間上で、少ない処理時間で効率的に行うことができ、また、その処理のためのハードウェアやソフトウェアを単純化することができる新規な画像処理装置及び方法を提供することである。
請求項1記載の発明は、画像が重複しないタイルに分割され、タイル単位でN階層(ただしNは1以上の整数)の2次元周波数変換処理が行われることにより生成されたN階層の周波数変換係数を処理する画像処理装置であって、
前記周波数変換係数に対し2次元逆周波数変換処理を行う逆周波数変換手段と、
前記逆周波数変換手段による各階層の2次元逆周波数変換処理に先だって、少なくとも1の階層の周波数変換係数に対し、前記2次元周波数変換処理の際のミラリングの影響を除去するためのデタイル処理を施すデタイル処理手段とを有し、
前記デタイル処理手段は、前記少なくとも1の階層の周波数変換係数に対する前記デタイル処理において、当該階層の周波数変換係数に対し、周波数変換処理及び逆周波数変換処理を施すことなく、水平方向のタイル境界付近に位置する特定の係数の補正処理及びその補正値のクリッピング処理、並びに、垂直方向のタイル境界付近に位置する特定の係数の補正処理及びその補正値のクリッピング処理を行うことを特徴とする画像処理装置である。
請求項2記載の発明は、前記周波数変換処理はウェーブレット変換処理であることを特徴とする請求項1記載の発明の画像処理装置である。
請求項3記載の発明は、画像が重複しないタイルに分割され、タイル単位でN階層(ただしNは1以上の整数)の2次元周波数変換処理が行われ、そのN階層の周波数変換係数が符号化された符号データを処理する画像処理装置であって、
前記符号データより周波数変換係数を復号する手段と、
前記手段により復号された周波数変換係数に対し2次元逆周波数変換処理を行う逆周波数変換手段と、
前記逆周波数変換手段による各階層の2次元逆周波数変換処理に先だって、少なくとも1の階層の周波数変換係数に対し、前記2次元周波数変換処理の際のミラリングの影響を除去するためのデタイル処理を施すデタイル処理手段とを有し、
前記デタイル処理手段は、前記少なくとも1の階層の周波数変換係数に対する前記デタイル処理において、当該階層の周波数変換係数に対し、周波数変換処理及び逆周波数変換処理を施すことなく、水平方向のタイル境界付近に位置する特定の係数の補正処理及びその補正値のクリッピング処理、並びに、垂直方向のタイル境界付近に位置する特定の係数の補正処理及びその補正値のクリッピング処理を行うことを特徴とする画像処理装置である。
請求項4記載の発明は、前記周波数変換処理はウェーブレット変換処理であることを特徴とする請求項3記載の発明の画像処理装置である。
請求項5記載の発明は、前記符号データはJPEG2000による符号データであることを特徴とする請求項3記載の発明の画像処理装置である。
請求項6記載の発明は、前記符号データから、符号が破棄されたビットプレーン数(以下、トランケート数)を取得するトランケート数取得手段と、
前記トランケート数取得手段により取得されたトランケート数に基づいてウェーブレット係数の量子化区間を決定する量子化区間決定手段とをさらに有し、
前記デタイル処理手段は前記量子化区間決定手段により決定された量子化区間を前記クリッピング処理に用いることを特徴とする請求項5記載の発明の画像処理装置である。
請求項7記載の発明は、画像が重複しないタイルに分割され、タイル単位でN階層(ただしNは1以上の整数)の2次元ウェーブレット変換処理が行われることにより生成されたN階層のウェーブレット係数を処理する画像処理方法であって、
前記ウェーブレット係数に対し2次元逆ウェーブレット変換処理を行う逆ウェーブレット変換工程と、
前記逆ウェーブレット変換工程による各階層の2次元逆ウェーブレット変換処理に先だって、少なくとも1の階層のウェーブレット係数に対し、前記2次元ウェーブレット変換処理の際のミラリングの影響を除去するためのデタイル処理を施すデタイル処理工程とを有し、
前記デタイル処理工程は、前記少なくとも1の階層のウェーブレット係数に対する前記デタイル処理において、当該階層のウェーブレット係数に対し、ウェーブレット変換処理及び逆ウェーブレット変換処理を施すことなく、水平方向のタイル境界付近に位置する特定の係数の補正処理及びその補正値のクリッピング処理、並びに、垂直方向のタイル境界付近に位置する特定の係数の補正処理及びその補正値のクリッピング処理を行うことを特徴とする画像処理方法である。
請求項8記載の発明は、画像が重複しないタイルに分割され、タイル単位でN階層(ただしNは1以上の整数)の2次元ウェーブレット変換処理が行われ、そのN階層のウェーブレット係数が符号化された符号データを処理する画像処理方法であって、
前記符号データよりウェーブレット係数を復号する工程と、
前記工程により復号されたウェーブレット係数に対し、2次元逆ウェーブレット変換処理を行う逆ウェーブレット変換処理工程と、
前記逆ウェーブレット変換処理工程による各階層の2次元逆ウェーブレット変換処理に先だって、少なくとも1の階層のウェーブレット係数に対し、前記2次元ウェーブレット変換処理の際のミラリングの影響を除去するためのデタイル処理を施すデタイル処理工程を有し、
前記デタイル処理工程は、前記少なくとも1の階層のウェーブレット係数に対する前記デタイル処理において、当該階層のウェーブレット係数に対し、ウェーブレット変換処理及び逆ウェーブレット変換処理を施すことなく、水平方向のタイル境界付近に位置する特定の係数の補正処理及びその補正値のクリッピング処理、並びに、垂直方向のタイル境界付近に位置する特定の係数の補正処理及びその補正値のクリッピング処理を行うことを特徴とする画像処理方法である。
請求項9記載の発明は、前記符号データはJPEG2000による符号データであることを特徴とする請求項8記載の発明の画像処理方法である。
請求項10記載の発明は、請求項1乃至6のいずれか1項記載の発明の画像処理装置の各手段としてコンピュータを機能させるプログラムである。
請求項11記載の発明は、請求項1乃至6のいずれか1項記載の発明の画像処理装置の各手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。
請求項1乃至9に係る発明によれば、デタイル処理に順、逆周波数変換が含まれないため、それがデタイル処理に含まれる場合に比べデタイル処理をより効率的に少ない時間で実行することができ、しかも、順,逆周波数変換がデタイル処理に含まれる方式と同等のデタイル効果を達成できる。また、水平方向のデタイル処理と垂直方向のデタイル処理とが全く同一の処理となるため、デタイル処理を実行するためのハードウェア又はソフトウェアを単純化することができる。請求項6に係る発明によれば、JPEG2000の符号データにポスト量子化が行われている場合であっても、デタイル処理における係数補正値に対するクリッピング処理を適切に行うことができる。請求項10,11に係る発明によれば、コンピュータを利用し請求項1乃至6に係る発明を容易に実施することができる、等々の効果を得られるものである。
まず、JPEG2000の圧縮・伸長アルゴリズムの概要を説明する。図1はJPEG2000の圧縮・伸長アルゴリズムを説明するためのブロック図である。
まず圧縮処理について説明する。画像は重複しないタイルに分割され、タイル毎に処理される。各タイルの画像はDCレベルシフト・逆シフト部100によりDCレベルシフトを施され、次に色空間変換・逆変換部101により例えばRGB色空間からYCrCb(もしくはYUV)色空間へ変換される。この色空間変換後のタイルの各コンポーネント画像に対し、2次元ウェーブレット変換・逆変換部102により2次元ウェーブレット変換処理が行われる。JPEG2000では、ウェーブレット変換として可逆の5×3変換又は非可逆の9×7変換が用いられる。9×7変換が用いられる場合には、ウェーブレット係数は量子化・逆量子化部103でサブバンド毎に線形量子化を施される。次に、エントロピー符号化・復号化部104で、ウェーブレット係数はサブバンド毎にビットプレーン単位でのエントロピー符号化が行われる(より正確には各ビットプレーンは3つのサブビットプレーンに分割されて符号化される)。この際、量子化・逆量子化部103で、符号化対象ビットの周辺ビットの並びからコンテキストが生成され、これがエントロピー符号化・復号化部104に与えられる。そして、タグ処理部105において、必要なエントロピー符号をまとめてパケットが生成され、パケットが所要の順序に従って並べられとともに必要なタグ及びタグ情報が付加されることにより、1本のコードストリーム(JPEG2000の符号データ)が形成される。
エントロピー符号化及び符号形成について、図2〜図4によりさらに説明する。図2は画像、タイル、サブバンド、プリシンクト、コードブロックの関係を模式的に表した説明図である。タイル分割数=1の場合、画像とタイルは一致する。プリシンクトとは、サブバンドを(ユーザが指定可能なサイズの)矩形に分割した単位で、大まかには画像中の場所(Position)を表すものであり、インプリメンテーションでメモリを効率的に使うために導入されたものである。プリシンクトは、HL,LH,HHの3つのサブバンドにおいて空間的に一致している。つまり、プリシンクトは3つで1つのまとまりを成すものである。ただし、LLサブバンドを分割したプリシンクトは1つで1つのまとまりを成す。このようなプリシンクトは、サブバンドと同じサイズにすることも可能である。プリシンクトを分割した(ユーザが指定可能なサイズの)矩形がコードブロックであり、エントロピー符号化の基本単位となる。
プリシンクトに含まれる全てのコードブロックから、符号の一部を取り出して集めたもの(例えば、全てのコードブロックの最上位ビットから3枚目までのビットプレーンの符号を集めたもの)がパケットである。パケットは符号とヘッダ(パケットヘッダ)からなる。全てのプリシンクト(すなわち、全てのコードブロック、全てのサブバンド)のパケットを集めると、画像全域の符号の一部(例えば、画像全域のウェーブレット係数の最上位ビットから3枚目までのビットプレーンの符号)ができるが、これをレイヤとよぶ。レイヤは、大まかには画像全体のビットプレーンの符号の一部であるから、復号されるレイヤ数が増えれば画質は上がる。レイヤはいわば画質の単位である。
2次元ウェーブレット変換の階層数(デコンポジションレベル数)=2、プリシンクトサイズ=サブバンドサイズ、としたときのレイヤの例を図3に、レイヤに含まれるパケットの例を図4に示す。図3に示したレイヤNo.9に含まれるような下位ビットプレーンの符号は、符号形成段階で破棄(トランケート)されるのが通常である。
JPEG2000の符号データの伸長処理は圧縮処理と丁度逆の処理となる。すなわち、タグ処理部105において、符号データに付加されたタグ情報を解釈することにより、符号データは各コンポーネントの各タイルのコードストリームに分解され、また、各コンポーネント内のタグ情報に基づいた順番で復号化の対象ビットの位置が定められる。量子化・逆量子化部104で、その対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストが生成される。このコンテキストとコードストリームからエントロピー符号化・復号化部104で確率推定によってエントロピー復号化が行われて対象ビットが生成され、これが対象ビットの位置に書き込まれる。このようにして復号されたウェーブレット係数に対し(9×7ウェーブレット変換が用いられる場合には量子化・逆量子化部103で逆量子化を施された後)、2次元ウェーブレット変換・逆変換部102で2次元逆ウェーブレット変換処理が行われることにより、各タイルの各コンポーネントの画像データが生成され、これは色空間逆変換・逆変換部101で元の色空間へ戻され、さらにDCレベルシフト・逆シフト部100で逆DCレベルシフトを施される。
次に、JPEG2000における2次元ウェーブレット変換(順変換)について説明する。図5〜図10は、16×16画素のモノクロ画像に対して、5x3変換と呼ばれるウェーブレット変換を2次元に(垂直方向および水平方向の順)施す過程の説明図である。
まず垂直方向にウェーブレット変換を施す。図5の様にXY座標をとり、あるxについて、Y座標がyである画素の画素値をP(y)(0≦y≦15)と表す。JPEG2000では、まず垂直方向(Y座標方向)に、Y座標が奇数(y=2i+1)の画素を中心にハイパスフィルタを施して係数C(2i+1)を得た後、Y座標が偶数(y=2i)の画素を中心にローパスフィルタを施して係数C(2i)を得る(これを全てのxについて行う)。ここで、ハイパスフィルタは式(1)、ローパスフィルタは式(2)で表される。式中の記号|_x_|は、xのフロア関数(実数xを、xを越えず、かつ、xに最も近い整数に置換する関数)を示している。
C(2i+1)=P(2i+1)−|_(P(2i)+P(2i+2))/2_| 式(1)
C(2i)=P(2i)+|_(C(2i-1)+C(2i+1)+2)/4_| 式(2)
画像の端部又はタイルの境界部においては、中心となる画素に対して隣接画素群又は隣接係数群が存在しないことがある。この場合、図10に示した「ミラリング」と呼ばれる手法によって画素値又は係数値を補うことになる。ミラリングは、文字通り、画像の端又はタイル境界を中心として画素値又は係数値を線対称に折り返し、折り返した値を隣接画素群又は係数群の値とみなす処理である。
ここで、簡単のため、ハイパスフィルタで得られる係数をH、ローパスフィルタで得られる係数をLと表記すれば、前記垂直方向の変換によって図5の画像は図6のようなL係数とH係数の配列へと変換される。
続いて、図6の係数配列に対して、水平方向にウェーブレット変換を施す。すなわち、水平方向に、X座標が奇数(x=2i+1)の係数を中心にハイパスフィルタを施し、次にX座標が偶数(x=2i)の係数を中心にローパスフィルタを施す(これを全てのyについて行う。この場合、式(1),式(2)のP(2i)等は係数値を表すものと読み替える)。
簡単のため、
前記L係数を中心にローパスフィルタを施して得られる係数をLL、
前記L係数を中心にハイパスフィルタを施して得られる係数をHL、
前記H係数を中心にローパスフィルタを施して得られる係数をLH、
前記H係数を中心にハイパスフィルタを施して得られる係数をHH、
と表記すれば、図6の係数配列は図7の様な係数配列へと変換される。ここで、同一の記号を付した係数群はサブバンドと呼ばれる。図7の係数配列は4つのサブバンドの係数からなる。
以上で、1回の2次元ウェーブレット変換(1回のデコンポジション(分解))が終了し、LL係数だけを集めると(図8の様に係数をサブバンド毎に集め、LLサブバンドだけ取り出すと)、ちょうど原画像の1/2の解像度の“画像”が得られる(このように、サブバンド毎に係数を分類することをデインターリーブと呼び、これに対し図7のような状態に係数を配置することをインターリーブと呼ぶ)。
2回目のウェーブレット変換は、LLサブバンドを原画像と見なして、上に述べたと同様に行われる。そして得られたサブバンド係数をデインターリーブすると、図9に示す様な係数配列となる。これで2階層の2次元ウェーブレット変換が行われたことになる。
なお、図8、図9中の係数の接頭の1や2は、その係数が何回のウェーブレット変換で得られたかを示し、デコンポジションレベルと呼ばれる。図9の例では、デコンポジションレベル2の各サブバンド係数が最上位階層のウェーブレット係数である。
以上は順変換であるが、2次元逆ウェーブレット変換処理は順変換と丁度逆の処理となる。図7の様なインターリーブされた係数の配列に対して、まず順変換時とは逆に水平方向に逆ウェーブレット変換が施される。すなわち、水平方向に、X座標が偶数(x=2i)の係数を中心に逆ローパスフィルタを施し、次にX座標が奇数(x=2i+1)の係数を中心に逆ハイパスフィルタを施す(これを全てのyについて行う)。ここで、逆ローパスフィルタは式(3)で、逆ハイパスフィルタは式(4)で表される。この際も、画像の端部又はタイル境界部においては中心となる係数に対して隣接係数群が存在しないことがあり、この場合も図10のミラリングによって適宜係数値を補うことになる。
P(2i)=C(2i)−|_(C(2i-1)+C(2i+1)+2)/4_| 式(3)
P(2i+1)=C(2i+1)+|_(P(2i)+P(2i+2))/2_| 式(4)
このようにして図7の係数配列は図6のような係数配列に変換(逆変換)される。続いて、垂直方向に逆ウェーブレット変換が施される。すなわち、垂直方向に、Y座標が偶数(y=2i)の係数を中心に逆ローパスフィルタを施し、次にY座標が奇数(y=2i+1)の係数を中心に逆ハイパスフィルタを施せば(これを全てのxについて行う)、1回の2次元ウェーブレット逆変換が終了し、図5の画像に戻る(再構成される)ことになる。複数階層の2次元ウェーブレット変換が施されている場合は、図5をLLサブバンドとみなし、HL等の他のサブバンド係数を利用して同様の逆変換を繰り返すことになる。
次に、前記特許文献4の発明に沿ったウェーブレット係数空間でのデタイル処理について説明する。前記特許文献4の発明では、
(1)タイル境界が生じるのは圧縮率が高い場合であり、タイリングの有無に関わらず、全てのハイパス係数は0に量子化される、
(2)タイリングした場合のローパス係数はタイリングしない場合のローパス係数に等しい、
という2つの近似を採用し、
「(0に量子化されたが)補正されたハイパス係数を用いて逆ウェーブレット変換をした場合の、タイル境界の画素値=ハイパス係数が0の場合の、タイリングをせずに逆ウェーブレット変換をした場合の同じ位置の画素値」」
という式から、ハイパス係数の補正値を算出している(0に量子化されたハイパス係数に対し、0でない補正値を算出する過程は画像復元である)。
このような係数補正のための補正式を、5×3変換を例に説明する。前述のように、5x3変換と呼ばれるウェーブレット変換の逆変換の場合、L,H,L,Hの順にインターリーブした係数列に対し、
偶数位置中心に逆ローパスフィルタを、
奇数位置中心に逆ハイパスフィルタを、
をかける。
前記式(1)〜(4)のフロア関数を省略して展開すれば明らかなように、順変換と逆変換とではフィルタのタップ数は逆転し、またフィルタ係数もインターリーブされる。このため、順変換のフィルタ係数が
HIGH -0.5,1,-0.5
LOW -0.125,0.25,0.75,0.25,-0.125
の場合、逆変換のフィルタ係数は
LOW -0.25,1,-0.25
HIGH -0.125,0.5,0.75,0.5,-0.125
となる(ここでは、フロア関数部分を考慮せずにフィルタ係数を表現している)。
「タイリングしない場合で、かつ、ハイパス係数が全て0のとき(近似1)」、インターリーブされた係数列
L1 H1 L2 H2 L3 H3
において、H2位置中心に逆ハイパスフィルタをかけた値は以下の通りである。
-0.125H1+0.5L2+0.75H2+0.5L3-0.125H3=0.5L2+0.5L3‥‥式(i)
一方、上記係数が、2つのタイルに分割されてから算出されたものであり、タイル境界はH2とL3の間にあるとする。この場合、L1,H1,L2,H2は左側(又は上側)のタイルの係数、L3,H3は右側(又は下側)のタイルの係数になる。ここで、H2は順変換(3タップのハイパスフィルタ)時にミラリングの影響を受けており、補正の対象となる係数である。タイリングは、各タイル内の画素だけを用いてウェーブレット変換を行う処理、あるいは各タイル内の係数だけを用いて逆ウェーブレット変換を行う処理であるため、上記ミラリングによって左タイル(又は上タイル)の係数
L1 H1 L2 H2
を右タイル(又は下タイル)に補った場合
L1 H1 L2 H2 L2 H1
となる。
よって、H2位置中心に逆ハイパスフィルタをかけた値は、
-0.125H1+0.5L2+0.75H2+0.5L2-0.125H1=-0.25H1+L2+0.75H2‥‥式(ii)
となる。
式(i)=式(ii)を狙うため、次式
H2=1/3H1-2/3L2+2/3L3‥‥式(iii)
を得る。これがタイル境界に隣接し、正変換時にミラリングの影響を受けたハイパス係数の補正式である。ただし、補正値の算出時にはタイリングした係数しか存在しないため、L2は左(上)タイルの係数、L3は右(下)タイルの係数を使用する(近似2)。
タイル境界に隣接するローパス係数(L3)に関しても同様な立式が可能であり、その結果、左側又は上側のタイル境界近傍のハイパス係数H3の補正式として
H3=0‥‥式(iv)
を得ることができる。ただし、デコンポジションレベル1の場合、H3はミラリングの誤差を含まないため補正不要である(デコンポジションレベル2以上の場合は、H3に隣接するL3自体がデコンポジションレベル1でミラリングの影響を受けているため補正が必要である)。
9×7ウェーブレット変換の場合も同様な考え方で補正式を算出できる。すなわち、インターリーブされた係数列
H0 L1 H1 L2 H2 L3 H3 L4 H4
において、H2とL3の間がタイル境界である場合、
H2=(-0.0535H0+0.15644H1+0.09127L1-0.59127L2+0.59127L3-0.09127L4)/0.60295
‥‥式(v)
H3=(0.05754L2-0.05754L4+0.03372H4)/0.53372‥‥式(vi)
が得られる。ただし、9×7変換の場合には、デコンポジションレベル1でもH3係数を補正してよい。
2階層(デコンポジションレベル数=2)の2次元ウェーブレット変換が行われたウェーブレット係数の場合を例に、前記特許文献4の教えるウェーブレット係数空間上でのデタイル処理をウェーブレット変換の手順を逆に辿りながら忠実に行うデタイル処理の手順について説明する。図11はその処理手順のフローチャートであり、図12乃至図19は処理説明のための係数配列図である(便宜、4タイルとしている)。
図12は最上位階層であるデコンポジションレベル2のインターリーブされた係数を示している。まず、この係数に対する水平方向の係数補正が行われる(step1)。補正の対象となる係数は、図13に示す列Aの係数(2HL,2HH)と列Bの係数(2HL,2HH)である。列Aの係数は上に論じたH2係数に対応し、列Bの係数は上に論じたH3係数に対応する。5×3変換の場合、列Aの係数に対する補正式として式(iii)が、列Bの係数に対する補正式として式(iv)が用いられる。9x7変換の場合には、列Aの係数は式(v)により補正され、列Bの係数は式(vi)により補正される。そして、係数の補正値に対するクリッピング処理が行われる(step3)。
次に、デコンポジションレベル2のウェーブレット係数に対し水平方向の逆ウェーブレット変換が行われる(step4)。この水平方向の逆ウェーブレット変換により図14に示すような係数配列となる。
この係数配列に対し、図15に示す行Cの係数(2H)と行Dの係数(2H)を対象として係数補正が行われる(step5)。行Cの係数は上に論じたH2係数に対応し、行Dの係数は上に論じたH3係数に対応する。5x3変換の場合、行Cの係数は式(iii)で補正され、行Dの係数は式(iv)で補正される。9x7変換の場合、行Cの係数は式(v)で補正され、行Dの係数は式(vi)で補正される。
この補正後に、水平方向のウェーブレット変換(順変換)が行われ、図12に示すような係数の状態に戻される(step6)。この順変換を行うのは、図15に示すような中間状態の係数に対する量子化区間は定まらないからである。
次に、行C(図15参照)に対応する係数(2LH,2HH)及び行D(図15参照)に対応する係数(2LH,2HH)の補正値に対するクリッピング処理が行われる(step88)。
次に、デコンポジションレベル2の係数に対し、水平方向の逆ウェーブレット変換と垂直方向の逆ウェーブレット変換が順に行われる(step9)。この逆変換により、図16に示すデコンポジションレベル1の係数が得られる。
次に、図17のようにインターリーブしたデコンポジションレベル1の係数に対し水平方向の係数補正が行われる(step10)。5×3変換の場合には、図18に示す列Eの係数(HL,HH)を式(iii)で補正する(デコンポジションレベル1では、列Fの係数はミラリングの誤差を含まないため補正は不要である)。一方、9x7変換の場合には、列Eの係数を式(v)で補正し、また、列Fの係数(HL,HH)を式(vi)で補正する。そして、補正された係数値のクリッピング処理が行われる(step12)。
次に、ウェーブレット変換部104で、水平方向の逆ウェーブレット変換が行われる(step13)。
この逆ウェーブレット変換後の係数に対し、垂直方向の係数補正が行われる(sep14)。すなわち、5x3変換の場合は図19に示す行Gの係数を式(iii)で補正する。9x7変換の場合、図19に示す行Gの係数を式(v)で補正し、行Hの係数を式(vi)で補正する。
この補正後の係数に対し、水平方向のウェーブレット変換(順変換)が行われ(step15)、図17に示す係数の状態に戻す。そして、行G,Hの係数(5×3変換の場合は行Gの係数のみ)に関しクリッピング処理が行われる(step17)。
最後に、水平方向の逆ウェーブレット変換、垂直方向の逆ウェーブレット変換が順に行われ(step18)、タイル境界歪みの除去された画像データが生成される。
以上の処理手順において、step4,step6,step13,step15のウェーブレット順/逆変換はデタイル処理のために必要となったものであり、これがデタイル処理時間短縮の大きな障碍となる。本発明によれば、このようなデタイル処理のためのウェーブレット順/逆変換が排除され、デタイル処理時間が大幅に短縮される。
以下、本発明の実施の形態について説明する。図20は本発明の実施形態を説明するためのブロック図である。
この実施形態に係る画像処理装置は、JPEG2000の符号データを処理するもので、タグ処理部201、エントロピー復号化部202、逆量子化部203、逆ウェーブレット変換部204、色空間逆変換部205及びDCレベル逆シフト部206を備える。これら各部はJPEG2000のデコーダが一般的に備える手段であり、その作用は図1に関連して説明した通りである。
この画像処理装置は、ウェーブレット係数空間上でのデタイル処理を行う手段であるデタイル処理部220を備える。このデタイル処理部220には、タイル境界付近に位置する特定の係数に対する補正処理手段である係数補正処理部221と、この係数補正処理部221による係数の補正値に対するクリッピング処理手段であるクリッピング処理部222が含まれる。
この画像処理装置は、JPEG2000の符号データがポスト量子化により符号の破棄が行われた場合にも適切なクリッピング処理を可能にするため、符号が破棄されたビットプレーン数(トランケート数)を取得するトランケート数取得部210と、このトランケート数に基づいて量子化区間を決定する量子化区間決定部211とを備える。なお、トランケート数取得部210に相当する手段は、JPEG2000のデコーダのエントロピー復号化部にもともと備わっているものである。
入力されたJPEG2000の符号データをタグ処理部291、エントロピー復号化部202及び逆量子化部203により処理することにより、ウェーブレット係数が復号される。つまり、タグ処理部201から逆量子化部203までは全体として、符号データからウェーブレット係数を復号する手段を構成していると言うことができる。タグ処理部201、エントロピー復号化部202及び逆量子化部203の処理内容については図1に関連して説明した通りであるので、これ以上の説明は省略するが、エントロピー復号化部202におけるエントロピー復号の際に、トランケート数取得部210によりサブバンド毎のトランケート数が算出される。
ここで、符号の破棄(トランケーション)とトランケーション数の算出、及びトランケート数と量子化区間の関係について説明する。
JPEG2000には符号の破棄(トランケーション)を行うポスト量子化の機能がある。ポスト量子化は量子化テーブルを用いて実行される。これについて図21により説明する。
図21において、(a)はポスト量子化前の符号を模式的に示している。本例では3つのコンポーネント(色成分)C0,C1,C2があり、ここでは、その1つのコンポーネントC0を示している。また、階層数(デコンポジションレベル数)は3であり、3LL,3HL,3LH,3HH,2HL,2LH,2HH,1HL,1LH,1HHのサブバンドからなり、深さ方向に8つのビットプレーンで構成された符号の例である。
(b)はポスト量子化のための量子化テーブルの一例である。各コンポーネント、各サブバンド毎に符号が破棄されるビットプレーンの枚数(トランケート数)が記述されている。
(c)はコンポーネントC0のトランケーション例である。コンポーネントC0に関しては、3LLサブバンドはトランケート数は1であるので、8枚のビットプレーン中、最下位の1枚が破棄される。1HHサブバンドについては、トランケート数は7であるので、8枚のビットプレーンのうち下位の7枚が破棄される。このようにして、すべてのサブバンドについて、量子化テーブルの値に従って符号を破棄した後の符号が(d)に模式的に示されている。
図22は、このようなポスト量子化のトランケート数(符号が破棄されたビットプレーン数)と量子化区間の関係を示している。1枚のビットプレーンの破棄は、係数を2で除した(1ビット分シフトした)ことに相当する。図示のように、トランケート数mの場合のポスト量子化の量子化区間の大きさは2^m(2のm乗)、トランケート数nの場合の量子化区間の大きさは2^nであり、トランケート数が大きいほど量子化区間が広くなる。このように、トランケート数が分かれば量子化区間の大きさが分かる。このようなポスト量子化によるトランケート数から各サブバンド係数の量子化区間(の大きさ)を決定する手段が前記量子化区間決定部211である。
次に、トランケート数の算出方法について説明する。図23は、その説明図である。図23の上段の図に示すように、トランケーションを行う前の総ビットプレーン数は、元データのビットプレーン数(桁数)と、ウェーブレット変換で増えるビットプレーン数(桁数)と、色変換で増えるビットプレーン数(桁数)の和である。一方、下段の図に示すように、ゼロビットプレーン数(コーディングされなかったビットプレーン数)と、コーディングされたビットプレーン数と、トランケート(符号破棄)されたビットプレーン数の和が総ビットプレーン数である。このことから、トランケート数は、総ビットプレーン数からゼロビットプレーン数とコーディングされたビットプレーン数を差し引くことにより求まることが分かる。そして、ゼロビットプレーン数は、JPEG2000の符号データを構成するパケットのヘッダ(パケットヘッダ)に記述されている。また、パケットヘッダに記述されているコーディングパス数から、コーディングされたビットプレーン数を計算することができる。
図20に戻り説明を続ける。逆ウェーブレット変換部204において、復号されたウェーブレット係数に対し最上位階層(最高のデコンポジションレベル)から係数の2次元逆ウェーブレット変換処理が行われるが、デタイル処理部220は少なくとも1の階層(デコンポジションレベル)のウェーブレット係数に対し、その2次元逆ウェーブレット変換に先立ち、デタイルのための係数補正処理及びその補正値のクリッピング処理行う。このクリッピング処理に量子化区間決定211で決定された量子化区間(その大きさ)が用いられる。なお、各階層のデタイル処理内ではウェーブレット変換(順変換)も逆ウェーブレット変換も行われない。
次に、デタイル処理部220によるデタイル処理について詳細に説明する。図24はデタイル処理を説明するためのフローチャートである。ただし、step103は逆ウェーブレット変換部204の処理ステップであり、デタイル処理部220の処理ステップではない。また、ここでは全てのデコンポジションレベル(階層)についてデタイル処理が行われるものとして表されているが、特定の1以上のデコンポジションレベルのみデタイル処理の対象とすることも可能であことは上に述べた通りである。また、図24に示した処理は各コンポーネントについてタイル単位で実行される。
まず、最上位階層のウェーブレット係数よりデタイル処理が行われるため、処理デコンポジションレベル(階層)として最高デコンポジションレベル(最上位階層)が設定され(step100)、現在の処理デコンポジションレベルのウェーブレット係数に対する水平方向のデタイル処理がデタイル処理部220で実行され(step101)、続いて垂直方向のデタイル処理がデタイル処理部220で実行される(step102)。そして、デタイル後の処理デコンポジションレベルのウェーブレット係数に対する2次元逆ウェーブレット変換(水平方向、垂直方向の順)が逆ウェーブレット変換部204で実行される(step103)。
現在の処理デコンポジションレベルが1より上ならば(step104,NO)、処理デコンポジションレベルが1つ下のレベルに設定され(step105)、この処理デコンポジションレベルに対する水平方向、垂直方向のデタイル処理が順にデタイル処理部220により実行され(step101,102)、次に2次元逆ウェーブレット変換が逆ウェーブレット変換部204により実行される(step103)。
このような処理がデコンポジションレベル1(最下位階層)まで繰り返されると(step104,YES)、デタイル処理部220及び逆ウェーブレット変換部204の処理は完了であり、タイル境界歪みの少ない画像データが得られた。
この画像データは色空間逆変換部205、DCレベル逆シフト部206により処理されてRGB画像データに戻される。
図25はstep101の水平方向デタイル処理のフローチャートである。図26は水平方向デタイル処理で補正される係数の説明図である。
最初のstep201で、水平方向のタイル境界に隣接した、図25中に矢印201で示す列の係数(HH又はHL)が補正される。この補正処理はデタイル処理部220の係数補正処理部221により行われる。係数の補正式としては、ウェーブレット変換が5×3変換の場合には前記式(iii)が、9×7変換の場合には前記式(v)がそれぞれ用いられる。
この補正処理後の係数値に対するクリッピング処理が次のstep202で行われる。このクリッピング処理はデタイル処理部220のクリッピング処理部222により実行される。
次に、step203において、水平方向のタイル境界に隣接しない境界近傍の、図25中に矢印203で示す列の係数(HH又はHL)が補正される。この補正式としては、ウェーブレット変換が5×3変換の場合には前記式(iv)が用いられ、9×7変換の場合には前記(vi)が用いられる。この補正後の係数値に対するクリッピング処理が次のstep204で行われる。なお、5×3変換の場合、デコンポジションレベル1のデタイル処理ではstep203,step204の処理はスキップされる。
図27はstep102の垂直方向デタイル処理のフローチャートである。図28は垂直方向デタイル処理で補正される係数の説明図である。
最初のstep301で、垂直方向のタイル境界に隣接した、図28中に矢印301で示す列の係数(HH又はHL)が補正される。この補正式としては、ウェーブレット変換が5×3変換の場合には前記式(iii)が、9×7変換の場合には前記式(v)がそれぞれ用いられる。この補正処理後の係数値に対するクリッピング処理が次のstep302で行われる。
次に、step303において、垂直方向のタイル境界に隣接しない境界近傍の、図28中に矢印303で示す列の係数(HH又はHL)が補正される。この補正式としては、ウェーブレット変換が5×3変換の場合には前記式(iv)が用いられ、9×7変換の場合には前記(vi)が用いられる。この補正後の係数値に対するクリッピング処理が次のstep304で行われる。なお、5×3変換の場合、デコンポジションレベル1のデタイル処理ではstep303,step304の処理はスキップされる。
以上の通り、本発明によれば、図11により説明したようなウェーブレット変換(逆変換及び順変換)がデタイル処理に含まれないため、デタイル処理の高速化を図ることができる。また、水平方向のデタイル処理と垂直方向のデタイル処理とが同一内容の処理となるため、デタイル処理部220をハードウェアで実現するにしてもソフトウェアで実現するにしても、その構成を単純化することができる。また、処理しようとする符号データがポスト量子化が行われたものであっても、デタイル処理のクリッピング処理において係数補正値を適切なクリップ値にクリッピングすることができる。
なお、本発明のように水平方向の逆ウェーブレット変換を行わずにデタイル処理を行っても、水平方向の逆ウェーブレット変換を行ってから垂直方向のデタイル処理を行った場合と同等のデタイル結果を得られる。違いがあるとすれば、水平方向の逆ウェーブレット変換時又は順ウェーブレット変換時のフローティング誤差であり、問題となるような誤差は生じない。これについて図29により説明する。
図11に示した処理方法では、図29の上段に示すように、水平方向の逆ウェーブレット変換でLH係数はH係数に変換され、LL係数はL係数に変換される。垂直方向のタイル境界に隣接するH係数を近傍のH係数とL係数で補正してから水平方向の順ウェーブレット変換を行った後の、タイル境界に隣接する係数の補正値LH2は、5×3変換の場合、
LH2'=(2/3)*(LL3-LL2)+(1/3)LH1 (vii)
となる。
一方、本発明によれば、垂直方向のタイル境界に隣接するLH係数をそのまま補正するので、その補正値LH2"は、
LH2"=(2/3)*(LL3-LL2)+(1/3)LH1 (viii)
となる。
このようにLH2'=LH2"となる。誤差が生じるとしても、水平方向の逆ウェーブレット変換時と水平方向の順ウェーブレット変換時のフロア−関数の中であるため、その誤差は概算でせいぜい1程度であるため実用上問題にならない。
図30乃至図図32は、step202,204,302,304のクリッピング処理の説明図である。図30に示すように、補正前の係数値が量子化区間(Q〜2Q)にあるときにデタイルのための係数補正により-1/2Qに補正されたとする。このままでは、復号時に係数は元の量子化区間に存在しなければならないというルールに反するため、クリッピング処理により、その量子化区間の端Qに戻される。つまり、クリッピング処理とは係数の補正値が、補正前の係数値が属していた量子化区間をはみ出したきときに、元の量子化区間の端(補正値に近い側)の値(クリップ値)に修正する処理である。
図31は量子化区間が大きな場合のクリッピングの例であり、図32は量子化区間が小さな場合のクリッピングの例である。これらの比較から分かるように、原信号と補正値が同じであっても、クリップ値は量子化区間の大きさによって異なる。
デタイル処理部220のクリッピング処理部222は、補正対象の係数が含まれるサブバンドに関する量子化区間(その大きさ)を量子化区間決定部211より取得し、その係数の補正値と量子化区間とから決まるクリップ値へのクリッピングを行う。
以上に述べた本発明の画像処理装置における処理の流れは、本発明の画像処理方法の処理手順でもあることは明らかである。よって、本発明の画像処理方法についての説明は繰り返さない。
図20に示したような本発明の画像処理装置は、パソコンなどの汎用のコンピュータや各種機器に内蔵されたマイクロコンピュータなどのコンピュータを利用して実現することも可能である。このような実現形態について図33により簡単に説明する。
図33において、401は中央演算処理ユニット(CPU)、402はメインメモリ、403はハードディスク装置、404はモニタ、405はバスである。このようなコンピュータを画像処理装置を構成する各手段(201〜206,210,211,220)として機能させるための1以上のプログラムは、例えばハードディスク装置403よりメインメモリ402にロードされ、CPU401により実行されることになる。
処理は例えば次のような流れで行われる。
(1)ハードディスク装置403に記憶されているJPEG2000の符号データが、CPU401からの命令によってメインメモリ402に読み込まれる。
(2)CPU401は、メインメモリ402上の符号データを読み込んで復号処理を行い、その処理過程で、トランケート数の算出、トランケート数に基づく量子化区間の決定を行い、各コンポーネントの各ウェーブレット係数に対するデタイル処理(係数補正及びクリッピング処理)及び2次元逆ウェーブレット変換、復元された画像データに対する色空間逆変換及びDCレベル逆シフトの処理を行う。
(3)CPU401は、再生した画像データをメインメモリ302上の別の領域に書き込む。
(4)そして、例えば、CPU401からの命令によって、再生画像データがモニタ404に画像として表示される。
このようにコンピュータを本発明の画像処理装置の各手段として機能させるプログラム(アプリケーションプログラム、デバイスドライバなど)、及び、同プログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子など、コンピュータが読み取り可能な各種情報記録(記憶)媒体も本発明に包含される。
なお、コンピュータにハードウェアのJPEG2000デコーダが備えられている場合には、画像処理装置のデタイル処理部220及び量子化区間決定部211をプログラムによって実現し、それ以外の部分の機能はデコーダの機能を利用するような形態をとることも可能である。かかる実現形態も本発明に包含される。
以上に説明した本発明の実施形態ではJPEG2000の符号データが用いられたが、タイル単位のウェーブレット変換を利用するJPEG2000以外の符号化方式による符号データを処理する画像処理装置に対しても、さらには、タイル単位のウェーブレット変換以外の2次元周波数変換を利用する符号化方式による符号データを扱う画像処理装置に対しても、本発明を適用し得るものである。また、以上の説明から明らかなように、タイル単位の2次元ウェーブレット変換処理により生成されたウェーブレット係数、さらには、タイル単位の他の2次元周波数変換処理により生成された周波数変換係数を入力され、それを処理する画像処理装置に対しても本発明を適用可能であり、かかる画像処理装置も本発明に包含される。
JPEG2000の圧縮・伸長アルゴリズム説明するためのブロック図である。 JPEG2000におけるタイル、サブバンド、プリシンクト、コードブロックの説明図である。 JPEG2000のレイヤ構造の例を示す図である。 図3に示すレイヤに含まれるパケットの例を示す図である。 タイル画像と座標系を示す図である。 図5のタイル画像に対し垂直方向のウェーブレット変換を行った後の係数配列を示す図である。 図6の係数配列に対し水平方向のウェーブレット変換を行った後の係数配列を示す図である。 図7の係数をデインターリーブした係数配列を示す図である。 2回目の2次元ウェーブレット変換後のデインターリーブした係数配列を示す図である。 ミラリングの説明図である。 ウェーブレット係数空間上でウェーブレット変換処理を逆順に忠実に辿ったデタイル処理の流れを示すフローチャートである。 図11に示したデタイル処理手順の説明ための係数配列図である。 図11に示したデタイル処理手順の説明ための係数配列図である。 図11に示したデタイル処理手順の説明ための係数配列図である。 図11に示したデタイル処理手順の説明ための係数配列図である。 図11に示したデタイル処理手順の説明ための係数配列図である。 図11に示したデタイル処理手順の説明ための係数配列図である。 図11に示したデタイル処理手順の説明ための係数配列図である。 図11に示したデタイル処理手順の説明ための係数配列図である。 本発明の実施の形態に係る画像処理装置のブロック図である。 JPEG2000における符号破棄の説明図である。 トランケート数と量子化区間の大きさの関係の説明図である。 トランケート数の算出方法の説明図である。 本発明に係る画像処理装置におけるデタイル処理の流れを示すフローチャートである。 水平方向デタイル処理のフローチャートである。 水平方向デタイル処理で補正されるタイル境界付近係数の説明図である。 垂直方向デタイル処理のフローチャートである。 垂直方向デタイル処理で補正さるタイル境界付近係数の説明図である。 水平方向逆ウェーブレット変換を行わずに垂直方向デタイル処理を行う場合の誤差の説明図である。 クリッピング処理の説明図である。 クリッピング処理の説明図である。 クリッピング処理の説明図である。 本発明に係る画像処理装置をコンピュータを利用して実現する形態を説明するためのブロック図である。
符号の説明
201 タグ処理部
202 エントロピー復号化部
203 逆量子化部
204 逆ウェーブレット変換部
205 色空間逆変換部
206 DCレベル逆シフト部
210 トランケート数取得部
211 量子化区間決定部
220 デタイル処理部
221 係数補正処理部
222 クリッピング処理部

Claims (11)

  1. 画像が重複しないタイルに分割され、タイル単位でN階層(ただしNは1以上の整数)の2次元周波数変換処理が行われることにより生成されたN階層の周波数変換係数を処理する画像処理装置であって、
    前記周波数変換係数に対し2次元逆周波数変換処理を行う逆周波数変換手段と、
    前記逆周波数変換手段による各階層の2次元逆周波数変換処理に先だって、少なくとも1の階層の周波数変換係数に対し、前記2次元周波数変換処理の際のミラリングの影響を除去するためのデタイル処理を施すデタイル処理手段とを有し、
    前記デタイル処理手段は、前記少なくとも1の階層の周波数変換係数に対する前記デタイル処理において、当該階層の周波数変換係数に対し、周波数変換処理及び逆周波数変換処理を施すことなく、水平方向のタイル境界付近に位置する特定の係数の補正処理及びその補正値のクリッピング処理、並びに、垂直方向のタイル境界付近に位置する特定の係数の補正処理及びその補正値のクリッピング処理を行うことを特徴とする画像処理装置。
  2. 前記周波数変換処理はウェーブレット変換処理であることを特徴とする請求項1に記載の画像処理装置。
  3. 画像が重複しないタイルに分割され、タイル単位でN階層(ただしNは1以上の整数)の2次元周波数変換処理が行われ、そのN階層の周波数変換係数が符号化された符号データを処理する画像処理装置であって、
    前記符号データより周波数変換係数を復号する手段と、
    前記手段により復号された周波数変換係数に対し2次元逆周波数変換処理を行う逆周波数変換手段と、
    前記逆周波数変換手段による各階層の2次元逆周波数変換処理に先だって、少なくとも1の階層の周波数変換係数に対し、前記2次元周波数変換処理の際のミラリングの影響を除去するためのデタイル処理を施すデタイル処理手段とを有し、
    前記デタイル処理手段は、前記少なくとも1の階層の周波数変換係数に対する前記デタイル処理において、当該階層の周波数変換係数に対し、周波数変換処理及び逆周波数変換処理を施すことなく、水平方向のタイル境界付近に位置する特定の係数の補正処理及びその補正値のクリッピング処理、並びに、垂直方向のタイル境界付近に位置する特定の係数の補正処理及びその補正値のクリッピング処理を行うことを特徴とする画像処理装置。
  4. 前記周波数変換処理はウェーブレット変換処理であることを特徴とする請求項3に記載の画像処理装置。
  5. 前記符号データはJPEG2000による符号データであることを特徴とする請求項3に記載の画像処理装置。
  6. 前記符号データから、符号が破棄されたビットプレーン数(以下、トランケート数)を取得するトランケート数取得手段と、
    前記トランケート数取得手段により取得されたトランケート数に基づいてウェーブレット係数の量子化区間を決定する量子化区間決定手段とをさらに有し、
    前記デタイル処理手段は前記量子化区間決定手段により決定された量子化区間を前記クリッピング処理に用いることを特徴とする請求項5に記載の画像処理装置。
  7. 画像が重複しないタイルに分割され、タイル単位でN階層(ただしNは1以上の整数)の2次元ウェーブレット変換処理が行われることにより生成されたN階層のウェーブレット係数を処理する画像処理方法であって、
    前記ウェーブレット係数に対し2次元逆ウェーブレット変換処理を行う逆ウェーブレット変換工程と、
    前記逆ウェーブレット変換工程による各階層の2次元逆ウェーブレット変換処理に先だって、少なくとも1の階層のウェーブレット係数に対し、前記2次元ウェーブレット変換処理の際のミラリングの影響を除去するためのデタイル処理を施すデタイル処理工程とを有し、
    前記デタイル処理工程は、前記少なくとも1の階層のウェーブレット係数に対する前記デタイル処理において、当該階層のウェーブレット係数に対し、ウェーブレット変換処理及び逆ウェーブレット変換処理を施すことなく、水平方向のタイル境界付近に位置する特定の係数の補正処理及びその補正値のクリッピング処理、並びに、垂直方向のタイル境界付近に位置する特定の係数の補正処理及びその補正値のクリッピング処理を行うことを特徴とする画像処理方法。
  8. 画像が重複しないタイルに分割され、タイル単位でN階層(ただしNは1以上の整数)の2次元ウェーブレット変換処理が行われ、そのN階層のウェーブレット係数が符号化された符号データを処理する画像処理方法であって、
    前記符号データよりウェーブレット係数を復号する工程と、
    前記工程により復号されたウェーブレット係数に対し、2次元逆ウェーブレット変換処理を行う逆ウェーブレット変換処理工程と、
    前記逆ウェーブレット変換処理工程による各階層の2次元逆ウェーブレット変換処理に先だって、少なくとも1の階層のウェーブレット係数に対し、前記2次元ウェーブレット変換処理の際のミラリングの影響を除去するためのデタイル処理を施すデタイル処理工程を有し、
    前記デタイル処理工程は、前記少なくとも1の階層のウェーブレット係数に対する前記デタイル処理において、当該階層のウェーブレット係数に対し、ウェーブレット変換処理及び逆ウェーブレット変換処理を施すことなく、水平方向のタイル境界付近に位置する特定の係数の補正処理及びその補正値のクリッピング処理、並びに、垂直方向のタイル境界付近に位置する特定の係数の補正処理及びその補正値のクリッピング処理を行うことを特徴とする画像処理方法。
  9. 前記符号データはJPEG2000による符号データであることを特徴とする請求項8に記載の画像処理方法。
  10. 請求項1乃至6のいずれか1項に記載の画像処理装置の各手段としてコンピュータを機能させるプログラム。
  11. 請求項1乃至6のいずれか1項に記載の画像処理装置の各手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。
JP2004270314A 2004-09-16 2004-09-16 画像処理装置、画像処理方法、プログラム及び情報記録媒体 Expired - Fee Related JP4266195B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004270314A JP4266195B2 (ja) 2004-09-16 2004-09-16 画像処理装置、画像処理方法、プログラム及び情報記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004270314A JP4266195B2 (ja) 2004-09-16 2004-09-16 画像処理装置、画像処理方法、プログラム及び情報記録媒体

Publications (2)

Publication Number Publication Date
JP2006086883A JP2006086883A (ja) 2006-03-30
JP4266195B2 true JP4266195B2 (ja) 2009-05-20

Family

ID=36165009

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004270314A Expired - Fee Related JP4266195B2 (ja) 2004-09-16 2004-09-16 画像処理装置、画像処理方法、プログラム及び情報記録媒体

Country Status (1)

Country Link
JP (1) JP4266195B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009033331A (ja) * 2007-07-25 2009-02-12 Toshiba Corp 画像処理装置及び方法
JP5177400B2 (ja) * 2008-04-24 2013-04-03 株式会社メガチップス エンコーダ
JP5362524B2 (ja) * 2009-11-20 2013-12-11 ジヤトコ株式会社 自動変速機の制御装置

Also Published As

Publication number Publication date
JP2006086883A (ja) 2006-03-30

Similar Documents

Publication Publication Date Title
JP4889248B2 (ja) 方向予測及びリフテイング・ウェーブレットの組合せを使用して画像を符号化するシステムおよび方法
JP3948619B2 (ja) 画像圧縮装置、画像圧縮方法、プログラム及び記録媒体
JP4266195B2 (ja) 画像処理装置、画像処理方法、プログラム及び情報記録媒体
JP4726040B2 (ja) 符号化処理装置、復号処理装置、符号化処理方法、復号処理方法、プログラム及び情報記録媒体
JP4753297B2 (ja) 画像処理装置、デタイル処理方法、プログラム及び情報記録媒体
JP4663489B2 (ja) 画像処理装置、デタイル方法、プログラム及び情報記録媒体
JP4723543B2 (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP4111448B2 (ja) 画像処理装置、画像処理方法、プログラム及び情報記録媒体
JP4111273B2 (ja) 画像復号装置、プログラム、記憶媒体及び画像復号方法
JP4111447B2 (ja) 画像処理装置、画像処理方法、プログラム及び情報記録媒体
JP4107660B2 (ja) 画像処理装置、画像処理方法、プログラム及び情報記録媒体
JP4117886B2 (ja) 画像処理装置、画像処理方法、プログラム及び情報記録媒体
JP4219302B2 (ja) 画像処理装置、画像処理方法、プログラム及び情報記録媒体
JP2004046583A (ja) 画像処理装置、方法、プログラムおよび記録媒体
JP4743604B2 (ja) 画像処理装置、画像処理方法、プログラム及び情報記録媒体
JP2004064190A (ja) 画像処理装置、方法、プログラムおよび記録媒体
JP4859014B2 (ja) 画像処理装置、画像処理方法、プログラム及び情報記録媒体
JP4124436B2 (ja) 動き量推定装置、プログラム、記憶媒体および動き量推定方法
JP4688164B2 (ja) 画像処理装置、画像処理方法、プログラム及び情報記録媒体
JP2004112566A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理プログラムを記憶する記憶媒体
JP4067460B2 (ja) 画像復号装置、プログラム、記憶媒体及び画像復号方法
JP4201163B2 (ja) 画像処理装置、方法、プログラムおよび記録媒体
JP3993033B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理プログラムを記憶する記憶媒体
JP2004064180A (ja) 画像処理装置、プログラム及び記憶媒体
JP4780646B2 (ja) 画像処理システム、サーバ装置、クライアント装置、プログラム及び情報記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090210

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090213

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120227

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130227

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130227

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140227

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees