WO2012056965A1

WO2012056965A1 - 画像処理装置、電子機器、画像処理方法

Info

Publication number: WO2012056965A1
Application number: PCT/JP2011/074027
Authority: WO
Inventors: 張　小▲忙▼; 上野　雅史; 康寛大木
Original assignee: シャープ株式会社
Priority date: 2010-10-26
Filing date: 2011-10-19
Publication date: 2012-05-03
Also published as: TW201225000A

Abstract

　本発明の画像処理装置（１００）は、Ｗａｖｅｌｅｔ変換部（１０２）により生成された低周波数側のサブバンドから凹凸符号値を検出する符号検出部（１０４）と、Ｗａｖｅｌｅｔ変換部（１０２）により生成された高周波数側のサブバンドの絶対値を求める絶対値演算部（１０３）と、絶対値演算部（１０３）により求めた絶対値と、上記符号検出部（１０４）で検出された凹凸符号値と、予め設定した強調係数とを掛ける強調処理部（１０５）とを備える。Ｗａｖｅｌｅｔ変換部（１０２）により生成された低周波数側のサブバンドに対して、強調処理部（１０５）で得られた乗算値を足し合わせてエッジ強調処理を施した画像を出力する。これにより、Ｗａｖｅｌｅｔ変換を行うエッジ強調処理において、エッジ補正結果に振動が生じない、自然なエッジ強調処理を実現し得る。

Description

画像処理装置、電子機器、画像処理方法

　本発明は、画像のエッジ強調処理を施すための画像処理装置に関する。

　従来より、画像のエッジ強調処理を施すための画像処理装置が種々提案されている。

　例えば、特許文献１や非特許文献１には、Ｗａｖｅｌｅｔ変換を用いて画像のエッジ強調処理を施す技術が開示されている。

　図８は、従来のＷａｖｅｌｅｔ変換を用いた画像処理装置７００の概略を示すブロック図である。

　上記画像処理装置７００では、図８に示すように、入力画像データimg_inに対してＷａｖｅｌｅｔ変換部７０１においてＷａｖｅｌｅｔ変換部を行って、４つのサブバンド（img_LL、img_HL、img_LH、img_HH）を生成する。

　サブバンドimg_LLは、入力された画像データimgに水平方向でも垂直方向でもローパスフィルタを掛けて生成する。

　サブバンドimg_HLは、入力された画像データimgに水平方向でハイパスフィルタを、垂直方向でローパスフィルタを掛けて生成する。

　サブバンドimg_LHは、入力された画像データimgに水平方向でローパスフィルタを、垂直方向でハイパスフィルタを掛けて生成する。

　サブバンドimg_HHは、入力された画像データimgに水平方向でも垂直方向でもハイパスフィルタを掛けて生成する。

　生成された４つのサブバンドは、後段の逆Ｗａｖｅｌｅｔ変換部７０３において逆Ｗａｖｅｌｅｔ変換される。このとき、生成された４つのサブバンドのうち、サブバンドimg_LL以外のサブバンドに対して乗算部７０２において、強調係数K_HL,K_LH,K_HHをそれぞれ掛けた後、逆Ｗａｖｅｌｅｔ変換部７０３にて、逆Ｗａｖｅｌｅｔ変換される。

　上記のように、逆Ｗａｖｅｌｅｔ変換された画像は、エッジが強調された画像となる。

日本国公開特許公報「特開２００７－２８０２０２号公報（２００７年１０月２５日公開）」

Adaptive image denoising and edge enhancement in scale-space using the wavelet transform，Pattern Recognition Letters 24(3) pp.965-971, 2003

　図８に示す画像処理装置におけるエッジ強調処理について、図９の（ａ）～図９の（ｄ）を参照しながら以下に説明する。ここで、図９の（ａ）～図９の（ｄ）において、横軸は画像のピクセル位置を示し、縦軸は輝度値を示している。

　まず、図９の（ａ）に示す入力された画像データ（元信号）に対して、Ｗａｖｅｌｅｔ変換を行って得られたＬサブバンドを逆Ｗａｖｅｌｅｔ変換を行い得られた結果、図９の（ｂ）に示すグラフとなり、Ｗａｖｅｌｅｔ変換を行って得られたＨサブバンドを逆Ｗａｖｅｌｅｔ変換を行い得られた結果、図９の（ｃ）に示すグラフとする。

　このとき、図９の（ｂ）では、Ｈサブバンドをゼロとして入力された状態を示し、図９の（ｃ）では、Ｌサブバンドをゼロとして入力された状態を示す。

　次に、図９の（ｂ）、図９の（ｃ）に示す結果を合成することで、元信号に対してエッジ補正を行った結果を得る。このときのエッジ補正結果は、図９の（ｄ）に示すグラフのようになる。

　ところで、従来のエッジ強調処理では、Ｗａｖｅｌｅｔ変換したサブバンドのうち、高周波数のＨサブバンドに対して強調係数を掛けて、逆Ｗａｖｅｌｅｔ変換によりエッジ強調を行っている。このため、図９の（ｃ）におけるＨサブバンドの信号成分に生じている振動が強調され、図９の（ｄ）に示すように、エッジ補正結果に不自然な振動が生じることになる。つまり、従来のエッジ強調処理では、不自然なエッジ強調結果になってしまうという問題が生じる。

　本発明は、上記課題に鑑みなされたものであって、その目的は、Ｗａｖｅｌｅｔ変換を行うエッジ強調処理において、エッジ補正結果に振動が生じない、自然なエッジ強調結果が得られるようなエッジ強調処理を実現し得る画像処理装置を提供することにある。

　本発明の画像処理装置は、上記の課題を解決するために、入力画像データに対して、Ｗａｖｅｌｅｔ変換を行い画像のエッジ強調処理を行う画像処理装置において、入力画像データから低周波数側のサブバンドと高周波数側のサブバンドとを生成するＷａｖｅｌｅｔ変換部と、Ｗａｖｅｌｅｔ変換部により生成された低周波数側のサブバンドから水平、垂直、斜め方向における凹凸傾向を示す凹凸符号を検出する符号検出部と、上記高周波数側のサブバンドの絶対値を求める絶対値演算部と、上記絶対値演算部により求めた絶対値と、上記符号検出部で検出された凹凸符号値とを掛け合わせて画像のエッジの強調処理を行う強調処理部とを備え、上記Ｗａｖｅｌｅｔ変換部により生成された低周波数側のサブバンドに、上記強調処理部で得られた乗算値を足し合わせた画像を出力することを特徴としている。

　また、本発明の画像処理方法は、入力画像データに対して、Ｗａｖｅｌｅｔ変換を行い画像のエッジ強調処理を行う画像処理方法において、入力画像データから低周波数側のサブバンドと高周波数側のサブバンドとを生成するＷａｖｅｌｅｔ変換ステップと、Ｗａｖｅｌｅｔ変換ステップにより生成された低周波数側のサブバンドから水平、垂直、斜め方向における凹凸傾向を示す凹凸符号を検出する符号検出ステップと、上記高周波数側のサブバンドの絶対値を求める絶対値演算ステップと、上記絶対値演算ステップにより求めた絶対値と、上記符号検出ステップで検出された凹凸符号とを掛け合わせて画像のエッジの強調処理を行う強調処理ステップと、上記Ｗａｖｅｌｅｔ変換ステップにより生成された低周波数側のサブバンドに、上記強調処理ステップで得られた乗算値を足し合わせた画像を出力するステップとを含むことを特徴としている。

　上記の構成によれば、Ｗａｖｅｌｅｔ変換により生成された高周波数側のサブバンドに対して、絶対値を求め、その絶対値に対して、Ｗａｖｅｌｅｔ変換により生成された低周波数側のサブバンドから検出された凹凸符号値が掛けられることで、高周波数側のサブバンドに生じる振動を抑えたエッジの強調処理が施される。そして、上記Ｗａｖｅｌｅｔ変換により生成された低周波数側のサブバンドに対して、振動が抑えられた状態で強調処理が施された高周波数側のサブバンドが足し合わされることで、不自然な振動の無い自然なエッジ強調結果、すなわち自然なエッジ強調処理が施された出力画像を得ることができる。

　上記エッジ強調処理における強調の度合いを示す係数を強調係数としたとき、上記強調処理部は、上記絶対値演算部により求めた絶対値と、上記符号検出部で検出された凹凸符号値と、上記強調係数とを掛け合わせて画像のエッジの強調処理を行うことが好ましい。

　上記エッジ強調処理における強調の度合いを示す係数を強調係数としたとき、Ｗａｖｅｌｅｔ変換部により生成された高周波数側のサブバンドに対して、上記強調係数を掛け合わせる乗算部をさらに備え、上記絶対値演算部は、上記乗算部により強調係数が掛け合わされた高周波数側のサブバンドの絶対値を求めることが好ましい。

　上記のように、高周波数側のサブバンドに対して、エッジ強調処理における強調の度合いを示す係数（強調係数）を掛け合わせることで、エッジ強調の度合い、すなわちエッチ強調処理における効果を制御することが可能となる。つまり、上記強調係数の値を変更することで、エッチ強調処理における効果を容易に制御することが可能となる。

　なお、上記強調係数を掛けるタイミングは、サブバンドの絶対値演算前後の何れであってもよい。

　上記入力画像データに対して拡大または縮小処理を施す拡大縮小処理部を備え、上記Ｗａｖｅｌｅｔ変換部は、上記拡大縮小処理部によって拡大縮小処理された画像データに対してＷａｖｅｌｅｔ変換を行うことを特徴としている。

　上記の構成によれば、Ｗａｖｅｌｅｔ変換部は、上記拡大縮小処理部によって拡大縮小処理された画像データに対してＷａｖｅｌｅｔ変換を行うことで、拡大・縮小処理とエッジ強調処理とを同時に行うことができる。

　通常、Ｗａｖｅｌｅｔ変換を行った場合、入力画像データのサイズが半分のサイズになるので、Ｗａｖｅｌｅｔ変換を行う前に、入力画像データのサイズを２倍のサイズとなるように拡大処理を施す必要がある。

　従って、上記拡大縮小処理部では、入力画像データのサイズを２倍に拡大する拡大処理を施すのが好ましい。

　また、出力画像のサイズを入力画像（元画像）のサイズあるいは目標となる画像のサイズとなるように、元画像のサイズを拡大あるいは縮小処理するようにすることもできる。

　このような同時処理は、例えば、ＳＤサイズの画像をフルＨＤサイズの画像に拡大処理して表示する場合のように、解像度変換されるためエッジがぼやけるという問題が生じる場合に有効である。

　本発明の画像処理装置を用いることで、ＹＣｂＣｒフォーマットのカラー画像データ、ＲＧＢフォーマットのカラー画像データに対しても自然なエッジ強調処理を施すことが可能となる。具体的な構成は、以下の通りである。

　本発明の画像処理装置は、上記の課題を解決するために、ＹＣｂＣｒフォーマットのカラー画像データに対して、Ｗａｖｅｌｅｔ変換を行い画像のエッジ強調処理を行う画像処理装置において、上記Ｙ成分の画像データに対して、エッジ強調処理を行ったＹ成分の画像を出力する画像処理部と、上記Ｃｂ成分の画像データに対して、拡大・縮小処理を行ったＣｂ成分の画像を出力する拡大縮小処理部と、上記Ｃｒ成分の画像データに対して、拡大・縮小処理を行ったＣｒ成分の画像を出力する拡大縮小処理部とを備え、上記画像処理部は、上記の画像処理装置によって実現されていることを特徴としている。

　上記の構成によれば、ＹＣｂＣｒフォーマットのカラー画像データに対して、画像のエッジが振動の無い自然なエッジ強調処理が施された出力カラー画像を得ることができる。

　本発明の画像処理装置は、上記の課題を解決するために、ＲＧＢフォーマットのカラー画像データに対して、Ｗａｖｅｌｅｔ変換を行い画像のエッジ強調処理を行う画像処理装置において、上記Ｒ成分の画像データに対して、エッジ強調処理を行ったＲ成分の画像を出力する画像処理部と、上記Ｒ成分の画像データに対して、エッジ強調処理を行ったＲ成分の画像を出力する画像処理部と、上記Ｂ成分の画像データに対して、エッジ強調処理を行ったＢ成分の画像を出力する画像処理部とを備え、上記の全ての画像処理部は、上記の画像処理装置によって実現されていることを特徴としている。

　上記の構成によれば、ＲＧＢフォーマットのカラー画像データに対して、画像のエッジが振動の無い自然なエッジ強調処理が施された出力カラー画像を得ることができる。

　上記構成の画像処理装置を備えた電子機器として、入力画像に対してエッジ処理を施す必要のある電子機器であれば、どのような電子機器であっても適用可能であり、例えば、テレビ受像機、電子書籍端末、携帯端末装置等を挙げることができる。

　本発明の画像処理装置は、入力画像データに対して、Ｗａｖｅｌｅｔ変換を行い画像のエッジ強調処理を行う画像処理装置において、入力画像データから低周波数側のサブバンドと高周波数側のサブバンドとを生成するＷａｖｅｌｅｔ変換部と、Ｗａｖｅｌｅｔ変換部により生成された低周波数側のサブバンドから水平、垂直、斜め方向における凹凸傾向を示す凹凸符号を検出する符号検出部と、上記高周波数側のサブバンドの絶対値を求める絶対値演算部と、上記絶対値演算部により求めた絶対値と、上記符号検出部で検出された凹凸符号値とを掛け合わせて画像のエッジの強調処理を行う強調処理部とを備え、上記Ｗａｖｅｌｅｔ変換部により生成された低周波数側のサブバンドに、上記強調処理部で得られた乗算値を足し合わせた画像を出力する構成である。これにより、不自然な振動の無い自然なエッジ強調処理が施された出力画像を得ることができるという効果を奏する。

本発明の実施の形態１に係る画像処理装置の概略構成ブロック図である。Ｗａｖｅｌｅｔ変換の概要を説明する図である。図１に示す画像処理装置の符号検出部で使用されるフィルタ例を示す図である。本発明の実施の形態２に係る画像処理装置の概略構成ブロック図である。（ａ）～（ｄ）は、図１または図４に示す画像処理装置におけるエッジ強調処理状態の画像におけるピクセル位置と輝度値との関係を示すグラフである。本発明の実施の形態３に係る画像処理装置の概略構成ブロック図である。本発明の実施の形態４に係る画像処理装置の概略構成ブロック図である。従来の画像処理装置の概略構成ブロック図である。（ａ）～（ｄ）は、図８に示す画像処理装置におけるエッジ強調処理状態の画像におけるピクセル位置と輝度値との関係を示すグラフである。

　以下、本発明の実施の形態について、詳細に説明する。

　（実施の形態１）
　図１は、本実施の形態１に係る画像処理装置１００の概略構成ブロック図である。

　上記画像処理装置１００は、図１に示すように、スケールアップ部(拡大縮小処理部）１０１、Ｗａｖｅｌｅｔ変換部１０２、絶対値演算部１０３、符号検出部１０４、強調処理部１０５を含んだ構成である。

　すなわち、画像処理装置１００は、入力画像データimg_inに対して、Ｗａｖｅｌｅｔ変換を行い画像のエッジ強調処理を行う装置であり、入力画像データimg_inに対して、スケールアップ処理を施すスケールアップ部１０１と、スケールアップ部１０１によりスケースアップ処理を施した画像img_upから低周波数側のサブバンドと高周波数側のサブバンドとを生成するＷａｖｅｌｅｔ変換部１０２と、Ｗａｖｅｌｅｔ変換部１０２により生成された低周波数側のサブバンドから水平、垂直、斜め方向における凹凸傾向を示す凹凸符号を検出する符号検出部１０４と、Ｗａｖｅｌｅｔ変換部により生成された高周波数側のサブバンドの絶対値を求める絶対値演算部１０３と、上記絶対値演算部１０３により求めた絶対値と、上記符号検出部１０４で検出された凹凸符号と、予め設定した強調係数とを掛け合わせる強調処理部１０５とを備え、上記Ｗａｖｅｌｅｔ変換部１０２により生成された低周波数側のサブバンドに対して、上記乗算部で得られた乗算値を合成部１０６にて足し合わせて出力画像データimg_outを出力する。

　上記スケールアップ部１０１は、入力画像データimg_inに対してスケールアップ処理（拡大または縮小処理）を施すようになっている。

　ここで、上記スケールアップ部１０１は、入力画像データimg_inを２倍に拡大して、出力画像データimg_outのサイズを入力画像データimg_inのサイズと同じにする方法（１）と、入力画像データimg_inを目標画像サイズの２倍に拡大して、出力画像データimg_outのサイズを目標画像のサイズと同じにする方法（２）とを実現可能にしている。このスケールアップ部１０１で用いられる拡大方法としては、Ｌａｎｃｚｏｓ方法を用いる。しかしながら、拡大方法として、Ｌａｎｃｚｏｓ方法に限定されず、他の拡大方法であってもよい。

　なお、本実施の形態１及び下記の各実施の形態においては、全て、上記（１）の方法、すなわち入力画像データimg_inを２倍に拡大して、出力画像データimg_outのサイズを入力画像データimg_inのサイズと同じにする方法を適用した例について説明する。

　上記スケールアップ部１０１によって拡大処理された入力画像データimg_inは、スケールアップ画像img_upとしてＷａｖｅｌｅｔ変換部１０２に出力される。

　上記Ｗａｖｅｌｅｔ変換部１０２は、図２に示すように、入力されたスケールアップ画像img_upを原画像として、原画像imgに対して、ローパスフィルタ、ハイパスフィルタのペアを用いて４つのサブバンド（img_LL、img_HL、img_LH、img_HH）を生成する。ここで、Ｗａｖｅｌｅｔ変換部１０２では、ＣＤＦ９／７というＷａｖｅｌｅｔ変換方式を用いる。但し、これ以外のＷａｖｅｌｅｔ変換方式であってもよく、ＣＤＦ９／７に限定されるものではない。

　ここで、サブバンドimg_LLは、水平方向、垂直方向の両方向でローパスフィルタを掛けて生成されているので、サイズが半分に縮小した画像である。サブバンドimg_HLは縦方向、サブバンドimg_LHは横方向、サブバンドimg_HHは斜め方向のエッジ情報を示す。

　上記Ｗａｖｅｌｅｔ変換部１０２は、４つのサブバンドのうち、高周波数側のサブバンド（サブバンドimg_HL、サブバンドimg_LH、サブバンドimg_HH）を絶対値演算部１０３に転送する。

　上記絶対値演算部１０３は、入力されたサブバンドそれぞれの絶対値を求めて、後段の強調処理部１０５に転送する。

　一方、上記Ｗａｖｅｌｅｔ変換部１０２は、低周波数側のサブバンドであるサブバンドimg_LLを符号検出部１０４と合成部１０６に転送する。

　上記符号検出部１０４では、例えば図４に示す７タップフィルタを用いて、入力されたサブバンドimg_LLから符号検出を行う。具体的には、入力画像である、サブバンドimg_LLに水平、垂直、斜めの方向で夫々、フィルタ掛けて、その値の符号を検出する（図１に示すsign_hz, sign_vt, sign_di）。つまり、符号検出部１０４において検出される符号は、低周波数側のサブバンドにおける水平方向、垂直方向、斜め方向における凹凸傾向を示す凹凸符号である。ここで、ピクセル位置と輝度値との関係を示すグラフ（例えば図５の（ｂ））において、当該グラフを下から見て、凹む曲線部分に正、凸部分に負が符号として出力される。平坦部分にはゼロが出力される。

　上記の符号検出結果は、強調処理部１０５における演算に用いられる。

　上記強調処理部１０５では、絶対値演算部１０３から転送された高周波数側のサブバンドそれぞれの絶対値と、上記符号検出部１０４における符号検出結果と、予め設定した強調係数とが掛け合わされる。

　具体的には、サブバンドimg_HLの絶対値と、符号sign_hzと、強調係数ｋ_ＨＬとが掛け合わされ、サブバンドimg_LHの絶対値と、符号sign_vtと、強調係数ｋ_ＬＨとが掛け合わされ、サブバンドimg_HHの絶対値と、符号sign_diと、強調係数ｋ_ＨＨとが掛け合わされる。それぞれの乗算結果は、合成部１０６に転送される。

　上記強調係数ｋ_ＨＬ、ｋ_ＬＨ、ｋ_ＨＨは、エッジ強調処理の効果の度合いを決定するための係数である。この強調係数の値を変更することにより、エッジ強調処理の効果を容易に制御することができる。

　また、強調係数ｋ_ＨＬ、ｋ_ＬＨ、ｋ_ＨＨは、予め設定していてもよいし、画像内容に応じて適応的に決めてもよい。ここでは、予め設定した強調係数を使用するものとする。

　上記合成部１０６では、Ｗａｖｅｌｅｔ変換部１０２から転送されたサブバンドimg_LLと、強調処理部１０５から転送されたサブバンドimg_HL、サブバンドimg_LH、サブバンドimg_HHの乗算結果とを合わせて、出力画像データimg_outとして出力する。

　上記構成の画像処理装置１００によれば、Ｗａｖｅｌｅｔ変換部１０２により生成された高周波数側のサブバンドに対して、絶対値を求め、その絶対値に対して、Ｗａｖｅｌｅｔ変換部１０２により生成された低周波数側のサブバンドから検出された凹凸符号値が掛けられることで、高周波数側のサブバンドに生じる振動を無くすことができる。この状態の高周波側のサブバンドに対して、さらに強調係数が掛け合わされるので、振動を無くした状態で強調処理が施されることになる。そして、上記Ｗａｖｅｌｅｔ変換部１０２により生成された低周波数側のサブバンドに対して、振動を無くした状態で強調処理が施された高周波数側のサブバンドが足し合わされることで、不自然さの無い自然なエッジ強調処理が施された出力画像を得ることになる。

　（実施の形態２）
　図４は、本実施の形態２に係る画像処理装置２００の概略構成ブロック図である。

　上記画像処理装置２００は、図４に示すように、スケールアップ部２０１、Ｗａｖｅｌｅｔ変換部２０２、絶対値演算部２０３、符号検出部２０４、強調処理部２０５、合成部２０６、乗算部２０７を含んだ構成である。

　ここで、上記画像処理装置２００は、図１に示す画像処理装置１００と殆ど同じ構成であるが、強調係数を掛け合わせる場所が異なっている。画像処理装置２００では、Ｗａｖｅｌｅｔ変換部２０２によって生成される高周波数側のサブバンド（サブバンドimg_HL、サブバンドimg_LH、サブバンドimg_HH）の絶対値を求める前に、乗算部２０７によって強調係数を掛け合わせるようにしている。

　具体的には、画像処理装置２００は、入力画像データimg_inに対して、Ｗａｖｅｌｅｔ変換を行い画像のエッジ強調処理を行う画像処理装置であり、入力画像データimg_inに対して、スケールアップ部２０１と、スケールアップ部２０１によりスケールアップ処理を施した画像img_upから低周波数側のサブバンドと高周波数側のサブバンドとを生成するＷａｖｅｌｅｔ変換部２０２と、Ｗａｖｅｌｅｔ変換部２０２により生成された低周波数側のサブバンドから水平、垂直、斜め方向における凹凸傾向を示す凹凸符号を検出する符号検出部２０４と、Ｗａｖｅｌｅｔ変換部２０２により生成された高周波数側のサブバンドに対して、強調係数を掛け合わせる乗算部２０７と、上記乗算部２０７により強調係数が掛け合わされた高周波数側のサブバンドの絶対値を求める絶対値演算部２０３と、上記絶対値演算部２０３により求めた絶対値と、上記符号検出部２０４で検出された凹凸符号値とを掛け合わせる強調処理部２０５とを備え、上記Ｗａｖｅｌｅｔ変換部２０２により生成された低周波数側のサブバンドに対して、上記強調処理部２０５で得られた乗算値を合成部２０６にて足し合わせて出力画像データimg_outを出力する。

　上記構成の画像処理装置２００において、スケールアップ部２０１、Ｗａｖｅｌｅｔ変換部２０２、絶対値演算部２０３、符号検出部２０４、合成部２０６については、前記実施の形態１の画像処理装置１００におけるスケールアップ部１０１、Ｗａｖｅｌｅｔ変換部１０２、絶対値演算部１０３、符号検出部１０４、合成部１０６と同じ機能を有する。

　前記実施の形態１の画像処理装置１００の強調処理部１０５で行ったことを、本実施の形態２の画像処理装置２００では、別々の部、すなわち乗算部２０７と強調処理部２０５とで実行している。

　従って、本実施の形態２と前記実施の形態１とは、高周波数側のサブバンドに対する強調係数を掛ける場所が異なるだけで、出力される出力画像データimg_outにおけるエッジ強調処理に違いは殆どないので、上記構成の画像処理装置２００による効果は、前記実施の形態１の画像処理装置１００による効果と同様の効果を奏する。

　すなわち、上記構成の画像処理装置２００によれば、Ｗａｖｅｌｅｔ変換部２０２により生成された高周波数側のサブバンドに対して、強調係数を掛け合わせて強調処理を施し、その後、絶対値を求め、その絶対値に対して、Ｗａｖｅｌｅｔ変換部２０２により生成された低周波数側のサブバンドから検出された凹凸符号が掛けられることで、高周波数側のサブバンドに生じる振動を無くすことができる。そして、上記Ｗａｖｅｌｅｔ変換部２０２により生成された低周波数側のサブバンドに対して、振動が無くなった状態で強調処理が施された高周波数側のサブバンドが足し合わされることで、不自然さの無い自然なエッジ強調処理が施された出力画像を得ることになる。

　（実施の形態１，２による効果）
　以上のように、上記の各実施の形態では、元画像を２倍拡大してからエッジ強調を行うことを前提として、以下の強調処理を行っている。これは、逆Ｗａｖｅｌｅｔ変換を行わずに画像サイズを合わせるためである。

　すなわち、２倍に拡大した画像をＷａｖｅｌｅｔ変換して、４つのサブバンドＬＬ、ＨＬ，ＬＨ，ＨＨに分解する。ここで得られるサブバンドは、元画像のサイズと同じになる。

　ここでは、サブバンドＬＬに対しては、エッジ強調なしの出力画像とする。

　サブバンドＨＬの絶対値とサブバンドＬＬから検出した凹凸符号sign_hzとを掛け合わせることで、垂直エッジ強調を行う。

　サブバンドＬＨの絶対値とサブバンドＬＬから検出した凹凸符号sign_vtとを掛け合わせることで、水平エッジ強調を行う。

　サブバンドＨＨの絶対値とサブバンドＬＬから検出した凹凸符号sign_diとを掛け合わせることで、斜めエッジ強調を行う。

　そして、サブバンドＬＬに強調した上記の各エッジを上乗せすれば、振動を無くしたエッジ強調効果を実現できる。

　上記エッジ強調効果について、図５の（ａ）～図５の（ｄ）を参照して具体的に説明する。

　図５の（ａ）～図５の（ｄ）は、画像処理装置１００、画像処理装置２００におけるエッジ強調処理状態の画像におけるピクセル位置と輝度値との関係を示すグラフである。

　上記構成の画像処理装置１００では、図５の（ａ）に示す元画像である入力画像データimg_inに対して、スケールアップ部１０１により２倍にスケールアップした後、Ｗａｖｅｌｅｔ変換部１０２におけるＷａｖｅｌｅｔ変換により生成した低周波数側のサブバンド（サブバンドimg_LL）（１）と、高周波数側のサブバンド（サブバンドimg_HL、サブバンドimg_LH、サブバンドimg_HH）（２）とのピクセル位置と輝度値との関係は、図５の（ｂ）に示すグラフのようになる。

　このグラフには、高周波数側のサブバンド（２）に対して掛け合わせる符号検出結果（３）が表示されている。この符号検出結果（３）は、符号検出部１０４によって、Ｗａｖｅｌｅｔ変換部１０２におけるＷａｖｅｌｅｔ変換により生成した低周波数側のサブバンド（１）の各方向（水平方向、垂直方向、斜め方向）の凹凸性を検出して得られた結果である。

　上記のように、高周波数側のサブバンド（２）に対して、符号検出結果（３）を掛け合わせると、図５の（ｃ）に示すように、高周波数側のサブバンド（２）の振動が抑えられる。

　このようにして振動が抑えられた高周波数側のサブバンド（２）を、上記低周波数側のサブバンド（１）に足し合わせた結果、図５の（ｄ）に示すグラフのようになる。このグラフは、出力画像データimg_outにおけるピクセル位置と輝度値との関係を示すグラフである。

　従って、図５の（ｄ）に示すグラフから、出力画像データimg_outでは、従来技術の図９の（ｄ）に示すような振動が殆ど見られないことが分かる。よって、出力画像データimg_outは、不自然さの無い自然なエッジ強調処理が施された出力画像であることが分かる。

　ここまでは、実施の形態１の画像処理装置１００の効果について説明したものであるが、実施の形態２の画像処理装置２００においても同様の効果を奏する。

　以上のように、本実施の形態１，２の画像処理装置１００，２００によれば、Ｗａｖｅｌｅｔ変換後の高周波数側のサブバンドに対して直接的にエッジとして強調するように処理を行っているので、従来のように、高周波数のサブバンドを強調して、逆Ｗａｖｅｌｅｔ変換を行ってエッジ強調処理を行うものではない。

　このため、逆Ｗａｖｅｌｅｔ変換に起因する不自然な振動による不自然なエッジ強調結果を招くことは無い。

　上記の各実施の形態では、入力画像データがカラー画像であるか否かをについて特に考慮していないが、以下の実施の形態３，４では、入力画像データがカラー画像である場合のエッジ強調処理について説明する。

　（実施の形態３）
　本実施の形態では、ＹＣｂＣｒフォーマットのカラー画像データに対するエッジ強調処理を行う画像処理装置について説明する。

　図６は、本実施の形態に係る画像処理装置３００の概略構成ブロック図を示す。

　ここで、ＹＣｂＣｒフォーマットのカラー画像では、Ｙ成分の画像のみにエッジ強調処理を施せば、画像全体のエッジ強調処理を施したことになるので、画像処理装置３００は、以下のような構成となる。

　すなわち、上記画像処理装置３００は、画像処理部３０１、スケールアップ部３０２、スケールアップ部３０３を含んだ構成となている。

　上記画像処理部３０１は、Ｙ成分の入力画像データimg_Y_inに対してエッジ強調処理を施して、出力画像データimg_Y_outを得るようになっている。この画像処理部３０１は、前記実施の形態１の画像処理装置１００または前記実施の形態２の画像処理装置２００の何れかで実現されている。

　上記スケールアップ部３０２は、Ｃｂ成分の入力画像データimg_Cb_inに対してスケールアップ処理を施して、出力画像データimg_Cb_outを得るようになっている。

　同様に、上記スケールアップ部３０３は、Ｃｒ成分の入力画像データimg_Cr_inに対してスケールアップ処理を施して、出力画像データimg_Cr_outを得るようになっている。

　ここで、入力画像と出力画像とが同じサイズである場合には、スケールアップ部３０２、３０３におけるＣｂ成分の入力画像データimg_Cb_in、Ｃｒ成分の入力画像データimg_Cr_inに対するスケールアップ処理は不要となる。

　上記構成の画像処理装置３００によれば、エッジ補正結果に振動が生じない、自然なエッジ強調処理が施された、ＹＣｂＣｒフォーマットの出力カラー画像を得ることができる。

　（実施の形態４）
　本実施の形態では、ＲＧＢフォーマットのカラー画像データに対するエッジ強調処理を行う画像処理装置について説明する。

　図７は、本実施の形態に係る画像処理装置４００の概略構成ブロック図を示す。

　上記画像処理装置４００は、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれに対応する３つの画像処理部４０１を含んだ構成である。これら３つの画像処理部４０１は同一機能を有するものとする。

　上記画像処理部４０１は、例えばＲ成分の入力画像データimg_R_inに対してエッジ強調処理を施して、出力画像データimg_R_outを得るようになっている。同様に、Ｇ成分の入力画像データimg_G_inに対してエッジ強調処理を施して、出力画像データimg_G_outを得、Ｂ成分の入力画像データimg_B_inに対してエッジ強調処理を施して、出力画像データimg_B_outを得るようになっている。

　ここで、上記画像処理部４０１は、前記実施の形態１の画像処理装置１００または前記実施の形態２の画像処理装置２００の何れかで実現されている。

　上記構成の画像処理装置４００によれば、エッジ補正結果に振動が生じない、自然なエッジ強調処理が施された、ＲＧＢフォーマットの出力カラー画像を得ることができる。

　以上の何れの実施の形態では、何れも画像処理装置について説明しているが、本発明は装置だけでなく、以下に示す画像処理方法も権利範囲に含まれる。

　すなわち、本発明の画像処理方法は、入力画像データに対して、Ｗａｖｅｌｅｔ変換を行い画像のエッジ強調処理を行う画像処理方法であって、Ｗａｖｅｌｅｔ変換部１０２によって、入力画像データから低周波数側のサブバンドと高周波数側のサブバンドとを生成するＷａｖｅｌｅｔ変換ステップと、符号検出部１０４によって、Ｗａｖｅｌｅｔ変換ステップにより生成された低周波数側のサブバンドから水平、垂直、斜め方向における凹凸傾向を示す凹凸符号を検出する符号検出ステップと、絶対値演算部１０３によって、上記高周波数側のサブバンドの絶対値を求める絶対値演算ステップと、強調処理部１０５によって、　上記絶対値演算ステップにより求めた絶対値と、上記符号検出ステップで検出された凹凸符号とを掛け合わせて画像のエッジの強調処理を行う強調処理ステップと、上記合成部１０６によって、上記Ｗａｖｅｌｅｔ変換ステップにより生成された低周波数側のサブバンドに、上記強調処理ステップで得られた乗算値を足し合わせた画像を出力するステップとを含んでいる。

　以上の構成の画像処理方法であっても、上述した画像処理装置と同様に、不自然な振動の無い自然なエッジ強調処理が施された出力画像を得ることができるという効果を奏する。

　また、上記構成の画像処理装置を備えた電子機器として、入力画像に対してエッジ処理を施す必要のある電子機器であれば、どのような電子機器であっても適用可能であり、例えば、テレビ受像機、電子書籍端末、携帯端末装置等を挙げることができる。

　また、本発明の画像処理装置１００で行っている処理は、以下に示す制御プログラムによってソフトウェアとして実現しもよい。

　上記制御プログラムは、コンピュータに、入力画像データから低周波数側のサブバンドと高周波数側のサブバンドとを生成するＷａｖｅｌｅｔ変換手順と、上記Ｗａｖｅｌｅｔ変換手順により生成された低周波数側のサブバンドから水平、垂直、斜め方向における凹凸傾向を示す凹凸符号を検出する符号検出手順と、上記高周波数側のサブバンドの絶対値を求める絶対値演算手順と、上記絶対値演算手順により求めた絶対値と、上記符号検出手順で検出された凹凸符号とを掛け合わせて画像のエッジの強調処理を行う強調処理手順と、上記Ｗａｖｅｌｅｔ変換手順により生成された低周波数側のサブバンドに、上記強調処理手順で得られた乗算値を足し合わせた画像を出力する出力手順とを実行させるプログラムである。

　また、上記の制御プログラムは、コンピュータ読み取り可能な記録媒体に記録し、コンピュータに供給して実行してもよい。

　以上のことから、本発明の画像処理装置１００は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよいことになる。

　この場合、画像処理装置１００は、各処理(スケールアップ処理、Ｗａｖｅｌｅｔ変換処理等の各手順）を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記制御プログラムを格納したＲＯＭ（read only memory）、上記制御プログラムを展開するＲＡＭ（random access memory）、上記制御プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、コンピュータに供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

　上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ－ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ－Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

　また、画像処理装置１００を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

　本発明は上述した各実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

　本発明は、出力画像に対してエッジ強調処理を必要とする画像表示装置、特に、液晶パネルを用いた液晶表示装置に利用することができる。

１００　画像処理装置
１０１　スケールアップ部
１０２　Ｗａｖｅｌｅｔ変換部
１０３　絶対値演算部
１０４　符号検出部
１０５　強調処理部
１０６　合成部
２００　画像処理装置
２０１　スケールアップ部
２０２　Ｗａｖｅｌｅｔ変換部
２０３　絶対値演算部
２０４　符号検出部
２０５　強調処理部
２０６　合成部
２０７　乗算部
３００　画像処理装置
３０１　画像処理部
３０２　スケールアップ部
３０３　スケールアップ部
４００　画像処理装置
４０１　画像処理部
ＨＨ　　サブバンド
ＨＬ　　サブバンド
ＬＨ　　サブバンド
ＬＬ　　サブバンド
ｋ_ＨＨ　　強調係数
ｋ_ＨＬ　　強調係数
ｋ_ＬＨ　　強調係数

Claims

　入力画像データに対して、Ｗａｖｅｌｅｔ変換を行い画像のエッジ強調処理を行う画像処理装置において、
　入力画像データから低周波数側のサブバンドと高周波数側のサブバンドとを生成するＷａｖｅｌｅｔ変換部と、
　Ｗａｖｅｌｅｔ変換部により生成された低周波数側のサブバンドから水平、垂直、斜め方向における凹凸傾向を示す凹凸符号を検出する符号検出部と、
　上記高周波数側のサブバンドの絶対値を求める絶対値演算部と、
　上記絶対値演算部により求めた絶対値と、上記符号検出部で検出された凹凸符号値とを掛け合わせて画像のエッジの強調処理を行う強調処理部とを備え、
　上記Ｗａｖｅｌｅｔ変換部により生成された低周波数側のサブバンドに、上記強調処理部で得られた乗算値を足し合わせた画像を出力することを特徴とする画像処理装置。
　上記エッジ強調処理における強調の度合いを示す係数を強調係数としたとき、
　上記強調処理部は、上記絶対値演算部により求めた絶対値と、上記符号検出部で検出された凹凸符号値と、上記強調係数とを掛け合わせて画像のエッジの強調処理を行うことを特徴とする請求項１に記載の画像処理装置。
　上記エッジ強調処理における強調の度合いを示す係数を強調係数としたとき、
　Ｗａｖｅｌｅｔ変換部により生成された高周波数側のサブバンドに対して、上記強調係数を掛け合わせる乗算部をさらに備え、
　上記絶対値演算部は、上記乗算部により強調係数が掛け合わされた高周波数側のサブバンドの絶対値を求めることを特徴とする請求項１に記載の画像処理装置。
　上記入力画像データに対して拡大または縮小処理を施す拡大縮小処理部をさらに備え、
　上記Ｗａｖｅｌｅｔ変換部は、上記拡大縮小処理部によって拡大縮小処理された画像データに対してＷａｖｅｌｅｔ変換を行うことを特徴とする請求項１～３の何れか１項に記載の画像処理装置。
　ＹＣｂＣｒフォーマットのカラー画像データに対して、Ｗａｖｅｌｅｔ変換を行い画像のエッジ強調処理を行う画像処理装置において、
　Ｙ成分の画像データに対して、エッジ強調処理を行ったＹ成分の画像を出力する画像処理部と、
　Ｃｂ成分の画像データに対して、拡大・縮小処理を行ったＣｂ成分の画像を出力する拡大縮小処理部と、
　Ｃｒ成分の画像データに対して、拡大・縮小処理を行ったＣｒ成分の画像を出力する拡大縮小処理部とを備え、
　上記画像処理部は、請求項１～４の何れか１項に記載の画像処理装置によって実現されていることを特徴とする画像処理装置。
　ＲＧＢフォーマットのカラー画像データに対して、Ｗａｖｅｌｅｔ変換を行い画像のエッジ強調処理を行う画像処理装置において、
　Ｒ成分の画像データに対して、エッジ強調処理を行ったＲ成分の画像を出力する画像処理部と、
　Ｇ成分の画像データに対して、エッジ強調処理を行ったＧ成分の画像を出力する画像処理部と、
　Ｂ成分の画像データに対して、エッジ強調処理を行ったＢ成分の画像を出力する画像処理部とを備え、
　上記の画像処理部は、請求項１～４の何れか１項に記載の画像処理装置によって実現されていることを特徴とする画像処理装置。
　請求項１～６の何れか１項に記載の画像処理装置を備えた電子機器。
　入力画像データに対して、Ｗａｖｅｌｅｔ変換を行い画像のエッジ強調処理を行う画像処理方法において、
　入力画像データから低周波数側のサブバンドと高周波数側のサブバンドとを生成するＷａｖｅｌｅｔ変換ステップと、
　Ｗａｖｅｌｅｔ変換ステップにより生成された低周波数側のサブバンドから水平、垂直、斜め方向における凹凸傾向を示す凹凸符号を検出する符号検出ステップと、
　上記高周波数側のサブバンドの絶対値を求める絶対値演算ステップと、
　上記絶対値演算ステップにより求めた絶対値と、上記符号検出ステップで検出された凹凸符号とを掛け合わせて画像のエッジの強調処理を行う強調処理ステップと、
　上記Ｗａｖｅｌｅｔ変換ステップにより生成された低周波数側のサブバンドに、上記強調処理ステップで得られた乗算値を足し合わせた画像を出力するステップとを含むことを特徴とする画像処理方法。
　コンピュータに、
　入力画像データから低周波数側のサブバンドと高周波数側のサブバンドとを生成するＷａｖｅｌｅｔ変換手順と、
　上記Ｗａｖｅｌｅｔ変換手順により生成された低周波数側のサブバンドから水平、垂直、斜め方向における凹凸傾向を示す凹凸符号を検出する符号検出手順と、
　上記高周波数側のサブバンドの絶対値を求める絶対値演算手順と、
　上記絶対値演算手順により求めた絶対値と、上記符号検出手順で検出された凹凸符号とを掛け合わせて画像のエッジの強調処理を行う強調処理手順と、
　上記Ｗａｖｅｌｅｔ変換手順により生成された低周波数側のサブバンドに、上記強調処理手順で得られた乗算値を足し合わせた画像を出力する出力手順とを、
実行させるプログラム。
　請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。