WO2011108144A1 - 画像拡大装置、画像拡大プログラム、画像拡大プログラムを記憶した記憶媒体、及び表示装置 - Google Patents

Abstract

　画像拡大装置は、入力画像を拡大して第１の拡大画像を生成する画像拡大フィルタ（１）と、前記第１の拡大画像をウェーブレット変換する第１のウェーブレット変換部（２）と、前記第１の拡大画像をウェーブレット変換する第２のウェーブレット変換部（３）と、第１のウェーブレット変換部の出力に基づいて生成される第１のエッジ信号（ＥＤＧＥ＿CDF9/7）及び第２のウェーブレット変換部の出力に基づいて生成される第２のエッジ信号（ＥＤＧＥ＿Harr）を用いた強調処理を行う強調処理部（６，７，８，１０）とを備える。前記第１のウェーブレット変換部と前記第２のウェーブレット変換部とが互いに異なるウェーブレット変換を使う。

Description

画像拡大装置、画像拡大プログラム、画像拡大プログラムを記憶した記憶媒体、及び表示装置

　本発明は、画像を拡大する技術に関する。

　近年、フルＨＤ（１９２０画素×１０８０画素）のテレビが一般的になってきており、また、４ｋ２ｋ（４０９６画素×２０４８画素程度）や８ｋ４ｋ（８１９２画素×４０９６画素程度）などの解像度がより高い表示パネルも開発されている。その一方で、ＳＤ（ＮＴＳＣでは７２０画素×４８０画素、ＰＡＬでは７２０画素×５７６画素）のコンテンツが大量に存在する。したがって、低解像度のコンテンツを高解像度の表示装置に表示させるための画像拡大技術が必要となっている。

　従来より種々の画像拡大方法が提案されているが、その中にはウェーブレット変換を用いた方法がある。

　ここで、ウェーブレット変換の概要について説明する。図１７は、原画像とウェーブレット変換画像を模式的に示す図である。原画像ＩＭＧに対して離散ウェーブレット変換（ＤＷＴ：Discrete　Wavelet　Transform）を施すと、サブバンド成分ＩＭＧ＿ＬＬ、ＩＭＧ＿ＨＬ、ＩＭＧ＿ＬＨ、及びＩＭＧ＿ＨＨによって構成されるウェーブレット変換画像が得られる。各サブバンド成分の画像サイズは原画像ＩＭＧの１／４である。

　原画像ＩＭＧに対して水平方向にローパスフィルタ処理及び１／２サイズとするためのサンプリング処理を行い、その処理結果に対して垂直方向にローパスフィルタ処理及び１／２サイズとするためのサンプリング処理を行った結果が、サブバンド成分ＩＭＧ＿ＬＬである。なお、サブバンド成分ＩＭＧ＿ＬＬは、原画像ＩＭＧに対して垂直方向にローパスフィルタ処理及び１／２サイズとするためのサンプリング処理を行い、その処理結果に対して水平方向にローパスフィルタ処理及び１／２サイズとするためのサンプリング処理を行った結果であってもよい。

　原画像ＩＭＧに対して水平方向にハイパスフィルタ処理及び１／２サイズとするためのサンプリング処理を行い、その処理結果に対して垂直方向にローパスフィルタ処理及び１／２サイズとするためのサンプリング処理を行った結果が、サブバンド成分ＩＭＧ＿ＨＬである。したがって、サブバンド成分ＩＭＧ＿ＨＬは、原画像ＩＭＧの水平方向における高周波成分を抽出した画像、すなわち垂直方向を向くエッジ情報を反映した画像を表している。なお、サブバンド成分ＩＭＧ＿ＨＬは、原画像ＩＭＧに対して垂直方向にローパスフィルタ処理及び１／２サイズとするためのサンプリング処理を行い、その処理結果に対して水平方向にハイパスフィルタ処理及び１／２サイズとするためのサンプリング処理を行った結果であってもよい。

　原画像ＩＭＧに対して水平方向にローパスフィルタ処理及び１／２サイズとするためのサンプリング処理を行い、その処理結果に対して垂直方向にハイパスフィルタ処理及び１／２サイズとするためのサンプリング処理を行った結果が、サブバンド成分ＩＭＧ＿ＬＨである。したがって、サブバンド成分ＩＭＧ＿ＬＨは、原画像ＩＭＧの垂直方向における高周波成分を抽出した画像、すなわち水平方向を向くエッジ情報を反映した画像を表している。なお、サブバンド成分ＩＭＧ＿ＬＨは、原画像ＩＭＧに対して垂直方向にハイパスフィルタ処理及び１／２サイズとするためのサンプリング処理を行い、その処理結果に対して水平方向にローパスフィルタ処理及び１／２サイズとするためのサンプリング処理を行った結果であってもよい。

　原画像ＩＭＧに対して水平方向にハイパスフィルタ処理及び１／２サイズとするためのサンプリング処理を行い、その処理結果に対して垂直方向にハイパスフィルタ処理及び１／２サイズとするためのサンプリング処理を行った結果が、サブバンド成分ＩＭＧ＿ＨＨである。したがって、サブバンド成分ＩＭＧ＿ＨＨは、原画像ＩＭＧの水平方向における高周波成分と垂直方向における高周波成分を抽出した画像（原画像ＩＭＧの斜め方向における高周波成分を抽出した画像）、すなわち斜め方向を向くエッジ情報を反映した画像を表している。なお、サブバンド成分ＩＭＧ＿ＨＨは、原画像ＩＭＧに対して垂直方向にハイパスフィルタ処理及び１／２サイズとするためのサンプリング処理を行い、その処理結果に対して水平方向にハイパスフィルタ処理及び１／２サイズとするためのサンプリング処理を行った結果であってもよい。

　サブバンド成分ＩＭＧ＿ＬＬ、ＩＭＧ＿ＨＬ、ＩＭＧ＿ＬＨ、及びＩＭＧ＿ＨＨによって構成されるウェーブレット変換画像に対して逆離散ウェーブレット変換（ＩＤＷＴ：Inverse　Discrete　Wavelet　Transform）を施すと、原画像ＩＭＧが得られる。

　続いて、ウェーブレット変換を用いた画像拡大方法の概要について説明する。図１８は、ウェーブレット変換を用いた画像拡大方法の概要を模式的に示す図である。

　拡大対象である入力画像ＩＭＧ＿ＩＮをウェーブレット変換画像のサブバンド成分ＩＭＧ＿ＬＬと看做す。残りの三つのサブバンド成分（高周波成分が含まれるサブバンド成分）ＩＭＧ＿ＨＬ、ＩＭＧ＿ＬＨ、及びＩＭＧ＿ＨＨについては、情報がないため、全ての画素値が０であるサブバンド成分ＩＭＧ＿ＨＬ（０）、ＩＭＧ＿ＬＨ（０）、及びＩＭＧ＿ＨＨ（０）とする。そうすると、入力画像ＩＭＧ＿ＩＮを、サブバンド成分ＩＭＧ＿ＩＮ、ＩＭＧ＿ＨＬ（０）、ＩＭＧ＿ＬＨ（０）、及びＩＭＧ＿ＨＨ（０）によって構成されるウェーブレット変換画像と見ることができる。

　このサブバンド成分ＩＭＧ＿ＩＮ、ＩＭＧ＿ＨＬ（０）、ＩＭＧ＿ＬＨ（０）、及びＩＭＧ＿ＨＨ（０）によって構成されるウェーブレット変換画像に対して逆離散ウェーブレット変換を施すことで、入力画像ＩＭＧ＿ＩＮの４倍の画像数を有する拡大画像である出力画像ＩＭＧ＿ＯＵＴが得られる。しかしながら、サブバンド成分ＩＭＧ＿ＩＮ、ＩＭＧ＿ＨＬ（０）、ＩＭＧ＿ＬＨ（０）、及びＩＭＧ＿ＨＨ（０）によって構成されるウェーブレット変換画像において高周波数成分の情報が欠けているため、拡大画像である出力画像ＩＭＧ＿ＯＵＴはボケ気味になる。

　逆に言うと、三つのサブバンド成分（高周波成分が含まれるサブバンド成分）ＩＭＧ＿ＨＬ、ＩＭＧ＿ＬＨ、及びＩＭＧ＿ＨＨについて適切な情報が得られれば、拡大画像がボケ気味になるという問題を解決することができる。また、サブバンド成分ＩＭＧ＿ＨＬのゲイン調整を行ってから逆離散ウェーブレット変換を行うことで、垂直方向を向くエッジが強調された拡大画像を得ることができ、サブバンド成分ＩＭＧ＿ＬＨのゲイン調整を行ってから逆離散ウェーブレット変換を行うことで、水平方向を向くエッジが強調された拡大画像を得ることができ、サブバンド成分ＩＭＧ＿ＨＨのゲイン調整を行ってから逆離散ウェーブレット変換を行うことで、斜め方向を向くエッジが強調された拡大画像を得ることができる。

　三つのサブバンド成分（高周波成分が含まれるサブバンド成分）ＩＭＧ＿ＨＬ、ＩＭＧ＿ＬＨ、及びＩＭＧ＿ＨＨについての情報を得る方法が、特許文献１、特許文献２、非特許文献１～３などで提案されている。

　特許文献１で提案されている画像拡大方法について図１９を参照して説明する。まず、拡大対象である入力画像ＩＭＧ＿ＩＮに対して離散ウェーブレット変換を施して、サブバンド成分ＬＬ２、ＨＬ２、ＬＨ２、及びＨＨ２によって構成されるウェーブレット変換画像を得る。それから、サブバンド成分ＬＬ２、ＨＬ２、ＬＨ２、及びＨＨ２の情報を用いて、三つのサブバンド成分（高周波成分が含まれるサブバンド成分）ＩＭＧ＿ＨＬ、ＩＭＧ＿ＬＨ、及びＩＭＧ＿ＨＨを予測する。なお、予測の際に用いる係数は学習で得たものである。そして、拡大対象である入力画像ＩＭＧ＿ＩＮをウェーブレット変換画像のサブバンド成分ＩＭＧ＿ＬＬと看做し、予測した三つのサブバンド成分（高周波成分が含まれるサブバンド成分）ＩＭＧ＿ＨＬ、ＩＭＧ＿ＬＨ、及びＩＭＧ＿ＨＨと合わせたものをウェーブレット変換画像と見て、逆離散ウェーブレット変換を行って拡大画像である出力画像ＩＭＧ＿ＯＵＴを得ている。なお、特許文献３で提案されている画像拡大方法も、特許文献１で提案されている画像拡大方法と同様に、三つのサブバンド成分（高周波成分が含まれるサブバンド成分）ＩＭＧ＿ＨＬ、ＩＭＧ＿ＬＨ、及びＩＭＧ＿ＨＨを予測している。

　続いて、特許文献２で提案されている画像拡大方法について図２０を参照して説明する。拡大対象画像をウェーブレット変換画像のサブバンド成分ＩＭＧ＿ＬＬと看做す。それから、図２０（ａ）に示すフィルタを用いて拡大対象画像の垂直方向におけるエッジ成分を抽出し、不足しているサブバンド成分ＩＭＧ＿ＨＬと看做し、図２０（ｂ）に示すフィルタを用いて拡大対象画像の水平方向におけるエッジ成分を抽出し、不足しているサブバンド成分ＩＭＧ＿ＬＨと看做し、図２０（ｃ）に示すフィルタを用いて拡大対象画像の斜め方向におけるエッジ成分を抽出し、不足しているサブバンド成分ＩＭＧ＿ＨＨと看做し、上記四つのサブバンド成分を合わせたものをウェーブレット変換画像と見て、逆離散ウェーブレット変換を行って拡大画像を得ている。

　続いて、非特許文献２で提案されている画像拡大方法について説明する。Sparsity　constraintを仮定して収束するまで繰り返して演算を行うことで、エッジを予測することによって、三つのサブバンド成分（高周波成分が含まれるサブバンド成分）を予測する方法が非特許文献１に記載されており、非特許文献２ではかかる方法を画像拡大に応用している。非特許文献３では、非特許文献１に記載されている方法を改良して収束回数を２にまで短縮して画像拡大を行っている。

　特許文献１で提案されている画像拡大方法では、学習させていない画像については、高周波成分が含まれるサブバンド成分を正しく予測できる保証が無い。また、特許文献１で提案されている画像拡大方法では、画像の拡大と同時に十分なエッジ強調をすることができない。このため、拡大画像がボケ気味でくっきりしない画像になるおそれがある。なお、特許文献３で提案されている画像拡大方法は、特許文献１で提案されている画像拡大方法と同様の問題を有しており、さらに、膨大な演算量を必要とするという問題も有している。

　特許文献２で提案されている画像拡大方法では、例示されているエッジ検出フィルタ（図２０参照）から判断すると、高周波成分が含まれるサブバンド成分について適切な情報を得ることができない。例示されているエッジ検出フィルタはそのまま使ってエッジ強調を行う場合においてもオーバーシュートやジャギーが発生し、さらに、逆離散ウェーブレット変換が行われると、画像サイズが水平方向、垂直方向それぞれにおいて２倍に拡大するのでジャギーが広がる。したがって、特許文献２で提案されている画像拡大方法によって得られる拡大画像では、強調したエッジに不自然なジャギーが生じる。

　非特許文献２や非特許文献３で提案されている画像拡大方法は、sparsity　constraint条件で閾値以下である弱いエッジは強調できないという問題を有している。また、非特許文献２や非特許文献３で提案されている画像拡大方法は、エッジ情報の予測において、収束するまで複数回に亘って繰り返し演算を行う必要があるので、演算量が大きく、遅延が生じるという問題も有している。

　上記のような問題点を解決することができる画像拡大装置が本発明者によって発明され、本出願人によって既に特許出願されている（特願２００９－２２５９９５号）。特願２００９－２２５９９５号で提案されている画像拡大装置の一例を図２１に示す。

　図２１に示す画像拡大装置は、Lanczos3フィルタ１０１と、離散ウェーブレット変換部１０２と、乗算器１０３～１０５と、逆離散ウェーブレット変換部１０６と、書き換え可能な不揮発性メモリを内蔵する制御部（不図示）とを備えている。

　制御部は、不揮発性メモリからLanczos3フィルタ１０１、離散ウェーブレット変換部１０２、及び逆離散ウェーブレット変換部１０６の定数設定を読み出して、Lanczos3フィルタ１０１、離散ウェーブレット変換部１０２、及び逆離散ウェーブレット変換部１０６に定数を設定する。

　Lanczos3フィルタ１０１は、入力画像ＩＭＧ＿ＩＮを水平方向、垂直方向それぞれにおいて拡大した拡大画像ＩＭＧ＿ＵＰを生成する。

　離散ウェーブレット変換部１０２は、拡大画像ＩＭＧ＿ＵＰを離散ウェーブレット変換して、サブバンド成分ＩＭＧ＿ＬＬ、ＩＭＧ＿ＨＬ、ＩＭＧ＿ＬＨ、及びＩＭＧ＿ＨＨを生成する。

　また、制御部は、不揮発性メモリから、垂直方向を向くエッジの強調強度に対応するゲイン値Ｇ＿ＨＬ、水平方向を向くエッジの強調強度に対応するゲイン値Ｇ＿ＬＨ、斜め方向を向くエッジの強調強度に対応するゲイン値Ｇ＿ＨＨを読み出して、ゲイン値Ｇ＿ＨＬを乗算器１０３に供給し、ゲイン値Ｇ＿ＬＨを乗算器１０４に供給し、ゲイン値Ｇ＿ＨＨを乗算器１０５に供給する。乗算器１０３は、サブバンド成分ＩＭＧ＿ＨＬとゲイン値Ｇ＿ＨＬとを乗算したものを逆離散ウェーブレット変換部１０６に供給する。乗算器１０４は、サブバンド成分ＩＭＧ＿ＬＨとゲイン値Ｇ＿ＬＨとを乗算したものを逆離散ウェーブレット変換部１０６に供給する。乗算器１０５は、サブバンド成分ＩＭＧ＿ＨＨとゲイン値Ｇ＿ＨＨとを乗算したものを逆離散ウェーブレット変換部１０６に供給する。なお、サブバンド成分ＩＭＧ＿ＬＬはそのまま逆離散ウェーブレット変換部１０６に供給される。

　逆離散ウェーブレット変換部１０６は、サブバンド成分ＩＭＧ＿ＬＬをウェーブレット変換画像のサブバンド成分ＩＭＧ＿ＬＬと看做し、三つのゲイン処理後サブバンド成分ＩＭＧ＿ＨＬ・Ｇ＿ＨＬ、ＩＭＧ＿ＬＨ・Ｇ＿ＬＨ、及びＩＭＧ＿ＨＨ・Ｇ＿ＨＨと合わせたものをウェーブレット変換画像と見て、逆離散ウェーブレット変換を行って拡大画像ＩＭＧ＿ＳＹＮＴＨを生成する。拡大画像ＩＭＧ＿ＳＹＮＴＨが図２１に示す画像拡大装置の出力となる。

　Lanczos3フィルタ１０１による画像拡大処理において、弱い高周波成分（ある程度減衰した高周波成分）を持ち上げることができるが、その弱い高周波成分の強度を調整することはできない。それにもかかわらず、図２１に示す画像拡大装置では、サブバンド成分ＩＭＧ＿ＨＬ、ＩＭＧ＿ＬＨ、及びＩＭＧ＿ＨＨに対してゲイン処理を行うことにより、エッジ強調強度を調整することを可能としているため、ジャギーが少なく、高画質な画像を得ることができる。

特開２０００－２１５３０５号公報（段落００３５、第５図） 特開２００１－８０２７号公報（段落００４１、第１図、第６図） 特開平７－１５２９０７号公報（要約）

G.　Guleryuz,　"Predicting　wavelet　coefficients　over　Edges　using　estimates　based　on　nonlinear　approximants,"　Proc.　Data　compression　conference,　IEEE　DCC-04,　2004 C.　S.　Boon,　O.　G.　Guleryuz,　T.　Kawahara,　and　Y.　Suzuki,　"Sparse　super-resolution　reconstructions　of　video　from　mobile　devices　in　digital　TV　broadcast　applications,"　Proc.　SPIE　conference　on　applications　on　of　digital　image　processing　XXIX,　San　Diego,　2006 S.　Kanumuri,　O.　G.　Guleryuz　and　M.　R.　Givanlar.　"Fast　super-resolution　reconstructions　of　mobile　video　using　warped　transforms　and　adaptive　thresholding,"　Proc.　SPIE　conference　on　applications　of　digital　image　processing　XXX,　2007

　しかしながら、図２１に示す画像拡大装置を始め、特願２００９－２２５９９５号で提案されている画像拡大装置は、１種類のウェーブレット変換だけを使っているため、画像の輪郭（急峻エッジ、ストラクチャ）と画像の細部（緩やかなエッジ、テクスチャ）とを同時に画質良く強調することができないという問題を有している。

　例えば、CDF9/7ウェーブレット変換だけを使った場合、自然な画像の輪郭を検出できるが、画像の細部を検出することはできない。また、例えば、Haarウェーブレット変換だけを使った場合、画像の輪郭と画像の細部とを同時に検出できるが、検出した画像の輪郭はCDF9/7ウェーブレット変換だけを使った場合に比べてジャギーが目立つ。

　本発明は、上記の状況に鑑み、画像の輪郭と画像の細部とを同時に画質良く強調することができる画像拡大装置、画像拡大プログラム、画像拡大プログラムを記憶した記憶媒体、及び表示装置を提供することを目的とする。

　上記目的を達成するために本発明に係る画像拡大装置は、入力画像を拡大した第１の拡大画像を生成する画像拡大フィルタと、前記第１の拡大画像をウェーブレット変換して、前記第１の拡大画像の水平方向における低周波成分と垂直方向における低周波成分を抽出した画像を表す第１のサブバンド成分、前記第１の拡大画像の水平方向における高周波成分を抽出した画像を表す第２のサブバンド成分、前記第１の拡大画像の垂直方向における高周波成分を抽出した画像を表す第３のサブバンド成分、及び前記第１の拡大画像の水平方向における高周波成分と垂直方向における高周波成分を抽出した画像を表す第４のサブバンド成分を生成する第１のウェーブレット変換部と、前記第１の拡大画像をウェーブレット変換して、前記第１の拡大画像の水平方向における低周波成分と垂直方向における低周波成分を抽出した画像を表す第５のサブバンド成分、前記第１の拡大画像の水平方向における高周波成分を抽出した画像を表す第６のサブバンド成分、前記第１の拡大画像の垂直方向における高周波成分を抽出した画像を表す第７のサブバンド成分、及び前記第１の拡大画像の水平方向における高周波成分と垂直方向における高周波成分を抽出した画像を表す第８のサブバンド成分を生成する第２のウェーブレット変換部と、所定のサブバンド成分、並びに、前記第１のウェーブレット変換部から出力される前記第２のサブバンド成分、前記第３のサブバンド成分、及び前記第４のサブバンド成分をウェーブレット変換画像と見て、逆ウェーブレット変換を行って第１のエッジ信号を生成する第１の逆ウェーブレット変換部と、所定のサブバンド成分、並びに、前記第２のウェーブレット変換部から出力される前記第６のサブバンド成分、前記第７のサブバンド成分、及び前記第８のサブバンド成分をウェーブレット変換画像と見て、逆ウェーブレット変換を行って第２のエッジ信号を生成する第２の逆ウェーブレット変換部と、第２の拡大画像を生成する画像拡大部と、前記第１のエッジ信号及び前記第２のエッジ信号を用いて、前記第２の拡大画像に対して強調処理を行う強調処理部とを備え、前記第１のウェーブレット変換部と前記第２のウェーブレット変換部とが互いに異なるウェーブレット変換を使い、前記第１の逆ウェーブレット変換部と前記第２の逆ウェーブレット変換部とが互いに異なる逆ウェーブレット変換を使う構成（第１の構成）である。

　また、上記第１の構成の画像拡大装置において、前記第１のウェーブレット変換部がCDF9/7ウェーブレット変換を使い、前記第２のウェーブレット変換部がHaarウェーブレット変換を使い、前記第１の逆ウェーブレット変換部がCDF9/7逆ウェーブレット変換を使い、前記第２の逆ウェーブレット変換部がHaar逆ウェーブレット変換を使う構成（第２の構成）にしてもよい。

　また、上記第１または第２の構成の画像拡大装置において、前記画像拡大部が、前記入力画像及び３つの所定のサブバンド成分をウェーブレット変換画像と見て、逆ウェーブレット変換を行って前記第２の拡大画像を生成する第３の逆ウェーブレット変換部であるようにしてもよい（第３の構成）。

　また、上記第１または第２の構成の画像拡大装置において、前記画像拡大部が、前記第１のサブバンド成分及び３つの所定のサブバンド成分をウェーブレット変換画像と見て、逆ウェーブレット変換を行って前記第２の拡大画像を生成する第３の逆ウェーブレット変換部であるようにしてもよい（第４の構成）。

　また、上記第１または第２の構成の画像拡大装置において、前記画像拡大フィルタが前記画像拡大部を兼ねており、前記第１の拡大画像と前記第２の拡大画像とが同一であるようにしてもよい（第５の構成）。

　また、画像を輪郭と細部に分けて強調するときに細部に輪郭が残ることを抑制する観点から、上記第１～第５のいずれかの構成の画像拡大装置において、前記第１のエッジ信号は、画像の輪郭を表す信号であり、前記第２のエッジ信号は、画像の輪郭と画像の細部の両方を含む信号であり、前記強調処理部は、注目画素の周辺領域に前記第１のエッジ信号が所定の閾値より大きい画素があれば、前記注目画素の前記第２のエッジ信号に対するゲインを零にするようにしてもよい（第６の構成）。

　また、輪郭と細部それぞれに網目のようなノイズが現れることを抑制する観点から、上記第１～第６のいずれかの構成の画像拡大装置において、前記第１のエッジ信号に対してローパスフィルタ処理を施す第１のローパスフィルタを、前記第１の逆ウェーブレット変換部と前記強調処理部との間に設け、前記第２のエッジ信号に対してローパスフィルタ処理を施す第２のローパスフィルタを、前記第２の逆ウェーブレット変換部と前記強調処理部との間に設けるようにしてもよい（第７の構成）。

　上記目的を達成するために本発明に係る画像拡大プログラムは、コンピュータを、入力画像を拡大した第１の拡大画像を生成する画像拡大フィルタと、前記第１の拡大画像をウェーブレット変換して、前記第１の拡大画像の水平方向における低周波成分と垂直方向における低周波成分を抽出した画像を表す第１のサブバンド成分、前記第１の拡大画像の水平方向における高周波成分を抽出した画像を表す第２のサブバンド成分、前記第１の拡大画像の垂直方向における高周波成分を抽出した画像を表す第３のサブバンド成分、及び前記第１の拡大画像の水平方向における高周波成分と垂直方向における高周波成分を抽出した画像を表す第４のサブバンド成分を生成する第１のウェーブレット変換部と、前記第１の拡大画像をウェーブレット変換して、前記第１の拡大画像の水平方向における低周波成分と垂直方向における低周波成分を抽出した画像を表す第５のサブバンド成分、前記第１の拡大画像の水平方向における高周波成分を抽出した画像を表す第６のサブバンド成分、前記第１の拡大画像の垂直方向における高周波成分を抽出した画像を表す第７のサブバンド成分、及び前記第１の拡大画像の水平方向における高周波成分と垂直方向における高周波成分を抽出した画像を表す第８のサブバンド成分を生成する第２のウェーブレット変換部と、所定のサブバンド成分、並びに、前記第１のウェーブレット変換部から出力される前記第２のサブバンド成分、前記第３のサブバンド成分、及び前記第４のサブバンド成分をウェーブレット変換画像と見て、逆ウェーブレット変換を行って第１のエッジ信号を生成する第１の逆ウェーブレット変換部と、所定のサブバンド成分、並びに、前記第２のウェーブレット変換部から出力される前記第６のサブバンド成分、前記第７のサブバンド成分、及び前記第８のサブバンド成分をウェーブレット変換画像と見て、逆ウェーブレット変換を行って第２のエッジ信号を生成する第２の逆ウェーブレット変換部と、第２の拡大画像を生成する画像拡大部と、前記第１のエッジ信号及び前記第２のエッジ信号を用いて、前記第２の拡大画像に対して強調処理を行う強調処理部とを備え、前記第１のウェーブレット変換部と前記第２のウェーブレット変換部とが互いに異なるウェーブレット変換を使い、前記第１の逆ウェーブレット変換部と前記第２の逆ウェーブレット変換部とが互いに異なる逆ウェーブレット変換を使う画像拡大装置として機能させるようにしている。

　上記目的を達成するために本発明に係る記憶媒体は、上記画像拡大プログラムを記憶したコンピュータ読み取り可能な記憶媒体とする。

　上記目的を達成するために本発明に係る表示装置は、上記第１～第７のいずれかの構成の画像拡大装置を備えている。

　また、上記構成の表示装置において、前記画像拡大装置の前記入力画像が輝度画像であってもよい。或いは、上記構成の表示装置において、前記画像拡大装置を３つ備え、１つ目の前記画像拡大装置の入力画像が赤色成分画像であり、２つ目の前記画像拡大装置の入力画像が緑色成分画像であり、３つ目の前記画像拡大装置の入力画像が青色成分画像であるようにしてもよい。

　本発明によると、前記第１のウェーブレット変換部と前記第２のウェーブレット変換部とが互いに異なるウェーブレット変換を使うので、画像の輪郭と画像の細部とを同時に画質良く強調することができる。

本発明の第１実施形態に係る画像拡大装置の構成を示す図である。 本発明の第１実施形態に係る画像拡大装置の動作を示すフローチャートである。 本発明の第１実施形態に係る画像拡大装置の各部の入出力データ例を示す図である。 本発明の第２実施形態に係る画像拡大装置の構成を示す図である。 本発明の第１実施形態、第２実施形態、第４実施形態、及び第５実施形態における各画像の画像サイズを模式的に示す図である。 本発明の第３実施形態に係る画像拡大装置の構成を示す図である。 本発明の第３実施形態及び第６実施形態における各画像の画像サイズを模式的に示す図である。 本発明の第４実施形態に係る画像拡大装置の構成を示す図である。 本発明の第４実施形態に係る画像拡大装置の動作を示すフローチャートである。 ローパスフィルタ処理前後のエッジ信号の例を示す図である。 本発明の第４実施形態に係る画像拡大装置の各部の入出力データ例を示す図である。 本発明の第５実施形態に係る画像拡大装置の構成を示す図である。 本発明の第６実施形態に係る画像拡大装置の構成を示す図である。 本発明に係る表示装置の一例である液晶テレビの概略構成を示す図である。 本発明の第１実施形態に係る画像拡大装置を用いたバックエンド部の構成例を示す図である。 本発明の第２実施形態に係る画像拡大装置を用いたバックエンド部の構成例を示す図である。 本発明の第３実施形態に係る画像拡大装置を用いたバックエンド部の構成例を示す図である。 本発明の第４実施形態に係る画像拡大装置を用いたバックエンド部の構成例を示す図である。 本発明の第５実施形態に係る画像拡大装置を用いたバックエンド部の構成例を示す図である。 本発明の第６実施形態に係る画像拡大装置を用いたバックエンド部の構成例を示す図である。 本発明に係る画像拡大装置を用いたバックエンド部であって、当該画像拡大装置がＲＧＢ信号を処理するタイプのバックエンド部の構成例を示す図である。 コンピュータの概略構成を示す図である。 原画像とウェーブレット変換画像を模式的に示す図である。 ウェーブレット変換を用いた画像拡大方法の概要を模式的に示す図である。 特許文献１で提案されている画像拡大方法の概要を模式的に示す図である。 特許文献２で提案されている画像拡大方法で用いられるフィルタの例を示す図である。 特願２００９－２２５９９５号で提案されている画像拡大装置の一例を示す図である。

　本発明の実施形態について図面を参照して以下に説明する。

＜本発明の第１実施形態に係る画像拡大装置＞
　本発明の第１実施形態に係る画像拡大装置の構成を図１に示す。本発明の第１実施形態に係る画像拡大装置は、Lanczos3フィルタ１と、CDF9/7ウェーブレット変換部２と、Haarウェーブレット変換部３と、CDF9/7逆ウェーブレット変換部４と、Haar逆ウェーブレット変換部５と、ゲイン制御部６と、乗算器７及び８と、CDF9/7逆ウェーブレット変換部９と、加算器１０と、書き換え可能な不揮発性メモリを内蔵する制御部（不図示）とを備えている。

　本発明の第１実施形態に係る画像拡大装置の動作について図２に示すフローチャートを参照して説明する。

　まず、制御部が、不揮発性メモリからLanczos3フィルタ１、CDF9/7ウェーブレット変換部２、Haarウェーブレット変換部３、CDF9/7逆ウェーブレット変換部４、Haar逆ウェーブレット変換部５、及びCDF9/7逆ウェーブレット変換部９の定数設定を読み出して、Lanczos3フィルタ１、CDF9/7ウェーブレット変換部２、Haarウェーブレット変換部３、CDF9/7逆ウェーブレット変換部４、Haar逆ウェーブレット変換部５、及びCDF9/7逆ウェーブレット変換部９に定数を設定する（ステップＳ１０）。本実施形態では、Lanczos3フィルタ１が画像を水平方向、垂直方向それぞれにおいて２倍に拡大する画像拡大フィルタとして機能するように、Lanczos3フィルタ１の定数が設定される。

　次に、Lanczos3フィルタ１が、入力画像ＩＭＧ＿ＩＮを水平方向、垂直方向それぞれにおいて２倍に拡大した拡大画像ＩＭＧ＿ＵＰを生成する（ステップＳ２０）。また、CDF9/7逆ウェーブレット変換部９が入力画像ＩＭＧ＿ＩＮをウェーブレット変換画像のサブバンド成分ＩＭＧ＿ＬＬと看做し、残りの三つのサブバンド成分ＩＭＧ＿ＨＬ（０）、ＩＭＧ＿ＬＨ（０）、及びＩＭＧ＿ＨＨ（０）と合わせたものをウェーブレット変換画像と見て、CDF9/7逆ウェーブレット変換を行って拡大画像ＩＭＧ＿ＳＹＮＴＨを生成する（ステップＳ２０）。なお、サブバンド成分ＩＭＧ＿ＨＬ（０）、ＩＭＧ＿ＬＨ（０）、及びＩＭＧ＿ＨＨ（０）はそれぞれ全ての画素値が０であるサブバンド成分である。

　次に、CDF9/7ウェーブレット変換部２が、拡大画像ＩＭＧ＿ＵＰに対してCDF9/7ウェーブレット変換を行って、サブバンド成分ＩＭＧ２＿ＬＬ、ＩＭＧ２＿ＨＬ、ＩＭＧ２＿ＬＨ、及びＩＭＧ２＿ＨＨを生成する（ステップＳ３０）。また、Haarウェーブレット変換部３が、拡大画像ＩＭＧ＿ＵＰに対してHaarウェーブレット変換を行って、サブバンド成分ＩＭＧ３＿ＬＬ、ＩＭＧ３＿ＨＬ、ＩＭＧ３＿ＬＨ、及びＩＭＧ３＿ＨＨを生成する（ステップＳ３０）。

　続くステップＳ４０においてゲイン処理が行われる。以下、ゲイン処理について詳述する。

　CDF9/7逆ウェーブレット変換部４が、サブバンド成分ＩＭＧ＿ＬＬ（０）と、CDF9/7ウェーブレット変換部２から出力されるサブバンド成分ＩＭＧ２＿ＨＬ、ＩＭＧ２＿ＬＨ、及びＩＭＧ２＿ＨＨと合わせたものをウェーブレット変換画像と見て、CDF9/7逆ウェーブレット変換を行ってエッジ信号ＥＤＧＥ＿CDF9/7を生成し、そのエッジ信号ＥＤＧＥ＿CDF9/7を乗算器７とゲイン制御部６とに出力する。また、Haar逆ウェーブレット変換部５が、サブバンド成分ＩＭＧ＿ＬＬ（０）と、Haarウェーブレット変換部３から出力されるサブバンド成分ＩＭＧ３＿ＨＬ、ＩＭＧ３＿ＬＨ、及びＩＭＧ３＿ＨＨと合わせたものをウェーブレット変換画像と見て、Haar逆ウェーブレット変換を行ってエッジ信号ＥＤＧＥ＿Haarを生成し、そのエッジ信号ＥＤＧＥ＿Haarを乗算器８とゲイン制御部６とに出力する。なお、サブバンド成分ＩＭＧ＿ＬＬ（０）は全ての画素値が０であるサブバンド成分である。

　ゲイン制御部６は、エッジ信号ＥＤＧＥ＿CDF9/7及びＥＤＧＥ＿Haarに基づいて、ゲインＧＡＩＮ＿CDF9/7及びＧＡＩＮ＿Haarの各値を決定する。

　本実施形態では、ゲイン制御部６は、エッジ信号ＥＤＧＥ＿CDF9/7が第１の閾値Ｔｈ１より大きいか否かを画素毎に判定し、エッジ信号ＥＤＧＥ＿CDF9/7が第１の閾値Ｔｈ１より大きい画素についてはゲイン値をｃ１（正の定数）とし、エッジ信号ＥＤＧＥ＿CDF9/7が第１の閾値Ｔｈ１以下である画素についてはゲイン値を０として、ゲインＧＡＩＮ＿CDF9/7を生成する。そして、ゲインＧＡＩＮ＿CDF9/7とエッジ信号ＥＤＧＥ＿CDF9/7とが乗算器７で乗算されて補正信号ＲＥＶ＿CDF9/7が生成される。

　CDF9/7ウェーブレット変換を使って得られたエッジ信号ＥＤＧＥ＿CDF9/7は、画像の輪郭を滑らか（自然）に表しているので、上述したような処理により、補正信号ＲＥＶ＿CDF9/7は、画像の輪郭部分を強調する補正信号となる。なお、第１の閾値Ｔｈ１はコアリング閾値である。

　また、本実施形態では、ゲイン制御部６は、エッジ信号ＥＤＧＥ＿CDF9/7が第２の閾値Ｔｈ２より小さく且つエッジ信号ＥＤＧＥ＿Haarが第３の閾値Ｔｈ３より大きいか否かを画素毎に判定し、エッジ信号ＥＤＧＥ＿CDF9/7が第２の閾値Ｔｈ２より小さく且つエッジ信号ＥＤＧＥ＿Haarが第３の閾値Ｔｈ３より大きい画素についてはゲイン値をｃ２（正の定数）とし、エッジ信号ＥＤＧＥ＿CDF9/7が第２の閾値Ｔｈ２以上及び／又はエッジ信号ＥＤＧＥ＿Haarが第３の閾値Ｔｈ３以下である画素についてはゲイン値を０として、ゲインＧＡＩＮ＿Haarを生成する。そして、ゲインＧＡＩＮ＿Haarとエッジ信号ＥＤＧＥ＿Haarとが乗算器８で乗算されて補正信号ＲＥＶ＿Haarが生成される。なお、ｃ２はｃ１と同じ値、異なる値のいずれであっても構わない。

　Haarウェーブレット変換を使って得られたエッジ信号ＥＤＧＥ＿Haarは画像の輪郭と画像の細部の両方を含んでおり、尚かつ、エッジ信号ＥＤＧＥ＿Haarに含まれている画像の輪郭にはジャギーがあるので、画像の輪郭部分（エッジ信号ＥＤＧＥ＿CDF9/7が大きい画素の部分）を排除し、画像の細部部分のみを残すようにする。上述したような処理により、補正信号ＲＥＶ＿Haarは、画像の細部部分のみを強調する補正信号となる。なお、第２の閾値Ｔｈ２は画像の輪郭部分に該当するか否かを判別するための閾値であり、第３の閾値Ｔｈ３はコアリング閾値である。

　ここで、第１の閾値Ｔｈ１と第２の閾値Ｔｈ２とを同一にした場合での、本発明の第１実施形態に係る画像拡大装置の各部の入出力データ例を図３に示す。上から順に、Lanczos3フィルタ１に入力される入力画像ＩＭＧ＿ＩＮ、Lanczos3フィルタ１から出力される拡大画像ＩＭＧ＿ＵＰ、CDF9/7ウェーブレット変換部２から出力されるサブバンド成分ＩＭＧ２＿ＬＬ、ＩＭＧ２＿ＨＬ、ＩＭＧ２＿ＬＨ、及びＩＭＧ２＿ＨＨ、Haarウェーブレット変換部３から出力されるサブバンド成分ＩＭＧ３＿ＬＬ、ＩＭＧ３＿ＨＬ、ＩＭＧ３＿ＬＨ、及びＩＭＧ３＿ＨＨ、CDF9/7逆ウェーブレット変換部４から出力されるエッジ信号ＥＤＧＥ＿CDF9/7、Haar逆ウェーブレット変換部５から出力されるエッジ信号ＥＤＧＥ＿Haar、ゲイン制御部６から出力されるゲインＧＡＩＮ＿CDF9/7及びＧＡＩＮ＿Haarを視覚化したものである。なお、図３の一番下に示しているゲイン制御部６から出力されるゲインＧＡＩＮ＿CDF9/7及びＧＡＩＮ＿Haarを視覚化したものにおいて、白色部分は“ゲインＧＡＩＮ＿CDF9/7＝ｃ１”の部分であり、黒色部分は“ゲインＧＡＩＮ＿Haar＝ｃ２”の部分であり、灰色部分は“ゲインＧＡＩＮ＿CDF9/7＝０且つゲインＧＡＩＮ＿Haar＝０”の部分である。

　図２に戻り、本発明の第１実施形態に係る画像拡大装置の動作についての説明を続ける。ステップＳ４０に続くステップＳ５０において、補正処理が行われる。加算器１０は、ステップＳ２０において生成された拡大画像ＩＭＧ＿ＳＹＮＴＨに、ステップＳ４０で生成された補正信号ＲＥＶ＿CDF9/7及びＲＥＶ＿Haarを加えて、出力画像ＩＭＧ＿ＯＵＴを生成する。出力画像ＩＭＧ＿ＯＵＴが本発明の第１実施形態に係る画像拡大装置の出力となる。

　本実施形態では、入力画像ＩＭＧ＿ＩＮがＭ画素×Ｎ画素（Ｍ、Ｎはそれぞれ自然数）であれば、拡大画像ＩＭＧ＿ＵＰ及びＩＭＧ＿ＳＹＮＴＨは夫々２Ｍ画素×２Ｎ画素となり、サブバンド成分ＩＭＧ２＿ＬＬ、ＩＭＧ２＿ＨＬ、ＩＭＧ２＿ＬＨ、及びＩＭＧ２＿ＨＨは夫々Ｍ画素×Ｎ画素となり、サブバンド成分ＩＭＧ３＿ＬＬ、ＩＭＧ３＿ＨＬ、ＩＭＧ３＿ＬＨ、及びＩＭＧ３＿ＨＨは夫々Ｍ画素×Ｎ画素となる（図５参照）。すなわち、本発明の第１実施形態に係る画像拡大装置は、水平方向、垂直方向それぞれにおいて２倍の画像拡大を行っている。

　また、本実施形態では、ゲイン制御部６で用いられる正の定数ｃ１及びｃ２は、制御部に内蔵されている不揮発性メモリに記憶されている。その正の定数ｃ１及びｃ２を書き換えることによって、エッジ強調強度を自由に調整することができる。

　本発明の第１実施形態に係る画像拡大装置は、画像の輪郭部分と画像の細部部分とを夫々異なる強度で夫々独立して強調することができるので、画像の輪郭と画像の細部とを同時に画質良く強調することができる。

＜本発明の第２実施形態に係る画像拡大装置＞
　本発明の第２実施形態に係る画像拡大装置の構成を図４に示す。なお、図４において図１と同一の部分には同一の符号を付す。本発明の第２実施形態に係る画像拡大装置は、本発明の第１実施形態に係る画像拡大装置と同様、Lanczos3フィルタ１と、CDF9/7ウェーブレット変換部２と、Haarウェーブレット変換部３と、CDF9/7逆ウェーブレット変換部４と、Haar逆ウェーブレット変換部５と、ゲイン制御部６と、乗算器７及び８と、CDF9/7逆ウェーブレット変換部９と、加算器１０と、書き換え可能な不揮発性メモリを内蔵する制御部（不図示）とを備えている。

　本発明の第２実施形態に係る画像拡大装置が本発明の第１実施形態に係る画像拡大装置と異なる点は、CDF9/7逆ウェーブレット変換部９が、入力画像ＩＭＧ＿ＩＮをウェーブレット変換画像のサブバンド成分ＩＭＧ＿ＬＬと看做し、残りの三つのサブバンド成分ＩＭＧ＿ＨＬ（０）、ＩＭＧ＿ＬＨ（０）、及びＩＭＧ＿ＨＨ（０）と合わせたものをウェーブレット変換画像と見るのではなく、CDF9/7ウェーブレット変換部２から出力されるサブバンド成分ＩＭＧ２＿ＬＬをウェーブレット変換画像のサブバンド成分ＩＭＧ＿ＬＬと看做し、残りの三つのサブバンド成分ＩＭＧ＿ＨＬ（０）、ＩＭＧ＿ＬＨ（０）、及びＩＭＧ＿ＨＨ（０）と合わせたものをウェーブレット変換画像と見て、CDF9/7逆ウェーブレット変換を行って拡大画像ＩＭＧ＿ＳＹＮＴＨを生成する点である。

　本発明の第２実施形態に係る画像拡大装置は、本発明の第１実施形態に係る画像拡大装置と同様、画像の輪郭部分と画像の細部部分とを夫々異なる強度で夫々独立して強調することができるので、画像の輪郭と画像の細部とを同時に画質良く強調することができる。

＜本発明の第３実施形態に係る画像拡大装置＞
　本発明の第３実施形態に係る画像拡大装置の構成を図６に示す。なお、図６において図１と同一の部分には同一の符号を付す。本発明の第３実施形態に係る画像拡大装置は、本発明の第１実施形態に係る画像拡大装置からCDF9/7逆ウェーブレット変換部９を取り除き、加算器１０が、Lanczos3フィルタ１から出力される拡大画像ＩＭＧ＿ＵＰに、乗算器７及び８から出力される補正信号ＲＥＶ＿CDF9/7及びＲＥＶ＿Haarを加えて、出力画像ＩＭＧ＿ＯＵＴを生成するようにした構成である。

　本発明の第３実施形態に係る画像拡大装置は、本発明の第１実施形態に係る画像拡大装置及び本発明の第２実施形態に係る画像拡大装置と同様、画像の輪郭部分と画像の細部部分とを夫々異なる強度で夫々独立して強調することができるので、画像の輪郭と画像の細部とを同時に画質良く強調することができる。

　また、本発明の第３実施形態に係る画像拡大装置では、Lanczos3フィルタ１での拡大が水平方向、垂直方向それぞれにおいて２倍に限定されない。

　本実施形態では、入力画像ＩＭＧ＿ＩＮはＭ画素×Ｎ画素（Ｍ、Ｎはそれぞれ自然数）であり、拡大画像ＩＭＧ＿ＵＰ及び出力画像ＩＭＧ＿ＯＵＴは夫々２Ｋ画素×２Ｌ画素（ＫはＭ／２より大きい自然数、ＬはＮ／２より大きい自然数）であり、サブバンド成分ＩＭＧ２＿ＬＬ、ＩＭＧ２＿ＨＬ、ＩＭＧ２＿ＬＨ、及びＩＭＧ２＿ＨＨは夫々Ｋ画素×Ｌ画素であり、サブバンド成分ＩＭＧ３＿ＬＬ、ＩＭＧ３＿ＨＬ、ＩＭＧ３＿ＬＨ、及びＩＭＧ３＿ＨＨは夫々Ｋ画素×Ｌ画素となる（図７参照）。すなわち、本発明の第３実施形態に係る画像拡大装置は、出力画像ＩＭＧ＿ＯＵＴの水平方向の画素数と垂直方向の画素数がそれぞれ２の倍数であれば、拡大処理可能である。

　第１実施形態及び第２実施形態では、上述した通り、水平方向、垂直方向それぞれにおいて２倍の画像拡大しか行えない。ところが、所望の拡大画像は、水平方向、垂直方向それぞれにおいて原画像である入力画像の２倍になるとは限らない。したがって、所望の拡大画像が水平方向、垂直方向それぞれにおいて原画像である入力画像の２倍とはならない場合、本発明の第１実施形態に係る画像拡大装置や本発明の第２実施形態に係る画像拡大装置の前段や後段に、従来の拡大・縮小処理装置を設けることで所望の拡大画像を得ることができるが、従来の拡大・縮小処理装置を設ける分コストが高くなってしまう。

　代表的な表示テレビ信号や表示パネルの画像サイズは表１に示すように全て水平方向、垂直方向ともに２の倍数であるので、本発明の第３実施形態に係る画像拡大装置は、前段や後段に従来の拡大・縮小処理装置を設けなくても、代表的な表示テレビ信号や表示パネルの画像サイズに対応することができる。

＜本発明の第１～３実施形態に係る画像拡大装置の課題＞
　本発明の第１～３実施形態に係る画像拡大装置は、画像の輪郭と画像の細部とを同時に画質良く強調することができるものの、画像を輪郭と細部に分けて強調するときに細部に輪郭が残るという課題（以下、「第１の課題」という）を有しており、また、輪郭と細部それぞれに網目のようなノイズが現れるという課題（以下、「第２の課題」という）を有している。

＜本発明の第４実施形態に係る画像拡大装置＞
　本発明の第４実施形態に係る画像拡大装置は、画像の輪郭と画像の細部とを同時に画質良く強調することができ、さらに、上記第１の課題及び上記第２の課題も解決することができる画像拡大装置である。

　本発明の第４実施形態に係る画像拡大装置の構成を図８に示す。なお、図８において図１と同一の部分には同一の符号を付す。本発明の第４実施形態に係る画像拡大装置は、Lanczos3フィルタ１と、CDF9/7ウェーブレット変換部２と、Haarウェーブレット変換部３と、CDF9/7逆ウェーブレット変換部４と、Haar逆ウェーブレット変換部５と、ゲイン制御部６と、乗算器７及び８と、CDF9/7逆ウェーブレット変換部９と、加算器１０と、書き換え可能な不揮発性メモリを内蔵する制御部（不図示）と、ＬＰＦ（Low　Pass　Filter）２０１及び２０２とを備えている。ＬＰＦ２０１及び２０２の実施例としては、例えば、下記（１）式のガウシアン関数を用いて低周波数成分を抽出するＬＰＦが挙げられる。

　本発明の第４実施形態に係る画像拡大装置の動作について図９に示すフローチャートを参照して説明する。なお、図９において図２と同一のステップには同一の符号を付す。

　まず、制御部が、不揮発性メモリからLanczos3フィルタ１、CDF9/7ウェーブレット変換部２、Haarウェーブレット変換部３、CDF9/7逆ウェーブレット変換部４、Haar逆ウェーブレット変換部５、及びCDF9/7逆ウェーブレット変換部９の定数設定を読み出して、Lanczos3フィルタ１、CDF9/7ウェーブレット変換部２、Haarウェーブレット変換部３、CDF9/7逆ウェーブレット変換部４、Haar逆ウェーブレット変換部５、及びCDF9/7逆ウェーブレット変換部９に定数を設定する（ステップＳ１０）。本実施形態では、Lanczos3フィルタ１が画像を水平方向、垂直方向それぞれにおいて２倍に拡大する画像拡大フィルタとして機能するように、Lanczos3フィルタ１の定数が設定される。

　次に、Lanczos3フィルタ１が、入力画像ＩＭＧ＿ＩＮを水平方向、垂直方向それぞれにおいて２倍に拡大した拡大画像ＩＭＧ＿ＵＰを生成する（ステップＳ２０）。また、CDF9/7逆ウェーブレット変換部９が入力画像ＩＭＧ＿ＩＮをウェーブレット変換画像のサブバンド成分ＩＭＧ＿ＬＬと看做し、残りの三つのサブバンド成分ＩＭＧ＿ＨＬ（０）、ＩＭＧ＿ＬＨ（０）、及びＩＭＧ＿ＨＨ（０）と合わせたものをウェーブレット変換画像と見て、CDF9/7逆ウェーブレット変換を行って拡大画像ＩＭＧ＿ＳＹＮＴＨを生成する（ステップＳ２０）。なお、サブバンド成分ＩＭＧ＿ＨＬ（０）、ＩＭＧ＿ＬＨ（０）、及びＩＭＧ＿ＨＨ（０）はそれぞれ全ての画素値が０であるサブバンド成分である。

　次に、CDF9/7ウェーブレット変換部２が、拡大画像ＩＭＧ＿ＵＰに対してCDF9/7ウェーブレット変換を行って、サブバンド成分ＩＭＧ２＿ＬＬ、ＩＭＧ２＿ＨＬ、ＩＭＧ２＿ＬＨ、及びＩＭＧ２＿ＨＨを生成する（ステップＳ３０）。また、Haarウェーブレット変換部３が、拡大画像ＩＭＧ＿ＵＰに対してHaarウェーブレット変換を行って、サブバンド成分ＩＭＧ３＿ＬＬ、ＩＭＧ３＿ＨＬ、ＩＭＧ３＿ＬＨ、及びＩＭＧ３＿ＨＨを生成する（ステップＳ３０）。

　続くステップＳ４５においてローパスフィルタ処理及びゲイン処理が行われる。以下、ローパスフィルタ処理及びゲイン処理について詳述する。

　CDF9/7逆ウェーブレット変換部４が、サブバンド成分ＩＭＧ＿ＬＬ（０）と、CDF9/7ウェーブレット変換部２から出力されるサブバンド成分ＩＭＧ２＿ＨＬ、ＩＭＧ２＿ＬＨ、及びＩＭＧ２＿ＨＨと合わせたものをウェーブレット変換画像と見て、CDF9/7逆ウェーブレット変換を行ってエッジ信号を生成する。ＬＰＦ２０１は、CDF9/7逆ウェーブレット変換部４において生成されたエッジ信号に対してローパスフィルタ処理を施し、その後、エッジ信号（ローパスフィルタ処理後のエッジ信号）ＥＤＧＥ＿CDF9/7を乗算器７とゲイン制御部６とに出力する。また、Haar逆ウェーブレット変換部５が、サブバンド成分ＩＭＧ＿ＬＬ（０）と、Haarウェーブレット変換部３から出力されるサブバンド成分ＩＭＧ３＿ＨＬ、ＩＭＧ３＿ＬＨ、及びＩＭＧ３＿ＨＨと合わせたものをウェーブレット変換画像と見て、Haar逆ウェーブレット変換を行ってエッジ信号を生成する。ＬＰＦ２０２は、Haar逆ウェーブレット変換部５において生成されたエッジ信号に対してローパスフィルタ処理を施し、その後、エッジ信号（ローパスフィルタ処理後のエッジ信号）ＥＤＧＥ＿Haarを乗算器８とゲイン制御部６とに出力する。なお、サブバンド成分ＩＭＧ＿ＬＬ（０）は全ての画素値が０であるサブバンド成分である。

　上述したような処理により、CDF9/7逆ウェーブレット変換部４において生成されたエッジ信号がローパスフィルタ処理されるので、画像の輪郭部分に網目のようなノイズが現れることを抑制でき、Haar逆ウェーブレット変換部５において生成されたエッジ信号がローパスフィルタ処理されるので、画像の細部部分に網目のようなノイズが現れることを抑制できる。このことは、図１０（ａ）と図１０（ｂ）との比較から明らかである。図１０（ａ）は、Haar逆ウェーブレット変換部５から出力される信号を視覚化したものの一例を示しており、図１０（ｂ）は、ＬＰＦ２０２から出力されるエッジ信号ＥＤＧＥ＿Haarを視覚化したものの一例を示している。

　ゲイン制御部６は、ｍ（自然数）行目ｎ（自然数）列目の注目画素Ｇ（ｍ，ｎ）のエッジ信号ＥＤＧＥ＿CDF9/7及びＥＤＧＥ＿Haarの各値に基づいて、注目画素Ｇ（ｍ，ｎ）のゲインＧＡＩＮ＿CDF9/7及びＧＡＩＮ＿Haarの各値を決定する。

　本実施形態では、ゲイン制御部６は、注目画素Ｇ（ｍ，ｎ）のエッジ信号ＥＤＧＥ＿CDF9/7の値が第１の閾値Ｔｈ１より大きいか否かを判定し、注目画素Ｇ（ｍ，ｎ）のエッジ信号ＥＤＧＥ＿CDF9/7の値が第１の閾値Ｔｈ１より大きければ、注目画素Ｇ（ｍ，ｎ）のゲインＧＡＩＮ＿CDF9/7の値をｃ１（正の定数）とし、注目画素Ｇ（ｍ，ｎ）のエッジ信号ＥＤＧＥ＿CDF9/7の値が第１の閾値Ｔｈ１以下であれば、注目画素Ｇ（ｍ，ｎ）のゲインＧＡＩＮ＿CDF9/7の値を０とする。そして、ゲインＧＡＩＮ＿CDF9/7とエッジ信号ＥＤＧＥ＿CDF9/7とが乗算器７で乗算されて補正信号ＲＥＶ＿CDF9/7が生成される。

　CDF9/7ウェーブレット変換を使って得られたエッジ信号ＥＤＧＥ＿CDF9/7は、画像の輪郭を滑らか（自然）に表しているので、上述したような処理により、補正信号ＲＥＶ＿CDF9/7は、画像の輪郭部分を強調する補正信号となる。なお、第１の閾値Ｔｈ１はコアリング閾値である。

　また、本実施形態では、ゲイン制御部６は、注目画素Ｇ（ｍ，ｎ）のエッジ信号ＥＤＧＥ＿CDF9/7の値が第２の閾値Ｔｈ２より小さく且つ注目画素Ｇ（ｍ，ｎ）のエッジ信号ＥＤＧＥ＿Haarの値が第３の閾値Ｔｈ３より大きいか否かを判定し、注目画素Ｇ（ｍ，ｎ）のエッジ信号ＥＤＧＥ＿CDF9/7の値が第２の閾値Ｔｈ２より小さく且つ注目画素Ｇ（ｍ，ｎ）のエッジ信号ＥＤＧＥ＿Haarの値が第３の閾値Ｔｈ３より大きければ、注目画素Ｇ（ｍ，ｎ）のゲインＧＡＩＮ＿Haarの値をｃ２（正の定数）とし、注目画素Ｇ（ｍ，ｎ）のエッジ信号ＥＤＧＥ＿CDF9/7の値が第２の閾値Ｔｈ２以上及び／又は注目画素Ｇ（ｍ，ｎ）のエッジ信号ＥＤＧＥ＿Haarの値が第３の閾値Ｔｈ３以下であれば、注目画素Ｇ（ｍ，ｎ）のゲインＧＡＩＮ＿Haarの値を０とする。ただし、このような注目画素Ｇ（ｍ，ｎ）のゲインＧＡＩＮ＿Haarの値の設定にかかわらず、注目画素Ｇ（ｍ，ｎ）の周辺領域（ｍ－Δｍ（自然数）行目～ｍ＋Δｍ行目であり、ｎ－Δｎ（自然数）行目～ｎ＋Δｎ列目の領域）に、エッジ信号ＥＤＧＥ＿CDF9/7が第４の閾値Ｔｈ４より大きい画素があれば、注目画素Ｇ（ｍ，ｎ）のゲインＧＡＩＮ＿Haarの値を強制的に０にする。そして、ゲインＧＡＩＮ＿Haarとエッジ信号ＥＤＧＥ＿Haarとが乗算器８で乗算されて補正信号ＲＥＶ＿Haarが生成される。なお、ｃ２はｃ１と同じ値、異なる値のいずれであっても構わない。

　Haarウェーブレット変換を使って得られたエッジ信号ＥＤＧＥ＿Haarは画像の輪郭と画像の細部の両方を含んでおり、尚かつ、エッジ信号ＥＤＧＥ＿Haarに含まれている画像の輪郭にはジャギーがあるので、画像の輪郭部分（エッジ信号ＥＤＧＥ＿CDF9/7が大きい画素の部分）を排除し、画像の細部部分のみを残すようにする。上述したような処理により、補正信号ＲＥＶ＿Haarは、画像の細部部分のみを強調する補正信号となる。なお、第２の閾値Ｔｈ２は画像の輪郭部分に該当するか否かを判別するための閾値であり、第３の閾値Ｔｈ３はコアリング閾値である。

　さらに、注目画素Ｇ（ｍ，ｎ）の周辺領域（ｍ－Δｍ行目～ｍ＋Δｍ行目であり、ｎ－Δｎ行目～ｎ＋Δｎ列目の領域）に、エッジ信号ＥＤＧＥ＿CDF9/7が第４の閾値Ｔｈ４より大きい画素があれば、注目画素Ｇ（ｍ，ｎ）のゲインＧＡＩＮ＿Haarの値を強制的に０にしているので、画像を輪郭と細部に分けて強調するときに細部に輪郭が残ることを抑制できる。

　ここで、第１の閾値Ｔｈ１と第２の閾値Ｔｈ２とを同一にした場合での、本発明の第４実施形態に係る画像拡大装置の各部の入出力データ例を図１１に示す。上から順に、Lanczos3フィルタ１に入力される入力画像ＩＭＧ＿ＩＮ、Lanczos3フィルタ１から出力される拡大画像ＩＭＧ＿ＵＰ、CDF9/7ウェーブレット変換部２から出力されるサブバンド成分ＩＭＧ２＿ＬＬ、ＩＭＧ２＿ＨＬ、ＩＭＧ２＿ＬＨ、及びＩＭＧ２＿ＨＨ、Haarウェーブレット変換部３から出力されるサブバンド成分ＩＭＧ３＿ＬＬ、ＩＭＧ３＿ＨＬ、ＩＭＧ３＿ＬＨ、及びＩＭＧ３＿ＨＨ、ＬＰＦ２０１から出力されるエッジ信号ＥＤＧＥ＿CDF9/7、ＬＰＦ２０２から出力されるエッジ信号ＥＤＧＥ＿Haar、図１に示す本発明の第１実施形態に係る画像拡大装置の乗算器８から出力される補正信号ＲＥＶ＿Haar（比較例）、乗算器８から出力される補正信号ＲＥＶ＿Haarを視覚化したものである。

　図１に示す本発明の第１実施形態に係る画像拡大装置の乗算器８から出力される補正信号ＲＥＶ＿Haar（比較例）を視覚化したものと、本実施形態での乗算器８から出力される補正信号ＲＥＶ＿Haarを視覚化したものとの比較から、本実施形態では、画像を輪郭と細部に分けて強調するときに細部（補正信号ＲＥＶ＿Haar）に輪郭（図１１の例では「CLEAN　ENERGY　is　the　SUN」という文字の痕）が残ることを抑制できていることがわかる。

　図９に戻り、本発明の第４実施形態に係る画像拡大装置の動作についての説明を続ける。ステップＳ４５に続くステップＳ５０において、補正処理が行われる。加算器１０は、ステップＳ２０において生成された拡大画像ＩＭＧ＿ＳＹＮＴＨに、ステップＳ４５で生成された補正信号ＲＥＶ＿CDF9/7及びＲＥＶ＿Haarを加えて、出力画像ＩＭＧ＿ＯＵＴを生成する。出力画像ＩＭＧ＿ＯＵＴが本発明の第４実施形態に係る画像拡大装置の出力となる。

　本実施形態では、入力画像ＩＭＧ＿ＩＮがＭ画素×Ｎ画素（Ｍ、Ｎはそれぞれ自然数）であれば、拡大画像ＩＭＧ＿ＵＰ及びＩＭＧ＿ＳＹＮＴＨは夫々２Ｍ画素×２Ｎ画素となり、サブバンド成分ＩＭＧ２＿ＬＬ、ＩＭＧ２＿ＨＬ、ＩＭＧ２＿ＬＨ、及びＩＭＧ２＿ＨＨは夫々Ｍ画素×Ｎ画素となり、サブバンド成分ＩＭＧ３＿ＬＬ、ＩＭＧ３＿ＨＬ、ＩＭＧ３＿ＬＨ、及びＩＭＧ３＿ＨＨは夫々Ｍ画素×Ｎ画素となる（図５参照）。すなわち、本発明の第４実施形態に係る画像拡大装置は、水平方向、垂直方向それぞれにおいて２倍の画像拡大を行っている。

　また、本実施形態では、ゲイン制御部６で用いられる正の定数ｃ１及びｃ２は、制御部に内蔵されている不揮発性メモリに記憶されている。その正の定数ｃ１及びｃ２を書き換えることによって、エッジ強調強度を自由に調整することができる。

　本発明の第４実施形態に係る画像拡大装置は、画像の輪郭部分と画像の細部部分とを夫々異なる強度で夫々独立して強調することができるので、画像の輪郭と画像の細部とを同時に画質良く強調することができる。また、本発明の第４実施形態に係る画像拡大装置は、CDF9/7逆ウェーブレット変換部４において生成されたエッジ信号がローパスフィルタ処理されるので、画像の輪郭部分に網目のようなノイズが現れることを抑制でき、Haar逆ウェーブレット変換部５において生成されたエッジ信号がローパスフィルタ処理されるので、画像の細部部分に網目のようなノイズが現れることを抑制できる。また、本発明の第４実施形態に係る画像拡大装置は、注目画素Ｇ（ｍ，ｎ）の周辺領域（ｍ－Δｍ行目～ｍ＋Δｍ行目であり、ｎ－Δｎ行目～ｎ＋Δｎ列目の領域）に、エッジ信号ＥＤＧＥ＿CDF9/7が第４の閾値Ｔｈ４より大きい画素があれば、注目画素Ｇ（ｍ，ｎ）のゲインＧＡＩＮ＿Haarの値を強制的に０にしているので、画像を輪郭と細部に分けて強調するときに細部に輪郭が残ることを抑制できる。

＜本発明の第５実施形態に係る画像拡大装置＞
　本発明の第５実施形態に係る画像拡大装置は、本発明の第４実施形態に係る画像拡大装置と同様、画像の輪郭と画像の細部とを同時に画質良く強調することができ、さらに、上記第１の課題及び上記第２の課題も解決することができる画像拡大装置である。

　本発明の第５実施形態に係る画像拡大装置の構成を図１２に示す。なお、図１２において図８と同一の部分には同一の符号を付す。本発明の第５実施形態に係る画像拡大装置は、本発明の第４実施形態に係る画像拡大装置と同様、Lanczos3フィルタ１と、CDF9/7ウェーブレット変換部２と、Haarウェーブレット変換部３と、CDF9/7逆ウェーブレット変換部４と、Haar逆ウェーブレット変換部５と、ゲイン制御部６と、乗算器７及び８と、CDF9/7逆ウェーブレット変換部９と、加算器１０と、書き換え可能な不揮発性メモリを内蔵する制御部（不図示）と、ＬＰＦ２０１及び２０２とを備えている。

　本発明の第５実施形態に係る画像拡大装置が本発明の第４実施形態に係る画像拡大装置と異なる点は、CDF9/7逆ウェーブレット変換部９が、入力画像ＩＭＧ＿ＩＮをウェーブレット変換画像のサブバンド成分ＩＭＧ＿ＬＬと看做し、残りの三つのサブバンド成分ＩＭＧ＿ＨＬ（０）、ＩＭＧ＿ＬＨ（０）、及びＩＭＧ＿ＨＨ（０）と合わせたものをウェーブレット変換画像と見るのではなく、CDF9/7ウェーブレット変換部２から出力されるサブバンド成分ＩＭＧ２＿ＬＬをウェーブレット変換画像のサブバンド成分ＩＭＧ＿ＬＬと看做し、残りの三つのサブバンド成分ＩＭＧ＿ＨＬ（０）、ＩＭＧ＿ＬＨ（０）、及びＩＭＧ＿ＨＨ（０）と合わせたものをウェーブレット変換画像と見て、CDF9/7逆ウェーブレット変換を行って拡大画像ＩＭＧ＿ＳＹＮＴＨを生成する点である。

　本発明の第５実施形態に係る画像拡大装置は、本発明の第４実施形態に係る画像拡大装置と同様、画像の輪郭部分と画像の細部部分とを夫々異なる強度で夫々独立して強調することができるので、画像の輪郭と画像の細部とを同時に画質良く強調することができる。また、本発明の第５実施形態に係る画像拡大装置は、本発明の第４実施形態に係る画像拡大装置と同様、CDF9/7逆ウェーブレット変換部４において生成されたエッジ信号がローパスフィルタ処理されるので、画像の輪郭部分に網目のようなノイズが現れることを抑制でき、Haar逆ウェーブレット変換部５において生成されたエッジ信号がローパスフィルタ処理されるので、画像の細部部分に網目のようなノイズが現れることを抑制できる。また、本発明の第５実施形態に係る画像拡大装置は、本発明の第４実施形態に係る画像拡大装置と同様、注目画素Ｇ（ｍ，ｎ）の周辺領域（ｍ－Δｍ行目～ｍ＋Δｍ行目であり、ｎ－Δｎ行目～ｎ＋Δｎ列目の領域）に、エッジ信号ＥＤＧＥ＿CDF9/7が第４の閾値Ｔｈ４より大きい画素があれば、注目画素Ｇ（ｍ，ｎ）のゲインＧＡＩＮ＿Haarの値を強制的に０にしているので、画像を輪郭と細部に分けて強調するときに細部に輪郭が残ることを抑制できる。

＜本発明の第６実施形態に係る画像拡大装置＞
　本発明の第６実施形態に係る画像拡大装置は、本発明の第４実施形態に係る画像拡大装置及び本発明の第５実施形態に係る画像拡大装置と同様、画像の輪郭と画像の細部とを同時に画質良く強調することができ、さらに、上記第１の課題及び上記第２の課題も解決することができる画像拡大装置である。

　本発明の第６実施形態に係る画像拡大装置の構成を図１３に示す。なお、図１３において図８と同一の部分には同一の符号を付す。本発明の第６実施形態に係る画像拡大装置は、本発明の第４実施形態に係る画像拡大装置からCDF9/7逆ウェーブレット変換部９を取り除き、加算器１０が、Lanczos3フィルタ１から出力される拡大画像ＩＭＧ＿ＵＰに、乗算器７及び８から出力される補正信号ＲＥＶ＿CDF9/7及びＲＥＶ＿Haarを加えて、出力画像ＩＭＧ＿ＯＵＴを生成するようにした構成である。

　本発明の第６実施形態に係る画像拡大装置は、本発明の第４実施形態に係る画像拡大装置及び本発明の第５実施形態に係る画像拡大装置と同様、画像の輪郭部分と画像の細部部分とを夫々異なる強度で夫々独立して強調することができるので、画像の輪郭と画像の細部とを同時に画質良く強調することができる。また、本発明の第６実施形態に係る画像拡大装置は、本発明の第４実施形態に係る画像拡大装置及び本発明の第５実施形態に係る画像拡大装置と同様、CDF9/7逆ウェーブレット変換部４において生成されたエッジ信号がローパスフィルタ処理されるので、画像の輪郭部分に網目のようなノイズが現れることを抑制でき、Haar逆ウェーブレット変換部５において生成されたエッジ信号がローパスフィルタ処理されるので、画像の細部部分に網目のようなノイズが現れることを抑制できる。また、本発明の第６実施形態に係る画像拡大装置は、本発明の第４実施形態に係る画像拡大装置及び本発明の第５実施形態に係る画像拡大装置と同様、注目画素Ｇ（ｍ，ｎ）の周辺領域（ｍ－Δｍ行目～ｍ＋Δｍ行目であり、ｎ－Δｎ行目～ｎ＋Δｎ列目の領域）に、エッジ信号ＥＤＧＥ＿CDF9/7が第４の閾値Ｔｈ４より大きい画素があれば、注目画素Ｇ（ｍ，ｎ）のゲインＧＡＩＮ＿Haarの値を強制的に０にしているので、画像を輪郭と細部に分けて強調するときに細部に輪郭が残ることを抑制できる。

　また、本発明の第６実施形態に係る画像拡大装置では、Lanczos3フィルタ１での拡大が水平方向、垂直方向それぞれにおいて２倍に限定されない。

　本実施形態では、入力画像ＩＭＧ＿ＩＮはＭ画素×Ｎ画素（Ｍ、Ｎはそれぞれ自然数）であり、拡大画像ＩＭＧ＿ＵＰ及び出力画像ＩＭＧ＿ＯＵＴは夫々２Ｋ画素×２Ｌ画素（ＫはＭ／２より大きい自然数、ＬはＮ／２より大きい自然数）であり、サブバンド成分ＩＭＧ２＿ＬＬ、ＩＭＧ２＿ＨＬ、ＩＭＧ２＿ＬＨ、及びＩＭＧ２＿ＨＨは夫々Ｋ画素×Ｌ画素であり、サブバンド成分ＩＭＧ３＿ＬＬ、ＩＭＧ３＿ＨＬ、ＩＭＧ３＿ＬＨ、及びＩＭＧ３＿ＨＨは夫々Ｋ画素×Ｌ画素となる（図７参照）。すなわち、本発明の第６実施形態に係る画像拡大装置は、出力画像ＩＭＧ＿ＯＵＴの水平方向の画素数と垂直方向の画素数がそれぞれ２の倍数であれば、拡大処理可能である。

　第４実施形態及び第５実施形態では、上述した通り、水平方向、垂直方向それぞれにおいて２倍の画像拡大しか行えない。ところが、所望の拡大画像は、水平方向、垂直方向それぞれにおいて原画像である入力画像の２倍になるとは限らない。したがって、所望の拡大画像が水平方向、垂直方向それぞれにおいて原画像である入力画像の２倍とはならない場合、本発明の第４実施形態に係る画像拡大装置や本発明の第５実施形態に係る画像拡大装置の前段や後段に、従来の拡大・縮小処理装置を設けることで所望の拡大画像を得ることができるが、従来の拡大・縮小処理装置を設ける分コストが高くなってしまう。

　代表的な表示テレビ信号や表示パネルの画像サイズは上記の表１に示すように全て水平方向、垂直方向ともに２の倍数であるので、本発明の第６実施形態に係る画像拡大装置は、前段や後段に従来の拡大・縮小処理装置を設けなくても、代表的な表示テレビ信号や表示パネルの画像サイズに対応することができる。

＜本発明に係る表示装置＞
　本発明に係る表示装置の一例である液晶テレビの概略構成を図１４に示す。図１４に示す液晶テレビは、チューナ１１と、フロントエンド部１２と、バックエンド部１３と、タイミングコントローラ１４と、液晶表示パネル１５とを備えている。

　チューナ１１は、アンテナ１６から送られてくる高周波信号に含まれる受信チャンネルの放送波信号を特定周波数の信号に変換し、フロントエンド部１２に出力する。

　フロントエンド部１２は、チューナ１１の出力信号、又は、外部入力信号（ビデオ、ＤＶＤ等からのＹＣ信号）を処理する。フロントエンド部１２は、処理する信号がコンポジット信号である場合にはＹＣ分離処理を行う。また、フロントエンド部１２は、処理する信号が圧縮信号である場合にはデコード処理を行う。また、フロントエンド部１２は、処理する信号がインターレース方式の信号である場合にはＩＰ変換処理を行い、インターレース方式の信号をプログレッシブ方式の信号に変換する。

　バックエンド部１３は、ＹＣ信号をＲＧＢ信号に変換するＲＧＢ変換処理部（図１４において不図示）を有している。また、バックエンド部１３は、スケーラ処理及びエッジ強調処理を行うスケーラ・エッジ強調処理部（図１４において不図示）を有している。バックエンド部１３は、フロントエンド部１２の出力信号、又は、外部入力信号（パーソナルコンピュータ等からのＲＧＢ信号）を処理して、スケーラ処理及びエッジ強調処理が施されたＲＧＢ信号をタイミングコントローラ１４に出力する。

　タイミングコントローラ１４は、バックエンド部１３の出力信号に対して、フレームレート変換（例えば倍速処理）、ガンマ補正、映像信号の変化を予測して変化する前から駆動信号を強める補正などの処理を行い、それらの処理を行うことによって得られた駆動信号によって液晶表示パネル１５を駆動する。

　本発明に係る表示装置の一例である図１４に示す液晶テレビでは、バックエンド部１３のスケーラ・エッジ強調処理部内に本発明に係る画像拡大装置を設けている。

　ここで、本発明の第１実施形態に係る画像拡大装置を設けた場合のバックエンド部１３の構成例を図１５Ａに示す。なお、図１５Ａにおいて図１と同一の部分には同一の符号を付す。

　図１５Ａに示すバックエンド部１３では、本発明の第１実施形態に係る画像拡大装置とLanczos3フィルタ１７及び１８とによって構成されるスケーラ・エッジ強調処理部の後段に、ＹＣ信号をＲＧＢ信号に変換するＲＧＢ変換処理部１９が設けられている。なお、図１５Ａに示すバックエンド部１３は、ＲＧＢ信号をＹＣ信号に変換するＹＣ変換処理部（不図示）も備えており、外部入力信号（パーソナルコンピュータ等からのＲＧＢ信号）を処理する場合には、最初に当該ＹＣ変換処理部によって外部入力信号をＹＣ信号に変換する。

　図１５Ａに示すバックエンド部１３では、本発明の第１実施形態に係る画像拡大装置は輝度画像ＩＭＧ＿ＩＮ＿Ｙを入力画像として取り扱う。色差画像ＩＭＧ＿ＩＮ＿Ｃｂは、Lanczos3フィルタ１７によってスケーラ処理され、水平方向、垂直方向それぞれに２倍に拡大された拡大色差画像ＩＭＧ＿ＵＰ＿Ｃｂに変換され、ＲＧＢ変換処理部１９に供給される。色差画像ＩＭＧ＿ＩＮ＿Ｃｒは、Lanczos3フィルタ１８によってスケーラ処理され、水平方向、垂直方向それぞれに２倍に拡大された拡大色差画像ＩＭＧ＿ＵＰ＿Ｃｒに変換され、ＲＧＢ変換処理部１９に供給される。

　なお、当然の事ながら、本発明の第１実施形態に係る画像拡大装置の代わりに、本発明の第１実施形態に係る画像拡大装置以外の本発明に係る画像拡大装置（例えば、本発明の第２実施形態に係る画像拡大装置、本発明の第３実施形態に係る画像拡大装置、本発明の第４実施形態に係る画像拡大装置、本発明の第５実施形態に係る画像拡大装置、或いは、本発明の第６実施形態に係る画像拡大装置など）を設けてもよい。本発明の第２実施形態に係る画像拡大装置を設けた場合のバックエンド部１３の構成例は図１５Ｂに示すようになり、本発明の第３実施形態に係る画像拡大装置を設けた場合のバックエンド部１３の構成例は図１５Ｃに示すようになり、本発明の第４実施形態に係る画像拡大装置を設けた場合のバックエンド部１３の構成例は図１５Ｄに示すようになり、本発明の第５実施形態に係る画像拡大装置を設けた場合のバックエンド部１３の構成例は図１５Ｅに示すようになり、本発明の第６実施形態に係る画像拡大装置を設けた場合のバックエンド部１３の構成例は図１５Ｆに示すようになる。

　また、図１５Ａ～図１５Ｆに示す構成とは異なり、バックエンド部１３において、ＲＧＢ変換処理部の後段にスケーラ・エッジ強調処理部を設けて図１５Ｇに示すような構成にすることも可能である。図１５Ｇに示すバックエンド部１３では、ＹＣ信号をＲＧＢ信号に変換するＲＧＢ変換処理部１９の後段に、セレクタ２０と、本発明に係る画像拡大装置２１～２３とが設けられている。図１５Ｇに示すバックエンド部１３では、本発明に係る画像拡大装置がＲＧＢそれぞれで必要となるので、本発明に係る画像拡大装置が３つ必要となっている。ＲＧＢ変換処理部１９は、フロントエンド部１２（図１４参照）の出力信号（輝度画像ＩＭＧ＿ＩＮ＿Ｙ、色差画像ＩＭＧ＿ＩＮ＿Ｃｂ、及び色差信号ＩＭＧ＿ＩＮ＿Ｃｒ）をＲＧＢ信号に変換してセレクタ２０に供給する。セレクタ２０は、ＲＧＢ変換処理部１９からのＲＧＢ出力、外部入力信号（パーソナルコンピュータ等からのＲＧＢ信号）のいずれか一方を選択する。セレクタ２０によって選択された信号に含まれている赤色成分画像ＩＭＧ＿ＳＥＬ＿Ｒは、本発明に係る画像拡大装置２１によってスケーラ処理及びエッジ強調処理されて拡大赤色成分画像ＩＭＧ＿ＯＵＴ＿Ｒとなる。セレクタ２０によって選択された信号に含まれている緑色成分画像ＩＭＧ＿ＳＥＬ＿Ｇは、本発明に係る画像拡大装置２２によってスケーラ処理及びエッジ強調処理されて拡大緑色成分画像ＩＭＧ＿ＯＵＴ＿Ｇとなる。セレクタ２０によって選択された信号に含まれている青色成分画像ＩＭＧ＿ＳＥＬ＿Ｂは、本発明に係る画像拡大装置２２によってスケーラ処理及びエッジ強調処理されて拡大青色成分画像ＩＭＧ＿ＯＵＴ＿Ｂとなる。すなわち、本発明に係る画像拡大装置２１は赤色成分画像ＩＭＧ＿ＳＥＬ＿Ｒを入力画像として取り扱っており、本発明に係る画像拡大装置２２は緑色成分画像ＩＭＧ＿ＳＥＬ＿Ｇを入力画像として取り扱っており、本発明に係る画像拡大装置２３は青色成分画像ＩＭＧ＿ＳＥＬ＿Ｂを入力画像として取り扱っている。本発明に係る画像拡大装置２１～２３それぞれには、例えば本発明の第１実施形態に係る画像拡大装置を用いることができるが、当然の事ながら、本発明の第１実施形態に係る画像拡大装置以外の本発明に係る画像拡大装置（例えば、本発明の第２実施形態に係る画像拡大装置、本発明の第３実施形態に係る画像拡大装置、本発明の第４実施形態に係る画像拡大装置、本発明の第５実施形態に係る画像拡大装置、或いは、本発明の第６実施形態に係る画像拡大装置など）を用いてもよい。

＜変形例＞
　以上、本発明に係る実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。

　上述した実施形態では、画像拡大フィルタにLanczos3フィルタを用いたが、画像拡大機能を有する別のフィルタ（例えば、bi-cubic方法を用いるフィルタ、窓付きsinc関数を用いるフィルタ、HaamingやKaiser窓を用いるフィルタなど）に置き換えてもよい。

　上述した第４実施形態、第５実施形態、及び第６実施形態では、上記第１の課題と上記第２の課題の両方を解決することができる構成であったが、上記第１の課題と上記第２の課題のうち上記第１の課題のみを解決することができる構成であってもよく、上記第１の課題と上記第２の課題のうち上記第２の課題のみを解決することができる構成であってもよい。上記第１の課題と上記第２の課題のうち上記第１の課題のみを解決することができる構成の例としては、上述した第１実施形態、第２実施形態、及び第３実施形態において、ゲインＧＡＩＮ＿Haarの値の設定を上述した第４実施形態、第５実施形態、及び第６実施形態と同様にする変更を実施した構成が挙げられる。また、上記第１の課題と上記第２の課題のうち上記第２の課題のみを解決することができる構成の例としては、上述した第４実施形態、第５実施形態、及び第６実施形態において、ゲインＧＡＩＮ＿Haarの値の設定を上述した第１実施形態、第２実施形態、及び第３実施形態と同様にする変更を実施した構成が挙げられる。

　また、本発明に係る画像拡大装置は、専用のハードウェア装置に限定されるものではなく、例えば、図１６に示すように、パーソナルコンピュータ等のコンピュータ３０のＣＰＵ３１が、メモリ３２に格納された画像拡大プログラムを実行することにより実現されるものであってもよい。ＣＰＵ３１は、インターフェース３３を介して外部から取得した画像またはＨＤＤ３４に記憶されている画像を拡大して得られる拡大画像を、インターフェース３３を介して外部に出力したり、ＨＤＤ３４に保存したり、表示部３５に表示させたりすることができる。なお、本発明に係る画像拡大プログラムはコンピュータ読み取り可能な記憶媒体に記憶することもできる。

　本発明の画像拡大装置、画像拡大プログラム、画像拡大プログラムを記憶した記憶媒体、及び表示装置は、例えば、低解像度のコンテンツを高解像度の表示装置に表示させる際に利用される。

　　　１、１７、１８、１０１　Lanczos3フィルタ
　　　２　CDF9/7ウェーブレット変換部
　　　３　Haarウェーブレット変換部
　　　４、９　CDF9/7逆ウェーブレット変換部
　　　５　Haarウェーブレット変換部
　　　６　ゲイン制御部
　　　７、８　乗算器
　　　１０　加算器
　　　１１　チューナ
　　　１２　フロントエンド部
　　　１３　バックエンド部
　　　１４　タイミングコントローラ
　　　１５　液晶表示パネル
　　　１６　アンテナ
　　　１９　ＲＧＢ変換処理部
　　　２０　セレクタ
　　　２１～２３　本発明に係る画像拡大装置
　　　３０　コンピュータ
　　　３１　ＣＰＵ
　　　３２　メモリ
　　　３３　インターフェース
　　　３４　ＨＤＤ
　　　３５　表示部
　　　１０２　離散ウェーブレット変換部
　　　１０３～１０５　乗算器
　　　１０６　逆離散ウェーブレット変換部
　　　２０１、２０２　ＬＰＦ

Claims (12)

1. 　入力画像を拡大した第１の拡大画像を生成する画像拡大フィルタと、
   　前記第１の拡大画像をウェーブレット変換して、前記第１の拡大画像の水平方向における低周波成分と垂直方向における低周波成分を抽出した画像を表す第１のサブバンド成分、前記第１の拡大画像の水平方向における高周波成分を抽出した画像を表す第２のサブバンド成分、前記第１の拡大画像の垂直方向における高周波成分を抽出した画像を表す第３のサブバンド成分、及び前記第１の拡大画像の水平方向における高周波成分と垂直方向における高周波成分を抽出した画像を表す第４のサブバンド成分を生成する第１のウェーブレット変換部と、
   　前記第１の拡大画像をウェーブレット変換して、前記第１の拡大画像の水平方向における低周波成分と垂直方向における低周波成分を抽出した画像を表す第５のサブバンド成分、前記第１の拡大画像の水平方向における高周波成分を抽出した画像を表す第６のサブバンド成分、前記第１の拡大画像の垂直方向における高周波成分を抽出した画像を表す第７のサブバンド成分、及び前記第１の拡大画像の水平方向における高周波成分と垂直方向における高周波成分を抽出した画像を表す第８のサブバンド成分を生成する第２のウェーブレット変換部と、
   　所定のサブバンド成分、並びに、前記第１のウェーブレット変換部から出力される前記第２のサブバンド成分、前記第３のサブバンド成分、及び前記第４のサブバンド成分をウェーブレット変換画像と見て、逆ウェーブレット変換を行って第１のエッジ信号を生成する第１の逆ウェーブレット変換部と、
   　所定のサブバンド成分、並びに、前記第２のウェーブレット変換部から出力される前記第６のサブバンド成分、前記第７のサブバンド成分、及び前記第８のサブバンド成分をウェーブレット変換画像と見て、逆ウェーブレット変換を行って第２のエッジ信号を生成する第２の逆ウェーブレット変換部と、
   　第２の拡大画像を生成する画像拡大部と、
   　前記第１のエッジ信号及び前記第２のエッジ信号を用いて、前記第２の拡大画像に対して強調処理を行う強調処理部とを備え、
   　前記第１のウェーブレット変換部と前記第２のウェーブレット変換部とが互いに異なるウェーブレット変換を使い、
   　前記第１の逆ウェーブレット変換部と前記第２の逆ウェーブレット変換部とが互いに異なる逆ウェーブレット変換を使うことを特徴とする画像拡大装置。
2. 　前記第１のウェーブレット変換部がCDF9/7ウェーブレット変換を使い、前記第２のウェーブレット変換部がHaarウェーブレット変換を使い、前記第１の逆ウェーブレット変換部がCDF9/7逆ウェーブレット変換を使い、前記第２の逆ウェーブレット変換部がHaar逆ウェーブレット変換を使う請求項１に記載の画像拡大装置。
3. 　前記画像拡大部が、前記入力画像及び３つの所定のサブバンド成分をウェーブレット変換画像と見て、逆ウェーブレット変換を行って前記第２の拡大画像を生成する第３の逆ウェーブレット変換部である請求項１または請求項２に記載の画像拡大装置。
4. 　前記画像拡大部が、前記第１のサブバンド成分及び３つの所定のサブバンド成分をウェーブレット変換画像と見て、逆ウェーブレット変換を行って前記第２の拡大画像を生成する第３の逆ウェーブレット変換部である請求項１または請求項２に記載の画像拡大装置。
5. 　前記画像拡大フィルタが前記画像拡大部を兼ねており、前記第１の拡大画像と前記第２の拡大画像とが同一である請求項１または請求項２に記載の画像拡大装置。
6. 　前記第１のエッジ信号は、画像の輪郭を表す信号であり、
   　前記第２のエッジ信号は、画像の輪郭と画像の細部の両方を含む信号であり、
   　前記強調処理部は、注目画素の周辺領域に前記第１のエッジ信号が所定の閾値より大きい画素があれば、前記注目画素の前記第２のエッジ信号に対するゲインを零にする請求項１～５のいずれか１項に記載に画像拡大装置。
7. 　前記第１のエッジ信号に対してローパスフィルタ処理を施す第１のローパスフィルタを、前記第１の逆ウェーブレット変換部と前記強調処理部との間に設け、
   　前記第２のエッジ信号に対してローパスフィルタ処理を施す第２のローパスフィルタを、前記第２の逆ウェーブレット変換部と前記強調処理部との間に設けている請求項１～６のいずれか１項に記載の画像拡大装置。
8. 　コンピュータを、
   　入力画像を拡大した第１の拡大画像を生成する画像拡大フィルタと、
   　前記第１の拡大画像をウェーブレット変換して、前記第１の拡大画像の水平方向における低周波成分と垂直方向における低周波成分を抽出した画像を表す第１のサブバンド成分、前記第１の拡大画像の水平方向における高周波成分を抽出した画像を表す第２のサブバンド成分、前記第１の拡大画像の垂直方向における高周波成分を抽出した画像を表す第３のサブバンド成分、及び前記第１の拡大画像の水平方向における高周波成分と垂直方向における高周波成分を抽出した画像を表す第４のサブバンド成分を生成する第１のウェーブレット変換部と、
   　前記第１の拡大画像をウェーブレット変換して、前記第１の拡大画像の水平方向における低周波成分と垂直方向における低周波成分を抽出した画像を表す第５のサブバンド成分、前記第１の拡大画像の水平方向における高周波成分を抽出した画像を表す第６のサブバンド成分、前記第１の拡大画像の垂直方向における高周波成分を抽出した画像を表す第７のサブバンド成分、及び前記第１の拡大画像の水平方向における高周波成分と垂直方向における高周波成分を抽出した画像を表す第８のサブバンド成分を生成する第２のウェーブレット変換部と、
   　所定のサブバンド成分、並びに、前記第１のウェーブレット変換部から出力される前記第２のサブバンド成分、前記第３のサブバンド成分、及び前記第４のサブバンド成分をウェーブレット変換画像と見て、逆ウェーブレット変換を行って第１のエッジ信号を生成する第１の逆ウェーブレット変換部と、
   　所定のサブバンド成分、並びに、前記第２のウェーブレット変換部から出力される前記第６のサブバンド成分、前記第７のサブバンド成分、及び前記第８のサブバンド成分をウェーブレット変換画像と見て、逆ウェーブレット変換を行って第２のエッジ信号を生成する第２の逆ウェーブレット変換部と、
   　第２の拡大画像を生成する画像拡大部と、
   　前記第１のエッジ信号及び前記第２のエッジ信号を用いて、前記第２の拡大画像に対して強調処理を行う強調処理部とを備え、
   　前記第１のウェーブレット変換部と前記第２のウェーブレット変換部とが互いに異なるウェーブレット変換を使い、
   　前記第１の逆ウェーブレット変換部と前記第２の逆ウェーブレット変換部とが互いに異なる逆ウェーブレット変換を使う画像拡大装置として機能させることを特徴とする画像拡大プログラム。
9. 　請求項８に記載の画像拡大プログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
10. 　請求項１～７のいずれか１項に記載の画像拡大装置を備えることを特徴とする表示装置。
11. 　前記画像拡大装置の入力画像が輝度画像である請求項１０に記載の表示装置。
12. 　前記画像拡大装置を３つ備え、
    　１つ目の前記画像拡大装置の入力画像が赤色成分画像であり、
    　２つ目の前記画像拡大装置の入力画像が緑色成分画像であり、
    　３つ目の前記画像拡大装置の入力画像が青色成分画像である請求項１０に記載の表示装置。

Images