JP4081926B2 - 画像拡大装置 - Google Patents
画像拡大装置 Download PDFInfo
- Publication number
- JP4081926B2 JP4081926B2 JP17499099A JP17499099A JP4081926B2 JP 4081926 B2 JP4081926 B2 JP 4081926B2 JP 17499099 A JP17499099 A JP 17499099A JP 17499099 A JP17499099 A JP 17499099A JP 4081926 B2 JP4081926 B2 JP 4081926B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- component
- pixels
- edge
- enlarged
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 80
- 238000012937 correction Methods 0.000 claims description 55
- 238000006243 chemical reaction Methods 0.000 claims description 28
- 230000009467 reduction Effects 0.000 claims description 4
- 239000000470 constituent Substances 0.000 claims 1
- 238000009795 derivation Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 36
- 230000008569 process Effects 0.000 description 30
- 230000009466 transformation Effects 0.000 description 18
- 238000004458 analytical method Methods 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 7
- 238000003708 edge detection Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000002950 deficient Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、鮮明で高品質な画像拡大を実現することのできる画像拡大装置に関するものである。
【０００２】
【従来の技術】
画像データベース、高精細カラー印刷等の分野では種々の高品質な画像処理機能が求められており、その１つとして画像の拡大がある。また画像の拡大は、画像処理システムの１機能としてのほかに、解像度の異なるメディア間におけるマッチングをとるため、例えば、電子スチルカメラ等で入力した低解像度の画像を、レーザープリンタ、インクジェットプリンタ等の高解像度のプリンタに出力する際においても重要な技術である。
【０００３】
従来の画像の拡大方法としては、単純に画素間を補間する方法が採用されてきた。代表的な補間方法としては、図１７、（数１）のような補間する画像に近いサンプル画素の距離比を用いて補間値を決定する線形補間法や、最も近いサンプルの値を補間値とするニアレストネイバー法（nearest neighbor method）等がある。
【０００４】
【数１】
【０００５】
（数１）において、Daは図１７のA点の画素データを、DbはB点の画素データを、DcはC点の画素データを、DdはD点の画素データを表す。Eが求める補間点である。
【０００６】
しかし、上記方法において、線形補間法は通過帯域の周波数特性が抑制されるために、低域通過フィルタ（ローパスフィルタ；LPF）をかけたような作用を受けてスムージングされ、画像の鮮明さや細部の表現に不足したぼけ画像となりやすいという欠点がある。また、ニアレストネイバー法は高周波の漏れが多いために歪みを起こしやすく、その歪みがモザイクやエッジ部のジャギーとして現れる欠点がある。
【０００７】
そこで、上記問題を解決する方法として、ＦＦＴ（高速フーリエ変換）やＤＣＴ（離散コサイン変換）等の直交変換を用いて、実空間の画像信号を、周波数空間の画像信号に変換した後に拡大する方法が提案されている。これらの方法の意図するところは、サンプリング時に失われた高周波成分を復元し、画像の細部情報やエッジ情報を推定し復元することで拡大画像の高画質化を図るものである。
【０００８】
それらの従来例を図１８，図１９に示す。これらは特開平２−７６４７２もしくは特開平５−１６７９２０で示される例である。図１８はその構成を表すブロック図であり、図１９は処理工程を模式的に表した図である。まず、図１９(a)に示すような実空間の原画像（n×n画素）に直交変換を行い周波数空間の成分に変換する。図１９(b)は、その係数成分の位置を画像の画素位置に見立てて配置することで生成できる周波数空間の画像である。この処理は図１８の原画像直交変換手段１８００で行われる。この際、この周波数空間の画像は元々周波数成分を各成分位置に従い並べたものであり、n×nの行列で表すことができる。この周波数変換後の行列は、左上部に行くほど低周波成分となり、右方向及び下方向に行くに従い高周波成分となる。次に”０”成分埋め込み手段１８０１において、このように周波数空間の画像に変換された領域をs倍した領域（図１９(c)のsn×snの領域）が用意され、sn×snの領域における低周波成分の領域部分には、上記直交変換により得られた図(b)で示されるn×nの周波数領域をコピーし、残りの高周波領域には”０”が補間される。最後に逆直交変換手段１８０２においてこのsn×snの周波数領域を逆直交変換することにより、図１９(d)のようにs倍された実空間の画像信号が得られ、拡大画像出力手段１４で推定された拡大画像が出力されるのである。
【０００９】
このように高周波成分に”０”を補間する方法以外に、例えば特開平６−５４１７２のように画像信号を直交変換を用いて正変換とその逆変換を繰り返す過程（Gerchberg-Papoulis反復による方法）で、高周波成分の復元を行う方法も提案されている。また、特開平８−２９４００１のように、原画像の直交変換成分を低周波領域に埋め込み、高周波領域は予め準備された予測ルールに基づいて得られる周波数情報を埋める方法も提案されている。
【００１０】
【発明が解決しようとする課題】
しかし、高周波領域に”０”を埋め込めて拡大する方法は、線形補間法やニアレストネイバー法のような画素間の補間方法に比べれば良好な拡大画像を得ることができるが、サンプリング時に削除された高周波成分の復元がされていないため、十分に鮮明な画像が得られないという問題があった。
【００１１】
また、画像を直交変換を用いて正変換と逆変換を繰り返す過程で、高周波成分を復元する方法は、正変換と逆変換を繰り返すために演算処理が多くなり、処理速度において問題がある。直交変換、逆直交変換の演算量は、拡大率sが大きくない場合にはあまり問題がないが、拡大率sが大きいと正変換の演算量に対し逆変換の演算量がs×nにほぼ比例して増えることとなる。特に、実際に行われる２次元ブロックに対する処理においてはその演算量はs×nの３乗にほぼ比例して増える。さらに、カラー画像信号の拡大ともなると、複数カラー成分に対して拡大処理が必要となり、さらに処理時間がかかる。また、拡大処理の対象となる画像が低解像度の場合には、高周波成分の復元が十分には行われないという例があった。
【００１２】
特開平８−２９４００１の場合、これらの問題点を考慮して方法であり、処理時間や高周波成分の復元に工夫がなされている。しかし、原画像の高周波領域には予め準備された予測ルールに基づいて得られる周波数情報を埋めるため、予め大多数の画像をもとに高周波数成分とその他の領域との間のルール作りを行うことが必要となり、適切なルールベース作成に手間がかかるし、それが適切なルールが作成できなければ十分な効果を発揮できない心配がある。
【００１３】
さらに、一般に画像のサイズは任意であり、そして直交変換にかかる時間はサイズが大きくなればなるほど処理時間が長くなる。そのため、処理速度等の問題により一般には処理は画像のサイズで１度に直交変換を掛けることはせず、４画素から１６画素程度のブロックサイズでなされる。その際、出来上がった拡大画像のブロック間の不連続性（ブロック歪み）が境界部分に生じる問題点もあった。
【００１４】
【課題を解決するための手段】
上記課題を解決するために本発明における画像拡大装置は、ウェーブレット変換における多重解像度解析を利用したものである。
【００１５】
本発明の画像拡大装置は、入力されるn画素×m画素の原画像を拡大処理してLn画素×Lm画素の拡大画像を得る画像拡大装置において、入力された原画像をLn/2画素×Lm./2画素に調整する入力画像調整手段と、前記入力画像調整手段により調整された画像にウェーブレット変換に基づく方法を適用して拡大画像を生成する画像拡大手段と、を有することを特徴とするものである。
【００１６】
上記の画像拡大装置は、具体的に、求める拡大画像の画素数に応じて調整された画像と、その垂直方向のエッジ画像、水平方向のエッジ画像、斜め方向のエッジ画像を、ウェーブレット変換画像を構成する４つのサブバンド画像と見なし、このサブバンド画像に対して逆ウェーブレット変換を行うことにより、所望とする画素サイズの拡大画像を求めるものである（後述する第１の実施の形態を参照）。
【００１７】
そして、上記の画像拡大装置は、具体的に、入力された原画像をウェーブレット変換した画像の低周波域にある１／４サイズの縮小画像より得られる３つのエッジ画像と、変換画像内の残りの３つのサブバンド画像間の関連を求め、その関連情報を使って、求める拡大画像の画素数に応じて調整された画像の垂直方向エッジ画像、水平方向エッジ画像、斜め方向エッジ画像の各々を補正する。
【００１８】
そして、調整された画像と補正された３つのエッジ画像をウェーブレット変換画像を構成する４つのサブバンド画像と見なし、このサブバンド画像に対して逆ウェーブレット変換を行うことにより、所望とする画素サイズの拡大画像を求めるものである（後述する第２の実施の形態を参照）。
【００１９】
そして、上記の画像拡大装置は、具体的に、入力された原画像のウェーブレット変換画像の低周波域にある１／４サイズ縮小画像より得られる１つの平均的なエッジ画像と、変換画像内の残りの３つのサブバンド画像間の関連を求め、その関連情報を使って、求める拡大画像の画素数に応じて調整された画像から得られる１つの平均的なエッジ画像を補正する。
【００２０】
そして、調整された画像と補正により得られた３つの画像をウェーブレット変換画像を構成する４つのサブバンド画像と見なし逆ウェーブレット変換を行うことにより、所望とする画素サイズの拡大画像を求めるものである（後述する第３の実施の形態を参照）。
【００２１】
また、本発明の画像拡大装置は、入力される原画像を拡大処理して拡大画像を得る画像拡大装置において、拡大対象画像に原画像を設定する拡大処理初期化手段と、前記拡大対象画像にウェーブレット変換に基づく方法を適用することにより、４倍の画素数を持つ拡大画像を生成する対象画像拡大手段と、対象画像拡大手段により得られた拡大画像を拡大対象画像に設定し、対象画像拡大手段に処理を戻す手段と、前記対象画像拡大手段により得られた拡大画像を視覚的に提示する拡大画像提示手段と、前記拡大画像提示手段により提示された拡大画像に対し、拡大処理または縮小処理を行う画像調整手段と、前記画像調整手段により得られた画像を出力する拡大画像出力手段と、を有することを特徴とするものである。
【００２２】
具体的には、拡大したい画像サイズが取り敢えず不明の場合に上記のウェーブレット変換を用いた拡大方式を適用したものであり、逆ウェーブレット変換で得られた拡大画像を次の対象画像として、順に逆ウェーブレット変換を行うことにより４倍の画素数を持つ画像への拡大処理を繰り返す。そして、視覚的に所望の拡大率になった時点で作業を止めることで、入力された原画像の拡大作業を行うものである（後述する第４の実施の形態を参照）。
【００２３】
また本発明の画像拡大装置は、入力されるn画素×m画素のカラーディジタル画像を拡大処理してLn画素×Lm画素の拡大画像を得るカラー画像拡大装置において、前記カラー画像構成成分より基本カラー成分を選択する基本成分選択手段と、前記基本成分選択手段で選択された基本カラー成分から他のカラー成分を導出する際の変換比率を導出する変換比率導出手段と、入力された原画像の基本カラー成分をLn/2画素×Lm./2画素に調整する基本成分画像調整手段と、前基本成分画像調整手段により、調整された画像の基本カラー成分にウェーブレット変換に基づく方法を適用して拡大画像を生成する基本画像拡大手段と、前記基本画像拡大手段で得られる基本カラー成分の拡大画像を所望のLn画素×Lm画素に調整する基本拡大画像調整手段と、前記基本拡大画像調整手段で導出された基本カラー成分の拡大画像に変換比率導出手段の変換比率を適用することで他のカラー成分における拡大画像を推定する不足成分拡大手段と、前記基本拡大画像出力手段で導出された基本カラー成分の拡大画像と、前記不足成分拡大手段で推定された残りのカラー成分を合成することでカラー原画像の拡大画像を生成する拡大画像出力手段とを有することを特徴とするものである。
【００２４】
具体的には、上記ウェーブレット変換を用いた拡大方式において、入力された画像がカラー画像である場合に、入力されたカラー画像を構成するカラー成分で基本とするカラー成分を決定し、その基本カラー成分に対する拡大画像を生成する。そして残りのカラー成分は、基本カラー成分の拡大画像に変換比率による線形変換を行った推定により求めることで、カラー画像の拡大画像生成における処理を効率化したものである（後述する第５の実施の形態を参照）。
【００２５】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。図１は本発明の第１の実施の形態である画像拡大装置の構成図を、図７は本発明の第２の実施の形態である画像拡大装置を構成する画像拡大手段の構成図を、図１０は本発明の第３の実施の形態である画像拡大装置を構成する画像各大手段の構成図を、図１３は本発明の第４の実施の形態である画像拡大装置の構成図を、図１５は本発明の第５の実施の形態である画像拡大装置の構成図を表す。
【００２６】
また、図４は本発明の第１の実施の形態である画像拡大装置の処理の工程の模式図を、図８は本発明の第２の実施の形態である画像拡大装置の処理工程の模式図を、図１１は本発明の第３の実施の形態である画像拡大装置の処理工程の模式図を、図１４は本発明の第４の実施の形態である画像拡大装置の処理工程の模式図を、図１６は本発明の第５の実施の形態である画像拡大装置の処理工程の模式図を表す。構成図の各図において、同一部には同じ番号を付している。
【００２７】
（第１の実施の形態）
まず、本発明の第１の実施の形態である画像拡大装置について説明する。図１は第１の実施の形態である画像拡大装置の構成を表す。図１において、１０は、スキャナやデジタルスチルカメラ等に代表される入力デバイスや、これらの入力デバイスより得られたデジタル画像の読み出し手段である画像入力手段、１１は、画像入力手段で得られたｎ画素×n画素を持つ原画像の水平、垂直画素数を所望の拡大画像サイズLn画素×Ln画素の１／２になるように調整する入力画像調整手段、１２はウェーブレット変換における多重解像度解析を利用した画像拡大を行う画像拡大手段、１３は画像拡大手段１２で得られた１１で調整された原画像の４倍の画素数を持つ拡大画像を所望の拡大画像サイズであるLn画素×Ln画素に調整する拡大画像調整手段、１４は１３で推定された拡大後の画像データを表示したり他の装置等へ出力するための拡大画像出力手段である。
【００２８】
そして画像拡大手段１２は、入力画像調整手段１１でLn/2画素×Ln/2画素に調整された原画像より垂直方向のエッジ成分画像を取り出す垂直エッジ生成手段１００と、入力画像調整手段１１でLn/2画素×Ln/2画素に調整された原画像より水平方向のエッジ成分画像を取り出す垂直エッジ生成手段１０１と、入力画像調整手段１１でLn/2画素×Ln/2画素に調整された原画像より斜め方向のエッジ成分画像を取り出す垂直エッジ生成手段１０２と、１００から１０２で得られた３つのエッジ成分画像と、入力画像調整手段１１でLn/2画素×Ln/2画素に調整された原画像を、Ln画素×Ln画素の拡大画像にウェーブレット変換を行った際の変換画像を構成するサブバンド成分の４つと見なして、逆ウェーブレット変換によりLn画素×Ln画素の拡大画像を生成するレベルアップ手段１０３より構成される。
【００２９】
以上のように構成された第１の実施の形態である画像拡大装置では、ウェーブレット変換による多重解像度解析が画像拡大に利用されている。ウェーブレット変換は、「ウェーブレット ビギナーズガイド」（榊原 進著、東京電機大学出版局）等の多くの文献に記載されている。ウェーブレット変換は、周波数解析の方法として開発されたものであり、信号処理、画像等のデータ圧縮をはじめとした多くの分野で応用がなされているものである。
【００３０】
ウェーブレット変換を原画像に施しウェーブレット変換画像を得た場合、それはいくつかのサブバンド成分より構成されている。図３はウェーブレット変換画像のサブバンド成分の配置例を示す図であり、原画像を、LL3、HL3、LH3、HH3、HL2、LH2、HH2、HL1、LH1、HL1の１０のサブバンド成分に分割した例を表す。
【００３１】
図２は図３のような３段階のウェーブレット変換をフィルタ系列で表現した図であり、図２より明らかのように垂直方向（y方向）と水平方向（x方向）へ各々独立にローパスフィルタ処理の後に１／２にダウンサンプリングする処理Lowとハイパスフィルタ処理の後に１／２にダウンサンプリングする処理Highの組み合わせで構成されている。まず、原画像に水平方向にHighとLowが行われる。 そして水平方向にHighの処理をした際の出力に対し、垂直方向にHigh処理を行った結果がHH1成分であり、垂直方向にLowフィルタ処理した結果がHL1成分となる。次に、水平方向にLowのフィルタ処理をした際の出力に対し、垂直方向にLowフィルタ処理をした結果がLL1であり、垂直方向にHighのフィルタ処理を施した結果がLH1成分となる。ここまでが１度目のウェーブレット変換で得られる結果である。
【００３２】
さらに、LL1成分に対し、水平方向にLowフィルタ処理とHighフィルタ処理が行われ、水平方向にHighの処理をした際の出力に対し垂直方向にHighフィルタ処理をした結果がHH2であり、垂直方向にLowフィルタ処理をした結果がHL2である。また、水平方向にLowのフィルタ処理をした際の出力に対し、垂直方向にLowフィルタ処理をした結果がLL2であり、垂直方向にHighのフィルタ処理を施した結果がLH2成分となる。ここまでが2度目のウェーブレット変換で得られる結果である。
【００３３】
LL2成分に対しても同様に水平方向へのLowフィルタ処理とHighフィルタ処理を個別に行い、垂直方向に対してもLowフィルタ処理とHighフィルタ処理を個別に施すことで、HH3、HL3、LH3、LL3のサブバンド成分が得られ、３度目のウェーブレット変換が行われたこととなる。
【００３４】
このように、原画像に対する第１段階のウェーブレット変換により、LL1、HL1、LH1、HH1の４つの周波数成分に分解され、水平方向及び垂直方向ともに１／２のサブサンプリングが行われるため、各成分を表す画像の大きさは原画像の１／４になる。LL1は原画像における低周波成分を抽出したもので、原画像のぼやけた画像であるが、原画像の大部分の情報はここに含まれる。そのため、次の第２段階のウェーブレット変換では、このLL1が対象画像として見なされる。
【００３５】
一方、HL1成分は図２におけるフィルタ処理により、原画像において水平方向における高周波成分を強く抽出した画像を表すこととなり、LH1は原画像において垂直方向における高周波成分を強く抽出した画像を表すこととなる。そして、HH1は水平方向、垂直方向ともに高周波な成分を抽出した画像となり、言い換えれば斜め方向における高周波成分を抽出した画像と考えることもできる。
【００３６】
これは画素値から考えると、HL1成分は原画像において水平方向に対して画素値の変動の大きな領域（垂直方向を向くエッジ情報）を強く反映しており、LH1は原画像において垂直方向に対して画素値の変動の大きな領域（水平方向を向くエッジ情報）を強く反映しており、HH1は水平方向、垂直方向ともに画素値の変動の大きい領域（斜め方向を向くエッジ情報）を大きく反映していると考えられるのである。
【００３７】
以上のようなウェーブレット変換による特徴は、LL1を対象とした第２段階目のウェーブレット変換で得られたLL2、HL2、LH2、HH2の成分に関しても言えることであり、同様にLL2を対象画像としたウェーブレット変換の成分についても成立する。このようにウェーブレット変換は、１段階前のサブバンド画像において低周波成分を抽出したLL画像を、低周波成分、垂直、水平、斜め方向の周波数成分に相当する４枚の１／４の解像度画像に分解することととらえることができる。そして、これらのサブバンド成分画像をフィルタ処理により合成することで１つ前の段階の画像を復元することができる。図３で考えると、４つのサブバンド画像LL3、HL3、LH3、HH3を合成することでLL2が復元され、LL2、HL2、LH2、HH2を合成することでLL1が復元される。そして、LL1、HL1、LH1、HH1を使うことで、原画像を復元することができる。このようにウェーブレット変換では、解像度の異なる複数のサブバンド成分画像を同時に表現できるため、多重解像度解析とも呼ばれ、各々のサブバンド成分を圧縮することで効率の良いデータ圧縮が行えるとして注目されている。本発明は、原画像を１つ前の段階における低周波サブバンド成分LL1と見なして、残りの水平方向における高周波成分を強く抽出した画像HL1、垂直方向における高周波成分を強く抽出した画像LH1、そして水平方向、垂直方向ともに高周波な成分を抽出した画像HH1を推定することで、そのようにして２倍の拡大画像を得て、原画像を所望の画像サイズに拡大することに、ウェーブレット変換を適用したものである。
【００３８】
以上のことを念頭において、本発明における第１の画像拡大装置の動作について説明する。まず、最初に画像入力手段１０において、拡大すべきn画素×n画素のサイズを持つ原画像の読み取りが行われる。この場合、デジタルスチルカメラやスキャナ等の入力デバイスを用意しそこからの入力データでも良いし、他の装置からのデジタルデータファイル等からの読み込みをする手段より構成されていても良い。１０で得られた原画像は入力画像調整手段１１において、画像サイズの調整を受ける。これは、ウェーブレット変換における多重解像度解析で述べたように、対象画像を１度ウェーブレット変換する場合、変換後のサブバンド成分は常に変換前の水平画素数、垂直画素数ともに１／２サイズとなる。逆に、逆ウェーブレット変換により得られる画素サイズはその処理を行う際のサブバンド成分の水平画素数、垂直画素数ともに２倍、つまり４倍の画素数を持つこととなる。以上のような性質より、逆ウェーブレット変換で得られる拡大画素の水平、垂直画素数は２の倍数であることが望ましい。そこで、１１では、まず所望の拡大画像サイズであるLn画素×Ln画素を２の倍数であるdLn画素×dLn画素になるように調整するとともに、原画像をdLn/2画素×dLn/2画素になるように調整する。この際、調整方法としていろいろな手法が挙げられるが、ここでは画素間に（数１）を使って補間するか、画素変動の少ない領域上の画素を間引くことで実現するものとする。原画像をDCT変換等の直交変換により周波数領域に変換し、dLn/2画素×dLn/2画素に対応する周波数成分を取り出したり、０で不足する高周波成分を埋め、それをdLn/2画素×dLn/2画素に対応する逆直交変換で調整する方法でも可能であるが、処理の効率化とこの後、さらにウェーブレット変換による方式で拡大することを考え合わせると、ここでの複雑な処理はあまり効率が良いとは思えないので、単純な画素補間もしくは間引きを採用することとした。
【００３９】
画像拡大手段１２では、入力画像調整手段１１でdLn/2画素×dLn/2画素に調整された原画像を水平、垂直方向ともに２倍に拡大することで所望のLn画素×Ln画素に近い画像サイズまで拡大することを行う。この際に、上述のウェーブレット変換における多重解像度解析を利用するのである。こうすることで、従来の直交変換を行い、周波数領域で不足分を補う方法では処理時間より複数ブロックへ分割することでブロックのつなぎ目でジャギー状のノイズが発生することが問題であったが、ウェーブレット変換では１度に大きな画像を扱うことができるのでこのようなノイズは発生しないというメリットを持つ。
【００４０】
１２では、図３におけるサブバンド成分LL1としてdLn/2画素×dLn/2画素に調整した画像と見なした場合、残りのHL1、LH1、HH1の３つのサブバンド成分に相当するdLn/2画素×dLn/2画素の画像を推定する必要がある。
【００４１】
図５はその様子を模式的に表したものであるが、ここではHL1、LH1、HH1の３つの画像をLL1の３方向におけるエッジ画像と見なす方式を取る。前述したように、HL1成分はdLn/2画素×dLn/2画素に調整された原画像の４倍の画素数を持つ拡大画像（LL0とする）において水平方向における高周波成分を強く抽出した画像を表すこととなり、LH1はLL0において垂直方向における高周波成分を強く抽出した画像を表すこととなる。そして、HH1は水平方向、垂直方向ともに高周波な成分を抽出した画像となる。つまり、HL1はLL0画像において、水平方向における高い周波数成分を表す部分、つまり垂直方向におけるエッジ情報を反映するものとして考えられる。一方、LH1はLL0画像において、垂直方向における高い周波数成分を表す部分、つまり水平方向におけるエッジ情報を反映するものとして考えられる。そして、HH1は、LL0画像において、垂直方向にも水平方向にも高い周波数成分を表す部分、つまり斜め方向におけるエッジ情報を反映するものとして考えられる。よって、本発明では、垂直エッジ生成手段１００で、１１で調整されたdLn/2画素×dLn/2画素に調整された原画像の垂直方向におけるエッジ成分を抽出し、不足しているHL1成分と見なす。また、水平エッジ生成手段１０１では、１１で調整されたdLn/2画素×dLn/2画素に調整された原画像の水平方向におけるエッジ成分を抽出し、不足しているLH1成分と見なす。同様に斜めエッジ生成手段１０２では、１１で調整されたdLn/2画素×dLn/2画素に調整された原画像の斜め方向におけるエッジ成分を抽出し、不足しているHH1成分と見なす。この際、エッジ検出手段としては、図６にあるような３つの方向を検出するためのフィルタを使うこととする。なお、このフィルタは一義的に決まるものでなく、これら以外にも可能である。レベルアップ手段１０３では、以上のように推定された４つのサブバンド成分に逆ウェーブレット変換を行うことで、dLn画素×dLn画素のサイズを持つ鮮明な拡大画像を獲得する。なお、この際、ウェーブレット変換は図２のようにフィルタ系列処理で表せるため、ここでの処理もこの逆を行うフィルタ系列処理であっても構わない。
【００４２】
１２で得られた拡大画像は、そのサイズが所望の画像サイズLn画素×Ln画素が２の倍数でない場合（Ln／２の値が整数でない場合）、微妙にずれを生じる。そこで拡大画像調整手段１３では、その微妙なずれを補うように画素補間又は間引きを行うのである。ここで行われる処理は、高々１画素であるので画像において変化の小さい部分（階調変化が少なくエッジ付近以外）で処理することでその影響は小さい。
【００４３】
拡大画像調整手段１３を経て得られた拡大画像は１４でＣＲＴに表示されたり、他の装置への入力になるように出力される。
【００４４】
以上のように、本実施例の形態によれば、単純に原画像での画素間を補間したり、従来装置のように周波数領域で不足分な周波数成分を０等で埋めるなどした際に生じるエッジボケを低減できるだけでなく、直交変換方法で問題とされていたジャギー等のノイズを発生させることがなく鮮明な拡大画像が実現できる。また予めルール等を作成することなく手軽に推定することも可能となる。
【００４５】
（第２の実施の形態）
次に、本発明の第２の実施の形態である画像拡大装置について説明する。図７は第２の実施の形態である画像拡大装置における画像拡大手段の構成を表す。また、図８は第２の実施の形態である画像拡大装置における処理過程を模式的に表す。
【００４６】
図７において、７００は入力画像調整手段１１でdLn/2画素×dLn/2画素に調整された原画像を対象としたウェーブレット変換する際に、得られたサブバンド成分は変換前の水平、垂直方向ともに画素数が１／２になること受けて、dLn/2画素×dLn/2画素を２の倍数になるように調整する入力微調整手段であり、７０１は７００で得られたddLn画素×ddLn画素の原画像を対象としてウェーブレット変換を行い、その４つのサブバンド成分LL2、HL2、LH2、HH2を生成するレベルダウン手段であり、７０２は７０１で得られたサブバンド成分の内、低周波域にあるLL2成分よりエッジフィルタ処理により垂直方向のエッジ情報を検出し、参照ＨＬ成分HLeとする参照ＨＬ成分生成手段であり、７０３は７０１で得られたサブバンド成分の内、低周波域にあるLL2成分よりエッジフィルタ処理により水平方向のエッジ情報を検出し、参照ＬＨ成分LHeとする参照ＬＨ成分生成手段であり、７０４は７０１で得られたサブバンド成分の内、低周波域にあるLL2成分よりエッジフィルタ処理により斜め方向のエッジ情報を検出し、参照ＨＨ成分HHeとする参照ＨＨ成分生成手段である。そして、７０５は７０２で得られた参照ＨＬ成分HLeと７０１で得られたHL2成分の相関より、垂直エッジ生成手段１００で得られたddLn画素×ddLn画素の原画像に対するＨＬ成分画像HL1を補正するための補正成分dHLを求めるＨＬ補正推定手段であり、７０６は７０３で得られた参照ＬＨ成分LHeと７０１で得られたLH2成分の相関より、水平エッジ生成手段１０１で得られたddLn画素×ddLn画素の原画像に対するＬＨ成分画像LH1を補正するための補正成分dLHを求めるＬＨ補正推定手段であり、７０７は７０４で得られた参照ＨＨ成分HHeと７０１で得られたHH2成分の相関より、斜めエッジ生成手段１０２で得られたddLn画素×ddLn画素の原画像に対するＨＨ成分画像HH1を補正するための補正成分dHHを求めるＨＨ補正推定手段であり、７０８は７０５で得られた補正成分dHLをddLn画素×ddLn画素に調整したものと垂直エッジ生成手段１００で得られたＨＬ成分画像HL1よりddLn画素×ddLn画素の原画像に対するＨＬ成分を推定するＨＬ成分推定手段であり、７０９は７０６で得られた補正成分dLHをddLn画素×ddLn画素に調整したものと水平エッジ生成手段１０１で得られたＬＨ成分画像LH1よりddLn画素×ddLn画素の原画像に対するＬＨ成分を推定するＬＨ成分推定手段であり、７０９は７０７で得られた補正成分dHHをddLn画素×ddLn画素に調整したものと斜めエッジ生成手段１０２で得られたＨＨ成分画像HH1よりddLn画素×ddLn画素の原画像に対するＨＨ成分を推定するＨＨ成分推定手段である。
【００４７】
以上のように構成された第２の実施の形態である画像拡大装置の動作について図８の処理工程の模式図に従い説明する。
【００４８】
本発明の第１の実施の形態である画像拡大装置と同様に、１０で得られた原画像は１１の入力画像調整手段１１で所望の拡大画素サイズLn画素×Ln画素を水平、垂直画素数ともに２の倍数であるdLn画素×dLn画素に調整し、その垂直、水平ともに１／２のサイズであるdLn/2画素×dLn/2画素に原画像を調整する。７００では、１１の結果を受けてdLn/2画素×dLn/2画素に調整された原画像からレベルダウン手段７０１でさらに１レベル下のサブバンド成分を得るために、dLn/2画素×dLn/2画素を２の倍数になるように１画素補間したり間引いたりしてddLn画素×ddLn画素に微調整を行う。そして７０１では、７００で得られたddLn画素×ddLn画素の原画像を対象としてウェーブレット変換を行い、この１／４の画像サイズを持つ４つのサブバンド成分LL2、HL2、LH2、HH2を生成する。
【００４９】
図９は画像拡大手段における処理の概要を模式的に表している。本発明の第１の実施の形態の場合、現対象画像LL1の垂直方向のエッジ画像、水平方向のエッジ画像、斜め方向のエッジ画像を現対象画像の４倍に拡大した画像LL0のウェーブレット変換画像において不足していたサブバンド成分HL1、LH1、HH1と見なしていたが、図２のフィルタ処理より厳密にはこれは成立しない。例えばLL0からHL1をフィルタ処理で求める場合、図２のフィルタ処理から水平方向における高周波成分データと垂直方向における低周波成分データがHL1成分として抽出されている。このことよりHL1成分には、水平方向において値変動の大きな画素部分（垂直方向にのびたエッジ部分等）と、垂直方向において値変動の少ない画素部分が抽出される。本発明の第１の実施形態では、この内の水平方向において値変動の大きな画素部分、つまり垂直方向にのびたエッジ部分による影響が大きいと考え、この垂直方向におけるエッジ情報のみをHL1成分と見なしたが、扱う画像によっては垂直方向において値変動の少ない画素部分の影響を無視できない場合がある。また、垂直方向におけるエッジ情報には水平方向において値変動の大きな画素部分を多く含むが、厳密には一致しない。このようなことは、他のLH1、HH1についても言える。以上のことから本発明では、現在の対象画像を１度ウェーブレット変換してレベルを１つ下げることでサブバンド成分LL2、HL2、LH2、HH2を作成し、そのサブバンド成分における低周波域成分LL2の３方向におけるエッジ画像HLe、LHe、HHeと実際の３つのサブバンド成分HL2、LH2、HH2の間の相関より、元々の対象画像の３つのエッジ画像から対応するサブバンド成分を推定するための補正量dHL、dLH、dHHを求めることとした。
【００５０】
まず７０２では、このLL2、HL2、LH2、HH2の内の低周波域にあり原画像をもっとも表しているLL2成分に注目して、図６（ｂ）のようなフィルタにより垂直方向のエッジ情報を検出する。これを参照ＨＬ成分HLeとする。そして、ＨＬ推定手段７０５において、この参照ＨＬ成分HLeと７０１で得られたHL2の間の相関を調べるのである。その方法としては様々考えられるが、ここでは、図９（ｃ）のように参照ＨＬ成分HLeと実際のＨＬ成分HL2の間の差分画像dHL = HLe - HL2を求めることとした。７０３、７０４でも同様に参照ＬＨ成分LHeとしてLL2成分の水平方向のエッジ情報を、参照ＨＨ成分HHeとしてLL2成分の斜め方向のエッジ情報を選び、ＬＨ推定手段７０６において、この参照ＬＨ成分LHeと実際のＬＨ成分LH2の間の差分画像dLH = LHe - LH2を求め、ＨＨ推定手段７０７において、この参照ＨＨ成分HHeと実際のＨＨ成分HH2の間の差分画像dHH = HHe - HH2を求めた。そして、７０８、７０９、７１０では、本発明の第１の実施例と同様に、垂直エッジ生成手段１００で得られたHL1、水平エッジ生成手段で得られたLH1、斜めエッジ生成手段１０２で得られたHH1に対応する補正成分dHL、dLH、dHHを加算することで、７００でddLn画素×ddLn画素に調整された原画像をサブバンド成分のLL1見なした際のHL1、LH1、HH1成分を推定する。７０８から７１０において、７０５から７０７で得られた補正成分dHL、dLH、dHHを使用する際、各補正画像の画素サイズがddLn画素×ddLn画素になるように、（数１）に従い各画素間を補間することで調整したが、これは一義的ではなくこれ以外にも従来の周波数変換された領域で不足成分に０を埋めることで水平、垂直方向ともに２倍の画素サイズに拡大する方法等も適用可能である。しかし、処理の効率化と、このサブバンド成分を使って逆ウェーブレット変換により拡大処理を行うことを考慮に入れた場合、単純に画素補間しても、最終的に得られた拡大画像の画質に与える影響は小さいことからここでは（数１）のような線形補間による方式を７０８から７１０は取ることとする。
【００５１】
１０３以降は本発明の第１の実施形態と同様に処理が行われ、拡大画像出力手段１４で最終的に得られた拡大画像がＣＲＴに表示されたり、他の装置への入力になるように出力される。
【００５２】
なお７０８から７１０におけるＨＬ、ＬＨ、ＨＨ成分推定としては、上記のような参照成分と実際の成分間の差分成分の加算以外にも
（１）７０５から７０７で得られた補正量にある変換係数マトリクスを乗算した結果を１００から１０２の成分値に加える
（２）７０５から７０７で得られた補正量を変換関数により変換された結果を１００から１０２の結果に加える
（３）７０５から７０７、１００から１０２の結果を入力してＨＬ、ＬＨ、ＨＨの推定値を出力するように学習されたニューラルネットワークモデルを使う
（４）７０５から７０７、１００から１０２の結果を入力して、予め用意されたた大量のデータベースやルールベースからＨＬ、ＬＨ、ＨＨ成分を推定する
等の方法を用いることも十分可能である。
【００５３】
このようにすることで、本発明の第１の形態で取った単純に調整された原画像の３方向のエッジ検出を行っただけでは取り出すことのできなかったウェーブレット変換画像における不足サブバンド成分、特に高周波成分をより精度よく推定することができ、画像のぼけを減少させることができる。また、ウェーブレット変換を用いることで、直交変換のようなブロック分割の必要がなく、従来の直交変換による方法で問題とされていたブロック歪みは発生しない。
【００５４】
（第３の実施の形態）
次に本発明の第３の実施の形態である画像拡大装置について説明する。図１０は第３の実施の形態である画像拡大装置において画像拡大手段の構成を表す。また、図１１は本発明の第３の実施の形態である画像拡大装置の処理工程を模式的に表す。
【００５５】
図１０において、１０００は入力微調整手段７００で得られた原画像よりラプラシアンフィルタ処理によりエッジ画像を検出するエッジ生成手段であり、１００１は、レベルダウン手段７０１で得られたLL2成分画像からラプラシアンフィルタ処理により、７００で得られた原画像に対応するHL1、LH1、HH1成分の推定値を補正するための参照成分を生成する参照成分生成手段である。
【００５６】
以上のように構成された第３の実施の形態である画像拡大装置の動作について図１１の処理工程の模式図に従い説明する。画像入力手段１０、入力画像調整手段１１における処理は本発明の第１の実施の形態例と同様であり、入力微調整手段７００における処理も本発明の第２の実施の形態例で説明したように、１１でdLn/2画素×dLn/2画素に調整された原画像からレベルダウン手段７０１でさらに１レベル下のサブバンド成分を得るために、dLn/2画素×dLn/2画素を２の倍数になるように１画素補間したり間引いたりしてddLn画素×ddLn画素に微調整を行う。
【００５７】
参照成分生成手段１００１では、７０１で得られたサブバンド成分画像において、低周波域にあるLL2より、７０８から７１０における推定に使用される各補正量を求めるための参照成分を求めるものである。ここでは、LL2に図１２の（ａ）（ｂ）のようなラプラシアンフィルタを用いることで、LL2の平均的なエッジ画像を参照成分画像と見なす。ラプラシアンフィルタでは、図６のように特定方向のエッジを検出するのではなく、方向性にとらわれにくいエッジを検出する方法として良く使用される。本実施例では、これを参照成分画像として、本実施の第２の形態で行ったような補正量を求めることとする。こうすることで、第２の実施の形態で問題とされていた頻繁なエッジ検出処理を減らすことができ、処理の効率化につながる。ＨＬ補正推定手段７０５、ＬＨ補正推定手段７０６、ＨＨ補正推定手段７０７では、第２の実施の形態と同様に、１００１で得られたエッジ画像HEと７０１で得られたHL2の差分画像dHL2、１００１で得られたエッジ画像HEと７０１で得られたLH2の差分画像dLH2、１００１で得られたエッジ画像HEと７０１で得られたHH2の差分画像dHH2を求め、（数１）のような線形近似により各差分画像をddLn画素×ddLn画素を持つ画像に調整する。一方、エッジ生成手段１０００では１１で調整されたddLn画素×ddLn画素の原画像よりラプラシアンフィルタによるエッジ画像を検出し、ＨＬ成分推定手段７０８、ＬＨ成分推定手段７０９、ＨＨ成分推定手段７１０において、上記７０５から７０７での補正画像を加えることで各サブバンド成分HL1、LH1、HH1を精度良く推定するのである。こうすることで、(2×ddLn)画素×(2×ddLn)画素の拡大画像を鮮明に推定でき、これに数画素の補間や間引きを加えることで所望のLn画素×Ln画素を持つ拡大画像を精度良く得ることができる。
【００５８】
なお、本実施の第２の形態例で説明したように、７０８から７１０における補正としては、これ以外にも７０５から７０７の補正量にある変換係数マトリクスを乗算した結果や変換関数により変換された結果を使用することも可能である。
【００５９】
以上のように、本実施例では、第２の画像拡大装置では調整された原画像の垂直方向エッジ画像、水平方向エッジ画像、斜め方向エッジ画像の補正画像を入力された原画像に対するウェーブレット変換画像の不足サブバンド成分として利用した点を、入力された原画像のウェーブレット変換画像の低周波域にある水平、垂直画素ともに１／２サイズの縮小画像からの１つの平均エッジ画像とその残りのサブバンド成分との関連を調べ、原画像に対して不足している３つのサブバンド成分の推定に適用することで処理の高速化に努めたものである。
【００６０】
（第４の実施の形態）
本発明の第４の実施の形態である画像拡大装置について説明する。図１３は第４の実施の形態である画像拡大装置の構成を表し、図１４は第４の実施の形態である画像拡大装置における処理工程を表す。
【００６１】
本発明の主旨は、予め拡大する画素数がわかっていなくて、原画像を元にウェーブレット変換による多重解像度解析に従い、水平、垂直方向ともに２倍しながら拡大画像を生成し、それをユーザに提示することで適切な拡大画像が得られたかどうかを判定してもらうものである。
【００６２】
図１３において、１３００は拡大対象となる画像を設定する拡大処理初期化手段であり、最初は１０で入力された原画像が設定される。１３０１は１３００で拡大対象画像に設定されたm画素×m画像の画像をウェーブレット変換による多重解像度解析を利用して2m画素×2m画素に拡大する対象画像拡大手段であり、１３０２は１３０１で得られた拡大画像をユーザに提示するための拡大画像提示手段であり、１３０３は１３０２でユーザに提示された拡大画像サイズが適切であるかどうかをユーザからの指示入力に従い判定を行う多重処理終了判定手段であり、１３０４はユーザに１３０３の拡大画像のサイズの微調整が必要かどうかを判定してもらい、必要であるという指示を受けた場合には１３０３での拡大画像の拡大処理または縮小処理の微調整を行う画像調整手段としての画像微調整手段である。
【００６３】
以上のように構成された第４の実施の形態である画像拡大装置の動作について図１４の処理工程を表す図に従い説明する。１０で入力されたn画素×n画素の原画像は、まず１３００で拡大対象画像に設定される。次に１３０１の対象画像拡大手段では、n画素×n画素の原画像を水平、垂直方向ともに２倍、つまり４倍の画像サイズに拡大する。この拡大処理は、本発明の第１から第３の実施の形態の画像拡大装置で説明した画像拡大手段を適用することで、つねに対象画像の４倍の画素を持つサイズに拡大することができる。１３０２は１３０１で得られた現在の拡大画像をユーザにＣＲＴを通して提示する手段であり、もしＣＲＴ解像度を越えた場合には、カーソル等で視点を動かせるようできる機能や、特定部分を切り出す機能を持たせることでよりユーザによる現在の拡大画像の適正さを判断するための助けとなる。１３０３では、そのユーザからの指示結果を受け、適切である場合には次の画像微調整手段１３０４へ処理が移り、適切でないと指示を受けた場合には、この拡大画像を次の対象画像に設定して１３０１へ処理が戻るのである。
【００６４】
画像微調整手段１３０４では、ユーザに微調整が必要かどうかの確認をする。これは、画像拡大にウェーブレット変換による多重解像度解析を利用しているため、常に拡大前の４倍の画像サイズでしか生成できない。そのため、ユーザが見た場合、やはり前の画像では小さいが、これではＣＲＴに一度で描画できず大きすぎると思われる場合が生じるかもしれない。そこで１３０４では、再度ユーザにこの画像をいくらか調整するかの確認をとり、すこし大きくする場合には画素補間を行う。一方、すこし小さくする場合には、画素の間引きを行うことで再度画像サイズの調整を行うのである。なお、この画素補間を行う場合には、エッジ以外の画素値の変動の小さい領域を選んで行うようにする。間引きについても同様である。しかし、周波数領域に変換し、そこで不足成分の付加や余剰成分を高周波より取り出す手法を取ることも可能であり、処理時間や処理を行うＣＰＵ能力等に合わせて適切な方法を取ることが考えられる。１４は１３０４で得られた拡大画像をＣＲＴに表示したり、プリンタで出力したり、または他の装置へデータとして渡すなどして出力処理を行う。
【００６５】
以上のように、本発明における第４の画像拡大装置は、得られた精細な拡大画像をユーザに提示してサイズや解像度が適切かどうかの判断をしてもらい、それが得られた時点で一連の拡大作業の中止を指示すればよいため、予め拡大画像の拡大率を決める必要はなく、ユーザの好むサイズに簡便に拡大させることが可能となる。
【００６６】
（第５の実施の形態）
最後に本発明の第５の実施の形態である画像拡大装置について説明する。図１５は第５の実施の形態である画像拡大装置の構成を表し、図１６は第５の実施の形態である画像拡大装置における処理のフローチャートを表す。カラーの原画像の拡大画像を推定する際、１色の多階調データの拡大処理よりも拡大処理が膨大となるという欠点を持つ。本発明はその効率化に関係する発明である。
【００６７】
図１５において、１５００はカラー原画像より基本とするカラー成分を選択する基本成分選択手段、１５０１は基本カラー成分と残りのカラー成分の間の単純比率を計算する変換比率導出手段、１５０２はｎ画素×n画素を持つ基本カラー成分画像の原画像の水平、垂直画素数を所望の拡大画像サイズLn画素×Ln画素の１／２に調整する基本成分画像調整手段、１５０３はウェーブレット変換における多重解像度解析を利用した画像拡大を基本カラー成分に対し行う基本画像拡大手段、１５０４は基本画像拡大手段１５０３で得られた基本カラー成分の拡大画像を所望の拡大画像サイズであるLn画素×Ln画素に調整する基本拡大画像調整手段、１５０５は１５０４で得られた基本カラー成分の拡大画像から残りのカラー成分の拡大画像を推定する不足成分拡大手段であり、１５０６はこれまでに得られた各カラー成分の拡大画像を１つに再構成する拡大カラー画像再構成手段である。
【００６８】
以上のように構成された第５の実施の形態である画像拡大装置の動作について図１６の処理工程を表す図に従い説明する。１０で入力されたカラー原画像から基本とするカラー成分を１５００で選択する。通常、カラー原画像の構成はレッド、グリーン、ブルーの３つのカラー成分より構成されており、輝度情報にグリーンデータが大きく反映されることを考慮すると、基本カラー成分としてはグリーンデータが適切と考えるが、他のカラーでも構わない。また、レッド、ブルー、グリーンの３つの信号を他の表色系による色データに変換し、そこから基本カラー成分を選択することも可能である。例えば、輝度、色相、彩度に変換し、輝度を基本カラー成分に選択することも可能であるが、ここではレッド、ブルー、グリーンの表色系のまま扱うこととし、基本カラー成分にはグリーンデータを用いることとする。１５０１の変換比率導出手段では、このグリーンデータに対するレッド成分の単純比率ratio#rとグリーンデータに対するブルー成分の単純比率ratio#bを求める。比率を求める方法としては多種多様なものがあるが、ここでは、（数２）のように、対象とする領域内のレッドのグリーンに対する比率の平均値と対象とする領域内のブルーのグリーンに対する比率の平均値を用いることとする。
【００６９】
【数２】
【００７０】
（数２）で、r#ijは原画像における画素位置(i,j)のレッドデータであり、g#ijは原画像における画素位置(i,j)のグリーンデータであり、b#ijは原画像における画素位置(i,j)のブルーデータである。しかし、このように１つの比率係数を使って拡大された残りの成分を全て推定するのではなく、各画素におけるグリーンデータに対するレッド成分の比率より構成されるマトリックスR#rとグリーンデータに対するブルー成分の単純比率より構成されるマトリックスR#bを採用することも可能である。この場合、１つの比率係数を使うよりも、元のカラー原画像の特徴を再現することが可能となり、より精度良くカラー画像の拡大を行うことができる。なお、この時、カラー原画像より得られる変換マトリックスの要素数は、拡大画像に対する画素数より小さいため、不足する部分については補間してやる必要がある。
【００７１】
この基本カラー成分であるグリーンデータに対して、本発明の第１から第３の実施の形態の画像拡大装置と同様に、基本画像拡大処理を１５０３で行い、得られた基本カラー成分の拡大画像を１５０４で所望の画像サイズLn画素×Ln画素になるように、画素補間または間引きをして調整する。そして、１５０５の不足成分拡大手段において、１５０４の拡大されたグリーンデータに１５０１で得られたグリーンデータに対するレッド成分の単純比率ratio#rとグリーンデータに対するブルー成分の単純比率ratio#bを適用することで、残りのレッド、ブルー成分における拡大データを作成する。この３つの拡大成分を１つにまとめることで、カラー原画像の拡大画像を得ることができ、１４ではそれをＣＲＴ等に表示したり、プリンタ等の出力装置に渡したり、他の画像処理装置で扱われるデータと出力処理が行われるのである。
【００７２】
このような処理をとることで、カラー原画像を構成する複数成分１つ１つをいちいち拡大処理をする必要がなくなり処理の簡単化、高速化をはかることが可能となる。
【００７３】
【発明の効果】
以上のように本発明における第１の画像拡大装置は、入力された原画像をLn/2画素×Lm./2画素に調整する入力画像調整手段と、前記入力画像調整手段により調整された画像にウェーブレット変換に基づく方法を適用して拡大画像を生成する画像拡大手段と、を有することにより、従来の直交変換手法で発生したブロック歪みを生じることなく拡大画像のエッジのがたつきやぼけを手軽に低減させることが可能となる。
【００７４】
また第１の実施の形態の画像拡大装置は、入力された原画像を対象としたウェーブレット変換画像での低周波域にある１／４サイズ縮小画像より得られる３つのエッジ画像と、前記変換画像内の残りの３つのサブバンド画像間の関連を求め、その関連情報を使って求める拡大画像の画素数に応じて調整された原画像の垂直方向エッジ画像、水平方向エッジ画像、斜め方向エッジ画像の各々を補正することにより、単純にエッジ検出を行っただけでは取り出すことのできなかったウェーブレット変換画像における不足高周波数成分をより精度よく推定することができる。
【００７５】
また第２の実施の形態の画像拡大装置は、調整された原画像の垂直方向エッジ画像、水平方向エッジ画像、斜め方向エッジ画像の３つを求め所望の拡大画像の不足サブバンド成分と見なし、さらにそれらのサブバンド成分の補正にも前記原画像をウェーブレット変換して得られた１／４サイズ縮小画像の垂直方向エッジ画像、水平方向エッジ画像、斜め方向エッジ画像を使用したものである。
【００７６】
また、第３の実施の形態の画像拡大装置は、１つのラプラシアンフィルタで得られる平均的なエッジ画像を使って所望の拡大画像の不足サブバンド成分の推定と前記原画像のさらなるウェーブレット変換画像を使った補正を行うことにより、処理の更なる高速化に努めたものである。
【００７７】
また本発明の画像拡大装置は、入力される原画像を拡大処理して拡大画像を得る画像拡大装置において、拡大対象画像に原画像を設定する拡大処理初期化手段と、前記拡大対象画像にウェーブレット変換に基づく方法を適用することにより、４倍の画素数を持つ拡大画像を生成する対象画像拡大手段と、対象画像拡大手段により得られた拡大画像を拡大対象画像に設定し、対象画像拡大手段に処理を戻す手段と、前記対象画像拡大手段により得られた拡大画像を視覚的に提示する拡大画像提示手段と、前記拡大画像提示手段により提示された拡大画像に対し、拡大処理または縮小処理を行う画像調整手段と、前記画像調整手段により得られた画像を出力する拡大画像出力手段と、を有することを特徴とするものである。
【００７８】
この画像拡大装置によれば、拡大画像の拡大率が不明の場合に上記のウェーブレット変換を用いた拡大方式を適用したものであり、逆ウェーブレット変換で得られた拡大画像を次の対象画像として順に拡大画像生成するとともにユーザに提示することができる。そして、ユーザはその提示された画像をもとに各自の好む画像サイズ（画像解像度）が得られた時点で一連の拡大作業の中止を指示すればよいため、試行錯誤しながら画像拡大をいちいち行う必要がなく、ユーザインターフェースとしてより簡便なものとなっている。
【００７９】
また本発明の画像拡大装置は、入力されるn画素×m画素のカラーディジタル画像を拡大処理してLn画素×Lm画素の拡大画像を得るカラー画像拡大装置において、前記カラー画像構成成分より基本カラー成分を選択する基本成分選択手段と、前記基本成分選択手段で選択された基本カラー成分から他のカラー成分を導出する際の変換比率を導出する変換比率導出手段と、入力された原画像の基本カラー成分をLn/2画素×Lm./2画素に調整する基本成分画像調整手段と、前基本成分画像調整手段により、調整された画像の基本カラー成分にウェーブレット変換に基づく方法を適用して拡大画像を生成する基本画像拡大手段と、前記基本画像拡大手段で得られる基本カラー成分の拡大画像を所望のLn画素×Lm画素に調整する基本拡大画像調整手段と、前記基本拡大画像調整手段で導出された基本カラー成分の拡大画像に変換比率導出手段の変換比率を適用することで他のカラー成分における拡大画像を推定する不足成分拡大手段と、前記基本拡大画像出力手段で導出された基本カラー成分の拡大画像と、前記不足成分拡大手段で推定された残りのカラー成分を合成することでカラー原画像の拡大画像を生成する拡大画像出力手段とを有することを特徴とするものである。
【００８０】
この画像拡大装置によれば、入力された画像がカラー画像である場合に、入力されたカラー画像を構成するカラー成分で基準とするカラー成分を決定し、その基本カラー成分に対する拡大画像を生成する。そして、残りのカラー成分に対しては、基本カラー成分の拡大画像に変換比率による線形変換を行い推定することで、カラー画像の拡大画像生成における処理の効率化が可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態である画像拡大装置の構成を表すブロック図
【図２】ウェーブレット変換におけるフィルタ処理過程を表す図
【図３】ウェーブレット変換画像におけるサブバンド成分を模式的に説明する図
【図４】本発明の第１の実施の形態である画像拡大装置の処理の工程を模式的に表す図
【図５】ウェーブレット変換画像における不足サブバンド成分の推定を模式的に表す図
【図６】垂直方向、水平方向、斜め方向エッジ検出に適用されるフィルタの一例を表す図
【図７】本発明の第２の実施の形態である画像拡大装置を構成する画像拡大手段の構成を表すブロック図
【図８】本発明の第２の実施の形態である画像拡大装置の処理工程を模式的に表す図
【図９】ウェーブレット変換画像における不足サブバンド成分の推定と補正を模式的に表す図
【図１０】本発明の第３の実施の形態である画像拡大装置を構成する画像拡大手段の構成を表すブロック図
【図１１】本発明の第３の実施の形態である画像拡大装置の処理工程を模式的に表す図
【図１２】エッジ検出に適用されるラプラシアンフィルタの一例を表す図
【図１３】本発明の第４の実施の形態である画像拡大装置の構成を表すブロック図
【図１４】本発明の第４の実施の形態である画像拡大装置の処理工程を模式的に表す図
【図１５】本発明の第５の実施の形態である画像拡大装置の構成を表すブロック図
【図１６】本発明の第５の実施の形態である画像拡大装置の処理工程を模式的に表す図
【図１７】従来の線形補間方式を説明する図
【図１８】従来の画像拡大装置の構成を表すブロック図
【図１９】従来の周波数領域に変換して拡大する例を説明する図
【符号の説明】
１０ 画像入力手段
１１ 入力画像調整手段
１２ 画像拡大手段
１３ 拡大画像調整手段
１４ 拡大画像出力手段
１００ 垂直エッジ生成手段
１０１ 水平エッジ生成手段
１０２ 斜めエッジ生成手段
１０３ レベルアップ手段
７００ 入力微調整手段
７０１ レベルダウン手段
７０２ 参照ＨＬ成分生成手段
７０３ 参照ＬＨ成分生成手段
７０４ 参照ＨＨ成分生成手段
７０５ ＨＬ補正推定手段
７０６ ＬＨ補正推定手段
７０７ ＨＨ補正推定手段
７０８ ＨＬ成分推定手段
７０９ ＬＨ成分推定手段
７１０ ＨＨ成分推定手段
１０００ エッジ生成手段
１００１ 参照成分生成手段
１３００ 拡大処理初期化手段
１３０１ 対象画像拡大手段
１３０２ 拡大画像提示手段
１３０３ 多重処理終了判定手段
１３０４ 画像微調整手段
１５００ 基本成分選択手段
１５０１ 変換比率導出手段
１５０２ 基本画像調整手段
１５０３ 基本画像拡大手段
１５０４ 基本拡大画像調整手段
１５０５ 不足成分拡大手段
１５０６ 拡大カラー画像再構成手段
１８００ 原画像直交変換手段
１８０１ ”０”成分埋め込み手段
１８０２ 逆直交変換手段
【発明の属する技術分野】
本発明は、鮮明で高品質な画像拡大を実現することのできる画像拡大装置に関するものである。
【０００２】
【従来の技術】
画像データベース、高精細カラー印刷等の分野では種々の高品質な画像処理機能が求められており、その１つとして画像の拡大がある。また画像の拡大は、画像処理システムの１機能としてのほかに、解像度の異なるメディア間におけるマッチングをとるため、例えば、電子スチルカメラ等で入力した低解像度の画像を、レーザープリンタ、インクジェットプリンタ等の高解像度のプリンタに出力する際においても重要な技術である。
【０００３】
従来の画像の拡大方法としては、単純に画素間を補間する方法が採用されてきた。代表的な補間方法としては、図１７、（数１）のような補間する画像に近いサンプル画素の距離比を用いて補間値を決定する線形補間法や、最も近いサンプルの値を補間値とするニアレストネイバー法（nearest neighbor method）等がある。
【０００４】
【数１】
（数１）において、Daは図１７のA点の画素データを、DbはB点の画素データを、DcはC点の画素データを、DdはD点の画素データを表す。Eが求める補間点である。
【０００６】
しかし、上記方法において、線形補間法は通過帯域の周波数特性が抑制されるために、低域通過フィルタ（ローパスフィルタ；LPF）をかけたような作用を受けてスムージングされ、画像の鮮明さや細部の表現に不足したぼけ画像となりやすいという欠点がある。また、ニアレストネイバー法は高周波の漏れが多いために歪みを起こしやすく、その歪みがモザイクやエッジ部のジャギーとして現れる欠点がある。
【０００７】
そこで、上記問題を解決する方法として、ＦＦＴ（高速フーリエ変換）やＤＣＴ（離散コサイン変換）等の直交変換を用いて、実空間の画像信号を、周波数空間の画像信号に変換した後に拡大する方法が提案されている。これらの方法の意図するところは、サンプリング時に失われた高周波成分を復元し、画像の細部情報やエッジ情報を推定し復元することで拡大画像の高画質化を図るものである。
【０００８】
それらの従来例を図１８，図１９に示す。これらは特開平２−７６４７２もしくは特開平５−１６７９２０で示される例である。図１８はその構成を表すブロック図であり、図１９は処理工程を模式的に表した図である。まず、図１９(a)に示すような実空間の原画像（n×n画素）に直交変換を行い周波数空間の成分に変換する。図１９(b)は、その係数成分の位置を画像の画素位置に見立てて配置することで生成できる周波数空間の画像である。この処理は図１８の原画像直交変換手段１８００で行われる。この際、この周波数空間の画像は元々周波数成分を各成分位置に従い並べたものであり、n×nの行列で表すことができる。この周波数変換後の行列は、左上部に行くほど低周波成分となり、右方向及び下方向に行くに従い高周波成分となる。次に”０”成分埋め込み手段１８０１において、このように周波数空間の画像に変換された領域をs倍した領域（図１９(c)のsn×snの領域）が用意され、sn×snの領域における低周波成分の領域部分には、上記直交変換により得られた図(b)で示されるn×nの周波数領域をコピーし、残りの高周波領域には”０”が補間される。最後に逆直交変換手段１８０２においてこのsn×snの周波数領域を逆直交変換することにより、図１９(d)のようにs倍された実空間の画像信号が得られ、拡大画像出力手段１４で推定された拡大画像が出力されるのである。
【０００９】
このように高周波成分に”０”を補間する方法以外に、例えば特開平６−５４１７２のように画像信号を直交変換を用いて正変換とその逆変換を繰り返す過程（Gerchberg-Papoulis反復による方法）で、高周波成分の復元を行う方法も提案されている。また、特開平８−２９４００１のように、原画像の直交変換成分を低周波領域に埋め込み、高周波領域は予め準備された予測ルールに基づいて得られる周波数情報を埋める方法も提案されている。
【００１０】
【発明が解決しようとする課題】
しかし、高周波領域に”０”を埋め込めて拡大する方法は、線形補間法やニアレストネイバー法のような画素間の補間方法に比べれば良好な拡大画像を得ることができるが、サンプリング時に削除された高周波成分の復元がされていないため、十分に鮮明な画像が得られないという問題があった。
【００１１】
また、画像を直交変換を用いて正変換と逆変換を繰り返す過程で、高周波成分を復元する方法は、正変換と逆変換を繰り返すために演算処理が多くなり、処理速度において問題がある。直交変換、逆直交変換の演算量は、拡大率sが大きくない場合にはあまり問題がないが、拡大率sが大きいと正変換の演算量に対し逆変換の演算量がs×nにほぼ比例して増えることとなる。特に、実際に行われる２次元ブロックに対する処理においてはその演算量はs×nの３乗にほぼ比例して増える。さらに、カラー画像信号の拡大ともなると、複数カラー成分に対して拡大処理が必要となり、さらに処理時間がかかる。また、拡大処理の対象となる画像が低解像度の場合には、高周波成分の復元が十分には行われないという例があった。
【００１２】
特開平８−２９４００１の場合、これらの問題点を考慮して方法であり、処理時間や高周波成分の復元に工夫がなされている。しかし、原画像の高周波領域には予め準備された予測ルールに基づいて得られる周波数情報を埋めるため、予め大多数の画像をもとに高周波数成分とその他の領域との間のルール作りを行うことが必要となり、適切なルールベース作成に手間がかかるし、それが適切なルールが作成できなければ十分な効果を発揮できない心配がある。
【００１３】
さらに、一般に画像のサイズは任意であり、そして直交変換にかかる時間はサイズが大きくなればなるほど処理時間が長くなる。そのため、処理速度等の問題により一般には処理は画像のサイズで１度に直交変換を掛けることはせず、４画素から１６画素程度のブロックサイズでなされる。その際、出来上がった拡大画像のブロック間の不連続性（ブロック歪み）が境界部分に生じる問題点もあった。
【００１４】
【課題を解決するための手段】
上記課題を解決するために本発明における画像拡大装置は、ウェーブレット変換における多重解像度解析を利用したものである。
【００１５】
本発明の画像拡大装置は、入力されるn画素×m画素の原画像を拡大処理してLn画素×Lm画素の拡大画像を得る画像拡大装置において、入力された原画像をLn/2画素×Lm./2画素に調整する入力画像調整手段と、前記入力画像調整手段により調整された画像にウェーブレット変換に基づく方法を適用して拡大画像を生成する画像拡大手段と、を有することを特徴とするものである。
【００１６】
上記の画像拡大装置は、具体的に、求める拡大画像の画素数に応じて調整された画像と、その垂直方向のエッジ画像、水平方向のエッジ画像、斜め方向のエッジ画像を、ウェーブレット変換画像を構成する４つのサブバンド画像と見なし、このサブバンド画像に対して逆ウェーブレット変換を行うことにより、所望とする画素サイズの拡大画像を求めるものである（後述する第１の実施の形態を参照）。
【００１７】
そして、上記の画像拡大装置は、具体的に、入力された原画像をウェーブレット変換した画像の低周波域にある１／４サイズの縮小画像より得られる３つのエッジ画像と、変換画像内の残りの３つのサブバンド画像間の関連を求め、その関連情報を使って、求める拡大画像の画素数に応じて調整された画像の垂直方向エッジ画像、水平方向エッジ画像、斜め方向エッジ画像の各々を補正する。
【００１８】
そして、調整された画像と補正された３つのエッジ画像をウェーブレット変換画像を構成する４つのサブバンド画像と見なし、このサブバンド画像に対して逆ウェーブレット変換を行うことにより、所望とする画素サイズの拡大画像を求めるものである（後述する第２の実施の形態を参照）。
【００１９】
そして、上記の画像拡大装置は、具体的に、入力された原画像のウェーブレット変換画像の低周波域にある１／４サイズ縮小画像より得られる１つの平均的なエッジ画像と、変換画像内の残りの３つのサブバンド画像間の関連を求め、その関連情報を使って、求める拡大画像の画素数に応じて調整された画像から得られる１つの平均的なエッジ画像を補正する。
【００２０】
そして、調整された画像と補正により得られた３つの画像をウェーブレット変換画像を構成する４つのサブバンド画像と見なし逆ウェーブレット変換を行うことにより、所望とする画素サイズの拡大画像を求めるものである（後述する第３の実施の形態を参照）。
【００２１】
また、本発明の画像拡大装置は、入力される原画像を拡大処理して拡大画像を得る画像拡大装置において、拡大対象画像に原画像を設定する拡大処理初期化手段と、前記拡大対象画像にウェーブレット変換に基づく方法を適用することにより、４倍の画素数を持つ拡大画像を生成する対象画像拡大手段と、対象画像拡大手段により得られた拡大画像を拡大対象画像に設定し、対象画像拡大手段に処理を戻す手段と、前記対象画像拡大手段により得られた拡大画像を視覚的に提示する拡大画像提示手段と、前記拡大画像提示手段により提示された拡大画像に対し、拡大処理または縮小処理を行う画像調整手段と、前記画像調整手段により得られた画像を出力する拡大画像出力手段と、を有することを特徴とするものである。
【００２２】
具体的には、拡大したい画像サイズが取り敢えず不明の場合に上記のウェーブレット変換を用いた拡大方式を適用したものであり、逆ウェーブレット変換で得られた拡大画像を次の対象画像として、順に逆ウェーブレット変換を行うことにより４倍の画素数を持つ画像への拡大処理を繰り返す。そして、視覚的に所望の拡大率になった時点で作業を止めることで、入力された原画像の拡大作業を行うものである（後述する第４の実施の形態を参照）。
【００２３】
また本発明の画像拡大装置は、入力されるn画素×m画素のカラーディジタル画像を拡大処理してLn画素×Lm画素の拡大画像を得るカラー画像拡大装置において、前記カラー画像構成成分より基本カラー成分を選択する基本成分選択手段と、前記基本成分選択手段で選択された基本カラー成分から他のカラー成分を導出する際の変換比率を導出する変換比率導出手段と、入力された原画像の基本カラー成分をLn/2画素×Lm./2画素に調整する基本成分画像調整手段と、前基本成分画像調整手段により、調整された画像の基本カラー成分にウェーブレット変換に基づく方法を適用して拡大画像を生成する基本画像拡大手段と、前記基本画像拡大手段で得られる基本カラー成分の拡大画像を所望のLn画素×Lm画素に調整する基本拡大画像調整手段と、前記基本拡大画像調整手段で導出された基本カラー成分の拡大画像に変換比率導出手段の変換比率を適用することで他のカラー成分における拡大画像を推定する不足成分拡大手段と、前記基本拡大画像出力手段で導出された基本カラー成分の拡大画像と、前記不足成分拡大手段で推定された残りのカラー成分を合成することでカラー原画像の拡大画像を生成する拡大画像出力手段とを有することを特徴とするものである。
【００２４】
具体的には、上記ウェーブレット変換を用いた拡大方式において、入力された画像がカラー画像である場合に、入力されたカラー画像を構成するカラー成分で基本とするカラー成分を決定し、その基本カラー成分に対する拡大画像を生成する。そして残りのカラー成分は、基本カラー成分の拡大画像に変換比率による線形変換を行った推定により求めることで、カラー画像の拡大画像生成における処理を効率化したものである（後述する第５の実施の形態を参照）。
【００２５】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。図１は本発明の第１の実施の形態である画像拡大装置の構成図を、図７は本発明の第２の実施の形態である画像拡大装置を構成する画像拡大手段の構成図を、図１０は本発明の第３の実施の形態である画像拡大装置を構成する画像各大手段の構成図を、図１３は本発明の第４の実施の形態である画像拡大装置の構成図を、図１５は本発明の第５の実施の形態である画像拡大装置の構成図を表す。
【００２６】
また、図４は本発明の第１の実施の形態である画像拡大装置の処理の工程の模式図を、図８は本発明の第２の実施の形態である画像拡大装置の処理工程の模式図を、図１１は本発明の第３の実施の形態である画像拡大装置の処理工程の模式図を、図１４は本発明の第４の実施の形態である画像拡大装置の処理工程の模式図を、図１６は本発明の第５の実施の形態である画像拡大装置の処理工程の模式図を表す。構成図の各図において、同一部には同じ番号を付している。
【００２７】
（第１の実施の形態）
まず、本発明の第１の実施の形態である画像拡大装置について説明する。図１は第１の実施の形態である画像拡大装置の構成を表す。図１において、１０は、スキャナやデジタルスチルカメラ等に代表される入力デバイスや、これらの入力デバイスより得られたデジタル画像の読み出し手段である画像入力手段、１１は、画像入力手段で得られたｎ画素×n画素を持つ原画像の水平、垂直画素数を所望の拡大画像サイズLn画素×Ln画素の１／２になるように調整する入力画像調整手段、１２はウェーブレット変換における多重解像度解析を利用した画像拡大を行う画像拡大手段、１３は画像拡大手段１２で得られた１１で調整された原画像の４倍の画素数を持つ拡大画像を所望の拡大画像サイズであるLn画素×Ln画素に調整する拡大画像調整手段、１４は１３で推定された拡大後の画像データを表示したり他の装置等へ出力するための拡大画像出力手段である。
【００２８】
そして画像拡大手段１２は、入力画像調整手段１１でLn/2画素×Ln/2画素に調整された原画像より垂直方向のエッジ成分画像を取り出す垂直エッジ生成手段１００と、入力画像調整手段１１でLn/2画素×Ln/2画素に調整された原画像より水平方向のエッジ成分画像を取り出す垂直エッジ生成手段１０１と、入力画像調整手段１１でLn/2画素×Ln/2画素に調整された原画像より斜め方向のエッジ成分画像を取り出す垂直エッジ生成手段１０２と、１００から１０２で得られた３つのエッジ成分画像と、入力画像調整手段１１でLn/2画素×Ln/2画素に調整された原画像を、Ln画素×Ln画素の拡大画像にウェーブレット変換を行った際の変換画像を構成するサブバンド成分の４つと見なして、逆ウェーブレット変換によりLn画素×Ln画素の拡大画像を生成するレベルアップ手段１０３より構成される。
【００２９】
以上のように構成された第１の実施の形態である画像拡大装置では、ウェーブレット変換による多重解像度解析が画像拡大に利用されている。ウェーブレット変換は、「ウェーブレット ビギナーズガイド」（榊原 進著、東京電機大学出版局）等の多くの文献に記載されている。ウェーブレット変換は、周波数解析の方法として開発されたものであり、信号処理、画像等のデータ圧縮をはじめとした多くの分野で応用がなされているものである。
【００３０】
ウェーブレット変換を原画像に施しウェーブレット変換画像を得た場合、それはいくつかのサブバンド成分より構成されている。図３はウェーブレット変換画像のサブバンド成分の配置例を示す図であり、原画像を、LL3、HL3、LH3、HH3、HL2、LH2、HH2、HL1、LH1、HL1の１０のサブバンド成分に分割した例を表す。
【００３１】
図２は図３のような３段階のウェーブレット変換をフィルタ系列で表現した図であり、図２より明らかのように垂直方向（y方向）と水平方向（x方向）へ各々独立にローパスフィルタ処理の後に１／２にダウンサンプリングする処理Lowとハイパスフィルタ処理の後に１／２にダウンサンプリングする処理Highの組み合わせで構成されている。まず、原画像に水平方向にHighとLowが行われる。 そして水平方向にHighの処理をした際の出力に対し、垂直方向にHigh処理を行った結果がHH1成分であり、垂直方向にLowフィルタ処理した結果がHL1成分となる。次に、水平方向にLowのフィルタ処理をした際の出力に対し、垂直方向にLowフィルタ処理をした結果がLL1であり、垂直方向にHighのフィルタ処理を施した結果がLH1成分となる。ここまでが１度目のウェーブレット変換で得られる結果である。
【００３２】
さらに、LL1成分に対し、水平方向にLowフィルタ処理とHighフィルタ処理が行われ、水平方向にHighの処理をした際の出力に対し垂直方向にHighフィルタ処理をした結果がHH2であり、垂直方向にLowフィルタ処理をした結果がHL2である。また、水平方向にLowのフィルタ処理をした際の出力に対し、垂直方向にLowフィルタ処理をした結果がLL2であり、垂直方向にHighのフィルタ処理を施した結果がLH2成分となる。ここまでが2度目のウェーブレット変換で得られる結果である。
【００３３】
LL2成分に対しても同様に水平方向へのLowフィルタ処理とHighフィルタ処理を個別に行い、垂直方向に対してもLowフィルタ処理とHighフィルタ処理を個別に施すことで、HH3、HL3、LH3、LL3のサブバンド成分が得られ、３度目のウェーブレット変換が行われたこととなる。
【００３４】
このように、原画像に対する第１段階のウェーブレット変換により、LL1、HL1、LH1、HH1の４つの周波数成分に分解され、水平方向及び垂直方向ともに１／２のサブサンプリングが行われるため、各成分を表す画像の大きさは原画像の１／４になる。LL1は原画像における低周波成分を抽出したもので、原画像のぼやけた画像であるが、原画像の大部分の情報はここに含まれる。そのため、次の第２段階のウェーブレット変換では、このLL1が対象画像として見なされる。
【００３５】
一方、HL1成分は図２におけるフィルタ処理により、原画像において水平方向における高周波成分を強く抽出した画像を表すこととなり、LH1は原画像において垂直方向における高周波成分を強く抽出した画像を表すこととなる。そして、HH1は水平方向、垂直方向ともに高周波な成分を抽出した画像となり、言い換えれば斜め方向における高周波成分を抽出した画像と考えることもできる。
【００３６】
これは画素値から考えると、HL1成分は原画像において水平方向に対して画素値の変動の大きな領域（垂直方向を向くエッジ情報）を強く反映しており、LH1は原画像において垂直方向に対して画素値の変動の大きな領域（水平方向を向くエッジ情報）を強く反映しており、HH1は水平方向、垂直方向ともに画素値の変動の大きい領域（斜め方向を向くエッジ情報）を大きく反映していると考えられるのである。
【００３７】
以上のようなウェーブレット変換による特徴は、LL1を対象とした第２段階目のウェーブレット変換で得られたLL2、HL2、LH2、HH2の成分に関しても言えることであり、同様にLL2を対象画像としたウェーブレット変換の成分についても成立する。このようにウェーブレット変換は、１段階前のサブバンド画像において低周波成分を抽出したLL画像を、低周波成分、垂直、水平、斜め方向の周波数成分に相当する４枚の１／４の解像度画像に分解することととらえることができる。そして、これらのサブバンド成分画像をフィルタ処理により合成することで１つ前の段階の画像を復元することができる。図３で考えると、４つのサブバンド画像LL3、HL3、LH3、HH3を合成することでLL2が復元され、LL2、HL2、LH2、HH2を合成することでLL1が復元される。そして、LL1、HL1、LH1、HH1を使うことで、原画像を復元することができる。このようにウェーブレット変換では、解像度の異なる複数のサブバンド成分画像を同時に表現できるため、多重解像度解析とも呼ばれ、各々のサブバンド成分を圧縮することで効率の良いデータ圧縮が行えるとして注目されている。本発明は、原画像を１つ前の段階における低周波サブバンド成分LL1と見なして、残りの水平方向における高周波成分を強く抽出した画像HL1、垂直方向における高周波成分を強く抽出した画像LH1、そして水平方向、垂直方向ともに高周波な成分を抽出した画像HH1を推定することで、そのようにして２倍の拡大画像を得て、原画像を所望の画像サイズに拡大することに、ウェーブレット変換を適用したものである。
【００３８】
以上のことを念頭において、本発明における第１の画像拡大装置の動作について説明する。まず、最初に画像入力手段１０において、拡大すべきn画素×n画素のサイズを持つ原画像の読み取りが行われる。この場合、デジタルスチルカメラやスキャナ等の入力デバイスを用意しそこからの入力データでも良いし、他の装置からのデジタルデータファイル等からの読み込みをする手段より構成されていても良い。１０で得られた原画像は入力画像調整手段１１において、画像サイズの調整を受ける。これは、ウェーブレット変換における多重解像度解析で述べたように、対象画像を１度ウェーブレット変換する場合、変換後のサブバンド成分は常に変換前の水平画素数、垂直画素数ともに１／２サイズとなる。逆に、逆ウェーブレット変換により得られる画素サイズはその処理を行う際のサブバンド成分の水平画素数、垂直画素数ともに２倍、つまり４倍の画素数を持つこととなる。以上のような性質より、逆ウェーブレット変換で得られる拡大画素の水平、垂直画素数は２の倍数であることが望ましい。そこで、１１では、まず所望の拡大画像サイズであるLn画素×Ln画素を２の倍数であるdLn画素×dLn画素になるように調整するとともに、原画像をdLn/2画素×dLn/2画素になるように調整する。この際、調整方法としていろいろな手法が挙げられるが、ここでは画素間に（数１）を使って補間するか、画素変動の少ない領域上の画素を間引くことで実現するものとする。原画像をDCT変換等の直交変換により周波数領域に変換し、dLn/2画素×dLn/2画素に対応する周波数成分を取り出したり、０で不足する高周波成分を埋め、それをdLn/2画素×dLn/2画素に対応する逆直交変換で調整する方法でも可能であるが、処理の効率化とこの後、さらにウェーブレット変換による方式で拡大することを考え合わせると、ここでの複雑な処理はあまり効率が良いとは思えないので、単純な画素補間もしくは間引きを採用することとした。
【００３９】
画像拡大手段１２では、入力画像調整手段１１でdLn/2画素×dLn/2画素に調整された原画像を水平、垂直方向ともに２倍に拡大することで所望のLn画素×Ln画素に近い画像サイズまで拡大することを行う。この際に、上述のウェーブレット変換における多重解像度解析を利用するのである。こうすることで、従来の直交変換を行い、周波数領域で不足分を補う方法では処理時間より複数ブロックへ分割することでブロックのつなぎ目でジャギー状のノイズが発生することが問題であったが、ウェーブレット変換では１度に大きな画像を扱うことができるのでこのようなノイズは発生しないというメリットを持つ。
【００４０】
１２では、図３におけるサブバンド成分LL1としてdLn/2画素×dLn/2画素に調整した画像と見なした場合、残りのHL1、LH1、HH1の３つのサブバンド成分に相当するdLn/2画素×dLn/2画素の画像を推定する必要がある。
【００４１】
図５はその様子を模式的に表したものであるが、ここではHL1、LH1、HH1の３つの画像をLL1の３方向におけるエッジ画像と見なす方式を取る。前述したように、HL1成分はdLn/2画素×dLn/2画素に調整された原画像の４倍の画素数を持つ拡大画像（LL0とする）において水平方向における高周波成分を強く抽出した画像を表すこととなり、LH1はLL0において垂直方向における高周波成分を強く抽出した画像を表すこととなる。そして、HH1は水平方向、垂直方向ともに高周波な成分を抽出した画像となる。つまり、HL1はLL0画像において、水平方向における高い周波数成分を表す部分、つまり垂直方向におけるエッジ情報を反映するものとして考えられる。一方、LH1はLL0画像において、垂直方向における高い周波数成分を表す部分、つまり水平方向におけるエッジ情報を反映するものとして考えられる。そして、HH1は、LL0画像において、垂直方向にも水平方向にも高い周波数成分を表す部分、つまり斜め方向におけるエッジ情報を反映するものとして考えられる。よって、本発明では、垂直エッジ生成手段１００で、１１で調整されたdLn/2画素×dLn/2画素に調整された原画像の垂直方向におけるエッジ成分を抽出し、不足しているHL1成分と見なす。また、水平エッジ生成手段１０１では、１１で調整されたdLn/2画素×dLn/2画素に調整された原画像の水平方向におけるエッジ成分を抽出し、不足しているLH1成分と見なす。同様に斜めエッジ生成手段１０２では、１１で調整されたdLn/2画素×dLn/2画素に調整された原画像の斜め方向におけるエッジ成分を抽出し、不足しているHH1成分と見なす。この際、エッジ検出手段としては、図６にあるような３つの方向を検出するためのフィルタを使うこととする。なお、このフィルタは一義的に決まるものでなく、これら以外にも可能である。レベルアップ手段１０３では、以上のように推定された４つのサブバンド成分に逆ウェーブレット変換を行うことで、dLn画素×dLn画素のサイズを持つ鮮明な拡大画像を獲得する。なお、この際、ウェーブレット変換は図２のようにフィルタ系列処理で表せるため、ここでの処理もこの逆を行うフィルタ系列処理であっても構わない。
【００４２】
１２で得られた拡大画像は、そのサイズが所望の画像サイズLn画素×Ln画素が２の倍数でない場合（Ln／２の値が整数でない場合）、微妙にずれを生じる。そこで拡大画像調整手段１３では、その微妙なずれを補うように画素補間又は間引きを行うのである。ここで行われる処理は、高々１画素であるので画像において変化の小さい部分（階調変化が少なくエッジ付近以外）で処理することでその影響は小さい。
【００４３】
拡大画像調整手段１３を経て得られた拡大画像は１４でＣＲＴに表示されたり、他の装置への入力になるように出力される。
【００４４】
以上のように、本実施例の形態によれば、単純に原画像での画素間を補間したり、従来装置のように周波数領域で不足分な周波数成分を０等で埋めるなどした際に生じるエッジボケを低減できるだけでなく、直交変換方法で問題とされていたジャギー等のノイズを発生させることがなく鮮明な拡大画像が実現できる。また予めルール等を作成することなく手軽に推定することも可能となる。
【００４５】
（第２の実施の形態）
次に、本発明の第２の実施の形態である画像拡大装置について説明する。図７は第２の実施の形態である画像拡大装置における画像拡大手段の構成を表す。また、図８は第２の実施の形態である画像拡大装置における処理過程を模式的に表す。
【００４６】
図７において、７００は入力画像調整手段１１でdLn/2画素×dLn/2画素に調整された原画像を対象としたウェーブレット変換する際に、得られたサブバンド成分は変換前の水平、垂直方向ともに画素数が１／２になること受けて、dLn/2画素×dLn/2画素を２の倍数になるように調整する入力微調整手段であり、７０１は７００で得られたddLn画素×ddLn画素の原画像を対象としてウェーブレット変換を行い、その４つのサブバンド成分LL2、HL2、LH2、HH2を生成するレベルダウン手段であり、７０２は７０１で得られたサブバンド成分の内、低周波域にあるLL2成分よりエッジフィルタ処理により垂直方向のエッジ情報を検出し、参照ＨＬ成分HLeとする参照ＨＬ成分生成手段であり、７０３は７０１で得られたサブバンド成分の内、低周波域にあるLL2成分よりエッジフィルタ処理により水平方向のエッジ情報を検出し、参照ＬＨ成分LHeとする参照ＬＨ成分生成手段であり、７０４は７０１で得られたサブバンド成分の内、低周波域にあるLL2成分よりエッジフィルタ処理により斜め方向のエッジ情報を検出し、参照ＨＨ成分HHeとする参照ＨＨ成分生成手段である。そして、７０５は７０２で得られた参照ＨＬ成分HLeと７０１で得られたHL2成分の相関より、垂直エッジ生成手段１００で得られたddLn画素×ddLn画素の原画像に対するＨＬ成分画像HL1を補正するための補正成分dHLを求めるＨＬ補正推定手段であり、７０６は７０３で得られた参照ＬＨ成分LHeと７０１で得られたLH2成分の相関より、水平エッジ生成手段１０１で得られたddLn画素×ddLn画素の原画像に対するＬＨ成分画像LH1を補正するための補正成分dLHを求めるＬＨ補正推定手段であり、７０７は７０４で得られた参照ＨＨ成分HHeと７０１で得られたHH2成分の相関より、斜めエッジ生成手段１０２で得られたddLn画素×ddLn画素の原画像に対するＨＨ成分画像HH1を補正するための補正成分dHHを求めるＨＨ補正推定手段であり、７０８は７０５で得られた補正成分dHLをddLn画素×ddLn画素に調整したものと垂直エッジ生成手段１００で得られたＨＬ成分画像HL1よりddLn画素×ddLn画素の原画像に対するＨＬ成分を推定するＨＬ成分推定手段であり、７０９は７０６で得られた補正成分dLHをddLn画素×ddLn画素に調整したものと水平エッジ生成手段１０１で得られたＬＨ成分画像LH1よりddLn画素×ddLn画素の原画像に対するＬＨ成分を推定するＬＨ成分推定手段であり、７０９は７０７で得られた補正成分dHHをddLn画素×ddLn画素に調整したものと斜めエッジ生成手段１０２で得られたＨＨ成分画像HH1よりddLn画素×ddLn画素の原画像に対するＨＨ成分を推定するＨＨ成分推定手段である。
【００４７】
以上のように構成された第２の実施の形態である画像拡大装置の動作について図８の処理工程の模式図に従い説明する。
【００４８】
本発明の第１の実施の形態である画像拡大装置と同様に、１０で得られた原画像は１１の入力画像調整手段１１で所望の拡大画素サイズLn画素×Ln画素を水平、垂直画素数ともに２の倍数であるdLn画素×dLn画素に調整し、その垂直、水平ともに１／２のサイズであるdLn/2画素×dLn/2画素に原画像を調整する。７００では、１１の結果を受けてdLn/2画素×dLn/2画素に調整された原画像からレベルダウン手段７０１でさらに１レベル下のサブバンド成分を得るために、dLn/2画素×dLn/2画素を２の倍数になるように１画素補間したり間引いたりしてddLn画素×ddLn画素に微調整を行う。そして７０１では、７００で得られたddLn画素×ddLn画素の原画像を対象としてウェーブレット変換を行い、この１／４の画像サイズを持つ４つのサブバンド成分LL2、HL2、LH2、HH2を生成する。
【００４９】
図９は画像拡大手段における処理の概要を模式的に表している。本発明の第１の実施の形態の場合、現対象画像LL1の垂直方向のエッジ画像、水平方向のエッジ画像、斜め方向のエッジ画像を現対象画像の４倍に拡大した画像LL0のウェーブレット変換画像において不足していたサブバンド成分HL1、LH1、HH1と見なしていたが、図２のフィルタ処理より厳密にはこれは成立しない。例えばLL0からHL1をフィルタ処理で求める場合、図２のフィルタ処理から水平方向における高周波成分データと垂直方向における低周波成分データがHL1成分として抽出されている。このことよりHL1成分には、水平方向において値変動の大きな画素部分（垂直方向にのびたエッジ部分等）と、垂直方向において値変動の少ない画素部分が抽出される。本発明の第１の実施形態では、この内の水平方向において値変動の大きな画素部分、つまり垂直方向にのびたエッジ部分による影響が大きいと考え、この垂直方向におけるエッジ情報のみをHL1成分と見なしたが、扱う画像によっては垂直方向において値変動の少ない画素部分の影響を無視できない場合がある。また、垂直方向におけるエッジ情報には水平方向において値変動の大きな画素部分を多く含むが、厳密には一致しない。このようなことは、他のLH1、HH1についても言える。以上のことから本発明では、現在の対象画像を１度ウェーブレット変換してレベルを１つ下げることでサブバンド成分LL2、HL2、LH2、HH2を作成し、そのサブバンド成分における低周波域成分LL2の３方向におけるエッジ画像HLe、LHe、HHeと実際の３つのサブバンド成分HL2、LH2、HH2の間の相関より、元々の対象画像の３つのエッジ画像から対応するサブバンド成分を推定するための補正量dHL、dLH、dHHを求めることとした。
【００５０】
まず７０２では、このLL2、HL2、LH2、HH2の内の低周波域にあり原画像をもっとも表しているLL2成分に注目して、図６（ｂ）のようなフィルタにより垂直方向のエッジ情報を検出する。これを参照ＨＬ成分HLeとする。そして、ＨＬ推定手段７０５において、この参照ＨＬ成分HLeと７０１で得られたHL2の間の相関を調べるのである。その方法としては様々考えられるが、ここでは、図９（ｃ）のように参照ＨＬ成分HLeと実際のＨＬ成分HL2の間の差分画像dHL = HLe - HL2を求めることとした。７０３、７０４でも同様に参照ＬＨ成分LHeとしてLL2成分の水平方向のエッジ情報を、参照ＨＨ成分HHeとしてLL2成分の斜め方向のエッジ情報を選び、ＬＨ推定手段７０６において、この参照ＬＨ成分LHeと実際のＬＨ成分LH2の間の差分画像dLH = LHe - LH2を求め、ＨＨ推定手段７０７において、この参照ＨＨ成分HHeと実際のＨＨ成分HH2の間の差分画像dHH = HHe - HH2を求めた。そして、７０８、７０９、７１０では、本発明の第１の実施例と同様に、垂直エッジ生成手段１００で得られたHL1、水平エッジ生成手段で得られたLH1、斜めエッジ生成手段１０２で得られたHH1に対応する補正成分dHL、dLH、dHHを加算することで、７００でddLn画素×ddLn画素に調整された原画像をサブバンド成分のLL1見なした際のHL1、LH1、HH1成分を推定する。７０８から７１０において、７０５から７０７で得られた補正成分dHL、dLH、dHHを使用する際、各補正画像の画素サイズがddLn画素×ddLn画素になるように、（数１）に従い各画素間を補間することで調整したが、これは一義的ではなくこれ以外にも従来の周波数変換された領域で不足成分に０を埋めることで水平、垂直方向ともに２倍の画素サイズに拡大する方法等も適用可能である。しかし、処理の効率化と、このサブバンド成分を使って逆ウェーブレット変換により拡大処理を行うことを考慮に入れた場合、単純に画素補間しても、最終的に得られた拡大画像の画質に与える影響は小さいことからここでは（数１）のような線形補間による方式を７０８から７１０は取ることとする。
【００５１】
１０３以降は本発明の第１の実施形態と同様に処理が行われ、拡大画像出力手段１４で最終的に得られた拡大画像がＣＲＴに表示されたり、他の装置への入力になるように出力される。
【００５２】
なお７０８から７１０におけるＨＬ、ＬＨ、ＨＨ成分推定としては、上記のような参照成分と実際の成分間の差分成分の加算以外にも
（１）７０５から７０７で得られた補正量にある変換係数マトリクスを乗算した結果を１００から１０２の成分値に加える
（２）７０５から７０７で得られた補正量を変換関数により変換された結果を１００から１０２の結果に加える
（３）７０５から７０７、１００から１０２の結果を入力してＨＬ、ＬＨ、ＨＨの推定値を出力するように学習されたニューラルネットワークモデルを使う
（４）７０５から７０７、１００から１０２の結果を入力して、予め用意されたた大量のデータベースやルールベースからＨＬ、ＬＨ、ＨＨ成分を推定する
等の方法を用いることも十分可能である。
【００５３】
このようにすることで、本発明の第１の形態で取った単純に調整された原画像の３方向のエッジ検出を行っただけでは取り出すことのできなかったウェーブレット変換画像における不足サブバンド成分、特に高周波成分をより精度よく推定することができ、画像のぼけを減少させることができる。また、ウェーブレット変換を用いることで、直交変換のようなブロック分割の必要がなく、従来の直交変換による方法で問題とされていたブロック歪みは発生しない。
【００５４】
（第３の実施の形態）
次に本発明の第３の実施の形態である画像拡大装置について説明する。図１０は第３の実施の形態である画像拡大装置において画像拡大手段の構成を表す。また、図１１は本発明の第３の実施の形態である画像拡大装置の処理工程を模式的に表す。
【００５５】
図１０において、１０００は入力微調整手段７００で得られた原画像よりラプラシアンフィルタ処理によりエッジ画像を検出するエッジ生成手段であり、１００１は、レベルダウン手段７０１で得られたLL2成分画像からラプラシアンフィルタ処理により、７００で得られた原画像に対応するHL1、LH1、HH1成分の推定値を補正するための参照成分を生成する参照成分生成手段である。
【００５６】
以上のように構成された第３の実施の形態である画像拡大装置の動作について図１１の処理工程の模式図に従い説明する。画像入力手段１０、入力画像調整手段１１における処理は本発明の第１の実施の形態例と同様であり、入力微調整手段７００における処理も本発明の第２の実施の形態例で説明したように、１１でdLn/2画素×dLn/2画素に調整された原画像からレベルダウン手段７０１でさらに１レベル下のサブバンド成分を得るために、dLn/2画素×dLn/2画素を２の倍数になるように１画素補間したり間引いたりしてddLn画素×ddLn画素に微調整を行う。
【００５７】
参照成分生成手段１００１では、７０１で得られたサブバンド成分画像において、低周波域にあるLL2より、７０８から７１０における推定に使用される各補正量を求めるための参照成分を求めるものである。ここでは、LL2に図１２の（ａ）（ｂ）のようなラプラシアンフィルタを用いることで、LL2の平均的なエッジ画像を参照成分画像と見なす。ラプラシアンフィルタでは、図６のように特定方向のエッジを検出するのではなく、方向性にとらわれにくいエッジを検出する方法として良く使用される。本実施例では、これを参照成分画像として、本実施の第２の形態で行ったような補正量を求めることとする。こうすることで、第２の実施の形態で問題とされていた頻繁なエッジ検出処理を減らすことができ、処理の効率化につながる。ＨＬ補正推定手段７０５、ＬＨ補正推定手段７０６、ＨＨ補正推定手段７０７では、第２の実施の形態と同様に、１００１で得られたエッジ画像HEと７０１で得られたHL2の差分画像dHL2、１００１で得られたエッジ画像HEと７０１で得られたLH2の差分画像dLH2、１００１で得られたエッジ画像HEと７０１で得られたHH2の差分画像dHH2を求め、（数１）のような線形近似により各差分画像をddLn画素×ddLn画素を持つ画像に調整する。一方、エッジ生成手段１０００では１１で調整されたddLn画素×ddLn画素の原画像よりラプラシアンフィルタによるエッジ画像を検出し、ＨＬ成分推定手段７０８、ＬＨ成分推定手段７０９、ＨＨ成分推定手段７１０において、上記７０５から７０７での補正画像を加えることで各サブバンド成分HL1、LH1、HH1を精度良く推定するのである。こうすることで、(2×ddLn)画素×(2×ddLn)画素の拡大画像を鮮明に推定でき、これに数画素の補間や間引きを加えることで所望のLn画素×Ln画素を持つ拡大画像を精度良く得ることができる。
【００５８】
なお、本実施の第２の形態例で説明したように、７０８から７１０における補正としては、これ以外にも７０５から７０７の補正量にある変換係数マトリクスを乗算した結果や変換関数により変換された結果を使用することも可能である。
【００５９】
以上のように、本実施例では、第２の画像拡大装置では調整された原画像の垂直方向エッジ画像、水平方向エッジ画像、斜め方向エッジ画像の補正画像を入力された原画像に対するウェーブレット変換画像の不足サブバンド成分として利用した点を、入力された原画像のウェーブレット変換画像の低周波域にある水平、垂直画素ともに１／２サイズの縮小画像からの１つの平均エッジ画像とその残りのサブバンド成分との関連を調べ、原画像に対して不足している３つのサブバンド成分の推定に適用することで処理の高速化に努めたものである。
【００６０】
（第４の実施の形態）
本発明の第４の実施の形態である画像拡大装置について説明する。図１３は第４の実施の形態である画像拡大装置の構成を表し、図１４は第４の実施の形態である画像拡大装置における処理工程を表す。
【００６１】
本発明の主旨は、予め拡大する画素数がわかっていなくて、原画像を元にウェーブレット変換による多重解像度解析に従い、水平、垂直方向ともに２倍しながら拡大画像を生成し、それをユーザに提示することで適切な拡大画像が得られたかどうかを判定してもらうものである。
【００６２】
図１３において、１３００は拡大対象となる画像を設定する拡大処理初期化手段であり、最初は１０で入力された原画像が設定される。１３０１は１３００で拡大対象画像に設定されたm画素×m画像の画像をウェーブレット変換による多重解像度解析を利用して2m画素×2m画素に拡大する対象画像拡大手段であり、１３０２は１３０１で得られた拡大画像をユーザに提示するための拡大画像提示手段であり、１３０３は１３０２でユーザに提示された拡大画像サイズが適切であるかどうかをユーザからの指示入力に従い判定を行う多重処理終了判定手段であり、１３０４はユーザに１３０３の拡大画像のサイズの微調整が必要かどうかを判定してもらい、必要であるという指示を受けた場合には１３０３での拡大画像の拡大処理または縮小処理の微調整を行う画像調整手段としての画像微調整手段である。
【００６３】
以上のように構成された第４の実施の形態である画像拡大装置の動作について図１４の処理工程を表す図に従い説明する。１０で入力されたn画素×n画素の原画像は、まず１３００で拡大対象画像に設定される。次に１３０１の対象画像拡大手段では、n画素×n画素の原画像を水平、垂直方向ともに２倍、つまり４倍の画像サイズに拡大する。この拡大処理は、本発明の第１から第３の実施の形態の画像拡大装置で説明した画像拡大手段を適用することで、つねに対象画像の４倍の画素を持つサイズに拡大することができる。１３０２は１３０１で得られた現在の拡大画像をユーザにＣＲＴを通して提示する手段であり、もしＣＲＴ解像度を越えた場合には、カーソル等で視点を動かせるようできる機能や、特定部分を切り出す機能を持たせることでよりユーザによる現在の拡大画像の適正さを判断するための助けとなる。１３０３では、そのユーザからの指示結果を受け、適切である場合には次の画像微調整手段１３０４へ処理が移り、適切でないと指示を受けた場合には、この拡大画像を次の対象画像に設定して１３０１へ処理が戻るのである。
【００６４】
画像微調整手段１３０４では、ユーザに微調整が必要かどうかの確認をする。これは、画像拡大にウェーブレット変換による多重解像度解析を利用しているため、常に拡大前の４倍の画像サイズでしか生成できない。そのため、ユーザが見た場合、やはり前の画像では小さいが、これではＣＲＴに一度で描画できず大きすぎると思われる場合が生じるかもしれない。そこで１３０４では、再度ユーザにこの画像をいくらか調整するかの確認をとり、すこし大きくする場合には画素補間を行う。一方、すこし小さくする場合には、画素の間引きを行うことで再度画像サイズの調整を行うのである。なお、この画素補間を行う場合には、エッジ以外の画素値の変動の小さい領域を選んで行うようにする。間引きについても同様である。しかし、周波数領域に変換し、そこで不足成分の付加や余剰成分を高周波より取り出す手法を取ることも可能であり、処理時間や処理を行うＣＰＵ能力等に合わせて適切な方法を取ることが考えられる。１４は１３０４で得られた拡大画像をＣＲＴに表示したり、プリンタで出力したり、または他の装置へデータとして渡すなどして出力処理を行う。
【００６５】
以上のように、本発明における第４の画像拡大装置は、得られた精細な拡大画像をユーザに提示してサイズや解像度が適切かどうかの判断をしてもらい、それが得られた時点で一連の拡大作業の中止を指示すればよいため、予め拡大画像の拡大率を決める必要はなく、ユーザの好むサイズに簡便に拡大させることが可能となる。
【００６６】
（第５の実施の形態）
最後に本発明の第５の実施の形態である画像拡大装置について説明する。図１５は第５の実施の形態である画像拡大装置の構成を表し、図１６は第５の実施の形態である画像拡大装置における処理のフローチャートを表す。カラーの原画像の拡大画像を推定する際、１色の多階調データの拡大処理よりも拡大処理が膨大となるという欠点を持つ。本発明はその効率化に関係する発明である。
【００６７】
図１５において、１５００はカラー原画像より基本とするカラー成分を選択する基本成分選択手段、１５０１は基本カラー成分と残りのカラー成分の間の単純比率を計算する変換比率導出手段、１５０２はｎ画素×n画素を持つ基本カラー成分画像の原画像の水平、垂直画素数を所望の拡大画像サイズLn画素×Ln画素の１／２に調整する基本成分画像調整手段、１５０３はウェーブレット変換における多重解像度解析を利用した画像拡大を基本カラー成分に対し行う基本画像拡大手段、１５０４は基本画像拡大手段１５０３で得られた基本カラー成分の拡大画像を所望の拡大画像サイズであるLn画素×Ln画素に調整する基本拡大画像調整手段、１５０５は１５０４で得られた基本カラー成分の拡大画像から残りのカラー成分の拡大画像を推定する不足成分拡大手段であり、１５０６はこれまでに得られた各カラー成分の拡大画像を１つに再構成する拡大カラー画像再構成手段である。
【００６８】
以上のように構成された第５の実施の形態である画像拡大装置の動作について図１６の処理工程を表す図に従い説明する。１０で入力されたカラー原画像から基本とするカラー成分を１５００で選択する。通常、カラー原画像の構成はレッド、グリーン、ブルーの３つのカラー成分より構成されており、輝度情報にグリーンデータが大きく反映されることを考慮すると、基本カラー成分としてはグリーンデータが適切と考えるが、他のカラーでも構わない。また、レッド、ブルー、グリーンの３つの信号を他の表色系による色データに変換し、そこから基本カラー成分を選択することも可能である。例えば、輝度、色相、彩度に変換し、輝度を基本カラー成分に選択することも可能であるが、ここではレッド、ブルー、グリーンの表色系のまま扱うこととし、基本カラー成分にはグリーンデータを用いることとする。１５０１の変換比率導出手段では、このグリーンデータに対するレッド成分の単純比率ratio#rとグリーンデータに対するブルー成分の単純比率ratio#bを求める。比率を求める方法としては多種多様なものがあるが、ここでは、（数２）のように、対象とする領域内のレッドのグリーンに対する比率の平均値と対象とする領域内のブルーのグリーンに対する比率の平均値を用いることとする。
【００６９】
【数２】
（数２）で、r#ijは原画像における画素位置(i,j)のレッドデータであり、g#ijは原画像における画素位置(i,j)のグリーンデータであり、b#ijは原画像における画素位置(i,j)のブルーデータである。しかし、このように１つの比率係数を使って拡大された残りの成分を全て推定するのではなく、各画素におけるグリーンデータに対するレッド成分の比率より構成されるマトリックスR#rとグリーンデータに対するブルー成分の単純比率より構成されるマトリックスR#bを採用することも可能である。この場合、１つの比率係数を使うよりも、元のカラー原画像の特徴を再現することが可能となり、より精度良くカラー画像の拡大を行うことができる。なお、この時、カラー原画像より得られる変換マトリックスの要素数は、拡大画像に対する画素数より小さいため、不足する部分については補間してやる必要がある。
【００７１】
この基本カラー成分であるグリーンデータに対して、本発明の第１から第３の実施の形態の画像拡大装置と同様に、基本画像拡大処理を１５０３で行い、得られた基本カラー成分の拡大画像を１５０４で所望の画像サイズLn画素×Ln画素になるように、画素補間または間引きをして調整する。そして、１５０５の不足成分拡大手段において、１５０４の拡大されたグリーンデータに１５０１で得られたグリーンデータに対するレッド成分の単純比率ratio#rとグリーンデータに対するブルー成分の単純比率ratio#bを適用することで、残りのレッド、ブルー成分における拡大データを作成する。この３つの拡大成分を１つにまとめることで、カラー原画像の拡大画像を得ることができ、１４ではそれをＣＲＴ等に表示したり、プリンタ等の出力装置に渡したり、他の画像処理装置で扱われるデータと出力処理が行われるのである。
【００７２】
このような処理をとることで、カラー原画像を構成する複数成分１つ１つをいちいち拡大処理をする必要がなくなり処理の簡単化、高速化をはかることが可能となる。
【００７３】
【発明の効果】
以上のように本発明における第１の画像拡大装置は、入力された原画像をLn/2画素×Lm./2画素に調整する入力画像調整手段と、前記入力画像調整手段により調整された画像にウェーブレット変換に基づく方法を適用して拡大画像を生成する画像拡大手段と、を有することにより、従来の直交変換手法で発生したブロック歪みを生じることなく拡大画像のエッジのがたつきやぼけを手軽に低減させることが可能となる。
【００７４】
また第１の実施の形態の画像拡大装置は、入力された原画像を対象としたウェーブレット変換画像での低周波域にある１／４サイズ縮小画像より得られる３つのエッジ画像と、前記変換画像内の残りの３つのサブバンド画像間の関連を求め、その関連情報を使って求める拡大画像の画素数に応じて調整された原画像の垂直方向エッジ画像、水平方向エッジ画像、斜め方向エッジ画像の各々を補正することにより、単純にエッジ検出を行っただけでは取り出すことのできなかったウェーブレット変換画像における不足高周波数成分をより精度よく推定することができる。
【００７５】
また第２の実施の形態の画像拡大装置は、調整された原画像の垂直方向エッジ画像、水平方向エッジ画像、斜め方向エッジ画像の３つを求め所望の拡大画像の不足サブバンド成分と見なし、さらにそれらのサブバンド成分の補正にも前記原画像をウェーブレット変換して得られた１／４サイズ縮小画像の垂直方向エッジ画像、水平方向エッジ画像、斜め方向エッジ画像を使用したものである。
【００７６】
また、第３の実施の形態の画像拡大装置は、１つのラプラシアンフィルタで得られる平均的なエッジ画像を使って所望の拡大画像の不足サブバンド成分の推定と前記原画像のさらなるウェーブレット変換画像を使った補正を行うことにより、処理の更なる高速化に努めたものである。
【００７７】
また本発明の画像拡大装置は、入力される原画像を拡大処理して拡大画像を得る画像拡大装置において、拡大対象画像に原画像を設定する拡大処理初期化手段と、前記拡大対象画像にウェーブレット変換に基づく方法を適用することにより、４倍の画素数を持つ拡大画像を生成する対象画像拡大手段と、対象画像拡大手段により得られた拡大画像を拡大対象画像に設定し、対象画像拡大手段に処理を戻す手段と、前記対象画像拡大手段により得られた拡大画像を視覚的に提示する拡大画像提示手段と、前記拡大画像提示手段により提示された拡大画像に対し、拡大処理または縮小処理を行う画像調整手段と、前記画像調整手段により得られた画像を出力する拡大画像出力手段と、を有することを特徴とするものである。
【００７８】
この画像拡大装置によれば、拡大画像の拡大率が不明の場合に上記のウェーブレット変換を用いた拡大方式を適用したものであり、逆ウェーブレット変換で得られた拡大画像を次の対象画像として順に拡大画像生成するとともにユーザに提示することができる。そして、ユーザはその提示された画像をもとに各自の好む画像サイズ（画像解像度）が得られた時点で一連の拡大作業の中止を指示すればよいため、試行錯誤しながら画像拡大をいちいち行う必要がなく、ユーザインターフェースとしてより簡便なものとなっている。
【００７９】
また本発明の画像拡大装置は、入力されるn画素×m画素のカラーディジタル画像を拡大処理してLn画素×Lm画素の拡大画像を得るカラー画像拡大装置において、前記カラー画像構成成分より基本カラー成分を選択する基本成分選択手段と、前記基本成分選択手段で選択された基本カラー成分から他のカラー成分を導出する際の変換比率を導出する変換比率導出手段と、入力された原画像の基本カラー成分をLn/2画素×Lm./2画素に調整する基本成分画像調整手段と、前基本成分画像調整手段により、調整された画像の基本カラー成分にウェーブレット変換に基づく方法を適用して拡大画像を生成する基本画像拡大手段と、前記基本画像拡大手段で得られる基本カラー成分の拡大画像を所望のLn画素×Lm画素に調整する基本拡大画像調整手段と、前記基本拡大画像調整手段で導出された基本カラー成分の拡大画像に変換比率導出手段の変換比率を適用することで他のカラー成分における拡大画像を推定する不足成分拡大手段と、前記基本拡大画像出力手段で導出された基本カラー成分の拡大画像と、前記不足成分拡大手段で推定された残りのカラー成分を合成することでカラー原画像の拡大画像を生成する拡大画像出力手段とを有することを特徴とするものである。
【００８０】
この画像拡大装置によれば、入力された画像がカラー画像である場合に、入力されたカラー画像を構成するカラー成分で基準とするカラー成分を決定し、その基本カラー成分に対する拡大画像を生成する。そして、残りのカラー成分に対しては、基本カラー成分の拡大画像に変換比率による線形変換を行い推定することで、カラー画像の拡大画像生成における処理の効率化が可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態である画像拡大装置の構成を表すブロック図
【図２】ウェーブレット変換におけるフィルタ処理過程を表す図
【図３】ウェーブレット変換画像におけるサブバンド成分を模式的に説明する図
【図４】本発明の第１の実施の形態である画像拡大装置の処理の工程を模式的に表す図
【図５】ウェーブレット変換画像における不足サブバンド成分の推定を模式的に表す図
【図６】垂直方向、水平方向、斜め方向エッジ検出に適用されるフィルタの一例を表す図
【図７】本発明の第２の実施の形態である画像拡大装置を構成する画像拡大手段の構成を表すブロック図
【図８】本発明の第２の実施の形態である画像拡大装置の処理工程を模式的に表す図
【図９】ウェーブレット変換画像における不足サブバンド成分の推定と補正を模式的に表す図
【図１０】本発明の第３の実施の形態である画像拡大装置を構成する画像拡大手段の構成を表すブロック図
【図１１】本発明の第３の実施の形態である画像拡大装置の処理工程を模式的に表す図
【図１２】エッジ検出に適用されるラプラシアンフィルタの一例を表す図
【図１３】本発明の第４の実施の形態である画像拡大装置の構成を表すブロック図
【図１４】本発明の第４の実施の形態である画像拡大装置の処理工程を模式的に表す図
【図１５】本発明の第５の実施の形態である画像拡大装置の構成を表すブロック図
【図１６】本発明の第５の実施の形態である画像拡大装置の処理工程を模式的に表す図
【図１７】従来の線形補間方式を説明する図
【図１８】従来の画像拡大装置の構成を表すブロック図
【図１９】従来の周波数領域に変換して拡大する例を説明する図
【符号の説明】
１０ 画像入力手段
１１ 入力画像調整手段
１２ 画像拡大手段
１３ 拡大画像調整手段
１４ 拡大画像出力手段
１００ 垂直エッジ生成手段
１０１ 水平エッジ生成手段
１０２ 斜めエッジ生成手段
１０３ レベルアップ手段
７００ 入力微調整手段
７０１ レベルダウン手段
７０２ 参照ＨＬ成分生成手段
７０３ 参照ＬＨ成分生成手段
７０４ 参照ＨＨ成分生成手段
７０５ ＨＬ補正推定手段
７０６ ＬＨ補正推定手段
７０７ ＨＨ補正推定手段
７０８ ＨＬ成分推定手段
７０９ ＬＨ成分推定手段
７１０ ＨＨ成分推定手段
１０００ エッジ生成手段
１００１ 参照成分生成手段
１３００ 拡大処理初期化手段
１３０１ 対象画像拡大手段
１３０２ 拡大画像提示手段
１３０３ 多重処理終了判定手段
１３０４ 画像微調整手段
１５００ 基本成分選択手段
１５０１ 変換比率導出手段
１５０２ 基本画像調整手段
１５０３ 基本画像拡大手段
１５０４ 基本拡大画像調整手段
１５０５ 不足成分拡大手段
１５０６ 拡大カラー画像再構成手段
１８００ 原画像直交変換手段
１８０１ ”０”成分埋め込み手段
１８０２ 逆直交変換手段
Claims (8)
- 入力されるn画素×m画素の原画像を拡大処理してLn画素×Lm画素の拡大画像を得る画像拡大装置において、
入力された原画像をLn/2画素×Lm/2画素に調整する入力画像調整手段と、
前記入力画像調整手段により調整された画像にウェーブレット変換に基づく方法を適用して拡大画像を生成する画像拡大手段と、
を備え、
前記画像拡大手段は、
前記入力画像調整手段により調整された画像の垂直方向のエッジ画像を生成する垂直エッジ生成手段と、
前記入力画像調整手段により調整された画像の水平方向のエッジ画像を生成する垂直エッジ生成手段と、
前記入力画像調整手段により調整された画像の斜め方向のエッジ画像信号を生成する斜めエッジ生成手段と、
前記各々のエッジ生成手段で得られた垂直エッジ画像、水平エッジ画像、斜めエッジ画像および、前記入力画像調整手段で調整された原画像とをウェーブレット変換画像におけるサブバンド成分と見なし、このサブバンド成分に対して逆ウェーブレット変換を行って４倍の画素数を持つ拡大画像を生成するレベルアップ手段と、
を有することを特徴とする画像拡大装置。 - 入力されるn画素×m画素の原画像を拡大処理してLn画素×Lm画素の拡大画像を得る画像拡大装置において、
入力された原画像をLn/2画素×Lm/2画素に調整する入力画像調整手段と、
前記入力画像調整手段により調整された画像にウェーブレット変換に基づく方法を適用して拡大画像を生成する画像拡大手段と、
を備え、
前記画像拡大手段は、
前記入力画像調整手段により調整された画像の水平、垂直方向画素数が２の倍数になるように再度調整する入力微調整手段と、
前記入力微調整手段で調整された画像にウェーブレット変換を行うレベルダウン手段と、
前記レベルダウン手段で得られた変換画像の低周波域に位置するサブバンド成分より垂直方向のエッジ画像を生成する参照ＨＬ成分生成手段と、
前記レベルダウン手段で得られた変換画像の低周波域に位置するサブバンド成分より水平方向のエッジ画像を生成する参照ＬＨ成分生成手段と、
前記レベルダウン手段で得られた変換画像の低周波域に位置するサブバンド成分より斜め方向のエッジ画像を生成する参照ＨＨ成分生成手段と、
前記参照ＨＬ成分生成手段の画像と前記レベルダウン手段で得られた画像の垂直方向に低周波な領域に属するサブバンド成分との関連を表すＨＬ補正量推定手段と、
前記参照ＬＨ成分生成手段の画像と前記レベルダウン手段で得られた画像の水平方向に低周波な領域に属するサブバンド成分との関連を表すＬＨ補正量推定手段と、
前記参照ＨＨ成分生成手段の画像と前記レベルダウン手段で得られた画像の高周波領域に位置するサブバンド成分との関連を表すＨＨ補正量推定手段と、
前記調整された原画像の垂直方向のエッジ画像を生成する垂直エッジ生成手段と、
前記垂直エッジ生成手段で得られた垂直エッジ画像をＨＬ補正量推定手段の結果により補正してＨＬサブバンド成分とするＨＬ成分推定手段と、
前記調整された原画像の水平方向のエッジ画像を生成する水平エッジ生成手段と、
前記水平エッジ生成手段で得られた水平エッジ画像をＬＨ補正量推定手段の結果により補正してＬＨサブバンド成分とするＨＬ成分推定手段と、
前記調整された原画像の斜め方向のエッジ画像を生成する斜めエッジ生成手段と、
前記斜めエッジ生成手段で得られた斜めエッジ画像をＨＨ補正量推定手段の結果により補正してＨＨサブバンド成分とするＨＨ成分推定手段と、
前記ＬＨ、ＨＬ、ＨＨの成分推定手段で得られたＨＬ、ＬＨ、ＨＨ成分の３つの画像および、調整された画像とをウェーブレット変換画像におけるサブバンド成分と見なし、このサブバンド成分に対して逆ウェーブレット変換を行って４倍の画素数を持つ拡大画像を生成するレベルアップ手段と、
を有することを特徴とする画像拡大装置。 - 入力されるn画素×m画素の原画像を拡大処理してLn画素×Lm画素の拡大画像を得る画像拡大装置において、
入力された原画像をLn/2画素×Lm/2画素に調整する入力画像調整手段と、
前記入力画像調整手段により調整された画像にウェーブレット変換に基づく方法を適用して拡大画像を生成する画像拡大手段と、
を備え、
前記画像拡大手段は、
前記入力画像調整手段により調整された画像の水平、垂直画素数が２の倍数になるように再度調整する入力微調整手段と、
前記入力微調整手段で調整された画像にウェーブレット変換を行うレベルダウン手段と、
前記レベルダウン手段で得られた画像の低周波域に位置するサブバンド成分よりラプラシアンエッジ画像を求める参照成分生成手段と、
前記参照成分生成手段で得られた参照成分画像と前記レベルダウン手段で得られた変換画像の垂直方向に低周波な領域に属するサブバンド成分との関連を表すＨＬ補正量推定手段と、
前記参照成分生成手段で得られた参照成分画像と前記レベルダウン手段で得られた変換画像の水平方向に低周波な領域に属するサブバンド成分との関連を表すＬＨ補正量推定手段と、
前記基本画像生成手段で得られた参照成分画像と前記レベルダウン手段で得られた画像の高周波域のサブバンド成分との関連を表すＨＨ補正量推定手段と、
前記調整された原画像のラプラシアンエッジ画像を生成するエッジ生成手段と、
前記エッジ生成手段で得られたエッジ画像をＨＬ補正量推定手段の結果により補正してＨＬサブバンド成分とするＨＬ成分推定手段と、
前記エッジ生成手段で得られたエッジ画像をＬＨ補正量推定手段の結果により補正してＬＨサブバンド成分とするＬＨ成分推定手段と、
前記エッジ生成手段で得られたエッジ画像をＨＨ補正量推定手段の結果により補正してＨＨサブバンド成分とするＨＨ成分推定手段と、
前記ＬＨ、ＨＬ、ＨＨの成分推定手段で得られたＨＬ、ＬＨ、ＨＨ成分の３つの画像および、調整された画像とをウェーブレット変換画像におけるサブバンド成分と見なし、このサブバンド成分に対して逆ウェーブレット変換を行って４倍の画素数を持つ拡大画像を生成するレベルアップ手段と、
を有することを特徴とする画像拡大装置。 - Ln/2およびLm/2の値が整数である場合には、入力された原画像を前記入力調整手段に
より調整し、調整された画像に対して前記画像拡大手段により拡大画像を生成し、
Ln/2またはLm/2の少なくとも一方の値が整数でない場合には、入力された原画像を前記入力調整手段により調整し、調整された画像に対して前記画像拡大手段により拡大画像を生成し、その後、前記画像拡大手段で得られた拡大画像を拡大画像調整手段によりLn画素×Lm画素に調整することを特徴とする請求項１〜３のいずれか一項に記載の画像拡大装置。 - 入力される原画像を拡大処理して拡大画像を得る画像拡大装置において、
原画像を拡大対象画像として設定する拡大処理初期化手段と、
前記拡大対象画像にウェーブレット変換に基づく方法を適用することにより、４倍の画素数を持つ拡大画像を生成する対象画像拡大手段と、
前記対象画像拡大手段により得られた拡大画像を拡大対象画像として設定し、前記対象画像拡大手段に処理を戻す手段と、
前記対象画像拡大手段により得られた拡大画像を視覚的に提示する拡大画像提示手段と、
前記拡大画像提示手段により提示された拡大画像に対し、拡大処理または縮小処理を行う画像調整手段と、
前記画像調整手段により得られた画像を出力する拡大画像出力手段と、
を備え、
前記対象画像拡大手段は、請求項１から３のいずれか一項に記載の画像拡大手段であって、前記調整された画像の代わりに、前記拡大対象画像を用いるものであることを特徴とする画像拡大装置。 - 入力されるn画素×m画素のカラーディジタル画像を拡大処理してLn画素×Lm画素の拡大画像を得るカラー画像拡大装置において、
前記カラー画像構成成分より基本カラー成分を選択する基本成分選択手段と、
前記基本成分選択手段で選択された基本カラー成分から他のカラー成分を導出する際の変換比率を導出する変換比率導出手段と、
入力された原画像の基本カラー成分をLn/2画素×Lm/2画素に調整する基本成分画像調整手段と、
前基本成分画像調整手段により、調整された画像の基本カラー成分にウェーブレット変換に基づく方法を適用して拡大画像を生成する基本画像拡大手段と、
前記基本画像拡大手段で得られる基本カラー成分の拡大画像を所望のLn画素×Lm画素に調整する基本拡大画像調整手段と、
前記基本拡大画像調整手段で導出された基本カラー成分の拡大画像に変換比率導出手段の変換比率を適用することで他のカラー成分における拡大画像を推定する不足成分拡大手段と、
前記基本拡大画像出力手段で導出された基本カラー成分の拡大画像と、前記不足成分拡大手段で推定された残りのカラー成分を合成することでカラー原画像の拡大画像を生成する拡大画像出力手段と、
を備え、
前記基本画像拡大手段は、請求項１から３のいずれか一項に記載の画像拡大手段を用いることを特徴とするカラー画像拡大装置。 - 前記ＨＬ補正量推定手段は、
前記参照ＨＬ成分生成手段の画像と前記レベルダウン手段で得られた画像の垂直方向に低周波な領域に属するサブバンド成分との差分画像を補正成分として求め、
前記ＬＨ補正量推定手段は、
前記参照ＬＨ成分生成手段の画像と前記レベルダウン手段で得られた画像の水平方向に低周波な領域に属するサブバンド成分との差分画像を補正成分として求め、
前記ＨＨ補正量推定手段は、
前記参照ＨＨ成分生成手段の画像と前記レベルダウン手段で得られた画像の高周波な領域に属するサブバンド成分との差分画像を補正成分として求め、
ＨＬ、ＬＨ、ＨＨの各成分推定手段は、
前記３つの補正成分画像を線形補間により４倍の画素数の画像に拡大し、対応するエッジ画像に加えることで補正処理を行う
ことを特徴とする請求項２に記載の画像拡大装置。 - 前記ＨＬ補正量推定手段は、
前記基参照エッジ生成手段の画像と前記レベルダウン手段で得られた画像の垂直方向に低周波な領域に属するサブバンド成分との差分画像を補正成分として求め、
前記ＬＨ補正量推定手段は、
前記参照エッジ生成手段の画像と前記レベルダウン手段で得られた画像の水平方向に低周波な領域に属するサブバンド成分との差分画像を補正成分として求め、
前記ＨＨ補正量推定手段は、
前記参照エッジ生成手段の画像と前記レベルダウン手段で得られた画像の高周波な領域に属するサブバンド成分との差分画像を補正成分として求め、
ＨＬ、ＬＨ、ＨＨの各成分推定手段は、
前記３つの補正成分として求められた係る画像を線形補間により４倍の画像数を持つ画像に拡大し、対応するエッジ画像に加えることで補正処理を行うことを特徴とする請求項３に記載の画像拡大装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17499099A JP4081926B2 (ja) | 1999-06-22 | 1999-06-22 | 画像拡大装置 |
| PCT/JP2000/001586 WO2000056060A1 (fr) | 1999-03-15 | 2000-03-15 | Dispositif et procede de traitement d'image, et support enregistre |
| EP00909658A EP1164781A1 (en) | 1999-03-15 | 2000-03-15 | Image processing device, image processing method, and recorded medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17499099A JP4081926B2 (ja) | 1999-06-22 | 1999-06-22 | 画像拡大装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001008027A JP2001008027A (ja) | 2001-01-12 |
| JP4081926B2 true JP4081926B2 (ja) | 2008-04-30 |
Family
ID=15988299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17499099A Expired - Fee Related JP4081926B2 (ja) | 1999-03-15 | 1999-06-22 | 画像拡大装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4081926B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100403601B1 (ko) | 2001-12-21 | 2003-10-30 | 삼성전자주식회사 | 영상의 윤곽선 보정 장치 및 방법 |
| AU2002244908A1 (en) * | 2002-03-04 | 2003-09-16 | Setoguchi Laboratory Ltd. | Web-oriented image database building/controlling method |
| JP2004104297A (ja) * | 2002-09-06 | 2004-04-02 | Fujicolor Imaging Service Co Ltd | 写真撮影装置および写真撮影方法 |
| JP2007174634A (ja) * | 2005-11-28 | 2007-07-05 | Victor Co Of Japan Ltd | 階層符号化装置、階層復号化装置、階層符号化方法、階層復号方法、階層符号化プログラム及び階層復号プログラム |
| JP4700645B2 (ja) * | 2007-03-23 | 2011-06-15 | 日本放送協会 | 高精細画像生成装置および高精細画像生成プログラム |
| JP5111152B2 (ja) * | 2007-08-29 | 2012-12-26 | ダイハツ工業株式会社 | 物体認識装置 |
| WO2011040074A1 (ja) | 2009-09-30 | 2011-04-07 | シャープ株式会社 | 画像拡大装置、画像拡大プログラム、及び表示装置 |
| CN102844786A (zh) * | 2010-03-01 | 2012-12-26 | 夏普株式会社 | 图像放大装置、图像放大程序、存储图像放大程序的存储介质和显示装置 |
-
1999
- 1999-06-22 JP JP17499099A patent/JP4081926B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001008027A (ja) | 2001-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3882651B2 (ja) | 画像処理装置およびプログラム | |
| US7876979B2 (en) | Resolution-converting apparatus and method | |
| US7257271B2 (en) | Noise reduction in color digital images using pyramid decomposition | |
| US8275218B2 (en) | Forward and backward image resizing method | |
| EP0874330A2 (en) | Area based interpolation for image enhancement | |
| JP4081926B2 (ja) | 画像拡大装置 | |
| US7548656B2 (en) | Method and apparatus for processing image signals by applying a multi-resolution conversion processing for reducing the image size and applying a dyadic wavelet transform | |
| JPH08294001A (ja) | 画像処理方法および画像処理装置 | |
| JP3999432B2 (ja) | 画像処理方法および装置並びに記録媒体 | |
| US6801339B1 (en) | Image processing method and apparatus | |
| JP3302731B2 (ja) | 画像拡大方法 | |
| EP1164781A1 (en) | Image processing device, image processing method, and recorded medium | |
| JPH10271323A (ja) | 画像処理方法 | |
| Bonanomi et al. | I3D: a new dataset for testing denoising and demosaicing algorithms | |
| JP3759310B2 (ja) | 画像処理装置および画像合成装置 | |
| JP2000312294A (ja) | 画像処理装置 | |
| JP3750776B2 (ja) | 画像の鮮鋭度推定方法および装置 | |
| Velisavljevic | Edge-preservation resolution enhancement with oriented wavelets | |
| JPH0846778A (ja) | 画像拡大方法 | |
| JP4526867B2 (ja) | 電子透かし埋込装置、及び電子透かし読出装置 | |
| JP3765409B2 (ja) | 画像処理方法および装置並びにプログラム | |
| JP4129097B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2005011191A (ja) | 画像拡大方法 | |
| JP2000293684A (ja) | 画像処理方法および装置並びに記録媒体 | |
| JP2003125197A (ja) | 画像処理装置およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060405 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060512 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070911 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071106 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071211 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080204 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110222 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110222 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120222 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |