WO2000056060A1

WO2000056060A1 - Dispositif et procede de traitement d'image, et support enregistre

Info

Publication number: WO2000056060A1
Application number: PCT/JP2000/001586
Authority: WO
Inventors: Tatsumi Watanabe; Yasuhiro Kuwahara; Akio Kojima
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 1999-03-15
Filing date: 2000-03-15
Publication date: 2000-09-21
Also published as: EP1164781A1

Description

明細書画像処理装置、画像処理方法及び記録媒体技術分野

本発明は、スキャナや電子スチルカメラ等で入力された画像データゃィン夕 —ネット等の通信手段を介して伝送される画像データの記憶サイズを低減するとともに、そのデ一夕を鮮明に出力するための画像処理装置及び画像処理方法に関するものである。背景技術

近年、技術の革新に伴い、銀塩フィルムに代わって磁気媒体やメモリ等の記憶媒体に画像を記憶する電子撮像装置が実用に供されるようになった。特に、 CCD (Charge Coupled Devices) 撮像素子を利用して光の濃淡や色彩を読み取り半導体メモリ等に記憶する電子スチルカメラではその手軽さや低価格が引き金となって一般家庭における普及が進んでいる。また CCD 素子の解像度も 1 0 0 万画素から 2 0 0万画素へと高解像化が進みつつある状況である。この場合、 CCD における実効画素数によるが、大体 1 2 8 0画素 X 9 8 0画素程度の解像度能力は持っており、 CCD撮像素子により読み取られた画像データ容量は非常に大きなものとなるため、画像データの圧縮処理は必要であり、この圧縮処理としては、通常、カラー静止画像符号化標準方式（J P EG ; Joint Photogra phic Coding Experts Group ) が採用されている。この J P EGによる圧縮を行う従来の画像処理装置は図 3 9のようなブロック図で表すことができる。

CCD 撮像素子等で構成される画像入力手段 1 0で原画像が読み取られる。この原画像に対して J P EGによる非可逆圧縮が圧縮手段 3 9 0 0で実行される < すなわち、まず DCT (Discrete Cosine Transform ) 変換手段 3 9 0 6で画像に離散コサイン変換を行い周波数領域の信号に変換され、得られた変換係数は量子化手段 3 9 0 7で量子化テーブル 3 9 0 1を用いて量子化される。この量子化された結果は、エントロピ一符号化手段 3 9 0 8においてエントロピ一符号化テーブル 3 9 0 2をもとに符号列に変換され、この符号列が記憶媒体 1 5に記憶される。この処理は原画像全ての圧縮処理が終わるまで行われる。なお、 J P E G圧縮には歪みなく復元することのできる可逆圧縮方式も提案されている。しかし圧縮の割合を示す圧縮率が小さいという理由から、通常は図 3 9のような量子化処理による影響と D C Tによる丸め誤差の影響で、圧縮された画像が伸張しても元の原画像には正確に戻らない非可逆圧縮が用いられる。この非可逆性に関しては上記 2つの要因の内、特に量子化処理の影響が大きい < ところで、電子スチルカメラ等の画像処理装置では、撮影した画像をその場でレビューしたりデ一夕編集するための検索等のために、液晶ディスプレイ等の表示装置を備えていることが一般的である。その際、レビュー用の表示装置の解像度に比べて、前述のように CCD の解像度は高く、記憶媒体 1 5に記憶された圧縮画像データをこれらの表示装置に表示する場合には、この圧縮画像デ —タを伸張した後、解像度変換のために画素の間引き処理が行われる。

まず、図 3 9における伸張手段 3 9 0 3が記憶媒体 1 5に記憶された圧縮画像データの伸張作業を行う。この過程はエントロピー復号化手段 3 9 1 1で量子化された変換係数に戻し、逆量子化手段 3 9 1 0で D C T係数に戻される。そして、この D C T係数に I D C T ( Inverse Di scre t e Cos i ne Trans f orm ) 変換手段 3 9 0 9において逆離散コサイン変換が実行され、元の画像データ空間の値に伸張される。この伸張された画像デ一夕は、図示しないマウス等の入力手段から入力されるユーザからの指示信号に応じて原画像出力手段 3 9 1 2 よりプリン夕ゃ CRT 等に出力される。

一方、画素間引き手段 3 9 0 4では、伸長手段 3 9 0 3で伸張された全画像データから、レビュー表示する縮小表示手段での解像度に応じて画素の間引きが行われ、この間引き画像が縮小画像表示手段 3 9 0 5でレビュー表示されるのである。

ところで 2 0 0万画素の CCD 素子を持つ電子スチルカメラを使って A4程度の原稿を読むことを考えた場合、その焦点距離等により一該には言えないが、 CC D撮像素子の画素数のみから見積もると、上記電子スチルカメラは 1 0 0 (do t/i nch) 程度の解像度能力しかないことがわかる。この解像度は、銀塩フィルムより得られる画像に比して遙に粗く、自然画像におけるエツジ情報や細部の鮮明度の描写に関してはまだ不十分である。このため、

電子スチルカメラで入力された画像を、レーザープリンタ、インクジェットプリン夕等の高解像度のプリン夕に出力する際や、コンピュータに接続する高解像度ディスプレイに表示しデータ編集を行うためには、その低い解像度の画像データを高解像度のデ一夕に変換してやる必要が生じる。また、近年インタ —ネット等の通信手段を介した画像データの配信が盛んになっているが、通信速度や一度に送信できるデータ量の制限の点から、画像データを一度低解像度化して配信されることが多い。そのため、配信された画像データを受信側で表示すると細部が非常にぼやけた画像になりやすい。そこで、ユーザより、インターネット等で配信された低解像度画像を精度よく高解像度化する要望が大きくなつている。なお、高解像度変換と画像の拡大は同意義であるため、以下では精度良い画像拡大を行う従来方法について説明する。

従来の画像の拡大方法として大きく分けると、

( 1 ) 単純に画素間を補間する方法

( 2 ) 特開平 2— 7 6 4 7 2あるいは特開平 5— 1 6 7 9 2 0に記載されるように、 F F T (高速フーリエ変換）や D C T等の直交変換を用いて、実空間の画像データを、周波数空間の画像データに変換した後に拡大する方法の 2つを挙げることができる。

先ず、画素間を補間する上記（1 ) の方法を実現するシステムの従来例としては図 4 2に示すようなブロック図を挙げることができる。画像入力手段 1 0 で得られた原画像に対して、各画素間に次の〔数式 1〕に従い画素を線形補間するのである。〔数式 1〕において、 Daは図 4 3の A点の画素デ一夕を、 Dbは B 点の画素データを、 Dcは C 点の画素データを、 Ddは D 点の画素データを表す。 Deが求める補間点 E の画素デ一夕である。

〔数式 1〕

De = (1- μ)χ(1-ν)χΌα + μ (1-ν)χΌΰ

この場合、補間画像は平均化されたものとなりやすくエッジ等が不鮮明になりやすいので、元の原画像より抽出されたエッジ情報を使った補間画素位置や補間データの調整処理が行われることがある。図 42においては、エッジ抽出手段 46 0 0でエッジ情報が抽出された後、エッジ補間手段 4 2 0 1で所望の拡大率に合わせて拡大エッジを求める。そして、この拡大エッジ情報と画素間補間手段 1 1 0 0による原画像の補間拡大画像の結果を掛け合わせることで、所望の拡大画像を生成し推定拡大画像出力手段 5 0 1で出力するようになっている。この他にも、最も近いサンプルの値を補間値とする二ァレストネイバ一法 (nearest neighbor method ) 等の補間方法がある。

しかし、上記の補間方法において、線形補間法は通過帯域の周波数特性が抑制されるために、低域通過フィルタ（ローパスフィル夕； LPF ) をかけたような作用を受けてスム一ジングされ、画像の鮮明さや細部の表現に不足したぼけ画像となりやすいという欠点がある。また、二ァレストネイバ一法は高周波の漏れが多いために歪みを起こしやすく、その歪みがモザィクゃエッジ部のジャギ一として現れる欠点がある。

そこで、上記問題を解決する方法として、上記空間周波数を用いる（2) の方法が提案されている。これらの方法の意図するところは、サンプリング時に失われた高周波成分を復元し、画像の細部情報やエッジ情報を推定し復元することで拡大画像の高画質化を図るものである。

図 40は上記空間周波数を用いる（2) の方法を実現するシステムの従来例を示すブロック図であり、図 4 1は処理工程を模式的に表した図である。まず、図 41 (a) に示すような実空間の原画像（n Xn 画素）を図 40の原画像直交変換手段 1 1により、図 4 1 (b) に示すような周波数空間の画像（n Xn 画素）に直交変換する。この際、この周波数空間の画像デ一夕は n Xn の行列で表され、この周波数変換後の行列は、図面上左上部に行くほど低周波成分となり、また、矢印に沿って右方向及び下方向に行くに従い、高周波成分となる。次に" 0" 成分埋め込み手段 4000において、このように周波数空間の画像に変換された領域を s 倍した領域（図 4 1 (c) に示す snXsnの領域）が用意され、 snXsnの領域における低周波成分の領域部分には、上記直交変換により得られた図 4 1 (b) で示される n Xn の周波数領域をコピーし、残りの高周波成分の領域部分には" 0" が補間される。最後に逆直交変換手段 400 1においてこの snXsnの周波数領域を逆直交変換することにより、図 4 1 (d) に示すように s 倍された実空間の画像データが得られ、図 40の推定拡大画像出力手段 4002で推定された拡大圃像が出力されるのである。

このように高周波成分に" 0" を補間する方法以外に、例えば特開平 6— 5 41 72のように画像データを直交変換を用いて正変換とその逆変換を繰り返す過程（Gerchberg- Papoulis反復による方法）で、高周波成分の復元を行う方法も提案されている。また、特開平 8— 29400 1のように、原画像の直交変換成分を低周波領域に埋め込み、高周波領域は予め準備された予測ルールに基づいて得られる周波数情報を埋める方法も提案されている。

しかし、従来の電子スチルカメラ等の画像処理装置では、 1度圧縮され記憶された画像データをもう 1度伸張してやる必要があり、しかも圧縮方法として量子化処理を伴う非可逆圧縮方法を用いるため、一般に元の原画像には戻ることがなく、ノィズゃ色ずれを多少生じることがあった。

また、レビュー用に表示される縮小画像（以下、サムネイル画像と呼ぶ）生成に必要な解像度変換時における間引き処理により色ずれやモアレを生じてしまうという欠点があり、そのためにメジアンフィル夕や平均値フィルタによる平滑化処理が不可欠であった。ところが上記メジアンフィルタや平均値フィル夕を用いると、サムネイル画像の鮮明さが失われたり、これらの平滑化処理に非常に時間がかかつてしまうというような別の問題点が指摘されていた。さらに電子スチルカメラによる低解像度の画像をプリントしたりディスプレィに表示したりする際に必要とされる従来の画像拡大においては、次のような問題点があった。

先ず、単純に画素間を補間する上記（1 ) の方法の場合には、このような低解像度のデバイスで自然画像を取った場合、その被写体の持つカラ一バランスによっては、得られた原画像からの図 4 2に示すシステムにおけるエッジ抽出が精度良く行われないことが多く、その結果、画素補間された位置やその補間データの調整がうまくできないという問題があった。これを避けるために、できた拡大画像にエツジ強調フィルタによる処理を複数繰り返すことが行われたが、従来のエッジ強調フィル夕処理の場合、適正なフィル夕を選ばないと、その繰り返し回数は非常に大きくなつたり、全くエツジ強調がされない等の欠点があった。

一方、高周波領域に" 0 " を埋め込めて拡大する上記（2 ) の方法の場合には、線形補間法や二アレストネイバ一法のような画素間の補間方法に比べれば良好な拡大画像を得ることができるものの、サンプリング時に削除された高周波成分の復元がされていないため、やはり十分に鮮明な画像が得られないという問題があった。

また、画像を直交変換を用いて正変換と逆変換を繰り返す過程で、高周波成分を復元する方法は、正変換と逆変換を繰り返すために演算処理が多くなり、処理速度において問題がある。直交変換、逆直交変換の演算量は、拡大率 S が大きくない場合にはあまり問題がないが、拡大率 S が大きいと正変換の演算量に対し逆変換の演算量が s x n にほぼ比例して増えることとなる。特に、実際に行われる 2次元ブロックに対する処理においてはその演算量は s X n の 3乗にほぼ比例して増える。特に、カラー画像の拡大ともなると、複数カラー成分に対して拡大処理が必要となり、さらに処理時間がかかる。また、拡大処理の対象となる画像が低解像度の場合には、高周波成分の復元が十分には行われないという問題点があった。

特開平 8— 2 9 4 0 0 1の場合は、これらの問題点を考慮した方法であり、処理時間や高周波成分の復元に工夫がなされている。この方法は、原画像の高周波領域に予め準備された予測ルールに基づいて得られる周波数情報を埋めるものである。従って、予め大多数の画像をもとに高周波数成分とその他の領域との間のルール作りを行うことが必要となり、適切なルールベース作成に手間がかかる上、それが適切なルールとして作成できなければ十分な効果を発揮できない心配がある。

さらに、一般に画像のサイズは任意であり、そして直交変換にかかるサイズが大きくなればなるほど処理時間が長くなる。このため、一般には特定のサイズの画像全体に対して 1度に直交変換を掛けることはせず、 4画素から 1 6画素程度のブロックサイズで直交変換が行われる。その際、出来上がった拡大画像のブロック間の不連続性（ブロック歪み）が境界部分に生じる問題点もあつた。発明の開示

本発明は以上のような事情に鑑みてなされたものであり、画像デー夕の記憶サイズの低減化ができ、且つ、鮮明で高品質な画像拡大が実現可能な、画像処理装置及び画像処理方法を提供することを目的とする。上記の目的を達成するために、本発明では以下の手段を採用している。第 1に、画像データの記憶サイズの低減化のため、図 1に示すように、画像入力手段 1 0より得られる原画像に、原画像直交変換手段 1 1で直交変換を施して原画像周波数成分を生成し、低成分抽出手段 1 0 0で、該原画像周波数成分より、低周波成分を抽出する。次いで、高成分符号化手段 1 3で、上記低周波成分と、上記原画像周波数成分の残りの高周波成分との関連情報を求め、これを符号化するとともに、符号合成手段 1 4で上記低周波成分と上記関連情報とを合成して簡易画像データを生成するようになっている。

上記のように生成された簡易画像データは、低成分復号手段 1 6によって低周波成分を抽出するとともに、高成分復号手段 1 7によって上記関連情報を取り出し、上記低周波成分に基づいて高周波成分を復号し、原画像出力手段 1 8 によって、上記低周波成分と高周波成分を結合して逆直交変換を施して原画像を復元するようになっている。

これによつて、原画像の画像データよりサイズの小さい簡易画像データを扱うことができるとともに、原画像に近い画質の復元画像を得ることができることになる。

上記簡易画像データは直接、パソコン等の画像を復元できる手段に入力して処理をすることも可能であるが、一旦記憶媒体 1 5に記憶させることも可能である。また、上記簡易画像データにおいて、上記低周波成分のデータ量を図 3 に示すように低成分圧縮手段 3 0 0で更に圧縮することも可能である力この場合可逆性を持つた圧縮方法を用いるのが好ましい。

上記低周波成分として、縮小画像生成手段 1 0 1で規定される縮小サイズ (例えばプレビューのサイズ）に応じた周波数を用い、該低周波成分の画像デ一夕に、逆直交変換を行うことで縮小画像を生成することができる。

また、本発明は、特定の画像を所望のサイズに拡大する際に、図 5に示すように不足成分推定手段 5 0 0が、不足する高周波成分を上記画像の周波数成分を基に推定し、拡大画像出力手段 5 0 1によって、上記特定の画像の周波数成分と、上記不足成分推定手段により得られた上記高周波成分を結合し、逆直交変換を施すことで所望のサイズに拡大した画像を出力するようになっている。更に、本発明は図 7に示すように、画像入力手段 1 0より入力される原画像を加工する画像処理装置において、原画像直交変換手段 1 1で、上記画像デー夕に直交変換を施して原画像周波数成分を生成するとともに、該原画像周波数成分より拡大周波数推定手段 8 0 0により、原画像を所望の拡大率に応じて拡大した際の周波数成分を推定する。上記のようにして得られた原画像周波数成分と推定拡大画像の周波数成分に基づいて、基本成分抽出手段 8 0 0が予めサィズを指定された基本画像を復元するのに必要となる周波数成分を基本成分として抽出し、多重画像符号化手段 8 0 2で、上記記基本成分と推定拡大画像の周波数成分との関連情報を求め、これを符号化する。このようにして得られた基本成分と上記関連情報とを多重符号合成手段 8 0 3で合成し、多重簡易画像データを生成するようにする。

これによつて、画像データを符号化する側で複数のサイズに対応する多重簡易画像データを生成することが可能となる。

このようにして生成された多重簡易画像デ—夕より、基本成分と関連情報を抽出し、この両者に基づいて画像を復元できることになる。

上記多重簡易画像データにおいても、上記基本成分のデータ量を圧縮することによって、更に、データサイズを小さくすることができることになる。第 2に、鮮明で高品質な画像拡大を実現するために、図 1 0に示すように、画像入力手段 1 0より入力される画像データを画素間補間手段 1 1 0 0が所望の拡大率に応じて画素間補間する。これにより得られた補間拡大画像はェッジ部分が不鮮明になるが、該補間拡大画像に対して畳み込み手段 1 1 0 1がエツジ部分を強調する畳み込み計算を行うことで、処理時間のかかる周波数変換を経ずに鮮明なェッジを持つ拡大画像を生成する。第 3に、同じく、鮮明で高品質な画像拡大を実現するために、図 1 2に示すように、上記原画像直交変換手段 1 1で得られた原画像の周波数成分に基づいて、拡大周波数推定手段 1 2 O Aが拡大画像の周波数成分を推定する。そして上記拡大周波数推定手段 1 2 O Aで生成された上記周波数成分に、逆直交変換手段 1 2 1 3がその拡大サイズに対応する逆直交変換を施して拡大画像データを得る。

上記拡大周波数推定手段 1 2 O Aにおける上記周波数成分の推定は、線形近似若しくはラジアル基底関数ネットワークを用いて行われる。また、原画像から、高周波成分を多く含むとされているエッジ画像を取り出し、その線形変換により得られた拡大エッジ画像から直交変換を使って、拡大された画像の高周波数成分を推定する方法も採られる。

更に、取り出された上記エッジ画像の周波数成分に基づいて、その拡大エツジ画像の持つ周波数成分を、上記線形近似もしくはラジアル基底関数ネットヮークを使って精度良く推定する方法も採用される。

次に、図 2 3に示すように、上記の直交変換にかかる処理時間を考慮して、プロック分割手段 2 3 0 0が入力画像データを複数のプロックに分割し、拡大ブロック周波数推定手段 2 3 0 2が各ブロック毎に拡大画像ブロックの周波数成分の推定を行うようにする。その際、図 2 4に示すように、隣り合うプロック間に重なりを持たせ、拡大後のプロック画像において重なりのある部分については、後で生成された拡大ブロックを採用することでブロック間の歪みを低減する。

更に、原画像に対して、各ブロック毎に予め設定された変換関数による処理を行い、ブロック分割によるブロック境界での画像の不連続性を低減させる。また、原画像がカラー画像である場合には、図 2 8に示すように、入力されたカラー画像を構成するカラー成分の中から、基準成分選択手段 2 8 0 0が基準とするカラー成分を決定し、その基準カラ一成分に対する拡大画像生成する ₍ そして、残りのカラー成分に対しては、基準カラー成分の拡大画像にカラー原画像から変換比率導出手段 2 8 0 1が導出した変換比率を用いて、不足成分拡大手段 2 8 0 5が線形変換で推定することで、カラー画像データの拡大画像デ一夕生成における処理の効率化を図る。

第 4に、同じく、鮮明で高品質な画像拡大を実現するために、ウェーブレツト変換における多重解像度解析を利用する。

このために、図 2 9に示すように、 n 画素 x m 画素の原画像を拡大処理して

Ln画素 X Lm画素の拡大画像を得る場合に、入力画像調整手段 1 2が上記原画像データを Ln/2画素 X Lm/2画素に補間又は間引き（以下まとめて「調整」という）する。そして、上記入力画像調整手段により調整された画像に画像拡大手段 2 9 O Aがウェーブレツト変換に基づく方法を適用して拡大画像を生成する ₍ 上記の拡大処理は、具体的には、求める拡大画像の画素数に応じて調整された画像と、その垂直方向のエッジ画像、水平方向のエッジ画像、及び斜め方向のエッジ画像を、ウェーブレット変換画像を構成する 4つのサブバンド画像と見なす。そして、このサブバンド画像に対して逆ウェーブレット変換を行うことにより、所望とする画素サイズの拡大画像を求めるものである。

また、上記の拡大処理において、原画像データをウェーブレット変換した変換画像データの、低周波域にある 1 Z 4サイズの縮小画像より得られる 3つのェッジ画像と、変換画像デー夕内の残りの 3つのサブバンド画像間の関連を求める。ここで、その関連情報を使って、求める拡大画像の画素数に応じて調整された画像の垂直方向エッジ画像、水平方向エッジ画像、斜め方向エッジ画像の各々を補正する。

そして、調整された画像と補正された 3つのエツジ画像を上記変換画像デー夕を構成する 4つのサブバンド画像と見なし、このサブバンド画像に対して逆ウェーブレット変換を行うことにより、所望とする画素サイズの拡大画像を求める。更に、上記の拡大処理において、上記変換画像デ一夕の低周波域にある 1 Z 4サイズ縮小画像データより得られる 1つの平均的なエッジ画像デ一夕と、変換画像データ内の残りの 3つのサブバンド画像データ間の関連を求める。ここで、この関連情報を使って、求める拡大画像データの画素数に応じて調整された画像から得られる 1つの平均的なエッジ画像を補正する。

そして、調整された画像デー夕と補正により得られた 3つの画像データを上記変換画像データを構成する 4つのサブバンド画像と見なし逆ウェーブレツト変換を行うことにより、所望とする画素サイズの拡大画像を求める。

また、図 3 7に示すように、拡大処理初期化手段 3 7 0 0が拡大対象画像として原画像を設定し、対象画像拡大手段 3 7 0 1が上記拡大対象画像にゥエーブレツ卜変換に基づく方法を適用することにより、 4倍の画素数を持つ拡大画像を生成する。そして、多重処理判定手段 3 7 0 3がこの対象画像拡大手段 3 7 0 1により得られた拡大画像を拡大対象画像として設定し、対象画像拡大手段に処理を戻す。拡大画像提示手段 3 7 0 2は上記対象画像拡大手段 C 1 3 0 1により得られた拡大画像を視覚的に提示する。更に、画像微調整手段 3 7 0 4が上記拡大画像提示手段 3 7 0 2により提示された拡大画像に対し、拡大処理または縮小処理を行う。

これは具体的には、拡大したい画像サイズが取り合えず不明の場合に上記のウエーブレツト変換を用いた拡大方式を適用したものであり、逆ウエーブレツト変換で得られた拡大画像を次の対象画像として、順次逆ウェーブレット変換を行うことにより 4倍の画素数を持つ画像への拡大処理を繰り返す。そして、視覚的に所望の拡大率になつた時点で作業を止めることで、入力された原画像の拡大作業を行うものである。

また、原画像がカラー画像の場合には、上記ウェーブレット変換を用いた拡大方式においても、上記カラー画像を構成するカラ一成分の中、基本とする力ラー成分を決定し、その基本カラー成分に対する拡大画像を生成する。そして残りのカラー成分は、基本カラー成分の拡大画像に変換比率による線形変換を行った推定により求めることで、カラー画像の拡大画像生成における処理を効率化する。

図面の簡単な説明'

図 1は、本発明の第 1、第 2及び第 3の実施の形態の構成を示すブロック図である。

図 2は、本発明の第 1の実施の形態の処理工程を表す模式図である。

図 3は、本発明の第 4の実施の形態である画像処理装置を含む概略構成図である。

図 4は、本発明の第 4の実施の形態に使用する空間予測圧縮の手順を示す模式図である。

図 5は、本発明の第 5の実施の形態である画像処理装置を含む概略構成図である。

図 6は、本発明の第 5の実施の形態に使用する不足成分推定手段の手順の模式図

図 7は、本発明の第 6、第 7及び第 8の実施の形態の構成を表すブロック図である。

図 8は、本発明の第 6の実施の形態に使用する基本成分抽出手段と多重符号化手段の処理工程を表す模式図である。

図 9は、本発明の第 9の実施の形態である画像処理装置を含む概略構成図である。

図 1 0は、本発明の第 1 0の実施の形態の構成を表すブロック図である。図 1 1は本発明の第 1 0の実施の形態である画像処理装置の処理工程を表す模式図である。

図 1 2は、本発明の実施例 1 1の画像処理装置の構成を表すプロック図である。図 1 3は、本発明の実施例 1 1の画像処理装置の処理の工程を模式的に表す図である。

図 1 4は、ラジアル基底関数ネットワークの概略図である。

図 1 5は、本発明の実施例 1 1の画像処理装置での原画像と拡大画像の間の関連を模式的に表す図である。

図 1 6は、本発明の実施例 1 2の画像処理装置の構成を表すブロック図である。

図 1 7は、本発明の実施例 1 2の画像処理装置の処理工程を模式的に表す図である。

図 1 8は、ラプラシアンフィル夕の例を表す図である。

図 1 9は、本発明の実施例 1 3の画像処理装置の構成を表すブロック図である。

図 2 0は、本発明の実施例 1 3の画像処理装置の処理工程を模式的に表す図である。

図 2 1は、本発明の実施例 1 3の画像処理装置のエッジ周波数推定手段で線形近似を用いた場合の処理を模式的に表す図である。

図 2 2は、拡大されたブロック間の歪みを模式的に表す図である。

図 2 3は、本発明の実施例 1 4の画像処理装置の構成を表すブロック図である。

図 2 4は、本発明の実施例 1 4の画像処理装置の処理工程を表す図である。図 2 5は、本発明の実施例 1 5の画像処理装置の構成を表すブロック図である。

図 2 6は、本発明の実施例 1 5の画像処理装置の処理工程を説明する図である。

図 2 7は、本発明の実施例 1 5の画像処理装置のブロック内デ一夕変換手段での処理を表す図である。図 2 8は、本発明の実施例 1 6の画像処理装置の構成を表すブロック図である。

図 2 9は、本発明の実施例 1 7の画像処理装置の構成を表すブロック図である。

図 3 0は、ウエーブレット変換におけるフィルタ処理過程を表す図である。図 3 1は、変換画像におけるサブバンド成分を模式的に説明する図である。図 3 2は、変換画像における不足サブバンド成分の推定を模式的に表す図である。

図 3 3は、垂直方向、水平方向、斜め方向エッジ検出に適用されるフィルタの一例である。

図 3 4は、本発明の実施例 1 8の画像処理装置を構成する画像拡大手段の構成を表すブロック図である。

図 3 5は、変換画像における不足サブバンド成分の推定と補正を模式的に表す図である。

図 3 6は、本発明の実施例 1 9の画像処理装置を構成する画像拡大手段の構成を表すブロック図である。

図 3 7は、本発明の実施例 2 0の画像処理装置の構成を表すプロック図である。

図 3 8は、本発明の実施例 2 1の画像処理装置の構成を表すブロック図である。

図 3 9は、従来の電子スチルカメラの構成を表すブロック図である。

図 4 0は、従来の周波数領域に変換して拡大する画像拡大装置の構成を表すブロック図である。

図 4 1は、従来の周波数領域に変換して拡大する例を示す説明図である。図 4 2は、従来の画素補間により拡大する画像拡大装置の構成を表すブロック図である。図 43は、従来の画素間補間を表す模式図である。発明を実施するための最良の形態

(実施例 1 )

以下、本発明の実施例について図面を参照しながら説明する。

なお、これ以降で、座標値の単位は全て画素間の距離単位と同じとする。また、以下において、原画像がスキャナーや電子スチルカメラ等により取り込まれた画像である場合を例として説明するが、必ずしもその必要はなく、磁気デイスク等に保持されている特定の画像等、あるいはィン夕ーネット等の通信手段を介して伝送される画像等であってもよい。

まず、本発明の実施例 1の画像処理装置について説明する。

図 1において、 CCD 撮像素子などの画像入力手段 1 0で得られた N 画素 XN 画素のサイズを持つ原画像は、原画像直交変換手段 1 1で周波数空間における成分データ（周波数成分データ）に変換される。この際、直交変換が使用され、その変換方式としては、アダマール変換や高速フーリエ変換（FFT; Fast Fouri er Transform) 、離散コサイン変換（DCT; Discrete Cosine Transform), スラント変換、ハール変換等が挙げられるが、ここでは、 DCTを使用することとする。しかし、本発明はこの変換方式に限ったものではなく、他の直交変換を使用した場合にも成立するものである。

更に、ここで用いるのは DCTの内、特に画像を扱うため 2次元 DCTになるが、その変換式は〔数式 2〕のようになる。

〔数式 2〕 F{u,v) = 2c u)c(y)/ ^jK—x K _y

K K

x Σ Σ !J) ( ， y) cos((2 + 1)UJC/2K― x ) cos((2y + \)νπ/2Κ _y )]

{0≤u≤K_x-l 0≤v≤K_y-l }

c(K) =1 (K≠0)

ここで、 F(u, v)が成分位置（u, v) における DCT成分であり、 DOc. y)は画素位置（x, y) における画像データを表す。また、は K一 X は X 方向の画素数を、 K— y は y 方向の画素数を表すが、ここでは N XN の正方形画像を対象としているので、 K— X = K— y = N となる。

低成分抽出手段 1 00では、図 2 (b) に示すように原画像の周波数成分デ一夕の低周波成分を抽出する。

高成分符号化手段 1 3では、図 2 (b) の原画像の周波数成分から低周波成分（c) の分を除いたときに残る、高周波成分領域（e) の符号化を行う。ここでは、図 2 (e) に示すように例えば、上記低周波成分の領域を HIから H5の小ブロックに分割する。同様に図 2 (f ) に示すように、低周波成分（c) の領域も L1から L4のブロックに分割する。そして、上記高周波成分（e) の各ブロック HIから H5の各ブロック内の周波数成分と低周波成分 ( f ) の各ブロック L1から L4とを相互に関連づけるようにする。例えば、〔数式 3〕のようにある定数係数を乗算した 1次式の形でも良いし、各ブロック L1から L4の周波数成分を変数に持つある多次元関数（LI, L2, L3, L4) で各ブロック HIから H5内の周波数成分を近似しても良い。

〔数式 3〕 Hl = a - L2

H2 = L4

H3 = /3 - L3

H4 = L3

H5 = y - L2

また、各ブロック内においても ^律の係数を持たせる必要はなく、各ブロック Η1から Η5に対し係数マトリックス M _C 1から M— C5を用意し、それと L 1から L4 のブロック内の周波数デ一夕より構成され低周波成分マトリックス M—Uから M _L4を使って Η1から Η5のプロック内の周波数データより構成され高周波成分マトリックス M — Η1から M—Η5を表現することも考えられる。いずれの手段でも、図 2 ( c ) の低周波成分データを使って、画像の鮮明さやエッジ情報を表す残りの図 2 ( e ) の高周波成分を精度良くかつルール化することで、高周波成分のデータ容量を削減できる。

符号化記憶手段 1 4は、高成分符号化手段 1 3で得られたルール記述、もしくは該高成分符号化手段 1 3で用いた近似式の係数等のデータより得られる、上記低周波成分と高周波成分の関連情報の符号列と、低周波成分抽出手段 1 0 0より得られる原画像の低周波成分デ一夕を合成し、簡易画像データとして記憶媒体 1 5に記憶する処理を行う。なお、次に読み出して復元する処理のために、記憶媒体 1 5内にテーブルを設け、記憶した画像データ数、各画像データのサイズ、記憶された各データにおける低周波成分デ一夕の占める割合や高周波成分を表す符号の占める割合等の情報を記述することで、各データの抽出が効率的になる。

(実施例 2 )

次に、本発明の実施例 2の画像処理装置について説明する。

図 1において、画像入力手段 1 0及び原画像直交変換手段 1 1の行う処理は実施例 1の画像処理装置と同様なので説明を省略する。低成分抽出手段 1 0 0 は、サムネイル画像を表示する縮小画像表示手段 1 0 2の画素数に応じた低周波成分を抽出し、縮小画像生成手段 1 0 1で該低周波成分に逆直交変換を施し，サムネイル画像を上記縮小画像表示手段に表示する。

(実施例 3 )

次に、本発明の実施例 3の画像処理装置について説明する。

図 1において、ユーザは本発明の実施例 1の画像処理装置により記憶媒体 1 5に記憶された簡易画像データの中から、高解像度のレーザプリンタゃィンクジェットプリン夕へ出力したり、 CRT 上で編集を行う所望の画像を取り出すために、図示しないキーボード、マウス等の入力手段より指示信号を与える。この指示信号をもとに、まず低成分復号手段 1 6が記憶媒体 1 5より、中心となる低周波成分を取り出す。そして、高成分復号手段 1 7が該低成分復号手段 1 6で得られた低周波成分と、記憶媒体 1 5内の該低周波成分と高周波成分との関連情報より高周波成分を復号する。そして、原画像出力手段 1 8力この低周波成分データと高周波成分デ一夕を結合し、対応する画像サイズの逆直交変換を行うことで、 CRT への表示やプリンタへの出力等、他の画像処理装置で扱われるデータとして出力する。

記憶媒体 1 5に記憶されている画像データは、符号化するときに量子化処理を受けていないために、以上の方法により従来より鮮明な原画像を得ることができる。

(実施例 4 )

次に、本発明の実施例 4の画像処理装置について説明する。

図 3において、原画像直交変換手段 1 1、低成分抽出手段 1 0 0、高成分符号化手段 1 3、符号合成手段 1 4及び記憶媒体 1 5の行う処理は実施例 1の画像処理装置と同様なので説明を省略する。低成分抽出手段 1 00で得られた原画像の低周波数成分データの容量がそれ自身大きなサイズを占めることや、記憶媒体の容量サイズによる制限等を考慮して該低周波成分データを低成分圧縮手段 300により圧縮する。

上記低成分圧縮手段 300の処理方式としては、 J PEGにおける空間的予測（Spatial) 方式と呼ばれる、通常の DC Tと量子化、エントロピ一符号化を用いた圧縮処理（ベースライン方式とも呼ぶ）に代わって、差分符号化（Diff erential PCM； DPCM) とエントロピー符号化を使用したものであり、圧縮、伸張によってひずみが生じない可逆方式を用いるのが好ましい。

この方式では、隣接する濃度値を用いて予測器によって予測値を計算し、符号化する濃度値からその予測値を減ずるものであり、この予測器には〔数式 4〕に示すように、例えば 7種類の関係式が用意されている。

〔数式 4〕 dDx = D1

dDx = D2

dDx = D3

dDx = D3 + (D2-Dl)

dDx = D3 + (D2-Dl)/2

dDx = D2 + (D3-Dl)/2

dDx = (D2 + D3)/2

図 4 (a) に示すように、符号化すべき濃度値を Dxとし、それに隣接する 3つの濃度値を Dl, D2, D3とする。このとき、これら 3つの濃度値より計算される予測値 dDx は、〔数式 4〕で定義され、いずれの式を使つたかは圧縮された画像デ一夕のヘッダー情報に記載される。符号化処理では図 4 (b) に示すように、 1つの予測式が選択され、 Exが計算され、この Exをエントロピ一符号化する。このような予測誤差の符号化により、上記低周波成分を可逆的に圧縮することが可能となる。

低成分圧縮手段 3 0 0により圧縮された上記低周波成分データを基に、高成分符号化手段 1 3は残りの高周波成分を第一の実施例と同様に〔数式 3〕に示すような方法などでルール化する。

符号合成手段 1 4は圧縮された上記低周波成分データと、高成分符号化手段 1 3で得られたルール記述、もしくは該高成分符号化手段 1 3で用いた近似式の係数等のデータより得られる、上記低周波成分と高周波成分の関連情報の符号列とを合成し、簡易画像データとして記憶媒体 1 5に記憶する処理を行う。本実施例のようにすることで、第 1の装置のデータ容量で最もサイズ的に大きな部分を占めると思われる低周波成分を 1 Z 2から 1 Z 4のデ一夕量に圧縮することが可能となる。また、この圧縮に可逆な方法を用いることで原画像の持つ周波数成分を損なうことなく記憶することが可能となる。

なお、ここでは上記低周波成分データは画像の細部の鮮明さを表す高周波成分を復元するための基準画像であることから、できるだけ鮮明でエツジの明瞭な画像出力を実現するために原画像の低周波数成分に可逆な圧縮方法を適用したが、ここに通常の J P E Gのベースライン方式を適用することも可能である _t この場合は非可逆圧縮であるので画像の鮮明さは失われるが、データ量はおよそ 1ノ1 0から 1 / 2 0に圧縮されるので、記憶メディアにおいて保持される読み取り画像容量をできるだけ小さくして多くの画像データを記憶したりするような場合に取り得る方法である。

また本実施例及び上記実施例 1の画像処理装置における高成分符号化手段 1 3により得られる低周波成分と高周波成分の関連情報、並びに、後述する実施例 6及び実施例 9の画像処理装置における多重符号化手段 8 0 2により得られる基本成分と各拡大画像の高周波成分の関連情報についても、上記 Spat i a l 方式等の可逆の圧縮方式で圧縮することが可能である。 (実施例 5 )

次に本発明の実施例 5の画像処理装置について説明する。

図 5において、記憶媒体 1 5、低成分復号手段 1 6及び高成分復号手段 1 7 までの処理は、上記実施例 3と同様なので説明を省略する。

不足成分推定手段 500は、読み取られた原画像を高解像度の CRT 等に表示する場合において、所望の画素サイズに拡大した際に不足する高周波成分データを推定する機能を備える。拡大画像出力手段 50 1は不足成分推定手段 50 0で推定された上記不足高周波成分と、低成分復号手段 1 6及び高成分復号手段 1 7で記憶媒体 1 5に収納された符号化された画像データより復号された原画像の周波数成分を結合し、拡大サイズに対応する逆直交変換手段を行うことで読み取られた原画像の拡大画像を生成する。

不足成分推定手段 500及び拡大画像出力手段 50 1では、図 6に示すように処理が行われる。まず図 6 (a) に示す N画素 XN画素のサイズを持つ原画像を直交変換して得られる図 6 (b) に示すようなの周波数成分データを、所望の拡大サイズ（sN 画素 XsN画素）に対応する係数サイズを持つ拡大画像の周波数成分の低域に埋め込む（図 6 (c) ) 。そして、この際に生じる不足成分 HI からを図 6 (b) に示す原画像の周波数成分より推定するのである。その推定方法には、例えば、

(1) ラジアル基底関数ネットワーク（Radial Base Function Network; RBF N) の非線形近似能力を適用する方法

(2) 原画像のエッジ画像の周波数成分より、その拡大エッジ画像の持つ周波数成分を線形近似もしくはラジアル基底関数ネットワークを使つて精度良く推定することで、原画像で削除されていた拡大画像の高周波成分を推定する方法

(3) 特開平 8— 29400 1のように、原画像の直交変換成分を低周波領域に埋め込み、高周波領域は予め準備された予測ルールに基づいて得られる周波数情報を埋める方法 ( 4 ) 特開平 6— 5 4 1 7 2のように画像信号を直交変換を用いて正変換とその逆変換を繰り返す過程（Gerchberg- Papou l i s反復による方法）で、高周波成分の復元を行う方法

等が挙げられる（（1 ) 、（2 ) については後述する）。

これ以外にも多くの周波数領域を使つた画像拡大手法があるが、この不足成分推定手段 5 0 0では、拡大時に細部が鮮明でエッジが明瞭な画像の生成に必要な高周波成分を精度良く推定する手法が求められるのであり、その要望を満たす手法であれば同様に成立するものである。

そして、拡大画像出力手段 5 0 1では図 6 ( d ) に示すように sN X sNの係数サイズに対応する逆直交変換を行うことで、不足成分推定手段 5 0 0で推定された拡大画像の周波数成分を実空間デ一夕に戻し、 CRT 等に表示したり、プリン夕等の出力装置に渡したり、他の画像処理装置で扱われるデータとして出力する。

以上のような構成により、原画像の周波数成分を使って拡大画像出力時に必要とされる高周波成分データを推定し、補うことで、従来の画素補間による拡大時に発生するエッジのボケや細部の不鮮明さを解消することができる。

(実施例 6 )

次に本発明の実施例 6の画像処理装置について、図 7及び図 8を参照しながら説明する。

図 7において、画像入力手段 9及び原画像直交変換手段 1 1の行う処理は、本発明の第 1の実施形態と同様なので説明を省略する。まず原画像直交変換手段 1 1で得られた原画像の周波数成分を使い、拡大周波数推定手段 8 0 0では複数の画像サイズに拡大した際の周波数成分データが推定される。この推定方式は、本発明の実施例 5の画像処理装置の構成要素の 1つである図 5の不足成分推定手段 5 0 0と同様の手法を取ることができる。次に基本成分の抽出処理が基本成分抽出手段 8 0 7で行われる。この処理を模式的に表したものが図 8である。図 8 (a) は原画像の周波数成分、図 8 (b) は原画像サイズを縦に 2倍、横に 2倍に拡大した画像の周波数成分、図 8 (c) は原画像サイズを縦に 3倍、横に 3倍に拡大した画像の周波数成分を示している。なお、さらに多くの画像サイズを用意しても良いし、その際に用意される画像サイズも整数倍である必要はない。図 8 (a) 、（b) 、 (c) において、低域の周波数成分は画像の全体的特徴を表すものであり、各倍率に共通な定性的な傾向にある。そこでこの似た傾向のある低域の周波数成分 L00 を図 8 (d) に示すように基本成分と考える。なお、処理の簡単化のために図 8 (a) に示す原画像の周波数データを基本成分と見なしても構わない。図 7における多重符号化手段 8 0 2は、本発明の第 1及び実施例 4の画像処理装置における高成分符号化手段 1 3と同様に、該基本成分 L00と図 8 (b) に示す各ブロック mi から H13 とを関連付け、ルール化する（図 8 (e- 1)) 。図 8 (c) に示す各ブロック H21 から H25 についても、同様に該基本成分 L00 と直接関連付けることも可能であるが、ここでは図 8 (e-2) に示すように、図 8 (b) の各ブロック H11 から H13 と図 8 (c ) の各ブロック H21 から H25 を関連付けることで、該基本成分（低域の周波数成分） L00と図 8 (c) の各ブロック H21 から H25 を関連付け、ルール化する。これは周波数領域の近いブ口ック同士の方が定性的な相違が少ないため、関連付けの精度やその手間を減少させることができるからである。

多重符号合成手段 803は本発明の第 1及び実施例 4における符号合成手段 1 4と同様に、抽出された上記基本成分と、多重符号化手段 8 0 2で得られた該基本成分と各拡大周波数成分との関連情報を合成し、多重簡易画像データとして記憶媒体 1 5への記憶処理を行う。この際、多重に用意した拡大画像の個数や各サイズのデータの始まりのフラグ信号等を明確に上記多重簡易画像デー夕のヘッダ等に記述する必要がある。以上のように、予め出力装置の解像度に合わせて複数の画像サイズに応じた拡大周波数成分を用意しておくことで、記憶媒体から読み出されたデ一夕を基に所望の拡大サイズの画像を出力する際に不足する、高周波数成分の推定にかかる時間を短縮することができ、ユーザィンターフェースの改善になる。

(実施例 7 )

次に本発明の実施例 7の画像処理装置について説明する。

図 7において、画像入力手段 1 0、原画像直交変換手段 1 1、拡大周波数推定手段 8 0 0及び基本成分抽出手段 8 0 7の行う処理は、本発明の実施例 6の画像処理装置と同様なので説明を省略する。

基本画像生成手段 8 0 8は基本成分抽出手段 8 0 7により抽出された基本成分に逆直交変換を施し、サムネイル画像を基本画像表示手段 8 0 9に表示するが、ここで、基本成分抽出手段 8 0 7で抽出された周波数の周波数空間におけるサイズ（係数サイズ）がレビュー用のディスプレイの画像サイズより大きい場合、さらに基本成分の低域よりその解像度に合わせた周波数成分が抽出され表示用の基本画像が生成される。逆に基本成分抽出手段で抽出された周波数の係数サイズがレビュー用のディスプレイより画像サイズょり小さい場合には、基本成分の係数で不足する部分に図 4 1に示すような" 0 " 成分埋め込みを行つてサムネイル画像を生成することとする。しかし、このような場合には、拡大周波数推定手段 8 0 0のようにその画像サイズに応じて、不足分を推定してレビュー用画像サイズに拡大する処理を、該基本画像生成手段 8 0 8に加えることも可能である。

(実施例 8 )

次に本発明の実施例 8の画像処理装置について説明する。

図 7において、ユーザは本発明の実施例 6の画像処理装置により記憶媒体 1 5に記憶された画像データの中から、出力編集対象の画像を選択するとともに、対象とする画像サイズを指定することができる。この際、記憶媒体 1 5に記憶された画像サイズに応じた選択情報が提示されるか、もしくはユーザにより、原画像サイズを基準とした拡大率が入力されるか、また出力される機器の持つ解像度に合わせて自動的に選択する等の手法が考えられる。

先ず、記憶媒体 1 5に記憶された画像サイズに応じた選択情報が提示される場合の処理を説明する。ユーザは、所望の画像と所望の画像サイズを、マウス等の図示しない入力手段により選択指示し、記憶媒体 1 5から基本成分復号手段 8 0 4はこの指示に対応した多重周波数データから該画像の基本成分を取り出す。次に対象周波数復号手段 8 0 5が選択された該画像サイズに相当する高周波成分データの表現符号列を取り出し、該符号列と該基本成分から、対象とする拡大画像サイズの該基本成分以外の高周波成分を復号する。対象画像出力手段 8 0 6では該高周波成分と該基本成分を結合し、逆直交変換を施して、所望の拡大画像を出力する。

次に、原画像サイズを基準とした拡大率が入力されるか、また出力される機器の持つ解像度に合わせて自動的に選択する場合の処理を説明する。記憶メディァ 1 5に多重的に保持されていない画像サイズの場合には拡大後のサイズに最も近いサイズの画像デ-タが選択され、基本成分復号手段 8 0 4、対象周波数復号手段 8 0 5及び対象画像出力手段 8 0 6への処理へ移る。この際、対象画像出力手段 8 0 6における逆直交変換時には、上記の拡大後のサイズに最も近い画像サイズに対応した逆直交変換処理が取られるものとする。

しかし、この段階で、選択される画像サイズを所望の画像サイズより小さめに選び、不足した分を実施例 5における不足成分推定手段 5 0 0を加えることも可能である。

以上のように、複数の拡大サイズの周波数成分の共通と見なせる低周波成分を基本成分として抽出し、この基本成分を中心として各拡大サイズの残りの高周波成分を符号化することで、複数の拡大サイズに関する画像の周波数データを用意することができる。そのため、ユーザの指示により目的とした画像サイズの拡大画像の再生時には、指示のたびに所望の拡大サイズに不足する高周波成分を推定することなく高速に拡大画像を再現することができる。

(実施例 9 )

次に本発明の実施例 9の画像処理装置について説明する。

図 9において、画像入力手段 1 0、原画像直交変換手段 1 1、拡大周波数推定手段 8 0 0及び基本成分抽出手段 8 0 7までの処理は、本発明の実施例 6の画像処理装置のものと同様であるので、説明を省略する。

基本成分圧縮手段 1 0 0 0では、基本成分抽出手段 8 0 7により抽出された基本成分を圧縮処理するが、該圧縮処理の工程は本発明の実施例 4の画像処理装置における低成分圧縮手段 3 0 0と同様であるので、説明を省略する。また、基本成分圧縮手段 1 0 0 0に続く多重符号化手段 8 0 2、多重符号合成手段 8 0 3及び記憶媒体 1 5における処理は、本発明の実施例 6の画像処理装置のものと同様であるので、説明を省略する。

以上のような構成により、複数の画像サイズを保持する際の問題点である画像データ容量の低減化を図ることができる。

(実施例 1 0 )

次に本発明の実施例 1 0の画像処理装置について説明する。図 1 0はその構成を表すブロック図である。

まず画像入力手段 1 0で読み取られた原画像に図 4 3に示すような補間方式で画素間を補間することで、画素間補間手段 1 1 0 0が拡大画像を生成する。次に該拡大画像に対して畳み込み手段 1 1 0 1が畳み込み処理を繰り返すことにより画素強調を行う。図 1 1は上記畳み込み処理の工程を表す。図 1 1 ( b ) に示すようにエッジが不明瞭な画像の場合、エッジについての画像デ—夕が抽出できず、図 4 2に示すような処理工程で画像の拡大処理を行うことは困難である。しかし、本発明のようにすることで平均化された濃度値を簡単に強調することができる。なお、畳み込み手段 1 1 0 1の処理は、拡大画像にエッジ強調フィル夕による処理を複数回繰り返すことと同じような効果を持つものである。従来のエッジ強調フィルタ処理の場合、適正なフィル夕を選ばないと、その繰り返し回数は非常に大きくなつたり、全くエッジ強調がされない等の問題があるが、畳み込み手段 1 1 0 1では濃度値自身による畳み込みを行うため、その心配もない。図 1 1 ( c ) の P点における K 回目の畳み込み処理をする際の濃度値を Dp [K] とすると、その K+ 1 回目の畳み込み処理による P点の濃度値 Dp [K+ l] は〔数式 5〕のように定義する。これは、この画素近傍における畳み込み値の平均値を求めるものである。ここで、 Ωは畳み込み対象画素の範囲を、 U— Gasoはその Ω内の総画素数を、 qは Ω内の任意画素を表す。

〔数式 5〕

Dp[k +1] = (J (Dp[k] x Dq[k])Y U— Gaso

この処理を拡大補間画像に含まれる画素の集合を Λ (図 1 1 ( c ) の星形全体）とした場合、この Λ内の画素全部に処理が行われる。

次に収束判定手段 1 1 0 2では、この畳み込みによる処理の収束判定が行われる。それは〔数式 6〕のように（K- 1) 回目で得られた濃度値 Dp [K-l] と K 回目の濃度値 Dp [K] の 2乗誤差の Λ内の平均値をもとにそれが、予め用意された収束判定値 Thred より小さい場合に、収束したとして畳み込み処理を終え、推定拡大画像出力手段 1 3 1 2で推定拡大画像として出力されるのである。〔数式 6〕 Thred≥ ( ^ (Dp[k] - Dp[k - 1])²)/T _ Gaso

〔数式 6〕で T— Gasoは Λ内の総画素数を表す。

以上のように本実施例の画像処理装置は、補間画像データの畳み込み演算処理により拡大画像の強調をするものであり、処理時間のかかる周波数変換を行う必要がなく、手軽に拡大画像を実現できる。また、補間画像のボケ解消に元の画像のエッジ情報が使用する際に問題となるエッジが不明瞭な原画像に対しても、簡単にエツジ情報を持つ拡大画像を得ることができる。

(実施例 1 1 )

図 1 2に実施例 1 1による画像処理装置の構成を表す。

拡大周波数推定手段 1 2 0 Aの近似係数導出手段 1 2 0 0は、画像入力手段 1 0により本装置に入力された n 画素 x n 画素の原画像データを使って、拡大画像の周波数成分データの推定に使用される非線形補間方式に使用される近似係数べクトル（重み係数べクトル） Vw= ( w _0, w _1 , . . . , w — N - 1 ) (N = n X n ) を後述する方法により導出する。拡大周波数推定手段 1 2 O Aの非線形推定手段 1 2 0 1は近似係数導出手段 1 2 0 0で得られた重み係数べクトル Vwと原画像直交変換手段 1 1で得られた原画像の周波数成分データを使って、後述するように拡大後の画像の周波数成分デ一夕をラジアル基底関数ネットヮークを使って推定する。

以下、この画像処理装置の動作について説明する。

画像入力手段 1 0において、拡大すべき n 画素 X n 画素のサイズを持つ原画像データの読み取りが行われる。この画像入力手段 1 0で得られた原画像は、原画像直交変換手段 1 1で周波数空間における成分データ（周波数成分デー夕）に変換される迄は上記実施例 1と同様であるので、説明を省略する。拡大周波数推定手段 1 2 O Aでは、図 1 3に示すように、この画像入力手段

1 0からの原画像の濃度データ D(x, y) (x, y=0 n- 1) (図 1 3 (a) ) と原画像直交変換手段 1 1からの周波数成分データ F(u, v) (u, v=0 π-l) (図

1 3 (b) ) をもとに、 n Xn の原画像を m Xm の拡大画像に拡大した際（n く m=sXn )の、拡大画像の周波数成分データ F' (u, V) (u, v=0, ... , m-1) (図 1 3 (c) ) の推定を行う。ここで上記の推定は、後述するラジアル基底関数ネットワーク（Radial Base Function Network: 以下" RBFN"と略す）を使用して行われる。

一般に、 2次元 DC T成分値とその成分位置（u. V) の間は線形ではなく非線形な関係が成立する。そのため、この非線形関係を精度良く関数近似することのできる手法が、鮮明でエッジのぼけのない画像拡大には必要とされる。このような手法として、予め用意された学習データに基づいて学習された階層型二ユーラルネットワークによる手法や、予め用意された学習データから抽出されたルールベースを使用したフアジィ推論の手法等が挙げられる。しかし、これらは予め学習用に多くの画像データを用意することが精度良い推定に不可欠である。

一方、これらに対して、学習デ一夕なしで入力データの特徴を使って自己組織的に近似関数を獲得することのできる手法がある。これの例として、カオス的に変動する時系列パターンの短期予測を行う手法があり、ここで使用するラジアル基底関数ネットワークもその 1種と考えられる。ここでは、与えられた画像の周波数成分とその対応する位置から、周波数成分の描く面を RBFNにより非線形関数近似するのである。

図 1 4はここで使用する RBFNのモデル構成であり、これには求める成分位置べクトル VP=(u, V)が入力として与えられ、中間層でのラジアル基底関数（RBF) φでの変換を介して、出力層で 1つに統合され、出力周波数成分 Fout = F' (u, v) が出力される。これを〔数 7〕に示すが、ここで、 VP— i = (u— i, v .i)は i 番目の RBF 関数の中心を表し、 N は設定された RBF 関数の個数を表す。〔数式 7〕

{0≤u≤m-l,0≤v≤m-l} 例えば、図 1 5のように原画像の周波数データ P を中心として拡大する場合には、 VP— i は原画像の周波数成分の位置ベクトルに相当し、 RBF 関数の個数 N は原画像の画素数分 n Xn に相当する。つまり、原画像の画素の分だけ RBF 関数が用意され、 RBF 関数の中心である P の成分位置ベクトル VP— i の周囲に配置された拡大後の周波数成分データは、これらの RBF 関数出力の重なりとして推定されるのである。なお、 RBF φは出力 Fout=F' (u, V)が成分位置ベクトル VPと、 i 番目の RBF 関数の中心である VP— i の間の距離 II VP -VP_i IIに依存して変化する関数であり、〔数式 8〕のようなものが例として挙げられる。〔数式 8〕

0(|| P - VP = ψΡ - Ρ」·『+】） log(| P - VP (a) φ{ψΡ - VP = exp( -ψΡ - VP _if/b) (b) ここで（a) はロジスティック関数であり、 b は関数の傾きを制御するパラメ一夕である。また、（b) はガウス関数であり、 k も b と同様に形状を表すパラ ^一夕である。これ以外にも多くのものが考えられるが、通常（b) が用いられることからここでも（b) を用いることとし、 b=i. O とする。

重み係数べクトル Vw=(w _0, w— 1 w— N-1)^T(T:転置）の決定は次のように行われる。

〔数式 8〕における非線形近似を最適にするためには、 VP=VP — i において周波数成分の推定値が元の画像から得られた周波数成分値とできるだけ一致するように重み係数ベクトル Vwを決定してやればよい。ここでは、図 1 5のように、拡大後の周波数領域の Ρ'— i は原画像の周波数領域における P —i に対応する。そこで、 P _i の周波数成分位置を（a— i, b— i)として、 P _i における周波数成分 F(a— i, b— i)と!¹' __i における推定周波数成分 F' (u— i, v _i) の 2乗誤差関数 E(Vw) を最小とする Vwを最適な重み係数べクトルとすれば良いこととなる。

まず（u, V) における推定成分 F' (u, V) を低域から並べ、原画像の周波数成分位置（a— i, b _i)に対応する k 番目の推定成分を FF(k) とする。次に推定拡大画像の周波数成分ベクトル Vyと RBF 関数より成る行列 MPを〔数式 9〕のように定義する。

〔数式 9〕

Vy = (FF(0),FF(l ··..·. , (N-1))' MP^[MPJj]

これにより〔数式 10〕のように表すことができる,

〔数式 10〕 Vy=MP-Vw すると、評価関数である 2乗誤差関数 E(Vw) は〔数式 1 1〕のようになる。〔数式 1 1〕でベクトル Vfは原画像の周波数成分 F(a, b) を低域から順番に N= n Xn 個並べたものであり、原画像が予め与えられれば決まるベクトルである, 〔数式 1 1〕

= (Vf -MP-Vwf ■ (Vf - MP · Vw)

Vf = ( (0,0), (0,1),…-. ,F(N -1,N -l))^r そこで 3E(Vw)/5 (Vw)=0に注目して整理すると Vwは [数式 1 2〕のようになる。

〔数式 1 2〕

Vw = (MP^T · ΜΡΥ'ΜΡ · Vf

これを使って近似重み係数 Vwの計算を近似係数導出手段 1 200が行う。非線形推定手段 1 20 1では、上記重み係数 Vwを使って、〔数式 7〕より（u, v) における DCT成分 F' (u, V) を推定する。

なお、〔数式 8〕で（b) を用いた場合、 k の値の設定として、予め用意された多くの画像データを使い、そのサブサンプリングで作成された縮小画像から元の原画像を推定する際に、推定画像と原画像の SN比が最大となる k と、各原画像内のデータの分布（標準偏差、平均、分散等）との関連を統計的に導出することで、使用する k の値を決める方法も考えられる。

逆直交変換手段 1 2 1 3では、 1 0 1で得られた拡大後の画像の持つ周波数成分の推定結果をもとに、逆離散コサイン変換（IDCT: Inverse Discrete Cos ine Trans form)を行うことで、元の実空間における画像デ一夕に戻す。拡大画像出力手段 1 2 14では、 1 3で得られた拡大後の推定画像を CRT等に表示したり、プリンタ等の出力装置に渡したり、他の画像処理装置で扱われるデー夕として出力される。

以上のように、本実施例によれば、原画像の周波数成分の特徴を精度良く近似することができ、原画像のサンプリングで削除された高周波成分を精度良く. かつ予めルール等を作成することなく手軽に推定することが可能となる。

(実施例 1 2 )

図 1 6は実施例 1 2による画像処理装置の構成を表し、以下、この画像処理装置の動作について説明する。上記実施例 1 1と同様に、画像入力手段 1 0で得られた原画像は原画像直交変換手段 1 1により周波数成分 F (u, V)に変換される。これとともに、エッジ生成手段 6 0 0では、図 1 8で示されているラプラシアンフィルタによりエッジ抽出が行われる。

ここで使用するラプラシアンフィル夕は、図 1 8 (a) 、 (b) のどちらのフィル夕でも構わないし、更に他のフィル夕を用いてもよい。扱う原画像の特徴に従い、このフィルタを変えることでエッジ抽出の精度を良くすることができる _t 例えば図 1 8 (a) のラプラシアンフィルタは、中央の画素の濃度値を 8倍し、その周囲の 8つの画素の濃度値を減算する。つまり上記中央の画素の濃度値と上記周囲のがその濃度値との差分が、上記中央の画素のガその濃度値に加算されることになり、これによつてエッジのような周囲との濃度差が大きく変化する画素が強調されるのである。

拡大工ッジ推定手段 1 2 0 Bの拡大工ッジ近似手段 1 6 0 1では、図 1 7に示すように上記エッジ生成手段 1 6 0 0で得られたエッジ画像（図 1 7

( c ) ) を、所望の拡大率 s に応じて、線形拡大するものであり、拡大に合わせて既存画素間に補間画素を埋め込んでやる必要がある。ここでは、拡大された既存画素の中点に、既存画素のエッジ画像データの中間値を埋めることで実現する。例えば、既存のエッジ画像を拡大して画素位置 P (x— 0, y— 0)と Q (x — 0+dx, y— 0)となり、その間に拡大画素数に従レ^方向に補間をする必要がある場合には、〔数式 1 3〕の（a)ようになる。ここで、画素位置 Pにおけるデー夕を D(x — 0, y — 0)、画素位置 Qにおけるデ一夕を D(x — 0+dx, y— 0+dy) 、補間データを埋める位置 H を H(x _h, y _h)、そして埋める補間データを DH(x— h, y — h)とする。また、画素位置 P(x _0,y — 0)と R(x „0, y — 0+dy) の間の y方向に補間をする必要がある場合には、〔数式 1 3〕の（b)ようになる。なお、 (b) において補間データ位置を I(x _i, y — i)、補間データを DI (x— i, y — i) としている。

〔数式 1 3〕

(a)

DH(x_h,y_h) = (D(x_0,y_0) + D(x_0 + dx,y_0))/2

x h = (x _0 + x _0 + dx) 12

y h = y _0

(b)

DI(xJ,y_i) = (D(x_0,y_0)) + D(x_0,y_0 + dy))/2

x一 i = x_0

なお、 y方向に相互に隣接する 2つの補間画素（上記 X方向の補間処理によつて得られる）を使って y方向にさらに埋め込むことで補間精度はさらによくなると考えられる。

拡大エッジ推定手段 1 2 0 Bのエッジ周波数生成手段 1 6 0 2では、拡大工ッジ近似手段 1 6 0 1で得られた拡大エッジの推定画像（図 1 7 (d) ) に直交変換を施して周波数成分（図 1 7 (e) ) を求める。これは、主に画像の鮮やかさや細部の特徴、エッジを表す高周波成分はこのようなエッジ画像に多く含まれていることに起因する。即ち、エッジ抽出した画像では、その他の部分の情報が欠如しているため、高周波成分は現れるが、より低域成分は弱いレべルでしか現れないであろうという考えによる。そこで、元の原画像（図 1 7

(a) ) の全体的な特徴を持つ原画像直交変換手段 1 1で得られた周波数成分デ一夕（図 1 7 (b) ) で、エッジ周波数生成手段 602で得られた拡大エツジ画像の周波数成分の低域を置き換える（図 1 7 (e) ) ことで、拡大画像の持つ周波数成分を推定するのである。そして、逆直交変換手段 1 2 1 3を経て、実空間データに戻された拡大画像（図 1 7 (g) ) は拡大画像出力手段 1 2 1 4で CRTに表示されたり、他の装置への入力になるように出力される。

このようにすることで、上記実施例 1 1のように RBFNによる方法を用いることなく、簡単に拡大画像を推定できる。また、エッジ情報をそのまま継承させることで、元の画像の高周波成分を失うことなく強調することができ画像のぼけを減少させることができる。

(実施例 1 3 )

図 1 9は実施例 1 3による画像処理装置の構成を表し、以下、この画像処理装置の動作について説明する。

画像入力手段 1 0で得られた原画像（図 20 (a) ) に DCT変換を使って周波数成分データ（図 20 (b) ) を導出するとともに、図 1 8のようなラブラシアンフィルタを使って原画像のエッジ画像（図 20 (c) ) をエッジ生成手段 600で生成する。拡大エッジ推定手段 1 20 Bのエッジ画像直交変換手段 1 900は上記エッジ画像に対して、 DCTを行い、エッジ画像の周波数成分データ（図 20 (d) ) を求める。

このエッジ画像の周波数成分デ一夕から、上記実施例 1 1で使用した非線形関数近似に優れているラジアル基底関数ネットワーク（RBFN)を使って、拡大された画像のエッジ部分より得られる周波数成分デ一夕（図 20 (e) ) を拡大エッジ推定手段 1 20 Bのエッジ周波数推定手段 1 90 1が推定する。そして、この推定された周波数成分データの低域領域を、元の画像から得られた周波数成分に置き換える（図 2 0 ( f ) ) ことで求める拡大画像の周波数成分データを獲得するのである。

こうすることで、上記実施例 1 2と同様に、主にエッジ情報に含まれている画像の高周波成分の特徴から、拡大画像の高周波成分データを多く含む拡大ェッジ情報を推定し、それを使うことで拡大後の画像に鮮明さを与える高周波成分をうまく補うことができる。また、上記実施例 1 2では、原画像のエッジ画像の単純な線形補間画像から拡大エッジ画像の周波数成分データを推定していたが、本実施例の補間は非線形近似に相当するものであることから、単純に 2 つのサンプル間の線形補間方法よりも推定精度が良くなると思われる。

なお、この非線形推定方法については、上記実施例 1 1で使用した非線形推定手段 1 2 0 1の RBFNの入力に、原画像の周波数成分データではなく、原画像から得られたエッジ画像の周波数成分デ一夕を使用する点が異なるのみなので、説明を省略する。

また、この非線形推定方法については、やはり実施例 1 1で説明したように、学習データを用いたニューラルネットワーク方式ゃフアジィルールに従う方法、カオス決定論的な予測方式等も使用することが可能である。そして、これらの場合には、あらかじめ大規模な学習デ一夕を用意することが必要となることに注意しなければならない。

更に、エッジ周波数推定手段 1 9 0 1には、図 2 1に示すように、拡大率 s に応じて、高周波側よりサンプルされた画像の D C T成分（図 2 1 ( a ) , n - 3 , n — 2， n— 1の点）間の中間値を求め、改めて D C T成分位置を高周波成分の先頭側より割り振る（図 2 1 ( b ) ， n - 1 + t - 3 , n - 1 + t - 1の点）ことでも拡大エッジの周波数成分を推定することができる。このようにすることでも、拡大後の画像に鮮明さを与える高周波成分を補うことができる。

この図 2 1に示した補間方法と上記実施例 1 2の補間方法との違いであるが、手法的にはあまり差がないように思われる。しかし、任意の拡大エッジ画像を作成する際に、上記実施例 1 2では、元のエッジ画像の画素間のどこへ優先的に補間画素を入れるかにより、エッジの特徴等が変化する可能性があり、補間順番に工夫が必要となる。しかし、図 2 1のように周波数成分で補間する場合には、高周波成分を補うという観点から、高周波成分から優先的に DCT成分の補間値を埋め込んで拡大画像の周波数成分を推定すればよい。

(実施例 1 4 )

図 2 3は実施例 1 4による画像処理装置の構成を表す。

画像入力手段 1 0で入力された原画像には数百画素 X数百画素以上の大きさを占めるものも多く、この原画像に上記実施例 1 1、 1 2及び 1 3のように 1 度に直交変換をかけた場合、その処理時間は膨大に大きなものとなる。そのため、通常は、 4画素 X 4画素から 1 6画素 X 1 6画素の大きさのブロックに分割して各プロックを目的とする画像拡大率 sに応じた画素サイズに拡大し、それを再構成する方法が用いられる。しかし、このような場合、次に示すような問題が指摘されている。

図 2 2 (a)はその問題を模式的に示したものである。ここでは、説明を簡単にするためにブロック Aiにおいて y=y— 0の時の x方向の画素の濃度値 D (x, y_ 0) (実線に示す）に 1次元 D C T変換をかけた場合を取り上げる。

X方向に 0から n-1個のデジタル画像データ（濃度値）があり、これに 1次元 D C Tを行うことは、この n個の画像データの従う関数は X方向に関して nの周期を持つ周期関数であると仮定して、 n個の周期を持つコサイン関数 cos ( i x π /η) (i =0 n-1)の線形結合で近似することと同意義である。その結果、 D

(x, y_0) は〔数式 1 4〕のように表すことができる。

〔数式 1 4〕 D(x,y_0) cos(i-x-n/n) a_i は、 i番目の DCT成分を表す。このような場合、図 22 (a) の点線に示すように、区間 [n, 2n- 1]では区間 [0, n-1]と同じデータが繰り返されることを前提としているので、 x=nでの画像データ D(n, y_0) は x=0のデ一夕 D(0, y —0)と同じとなるようにひ— iを決定しょうとする。このため、 x=n- 1のデータ D(n-1, y_0) と x=nつまり x=0のデータ D(n, y_0)=D(0, y— 0) の間の差が大きいほど、この間に埋め込まれる X方向の拡大デ一夕と次の x=nから x=2n-lにおけるブロックより得られる拡大データの x=nの値 D(n, y_0) の間の開きが生ずる。その結果として D(x, y_0)は X方向においてこの境界付近で不連続となつてしまうのである。

2次元 DC Tはこのような 1次元 DC Tを y方向に拡張したものであることから、この不連続性は 2次元 D C Tに拡張した場合にも同様に生じてしまう。本実施例はこの問題を解消するための処理である。

原画像を n X nのブロック Ai (i=0, ... , L-1)に分割し各ブロックを mXmのブロック Bi (i=0, ... , L-1)に拡大することで、原画像を s=m/nの拡大率で拡大する場合を考える。ここで、 Lはブロック数に相当する。図 23におけるブロック分割手段 2300がこのブロック分割を行う力図 24の左図のように nXnではなく（n+u) X (n+u)のサイズのブロック Ai' (i=0 L-l)のように隣同士のブロックが重なるように分割する。

即ち、図 22 (b) に示すように、ブロック AOについての DCTは区間 [0, n +u]について行い（このとき、区間 [π+u+l, 2n+2u]では区間 [0, n+u]と同じデー夕が繰り返されることを前提としている（図 22 (b) 点線） ) 、同様にプロック A1についての D CTは区間 [n, 2nlu-l]について行う。このようにすることで、上記従来の方法を用いた際にプロックの境界において発生した濃度値のギヤップ（図 22の枠線 R参照）を抑えることが出来るのである。つまりこのとき、図 2 4のブロック AOの端ではノイズ Nが発生し、この部分についてはブロック AOのデータは採用せず、 A1のデータを採用するのである < そして、拡大ブロック周波数推定手段 2 3 0 2がこのブロック Aiの周波数成分データを（(n+u) X s) X ( (n+u) X s)の周波数成分データに拡大する。この拡大処理については上記実施例 1、 2及び 3の拡大処理をブロック単位で行うだけであるので説明を省略する。なお、ブロックサイズ n X nであるが、通常 4画素 X 4画素から 1 6画素 X 1 6画素が使用される。もし n=8とした場合、その重なり領域を作る上記の uとしては u=3を採用するが、これに限られるものではない。

ブロック内周波数抽出手段 2 3 0 3では、得られたブロック B i 'の全周波数成分データを使用せず、低周波数の方から必要とする m x mのサイズだけのデー夕を取り出し、改めて拡大ブロック C iとする処理を行う。そして C iに対して、ブロック逆直交変換手段 2 3 0 4が逆直交変換を施し、拡大画像再構成手段 2 3 0 5で、ブロック C iから生成された画像データを対応する位置に配置することで最終的に拡大画像を得るのである。

このようにすることで、ブロック C iの隣り合うブロック境界付近での補間デ —夕と、次のブロック C 1の先頭の画像データとの不連続性を避けることができ、ブロック歪みを低減することが可能となる。

(実施例 1 5 )

図 2 5に実施例 1 5による画像処理装置の構成を示す。図 2 5においてプロック内データ変換手段 2 5 0 0は、ブロック分割手段 2 3 0 0で分割された n

X nの画像サイズのブロック Ai ( i =0 L- l )内の画像データに後述する所定の関数変換を行うことで、拡大後のブロック画像の歪みが発生しにくいようにする。その他は、上記実施例 1 4による画像処理装置より、ブロック内周波数抽出手段 2 3 0 3が外されている以外は同じ構成をとつている。実施例 1 4による画像処理装置は、プロック分割手段 2 3 0 0で重なりを持つように大きめにブロック分割し、得られた拡大ブロックから必要とするサイズの周波数成分データを取り出して再度拡大ブロックの周波数データに置き直している。一方、本実施例では、ブロック分割 2 3 0 0では図 2 6に示すように、重なりを持たせず nxnのサイズのブ口ック Ai (i=0, L-l)に分割する。そして、後述するようにそのブロック内データを変換し、その変換済みの画像データから拡大されたブロック B i ( i =0 L- 1 )を推定する点が異なっている, 以上のように構成された実施例 1 5による画像処理装置の動作について説明する。原画像をブロックに分割し、各ブロック Ai (i=0, ... , L-1)における画像データをブロック内データ変換手段 2 5 0 0が以下のように変換する。

図 2 7 (a) は、ブロック Aiにおける濃度値 D(x, y)の遷移を表すが、右図はこの中の y=y — 0における X方向の遷移 D(x, y_0) を表す。

まず、 x=0における画像データ D(0, y_0) と x=n- 1における画像データ D(n - 1, y_0)を通過する関数 p (X. y — 0)を定義する。その関数としては多くの例があるが、ここでは〔数式 1 5〕のような 1次式を定義する（図 2 7 (b) ) 。

〔数式 1 5〕 p(x,y_0) = D(0,y_ ) ₊ (D(n -l,y _0)-D(0,y _0))/η·χ この P (x, y _0)を D(x, y_0) から減算した Φ (χ, y _0)=D(x, y _0)-p (x, y — 0)を計算する（図 2 7 (c) ) 。これをブロック内全ての y —0に対して求める。更に、 x=x — 0を固定した y方向において同様の減算関数 Φ (X— 0, y)=D(x _0, y)-p (x_0, y) を求める。そして、これらの減算関数の絶対値の（x=0 n-1, y=0, ... , η-1) における最大値 Max Φで正規化する（図 2 7

(d) ) 。

この時点におけるデータは X方向でみた場合、ブロック境界である x=n-lと x= 0つまり x=nにおけるデ一夕がともに 0となり、かつ全体が- 1から 0の区間に入るようにされているため、 x=n-lの後に埋め込まれる補間デ一夕と x=nのデ一夕の間の差は非常に小さくなる。そのため、ブロック接続における歪みを抑えることが可能となる。

なお、ここでは〔数式 1 5〕のような 1次式を使用したが、一般に図 2 7の G点と H点における境界条件を満足するような関数であれば問題ないので、変換後の変動を抑えやすいような関数を P (x, y—0)に使用することでより歪みを抑えることができるとともに、拡大された周波数成分を精度よく推定することができる。

このように原画像デ一夕のブロック毎にブロック境界におけるデータレベルを 0に近づけることで、直交変換上での補間で行われる拡大画像の推定時のゆらぎを造るブロック境界の不連続性を低減することが可能となる。

(実施例 1 6 )

図 2 8に実施例 1 6による画像処理装置の構成を示す。

カラーの原画像の拡大画像を推定する際には、 1色の多階調データの拡大処理よりも拡大処理が膨大となるという問題がある。本実施例はその効率化に関する発明である。

画像入力手段 1 0で入力されたカラ一原画像において、基準とするカラー成分を基準成分選択手段 2 8 0 0が選択する。通常、カラー原画像の構成はレツド、グリーン、ブルーの 2つのカラ一成分より構成されており、輝度情報にグリ一ンデータが大きく反映されることを考慮すると、基準成分としてはダリ一ン成分を選択するのが好ましい。変換比率導出手段 2 8 0 1では、このダリ一ン成分に対するレッド成分の単純比率 ra t i o — rと、グリーン成分に対するブル一成分の単純比率 rat i o—bとを求める。この単純比率を求める方法としては多種多様なものがあるが、ここでは、〔数式 1 6〕のように、対象とする領域内のレッドのグリーンに対する濃度の比率の平均値と対象とする領域内のブルーのグリーンに対する濃度の比率の平均値を用いることとする ₍

〔数式 1一一 6〕 ratio

ratio b y "

〔数式 1 6〕で、 r — i j、 g_i j 、 b —i jはそれぞれ原画像における画素位置（i, j )のレッド、グリーン、ブルー成分の濃度である。このように 1つの比率係数を使って拡大された残りの成分を全て推定するのではなく、各画素におけるグリーン成分に対するレツド成分の比率より構成されるマトリックス R― rとグリーン成分に対するブルー成分の単純比率より構成されるマトリックス R —bを採用することも可能である。この場合、 1つの比率係数を使うよりも、元のカラー原画像の特徴を再現することが可能となり、より精度良くカラー画像の拡大を行うことができる。

この基準成分であるグリーン成分に対して、上記実施例 1 1から実施例 1 5 迄の画像処理装置と同様に、拡大処理を基準画像直交変換手段 2 8 0 2、基準拡大周波数推定手段 2 2 0 3、基準逆直交変換手段 2 8 0 4で行う。そして、不足成分拡大手段 2 2 0 5において、基準逆直交変換手段 2 8 0 4の拡大されたグリーンデータに対し、上記単純比率 ra t i o —r、 rat i o —bをかけることで、残りのレッド、ブルー成分における拡大データを作成する。この 3つの拡大成分を 1つに結合することで、カラー原画像の拡大画像を得ることができ、拡大画像出力手段 1 2 1 4ではそれを C R T等に表示したり、プリンタ等の出力装置に渡したり、他の画像処理装置で扱われるデ一夕と出力処理が行われる。このような 1成分のみの直交変換を行う処理をとることで、カラー原画像を構成する複数成分おのおのに拡大処理をする手間が省け、処理の簡単化をはかることが可能となる。 (実施例 1 7 )

実施例 1 7から実施例 2 1迄は、ウェーブレット変換を用いて画像の拡大を行う画像処理装置について説明する。

図 2 9は実施例 1 7の画像処理装置の構成を表す。画像入力手段 1 0は上記実施例 1、実施例 1 1等と同様である。入力画像調整手段 1 2は、画像入力手段 1 0で得られた n 画素 X n 画素を持つ原画像の水平、垂直画素数を所望の拡大画像サイズ Ln画素 X Ln画素の 1 Z 2になるように補間又は間引き（以下まとめて「調整」という）する。画像拡大手段 2 9 O Aは、後述するウェーブレツト変換における多重解像度解析を利用した画像拡大を行う。拡大画像調整手段 2 9 1 3は、画像拡大手段 2 9 O Aで得られる、入力画像調整手段 1 2で調整された原画像の 4倍の画素数を持つ拡大画像を所望の拡大画像サイズである Ln 画素 X Ln画素に調整する。拡大画像出力手段 1 2 1 4は拡大画像調整手段 2 9 1 3で推定された拡大後の画像データを表示したり他の装置等へ出力する。上記画像拡大手段 2 9 O Aは、入力画像調整手段 1 2で Ln/2画素 X Ln/2画素に調整された原画像から垂直方向のエツジ成分画像を取り出す垂直エツジ生成手段 2 9 0 0と、水平方向のエッジ成分画像を取り出す水平エッジ生成手段 2 9 0 1と、斜め方向のエッジ成分画像を取り出す斜めエッジ生成手段 2 9 0 2 とを備える。更に、上記画像拡大手段 2 9 O Aは、上記 3つのエッジ成分画像と、入力画像調整手段 1 2で Ln/2画素 X Ln/2画素に調整された原画像を、 Ln画素 X Ln画素の拡大画像にウェーブレツト変換を行った際の変換画像を構成するサブバンド成分の 4つと見なして、逆ウェーブレツト変換により Ln画素 X Ln画素の拡大画像を生成するレベルアップ手段 2 9 0 3とを備える。

以上のように構成された第 1の実施例である画像処理装置では、ウェーブレット変換による多重解像度解析が画像拡大に利用されている。ウエーブレット変換は、「ウエーブレットビギナーズガイド」（榊原進著、東京電機大学出版局）等の多くの文献に記載されており、周波数解析の方法として開発されたものであり、信号処理、画像等のデータ圧縮をはじめとした多くの分野で応用がなされている。

ウエーブレット変換を原画像に施し変換画像を得た場合、それはいくつかのサブバンド（部分周波数帯域）成分より構成されている。図 3 1はウェーブレット変換画像のサブバンド成分の配置例を示す図であり、原画像を、 LL3、 HL3、 LH3、 HH3、 HL2、 LH2、 HH2、 HL K LH1、 HL 1の 1 0のサブバンド成分に分割した例を表す。

図 3 0は図 3 1に示すようなウェーブレツト変換をフィル夕系列で表現した図であり、垂直方向（y方向）と水平方向（X方向）へ各々独立にローパスフィル夕処理とともに 1 2にダウンサンプリング（間引き）する処理 Lowとハイパスフィル夕処理とともに 1 Z 2にダウンサンプリングする処理 H i ghの、 I 、 Π、 ΠΙ段階の組み合わせで構成されている。

先ず、原画像に水平方向に Hi ghと Lowが行われる。そして水平方向に H i ghの処理をした際の出力に対し、垂直方向に Hi gh処理を行った結果が HH1成分であり、垂直方向に Lowフィルタ処理した結果が HL 1成分となる。次に、水平方向に Lowのフィル夕処理をした際の出力に対し、垂直方向に Lowフィルタ処理をした結果が LL 1であり、垂直方向に Hi ghのフィル夕処理を施した結果が LH1成分となる。ここまでが 1度目のウェーブレット変換で得られる結果である。

更に、 LL 1成分に対し、水平方向に Lowフィルタ処理と Hi ghフィルタ処理が行われ、水平方向に Hi ghの処理をした際の出力に対し垂直方向に H i ghフィル夕処理をした結果が HH2であり、垂直方向に Lowフィルタ処理をした結果が HL2である。また、水平方向に Lowのフィル夕処理をした際の出力に対し、垂直方向に L owフィルタ処理をした結果が LL2であり、垂直方向に H i ghのフィルタ処理を施した結果が LH2成分となる。ここまでが 2度目のウェーブレツト変換で得られる結果である。

LL2成分に対しても同様に水平方向への Lowフィル夕処理と Hi ghフィルタ処理を個別に行い、垂直方向に対しても Lowフィル夕処理と Hi ghフィル夕処理を個別に施すことで、 HH3、 HL3、 LH3、 LL3のサブバンド成分が得られ、 3度目のゥエーブレット変換が行われたこととなる。

このように、原画像に対する第 1段階のウェーブレット変換により、 LL 1、 H L l、 LH1、 HHlの 4つの周波数成分に分解され、水平方向及び垂直方向ともに 1 / 2のダウンサンプリングが行われるため、各成分を表す画像の大きさは原画像の 1 / 4になる。 LL 1は原画像における低周波成分を抽出したもので、原画像のぼやけた画像であるが、原画像の大部分の情報はここに含まれる。そのため、次の第 2段階のウェーブレット変換では、この LL 1が対象とされる。

一方、 HL 1成分は図 3 0におけるフィル夕処理により、原画像において水平方向における高周波成分を強く抽出した画像を表すこととなり、 LH1は原画像において垂直方向における高周波成分を強く抽出した画像を表すこととなる。そして、 HH1は水平方向、垂直方向ともに高周波な成分を抽出した画像となり言い換えれば斜め方向における高周波成分を抽出した画像と考えることもできる。

これは濃度値から考えると、 HL 1成分は原画像において水平方向に対して濃度値の変動の大きな領域（垂直方向を向くエッジ情報）を強く反映している。一方、 LH1は原画像において垂直方向に対して濃度値の変動の大きな領域（水平方向を向くエッジ情報）を強く反映しており、 HH1は水平方向、垂直方向ともに濃度値の変動の大きい領域（斜め方向を向くエッジ情報）を大きく反映していると考えれられるのである。

以上のようなウェーブレツ卜変換による特徴は、 LL 1を対象とした第 2段階目のウェーブレット変換で得られた LL2、 HL2 , LH2、 HH2の成分に関しても言えることであり、同様に LL2を対象画像としたウェーブレツト変換の成分についても成立する。このようにウェーブレット変換は、 1段階前のサブバンド成分画像において低周波成分を抽出した LL画像を、低周波成分、垂直、水平、斜め方向の周波数成分に相当する 4枚の 1 / 4の解像度画像に分解することととらえることができる。

そして、これらのサブバンド成分画像をフィル夕処理により合成することで 1つ前の段階の画像を復元することができる。図 3 1で考えると、 4つのサブバンド成分画像 LL3、 HL3、 LH3、 HH3を合成することで LL2が復元され、 LL2、 HL 2、 LH2、 HH2を合成することで LL 1が復元される。そして、 LL 1、 HL K LHK HH1 を使うことで、原画像を復元することができる。

このようにウエーブレット変換では、解像度の異なる複数のサブバンド成分画像を同時に表現できるため、多重解像度解析とも呼ばれ、各々のサブバンド成分を圧縮することで効率の良いデータ圧縮が行えるとして注目されている。本実施例では、先ず、原画像を 1つ前の段階における低周波サブバンド成分 LL 1と見なす。次に、残りの水平方向における高周波成分を強く抽出した画像 H L l、垂直方向における高周波成分を強く抽出した画像 LH1、そして水平方向、垂直方向ともに高周波な成分を抽出した画像 HH1を推定して、 2倍の拡大画像を得る。そして、この処理を原画像を所望の画像サイズに拡大することに適用したものである。

以上のことを踏まえて，本実施例の画像処理装置の動作について説明する。先ず、最初に画像入力手段 1 0において、拡大すべき n画素 X n画素のサイズを持つ原画像の読み取りが行われる。

上記画像入力手段 1 0で得られた原画像は入力画像調整手段 1 2において、画像サイズの調整を受ける。これは、ウェーブレット変換における多重解像度解析で述べたように、変換の対象画像を 1度ウェーブレット変換する場合、変換後のサブバンド成分は常に変換前の水平画素数、垂直画素数ともに 1 Z 2サィズとなる。逆に、逆ウェーブレット変換により得られる画素サイズはその処理を行う際のサブバンド成分の水平画素数、垂直画素数ともに 2倍、つまり 4 倍の画素数を持つこととなる。

以上のような性質より、逆ウエーブレツト変換で得られる拡大画素の水平、垂直画素数は 2の倍数であることが望ましい。そこで、入力画像調整手段 1 2 では、まず所望の拡大画像サイズである Ln画素 X Ln画素（即ち拡大率が Lである）を 2の倍数である dLn画素 x dLn画素になるように調整するとともに、原画像を dLn/2画素 X dLn/2画素になるように調整する。この際、調整方法としていろいろな手法が挙げられるが、ここでは画素間に〔数式 1〕を使って補間する力、、画素変動の少ない領域上の画素を間引くことで実現するものとする。ここで、原画像を DCT変換等の直交変換により周波数領域に変換し、 dLn/2画素 X dLn/2画素に対応する周波数成分を取り出したり、不足する高周波成分を " 0 " で埋め、それを dLn/2画素 x dLn/2画素に対応する逆直交変換で調整する方法でも可能である。しかし、処理の効率化とこの後、さらにウエーブレット変換による方式で拡大することを考えれ合わせると、ここでの複雑な処理はあまり効率が良いとは思えないので、単純な画素補間もしくは間引きを採用することとした。

画像拡大手段 2 9 O Aでは、入力画像調整手段 1 2で dLn/2画素 X dLn/2画素に調整された原画像を水平、垂直方向ともに 2倍に拡大することで所望の Ln画素 X Ln画素に近い画像サイズまで拡大することを行う。この際に、上述のゥェ一ブレット変換における多重解像度解析を利用するのである。従来の、直交変換を行い、周波数領域で不足分を補う方法では、処理時間とともに、複数プロックへ分割することでブロックのつなぎ目でジャギー状のノィズが発生することが問題であった。しかし、ウエーブレット変換では 1度に大きな画像を扱うことができるのでこのようなノイズは発生しないというメリットを持つ。また、上記画像拡大手段 2 9 O Aでは、図 3 1におけるサブバンド成分 LL 1 として dLn/2画素 X dLn/2画素に調整した画像と見なした場合、残りの 3つのサド成分 HL 1、 LH1、 HH1に相当する dLn/2画素 X dLn/2画素の画像を推定する必要がある。

図 3 2はその様子を模式的に表したものであるが、ここではサブバンド成分 HL K LH1 , HH1の 3つの画像を LUの 3方向におけるエッジ画像と見なす方式を取る。前述したように、 HL 1成分は dLn/2画素 X dLn/2画素に調整された原画像 (図 3 2 ( a ) ) の 4倍の画素数を持つ拡大画像（LL0とする）において水平方向における高周波成分を強く抽出した画像を表すこととなり、サブバンド成分 LH1はサブバンド成分 LL0において垂直方向における高周波成分を強く抽出した画像を表すこととなる。そして、サブバンド成分 HH1は水平方向、垂直方向ともに高周波な成分を抽出した画像となる。つまり、サブバンド成分 HL 1はサブバンド成分 LL0の画像において、水平方向における高い周波数成分を表す部分、つまり垂直方向におけるエッジ情報（図 3 2 ( b ) ) を反映するものとして考えられる。一方、サブバンド成分 LH1はサブバンド成分 LL0の画像において、垂直方向における高い周波数成分を表す部分、つまり水平方向におけるエッジ情報（図 3 2 ( c ) ) を反映するものとして考えられる。そして、サブバンド成分 HH1は、サブバンド成分 LL0の画像において、垂直方向にも水平方向にも高い周波数成分を表す部分、つまり斜め方向におけるエッジ情報（図 3 2

( d ) ) を反映するものとして考えられる。

よって、本実施例では、図 2 9に示すような構成のエッジ生成手段 2 9 0 B を設け、垂直エッジ生成手段 2 9 0 0で、入力画像調整手段 1 2で調整された dLn/2画素 X dLn/2画素に調整された原画像の垂直方向におけるエツジ成分を抽出し、不足している HL 1成分と見なす。また、水平エッジ生成手段 2 9 0 1では、入力画像調整手段 1 2で調整された dLn/2画素 x dLn/2画素に調整された原画像の水平方向におけるエッジ成分を抽出し、不足している LH 1成分と見なす _t 同様に斜めエッジ生成手段 2 9 0 2では、入力画像調整手段 1 2で調整された dLn/2画素 X dLn/2画素に調整された原画像の斜め方向におけるェッジ成分を抽出し、不足している HH1成分と見なす。

この際、上記各エッジ生成手段 2 9 0 0， 2 9 0 1， 2 9 0 2にはそれぞれ、図 3 3に示すような 3つの方向を検出するためのエツジ検出フィルタを使うこととする。即ち、図 3 3 (a) に示す例は、水平方向に重み付けが大きくなるフィルタを使用して水平方向のエッジを検出し、図 3 3 ( b ) に示す例は、垂直方向に重み付けが大きくなるフィル夕を使用して垂直水平方向のエッジを検出し、図 3 3 ( c ) に示す例は、斜め方向に重み付けが大きくなるフィル夕を使用して斜め方向のエッジを検出する。なお、このフィルタは一義的に決まるものでなく、これら以外にも可能である。

レベルアップ手段 2 9 0 3では、以上のように推定された 4つのサブバンド成分に逆ウェーブレツト変換を行うことで、 dLn画素 X dLn画素のサイズを持つ鮮明な拡大画像を獲得する。なお、この際、ウェーブレット変換は図 3 0のようにフィルタ系列処理で表せるため、ここでの処理もこの逆を行うフィルタ系列処理であっても構わない。

上記画像拡大手段 2 9 O Aで得られた拡大画像は、そのサイズが所望の画像サィ

ズ Ln画素 X Ln画素が 2の倍数でない場合（Ln/ 2の値が整数でない場合）、微妙にずれを生じる。そこで拡大画像調整手段 2 9 1 3では、その微妙なずれを補うように画素補間または間引きを行うのである。ここで行われる処理は、高々 1画素であるので画像において変化の小さい部分（階調変化が少なくエツジ付近以外）で処理することでその影響は小さい。

拡大画像調整手段 2 9 1 3を経て得られた拡大画像は拡大画像出力手段 1 4 で C R Tに表示されたり、他の装置へ渡される。

以上のように、本実施例によれば、単純に原画像での画素間を補間したり、従来装置のように周波数領域で不足分な周波数成分を " 0 " 等で埋めるなどした際に生じるエッジボケを低減できる。また、直交変換方法で問題とされていたジャギー等のノイズを発生させることがなく鮮明な拡大画像が実現できる。また予めルール等を作成することなく手軽に拡大画像を推定することも可能となる。 (実施例 1 8 )

図 3 4は本発明の実施例 1 8の画像処理装置における画像拡大手段 2 9 0 A の構成を示すブロック図であり、以下、この画像処理装置の動作について説明する。

上記実施例 1 7と同様に、画像入力手段 1 0で得られた原画像は、入力画像調整手段 1 2で所望の拡大画素サイズ Ln画素 X Ln画素を水平、垂直画素数ともに 2の倍数である dLn画素 X dLn画素に調整され、その垂直、水平ともに 1ノ 2 のサイズである dLn/2画素 X dLn/2画素に原画像が調整される。

入力微調整手段 7 0 0では、入力画像調整手段 1 2の結果を受けて dLn/2画素 X dLn/2画素に調整された原画像から、レベルダウン手段 7 0 1でさらに 1 レベル下のサブバンド成分を得るために、 dLn/2画素 x dLn/2画素を 2の倍数になるように 1画素調整して ddLn画素 X ddLn画素に微調整を行う。そしてレベルダウン手段 7 0 1では、入力微調整手段 7 0 0で得られた ddLn画素 X ddLn画素の原画像を対象としてウェーブレツト変換を行い、この 1 / 4の画像サイズを持つ 4つのサブバンド成分 LL2、 HL2、 LH2, HH2を生成する。

図 3 5は画像拡大手段 2 9 0 Aにおける処理の概要を模式的に表している。上記実施例 1 7の場合、現対象画像 LL 1の垂直方向のエッジ画像、水平方向のェッジ画像、斜め方向のエツジ画像を現対象画像の 4倍に拡大した画像 LL0のウエーブレット変換画像において不足していたサブバンド成分 HL 1、 LH1、 HH 1 と見なしていたが、図 3 0のフィル夕処理では厳密にはこれは成立しない。例えば、サブバンド成分 LL0からサブバンド成分 HL 1 をフィル夕処理で求める場合、図 3 0のフィル夕処理から水平方向における高周波成分データと垂直方向における低周波成分データが HL 1成分として抽出されている。このことより HL 1成分には、水平方向において値変動の大きな画素部分（垂直方向にのびたエッジ部分等）と、垂直方向において値変動の少ない画素部分が抽出される上記実施例 1 7では、この内の水平方向において値変動の大きな画素部分、つまり垂直方向にのびたエッジ部分による影響が大きいと考え、この垂直方向におけるエッジ情報のみを HL 1成分と見なした。しかし、扱う画像によっては垂直方向において値変動の少ない画素部分の影響を無視できない場合がある。また、垂直方向におけるエッジ情報には水平方向において値変動の大きな画素部分を多く含むが、厳密には一致しない。このようなことは、他のサブバンド成分 LH1、 HH1についても言える。

以上のことから本実施例では、現在の対象画像を 1度ウェーブレツト変換してレベルを 1つ下げることでサブバンド成分 LL2、 HL2、 LH2、 HH2を作成し、そのサブバンド成分における低周波域成分 LL2の 3方向におけるエッジ画像 HLe、 LHe、 HHeと実際の 3つのサブバンド成分 HL2、 LH2、 HH2の間の相関より、元々の対象画像の 3つのエッジ画像から対応するサブバンド成分を推定するための補正量 dHし dLH、 dHHを求めることとした。

先ず、図 3 4に示すような構成の参照成分推定手段 7 0 A、補正推定手段 7 0 B、成分推定手段 7 0 Cを設ける。そして参照 H L成分生成手段 7 0 2では、このサブバンド成分 LL2、 HL2、 LH2、 HH2の内の低周波域にあり原画像をもっとも表している LL2成分に注目して、図 3 3 ( b ) のようなフィル夕により垂直方向のエッジ情報を検出する。これを参照 H L成分 HLeとする。 H L補正推定手段 7 0 5においては、この参照 H L成分 HLeと，上記レベルダウン手段 7 0 1で得られた HL2の間の相関を調べるのである。

その方法としては様々考えられるが、ここでは、図 3 5 ( c ) のように参照 H L成分 HLeと実際の H L成分 HL2の間の差分画像 dHL = HLe - HL2を求めることとする。参照 L H成分生成手段 7 0 3、参照 H H成分生成手段 7 0 4でも同様に参照 L H成分 LHeして LL2成分の水平方向のェッジ情報を、参照 H H成分 HH eとして LL2成分の斜め方向のエッジ情報を選び、 LH補正推定手段 706において、この参照 LH成分 LHeと実際の LH成分 LH2の間の差分画像 dLH = LHe - LH2を求め、 HH補正推定手段 707において、この参照 HH成分 HHeと実際の HH成分 HH2の間の差分画像 dHH = HHe ― HH2を求める。

そして、 HL成分推定手段 708、 LH成分推定手段 709、 HH成分推定手段 7 1 0では、上記実施例 1 7と同様に、上記 HL1、 LHK HH1に対応する補正成分 dHL、 dLH、 dHHを加算することで、入力微調整手段 700で ddLn画素 X d dLn画素に調整された原画像をサブバンド成分 LL1と見なした際の HL1、 LHK HH 1成分を推定する。上記 HL成分推定手段 708、 LH成分推定手段 709、 HH成分推定手段 7 1 0においては、上記補正成分 dHL、 dLH、 dHHを使用する際、各補正画像の画素サイズが ddLn画素 X ddLn画素になるように、〔数式 1〕に従い各画素間を補間することで調整した。しかし、これは一義的ではなくこれ以外にも従来の周波数変換された領域で不足成分に 0を埋めることで水平、垂直方向ともに 2倍の画素サイズに拡大する方法等も適用可能である。

ただし、処理の効率化と、このサブバンド成分を使って逆ウェーブレット変換により拡大処理を行うことを考慮に入れた場合、単純に画素補間しても、最終的に得られた拡大画像の画質に与える影響は小さい。従ってここでは HL成分推定手段 708、 LH成分推定手段 709、 HH成分推定手段 7 1 0は、〔数式 1〕のような線形補間による方式を採ることとする。

レベルアップ手段 2903以降の処理は上記実施例 1 7と同様である。なお上記 HL成分推定手段 708、 LH成分推定手段 709、 HH成分推定手段 7 1 0の行う推定処理としては、上記のような参照成分と実際の成分間の差分成分の加算以外にも

(1) HL補正推定手段 70 5、 LH補正推定手段 7 06、 HH補正推定手段 707で得られた補正量にある変換係数マトリクスを乗算した結果を、それぞれ、垂直エッジ生成手段 2900、水平エッジ生成手段 290 1、斜めエッジ生成手段 2902の成分値に加える

(2) HL補正推定手段 70 5、 LH補正推定手段 706、 HH補正推定手段 707で得られた補正量を変換関数により変換した結果を、それぞれ、垂直ェッジ生成手段 2900、水平エッジ生成手段 290 1、斜めエッジ生成手段 2 902結果に加える

(3) HL補正推定手段 70 5、 LH補正推定手段 706、 HH補正推定手段 707、並びに、垂直エッジ生成手段 2900、水平エッジ生成手段 2 90 1. 斜めエッジ生成手段 2902の結果を入力して HL、 LH、 HHの推定値を出力するように学習されたニューラルネットワークモデルを使う

(4) HL補正推定手段 70 5、 LH補正推定手段 706、 HH補正推定手段 707、並びに、垂直エッジ生成手段 2900、水平エッジ生成手段 290 斜めエッジ生成手段 2902の結果をを入力して、予め用意されたた大量のデ一夕ベースやルールベースから HL、 LH、 HH成分を推定する

等の方法を用いることも十分可能である。

以上のようにすることで、上記実施例 1 7において単純に調整された原画像の 3方向のエッジ検出を行っただけでは取り出すことのできなかった、ゥエーブレツト変換画像における不足サブバンド成分、特に高周波成分をより精度よく推定することができ、画像のぼけを減少させることができる。また、ゥエーブレツト変換を用いることで、直交変換のようなブロック分割の必要がなく、従来の直交変換による方法で問題とされていたブロック歪みは発生しない。

(実施例 1 9 )

図 36は本発明の実施例 1 9の画像処理装置における画像拡大手段 290 A の構成を示すブロック図であり、以下、この画像処理装置の動作について説明する。画像入力手段 1 0、入力画像調整手段 1 2における処理は上記実施例 1 7と同様であり、入力微調整手段 700における処理も上記実施例 1 8と同様である。

参照成分生成手段 360 1では、レベルダウン手段 70 1で得られたサブバンド成分画像において、低周波域にある LL2より、 HL成分推定手段 708、 LH成分推定手段 709、 HH成分推定手段 7 1 0における推定に使用される各補正量を求めるための参照成分を求める。ここでは、 LL2に図 1 8 (a)

(b) のようなラプラシアンフィルタを用いることで、 LL2の平均的なエッジ画像を参照成分画像と見なす。ラプラシアンフィル夕は、図 33のように特定方向のエッジを検出するのではなく、方向性にとらわれにくいエッジを検出する方法としてよく使用される。

本実施例では、これを参照成分画像として、上記実施例 1 8で行ったような補正量を求める。こうすることで、上記実施例 1 8で問題とされていた頻繁なエッジ検出処理を減らすことができ、処理の効率化につながる。

上記 HL補正推定手段 70 5、 LH補正推定手段 7 06、 HH補正推定手段 707では、実施例 1 8と同様に、参照成分生成手段 360 1で得られたエツジ画像と 70 1で得られた HL2、 LH2、 HH2とのそれぞれの差分画像 dHL2、 dLH2, dHH2を求め（図 3 5 (c) 参照）、〔数式 1〕のような線形近似により各差分画像を ddLn画素 X ddLn画素を持つ画像に調整する。

一方、エッジ生成手段 3600では入力画像調整手段 1 2で調整された ddLn 画素 X ddLn画素の原画像よりラプラシアンフィル夕によるエツジ画像を検出し , HL成分推定手段 708、 LH成分推定手段 709、 HH成分推定手段 7 1 0 において、上記 HL補正推定手段 70 5、 LH補正推定手段 706、 HH補正推定手段 707での補正画像を加えることで各サブバンド成分 HL1、 LHK HH1 を精度良く推定するのである。

こうすることで、（2XddLn)画素 X (2XddLn)画素の拡大画像を鮮明に推定でき、これに数画素の補間や間引きを加えることで所望の Ln画素 X Ln画素を持つ拡大画像を精度良く得ることができる。

なお、上記実施例 1 8で説明したように、上記 H L成分推定手段 7 0 8 、 L H成分推定手段 7 0 9、 H H成分推定手段 7 1 0における推定方法としては、これ以外にも上記 H L補正推定手段 7 0 5、 L H補正推定手段 7 0 6、 H H補正推定手段 7 0 7の補正量にある変換係数マトリクスを乗算した結果や変換関数により変換された結果を使用することも可能である。

(実施例 2 0 )

図 3 7は実施例 2 0の画像処理装置の構成を表す。

本実施例の主旨は、予め拡大する画素数がわかっておらず、原画像を元にゥエーブレット変換による多重解像度解析に従い、水平、垂直方向ともに 2倍しながら拡大画像を生成し、それをユーザに提示することで適切な拡大画像が得られたかどうかを判定してもらうことにある。

画像入力手段 1 0で入力された n画素 X n画素の原画像は、まず拡大処理初期化手段 3 7 0 0で拡大対象画像として設定される。次に、対象画像拡大手段 3 7 0 1では、上記 n画素 X n画素の原画像を水平、垂直方向ともに 2倍、つまり 4倍の画像サイズに拡大する。この拡大処理は、上記実施例 1 7、 1 8及び 1 9の画像処理装置で説明した画像拡大手段を適用することで、つねに対象画像の 4倍の画素を持つサイズに拡大することができる。

拡大画像提示手段 1 3 0 2は上記対象画像拡大手段 3 7 0 1で得られた現在の拡大画像をユーザに C R T等を通して提示する。もし C R T等の解像度を越えた場合には、カーソル等で視点を動かせるようできる機能や、特定部分を切り出す機能を持たせることで、よりユーザによる現在の拡大画像の適正さを判断するための助けとなる。

多重処理終了判定手段 3 7 0 3では、そのユーザからの指示結果を受け、適切である場合には次の画像微調整手段 3 7 0 4へ処理が移り、適切でない旨の指示を受けた場合には、この拡大画像を次の対象画像に設定して対象画像拡大手段 3 7 0 1へ処理が戻る。

画像微調整手段 3 7 0 4では、ユーザに微調整が必要かどうかの確認をする _; これは、画像拡大にウェーブレツト変換による多重解像度解析を利用しているため、常に拡大前の 4倍の画像サイズでしか生成できない。そのため、ユーザが見た場合、やはり前の画像では小さいが、これでは C R Tに一度で描画できず大きすぎると思われる場合が生じるかもしれない。そこで画像微調整手段 3 7 0 4では、再度ユーザにこの画像をいくらか調整するかの確認をとり、すこし大きくする場合には画素補間を行う。一方、すこし小さくする場合には、画素の間引きを行うことで再度画像サイズの調整を行うのである。

なお、この画素補間を行う場合には、エッジ以外の濃度値の変動の小さい頜域を選んで行うようにする。間引きについても同様である。

ここで、上述の補間や間引きに代えて、周波数領域に変換し、そこで不足成分の付加や余剰成分を高周波より取り出す手法を取ることも可能であり、処理時間や処理を行う C P U能力等に合わせて適切な方法を取ることが考えられる拡大画像出力手段 1 2 1 4は画像微調整手段 3 7 0 4で得られた拡大画像を C R T等に表示したり、プリンタで出力したり、または他の装置へデータとして渡すなどして出力処理を行う。

以上のように、本実施例によれば、得られた精細な拡大画像をユーザに提示してサイズゃ解像度が適切かどうかの判断をしてもらい、それが得られた時点で一連の拡大作業の中止を指示すればよいため、予め拡大画像の拡大率を決める必要はなく、ユーザの好むサイズに簡便に拡大させることが可能となる。

(実施例 2 1 )

最後に本発明の実施例 2 1の画像処理装置について説明する。本実施例は上記実施例 1 6と同様、カラーの原画像の拡大画像を推定する際の効率化に関係する発明である。

図 3 8は本実施例の画像処理装置の構成を示すブロック図であり、以下、この画像処理装置の動作について説明する。

先ず、画像入力手段 1 0で入力されたカラ一原画像から、基本カラ一成分としてグリーン成分を基本成分選択手段 2 8 0 0が選択し、変換比率導出手段 2 8 0 1がこのグリーン成分に対するレツド成分、ブルー成分のの単純比率 ra t i 0— r、 rat i o —bを求める処理は上記実施例 1 6と同様であるので説明を省略する。

次に、この基本カラー成分であるグリーン成分に対して、本発明の実施例 1 7、 1 8及び 1 9の画像処理装置と同様に、拡大処理を基本成分画像調整手段 3 8 0 2及び基本画像拡大手段 3 8 0 3で行う。そして、得られた基本カラー成分の拡大画像を基本拡大画像調整手段 1 5 0 4で所望の画像サイズ Ln画素 X Ln画素になるように、画素補間または間引きをして調整する。更に、不足成分拡大手段 3 8 0 5において、拡大された上記グリーン成分に上記単純比率 ra t i 0 — r、 ra t i o —bを乗算することで、残りのレッド、ブル一成分における拡大データを作成する。

この 3つの拡大成分を拡大カラー画像再構成手段 3 8 0 6が 1つに結合することで、カラー原画像の拡大画像を得ることができ、拡大画像出力手段 1 2 1 4ではそれを C R T等に表示したり、プリン夕等の出力装置に渡したり、他の画像処理装置で扱われるデ一夕と出力処理が行われる。

このような処理をとることで、カラー原画像を構成する複数成分 1つ 1つを拡大処理をする必要がなくなり処理の簡単化、高速化をはかることが可能となる。

Claims

請求の範囲

1 . 画像入力手段より入力された画像データを加工する画像処理装置において、

上記画像データに直交変換を施して原画像周波数成分を生成する原画像直交変換手段と、

上記原画像周波数成分より、低周波成分を抽出する低成分抽出手段と、上記低周波成分と、上記原画像周波数成分の残りの高周波成分との関連情報を求め、これを符号化する高成分符号化手段と、

上記低周波成分と上記関連情報とを合成し、簡易画像データを生成する符号合成手段とを備えることを特徴とする、画像処理装置。

2 . 上記低周波成分のデータ量を圧縮する低成分圧縮手段と、

該低成分圧縮手段により圧縮された低周波成分と上記関連情報とを合成し、簡易画像データを生成する上記符号合成手段とを備える、請求項 1に記載の画像処理装置。

3 . 上記簡易画像データを記憶する記憶媒体を備える、請求項 1に記載の画像処理装置。

4 . 予め指定された縮小サイズに応じた上記低周波成分に、逆直交変換を施すことで縮小画像を生成する縮小画像生成手段と、

該縮小画像を表示する縮小画像表示手段とを備える、請求項 1に記載の画像処理装置。

5 . 原画像に直交変換を施して得られる原画像周波数成分より抽出された低周波成分、及び、該低周波成分と残りの高周波成分との関連情報とを合成して得られる簡易画像データより、該低周波成分を取り出す低成分復号手段と、上記簡易画像データより上記関連情報を取り出し、上記低周波成分に基づいて高周波成分を復号する高成分復号手段と、

上記低周波成分と上記高周波成分とを結合し、逆直交変換を施して原画像を復元し、出力する原画像出力手段とを備えることを特徴とする、画像処理装置

6 . 上記簡易画像データを記憶媒体より取り出す、請求項 5に記載の画像処理装置。

7 . 画像入力手段より入力された画像データを加工する画像処理装置において、

上記原画像周波数成分より、原画像を所望の拡大率に応じて拡大した際の周波数成分を推定する不足成分推定手段と、

上記原画像周波数成分と、推定された上記周波数成分とから、予めサイズを指定された基本画像を復元するのに必要となる周波数成分を基本成分として抽出する基本成分抽出手段と、

上記基本成分と推定された上記周波数成分との関連情報を求め、これを符号化する多重画像符号化手段と、

上記基本成分と上記関連情報とを合成し、多重簡易画像データを生成する多重符号合成手段とを備えることを特徴とする、画像処理装置。

8 . 上記基本成分のデータ量を圧縮する基本成分圧縮手段と、

該基本成分圧縮手段により圧縮された基本成分と上記関連情報とを合成し、簡易画像データを生成する符号合成手段とを備える、請求項 7に記載の画像処理

9 . 上記多重簡易画像データを記憶する記憶手段を備える、請求項 7に記載の画像処理装置。

1 0 . 上記基本成分に逆直交変換を施すことで基本画像を生成する基本画像生成手段と、該基本画像を表示する基本画像表示手段とを備える、請求項 7に記載の画像処理装置。

1 1 . 複数の拡大サイズの画像の周波数成分より、予めサイズを指定された基本画像を復元するために抽出された基本成分及び、該基本成分と拡大画像の残りの高周波成分との関連情報を基に生成した多重簡易画像デ一夕から、該基本成分を取り出す基本成分復号手段と、

上記多重簡易画像データから上記基本成分と所望のサイズの拡大画像の高周波成分との関連情報とを取り出し、上記基本成分に基づいて上記高周波成分を復号する対象周波数復号手段と、

上記基本成分と上記高周波成分とを結合し、逆直交変換を施して上記所望のサイズの拡大画像を復元し、出力する対象画像出力手段とを備えることを特徴とする、画像処理装置。

1 2 . 上記多重簡易画像データを記憶媒体より取り出す、請求項 1 1に記載の画像処理装置。

1 3 . ユーザからの指示信号に基づいて上記記憶媒体よりの取り出しを開始する、請求項 1 2に記載の画像処理装置。

1 4 . 画像入力手段より入力された画像データを加工する画像処理装置において、

上記画像データを所望の拡大率に応じて画素補間する画素補間手段と、上記画素補間手段で得られた補間拡大画像の畳み込み処理を行う畳み込み手段と、

K 回目の畳み込み処理で得られた拡大画像と、 K- 1 回目の畳み込み処理で得られた拡大画像とにおける畳み込み値の平均値の差に基づいて、予め設定された収束条件を満足するか否かの判定を行う収束判定手段と、

上記収束判定手段で収束判定がなされた場合には、上記 K 回目の畳み込み処理で得られた拡大画像を出力する拡大画像出力手段とを備えることを特徴とする、画像処理装置。

1 5 . 特定の画像の周波数成分より低周波成分を抽出する低成分抽出処理と. 上記低周波成分と残りの高周波成分との関連情報を求める高成分符号化処理と、

上記低周波成分と上記関連情報とを合成して簡易画像データを生成する簡易画像合成処理とを備えることを特徴とする、画像処理方法。

1 6 . 特定の画像の周波数成分より低周波成分を抽出する低成分抽出処理と、上記低周波成分と残りの高周波成分との関連情報を求める高成分符号化処理と、

上記低周波成分と上記関連情報とを合成して簡易画像データを生成する合成処理と、

上記簡易画像データより上記低周波成分及び上記関連情報を復号する復号処理と、

複合された上記低周波成分及び上記関連情報を結合し、逆直交変換を施すことで上記特定の画像を出力する画像出力処理とを備えることを特徴とする、画像処理方法。

1 7 . 特定サイズの画像と該特定サイズの画像を拡大した拡大画像の周波数成分より、各サイズの画像に共通と見做せる低周波成分を基本成分として抽出する基本成分抽出処理と、

上記基本成分と各拡大画像の残りの高周波成分についての関連情報を求める多重画像符号化処理と、

上記基本成分と上記関連情報とを合成して多重簡易画像データを生成する多重簡易画像合成処理とを備えることを特徴とする、画像処理方法。

1 8 . 特定サイズの画像と該特定サイズの画像を拡大した複数の拡大画像の周波数成分より、各サイズの画像に共通と見做せる低周波成分を基本成分として抽出する基本成分抽出処理と上記基本成分と各拡大画像の残りの高周波成分についての関連情報を求める多重符号化処理と、

上記基本成分と上記関連情報とを合成することによって得られた多重簡易画像デ一夕より、上記基本成分と上記関連情報とを復号する対象周波数復号処理と、

複合された上記基本成分と上記関連情報とを結合し、逆直交変換を施すことで上記特定の画像を所望のサイズに拡大して出力する画像出力処理とを備えることを特徴とする、画像処理方法。

1 9 . 特定の画像の周波数成分より低周波成分を抽出し、該低周波成分と残りの高周波成分との関連情報を求め、上記低周波成分と上記関連情報とを合成して簡易画像データを生成するプログラムが記録された、記録媒体。

2 0 . 特定の画像の周波数成分より低周波成分を抽出し、上記低周波成分と残りの高周波成分との関連情報を求め、上記低周波成分と上記関連情報とを合成して簡易画像データを生成するとともに、該簡易画像データより上記低周波成分及び上記関連情報を復号して、複合された上記低周波成分及び上記関連情報を結合し、逆直交変換を施すことで上記特定の画像を出力するプログラムが記録された、記録媒体。

2 1 . 特定サイズの画像と該特定サイズの画像を拡大した拡大画像の周波数成分より、各サイズの画像に共通と見做せる低周波成分を基本成分として抽出し、該基本成分と各拡大画像の残りの高周波成分についての関連情報を求め、上記基本成分と該関連情報とを合成して多重簡易画像デー夕を生成するプログラムが記録された、記録媒体。

2 2 . 特定サイズの画像と該特定サイズの画像を拡大した複数の拡大画像の周波数成分より、各サイズの画像に共通と見做せる低周波成分を基本成分として抽出し、上記基本成分と各拡大画像の残りの高周波成分についての関連情報を求め、上記基本成分と該関連情報とを合成することによって得られた多重簡易画像データより、上記基本成分と上記関連情報とを復号するとともに、複合された上記基本成分と上記関連情報とを結合し、逆直交変換を施すことで上記特定の画像を所望のサイズに拡大して出力するプログラムが記録された、記録媒体。

2 3 . 特定の画像データを所望の拡大サイズに拡大して拡大画像を得る画像処理装置において、

上記特定の画像データに直交変換を施して原画像周波数成分を生成する原画像直交変換手段と、

上記原画像周波数成分に対し、非線形補間を行って上記拡大画像の周波数成分を推定する拡大周波数推定手段と、

推定された上記拡大画像の周波数成分に、上記拡大サイズに対応する逆直交変換を施して拡大画像信号を得る逆直交変換手段とを備えることを特徴とする画像処理装置。

2 4 . 特定の画像データを所望の拡大サイズに拡大して拡大画像を得る画像処理装置において、

上記特定の画像デ一夕に所定のエッジ検出処理を施すことで、該特定の画像データのエッジ画像データを生成するエッジ生成手段と、

上記エッジ画像データに基づいて拡大エッジ画像の周波数成分を推定する拡大エッジ推定手段と、

推定された上記拡大エッジ画像の周波数成分の低周波領域を上記原画像周波数成分で置換して置換周波数成分を生成する低周波置換手段と、

上記置換周波数成分を逆直行変換して上記拡大画像を得る逆直行変換手段とを備えることを特徴とする、画像処理装置。

2 5 . 上記拡大エッジ推定手段が、上記ェッジ画像データに線形近似を施すことで上記拡大画像のェッジ画像デ一夕を推定する拡大エッジ近似手段と、

上記拡大画像のエッジ画像データの周波数成分を直交変換により求めるエツジ画像周波数生成手段とを備える、請求項 2 4に記載の画像処理装置。

2 6 . 上記拡大ェッジ推定手段が、

上記エッジ画像データの周波数成分を直交変換で生成するエッジ画像直交変換手段と、

生成された上記ェッジ画像デ一夕の周波数成分に基づき、拡大後のエツジ画像デー夕の周波数領域を推定するェッジ周波数推定手段とを備える、請求項 2 4に記載の画像処理装置。

2 7 . 上記原画像直交変換手段で得られたエッジ画像データの周波数成分を線形補間することで、上記拡大後のエッジ画像デ一夕の周波数成分を推定する上記エッジ周波数推定手段を備える、請求項 2 5に記載の画像処理装置。

2 8 . 上記原画像直交変換手段で得られたエッジ画像データの周波数成分に対し、非線形補間手法を適用することで上記拡大後のエツジ画像データの周波数成分を推定する上記エッジ周波数推定手段を備える、請求項 2 5に記載の画

2 9 . 特定の画像データを所望の拡大サイズに拡大して拡大画像を得る画像処理装置において、

上記特定の画像データを複数の重複したプロックに分割するブロック分割手段と、

上記ブロック分割手段で得られたブロック内画像に直交変換を施してブロック内画像の周波数成分を生成するプロック画像直交変換手段と、

上記プロック内画像の周波数成分に基づいて、プロック内画像の拡大画像の周波数成分を推定する拡大ブロック画像周波数推定手段と、

推定された上記周波数成分より、上記拡大画像に必要なプロック内周波数成分を抽出するブロック内周波数抽出手段と、

上記プロック内周波数成分に、該ブロック内周波数成分のサイズに対応する逆直交変換を施して拡大プロック画像を得るプロック逆直交変換手段と

複数の上記拡大ブロック画像を結合して上記拡大画像を得る拡大画像構成手段とを備えることを特徴とする、画像処理装置。

3 0 . 特定の画像データを所望の拡大サイズに拡大して拡大画像を得る画像処理装置において、

上記特定の画像データを複数の重複のないプロックに分割するプロック分割手段と、

上記ブロック内の画像デ一夕を所定の変換関数に基づいて、上記ブロックの境界上で特定の境界条件を満たすように変換するプロック内データ変換手段と, 変換された上記プロック内の画像データに直交変換を施してプロック内画像の周波数成分を生成するブロック画像直交変換手段と、

上記プロック内画像の周波数成分に基づいて、プロック内画像の拡大画像の周波数成分を推定する拡大プロック画像周波数推定手段と、

推定された上記拡大画像の周波数成分に、該拡大画像の周波数成分サイズに対応する逆直交変換を施して拡大プロック画像を得るプロック逆直交変換手段と

複数の上記拡大プロック画像を結合して上記拡大画像を得る画像構成手段とを備えることを特徴とする、画像処理装置。

3 1 . 特定のカラ一画像データを所望の拡大サイズに拡大して拡大画像を得る画像処理装置において、

上記されたカラー画像を構成するカラー成分の中、基準となるカラー成分である基準成分を決定する基準成分選択手段と、

上記基準成分のデータから他のカラー成分のデータを導出する際の変換比率を導出する変換比率導出手段と、上記基準成分のデータに直交変換を施して基準成分の周波数成分を生成する基準画像直交変換手段と、

上記基準成分の周波数成分より、拡大画像の周波数成分を推定する基準拡大周波数推定手段と、

上記基準成分の拡大画像の周波数成分に、該拡大画像の周波数成分のサイズに対応する逆直交変換を施して基準成分の拡大画像データを得る基準逆直交変換手段と、

上記基準成分の拡大画像データと上記変換比率とに基づいて上記拡大画像における他のカラー成分データを推定する不足成分拡大手段と、

上記基準成分の拡大画像データと、上記他のカラー成分データを合成することで上記拡大画像を生成する拡大カラ一画像再構成手段とを備えることを特徴とする、画像処理装置。

3 2 . 特定の画像データを所望の拡大サイズに拡大して拡大画像を得る画像処理方法において、

上記特定の画像データに直交変換を施して原画像周波数成分を生成する原画像直交変換処理と、

上記原画像周波数成分に対し、非線形補間を行って上記拡大画像の周波数成分を推定する拡大周波数推定処理と、

推定された上記拡大画像の周波数成分に、上記拡大サイズに対応する逆直交変換を施して拡大画像信号を得る逆直交変換処理とを備えることを特徴とする, 画像処理方法。

3 3 . 特定の画像データを所望の拡大サイズに拡大して拡大画像を得る画像処理方法において、

所定の方法により上記特定の画像データのエッジ画像データを生成するエツジ生成処理と、

上記ェッジ画像データに線形近似を施すことで上記拡大画像のエツジ画像デ一夕を推定する拡大エッジ推定処理と、

上記拡大画像のエッジ画像データの周波数成分を直交変換により求めるエツジ画像周波数生成処理と、

上記エツジ画像データの周波数成分の低周波数領域を、上記原画像周波数成分により置換して置換周波数成分を生成する低周波置換処理と、

上記置換周波数成分を逆直交変換する逆直交変換処理とを備えることを特徴とする、画像処理方法。

3 4 . 特定の画像データを所望の拡大サイズに拡大して拡大画像を得る画像処理方法において、

上記エッジ画像データの周波数成分を直交変換で生成するエッジ画像直交変換処理と、

生成された上記ェッジ画像の周波数成分に基づき、拡大後のエツジ画像の周波数領域を推定するエツジ周波数推定処理と、

上記拡大後のエッジ画像の周波数成分の低周波数領域を、上記原画像周波数成分により置換する低周波置換処理とを備えることを特徴とする、画像処理方法。

3 5 . 上記原画像直交変換処理で得られたエッジ画像データの周波数成分を線形近似することで、上記拡大後のエツジ画像データの周波数成分を推定する上記エッジ周波数推定処理を備える、請求項 3 4に記載の画像処理方法。

3 6 . 上記原画像直交変換処理で得られたエッジ画像データの周波数成分に対し、非線形補間手法を適用することで上記拡大後のエッジ画像データの周波数成分を推定する上記エッジ周波数推定処理を備える、請求項 3 4に記載の画像処理方法。

3 7 . 特定の画像データを所望の拡大サイズに拡大して拡大画像を得る画像処理方法において、

上記特定の画像データを複数の重複したプロックに分割するプロック分割処理と、

上記ブロック分割手段で得られたブロック内画像に直交変換を施してブロック内画像の周波数成分を生成するブロック画像直交変換処理と、

上記ブロック内画像の周波数成分に基づいて、ブロック内画像の拡大画像の周波数成分を推定する拡大プロック画像周波数推定処理と、

推定された上記周波数成分より、上記拡大画像に必要なプロック内周波数成分を抽出するブロック内周波数抽出処理と、

上記ブロック内周波数成分に、該ブロック内周波数成分のサイズに対応する逆直交変換を施して拡大ブロック画像を得るブロック逆直交変換処理と

複数の上記拡大プロック画像を結合して上記拡大画像を得る拡大画像構成処理とを備えることを特徴とする、画像処理方法。

3 8 . 特定の画像データを所望の拡大サイズに拡大して拡大画像を得る画像処理方法において、

上記特定の画像デ一夕を複数の重複のないプロックに分割するプロック分割処理と、

上記プロック内の画像データを所定の変換関数に基づいて、上記プロックの境界上で特定の境界条件を満たすように変換するブロック内データ変換処理と , 変換された上記ブロック内の画像データに直交変換を施してブロック内画像の周波数成分を生成するブロック画像直交変換処理と、

上記プロック内画像の周波数成分に基づいて、プロック内画像の拡大画像の周波数成分を推定する拡大プロック画像周波数推定処理と、

推定された上記拡大画像の周波数成分に、該拡大画像の周波数成分サイズに対応する逆直交変換を施して拡大プロック画像を得るプロック逆直交変換処理と

複数の上記拡大プロック画像を結合して上記拡大画像を得る画像構成処理とを備えることを特徴とする、画像処理方法。

3 9 . 特定のカラー画像データを所望の拡大サイズに拡大して拡大画像を得る画像処理方法において、

上記特定のカラー画像を構成するカラー成分の内で、基準となるカラー成分である基準成分を決定する基準成分選択処理と、

上記基準成分のデータから他のカラ一成分のデータを導出する際の変換比率を導出する変換比率導出処理と、

上記基準成分のデータに直交変換を施して基準成分の周波数成分を生成する基準画像直交変換処理と、

上記基準成分の周波数成分より、拡大画像の周波数成分を推定する基準拡大周波数推定処理と、

上記基準成分の拡大画像の周波数成分に、該拡大画像の周波数成分のサイズに対応する逆直交変換を施して基準成分の拡大画像データを得る基準逆直交変換処理と、

上記基準成分の拡大画像データと上記変換比率とに基づいて上記拡大画像における他のカラ一成分データを推定する不足成分拡大処理と、

上記基準成分の拡大画像デ一夕と、上記他のカラー成分データを合成することで上記拡大画像を生成する拡大カラー画像再構成処理とを備えることを特徴とする、画像処理方法。

4 0 . 特定の画像データを所望の拡大サイズに拡大して拡大画像を得る際に. 該特定の画像データに直交変換を施して原画像周波数成分を生成し、該原画像周波数成分に対して非線形補間を行って上記拡大画像の周波数成分を推定し、推定された上記拡大画像の周波数成分に上記拡大サイズに対応する逆直交変換を施して上記拡大画像を得るプログラムが記録された、記録媒体。

4 1 . 特定の画像データを所望の拡大サイズに拡大して拡大画像を得る際に. 該特定の画像デ一夕に直交変換を施して原画像周波数成分を生成するとともに. 所定の方法により該特定の画像デ一夕のエツジ画像デー夕を生成し、該エッジ画像データに線形近似を施すことで上記拡大画像のェッジ画像データを推定し , 該拡大画像のエッジ画像データの周波数成分を直交変換により求め、該周波数成分の低周波数領域を上記原画像周波数成分により置換して置換周波数成分を生成し、該置換周波数成分に逆直交変換を施して上記拡大画像を得るプロダラムが記録された、記録媒体。

4 2 . 特定の画像データを所望の拡大サイズに拡大して拡大画像を得る際に、該特定の画像データに直交変換を施して原画像周波数成分を生成するとともに、所定の方法により該特定の画像デー夕のエツジ画像データを生成し、該ェッジ画像データの周波数成分を直交変換で生成し、該エッジ画像の周波数成分に基づいて拡大後のエツジ画像の周波数領域を推定するとともに、該拡大後のエツジ画像の周波数成分の低周波数領域を、上記原画像周波数成分により置換するプログラムが記録された、記録媒体。

4 3 . 特定の画像データを所望の拡大サイズに拡大して拡大画像を得るさいに、該特定の画像デ一夕を複数の重複したブロックに分割し、得られたブロック内画像に直交変換を施してブロック内画像の周波数成分を生成し、該ブロック内画像の周波数成分に基づいて、ブロック内画像の拡大画像の周波数成分を推定するとともに、推定された上記周波数成分より、上記拡大画像に必要なブロック内周波数成分を抽出し、該ブロック内周波数成分に、該ブロック内周波数成分のサイズに対応する逆直交変換を施して拡大ブロック画像を得、該複数の上記拡大ブロック画像を結合して上記拡大画像を得るプログラムが記録された、記録媒体。

4 4 . 特定の画像デ一夕を所望の拡大サイズに拡大して拡大画像を得る際に該特定の画像データを複数の重複のないプロックに分割し、該ブロック内の画像データを所定の変換関数に基づいて、該ブロックの境界上で特定の境界条件を満たすように変換し、変換された該ブロック内の画像デ一夕に直交変換を施してプロック内画像の周波数成分を生成するとともに、該ブロック内画像の周波数成分に基づいて、ブロック内画像の拡大画像の周波数成分を推定し、該拡大画像の周波数成分に、該拡大画像の周波数成分サイズに対応する逆直交変換を施して拡大ブロック画像を得、該複数の上記拡大ブロック画像を結合して上記拡大画像を得るプログラムが記録された、記録媒体

4 5 . 特定のカラー画像データを所望の拡大サイズに拡大して拡大画像を得る際に、該特定のカラ一画像を構成するカラー成分の中、基準となるカラー成分である基準成分を決定し、該基準成分のデータから他のカラー成分のデ一夕を導出する際の変換比率を導出し、該基準成分のデータに直交変換を施して基準成分の周波数成分を生成し、該基準成分の周波数成分より、拡大画像の周波数成分を推定するとともに、該基準成分の拡大画像の周波数成分に、該拡大画像の周波数成分のサイズに対応する逆直交変換を施して基準成分の拡大画像デ一夕を得、該基準成分の拡大画像デ一夕と上記変換比率とに基づいて上記拡大画像における他のカラー成分デ一夕を推定することにより上記拡大画像を得るプログラムが記録された、記録媒体。

4 6 . n画素 x m画素の原画像を拡大処理して Ln画素 X Lm画素の拡大画像を得る画像処理装置において、

上記原画像を Ln/2画素 X Lm/2画素に補間又は間引き（以下まとめて「調整」という）する入力画像調整手段と、

上記入力画像調整手段により調整された画像にウェーブレツト変換に基づく拡大方法を適用して拡大画像を生成する画像拡大手段とを備えることを特徴とする、画像処理装置。

4 7 . 原画像を拡大処理して拡大画像を得る画像処理装置において、拡大対象画像として原画像を設定する拡大処理初期化手段と、

上記拡大対象画像にウェーブレット変換に基づく拡大方法を適用することにより、 4倍の画素数を持つ拡大画像を生成する対象画像拡大手段と、

上記対象画像拡大手段により得られた拡大画像を拡大対象画像に設定し、対象画像拡大手段に処理を戻す多重処理終了判定手段と、

上記対象画像拡大手段により得られた拡大画像を視覚的に提示する拡大画像提示手段と、

上記拡大画像提示手段により提示された拡大画像に対し、拡大処理または縮小処理を行う画像調整手段と、

上記画像調整手段により得られた画像を出力する拡大画像出力手段とを備えることを特徴とする、画像処理装置。

4 8 . 上記画像拡大手段が、

上記入力画像調整手段により調整された画像の複数の特定方向のエッジ画像を生成するエッジ生成手段と、

上記各エッジ画像及び、調整された上記原画像とをウェーブレツト変換におけるサブバンド成分と見なし、このサブバンド成分に対して逆ウェーブレツト変換を施して 4倍の画素数を持つ拡大画像を生成するレベルアップ手段とを備える、請求項 4 6及び 4 7に記載の画像処理装置。

4 9 . 上記複数の特定方向が、垂直、水平及び斜めの 3方向である、請求項

4 8に記載の画像処理装置。

5 0 . 上記画像拡大手段が、

調整された上記原画像の水平、垂直方向画素数が 2の倍数になるように再調整する入力微調整手段と、

再調整された上記原画像にウェーブレツト変換を施して変換画像を生成するレベルダウン手段と、

上記変換画像の低周波領域に位置する複数のサブバンド成分より上記複数の特定方向のエツジ画像を生成する参照成分生成手段と、

上記各エッジ画像と、上記変換画像の上記特定の方向に対応する低周波領域に属するサブバンド成分との関連を求める補正推定手段と、

上記各エッジ画像を上記補正推定手段の結果により補正してウェーブレツト変換における各サブバンド成分を推定する成分推定手段と、

上記各サブバンド成分及び再調整された上記原画像に対して逆ウェーブレツト変換を施して 4倍の画素数を持つ拡大画像を生成するレベルァップ手段とを備える、請求項 4 6及び 4 7に記載の画像処理装置。

5 1 . 上記参照成分生成手段が、上記変換画像の低周波領域に位置するサブバンド成分からラプラシフィル夕処理により上記各エッジ画像を求める、請求項 5 0に記載の画像処理装置。

5 2 . 上記 Ln/2および Lm/2の値が整数である場合に、入力された原画像を上記入力調整手段により調整し、調整された原画像に対して上記画像拡大手段により拡大画像を生成し、

Ln/2または Lm/2の少なくとも一方の値が整数でない場合には、入力された原画像を上記入力調整手段により調整し、調整された画像に対して上記画像拡大手段により拡大画像を生成し、その後、上記画像拡大手段で得られた拡大画像を拡大画像調整手段により Ln画素 X Lm画素に調整する、請求項 4 6及び 4 7に記載の画像処理装置。

5 3 . n画素 X m画素のカラー画像を拡大処理して Ln画素 X Lm画素の拡大画像を得るカラー画像処理装置において、

上記カラ一画像構成成分より基本カラー成分を選択する基本成分選択手段と, 上記基本成分選択手段で選択された基本カラー成分から他のカラー成分を導出する際の変換比率を導出する変換比率導出手段と、入力された原画像の基本カラー成分を Ln/2画素 X Lm/2画素に調整する基本成分画像調整手段と、

調整された上記基本力ラ一成分にウェーブレット変換に基づく方法を適用して基本拡大画像を生成する基本画像拡大手段と、

上記基本拡大画像を所望の Ln画素 X Lm画素に調整する基本拡大画像調整手段と、

調整された上記基本拡大画像に上記変換比率を適用することで他のカラ一成分の拡大画像を推定する不足成分拡大手段と、

上記基本拡大圃像と、上記他のカラー成分の拡大画像を合成することにより上記拡大画像を生成する拡大カラー画像再構成手段とを備えることを特徴とする、画像処理装置。

5 4 . 上記補正推定手段が、

上記各特定方向のエッジ画像と、上記変換画像の該各特定方向に対応する低周波領域に属するサブバンド成分との差分画像を各補正成分画像として求め、上記成分推定手段が、

上記各補正成分画像を線形補間により 4倍の画素数の画像に拡大し、対応するエッジ画像に加えることで補正処理を行う、請求項 5 0に記載の画像処理装

5 5 . n画素 X m画素の原画像を拡大処理して Ln画素 X Lm画素の拡大画像を得る画像処理方法において、

上記原画像を Ln/2画素 X Lm/2画素に調整する入力画像調整処理と、上記入力画像調整手段により調整された画像にウェーブレット変換に基づく拡大方法を適用して拡大画像を生成する画像拡大処理とを備えることを特徴とする、画像処理方法。

5 6 . 原画像を拡大処理して拡大画像を得る画像処理方法において、拡大対象画像として原画像を設定する拡大処理初期化処理と、上記拡大対象画像にウェーブレツト変換に基づく拡大方法を適用することにより、 4倍の画素数を持つ拡大画像を生成する対象画像拡大処理と、

上記対象画像拡大手段により得られた拡大画像を拡大対象画像に設定し、対象画像拡大手段に処理を戻す多重処理終了半 ij定処理と、

上記対象画像拡大手段により得られた拡大画像を視覚的に提示する拡大画像提示処理と、

上記拡大画像提示手段により提示された拡大画像に対し、拡大処理または縮小処理を行う画像調整処理と、

上記画像調整手段により得られた画像を出力する拡大画像出力処理とを備えることを特徴とする、画像処理方法。

5 7 . n画素 X III画素の原画像を拡大処理して Ln画素 X Lm画素の拡大画像を得る際に、上記原画像を Ln/2画素 X Lm/2画素に調整し、該調整された画像にゥェーブレツト変換に基づく拡大方法を適用して拡大画像を生成するプログラムが記録された、記録媒体。

5 8 . 原画像を拡大処理して拡大画像を得る際に、拡大対象画像として原画像を設定し、該拡大対象画像にウェーブレツト変換に基づく拡大方法を適用することにより、 4倍の画素数を持つ拡大画像を生成し、該拡大画像を拡大対象画像として設定して対象画像拡大手段に処理を戻すとともに、上記拡大画像を視覚的に提示し、該拡大画像に対し拡大処理または縮小処理を行うプログラムが記録された、記録媒体。