JP3549720B2

JP3549720B2 - 画像処理装置

Info

Publication number: JP3549720B2
Application number: JP01603998A
Authority: JP
Inventors: 輝彦松岡
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1998-01-28
Filing date: 1998-01-28
Publication date: 2004-08-04
Anticipated expiration: 2018-01-28
Also published as: JPH11213146A; US6272261B1

Description

【０００１】
【発明の属する技術分野】
本発明は、多階調画像に対して、高解像度変換や拡大処理などを行う画像処理装置に関するものである。
【０００２】
【従来の技術】
例えばスキャナやデジタルカメラなどによって入力された多階調画像に対して、高解像度変換や拡大処理などを行う際には、補間画素の周辺の画素のデータを用いて積和演算を行い、演算結果に基づいて補間画素のデータを決定する。このような補間演算法としては、▲１▼補間画素に最も近い位置にある画素のデータを、該補間画素のデータとして用いる単純補間法（ＮｅａｒｅｓｔＮｅｉｇｈｂｏｒ）、▲２▼周辺画素のデータを用いて、平面的な積和演算を行う線型補間法（Ｂｉ−Ｌｉｎｅａｒ）、▲３▼周辺画素のデータを用いて、曲面的な積和演算を行う曲面補間法（ＣｕｂｉｃＣｏｎｖｏｌｕｔｉｏｎ）などが挙げられる。
【０００３】
それぞれの補間演算法には、長所と短所がある。単純補間法においては、処理時間は早いが、斜めのライン等がギザギザの状態（ジャギー）になってしまい、画質としては良くない。線型補間法においては、処理時間は比較的短く、濃度変化の緩やかな部分の補間に対してはうまく補間がなされるが、エッジ部のような、急激に濃度が変化している部分に対しては、エッジがぼけて補間されてしまう。曲面補間法においては、濃度変化が緩やかな部分で若干画質が落ちるが、滑らかな画像が得られ、エッジもぼけずに補間される。しかしながら、処理時間が比較的長くかかり、濃度変化の緩やかな部分に小さな点のようなノイズがある場合、そのノイズを強調してしまい、画質が劣化する。
【０００４】
【発明が解決しようとする課題】
上記のような補間演算法をそのまま単独で用いると、例えば文字画像や写真画像が混在した画像に対して、文字部分の解像性と写真領域の滑らかさとを同時に満足した高解像度変換や拡大処理を行うことができない。
【０００５】
これに対して、部分領域の濃度変化に基づいてエッジ部と非エッジ部とを判断し、各領域ごとにそれぞれ異なる補間処理を行う方法が提案されている。例えば、特開平５−１３５１６５号公報には、ある注目画素とその周辺画素を含めた局所領域において、濃度の最大値と最小値とを求め、その最大値から最小値を引いた最大濃度値を用いて、文字領域か写真領域かを判断する画像処理装置が開示されている。
【０００６】
しかしながら、局所領域にノイズが発生していた場合などには、実際には濃度変化が少ないはずの領域であるにも関わらず、最大濃度差として大きな値が得られ、間違った判断をすることが考えられる。また、このような、濃度変化を用いるエッジの抽出方法では、抽出の仕方によっては、エッジの方向の変化に伴って局所領域内の濃度変化のパターンが変化してしまう。よって、画像を回転させた場合などには、異なる抽出条件が必要となり、条件式が複雑化し、処理時間が長くなるなどの問題が生じる。
【０００７】
本発明の目的は、文字画像と写真画像とが混在した画像に対しても、文字領域の解像性と写真領域の滑らかさとを同時に満足した高解像度変換や拡大処理を行うことができる画像処理装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記の課題を解決するために、本発明の第１画像処理装置は、処理対象の多階調画像を部分画像に分割し、各部分画像に対して高解像度変換や拡大処理を行う画像処理装置であって、上記部分画像に対して周波数変換処理を行う周波数変換手段と、上記周波数変換手段の出力に基づいて、上記部分画像の特徴量を抽出する特徴量抽出手段と、上記特徴量抽出手段の出力に基づいて、上記部分画像に対して高解像度変換や拡大処理を行うための変換フィルタを選択する変換フィルタ選択手段とを備えていることを特徴としている。
【０００９】
上記の構成によれば、周波数変換手段が上記部分画像に対して周波数変換処理を行い、特徴量抽出手段が上記部分画像の特徴量を抽出し、変換フィルタ選択手段が、上記特徴量抽出手段の出力に基づいて上記変換フィルタを選択するので、各部分画像の特徴に適した補間を行うことができる。詳しく説明すると、周波数変換処理の結果に基づいて各部分画像の特徴を判断するので、部分画像内にノイズが生じている場合でも、そのノイズにほとんど影響されずに、該部分画像に最適な変換フィルタを選択することができる。よって、例えば文字画像のようなエッジ画像に対しては、そのエッジが保存されるような補間をし、例えば写真画像のような濃度変化が滑らかな画像に対しては、その滑らかさが維持されるような補間をすることができる。これにより、画質劣化の少ない高解像度変換画像を得ることができる。
【００１０】
本発明の第２画像処理装置は、第１画像処理装置の構成において、上記変換フィルタ選択手段は、上記特徴量を入力とし、上記部分画像に対する各変換フィルタの適合度を出力する階層型ニューラルネットワークを備え、上記適合度に基づいて変換フィルタを選択することを特徴としている。
【００１１】
上記特徴量から上記部分画像に対する各変換フィルタの適合度を算出する際に、例えば論理演算のような形式で演算を行う場合、上記特徴量の数が多くなると膨大な計算量となり、処理時間が長くなってしまう。しかしながら、上記の構成によれば、予め学習させてある階層型ニューラルネットワークによって各変換フィルタの適合度を算出するので、上記特徴量の数が多少多くなっても、短い処理時間で演算を行うことができる。よって、特徴量をある程度多くすることができるので、より的確に、各部分画像に適した変換フィルタを選択することができる。
【００１２】
本発明の第３画像処理装置は、第１画像処理装置の構成において、上記特徴量抽出手段は、上記周波数変換手段によって得られた、部分画像と同サイズの周波数変換係数からなるマトリクスを、複数のパターンで複数の領域に分割し、各領域毎に周波数変換係数の平均値を上記特徴量として算出することを特徴としている。
【００１３】
上記の構成によれば、特徴量抽出手段は、上記の周波数変換係数からなるマトリクスを複数のパターンで複数の領域に分割し、各領域毎に周波数変換係数の平均値を上記特徴量として算出するので、部分画像内にエッジがある場合、エッジが向いている方向によらず、各部分画像の特徴を的確に示す特徴量を算出することができる。
【００１４】
本発明の第４画像処理装置は、第３画像処理装置の構成において、上記特徴量抽出手段は、上記周波数変換係数の絶対値の平均値を上記特徴量として算出することを特徴としている。
【００１５】
周波数変換係数は、一般に正負の値をとるので、上記の各領域毎の周波数変換係数の平均値をとる際に、そのままの値で総和を計算すると、正負の値同士で打ち消し合ってしまい、特徴が現れなくなってしまう。しかしながら、上記の構成によれば、上記特徴量として、周波数変換係数の絶対値の平均値を用いるので、上記の各領域の特徴を確実に反映することができる。よって、各部分画像の特徴を的確に示す特徴量を算出することができる。
【００１６】
本発明の第５画像処理装置は、第３画像処理装置の構成において、上記特徴量抽出手段は、上記の周波数変換係数からなるマトリクスの交流成分を複数の領域に分割するパターンとして、低周波成分から高周波成分までの複数の領域に分割するパターンと、マトリクスの左上を中心として放射状に一定の角度で複数の領域に分割するパターンとを用いることを特徴としている。
【００１７】
上記の構成によれば、低周波成分から高周波成分までの複数の領域に分割するパターンと、マトリクスの左上を中心として放射状に一定の角度で複数の領域に分割するパターンとによって、上記の周波数変換係数からなるマトリクスの交流成分を複数の領域に分割するので、部分画像内にエッジがある場合、そのエッジの方向が、縦か横かそれ以外かを判断することができる。よって、より的確に、各部分画像の特徴を示す特徴量を算出することができる。
【００１８】
本発明の第６画像処理装置は、第１画像処理装置の構成において、上記周波数変換手段は、４×４のマトリクスサイズの離散コサイン変換によって周波数変換を行うことを特徴としている。
【００１９】
上記の構成によれば、４×４のマトリクスサイズの離散コサイン変換によって周波数変換を行っているので、通常良く用いられる８×８のマトリクスサイズの離散コサイン変換に比べて、実際に装置として設計した場合、回路の規模を小さくすることができ、また、処理量も減少する。よって、装置の小型化およびコストの低減化が可能となり、かつ、演算時間を短縮することができる。
【００２０】
本発明の第７画像処理装置は、第２画像処理装置の構成において、上記変換フィルタとして、シグモイド関数を用いたフィルタを用いる場合、該シグモイド関数は、ｘを補間画素の位置座標とすると、1/(1+exp(-Wg(x-0.5)))の式で表され、上記変換フィルタ選択手段においてシグモイド関数を用いたフィルタが選択された場合に、その適合度の大きさに比例して上式のWgの値が大きくなるように設定されていることを特徴としている。
【００２１】
上記の構成によれば、上記変換フィルタ選択手段においてシグモイド関数を用いたフィルタが選択された場合に、その適合度の大きさに比例して上式のＷｇの値が大きくなるように設定されているので、適合度に応じて、その適合度に最適な補間処理を行うことができる。例えば、適合度が大きい場合には、シグモイド関数のしきい値付近の傾きが大きくなり、エッジが保存されるような補間処理がなされ、適合度が小さい場合には、シグモイド関数のしきい値付近の傾きが小さくなり、滑らかな補間処理がなされることになる。よって、部分画像の特徴に応じて、より詳細に補間処理の制御を行うことが可能となり、画質劣化の少ない、自然な高解像度変換画像を得ることができる。
【００２２】
【発明の実施の形態】
本発明の実施の一形態について図１ないし図９に基づいて説明すれば、以下のとおりである。
【００２３】
図１は、本実施の形態に係る画像処理装置の概略構成を示すブロック図である。該画像処理装置は、部分画像抽出手段１、周波数変換手段２、係数演算手段（特徴量抽出手段）３、変換フィルタ選択手段４、および補間処理手段５を備えている。
【００２４】
部分画像抽出手段１は、イメージスキャナやデジタルカメラ等の画像入力装置から入力された原画像のデータ、もしくは、既に入力され、ハードディスクやメモリなどの記憶装置に記憶されている多階調の原画像データから、処理対象となる部分画像のデータをメモリに読み出してくる。
【００２５】
周波数変換手段２は、部分画像抽出手段１によって抽出された部分画像に対して、該部分画像と同サイズの、ＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）等の周波数変換マトリクスを用いて周波数変換処理を行う。そして、抽出された部分画像の周波数領域に変換された値を、周波数変換マトリクスの係数としてメモリ等に一時保存しておく。
【００２６】
係数演算手段３は、次に示すような動作を行う。周波数変換手段２によって得られた、周波数変換係数からなるマトリクスを、例えば、低周波から高周波までの３つの領域、およびマトリクスの左上を中心としてマトリクス左側から上側まで放射状に、３０度ずつ３つの領域に分割する。そしてこれらの６つの領域毎に係数の絶対値の平均値を求め、各領域の平均係数値として一時保存しておく。
【００２７】
変換フィルタ選択手段４は、次に示すような動作を行う。係数演算手段３によって計算された６つの領域の平均係数値を、階層型のニューラルネットワークに入力する。上記階層型ニューラルネットワークとしては、予め実験データの学習によって最適な補間演算法を用いたフィルタを選択することができる、６入力３出力の３層パーセプトロンを用いる。階層型ニューラルネットワークは、６つの入力データに基づいて画像の特徴を判断し、３つのフィルタに対する適合度を出力する。これらの適合度の中で最大の適合度をもつフィルタが、部分画像に対応するフィルタとして選択される。上記の３つのフィルタとして、本実施形態では、曲線補間法を用いたフィルタ、線型補間法を用いたフィルタ、およびシグモイド関数を用いたフィルタを用いる。
【００２８】
補間処理手段５は、変換フィルタ選択手段４によって選択されたフィルタを用いて、部分画像に対し、高解像度変換や拡大処理を行うための補間処理を行い、補間データをメモリなどに保存する。
【００２９】
次に、本実施形態に係る画像処理装置における処理の流れを、詳細に説明する。ここでは、３種類の特徴的な部分画像の例として、図２（ａ）ないし（ｃ）に示すような、４×４画素からなり、２５６階調を有する部分画像に対しての処理について説明する。なお、図２（ａ）は非エッジ画像、図２（ｂ）は斜めエッジ画像、図２（ｃ）は縦エッジ画像を示している。また、以下の説明においては、２倍の解像度変換を行う補間処理について説明する。
【００３０】
部分画像抽出手段１は、予め入力された原画像から、図２（ａ）ないし（ｃ）に示すような４×４画素分の画像データを読み出してくる。そして、そのデータをバッファに一次保存すると同時に、周波数変換手段２にそのデータを送る。
【００３１】
そして、一連の流れが終了し、バッファに一次保存している画像データを変換し終えたら、横方向に、次の４×４画素の画像データを読み出しに行く。この際に、図３に示すように、現在の４×４画素の右端一列分の画素が、次の４×４画素の左端一列分の画素となるように読み出してくる。また、横方向への４×４画素の読み出しが一番右端の画素の列まで来たときには、下の行の一番左端から読み出すことになるが、この際にも、直上の４×４画素の下端一行分の画素が、直下の４×４画素の上端一行分の画素となるように読み出してくる。これにより、ブロック歪みが解消される。
【００３２】
周波数変換手段２は、部分画像抽出手段から送られてきた画像データを、基底の長さが４のＤＣＴで周波数変換を行う。
【００３３】
ここで、ＤＣＴについて簡単に説明する。ＤＣＴとは、離散コサイン変換の略であり、画像処理で使用される２次元ＤＣＴを式で表すと次のようになる。
【００３４】
【数１】

【００３５】
ただし、

ここで、ｘ（ｍ，ｎ）は画像データ、ａ_ｕｖ（ｍ，ｎ）は２次元ＤＣＴの基底、Ｎは基底の長さ、Ｘ（ｕ，ｖ）はＤＣＴ係数である。また、Ｃ（ｕ），Ｃ（ｖ）は定数であり、次に示す値となっている。
【００３６】
Ｃ（ｐ）＝１／ √２（ｐ＝０），Ｃ（ｐ）＝１（ｐ≠０）
さらに、Ｘ（ｕ，ｖ）においては、Ｘ（０，０）をＤＣ係数、残りのＸ（ｕ，ｖ）をＡＣ係数という。
【００３７】
本実施形態で用いる２次元ＤＣＴは、基底が４（Ｎ＝２^２）のマトリクスサイズであるので、高速演算アルゴリズムが適用可能である。具体的な式は次のようになる。
【００３８】
【数２】

【００３９】
また、高速演算のために、上記ｃｏｓ（）の値を予め求めておき、図４に示すようなマトリクスとしてメモリなどに用意しておく。なお、図４のマトリクス上の数値は、高速演算処理を行うために、本来は浮動小数値で表される値を１２ビット左へシフト演算し、固定小数値で表したものである。
【００４０】
そして、この高速演算アルゴリズムを用い、各部分画像の画像データを図５（ａ）ないし（ｃ）に示すように周波数変換し、周波数変換係数からなるマトリクスとしてバッファに一次保存しておく。なお、図５（ａ）は非エッジ画像、図５（ｂ）は斜めエッジ画像、図５（ｃ）は縦エッジ画像に対応している。
【００４１】
以上のように、本実施形態で用いる２次元ＤＣＴは、４×４のマトリクスサイズなので、通常よく用いられる８×８のマトリクスサイズのＤＣＴに比べ、ハードウェア化した際に、回路規模を小さくすることができる。また、処理量も少なくて済むので、演算時間の短縮にもつながる。
【００４２】
係数演算手段３は、次に示すような動作を行う。各部分画像に対応する、上記の周波数変換係数からなるマトリクスを、図６（ａ）および（ｂ）に示すように、低周波から高周波までの３つの領域、およびマトリクスの左上を中心としてマトリクス左側から上側まで放射状に、３０度ずつ３つの領域に分割する。そして、これらの６つの領域毎に係数の絶対値の総和を求め、それをそれぞれの領域毎の係数の数で割ることにより、各領域の係数の平均値を求める。具体的な式は次のようになる。
【００４３】
ｆ１＝｛｜Ｘ（１，０）｜＋｜Ｘ（０，１）｜＋｜Ｘ（１，１）｜｝／３
ｆ２＝｛｜Ｘ（２，０）｜＋｜Ｘ（２，１）｜＋｜Ｘ（０，２）｜＋｜Ｘ（１，２）｜＋｜Ｘ（２，２）｜｝／５
ｆ３＝｛｜Ｘ（３，０）｜＋｜Ｘ（３，１）｜＋｜Ｘ（３，２）｜
＋｜Ｘ（０，３）｜＋｜Ｘ（１，３）｜＋｜Ｘ（２，３）｜＋｜Ｘ（３，３）｜｝／７
ｆ４＝｛｜Ｘ（０，１）｜＋｜Ｘ（０，２）｜＋｜Ｘ（１，２）｜＋｜Ｘ（０，３）｜＋｜Ｘ（１，３）｜｝／５
ｆ５＝｛｜Ｘ（１，１）｜＋｜Ｘ（２，２）｜＋｜Ｘ（３，２）｜＋｜Ｘ（２，３）｜＋｜Ｘ（３，３）｜｝／５
ｆ６＝｛｜Ｘ（１，０）｜＋｜Ｘ（２，０）｜＋｜Ｘ（３，０）｜＋｜Ｘ（２，１）｜＋｜Ｘ（３，１）｜｝／５
以上のように、各領域の係数を絶対値に変換して、各領域の係数の平均値を求めている。これにより、各領域の係数が正負の値をとる場合、各領域の係数の総和をとる際に、それぞれの係数同士で打ち消し合い、その係数の特徴が現れなくなるという問題を回避することができる。また、上記のような２つのパターンによって周波数変換係数からなるマトリクスを３つの領域に分割することにより、部分画像内にエッジがある場合、そのエッジの向きが縦か横かそれ以外かを検出することができる。なお、上記の非エッジ画像、斜めエッジ画像、および縦エッジ画像に対応する部分画像における上記のｆ１〜ｆ６の値を、図５（ａ）ないし（ｃ）の周波数変換係数からなるマトリクスの下部に示しておく。
【００４４】
以上のようにして求められた各平均係数値データを、変換フィルタ選択手段４に送る。
【００４５】
変換フィルタ選択手段４では、係数演算手段３から送られてきた６つの各平均係数値データを、図７に示すような、６入力３出力の階層型ニューラルネットワークに入力する。この階層型ニューラルネットワークは、予め実験によりエッジ部分や非エッジ部分でそれぞれ最適なフィルタが選択されるように学習されている。６つの入力ユニットに各平均係数値データを入力すると、９つの中間層ユニットを介して、各ユニット間の相互作用によって、該平均係数値データを有する部分画像に対する各フィルタの適合度が出力される。各ユニットにおける演算の具体的な式は次のようになる。
【００４６】
【数３】

【００４７】
ここで、ｆ（Ｘ）はシグモイド関数であり、ｆ（Ｘ）＝１／（１＋ｅｘｐ（−Ｘ））で表される関数である。また、ｘは入力層に入力される入力値、Ｈは中間層の各ユニットの出力値、Ｏは出力層の各ユニットの出力値である。ｗおよびｖはそれぞれ入力層から中間層、および中間層から出力層への結合の重みの値、θおよびγはそれぞれ中間層および出力層におけるオフセット値である。
【００４８】
この階層型ニューラルネットワークの出力結果を基に、第１番目の出力ユニットからの出力値が一番大きいときには線型補間法を用いたフィルタを選択し、第２番目の出力ユニットからの出力値が一番大きいときには曲線補間法を用いたフィルタを選択し、第３番目の出力ユニットからの出力値が一番大きいときにはシグモイド関数を用いたフィルタを選択する。そして、その結果を次の補間処理手段５に送る。
【００４９】
以上のように、上記の６つの各平均係数値データから、各フィルタの適合度を算出する手段として、上記のような階層型ニューラルネットワークを用いているので、例えば論理演算などによって適合度を算出する場合に比べて、処理時間を短くすることができる。また、本実施形態では、階層型ニューラルネットワークにおける入力が６、出力が３であったが、この入力および出力の数が多くなる場合には、上記のような階層型ニューラルネットワークの優位性が大きくなる。
【００５０】
補間処理手段５では、変換フィルタ選択手段４によって選択されたフィルタを用いて、部分画像抽出手段１によって抽出され、バッファに一次保存されている部分画像データから、２倍の解像度変換を行うための補間処理を行う。
【００５１】
変換フィルタ選択手段４が線型補間法を用いたフィルタを選択した場合には、補間処理手段５は線型補間法による補間処理を行う。具体的な演算は次に示す式によって行われる。
【００５２】
ｐ（ｕ，ｖ）＝｛（ｉ＋１）−ｕ｝｛（ｊ＋１）−ｖ｝Ｐ_ｉｊ
＋｛（ｉ＋１）−ｕ｝（ｖ−ｊ）Ｐ_ｉｊ＋１
＋（ｕ−ｉ）｛（ｊ＋１）−ｖ｝Ｐ_ｉ＋１ｊ
＋（ｕ−ｉ）（ｖ−ｊ）Ｐ_{ｉ＋１ｊ＋１}
ｉ＝［ｕ］，ｊ＝［ｖ］（［］はガウス記号：整数部分だけをとる）
ここで、ｕ，ｖは補間画素の座標値、Ｐは原画素の画素値を表している。上記の演算における原画素と補間画素との位置関係を、図８（ａ）に示す。上記のような式を用いて２倍の解像度変換を行う場合には、補間画素ｐ（ｕ，ｖ）は、ｐ（ｉ＋０．５，ｊ）、ｐ（ｉ，ｊ＋０．５）、ｐ（ｉ＋０．５，ｊ＋０．５）となる。
【００５３】
以上のような計算により、図２（ａ）に示すような非エッジ画像は、図９（ａ）に示すような、２倍の解像度変換が施された画像となる。
【００５４】
また、変換フィルタ選択手段４が曲線補間法を用いたフィルタを選択した場合には、補間処理手段５は曲線補間法による補間処理を行う。具体的な演算は次に示す式によって行われる。
【００５５】
【数４】

【００５６】
上記の演算における原画素と補間画素との位置関係を、図８（ｂ）に示す。線型補間法と同様に、上記のような式を用いて２倍の解像度変換を行う場合には、補間画素ｐ（ｕ，ｖ）は、ｐ（ｉ＋０．５，ｊ）、ｐ（ｉ，ｊ＋０．５）、ｐ（ｉ＋０．５，ｊ＋０．５）となる。
【００５７】
以上のような計算により、図２（ｂ）に示すような斜めエッジ画像は、図９（ｂ）に示すような、２倍の解像度変換が施された画像となる。
【００５８】
さらに、変換フィルタ選択手段４がシグモイド関数を用いたフィルタを選択した場合には、補間処理手段５はシグモイド関数を用いたフィルタによる補間処理を行う。具体的な演算は次に示す式によって行われる。
【００５９】
ｔ１＝１／（１＋ｅｘｐ（ −２５・Ｏ_３（（ｉ＋１）−ｕ−０．５）））
ｔ２＝１／（１＋ｅｘｐ（ −２５・Ｏ_３（（ｊ＋１）−ｖ−０．５）））
ｔ３＝１／（１＋ｅｘｐ（ −２５・Ｏ_３（ｕ−ｉ−０．５）））
ｔ４＝１／（１＋ｅｘｐ（ −２５・Ｏ_３（ｖ−ｊ−０．５）））
ｐ（ｕ，ｖ）＝ｔ１・ｔ２・Ｐ_ｉｊ
＋ｔ１・ｔ４・Ｐ_ｉｊ＋１
＋ｔ３・ｔ２・Ｐ_ｉ＋１ｊ
＋ｔ３・ｔ４・Ｐ_{ｉ＋１ｊ＋１}
ｉ＝［ｕ］，ｊ＝［ｖ］（［］はガウス記号：整数部分だけをとる）
線型補間法と同様に、ｕ，ｖは補間画素の座標値、Ｐは原画素の画素値を表している。上記の演算における原画素と補間画素との位置関係を、図８（ａ）に示す。上記のような式を用いて２倍の解像度変換を行う場合には、補間画素ｐ（ｕ，ｖ）は、ｐ（ｉ＋０．５，ｊ）、ｐ（ｉ，ｊ＋０．５）、ｐ（ｉ＋０．５，ｊ＋０．５）となる。
【００６０】
以上のような計算により、図２（ｃ）に示すような縦エッジ画像は、図９（ｃ）に示すような、２倍の解像度変換が施された画像となる。
【００６１】
なお、上式において、Ｏ_３は上記階層型ニューラルネットワークにおける第３番目の出力ユニットの出力値である。すなわち、Ｏ_３はシグモイド関数を用いたフィルタに対する適合度を表している。これにより、シグモイド関数を用いたフィルタに対する適合度の大きさに応じて、シグモイド関数のしきい値付近の傾きを変化させることができる。適合度が大きい場合には、シグモイド関数のしきい値付近の傾きが大きくなり、部分画像にエッジ部分がある場合、そのエッジが保存されるような補間処理がなされる。一方、適合度が小さい場合には、シグモイド関数のしきい値付近の傾きが小さくなり、より滑らかな補間処理がなされる。したがって、部分画像の特徴によく適応した補間処理を行うことができる。
【００６２】
以上のように補間処理された画像データは、メモリ等に保存され、高解像度変換画像、あるいは拡大画像として適宜用いられる。
【００６３】
なお、上記の例では、周波数変換にＤＣＴを用いたが、特にこれに限定するものではなく、例えばフーリエ変換やウェーブレット変換などを用いても構わない。また、上記の例では、ＤＣＴの基底サイズとして４×４のものを用いたが、特にこれに限定するものではなく、例えば８×８などのサイズでも処理を行うことは可能である。さらに、上記の例では、フィルタとして、線型補間法、曲線補間法、およびシグモイド関数を用いたものを使用したが、特にこれに限定するものではなく、滑らかな補間が可能なフィルタ、およびエッジ部分を保存もしくは強調できるフィルタであれば、他のフィルタでも構わない。
【００６４】
以上のような構成により、本実施形態に係る画像処理装置は、文字画像などのエッジ部分を多く含む画像と、写真画像などの非エッジ部分を多く含む画像とが混在した多階調画像に対して、エッジ部分はエッジを保存し、非エッジ部分である滑らかな部分はその滑らかさを維持しながら補間を行うので、画質劣化の少ない高解像度変換画像を提供することができる。
【００６５】
【発明の効果】
以上のように、本発明の第１画像処理装置は、処理対象の多階調画像を部分画像に分割し、各部分画像に対して高解像度変換や拡大処理を行う画像処理装置であって、上記部分画像に対して周波数変換処理を行う周波数変換手段と、上記周波数変換手段の出力に基づいて、上記部分画像の特徴量を抽出する特徴量抽出手段と、上記特徴量抽出手段の出力に基づいて、上記部分画像に対して高解像度変換や拡大処理を行うための変換フィルタを選択する変換フィルタ選択手段とを備えている構成である。
【００６６】
これにより、各部分画像の特徴に適した補間を行うことができ、画質劣化の少ない高解像度変換画像を得ることができるという効果を奏する。
【００６７】
本発明の第２画像処理装置は、第１画像処理装置の構成による効果に加えて、上記変換フィルタ選択手段は、上記特徴量を入力とし、上記部分画像に対する各変換フィルタの適合度を出力する階層型ニューラルネットワークを備え、上記適合度に基づいて変換フィルタを選択する構成である。
【００６８】
これにより、上記特徴量の数が多少多くなっても、短い処理時間で演算を行うことができる。よって、特徴量をある程度多くすることができるので、より的確に、各部分画像に適した変換フィルタを選択することができるという効果を奏する。
【００６９】
本発明の第３画像処理装置は、第１画像処理装置の構成による効果に加えて、上記特徴量抽出手段は、上記周波数変換手段によって得られた、部分画像と同サイズの周波数変換係数からなるマトリクスを、複数のパターンで複数の領域に分割し、各領域毎に周波数変換係数の平均値を上記特徴量として算出する構成である。
【００７０】
これにより、部分画像内にエッジがある場合、エッジが向いている方向によらず、各部分画像の特徴を的確に示す特徴量を算出することができるという効果を奏する。
【００７１】
本発明の第４画像処理装置は、第３画像処理装置の構成による効果に加えて、上記特徴量抽出手段は、上記周波数変換係数の絶対値の平均値を上記特徴量として算出する構成である。
【００７２】
これにより、上記特徴量として、周波数変換係数の絶対値の平均値を用いるので、上記の各領域の特徴を確実に反映することができ、各部分画像の特徴を的確に示す特徴量を算出することができるという効果を奏する。
【００７３】
本発明の第５画像処理装置は、第３画像処理装置の構成による効果に加えて、上記特徴量抽出手段は、上記の周波数変換係数からなるマトリクスの交流成分を複数の領域に分割するパターンとして、低周波成分から高周波成分までの複数の領域に分割するパターンと、マトリクスの左上を中心として放射状に一定の角度で複数の領域に分割するパターンとを用いる構成である。
【００７４】
これにより、部分画像内にエッジがある場合、そのエッジの方向が、縦か横かそれ以外かを判断することができ、より的確に、各部分画像の特徴を示す特徴量を算出することができるという効果を奏する。
【００７５】
本発明の第６画像処理装置は、第１画像処理装置の構成による効果に加えて、上記周波数変換手段は、４×４のマトリクスサイズの離散コサイン変換によって周波数変換を行う構成である。
【００７６】
これにより、実際に装置として設計した場合、回路の規模を小さくすることができ、また、処理量も減少する。よって、装置の小型化およびコストの低減化が可能となり、かつ、演算時間を短縮することができるという効果を奏する。
【００７７】
本発明の第７画像処理装置は、第２画像処理装置の構成による効果に加えて、上記変換フィルタとして、シグモイド関数を用いたフィルタを用いる場合、該シグモイド関数は、ｘを補間画素の位置座標とすると、1/(1+exp(-Wg(x-0.5)))の式で表され、上記変換フィルタ選択手段においてシグモイド関数を用いたフィルタが選択された場合に、その適合度の大きさに比例して上式のWgの値が大きくなるように設定されている構成である。
【００７８】
これにより、適合度に応じて、その適合度に最適な補間処理を行うことができる。よって、部分画像の特徴に応じて、より詳細に補間処理の制御を行うことが可能となり、画質劣化の少ない、自然な高解像度変換画像を得ることができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の一形態に係る画像処理装置の概略構成を示すブロック図である。
【図２】同図（ａ）ないし（ｃ）は、４×４画素からなる３種類の部分画像の例を示す説明図である。
【図３】４×４画素の部分画像を順に読み出す方法を示す説明図である。
【図４】周波数変換演算に用いる、基底の長さが４の場合のｃｏｓ（）の演算結果のマトリクスを示す説明図である。
【図５】同図（ａ）ないし（ｃ）は、３種類の部分画像に対する周波数変換係数のマトリクス、および各領域毎の平均係数値を示す説明図である。
【図６】同図（ａ）および（ｂ）は、周波数変換係数のマトリクスを３つの領域に分割する様子を示す説明図である。
【図７】本実施形態で用いられる階層型ニューラルネットワークの構成を示す模式図である。
【図８】同図（ａ）ないし（ｂ）は、元になる部分画像の画素の位置と、補間画素の位置との関係を示す説明図である。
【図９】同図（ａ）ないし（ｃ）は、３種類の部分画像を補間処理した結果を示す説明図である。
【符号の説明】
１部分画像抽出手段
２周波数変換手段
３係数演算手段（特徴量抽出手段）
４変換フィルタ選択手段
５補間処理手段

Claims

処理対象の多階調画像を部分画像に分割し、各部分画像に対して高解像度変換や拡大処理を行う画像処理装置であって、
上記部分画像に対して周波数変換処理を行う周波数変換手段と、
上記周波数変換手段の出力に基づいて、上記部分画像の特徴量を抽出する特徴量抽出手段と、
上記特徴量抽出手段の出力に基づいて、上記部分画像に対して高解像度変換や拡大処理を行うための変換フィルタを選択する変換フィルタ選択手段とを備えており、
上記特徴量抽出手段は、上記周波数変換手段によって得られた、部分画像と同サイズの周波数変換係数からなるマトリクスを、複数のパターンで複数の領域に分割し、各領域毎に周波数変換係数の平均値を上記特徴量として算出するようになっており、
さらに、この特徴量抽出手段は、上記の周波数変換係数からなるマトリクスの交流成分を複数の領域に分割するパターンとして、低周波成分から高周波成分までの複数の領域に分割するパターンと、マトリクスの左上を中心として放射状に一定の角度で複数の領域に分割するパターンとを用いることを特徴とする画像処理装置。
上記変換フィルタ選択手段は、上記特徴量を入力とし、上記部分画像に対する各変換フィルタの適合度を出力する階層型ニューラルネットワークを備え、上記適合度に基づいて変換フィルタを選択することを特徴とする請求項１記載の画像処理装置。
上記特徴量抽出手段は、上記周波数変換係数の絶対値の平均値を上記特徴量として算出することを特徴とする請求項１記載の画像処理装置。
上記周波数変換手段は、４×４のマトリクスサイズの離散コサイン変換によって周波数変換を行うことを特徴とする請求項１記載の画像処理装置。
上記変換フィルタとして、シグモイド関数を用いたフィルタを用いる場合、該シグモイド関数は、ｘを補間画素の位置座標とすると、 1/(1+exp(-Wg(x-0.5))) の式で表され、上記変換フィルタ選択手段においてシグモイド関数を用いたフィルタが選択された場合に、その適合度の大きさに比例して上式の Wg の値が大きくなるように設定されていることを特徴とする請求項２記載の画像処理装置。