JP3972625B2 - 画像処理装置および画像処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法に関し、特に多階調で表現された画像を拡大処理する画像処理装置およびその処理方法に関する。
【０００２】
【従来の技術】
画像の拡大処理は、画像の編集やファイリング、表示、印刷などを行うシステムにとって基本的な処理の一つである。また、近年、インターネットのホームページ上の画像やデジタルビデオなどのディスプレイ解像度での表示を主目的とした画像データなどの普及により、これらの低解像度画像を高解像度のプリンタなどの出力装置で出力する際に、高画質の出力結果を得るために、高画質の拡大処理の重要度が高まっている。
【０００３】
多階調で表現された画像（以下、これを多値画素と称す）を拡大処理する既存の手法としては、最近傍法や線形補間法、さらにはキュービック・コンボリュージョン法などが知られている。
【０００４】
最近傍法は、拡大処理後の各画素値として、その画素を原画像上に逆写像した際に最も距離が近い画素の画素値を扱うという手法である。この最近傍法は、演算量が少ないため高速に処理できるという利点があるが、その反面、原画像の１画素がそのまま矩形形状に拡大されるため、傾斜部にジャギーが発生したり、倍率が大きい場合には画像がモザイク状になるなど、画質劣化の程度が大きいという欠点がある。
【０００５】
ここに、ジャギー（ｊＡｇｇｉｅｓ）とは、グラフィックス画像を点の集まりとして表現するときに、解像度が低いと、即ち単位面積当たりの点の数が少ないと、斜めの線に階段状のギザギザが現れてしまうことになるが、このときのギザギザのことを言う。
【０００６】
線形補間法は、画素間の画素値が直線的に変化していると仮定し、拡大処理後の画素を逆写像した点の近傍４画素の画素値を線形に補間して画素値を求めるという手法である。この線形補間法は、最近傍法よりも重いものの、演算量が比較的少なく、ジャギーなども発生しにくいという利点を有している。その一方で、直線的に変化しているという仮定に当てはまらないエッジ部分を中心に、画像全体がボケ気味になるという欠点がある。
【０００７】
キュービック・コンボリューション法は、標本化定理に基づいてｓｉｎｃ関数（ｓｉｎ（ｘ）／ｘ）を近似した補間関数を定義し、拡大後の画素を逆写像した点の近傍１６画素（Ｘ，Ｙ方向それぞれ４画素）と、近似補間法との畳み込みによって拡大後の画素を求める方法である。このキュービック・コンボリューション法は、先の２つの手法に比べて画質は比較的高いという利点を有している。その反面、参照範囲が大きいため演算量が多く、高域強調気味の特性を持つため、エッジ部分で軽いジャギーが発生したり、ノイズ成分が強調されてしまうなどの欠点がある。
【０００８】
これらの問題点を解決するために、従来、種々の技術が提案されている。その一つの従来技術（以下、従来技術１と称す）として、注目画素の周囲Ｎ×Ｍ領域（例えば、３×３）の画素から最大値、最小値を検出し、さらにコントラストおよび中間値を算出し、このコントラストにより最大値、最小値のいずれかとそれ以外の値の平均値を代表値として導出し、次いで注目画素をＮ×Ｍ画素に線形補間処理し、先に算出した中間値を閾値として２値化し、上記２つの代表値を２値化の結果に応じて配置することにより、最終的に拡大画像を得る技術が挙げられる（特開平７−１８２５０３号公報参照）。
【０００９】
他の従来技術（以下、従来技術２と称す）として、原画像を２値化し、その２値画像から原画像に含まれる斜め成分の方向を、あらかじめ用意した２次元パターン（行列データ）と一致判定することによって求め、その求めた斜め方向に沿って補間処理を行い、またそれ以外の部分については線形補間処理を行う技術が挙げられる（特開２０００−２２８７２３号公報参照）。
【００１０】
さらに他の従来技術（以下、従来技術３と称す）として、原画像を線形補間処理で拡大し、それと並行して、原画像において注目画素を含む周囲Ｎ×Ｍ領域毎に２値化し、あらかじめ設定された斜線検出パターンと一致判定を行い、注目画素がエッジ領域に属する（斜線検出パターンと一致する）場合には、その方向情報を注目画素にマッピングし、さらにこの方向情報を先に線形補間処理で拡大した拡大画像にマッピングし、このマッピングした方向情報の方向に沿った平滑化フィルタリング処理を施すことにより、ジャギーの発生を抑えた拡大処理を行う技術が挙げられる（特開２０００−２５３２３８号公報参照）。
【００１１】
さらに他の従来技術（以下、従来技術４と称す）として、キュービック・コンボリューション法では、ｓｉｎｃ関数が無限系列であるため有限で打ち切った近似関数を用いることによる誤差や、標本化定理が連続かつ微分可能な信号を対象としているのに対して、画像には不連続な点が多く存在することを課題として、ｓｉｎｃ関数とは異なる不連続に向いておりかつ局所性のある関数を補間関数に用い、さらにエッジ方向を大域的に検出して補間関数をその方向に変形させることにより、ボケやジャギーの少ない拡大画像を得る技術が挙げられる（文献「画像電子学会誌第２８巻第５号P.P.６２０〜６２６」参照）。
【００１２】
【発明が解決しようとする課題】
しかしながら、上記各従来技術では、ボケやジャギーの画質欠陥を抑制する上ではある程度効果があるものの、拡大処理を行う際の負荷や速度などの点で問題がある。以下に、従来技術１〜４の各々の問題点について述べる。
【００１３】
従来技術１では、ジャギーが発生せず、自然画像でも補間ボケが生じない良好な変換を可能としているが、最大値／最小値のコントラストのみでエッジ部を判断しており、コントラストが小さい場合は線形補間処理の画素値をそのまま用いることになるためエッジの再現性が悪く、しかも原画像中にある様々な角度を有するエッジ部を拡大画像において再現するのが難しい、即ちエッジの方向再現が難しいという問題がある。また、Ｎ×Ｍ領域を２つの値のみで構成するため、エッジ部にブロック状の歪みが生じるという問題がある。
【００１４】
従来技術２では、原画像をあらかじめ定められた閾値に基づいて２値化してから斜め成分の方向判定を行っているので、濃度差の大きいエッジに対しては有効であるが、濃度差の小さいエッジ、特に自然画像に存在する細かなエッジの再現には問題がある。
【００１５】
従来技術３では、原画像の拡大→パターンマッチング→方向情報の拡大→拡大処理画像に対する方向依存平滑化フィルタリング処理という流れであり、複雑な処理を行うことになるため、画像サイズが大きくなるとそれに伴って処理負荷が非常に大きくなるという問題がある。
【００１６】
従来技術４では、その拡大処理で用いられる関数が、局所的ではあるが倍率ｎに対して畳み込みのマトリクスサイズが４ｎになることからや、大域的なエッジ方向の検出などにより演算量が多くなるため、処理に時間を要し、特に画像サイズが大きくなったり、拡大率が大きくなると、拡大画像を出力するのに時間がかかるという問題がある。
【００１７】
本発明は、上記課題に鑑みてなされたものであり、その目的とするところは、入力された画像に対してボケやジャギーなどの画質欠陥を抑制した高画質な拡大処理を、処理負荷が小さく高速に実現可能な画像処理装置および画像処理方法を提供することにある。
【００１８】
【課題を解決するための手段】
上記目的を達成するために、本発明では、多値画像の拡大処理において、注目画素を含む第１の画像領域のエッジ方向を当該画像領域内の画素値に基づいて推定し、あるエッジ方向に相当する第１の画像領域と同じ大きさの第１のエッジ形状パターンを、先に推定したエッジ方向と第１の画像領域内の画素値とに基づいて選択し、かつ第１のエッジ形状パターンに対応する前記第１の画像領域とサイズの異なる第２のエッジ形状パターンを特定し、この第２のエッジ形状パターンと第１の画像領域内の画素値とを用いて第２のエッジ形状パターンと同じサイズの第２の画像領域を生成するようにしている。
【００１９】
上記の構成において、あるエッジ方向に相当する第１のエッジ形状パターンの選択およびこの選択した第１のエッジ形状パターンに対応する第２のエッジ形状パターンの特定の各処理が例えばパターンマッチングによって行われる。これに対して、第１の画像領域のエッジ方向の推定および第２のエッジ形状パターンと第１の画像領域内の画素値とを用いての第２の画像領域の生成が演算処理によって行われる。すなわち、エッジ方向の推定および第２画像ブロックの生成の際に演算処理を行うだけで済む。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００２１】
［第１実施形態］
図１は、本発明の第１実施形態に係る画像処理装置の構成を示すブロック図である。同図から明らかなように、本実施形態に係る画像処理装置は、画像データ入力部１０と、画像データ格納部１１と、エッジ方向推定部１２と、パターン特定部１３と、画像領域生成部１４と、画像データ出力部１５とから構成されている。以下に、各構成要素の概要および動作について説明する。
【００２２】
図１において、画像データは、本画像処理装置で処理可能な画像フォーマット（例えば、ＪＰＥＧ，ＢＭＰ，ＰＮＧなど）で記述され、図示されないパーソナルコンピュータやデジタルカメラなどにおいて、作成や編集等を処理するアプリケーションプログラムで作成された画像データから生成されたものである。画像データ入力部１０は、画像データを入力するための通信機能を備えている。
【００２３】
画像データ格納部１１は、入力された画像データを当該画像データがエッジ方向推定部１２に出力されるまで一時的に記憶する機能、解像度変換または拡大処理された拡大画像データを当該画像データが画像データ出力部１５に出力されるまで一時的に記憶する機能、および入力画像データが例えば圧縮されている場合などは、当該画像データを伸長する機能などを備えている。エッジ方向推定部１２は、入力された画像データから任意サイズの第１画像ブロックを切り出し、この切り出した第１画像ブロック内の各画素値の分布に応じて、第１画像ブロック内のエッジ強度およびエッジ方向を推定する機能を備えている。
【００２４】
パターン特定部１３は、エッジ方向推定部１２で推定されたエッジ方向に相当する第１エッジ形状パターン（低解像度用パターン）を、エッジ方向毎にあらかじめ用意してある１つまたは複数のパターンの中から例えばパターンマッチングによって選択し、それらエッジ形状パターンに１対１で対応する第２エッジ形状パターン（高解像度用パターン）を特定する機能を備えている。ここで、第１エッジ形状パターンはエッジ方向推定部１２で切り出された第１画像ブロックと同じサイズのパターンであり、第２エッジ形状パターンは当該第１画像ブロックと異なるサイズのパターンである。
【００２５】
画像領域生成部１４は、エッジ方向推定部１２で推定されたエッジ方向およびエッジ強度と、パターン特定部１３で得られた第１画像ブロックと異なるサイズの第２エッジ形状パターンと原画素値などを用いて、ブロックサイズの異なる第２エッジ形状パターン内の各々の画素値を決定して第２画像ブロックを生成する機能および第２画像ブロックを出力する機能を備えている。画像データ出力部１５は、画像領域生成部１４から出力された第２画像ブロックを順次配置し、解像度変換および拡大処理された画像データを出力する機能を備えている。
【００２６】
次に、上記構成の第１実施形態に係る画像処理装置における拡大処理の流れの概要について、図２に示すフローチャートを用いて説明する。
【００２７】
先ず、画像データ入力部１０で入力され、画像データ格納部１１に記憶された入力画像データに対して、エッジ方向推定部１２において、あらかじめ定められた任意サイズの第１画像ブロックを切り出し（ステップＳ２０）、次いでこの切り出した第１画像ブロックにおけるエッジ強度ｇおよびエッジ方向θを推定する（ステップＳ２１）。
【００２８】
続いて、パターン特定部１３において、エッジ方向推定部１２で推定されたエッジ方向θに相当する第１エッジ形状パターンを、エッジ方向毎にあらかじめ用意してある１つまたは複数のパターンの中から例えばパターンマッチングによって選択し、この選択したエッジ形状パターンに１対１で対応する第２エッジ形状パターンを決定する（ステップＳ２２）。次いで、画像領域生成部１４において、エッジ方向推定部１２で切り出された第１画像ブロック、エッジ方向推定部１２で推定されたエッジ強度ｇおよびパターン特定部１３で決定された第２エッジ形状パターンに基づいて、出力すべき拡大画像データのサブセットである第２画像ブロックを生成する（ステップＳ２３）。
【００２９】
続いて、画像データ出力部１５において、画像領域生成部１４で生成された第２画像ブロックを順次配置し、拡大画像データを生成する（ステップＳ２４）。ここで、第２画像ブロックを配置する場合には、第２画像ブロックの一部分をオーバーラップするように配置しても良い。その際に、オーバーラップする部分の画素値は、前画素値と現画素値のどちらか一方の値や、またこれら２つの値の平均値としても良いし、さらには２つの値の重み付け平均値などとしても良い。
【００３０】
続いて、画像データ出力部１５において、出力すべき拡大画像データが生成完了したか否かを判断し（ステップＳ２５）、完了していない場合には、ステップＳ２０に処理を戻し、上述の処理を繰り返す。完了した場合には、拡大画像データを出力して拡大処理を終了する。
【００３１】
次に、上記構成の画像処理装置の主要部であるエッジ方向推定部１２、パターン特定部１３および画像領域生成部１４の詳細について説明する。
【００３２】
図３は、エッジ方向推定部１２で切り出された第１画像ブロックの１例を示す図である。図３において、エッジ方向推定部１２で入力画像データから切り出されるブロック（第１画像ブロック）のサイズは２×２画素である。ここで、第１画像ブロックの各画素の画素値を｛ａ，ｂ，ｃ，ｄ｝とする（ａ，ｂ，ｃ，ｄ＝０〜２５５）。エッジ方向推定部１２では、図３に示された第１画像ブロックのエッジ強度ｇおよびエッジ方向θを次式（１）から推定する。
【００３３】
先ず、勾配（角度）ｇｘ，ｇｙを
ｇｘ＝｛（ａ＋ｃ）−（ｂ＋ｄ）｝／２
ｇｙ＝｛（ａ＋ｂ）−（ｃ＋ｄ）｝／２
から求め、この求めた勾配ｇｘ，ｇｙから
ｇ＝√（ｇｘ² +ｇｙ² ）
θ＝ｔａｎ^-1（ｇｙ／ｇｘ） ……（１）
を推定する。
【００３４】
具体的には、例えば図４に示すような第１画像ブロック（各々の画素値｛２００，１６９，１６７，１６３｝）の場合、勾配ｇｘ，ｇｙはそれぞれ式（１）よりｇｘ＝１７．５、ｇｙ＝１９．５となり、第１画像ブロックにおけるエッジ強度ｇおよびエッジ方向θはそれぞれｇ＝２６．２、θ＝４８．０９°となる。さらに、得られたエッジ方向θを２２．５°（１６方向）で正規化する。上記のように、θ＝４８．０９°の場合には角度２となる。
【００３５】
なお、本実施形態では、入力画像データから切り出されるブロックのサイズが２×２画素の場合について説明を行ってきたが、勿論これに限定されるわけではなく、図５に示すようにブロックサイズが３×３画素などでも良く、この場合の勾配ｇｘ，ｇｙは次式（２）のようにして求められる。
ｇｘ＝｛（ａ＋ｄ＋ｇ）−（ｃ＋ｆ＋ｉ）｝／３
ｇｙ＝｛（ａ＋ｂ＋ｃ）−（ｇ＋ｈ＋ｉ）｝／３ ……（２）
【００３６】
また、エッジ方向の正規化も１６方向に限定されるわけではなく、さらに精度の高いエッジ方向が必要であれば２４方向（１５．０°）、３２方向（１２．２５°）などに正規化しても良い。
【００３７】
パターン特定部１３では、例えば図６に示すような、エッジ方向推定部１２で推定されたエッジ方向に相当する第１エッジ形状パターンを、エッジ方向毎にあらかじめ用意してある１つまたは複数のパターンの中から例えばパターンマッチングによって選択し、この選択した第１エッジ形状パターンに対応する第２エッジ形状パターンを決定する。ここで、図４に示す第１画像ブロックの場合について具体的に説明する。
【００３８】
上記のように、図４に示す第１画像ブロックでは、エッジ方向推定部１２において正規化されたエッジ方向は角度２と推定される。したがって、図６に示すように、角度２の第１エッジ形状パターンであるパターン１およびパターン２の２つのパターンが、図４に示す第１画像ブロックに対する第１エッジ形状パターンの候補となる。
【００３９】
次に、パターン特定部１３では、以下に説明するように、パターン１あるいはパターン２のいずれかを第１エッジ形状パターンとして選択する。図７は、図４に示した第１画像ブロックの場合について、２つのエッジ形状パターン候補の中から１つのエッジ形状パターンを選択する方法を具体的に説明する図である。
【００４０】
先ず、エッジ形状パターン候補を図７中に示すように｛１，−１｝でパターン化する。ここで、白部分を１、それ以外を−１とする。さらに、第１画像ブロックの平均画素値を計算し、第１画素ブロックの各々の画素値から平均値を引く。図７中では、（各画素値−平均画素値）の値を示している。本例の場合、平均画素値＝１７４．７５である。
【００４１】
最後に、｛１，−１｝でパターン化されたそれぞれのエッジ形状パターン候補と、第１画像ブロックにおける（各画素値−平均画素値）値との内積を計算し、その内積値の大小により、例えば内積値が最大となるパターンを第１エッジ形状パターンとして選択する。本例の場合には、パターン１が第１エッジ形状パターンとして選択される。第１エッジ形状パターンが選択されると、それに１対１で対応する第２エッジ形状パターンが決定される。つまり、図８に示す第２エッジ形状パターンが選ばれる。
【００４２】
なお、第１および第２エッジ形状パターンは図６に示したものに限定されるわけではなく、例えば、入力画像データの種類に応じて図６とは異なったパターンを用いても良く、また各角度におけるエッジ形状パターン候補数を増減させても良い。
【００４３】
次に、画像領域生成部１４について説明する。画像領域生成部１４では、入力画像データから切り出された第１画像ブロックの原画素値、エッジ方向推定部１２で推定されたエッジ強度ｇおよびパターン特定部１３で得られた第２エッジ形状パターンを用いて、出力するべき拡大画像データのサブセットである第２画像ブロックを生成する。
【００４４】
図９は、図４に示した第１画像ブロックおよび図８に示した第２エッジ形状パターンを用いて、第２画像ブロックを生成する具体的な１例を示した図である。図９において、丸で囲まれた各補間画素値は、同じパターン内の原画素（既知画素）の画素値もしくはその平均値で決定される。図９（ａ）では、２つの画素値の平均値で決定された例を示している。また、図９（ｂ）では、３つの画素値の平均値で決定された例を示している。
【００４５】
図１０は、図４に示した第１画像ブロックおよび図８に示した第２エッジ形状パターンを用いて、第２画像ブロックを生成する別の具体例を示した図である。図１０において、領域Ａおよび領域Ｂの画素値はそれぞれ次式（３）によって計算される。
【００４６】
領域Ａの画素値＝第１画像ブロック画素平均値
＋（領域Ｂの画素数＊エッジ強度ｇ）／第２画像ブロック画素数
領域Ｂの画素値＝第１画像ブロック画素平均値
−（領域Ａの画素数＊エッジ強度ｇ）／第２画像ブロック画素数……（３）
【００４７】
図１０の例では、領域Ａの画素値および領域Ｂの画素値がそれぞれ１９２、１６６となる。すなわち、上記に示した手法によれば、パターン特定部１３で選ばれたエッジ形状パターンに見合った画素値が計算され、原画像である第１画像ブロックの特徴を保存した拡大画像である第２画像ブロックの生成が可能となる。
【００４８】
上述したように、多値画像の拡大処理において、注目画素を含む第１画像ブロックのエッジ方向を推定し、あるエッジ方向に相当する第１のエッジ形状パターンを、先に推定したエッジ方向と第１画像ブロック内の画素値とに基づいて選択し、かつ第１のエッジ形状パターンに対応する第２のエッジ形状パターンを特定し、この第２のエッジ形状パターンと第１画像ブロック内の画素値とを用いて第２画像ブロックを生成するようにしたことにより、エッジ方向の推定および第２画像ブロックの生成の際に演算を行うだけで済むため、ボケやジャギーの画質欠陥を抑制した高画質な拡大処理を、処理負荷が小さくかつ高速に実現できる。
【００４９】
［第２実施形態］
図１１は、本発明の第２実施形態に係る画像処理装置の構成を示すブロック図であり、図中、図１と同等部分には同一符号を付して示している。
【００５０】
図１１から明らかなように、本実施形態に係る画像処理装置は、画像データ入力部１０と、画像データ格納部１１と、エッジ方向推定部１２と、パターン特定部１３と、画像領域生成部１４と、画像ブロック変換部１６と、画像データ出力部１５とから構成されている。なお、画像ブロック変換部１６以外の各構成要素は第１実施形態に係る画像処理装置と同様であるので、ここではその説明を省略する。
【００５１】
以下に、画像ブロック変換部１６の詳細について説明する。画像ブロック変換部１６は、画像領域生成部１４で生成された第２画像ブロックを線形変換あるいは最近傍内挿により、第２画像ブロックとサイズの異なる第３画像ブロックに変換する。図１２は、図９（Ａ）に示す第２画像ブロックを線形変換によりブロックサイズ４×４画素の第３画像ブロックに変換した例を示す図である。なお、第３画像ブロックのサイズは４×４画素に限定されるわけではなく、要求される出力画像サイズに応じて可変としても良い。
【００５２】
上述したように、第２画像ブロックを線形変換あるいは最近傍内挿により、第２画像ブロックとサイズの異なる第３画像ブロックに変換し、この第３画像ブロックを順次配置することによって拡大処理を行うようにしたことにより、第２画像ブロック→第３画像ブロックの変換の際に倍率の調整が可能となるため、種々の拡大倍率への対応が可能となる。
【００５３】
【発明の効果】
以上説明したように、本発明によれば、画像の拡大処理において、注目画素を含む第１の画像領域のエッジ方向を当該画像領域内の画素値に基づいて推定し、あるエッジ方向に相当する第１の画像領域と同じ大きさの第１のエッジ形状パターンを、先に推定したエッジ方向と第１の画像領域内の画素値とに基づいて選択し、かつ第１のエッジ形状パターンに対応するサイズの異なる第２のエッジ形状パターンを特定し、この第２のエッジ形状パターンと第１の画像領域内の画素値とを用いて第２のエッジ形状パターンと同じサイズの第２の画像領域を生成することにより、ボケやジャギーの画質欠陥を抑制した高画質な拡大処理を処理負荷が小さく高速に実現できる。
【図面の簡単な説明】
【図１】 本発明の第１実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】 第１実施形態に係る画像処理装置における処理の流れを示すフローチャートである。
【図３】 ブロックサイズ２×２画素の第１画像ブロックを示す図である。
【図４】 第１画像ブロックの具体的な１例を示す図である。
【図５】 ブロックサイズ３×３画素の第１画像ブロックを示す図である。
【図６】 第１および第２エッジ形状パターンの１例を示す図である。
【図７】 第１エッジ形状パターンの選択手法についての説明図である。
【図８】 第２エッジ形状パターンの１例を示す図である。
【図９】 第２画像ブロックの具体的な生成法の説明図である。
【図１０】 第２画像ブロックの具体的な他の生成法の説明図である。
【図１１】 本発明の第２実施形態に係る画像処理装置の構成を示すブロック図である。
【図１２】 第３の画像ブロックの具体例を示す図である。
【符号の説明】
１０…画像データ入力部、１１…画像データ格納部、１２…エッジ方向推定部、１３…パターン特定部、１４…画像領域生成部、１５…画像データ出力部、１６…画像ブロック変換部

Claims (13)

1. 注目画素を含む第１の画像領域のエッジ方向を当該画像領域内の画素値に基づいて推定するエッジ方向推定手段と、
   あるエッジ方向に相当する前記第１の画像領域と同じ大きさの第１のエッジ形状パターンを前記エッジ方向推定手段で推定したエッジ方向と前記第１の画像領域内の画素値とに基づいて選択し、かつ前記第１のエッジ形状パターンに対応する前記第１の画像領域とサイズの異なる第２のエッジ形状パターンを特定するパターン特定手段と、
   前記第２のエッジ形状パターンと前記第１の画像領域内の画素値とを用いて前記第２のエッジ形状パターンと同じサイズの第２の画像領域を生成する画像領域生成手段と
   を備えることを特徴とする画像処理装置。
2. 前記エッジ方向推定手段は、前記第１の画像領域内の画素値に基づいて当該画像領域のエッジ強度をも推定する
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記エッジ方向推定手段は、推定したエッジ方向をある定められた数の方向で正規化する
   ことを特徴とする請求項１記載の画像処理装置。
4. 前記パターン特定手段は、ある特定のエッジ方向に対して、前記第１のエッジ形状パターンを少なくとも１つ有する
   ことを特徴とする請求項１記載の画像処理装置。
5. 前記パターン特定手段は、前記第１のエッジ形状パターンを複数パターン有する場合に、複数パターンと前記第１の画像領域内の各画素値との内積を計算し、その内積値の大小により複数パターン中から１つを選択する
   ことを特徴とする請求項４記載の画像処理装置。
6. 前記第２のエッジ形状パターンは、前記第１のエッジ形状パターンに１対１で対応している
   ことを特徴とする請求項１記載の画像処理装置。
7. 前記画像領域生成手段は、前記第２の画像領域内の各画素値を、前記第２のエッジ形状パターン内の各パターン毎に、前記第１の画像領域内の各画素値あるいは前記第１の画像領域内の２画素以上の画素値の平均値とする
   ことを特徴とする請求項１記載の画像処理装置。
8. 前記画像領域生成手段は、前記第２の画像領域内の白部分の第１領域の画素値と白以外の第２領域の画素値を、前記エッジ方向推定手段で推定されたエッジ強度をｇ、前記第１の画像領域内の画素値の平均値をＸとするとき、前記第２のエッジ形状パターン内の各パターン毎に、
   第１領域の画素値＝Ｘ＋（第２領域の画素数＊ｇ）／第２の画像領域の画素数
   第２領域の画素値＝Ｘ−（第１領域の画素数＊ｇ）／第２の画像領域の画素数
   なる式を用いて算出する
   ことを特徴とする請求項２記載の画像処理装置。
9. 請求項１記載の画像処理装置においてさらに、
   前記画像領域生成手段で生成された前記第２の画像領域を当該第２画像領域とサイズの異なる第３の画像領域に変換する画像領域変換手段を有する
   ことを特徴とする画像処理装置。
10. 前記画像領域変換手段は、前記第２の画像領域を線形変換により前記第３の画像領域に変換する
    ことを特徴とする請求項９記載の画像処理装置。
11. 前記画像領域変換手段は、前記第２の画像領域を最近傍内挿により前記第３の画像領域に変換する
    ことを特徴とする請求項９記載の画像処理装置。
12. 注目画素を含む第１の画像領域のエッジ方向を当該画像領域内の画素値に基づいて推定し、
    あるエッジ方向に相当する前記第１の画像領域と同じ大きさの第１のエッジ形状パターンを、先に推定した前記エッジ方向と前記第１の画像領域内の画素値とに基づいて選択し、かつ前記第１のエッジ形状パターンに対応する前記第１の画像領域とサイズの異なる第２のエッジ形状パターンを特定し、
    前記第２のエッジ形状パターンと前記第１の画像領域内の画素値とを用いて前記第２のエッジ形状パターンと同じサイズの第２の画像領域を生成し、前記第２の画像領域を順次配置する
    ことを特徴とする画像処理方法。
13. 請求項１２記載の画像処理方法において、
    前記第２の画像領域を当該第２画像領域とサイズの異なる第３の画像領域に変換し、前記第３の画像領域を順次配置する
    ことを特徴とする画像処理方法。

Images