JP4115073B2

JP4115073B2 - Image processing apparatus and image processing method

Info

Publication number: JP4115073B2
Application number: JP2000106878A
Authority: JP
Inventors: 博顕鈴木; 小松　　学
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1999-05-06
Filing date: 2000-04-07
Publication date: 2008-07-09
Anticipated expiration: 2020-04-07
Also published as: JP2001188900A

Description

【０００１】
【発明の属する技術分野】
この発明は、プリンタ、複写機あるいはファクシミリなどの画像形成装置や情報処理装置の表示画像の画像処理や、デジタルカメラ画像、インターネットホームページなどモニタ解像度レベルの画像を高解像度化してプリントアウトしたり表示したりする場合の画像処理に好適で、比較的低階調の連続調のカラー画像データを比較的高階調の画像に拡大する処理に適用される画像処理装置及び方法に関する。
【０００２】
【従来の技術】
この種の従来例としては、例えば
Ａ．特開平５−０９４５２１号公報
Ｂ．特開平６−１８９１１６号公報
Ｃ．特開平７−０５０７５２号公報
Ｄ．特開平７−０９３５６３号公報
Ｅ．特開平７−１０５３５９号公報
Ｆ．特開平７−２２１９７６号公報
Ｇ．特開平７−２２１９７７号公報
Ｈ．特開平７−２６２３５１号公報
Ｉ．特開平７−２８８６９３号公報
Ｊ．特開平１０−１２６６０９号公報
などの各公報に開示された発明が知られている。
【０００３】
このうち、パターンマッチングによる密度変換に関するものとして、特開平７−２２１９７６号公報（Ｆ）には、２値画像データをテンプレートとマッチングをとり、マッチングしたパターンに対応するスムージング拡大パターンにより着目画素を２値拡大ドット群にスムージング拡大し、それを拡大率に応じて１つ以上の画素に分割し、その画像毎に平滑化処理して多値化し、その際使用するテンプレートパターンを複数の平滑化パターン群に分け、パターン群に分けその群に応じてマッチングする優先順位を設定するようにしたことが開示されている。また、特開平７−２２１９７７号公報（Ｇ）には、２値画像データをＦＡＸで受信したとき、その受信データに応じて変倍率を算出する手段と、前記２値画像データに対して着目画素を中心とする所定領域毎にテンプレートマッチング処理を施す手段と、テンプレートマッチング処理の結果、マッチングしたテンプレートパターンに応じて前記着目画素を複数の多値のスムージング拡大画素に変換する演算手段と、演算手段で使用する多値のスムージング拡大画素のデータを算出された変倍率に応じて予め内部のＲＡＭに転送する手段とを設け、ＦＡＸで受信した２値画像データのスムージング拡大処理を確実に行えるようにしたことが開示されている。
【０００４】
また、特開平７−５０７５２号公報（Ｃ）には、ブロックの各画素のデータに基づいて、ブロック内のエッジを検出し、パターンを満足した場合、密度変換を行うように構成したものが開示され、特開平７−２８８６９３号公報（Ｉ）には、パターンマッチングの高速化を図るために、目標画素に隣接するｘ＊ｙ画素のブロックを、埋めこむパターンの検索用として用いるようにした技術が開示されている。しかし、前記（Ｃ）の従来技術では、プリンタドライバなど、ソフトウエアにおける実現の際のパターン検索の高速化に関しては開示されていない。
【０００５】
また、特開平１０−１２６６０９号公報（Ｊ）には、像域分離手段を持ち、分離結果で処理を切り替えて拡大し、所定の解像度のファクシミリ２値画像をスムージング拡大処理する方法が開示されている。また、特開平７−２６２３５１号公報（Ｈ）における「従来の技術」の欄には、特願平６−４４２４号を挙げて輝度信号のエッジの微小成分をパターンマッチングすることにより全ての特徴点を見つけ出し、個々の特徴点を結ぶベクトルを抽出してこのベクトルを拡大率に応じて補正し、補正後のベクトルにしたがって輪郭を描画して塗りつぶす方法についての記載がある。
【０００６】
また、特開平５−９４５２１号公報（Ａ）には、入力画像または部分に適した変倍方法を判別し、拡大する技術、言い換えれば画像に応じて適切な拡大処理を行う技術が開示され、特開平６−１８９１１６号公報（Ｂ）には、加算結果の小数部と拡大率とを加算する手段を持ち、加算結果の整数部に応じた拡大を行い、主走査方向及び副走査方向とも任意倍率で拡大する技術が開示されている。
【０００７】
また、特開平７−０９３５６３号公報（Ｄ）には、入力画像データを輝度・色差データに変換し、輝度データでエッジを生成し、この情報を基に色差データのエッジを生成して拡大する技術、言い換えれば、入力画像と別の色空間のデータに変換後、拡大する技術が開示されている。この従来技術では、輝度エッジビットマップを作成し、これに基づいて色差成分の最大値、最小値を配置し、輝度・色差のエッジを生成するようになっているが、この技術では、ブロック内のエッジと色の組み合わせによっては、色ずれが生じる場合がある。
【０００８】
さらに、特開平７−１０５３５９号公報（Ｅ）には、線形補間とその補間結果を２値化したものを加算合成して拡大する技術が開示されているが、拡大後のデータを２値化し、２値化前のデータと加算合成する工程を備えているので、処理の高速化については、改善の余地がある。
【０００９】
【発明が解決しようとする課題】
ところで、前記（Ｆ）及び（Ｇ）の従来技術は、２値画像を変倍する技術に関するもので、フルカラー画像を対象とする場合の処理については特に開示されてはいない。
【００１０】
また、前記（Ｉ）の従来技術では、拡大用の全パターンを保持するので、ジャギー低減効果を得るために、パターンサイズを大きくする場合の検索方法に課題が残ってしまう。
【００１１】
さらに、前記（Ｆ）及び（Ｊ）の従来技術では、値が「０」、「２５５」のような白地上の黒文字、線画の２値画像の拡大時のジャギーを低減するのみであるので、写真画像のような中間調画像をスムージング拡大処理することができない。このため、デジタルスチルビデオカメラの画像やインターネットのホームページに見られる７２ｄｐｉ程度の低解像度の画像を６００程度の高解像度のプリンタにより出力する場合に、ジャギーやボケを低減することができない。また、写真と比べてエッジが目立つビットマップ状のグラフィック画像に対しても同様である。また、前記（Ｊ）の従来技術は、あくまで２値画像に関する技術であり、ＲＧＢなどのカラー要素からなる画像の変倍については何ら配慮されておらず、また、開示もない。
【００１２】
また、前記（Ｈ）の従来技術では、ベクトル演算によりスムージング拡大処理するので、計算負荷が高くなってしまう。
【００１３】
また、前記（Ａ）の従来技術では、前述のように画質に応じた拡大処理を行う技術が開示されているが、ジャギー低減効果のある低解像度を拡大する技術については開示がない。なお、ここでいうジャギー（jaggy）とは、デジタル画像において、斜めの線を表現したときに生じる階段状のギザギザのことである。ジャギーは画像の解像度が低いと発生しやすく、デジタル画像がピクセルを単位としている限り、本質的にジャギーは不可避である。このジャギーを目立たなくする方法として、例えばアンチエイリアシング（anti-aliasing）という手法が知られている。この手法には、解像度を上げることによって実質的にジャギーを見えにくくする方法と、ジャギーの発生しているピクセルの周囲をぼかすことによってジャギーを目立たなくさせる方法とがある。
【００１４】
また、前記（Ｂ）の従来技術は、２段階に分けて変倍を行う技術であるが、単純拡大を基本とする技術であり、ジャギー低減やエッジ部の色ずれなどは配慮されていない。
【００１５】
本発明は、このような背景に鑑みてなされたもので、その目的は、フルカラー画像について高速に任意の整数倍率の拡大が実現できるようにすることにある。
【００２０】
【課題を解決するための手段】
前記目的を達成するため、第１の手段は、入力された画像データに対して画像を拡大する処理を行う画像処理装置において、
補正対象のパターン毎、かつ、倍率毎に拡大画素のドット配置情報を保持し、パターンマッチング結果及び倍率から１つのドット配置情報を抽出するため、予め複数のパターンを格納したパターンファイルのパターン毎に、どのように注目画素の拡大画素を配置するかが整数倍率毎の情報として格納されたドット配置ファイルと、
前記ドット配置ファイルに予め設定され、入力されたＲＧＢ画像データの注目画素を含むＭ×Ｎ（（Ｍ，Ｎ≧２の整数）画素ブロックのどの位置の画素情報で拡大画素を埋めるかという画素参照情報が格納された画像参照ファイルと、
前記ＲＧＢ画像データから画素ブロックを切り出し、輝度色差信号データへ変換し、輝度色差信号データの輝度データを用いて予め登録されているパターンファイル中のパターンとパターンマッチングを行う手段と、
前記パターンマッチングにより一致するパターンがある場合、一致したパターンファイルに対応するドット配置ファイルに応じた画像参照ファイルを特定し、前記ドット配置ファイル中の各拡大画素毎に、特定された画像参照ファイルの画素参照情報に該当する前記ＲＧＢ画像データ中の画素のＲＧＢ値によって拡大画素を埋め込むことで補正対象画素を拡大して埋め込み、一致するパターンがない場合、入力されたＲＧＢ画像データのＭ×Ｎ画素ブロック中の補正対象画素のＲＧＢ値そのもので単純拡大して埋め込む手段と、
を備えていることを特徴とする。
この場合、前記Ｍ×Ｎの画素ブロックを複数のブロックに分割し、分割されたブロックの１つの画素ブロックの全画素について２バイトコードを生成し、残りの画素ブロックの情報を用いて１つのパターンを形成し、また、入力画像データをＴ（Ｔ≧２の整数）値化する手段をさらに備え、前記Ｔ値化する手段によりＭ×Ｎ画素の輝度信号に基づいて閾値を算出し、この閾値により前記輝度信号をＴ値化濃度データに変換し、前記パターンマッチングする手段は（Ｔ−１）回のパターンマッチング処理を行い、前記埋め込む手段は前記パターンマッチング処理の処理過程でマッチング処理結果が一致の場合には一致したパターンに対応したテンプレートを参照して画素データを埋め込み、不一致の場合には注目画素データを一時的に埋め込む処理を実行し、前記（Ｔ−１）回のパターンマッチング処理が終了した後、拡大処理して埋め込み、また、前記ドット配置情報の抽出は、予め設定された倍率における拡大画素のドット配置情報に基づいて、他の倍率の拡大画素ドット配置情報を作成するようにすると良い。
さらに、前記埋め込む手段は、拡大部と、強調処理部と、特徴情報算出部とからなり、
拡大対象である画像から、注目画素を囲むＭ×Ｎ画素ブロックの画像情報が拡大部と特徴情報算出部に入力され、同ブロックの特徴を示す特徴情報を特徴情報算出部で算出し、前記拡大部で注目画素はＰ×Ｑ（Ｐ，Ｑ≧２）画素ブロックに拡大され、前記算出された特徴情報に応じて、前記強調処理部で全画素Ｐ×Ｑ画素ブロックの強調処理を、注目画素を１画素毎にずらしていき、全画素分繰り返すようにする。
また、前記埋め込む手段は、画像サイズと倍率とに基づいて拡大する整数倍率を算出する整数倍率算出部と、算出された整数倍率に基づいて前記成形倍率算出部から得られた間引き、整形なし、追加の情報から間引き、追加の整形を要する場合の画素数と整形ピッチを算出し、拡大した画素をカウントしていき、整形ピッチの整数値と一致したとき、間引き、あるいは追加の処理を行うことようにする。
また、前記拡大処理を複数設定し、Ｍ×Ｎ画素における色数、色相の一致または類似、輝度データに基づく画素の連結判定の三者の組み合わせによって切り替えるようにすることもできる。
第２の手段は、入力された画像データに対して画像を拡大する処理を行う画像処理方法において、補正対象のパターン毎、かつ、倍率毎に拡大画素のドット配置情報を保持し、パターンマッチング結果及び倍率から１つのドット配置情報を抽出するため、予め複数のパターンを格納したパターンファイルのパターン毎に、どのように注目画素の拡大画素を配置するかが整数倍率毎の情報として格納されたドット配置ファイルと、前記ドット配置ファイルに予め設定され、入力されたＲＧＢ画像データのＭ×Ｎ（（Ｍ，Ｎ≧２の整数）画素ブロックのどの位置の画素情報で拡大画素を埋めるかという画素参照情報が格納された画像参照ファイルと、を有し、前記ＲＧＢ画像データから画素ブロックを切り出し、輝度色差信号データへ変換し、輝度色差信号データを用いて予め登録されているパターンファイル中のパターンとパターンマッチングを行い、前記パターンマッチングにより一致するパターンがある場合、一致したパターンファイルに対応するドット配置ファイルに応じた画像参照ファイルを特定し、特定された画像参照ファイルの画素参照情報に該当するＲＧＢ画像データの値によって補正対象画素を拡大して埋め込むことを特徴とする。
第３の手段は、入力された画像データに対して画像を拡大する処理を行うコンピュータで実行するための画像処理プログラムにおいて、補正対象のパターン毎、かつ、倍率毎に拡大画素のドット配置情報を保持し、パターンマッチング結果及び倍率から１つのドット配置情報を抽出するため、予め複数のパターンを格納したパターンファイルのパターン毎に、どのように注目画素の拡大画素を配置するかが整数倍率毎の情報として格納されたドット配置ファイルと、前記ドット配置ファイルに予め設定され、入力されたＲＧＢ画像データのＭ×Ｎ（（Ｍ，Ｎ≧２の整数）画素ブロックのどの位置の画素情報で拡大画素を埋めるかという画素参照情報が格納された画像参照ファイルと、を有し、前記ＲＧＢ画像データから画素ブロックを切り出し、輝度色差信号データへ変換し、輝度色差信号データを用いて予め登録されているパターンファイル中のパターンとパターンマッチングを行う処理と、前記パターンマッチングにより一致するパターンがある場合、一致したパターンファイルに対応するドット配置ファイルに応じた画像参照ファイルを特定し、特定された画像参照ファイルの画素参照情報に該当するＲＧＢ画像データの値によって補正対象画素を拡大して埋め込み、一致するパターンがない場合、入力されたＲＧＢ画像データのＭ×Ｎ画素の補正対象画素の値そのもので単純拡大して埋め込む処理とを備えていることを特徴とする。
第４の手段は、第３の手段に係る画像処理プログラムがコンピュータによって読み取られ、実行可能に記録媒体に記録されていることを特徴とする。
【００４５】
【発明の実施の形態】
以下、図面を参照し、本発明の実施形態について説明する。
【００４６】
＜第１の実施形態＞
図１は本発明の実施形態に係る画像処理装置の拡大処理を行う処理部の要部を示すブロック図である。同図において、拡大処理部１００は、ファイル部１１０、パターン生成部１２０、パターン検索部１３０、及び埋め込み処理部１４０からなり、ファイル部１１０にはさらにパターンファイル１１１、ドット配置ファイル１１２及び画素参照ファイル１１３が設けられ、埋め込み処理部１４０には、埋め込み部１４１と単純埋め込み部１４２とが設けられている。
【００４７】
前記ドット配置ファイル１１２には図示しない操作部から整数倍率を指示する指示信号１５０が入力され、画素参照ファイル１１３とパターン生成部１２０には画素ブロックを示す信号１６０が入力される。パターン検索部１３０には前記パターン生成部１２０で生成した信号が入力され、前記パターンファイル１１１との参照に応じて前記埋め込み処理部１４０の埋め込み部１４１または単純埋め込み部１４２のいずれかの出力をスイッチ１７０の切り替えにより選択して、埋め込み処理部１４０から拡大画像を出力するようになっている。なお、埋め込み処理部１４０には、前記ドット配置ファイル１１２あるいは画素参照ファイル１１３からの信号が入力される。
【００４８】
パターンファイル１１１には、後述の図３に示すようなパターンが、ドット配置ファイル１１２には、整数倍率に応じて後述の図３に示すようなパターンが、画素参照ファイル１１３には、図３に示すような画素に対応したファイルがそれぞれ格納されている。
【００４９】
なお、前記各ファイルは図示しない記憶部に設定され、前記各処理部および各ファイルの制御は図示しないＲＯＭに格納されたプログラムにしたがい、前記ＣＰＵによって実行される。以下の各実施形態においても同様である。
【００５０】
このように大略構成された拡大処理部の処理手順を図２のフローチャートに示す。
【００５１】
この処理では、まず、入力された整数倍率に対応するドット配置ファイル１１２を選択し（ステップ２０１）、原画からＭ×Ｎ画素ブロックを切り出し、パターンを生成する（ステップ２０２）。ドット配置ファイル１１２は図３では８倍の例を示しているが、図１において２倍からＺｓで示される各整数倍に対応するドッド配置パターンが格納されている。
【００５２】
パターン検索部１３０では生成したパターンがパターンファイル（ＰＡＴ0からＰＡＴx-1の全ｘ個）１１１中に一致するものがあるか、ないかを検索する。すなわち、ｘ個のパターンＰＡＴ0〜ＰＡＴx-1毎に、どのように注目画素の拡大画素を配置するかの情報であるドット配置ファイル１１２が整数倍率毎に格納されており、入力された整数倍率１５０（例えば８倍）により、対応するドット配置ファイル１１２が１つ選択される（ステップ２０３）。また、パターンが一致したとき（ステップ２０４でＹ）、この結果と整数倍率から、１つのドット配置ファイル１１２が決まる。さらに、このドット配置ファイル１１２には、画素ブロックのどの位置の画素情報で拡大画素を埋めるかという画素参照情報が格納されているため、ドット配置情報が決まると同時に、１つの画素参照情報が決まる。そこで、パターンが一致したとき、埋め込み部１４１でドット配置情報、画素参照情報を選択し（ステップ２０５）、拡大画素を生成して画素を埋める（ステップ２０６）。また、非一致のときには、単純埋め込み部１４２で画素ブロックの注目画素を用いて整数倍率分の画素を埋める（ステップ２０７）。これを、原画全画素に対して実行する。
【００５３】
ここで、図３の説明図を参照し、各ファイルと埋め込みの関係について説明する。
【００５４】
パターンファイル１１１において、各丸記号は、
○：０、●：１、他：白でも黒でもよい（don't care）
を意味する。
【００５５】
各パターン毎にドット配置情報が対応している。すなわち、ＰＡＴ0からＰＡＴx-1の各パターンごとに、ドット配置情報が対応しており、図３に示した例では主副走査方向同倍率の８倍のドット配置ファイル１１２である。ドット配置ファイル１１２は前述のように装置でサポートする整数倍率毎に保持されている。さらに、同様にｘ個のパターン情報に１対１で画素参照情報（画素参照ファイル１１３）が保持されている。そこで、ｉ番目のＰＡＴｉに注目すると、パターン情報の中心にある注目画素は「白」すなわち「０」である。このことは、ドット配置情報（ドット配置ファイル１１２）における「０」部を埋めるblt0情報は、パターン情報５×５(Ｍ＝Ｎ＝５)の座標（２，２）に位置する原画の画素ブロック値で埋めるという情報を示している。また、blt1情報はドット配置情報の「１」部に相当する画素を同様に（２，３）の値で埋めるという情報を示している。なお、座標（ｊ，ｋ）の原点は、図３のパターンファイルにおける左上であって、blt0及びblt1情報は（０，０）から（４，４）で５×５の２５画素に対応している。
【００５６】
図４はＲＧＢ各画素ブロック５×５の中心である（２，２）の画素を８倍する例である。
ＲＧＢ原画(第1色空間)から５×５画素ブロックを切り出し，第２色空間へ変換する。この図４の例は、輝度色差信号の輝度データを使う例である。変換の結果、図４（ａ）に示す原画ＲＧＢ３ブロックから図４（ｂ）に示す輝度1ブロックが得られる。今、輝度ブロックがパターンファイルＰＡＴｉと一致したとする。パターンファイルには1つのドット配置パターンと画像参照ファイルblt0，blt1が対応している。５×５の中心1画素は図４（ｃ）に示す最下の８×８画素に拡大される。このとき，拡大Ｒ’ブロック○，●の塗り潰しは原画における座標blt0，blt1に相当するデータＲ0，Ｒ1で行なう。Ｇ及びＢも同様である。
【００５７】
前述の様に、パターン検索部１３０で検索した結果、一致したパターンがある場合、原画の画素ブロックにおいて画素参照情報（画素参照ファイル１１３）に該当する画素データＲＧＢ値でドット配置情報（ドット配置ファイル１１２）に従って拡大画素を埋める。一致するパターンがないときは、画素ブロック中央の注目画素のＲＧＢ値で全拡大画素分を埋める。前者の場合には、埋め込み部１４１が選択され、後者の場合には単純埋め込み部１４２が選択され、各部で前記処理を実行する。
【００５８】
前記ドット配置情報の作成について、図５のフローチャートを参照して説明する。例えば、図３にある８倍用のドット配置ファイルのみを保持し(基本パターンをセット−ステップ５０１)、ファイル部１１０ではこの基本パターンから、幅８画素×高さ(８画素×ｘ個)画素のイメージ：０→０、１→２５５とし、Ｂ／Ｗ８ｂｉｔに変換する（ステップ５０２）。幅、または高さをサポートする整数倍率に相当する画素値で線形補間し（ステップ５０３）、２値化を行う（ステップ５０４）。最後に、０→０、２５５→１への逆変換で他の整数倍率用パターンを生成し、拡大に使用する。
【００５９】
パターン生成部１２０におけるパターンの生成は、以下のようにして行われる。すなわち、ＲＧＢから輝度、色相、彩度への変換例としてＨＳＶ、ＨＬＳなどのカラーモデルがあり、輝度・色差信号への変換例としてＹＩＱ、ＹＵＶなどのカラーモデルが知られている。ここで、ＨＳＶ色空間を例に挙げ説明する。この色空間では色相Ｈ：０〜３６０°、彩度Ｓ：０〜１の値を取る。したがって、色相の場合、Ｍ＝Ｎ＝５の２５画素から、Ｈの最大値、最小値を求め、その平均値でＭ×Ｎ画素ブロックを２値化し、パターンを生成する。彩度や他の要素についても同様である。
【００６０】
ＹＩＱ各プレーンの場合も同様に、各プレーン毎に最大値、最小値、その平均値を求め、平均値で２値化し、パターンを生成後にパターンマッチングを行う。なお、このＲＧＢからＨＳＶ，ＨＬＳなどへの変換の手法や、ＹＩＱ、ＹＵＶなどへの変換の手法などは、例えば、今宮淳美訳「コンピュータ・グラフィクス」（日本コンピュータ協会昭和５９年７月１５日発行）の第６２２頁ないし第６２９頁に詳しく述べてあるので、ここでの説明は省略する。また、パターン検索部１３０におけるパターン検索のハードウエアによる方法としては特開平７−２２１９７７号公報に一つの例が開示されている。
【００６１】
このパターンマッチングを、プリンタドライバに組み込んでＰＣ上で実行させるときは、ソフトウエアによる高速化を図る必要がある。すなわち、ＭとＮのブロックサイズが大きくなると、検索の計算負荷が増大する。また、図３のパターン情報を見ると、「０」、「１」のどちらでも良いdon't careが存在するため、Ｍ×Ｎ画素の全画素を２進数化し、検索すると膨大なメモリが必要となる。そこで、図６の説明図に示すように、Ｍ×Ｎ画素ブロックを複数に分ける。この図６では２分割した例を挙げた。この図６を参照しながら説明する。
【００６２】
すなわち、Ｍ＝Ｎ＝５画素ブロックから太枠で示した３×３の９画素＝９ｂｉｔを用いて、２ｂｙｔｅコードを生成する。前述の図３におけるＰＡＴｉはdon't careを考慮し、
２進数：001001111→１０進数：７９、
２進数：101001111→１０進数：３３５
となる。ｘ個全パターンの２ｂｙｔｅコードを生成する。当然、図７に示すように１つの２ｂｙｔｅコードに複数のパターンが存在することもある。この９画素の情報により、多くのパターンの中から絞込みが行える(同図中のＰＡＴ番号欄)。次に、残りの１６画素の情報を用いて、１つのパターンを決定する。
【００６３】
この残りの１６画素の情報を用いて１つのパターンを決定する場合には、図７に示したように中央の９画素からパターンの候補が絞られる。例えば、１０進数で７９のときはＰＡＴ9，ＰＡＴ24の２つのパターンに絞られることになる。そこで、残り１６画素からＰＡＴ9及びＰＡＴ24、それ以外を決定する。このとき、パターンは絞られているから、残り１６画素を１画素ずつ一致、不一致で調べる必要はない。すなわち、ＰＡＴ9における周囲画素でdon't care以外の特徴ある画素のみを参照すれば済む。例えば、ＰＡＴｉのときは、（３，０）が○であるか否かで決まる。この様に、周囲の特徴画素をパターン毎に登録しておき、参照することで高速化が図れる。途中、不一致となった場合は、以降の画素の検索を終える。他に、中央の9画素同様、パターンマッチングを取る手法もある。
【００６４】
＜第２の実施形態＞
以下、図面を参照して本発明の実施の形態を説明する。図８は本発明に係るカラー画像処理装置の一実施形態を示すブロック図、図９は図８のＭ×Ｎバッファの構成を示す説明図、図１０は図８の２値化部の処理例を示す説明図、図１１は図８の埋め込み部の埋め込み処理を示す説明図、図１２は図８のカラー画像処理装置のスムージング拡大処理手順を示すフローチャートである。
【００６５】
図８において、ＲＧＢ／ＹＩＱ変換部８０１は入力画像であるＲＧＢデータを明るさ成分と色成分に変換し、ここでは次式（１）
【数１】

により多値のＹＩＱ信号に変換する。ＹＩＱ信号はＮＴＳＣ方式のテレビジョンに順する輝度信号（明るさ成分）Ｙと色差信号（色成分）Ｉ、Ｑにより構成され、輝度信号ＹはＭ×Ｎバッファ２に印加され、色差信号Ｉ、Ｑは色成分拡大部７に印加される。なお、他の明るさ成分と色成分として、ＰＡＬ方式のＹＵＶ（明るさ成分Ｙ、色成分Ｕ、Ｖ）や、均等色空間ＣＩＥＬＡＢ、ＣＩＥＬＵＶ（明るさ成分Ｌ＊、色成分ａ＊、ｂ＊又はｕ＊、ｖ＊）や、三刺激値ＸＹＺ（明るさ成分Ｙ、色成分Ｘ、Ｙ）を用いてもよい。
【００６６】
Ｍ×Ｎバッファ２は例えば図９に示すように、ＲＧＢ／ＹＩＱ変換部１により変換された多値の輝度信号Ｙの５×５画素分（中心画素「＊」が注目画素）を一時記憶する。２値化部３はＭ×Ｎバッファ２に記憶されている５×５画素の輝度信号Ｙの最大値maxと最小値minを抽出して次式（２）
th＝（max＋min）／２ …（２）
のように２値化用閾値thを算出し、この閾値thにより例えば５×５画素の多値輝度信号Ｙを２値化濃度データに変換する（Ｙ＞thの場合に２値化濃度データ＝０、他の場合に２値化濃度データ＝１）。
【００６７】
したがって、例えば図１０（ａ）に示すように５×５画素の領域において左上に高輝度画素（低濃度画素）が分布し、右下に低輝度画素（高濃度画素）が分布する場合には、図１０（ｂ）に示すように左上に２値化濃度データ＝０が分布し、右下に２値化濃度データ＝１が分布する２値化濃度データに変換される。
【００６８】
パターンマッチング処理部４は２値化部３により変換された２値化濃度データと、例えば図１１（ａ）に示すようにパターン記憶部５に予め記憶されている５×５画素の２値化濃度データの複数のパターンとマッチングして、ジャギーが発生するエッジ等か否かを示す一致／不一致信号を出力する。なお、図１１（ａ）における「−」は「０」、「１」を問わない（don't care）ことを示し、また、図１１（ｂ）は縦８倍×横８倍の拡大時の埋め込み処理を示している。
【００６９】
埋め込み部８０６はパターンマッチング処理部４によりマッチングが「不一致」の場合に単純埋め込み部４−１による処理を選択し、他方、「一致」の場合にテンプレート埋め込み部８０６−２及びテンプレート記憶部８０６−３による処理を選択して、倍率演算部８１０により指定された整数倍率に応じて２値化濃度データを拡大する。単純埋め込み部８０６−１は図１１（ａ），（ｂ）の上側に示すように、拡大後の例えば８×８画素に対しては全て注目画素の２値化濃度データ＝１を埋め込む。
【００７０】
テンプレート埋め込み部８０６−２はテンプレート記憶部８０６−３に記憶されている２値テンプレートに基づいてジャギーが発生しないように２値濃度データの埋め込みを行い、例えば図１１（ａ），（ｂ）の下側に示す図面は、右上コーナー部を白画素（２値化濃度データ＝０）で埋め込むことを示している。このとき、図１１（ｂ）における２値化濃度データ＝１は注目画素の２値化データで埋め込み、２値化濃度データ＝０の画素については、注目画素に隣接する５×５画素における画素〔１〕、〔２〕、〔３〕に該当する２値化濃度データで埋め込む（単純に画素〔１〕で埋め込むなど）。なお、この隣接画素からどのデータを活用して埋め込むかは、予めパターン毎に決められている。
【００７１】
色成分拡大部８０７はＲＧＢ／ＹＩＱ変換部８０１により変換された多値の色差信号Ｉ、Ｑを倍率演算部８１０により指定された整数倍率に応じて、例えばニアレストネイバー法やバイリニア法のような公知の拡大方法で拡大する。ＹＩＱ／ＲＧＢ変換部８０８は埋め込み部８０６により拡大された２値化濃度信号及び色成分拡大部８０７により拡大された色差信号Ｉ、Ｑと式（１）により、元のＲＧＢ信号に逆変換してこれを端数変倍部８０９に印加する。
【００７２】
ここで、入力倍率zoomは整数倍とは限らない。そこで、倍率演算部８１０は入力倍率zoomに基づいて次式（３）、（４）
zoom1＝ＩＮＴ（zoom＋０．５） …（３）
zoom2＝zoom／zoom1 …（４）
により整数倍率zoom1と端数倍率zoom2を演算し、整数倍率zoom1を埋め込み部８０６および色成分拡大部８０７に印加し、また、端数倍率zoom2を端数変倍部９に印加する。例えば指定倍率または指定画像サイズに基づいて８．３３倍が与えられた場合、zoom1＝８、zoom2＝１．０４１となる。端数変倍部８０９はＹＩＱ／ＲＧＢ変換部８０８により変換されたＲＧＢ信号をこの端数倍率zoom2に応じてニアレストネイバー法（後述）で拡大する。
【００７３】
次に図１２を参照してスムージング拡大処理手順について説明する。この処理では、まず、倍率演算部８１０により入力倍率zoomから整数倍率zoom1と端数倍率zoom2を算出し（ステップ１２０１）、次いで整数倍率zoom1に相当するテンプレートをテンプレート記憶部８０６−３からテンプレート埋め込み部８０６−２にセットし（ステップ１２０２）、次いで端数倍率zoom2を端数変倍部８０９にセットする（ステップ１２０３）。次いで全画像の処理が終了した場合にはこのスムージング拡大処理を終了し、全画像の処理が終了していない場合にはステップ１２０４からステップ１２０５に進む。
【００７４】
ステップ１２０５ではバンド処理が終了した場合には端数変倍処理を行い（ステップ１２０６）、次いでステップ１２０４に戻る。ステップ１２０５においてバンド処理が終了していない場合にはステップ１２０７に進む。ここで、「バンド処理」とは、対象画素を縦方向に分割して処理することである。ステップ１２０７では明るさ成分（２値化濃度データ）の拡大処理が終了している場合には色成分（色差信号Ｉ、Ｑ）の拡大処理を行い（ステップ１２０８）、次いでステップ１２０５に戻る。
【００７５】
ステップ１２０７において明るさ成分（２値化濃度データ）の拡大処理が終了していない場合には、ＲＧＢ／ＹＩＱ変換部８０１によりＲＧＢ信号をＹＩＱ信号に変換してＹ信号をＭ×Ｎバッファ８０２に保持し（ステップ１２０９）、次いで２値化部８０３によりＭ×Ｎ画素のＹ信号に基づいて２値化用閾値thを算出し（ステップ１２１０）、この閾値thによりＭ×Ｎ画素のＹ信号を２値化濃度データに変換する（ステップ１２１１）。
【００７６】
次いでパターンマッチング処理部４によりマッチング処理を行い（ステップ１２１２）、次いでマッチング処理結果が「一致」の場合には一致したパターンに対応したテンプレートを参照して画素データを埋め込み（ステップ１２１３→１２１４）、「不一致」の場合には注目画素データを埋め込む（ステップ１２１３→１２１５）。次いでステップ１２０７に戻って明るさ成分（２値化濃度データ）の拡大処理が終了するまでステップ１２０９〜１２１５における処理を繰り返す。
【００７７】
＜第３の実施形態＞
図１３は輝度信号ＹをＴ（＞２の整数）値化を行ってスムージング拡大処理を行う第３の実施形態の構成を示している。この実施形態は図８に示した第２の実施形態に対して２値化部８０３をＴ値化部８０３ａに変更し、埋め込み部８０６の後段に合成部８１１を付加したもので、その他の構成は図８に示した第２の実施形態と同等に構成されている。
【００７８】
図１３に示すＴ値化部８０３ａは、Ｍ×Ｎバッファ８０２に記憶されている５×５画素の輝度信号Ｙの最大値maxと最小値minを抽出して次式
th（Ｔ−１）＝｛ｔ×max＋（Ｔ−ｔ）×min｝／Ｔ …（５）
但し、ｔ＝Ｔ−１，…，１
により（Ｔ−１）個のＴ値化用閾値th（Ｔ−１）を算出し、これにより輝度信号ＹをＴ値化濃度データに変換する。
【００７９】
図１４はＴ値化の例として３値化処理を示している。図１４（ａ）に示すように５×５画素の輝度信号Ｙが
max＝２４０
min＝６０
の場合には、高輝度（低濃度）側の閾値
th１＝１８０、
低輝度（高濃度）側の閾値
th２＝１２０
となる。次いで３値化を行ってＹ＞th１の場合に「０」、Ｙ≦th１の場合に「１」とすると図１４（ｂ）に示す濃度データとなり、また、次いでＹ＞th２の場合に「０」、Ｙ≦th２の場合に「１」とすると図１４（ｃ）に示す濃度データとなる。
【００８０】
ここで、注目画素が閾値th１、th２毎にパターンと一致する組み合わせは、
（１）０，０
（２）０，１
（３）１，０
（４）１，１
の４通り（１）〜（４）である。そこで、上記（１）の場合には双方ともに「不一致」であるので「単純埋め込み処理」を実行し、上記（２）、（３）の場合には「一致」であるので、対応するテンプレートを基づいて「テンプレート埋め込み処理」を実行する。上記（４）の場合にはパターンマッチング処理を２回行って合成部１１により埋め込みデータを合成する。合成処理については、低濃度（高輝度）画素から埋め込み、閾値th２に対応する高濃度側では「１」の画素のみをオーバライトする。これにより、図１５に示すような拡大画素において３種類の明るさを処理することができるので、影付き文字についても高画質で拡大処理することができる。
【００８１】
次に図１６を参照して第３の実施形態におけるスムージング拡大処理手順について説明する。まず、ステップ１６０１〜１６０９における処理は、第２の実施形態における図１２のフローチャートのステップ１２０１〜１２０９における処理と同じである。次いでＴ値化部８０３ａによりＭ×Ｎ画素のＹ信号に基づいて閾値thを算出し（ステップ１６１０）、この閾値thによりＹ信号をＴ値化濃度データに変換する（ステップ１６１１）。
【００８２】
次いでステップ１６１２において（Ｔ−１）回のパターンマッチング処理が終了していない場合にステップ１６１３以下に進み、終了している場合にステップ１６１７に進む。ステップ１６１３以下ではまず、パターンマッチング処理部８０４によりマッチング処理を行い（ステップ１６１３）、次いでマッチング処理結果が「一致」の場合には一致したパターンに対応したテンプレートを参照して画素データを埋め込み（ステップ１６１４→１６１５）、「不一致」の場合には注目画素データを一時的に埋め込む（ステップ１６１４→１６１６）。次いでステップ１６１２に戻って（Ｔ−１）回のパターンマッチング処理が終了するまでステップ１６１３〜１６１５における処理を繰り返す。そして、（Ｔ−１）回のパターンマッチング処理が終了すると合成処理を行い（ステップ１６１７）、ステップ１６０７に戻る。
【００８３】
次にニアレストネイバー法とバイリニア法について説明する。ニアレストネイバー法は、例えば図１７（ａ）に示すような４×４画素における注目画素「＊」は４角の画素ａ、ｂ、ｃ、ｄ中の最も近い画素（この例では画素ａ）のデータで埋める方法である。バイリニア法は例えば図１７（ｂ）に示すような４×４画素における注目画素「＊」は４角の画素ａ、ｂ、ｃ、ｄと注目画素「＊」の重みｉ、ｊに基づいて埋める方法である。例えば、図１７（ｂ）の例では、
＊＝（ｉ−１）・（ｊ−１）・ａ＋ｉ・（ｊ−１）・ｂ＋（ｉ−１）・ｊ・ｃ＋ｉ・ｊ・ｄ
というようにして埋めるものである。なお、バイリニア方法の詳細は図３１を参照して後述する。
【００８４】
また、この実施形態で説明した処理は、デジタルカメラの画像を高解像度化して大画像をプリントする場合に、転送時間を節約するため送り側コンピュータで単純に間引いて相手先のプリンタやコンピュータに直接又はネットワークを介して転送し、相手先のプリンタ内のコントローラや相手先のコンピュータのソフトウエアによりスムージング拡大処理する場合にも適用することができる。
【００８５】
＜第４の実施形態＞
図１８は第４の実施形態に係る画像処理装置の構成を示すブロック図である。
【００８６】
同図において、画処理装置は、ＲＧＢの原画像データが入力されるＭ×Ｎ画素ブロック抽出部１８０１と、抽出された画素ブロックが入力される第１の色空データ変換部１８０２と、第１の色空間データ変換部１８０２で変換された色空間データが入力される第１ないし第４の拡大手段１８０３，１８０４，１８０５，１８０６と、第１ないし第４の拡大手段１８０３，１８０４，１８０５，１８０６のいずれかの出力を選択する選択部１８０７と、選択部１８０７で選択されたデータをさらに変換する第２の色空間データ変換部１８０８と、抽出された前記Ｍ×Ｎ画素ブロックから注目画素に関する特徴量を算出し、その特徴量に応じて前記選択部１８０７を介して拡大手段１８０３〜１８０６を選択させる特徴部算出部１８０９とから構成されている。
【００８７】
このように構成された画像処理装置の動作は図１９のフローチャートに示すようになる。すなわち、Ｍ×Ｎ画素ブロック抽出部１８０１で入力されたＲＧＢの原画像データからＭ×Ｎの画素ブロックを抽出し（ステップ１９０１）、異なる拡大方法をとる第１ないし第４の拡大手段１８０３〜１８０６への入力となる各色空間データへ、第１の色空間データ変換部１８０２で変換する（ステップ１９０２）。特徴量算出部１８０９では、前述のようにＭ×Ｎ画素ブロック１８０１から特徴量を算出し（ステップ１９０３）、拡大に適した拡大方法を第１ないし第４の拡大手段１８０３〜１８０６から１つ選択し（ステップ１９０４）、注目画素を拡大する。その後、第２の色空間データ変換部１８０８で所望の色空間データへと変換する（ステップ１９０５）。この処理を全画素で繰り返す。
【００８８】
すなわち、この実施形態では、まず第１工程で、Ｍ×Ｎ画素ブロック抽出部１８０１で入力されたＲＧＢの原画像データからＭ×Ｎの画素ブロックを抽出し、第２工程で、異なる拡大方法をとる第１ないし第４の拡大手段１８０３〜１８０６への入力となる各色空間データへ、第１の色空間データ変換部１８０２で変換する。一方、第３工程でＭ×Ｎ画素ブロック抽出部１８０１から特徴量を算出し、第４工程で、拡大に適した拡大手段を第１ないし拡大手段１８０３〜１８０６から１つ選択して注目画素を拡大する。その後、第５工程で第２の色空間データ変換部１８０８で所望の色空間データへと変換して出力する。
【００８９】
なお、この実施形態は、本発明の最も基本的な動作原理の一例を示すもので、第１ないし第４の拡大手段１８０３〜１８０６としては、第５の実施形態において詳述するようにＲＧＢデータを拡大する機能を有するものや、ＲＧＢデータをＲＧＢ多値データに拡大する機能を有するものなどが採用され、特徴量に応じて処理するに適した拡大手段１８０３〜１８０６が適宜設定され、用意される。
【００９０】
特徴量としては、例えばＭ×Ｎ画素ブロックの最大値と最小値の差などが使用される。また、選択部１８０７における選択も、後述の第５の実施形態で詳述するような色数、色相などに応じて設定された拡大法が前記特徴量に基づいて選択される。
【００９１】
＜第５の実施形態＞
第５の実施形態に係る画像処理装置の構成を図２０のブロック図に示す。この実施形態は、ＲＧＢ色空間、ＹＩＱ色空間（輝度・色差信号、他にＹＵＶ信号など、これに準じる信号を指す）のデータを拡大する複数の拡大手段を持つ例である。
【００９２】
同図において、第５の実施形態に係る画像処理装置は、ＲＧＢ画像データが入力され、Ｍ×Ｎの画素ブロックを抽出するＲＧＢ：Ｍ×Ｎ画素ブロック抽出部２００１、このＭ×Ｎ画素ブロック抽出部２００１からの画像データに基づいて画像の特徴量を算出する画像特徴量算出部２００２、ＲＧＢ原画像データが入力されＲＧＢデータからＹＩＱデータに変換するＲＧＢ／ＹＩＱ変換部２００３、このＲＧＢ／ＹＩＱ変換部２００３で変換されたＹＩＱデータから輝度Ｙに関するＭ×Ｎ画素ブロックを抽出する輝度Ｙ：Ｍ×Ｎ画素ブロック抽出部２００４、ＲＧＢ：Ｍ×Ｎ画素ブロック抽出部２００１からのデータと輝度Ｙ：Ｍ×Ｎ画素ブロック２００４からのデータが入力される整数倍拡大部２００５、前記画像特徴量算出部２００２での算出結果に応じて整数倍拡大部２００５の第１〜第４の拡大手段２００５１，２００５２，２００５３，２００５４を選択する選択部２００６、整数倍率による拡大画像の大きさを所望の拡大画像の大きさに整形する情報を生成し、整形を行う整形部２００７、整形部２００７に選択部２００６の選択に応じてＹＩＱ／ＲＧＢ変換データを変換して入力するＹＩＱ／ＲＧＢ変換部２００８、および画像サイズと倍率とから拡大する整数倍率を算出し、整数倍拡大部２００５と整形部２００７とに倍率を出力する整数倍率算出部２００９から構成されている。
なお、拡大部、特徴量、整数倍率算出部、および整形部については後述する。
【００９３】
このように構成された画像処理装置の処理手順を図２１のフローチャートに示す。この処理では、まず、整数倍率算出部２００９で入力された画像サイズと倍率とに基づいて拡大する整数倍率を算出し（ステップ２１０１）、整形部２００７で所望の大きさにする情報を生成する（ステップ２１０２）。次いで、ＲＧＢ原画像をＹＩＱデータに変換する（ステップ２１０３）。この変換はＲＧＢ／ＹＩＱ変換部２００３で行なわれる。そして、注目画素を囲むＭ×Ｎ画素ブロックから特徴量を算出し（ステップ２１０５）、算出した特徴量に基づいて第１ないし第４の拡大手段２００５１〜２００５４から１つの拡大手段を選択する（ステップ２１０６）。拡大手段が選択されると、その選択した拡大手段によって注目画素を拡大し（ステップ２１０７）、ＹＩＱ空間からＲＧＢ空間への変換が必要かどうかをチェックし（ステップ２１０８）、変換が必要であれば、ＹＩＱ／ＲＧＢ変換部２００８で前記変換を実行し（ステップ２１０９）、不要であれば、直接、整形が必要かどうかをチェックする（ステップ２１１０）。このチェックで整形が必要であれば、整形を実行し（後述）、不要であれば整形を行なわないでステップ２１０４で全画素に対してステップ２１０５からステップ２１１１までの処理が終了したかどうかを確認する。そして、全画素に対して前記処理が終わった時点で拡大処理を終える。
【００９４】
この実施形態において、前記整数倍拡大部２００５は、前述のように第１ないし第４の拡大手段２００５１〜２００５４を備えている。第１の拡大手段２００５１はＲＧＢデータを拡大する機能を備えており、例えば、前述のニアレストネイバー法、バイリニア法などが使用できる。第２の拡大手段２００５２はＹＩＱデータを拡大する機能を備え、輝度データ拡大部２００５２１と色差データ拡大部２００５２２とを有し、輝度信号（Ｙデータ）に対しては輝度データ拡大部２００５２１でバイリニア法が適用され、色差信号（Ｉ，Ｑデータ）に対しては色差データ拡大部２０５２２でアレストネイバー法が適用される。第３の拡大手段２００５３はＲＧＢデータをＲＧＢ多値データに拡大する機能を備えており、例えば、特開平７−２２１９７６号公報あるいは特開平７−２２１９７７号公報に開示された方法が採用される。また、第４の拡大手段２００５４はＲＧＢデータを拡大する機能、例えば第３の拡大手段２００５３を変形した拡大機能を備えている。このような拡大手段によって当該拡大手段が有する拡大機能に応じて必要な画像データが入力される。なお、このような種々の拡大機能は画像の状態や色空間の種類など応じて公知の手法が適用され、組み合わされる。前述の拡大手段の機能はその一例である。
【００９５】
前述の図２０のブロック図および図２１のフローチャートから分かるように、整数倍率算出部２００９では、入出力画像サイズ、倍率などの情報から整数倍率を算出し、特徴算出部２００２では、抽出された画素ブロックから、拡大手段の選択に必要な特徴情報を算出する。そして、整数倍拡大部２００５で算出された特徴情報を基に、１つの拡大手段を拡大手段選択部２００６で選択する。そして、選択された注目画素を整数倍拡大する。
【００９６】
整形部２００７では整数倍率による拡大画像の大きさを所望する拡大画像の大きさに整形する情報を生成し、整形を行う。
【００９７】
整数倍拡大部２００５における拡大手段の選択例の処理手順を図２２、図２３及び図２４のフローチャートに示す。この選択は特徴量算出部２００２における色数／色相の検出部２００２１と画素の連結情報生成部２００２２における算出結果に応じて行われる。この実施形態は最大色数が４であり、図２２ないし図２４のフローチャートはこの色数を前提としている。この内、図２２は色数、図２３はは色数と色相、図２４は色数、色相、画素の連結情報による選択例である。これにより、複数ある拡大手段２００５１〜２００５４から１つの拡大手段が選択される。
【００９８】
具体的には、図２２のフローチャートでは、まず、色数が１であれば（ステップ２２０１でＹ）選択部２００６のＳＷ０がオンになり、第１の拡大手段２００５１からのＲＧＢデータが整形部２００７に入力される。色数が２であれば（ステップ２２０２でＹ）、選択部２００６のＳＷ１がオンになり第３の拡大手段２００５３からのＲＧＢデータと輝度データ（Ｙデータ）が整形部２００７に入力される。色数が３であれば（ステップ２２０３でＹ）、選択部２００６のＳＷ２がオンになり、第４の拡大手段２００５４からのＲＧＢデータと輝度データ（Ｙデータ）が整形部２００７に入力される。色数が４であれば（ステップ２２０３でＮ）、選択部２００６のＳＷ３がオンになり、第２の拡大手段２００５２からの輝度データ（Ｙデータ）と色差データ（Ｉデータ及びＱデータ）が選択され、ＹＩＱ／ＲＧＢ変換部２００８でＲＧＢデータに変換した上で、整形部２００７に入力される。なお、ステップ２２０３の判定で色数が３でなければ、ＳＷ３がオンになり第２の拡大手段２００５２が選択される。
【００９９】
このように処理すると、色数のみの少ない特徴情報で複数の拡大法を選択し、ジャギー低減と共に画素の拡大を行うことができる。
【０１００】
図２３のフローチャートでは、色数が１であれば（ステップ２３０１でＹ）選択部２００６のＳＷ０がオンになり、第１の拡大手段２００５１からのＲＧＢデータが整形部２００７に入力される。色数が２であれば（ステップ２３０２でＹ）、選択部２００６のＳＷ１がオンになり第３の拡大手段２００５３からのＲＧＢデータと輝度データ（Ｙデータ）が整形部２００７に入力される。色数が３であれば（ステップ２３０３でＹ）、さらに全色相が一致するかまたは類似するかをチェックし（ステップ２３０４）、一致または類似すればＳＷ３をオンし、一致も類似もしなければＳＷ１をオンにする。色数が４であれば（ステップ２３０５でＹ）、さらに全色相が一致するかまたは類似するかを調べ、一致または類似すればＳＷ３をオンし、一致も類似もしなければＳＷ１をオンにする。ステップ２３０５の判定で色数が４でなければ、ＳＷ３をオンする。なお、この図２３のフローチャートで選択されたＳＷは図２０のブロック図に示した拡大手段２００５１〜２００５４を選択して整形部２００７に入力する。
【０１０１】
このように処理すると、色数と色相の組み合わせにより、アンチエイリアシング文字／線画に対してもジャギー低減と共に拡大ができる。
【０１０２】
図２４のフローチャートでは、色数が１であれば（ステップ２４０１でＹ）選択部２００６のＳＷ０がオンになり、第１の拡大手段２００５１からのＲＧＢデータが整形部２００７に入力される。色数が２であれば（ステップ２４０２）、選択部２００６のＳＷ１がオンになり第３の拡大手段２００５３からのＲＧＢデータと輝度データ（Ｙデータ）が整形部２００７に入力される。色数が３であれば（ステップ２４０３でＹ）、さらに全色相が一致するかまたは類似するかをチェックし（ステップ２４０４）、一致も類似もしなければＳＷ１をオンにし、一致または類似すれば、後述の画素の連結情報を生成する（ステップ２４０５）。画素の連結情報は特徴量算出部２００２で生成される。そして、生成された画素の連結情報から連結ありと判断されれば、ＳＷ２をオンし、連結なしと判断されればＳＷ３をオンする。また、色数が４であれば（ステップ２４０７でＹ）、さらに全色相が一致するかまたは類似するかを判断し（ステップ２４０８）、一致または類似すればＳＷ３をオンし、一致も類似もしなければＳＷ１をオンにする。ステップ２４０７の判定で色数が４でなければ、ＳＷ３をオンする。なお、この図２４のフローチャートで選択されたＳＷは図２０のブロック図に示した拡大手段２００５１〜２００５４を選択して整形部２００７に入力する。
【０１０３】
なお、色数が１の場合は、例えば第１の拡大手段２００５１は、図２８に示すように、ＲＧＢ１画素を整数倍率Ｚsに応じて単純に拡大する。単純に拡大するとは、例えば、Ｚs＝３のとき、Ｚs×Ｚs画素全ての値を原画その値で埋めるという単純に拡大する手法である。
【０１０４】
このように処理すると、色数と色相、画素の連結の組み合わせにより、アンチエイリアシング文字／線画、さらに影付き文字/線画に対してもジャギー低減と共に画素の拡大を行うことができる。
【０１０５】
ステップ２４０５における画素の連結情報の生成は以下のようにして行われる。すなわち、図２５に示すように、注目画素＊を囲むＭ×Ｎ画素（図では５×５画素）において、輝度データで画素の連結判定が行われる。輝度のＭ×Ｎ画素は色数＝３、つまり、輝度は最大値Ｙmax、最小値Ｙmin、中央値Ｙmidで構成されている。そこで、Ｙmid値と一致する画素を１、それ以外を０とすれば、Ｙmidの連結情報が得られる。図２５に示した例では、縦に１画素の繋がりがある例である。また、幅２画素、かつ、２連結で連結ありとしてもよい。
【０１０６】
図２６は整数倍率算出部２００９の動作を説明するための説明図である。整数倍率算出部２００９では、所望する整数倍率を予め２〜Ｚmax(倍)と設定しておく。ここでは、簡単のため主副同倍率での例で説明する。
【０１０７】
入力Ｘ方向(主走査方向)画素数をＸin、出力Ｘ方向画素数をＸout、また、入力倍率をＺinとしたとき、入力倍率は、
Ｚin＝Ｘout／Ｘin
であり、この値は２〜Ｚmax間にある。このとき、図２６に示す階段特性により整数倍率Ｚsを算出する。また、特性を±０．５とずらしても良い。このＺsの倍率に応じて整数倍拡大部は拡大を行う。この例では、倍率Ｚが、
２．５≦Ｚ＜３．５
のとき、
Ｚs＝３
として算出され、この整数倍率「３」が整数倍拡大部３０５と整形部３０７に出力される。
【０１０８】
図２７は整形部２００７の動作について説明するための説明図である。整形部２００７では、図２６に示した整数倍率算出部２００９の特性から、例えば
２．５倍≦Ｚin＜３．０倍 → 間引き
Ｚin＝３．０倍 → 整形なし：整数拡大そのまま
３．０倍＜Ｚin＜３．５倍 → 追加
の情報が既知である。よって、間引き、追加の整形を要する場合の画素数Ｓpixは、
Ｓpix＝Ｘin×｜Ｚin−Ｚs｜
となり、整形ピッチpitは、
pit＝Ｚs／｜Ｚin−Ｚs｜
で求めることができる。そして、拡大した画素をカウントしていき、整形ピッチpitの整数値と一致したとき、間引き、あるいは追加を行う。一致後、整形ピッチpitは自らの値を加算する。
【０１０９】
図２７は倍率が３近辺の時を示している。Ｚin＝３は整形なしで１画素が３×３画素に拡大された例である（図２７（ａ））。間引きのときは、図２７（ｂ）で点線でに示すように
１：縦３画素
２：横３画素
３：縦横３画素
がそれぞれ間引かれる。追加の場合は、図２７（ｃ）に示すように斜線部に当たる部分を、
１：左画素の値を単純にコピーして埋める。
２：上画素の値を単純にコピーして埋める。
３：左画素の値をコピーして埋め、さらに上画素の値をコピーして埋める。
というようにして追加を行う。これによりジャギーの低減を図ることができる。
【０１１０】
このように整数倍率拡大部２００５のいずれかの拡大手段２００５１〜２００５４によって整数倍率で拡大された画像を整形部２００７で所望の大きさに合わせるので、整数倍された拡大画像をジャギー低減の効果を失うことなく、所望する任意のサイズに変形することができる。また、エッジ部の色ずれも起こらない。
【０１１１】
＜第６の実施形態＞
この実施形態は、従来において拡大後のデータを２値化し、２値化前のデータと加算合成する工程が必要であり、処理の高速化に対応できていなかったことに鑑み、更に高速な処理を実現できるように構成したものである。
【０１１２】
この第６の実施形態に係る画像処理装置の構成を図２９のブロック図に、この画像処理装置の処理手順を図３０のフローチャートにそれぞれ示す。
【０１１３】
図２９において、画像処理装置は、拡大部２９０１と、強調処理部２９０２と、特徴情報算出部２９０３とからなり、拡大対象である画像から、注目画素＊を囲むＭ×Ｎ画素ブロックが拡大部２９０１と特徴情報算出部２９０３に入力され、同ブロックの特徴を示す特徴情報を特徴情報算出部２９０３で算出し（ステップ３００１）、また、拡大部２９０１で注目画素はＰ×Ｑ画素ブロックに拡大され（ステップ３００２）、特徴情報に応じて、強調処理部２９０２で全画素Ｐ×Ｑの強調処理が行われる（ステップ３００３）。注目画素を１画素毎にずらしていき、この処理を全画素分繰り返す。
【０１１４】
このように処理すると、注目画素を含む画素ブロックから特徴情報を算出し、注目画素を拡大した後、前記特徴情報に応じた変換を行うので、低解像度画像の拡大において、鮮鋭度を保持し、ジャギー低減を実現できる。
【０１１５】
拡大部２９０１においては線形補間法による拡大を行う。この線形補間法として一般に知られているバイリニア法に前にも簡単に触れているが、さらに詳しく図３１を用いて説明する。
【０１１６】
図３１に示すように、例えばＭ＝Ｎ＝３とする３×３画素ブロックがＰ0〜Ｐ8で与えられ、注目画素がＰ4であり、この注目画素Ｐ4が、例えば４倍に拡大される場合（Ｐ＝Ｑ＝４）、拡大後の画素ＰｘはＰ400〜Ｐ433の１６画素となる。１６画素の補間の際、Ｐ0〜Ｐ8のうち、どの画素を用いて補間するのかは、
Ｐ400、Ｐ401、Ｐ410、Ｐ411については、Ｐ0、Ｐ1、Ｐ3、Ｐ4、
Ｐ402、Ｐ403、Ｐ412、Ｐ413については、Ｐ1、Ｐ2、Ｐ4、Ｐ5、
Ｐ420、Ｐ421、Ｐ430、Ｐ431については、Ｐ3、Ｐ4、Ｐ6、Ｐ7、
Ｐ422、Ｐ423、Ｐ432、Ｐ433については、Ｐ4、Ｐ5、Ｐ7、Ｐ8、
のそれぞれ４点を使用し、拡大後の画素は、この４点と、その距離ｉ、ｊを重みとする係数ａ、ｂ、ｃ、ｄから線形式
Ｐ400＝（１−ｉ）（１−ｊ）Ｐ0／ａ＋ｉ（１−ｊ）Ｐ1／ｂ＋（１−ｉ）ｊＰ3／ｃ＋ｉｊ／ｄＰ4・・・（６）
で算出される。
【０１１７】
他の拡大法としてはバイキュービック法などがある。バイキュービック法はバイリニア法より高画質が得られるが、計算負荷が高い。なお、このバイキュービック法自体は公知なので、ここでの説明は省略する。
【０１１８】
特徴情報算出部２９０３では、Ｍ×Ｎ画素ブロック内の最大値Max、最小値Minを抽出し、その差分
Range＝Max−Min
を算出し、この差分Rangeを特徴情報とする。
【０１１９】
このように特徴情報が画素ブロックにおける最大値と最小値の差分なので、各ブロックにおけるこれらの情報を用いることにより、ブロック単位に的確な強調処理を掛けることができる。
【０１２０】
強調処理部２９０２では、図３２のフローチャートに示すように拡大部２９０１で拡大した全画素Ｐxを特徴量により正規化する。そして、正規化後の画素データＰx'を
Ｐx'＝（Ｐx−Ｍin）／Range ・・・（７）
で求める（ステップ３２０１）。
【０１２１】
次いで、特徴情報である差分Rangeに応じて、変換特性(後述)を生成し（ステップ３２０２）、Ｐx‘を変換しＰx“を得る（ステップ３２０３）。さらに、
Ｐxout＝Ｐx“×Range＋Min ・・・（８）
で逆正規化を行い、拡大後の強調データＰxoutを求める（ステップ３２０４）。
【０１２２】
この強調処理部２９０２の変換特性は図３３のようになる。すなわち、入出力は共に正規化された値なので縦軸、横軸共に０〜１のレンジを取る。特徴情報Rangeの大きさにより、図３３（ａ）から（ｃ）へと変換特性を適応的に生成する。
【０１２３】
Rangeが小さいときは図３３（ａ）に示すようなスルー特性
Ｐx“＝Ｐｘ‘ ・・・（９）
で変換し、大きいときは図３３（ｃ）に示すような

という２値特性で変換する。中間的な変換特性は図３３（ｂ）に示すようなものとなる。
【０１２４】
可変の仕方はRangeと対応させて、予め関数を定義する方法と何段階か特性を用意し、Rangeの値に応じて１つ選択する方法がある。前者の方法では無段階特性が実現できる。
【０１２５】
関数の一例：
０≦Ｐx‘＜０．５のときＰx“＝（−０．６×Range＋１）×Ｐx’
それ以外
Ｐx“＝（−０．６×Range＋１）×Ｐx’＋０．６＊Range・・・（１１）
このように、Rangeの大きさと対応付けを行っておく。
【０１２６】
また、例で挙げた０．５のしきい値、及び、直線０−ｔ１、直線ｔ２−ｔ３の傾きをRangeに応じて可変することも可能である。
【０１２７】
他に、何段階か特性を用意し、Rangeの値に応じて１つ選択する方法としては、例えば大中小の３つに分類し、小：図３３（ａ）、中：図３３（ｂ）、大：図３３（ｃ）を選択するように設定しておくことで実現できる。Rangeを細かくしていくと、当然ながら、無段階の関数定義に近づく。
【０１２８】
前記拡大部２９０１では、このようにして生成された変換特性で拡大画素を変換するので、特徴情報に応じて、適応的に強調処理が行え、鮮鋭度を落とすことなく画像データを拡大することができる。
【０１２９】
本実施形態によれば、変換時に使用する複数の変換テーブルを備え、特徴情報に応じて１つの変換テーブルを選択し、選択された変換テーブルに基づいて拡大した画素を変換するので、強調処理を行う際に、高速で処理することが可能になる。
【０１３０】
＜第７の実施形態＞
この実施形態は、輝度信号と色差信号を使用して拡大処理を行なう例である。
【０１３１】
この実施形態に係る画像処理装置は、拡大部３４０１、強調処理部３４０２及び特徴情報算出部３４０３からなり、前記拡大部３４０１はさらに、Ｙ信号拡大部３４０１１とＩ，Ｑ信号拡大部３４０１２とからなる。
【０１３２】
Ｙ信号拡大部３４０１１には、輝度Ｙ信号（以下、「Ｙ信号」と称す。）の注目画素＊を囲むＭ×Ｎ画素ブロック（図３４では、３×３）が入力され、拡大される。Ｉ，Ｑ信号拡大部１７０１２には、色差Ｉ、Ｑ信号（以下、「Ｉ信号、Ｑ信号」と称する。）が入力され、同様に拡大される。
【０１３３】
このときの処理手順を図３５のフローチャートに示す。すなわち、この処理では、まず、Ｙ信号Ｍ×Ｎ画素ブロックから特徴情報算出部３４０３で特徴情報を算出する（ステップ３５０１）。特徴情報は、
・最大値Ｙmax
・最小値Ｙmin
・差Ｙrange＝Ｙmax−Ｙmin
の３つの情報である。
【０１３４】
そして、算出した特徴情報を強調処理部３４０２にセットし、Ｙ信号を拡大する（ステップ３５０３）。次いで、拡大したＹ信号を強調処理し（ステップ３５０４）、Ｉ，Ｑ信号を拡大する（ステップ３５０５）。
【０１３５】
ＹＩＱ信号の拡大については、
１）Ｙ信号、Ｉ、Ｑ信号について線形補間法（例：バイリニア法など）を使用する。
２）Ｙ信号について線形補間法（例：バイリニア法など）によって拡大し、Ｉ、Ｑ信号については単純拡大法（同じ値でコピーする）を使用する。
などの方法がある。
【０１３６】
その際、Ｙ信号の拡大法が線形補間法であり、かつ、注目画素の拡大倍率が固定であるとき、図３１における重み係数ｉ、ｊ（図では１６画素毎の４つの重み係数）は定数となる。つまり、ｉ、ｊを毎回計算する必要はない。
【０１３７】
また、拡大部３４０１で拡大する倍率が例えば２〜１５倍（ここでは主走査、副走査方向は同倍率とする）である場合は、図３６に示すように拡大部３４０１に対して重み係数設定部３４０４で前記倍率間の整数倍に当たる重み係数を予め算出しておき、倍率の入力に応じて、拡大部３４０１に重み係数をセットして拡大するようにすれば処理の高速化を図ることができる。
【０１３８】
この実施形態によれば、画像情報は輝度・色差信号であり、前記拡大部３４０１における輝度信号の拡大は線形補間によって行われ、特徴情報算出部３４０３では特徴情報が輝度信号（Ｙ信号）から生成され、前記特徴情報に応じた変換は、拡大後の輝度信号に対して行うので、輝度、色差信号による拡大で色ずれが発生することはない。また、強調処理部３４０２における強調処理は輝度信号のみで行うため、高速で処理することができる。
【０１３９】
【発明の効果】
本発明は、以上に説明したように構成されているので、フルカラー画像について高速に任意の整数倍率の拡大が実現できる。
【０１４１】
請求項３記載の発明によれば、原画である第１色空間データから画素ブロックを切り出し、異なる第２色の空間データへ変換し、第２色空間データを用いてパターンマッチングを行うとともに、パターン毎にパターン内のどの画素情報で拡大した画素を埋めるかの情報を有し、この情報と一致する第１色空間の画素データを用いて拡大画素を埋めるので、入力色空間が例えばＲＧＢの場合、ＲＧＢ各プレーンでパターンマッチングを行うと色ずれが生じるが、適した色空間へ変換することで、この色ずれを防止することができる。
【０１４２】
請求項４記載の発明によれば、第２色空間データは輝度(=明度)、色相、彩度の３要素を表す色空間であり、パターンマッチングは前記３要素のうちの少なくとも１つの要素を用いて行うので、画素ブロック内の色相が異なる２色で塗りつぶされているとき、色相１プレーンで２色を分離できる。また、同色相で構成されている影付き文字／線画は彩度が異なるため、彩度１プレーンで２色を分離でき、的確にパターンマッチングを行うことができる。
【０１４３】
請求項５記載の発明によれば、第２色空間データは輝度、色差の３要素(輝度：１要素、色差：２要素)を表す色空間であり、パターンマッチングは前記３要素のうちの少なくとも１つの要素を用いて行うので、色ずれを防止することができる。
【０１４４】
請求項６記載の発明によれば、画素ブロックをＮ分割し、分割したブロックの情報で注目画素を含む画素ブロックのパターン検索を行うので、ソフトエウアでの実現の際、画素ブロックの大型化、パターン情報のdon't care対応などの増大する要因に対応が可能で、的確に１つのパターンを高速に検索できる。
【０１４５】
請求項７記載の発明によれば、比較的低階調の連続調のカラー画像データを画素毎にＴ（≧２）値化し、Ｔ値化された画像データとジャギーが発生するパターンをマッチングして一致するか否かを判定し、ジャギーが発生するパターンと判定された場合に、Ｔ値化された画像データに対して画素データをジャギーが発生しないように埋め込んでスムージング拡大処理して比較的高階調の拡大画像を生成するようにしたので、２値画像と中間調画像の両方のスムージング拡大処理を計算負荷が高くなることなく行うことができる。
【０１４６】
請求項８記載の発明によれば、拡大倍率に応じて整数倍率と端数倍率を演算して、整数倍率でスムージング拡大処理した後に端数倍率で拡大処理するので、実数変倍に対応することができる。
【０１４７】
請求項９記載の発明によれば、スムージング拡大処理後の整数倍率毎の複数の画素埋め込みパターンに基づいてスムージング拡大処理するので、処理を高速化することができる。
【０１４８】
請求項１０記載の発明によれば、ＲＧＢデータを明るさ成分の信号と色成分の信号に変換して変換後の信号をパターンマッチングし、変換後の信号をスムージング拡大処理した後に元のＲＧＢデータに逆変換するので、エッジの色相が変化することを防止することができる。
【０１４９】
請求項１１記載の発明によれば、明るさ成分の信号のみをＴ値の濃度信号に変換してパターンマッチングするので、処理を高速化することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像処理装置の要部の拡大処理部を示すブロック図である。
【図２】図１における拡大処理部における処理手順を示すフローチャートである。
【図３】図１におけるパターン処理部の各ファイルの具体的な内容を示す説明図である。
【図４】第１色空間から第２色空間に原画の画素ブロックを変換し、原画を拡大するときの手法を示す説明図である。
【図５】ドット配置情報の作成手順を示すフローチャートである。
【図６】画素ブロックを分割し、分割したブロックの情報で注目画素を含む画像ブロックのパターン検索を行うときの分割状態を示す説明図である。
【図７】分割した画素ブロックの画素を用いて２byteコードを生成したときの１０進数との関係を示す図である。
【図８】本発明の第２の実施形態に係るカラー画像処理装置を示すブロック図である。
【図９】図８のＭ×Ｎバッファの構成を示す説明図である。
【図１０】図８の２値化部の処理例を示す説明図である。
【図１１】図８の埋め込み部の埋め込み処理を示す説明図である。
【図１２】図８のカラー画像処理装置のスムージング拡大処理手順を示すフローチャートである。
【図１３】本発明の第３の実施形態に係るカラー画像処理装置を示すブロック図である。
【図１４】第３の実施形態における３値化処理を示す説明図である。
【図１５】第３の実施形態におけるスムージング拡大処理を示す説明図である。
【図１６】第３の実施形態におけるスムージング拡大処理の処理手順を示すフローチャートである。
【図１７】ニアレストネイバー法とバイリニア法を示す説明図である。
【図１８】本発明の第４の実施形態に係る画像処理装置の構成を示すブロック図である。
【図１９】第４の実施形態に係る画像処理装置の処理手順を示すフローチャートである。
【図２０】本発明の第５の実施形態に係る画像処理装置の構成を示すブロック図である。
【図２１】第５の実施形態に係る画像処理装置の処理手順を示すフローチャートである。
【図２２】第５の実施形態の整数倍拡大部における拡大手段の色数だけから選択する場合の処理手順を示すフローチャートである。
【図２３】第５の実施形態の整数倍拡大部における拡大手段の色数と色相から選択する場合の処理手順を示すフローチャートである。
【図２４】第５の実施形態の整数倍拡大部における拡大手段の色数、色相、画素の連結情報から選択する場合の処理手順を示すフローチャートである。
【図２５】画素の連結情報の生成について説明するための図である。
【図２６】整数倍率算出部の動作を説明するための図である。
【図２７】整形部の動作を説明するための図である。
【図２８】ＲＧＢ１画素を整数倍率に応じて単純に拡大するときの拡大方法の一例を示す図である。
【図２９】本発明の第６の実施形態に係る画像処理装置の構成を示すブロック図である。
【図３０】第６の実施形態に係る画像処理装置の処理手順を示すフローチャートである。
【図３１】拡大部におけるバイリニア法として知られた拡大方法の詳細を説明するための図である。
【図３２】拡大部で拡大した全画素を特徴量により正規化する強調処理部の処理手順を示すフローチャートである。
【図３３】強調処理部の変換特性を示す説明図である。
【図３４】本発明の第７の実施形態に係る画像処理装置の構成を示すブロック図である。
【図３５】第７の実施形態に係る画像処理装置の処理手順を示すフローチャートである。
【図３６】倍率間の整数倍に当たる重み係数を予め算出しておき、倍率の入力に応じて、拡大部に重み係数を設定して拡大する構成を示すブロック図である。
【符号の説明】
１００拡大処理部
１１０ファイル部
１１１パターンファイル
１１２ドット配置ファイル
１１３画素参照ファイル
１２０パターン生成部
１３０パターン検索部
１４０埋め込み処理部
１４１埋め込み部
１４２単純埋め込み部
１５０整数倍率
１６０画素ブロック
８０１ＲＧＢ／ＹＩＱ変換部
８０２Ｍ×Ｎバッファ
８０３２値化部
８０３ａＴ値化部
８０４パターンマッチング処理部
８０５パターン記憶部
８０６埋め込み部
８０６−１単純埋め込み部
８０６−２テンプレート埋め込み部
８０６−３テンプレート記憶部
８０７色成分拡大部
８０８ＹＩＱ／ＲＧＢ変換部
８０９端数変倍部
８１０倍率演算部
８１１合成部
１８０１Ｍ×Ｎ画素ブロック
１８０２第１の色空間データ変換部
１８０３第１の拡大手段
１８０４第２の拡大手段
１８０５第３の拡大手段
１８０６第４の拡大手段
１８０７，２００６選択部
１８０８第２の色空間データ変換部
１８０９，２００２特徴量算出部
２００１ＲＧＢ：Ｍ×Ｎ画素ブロック
２００３ＲＧＢ／ＹＩＱ変換部
２００４輝度Ｙ：Ｍ×Ｎ画素ブロック
２００５整数倍拡大部
２００５１第１の拡大手段
２００５２第２の拡大手段
２００５３第３の拡大手段
２００５４第４の拡大手段
２００７整形部
２００８ＹＩＱ／ＲＧＢ変換部
２００９整数倍率算出部
２９０１，３４０１拡大部
２９０１１Ｙ信号拡大部
２９０１２Ｉ，Ｑ信号拡大部
２９０２，３４０２強調処理部
２９０３特徴情報演算部
３４０３特徴情報算出部
３４０４重み係数設定部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to image processing of display images of image forming apparatuses such as printers, copiers and facsimiles, and information processing apparatuses, and print-out and display of high-resolution images of monitor resolution levels such as digital camera images and Internet homepages. The present invention relates to an image processing apparatus and method that are suitable for image processing in a case where the image data is continuous, and that is applied to processing for expanding relatively low tone continuous tone color image data to a relatively high tone image.
[0002]
[Prior art]
As this type of conventional example, for example,
A. JP-A-5-094521
B. JP-A-6-189116
C. Japanese Patent Laid-Open No. 7-050752
D. JP-A-7-093563
E. JP 7-105359 A
F. JP-A-7-221976
G. Japanese Patent Laid-Open No. 7-221977
H. JP-A-7-262351
I. JP-A-7-288893
J. et al. JP-A-10-126609
The invention disclosed in each of the publications is known.
[0003]
Among them, as for density conversion by pattern matching, Japanese Patent Application Laid-Open No. 7-221976 (F) discloses that binary image data is matched with a template, and a target pixel is set to 2 by a smoothing enlarged pattern corresponding to the matched pattern. Smoothing enlargement to a value enlargement dot group, dividing it into one or more pixels according to the enlargement ratio, smoothing each image and making it multi-valued, and using a plurality of smoothing patterns for the template pattern used at that time It is disclosed that it is divided into groups and divided into pattern groups, and matching priority is set according to the groups. Japanese Patent Laid-Open No. 7-221977 (G) discloses means for calculating a scaling factor according to received data when binary image data is received by FAX, and a pixel of interest for the binary image data. Means for performing template matching processing for each predetermined region centered on the image, computing means for converting the pixel of interest into a plurality of multi-value smoothing enlarged pixels according to the template pattern matched as a result of template matching processing, and computing means Means for transferring the multi-value smoothing enlarged pixel data used in the above to the internal RAM in advance in accordance with the calculated scaling factor, so that the smoothing enlargement processing of the binary image data received by FAX can be reliably performed. It has been disclosed.
[0004]
Japanese Laid-Open Patent Publication No. 7-50752 (C) discloses an apparatus configured to detect an edge in a block based on data of each pixel of the block and perform density conversion when the pattern is satisfied. Japanese Patent Laid-Open No. 7-288893 (I) discloses a technique in which a block of x * y pixels adjacent to a target pixel is used for searching a pattern to be embedded in order to speed up pattern matching. Is disclosed. However, the prior art of (C) does not disclose speeding up of the pattern search when implemented in software such as a printer driver.
[0005]
Japanese Laid-Open Patent Publication No. 10-126609 (J) discloses a method of having an image area separation unit, switching and enlarging a process according to a separation result, and performing a smoothing enlargement process on a facsimile binary image having a predetermined resolution. Yes. In addition, in the column “Prior Art” in Japanese Patent Application Laid-Open No. 7-262351 (H), Japanese Patent Application No. 6-4424 is cited, and all feature points are obtained by pattern matching the minute components of the edge of the luminance signal. There is a description of a method for extracting a vector connecting individual feature points, correcting the vector according to the enlargement ratio, and drawing and painting a contour according to the corrected vector.
[0006]
Japanese Patent Application Laid-Open No. 5-94521 (A) discloses a technique for determining and enlarging a scaling method suitable for an input image or a part, in other words, a technique for performing an appropriate enlargement process according to an image. Japanese Patent Laid-Open No. 6-189116 (B) has means for adding the fractional part of the addition result and the enlargement ratio, performs enlargement in accordance with the integer part of the addition result, and arbitrarily selects both the main scanning direction and the sub-scanning direction. A technique for enlarging at a magnification is disclosed.
[0007]
Japanese Patent Laid-Open No. 7-093563 (D) converts input image data into luminance / color difference data, generates an edge from the luminance data, generates an edge of the color difference data based on this information, and enlarges it. A technique, in other words, a technique for enlarging after converting to data in a color space different from the input image is disclosed. In this conventional technology, a luminance edge bitmap is created, and based on this, the maximum and minimum values of the color difference component are arranged to generate edges of luminance and color difference. Depending on the edge and color combination, color misregistration may occur.
[0008]
Furthermore, Japanese Patent Laid-Open No. 7-105359 (E) discloses a technique for adding and synthesizing linear interpolation and a binarized result of the interpolation, and binarizing the enlarged data. Since there is a step of adding and synthesizing with the data before binarization, there is room for improvement in speeding up the processing.
[0009]
[Problems to be solved by the invention]
By the way, the prior arts (F) and (G) described above relate to a technique for scaling a binary image, and the processing in the case of targeting a full color image is not particularly disclosed.
[0010]
In the conventional technique (I), since all the patterns for enlargement are held, there remains a problem in the search method when the pattern size is increased in order to obtain the jaggy reduction effect.
[0011]
Furthermore, in the prior arts of (F) and (J), the values are merely reduced jaggies at the time of enlargement of black characters on the ground such as “0” and “255” and binary images of line drawings. A halftone image such as a photographic image cannot be smoothed and enlarged. For this reason, when a low-resolution image of about 72 dpi found on an image of a digital still video camera or an Internet homepage is output by a high-resolution printer of about 600, jaggy and blur cannot be reduced. The same applies to a bitmapped graphic image in which an edge is conspicuous compared to a photograph. The conventional technique (J) is a technique related to a binary image, and does not give any consideration to scaling of an image made up of color elements such as RGB and does not disclose it.
[0012]
In the prior art (H), since the smoothing enlargement process is performed by vector calculation, the calculation load increases.
[0013]
In the prior art (A), a technique for performing enlargement processing according to image quality as described above is disclosed, but there is no disclosure of a technique for enlarging a low resolution with a jaggy reduction effect. Note that the term “jaggy” as used herein refers to a stepped jagged shape that occurs when an oblique line is expressed in a digital image. Jaggy is likely to occur when the image resolution is low, and as long as the digital image is in units of pixels, it is essentially inevitable. As a method of making this jaggy inconspicuous, for example, a method called anti-aliasing is known. This method includes a method of making the jaggy substantially invisible by increasing the resolution and a method of making the jaggy inconspicuous by blurring around the pixel where the jaggy is generated.
[0014]
The prior art (B) is a technique for performing zooming in two stages, but is a technique based on simple enlargement, and does not take into account jaggy reduction or color misregistration at the edge portion.
[0015]
The present invention has been made in view of such a background. Eyes For full color images about Fast To be able to achieve any integer magnification There is to do.
[0020]
[Means for Solving the Problems]
In order to achieve the object, the first means is an image processing apparatus that performs processing for enlarging an image on input image data.
In order to hold the dot arrangement information of the enlarged pixels for each pattern to be corrected and for each magnification, and to extract one dot arrangement information from the pattern matching result and the magnification, for each pattern of the pattern file storing a plurality of patterns in advance A dot arrangement file stored as information for each integer magnification how to arrange the enlarged pixel of the target pixel;
Preset and input RGB image data of the dot arrangement file Includes pixel of interest An image reference file in which pixel reference information indicating which pixel information in an M × N ((M, N ≧ 2)) pixel block is filled with enlarged pixel information is stored;
A pixel block is cut out from the RGB image data, converted into luminance color difference signal data, and luminance color difference signal data is obtained. Brightness data Means for performing pattern matching with a pattern in a pattern file registered in advance using
If there is a matching pattern by the pattern matching, specify an image reference file corresponding to the dot arrangement file corresponding to the matched pattern file, For each enlarged pixel in the dot placement file, Corresponds to the pixel reference information of the specified image reference file Said RGB image data Middle pixel of RGB By value By embedding enlarged pixels If the correction target pixel is enlarged and embedded, and there is no matching pattern, M × N pixels of the input RGB image data Blocking Of the pixel to be corrected RGB Means to simply enlarge and embed the value itself,
It is characterized by having.
In this case, the M × N pixel block is divided into a plurality of blocks, a 2-byte code is generated for all pixels of one pixel block of the divided block, and one pattern is generated using information of the remaining pixel blocks. And a means for converting the input image data into T (integer of T ≧ 2) values, and calculating a threshold value based on the luminance signal of M × N pixels by the T value conversion means. The luminance signal is converted into T-valued density data by the above, the pattern matching means performs (T-1) pattern matching processing, and the embedding means matches the matching processing result in the pattern matching processing. In this case, the pixel data is embedded with reference to the template corresponding to the matched pattern, and in the case of mismatch, the target pixel data is temporarily embedded. After the (T-1) pattern matching processing is completed, enlargement processing is performed and embedding is performed, and extraction of the dot arrangement information is performed on the dot arrangement information of the enlarged pixels at a preset magnification. Based on this, it is preferable to create enlarged pixel dot arrangement information of other magnifications.
Further, the means for embedding includes an enlargement unit, an enhancement processing unit, and a feature information calculation unit,
The image information of the M × N pixel block surrounding the target pixel is input to the enlargement unit and the feature information calculation unit from the image to be enlarged, and the feature information indicating the feature of the block is calculated by the feature information calculation unit, and the enlargement is performed. The pixel of interest is expanded to a P × Q (P, Q ≧ 2) pixel block, and the enhancement processing unit performs enhancement processing of all pixels P × Q pixel block according to the calculated feature information. Are shifted for each pixel and repeated for all pixels.
Further, the embedding means includes an integer magnification calculator that calculates an integer magnification that is enlarged based on the image size and magnification, and thinning obtained from the molding magnification calculator based on the calculated integer magnification, no shaping, Decimation from additional information, calculate the number of pixels and shaping pitch when additional shaping is required, count the enlarged pixels, and perform decimation or additional processing when it matches the integer value of the shaping pitch Like that.
It is also possible to set a plurality of enlargement processes and switch between them according to a combination of the number of colors in M × N pixels, matching or similarity of hues, and pixel connection determination based on luminance data.
In the image processing method for performing an image enlargement process on input image data, the second means holds dot arrangement information of enlarged pixels for each pattern to be corrected and for each magnification, and a pattern matching result In order to extract one dot arrangement information from the magnification and the dot, the dot stored as information for each integer magnification how to arrange the enlarged pixel of the target pixel for each pattern of the pattern file in which a plurality of patterns are stored in advance A pixel reference which is pre-set in the arrangement file and the dot arrangement file and which pixel information is to be filled with pixel information in the M × N ((M, N ≧ 2)) pixel block of the input RGB image data An image reference file in which information is stored, a pixel block is cut out from the RGB image data, converted into luminance color difference signal data, When pattern matching is performed with a pattern in a pattern file registered in advance using color difference signal data, and there is a matching pattern by the pattern matching, an image reference file corresponding to the dot arrangement file corresponding to the matched pattern file is displayed. The correction target pixel is enlarged and embedded by the value of RGB image data corresponding to the pixel reference information of the specified image reference file.
A third means is an image processing program to be executed by a computer that performs a process of enlarging an image with respect to input image data. In the image processing program, the dot arrangement information of the enlarged pixels is obtained for each pattern to be corrected and for each magnification. In order to hold and extract one dot arrangement information from the pattern matching result and the magnification, how to arrange the enlarged pixel of the target pixel for each pattern of the pattern file that stores a plurality of patterns in advance for each integer magnification Pixel arrangement file stored as information, and pixel information at which position in the M × N ((M, N ≧ 2)) pixel block of the RGB image data set in advance and input to the dot arrangement file An image reference file in which pixel reference information indicating whether to fill the image is stored, and a pixel block is cut out from the RGB image data When the pattern matching with the pattern in the pattern file registered in advance using the luminance color difference signal data and pattern matching is performed using the luminance color difference signal data, and there is a pattern that matches by the pattern matching, When the image reference file corresponding to the corresponding dot arrangement file is specified, the correction target pixel is enlarged and embedded by the value of the RGB image data corresponding to the pixel reference information of the specified image reference file, and there is no matching pattern, And a process of simply enlarging and embedding the value itself of the correction target pixel of M × N pixels of the input RGB image data.
The fourth means is characterized in that the image processing program according to the third means is read by a computer and recorded on a recording medium in an executable manner.
[0045]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0046]
<First Embodiment>
FIG. 1 is a block diagram illustrating a main part of a processing unit that performs an enlargement process of an image processing apparatus according to an embodiment of the present invention. In the figure, the enlargement processing unit 100 includes a file unit 110, a pattern generation unit 120, a pattern search unit 130, and an embedding processing unit 140. The file unit 110 further includes a pattern file 111, a dot arrangement file 112, and a pixel reference file. 113, and the embedding processing unit 140 includes an embedding unit 141 and a simple embedding unit 142.
[0047]
The dot arrangement file 112 receives an instruction signal 150 for instructing an integer magnification from an operation unit (not shown), and the pixel reference file 113 and the pattern generation unit 120 receive a signal 160 indicating a pixel block. The pattern search unit 130 receives the signal generated by the pattern generation unit 120 and switches the output of either the embedding unit 141 or the simple embedding unit 142 of the embedding processing unit 140 according to the reference to the pattern file 111. The enlarged image is output from the embedding processing unit 140 by selecting by switching 170. A signal from the dot arrangement file 112 or the pixel reference file 113 is input to the embedding processing unit 140.
[0048]
The pattern file 111 has a pattern as shown in FIG. 3 to be described later, the dot arrangement file 112 has a pattern as shown in FIG. 3 to be described later according to the integer magnification, and the pixel reference file 113 has a pattern as shown in FIG. Files corresponding to the pixels shown are stored.
[0049]
Each file is set in a storage unit (not shown), and the control of each processing unit and each file is executed by the CPU according to a program stored in a ROM (not shown). The same applies to the following embodiments.
[0050]
The processing procedure of the enlargement processing unit thus roughly configured is shown in the flowchart of FIG.
[0051]
In this process, first, the dot arrangement file 112 corresponding to the input integer magnification is selected (step 201), and an M × N pixel block is cut out from the original image to generate a pattern (step 202). In the dot arrangement file 112, an example of 8 times is shown in FIG. 3, but a dot arrangement pattern corresponding to each integer multiple indicated by 2 to Zs in FIG. 1 is stored.
[0052]
The pattern search unit 130 searches the pattern file (all x patterns from PAT0 to PATx-1) 111 to see if there is a match or not. That is, the dot arrangement file 112 that is information on how to arrange the enlarged pixels of the pixel of interest for each of the x patterns PAT0 to PATx-1 is stored for each integer magnification. (For example, 8 times), one corresponding dot arrangement file 112 is selected (step 203). When the patterns match (Y in step 204), one dot arrangement file 112 is determined from this result and the integer magnification. Further, since the dot arrangement file 112 stores pixel reference information indicating which pixel information in the pixel block is to be used to fill the enlarged pixel, the dot arrangement information is determined and one pixel reference information is determined at the same time. . Therefore, when the pattern matches, the embedding unit 141 selects dot arrangement information and pixel reference information (step 205), generates an enlarged pixel, and fills the pixel (step 206). If they do not match, the simple embedding unit 142 embeds pixels for integer magnification using the target pixel of the pixel block (step 207). This is executed for all pixels in the original image.
[0053]
Here, the relationship between each file and embedding will be described with reference to the explanatory diagram of FIG.
[0054]
In the pattern file 111, each circle symbol is
○: 0, ●: 1, others: white or black (don't care)
Means.
[0055]
The dot arrangement information corresponds to each pattern. That is, dot arrangement information corresponds to each pattern from PAT0 to PATx-1, and in the example shown in FIG. 3, the dot arrangement file 112 is 8 times the same magnification in the main and sub scanning directions. As described above, the dot arrangement file 112 is held for each integer magnification supported by the apparatus. Further, similarly, pixel reference information (pixel reference file 113) is held on a one-to-one basis for x pieces of pattern information. Accordingly, when attention is paid to the i-th PATi, the target pixel at the center of the pattern information is “white”, that is, “0”. This means that the blt0 information that fills the “0” part in the dot arrangement information (dot arrangement file 112) is the pixel block of the original image located at the coordinates (2, 2) of the pattern information 5 × 5 (M = N = 5) It shows the information of filling with values. The blt1 information indicates information that the pixel corresponding to the “1” portion of the dot arrangement information is similarly filled with the value (2, 3). The origin of coordinates (j, k) is the upper left in the pattern file of FIG. 3, and blt0 and blt1 information correspond to 25 pixels of 5 × 5 from (0, 0) to (4, 4). Yes.
[0056]
FIG. 4 shows an example in which the (2, 2) pixel at the center of each RGB pixel block 5 × 5 is multiplied by eight.
A 5 × 5 pixel block is cut out from the RGB original image (first color space) and converted to the second color space. The example of FIG. 4 is an example using the luminance data of the luminance color difference signal. As a result of the conversion, a luminance 1 block shown in FIG. 4B is obtained from the original RGB 3 block shown in FIG. Assume that the luminance block matches the pattern file PATi. One dot arrangement pattern and image reference files blt0 and blt1 correspond to the pattern file. The center pixel of 5 × 5 is enlarged to the bottom 8 × 8 pixel shown in FIG. At this time, the enlarged R ′ blocks ○ and ● are filled with data R0 and R1 corresponding to the coordinates blt0 and blt1 in the original image. The same applies to G and B.
[0057]
As described above, when there is a matched pattern as a result of searching by the pattern search unit 130, dot arrangement information (dot arrangement file) is represented by pixel data RGB values corresponding to pixel reference information (pixel reference file 113) in the pixel block of the original image. 112) Fill in the enlarged pixels according to 112). When there is no matching pattern, all the enlarged pixels are filled with the RGB value of the target pixel at the center of the pixel block. In the former case, the embedding unit 141 is selected, and in the latter case, the simple embedding unit 142 is selected, and the above processing is executed in each unit.
[0058]
The creation of the dot arrangement information will be described with reference to the flowchart of FIG. For example, only the 8 × dot arrangement file shown in FIG. 3 is held (set basic pattern—step 501), and the file unit 110 uses the basic pattern to obtain 8 pixels in width × height (8 pixels × x) pixels. Image: 0 → 0, 1 → 255, and converted to B / W 8 bits (step 502). Linear interpolation is performed with pixel values corresponding to integer magnifications that support the width or height (step 503), and binarization is performed (step 504). Finally, another integer magnification pattern is generated by inverse transformation from 0 → 0, 255 → 1, and used for enlargement.
[0059]
The pattern generation in the pattern generation unit 120 is performed as follows. That is, color models such as HSV and HLS are examples of conversion from RGB to luminance, hue, and saturation, and color models such as YIQ and YUV are known as examples of conversion to luminance / color difference signals. Here, the HSV color space will be described as an example. In this color space, the hue H is 0 to 360 ° and the saturation S is 0 to 1. Therefore, in the case of hue, the maximum value and minimum value of H are obtained from 25 pixels with M = N = 5, and the M × N pixel block is binarized with the average value to generate a pattern. The same applies to saturation and other factors.
[0060]
Similarly, in the case of each YIQ plane, the maximum value, the minimum value, and the average value are obtained for each plane, binarized by the average value, and pattern matching is performed after the pattern is generated. The conversion method from RGB to HSV, HLS, etc., the conversion method from YIQ, YUV, etc., for example, is translated into “Computer Graphics” (Japan Computer Association, issued July 15, 1984). ) Page 622 to page 629, the description thereof is omitted here. Japanese Patent Laid-Open No. 7-221977 discloses an example of a pattern search hardware method in the pattern search unit 130.
[0061]
When this pattern matching is incorporated into a printer driver and executed on a PC, it is necessary to increase the speed by software. That is, as the block sizes of M and N increase, the search calculation load increases. In addition, looking at the pattern information in FIG. 3, since there is a don't care that can be either “0” or “1”, all the M × N pixels are binarized and a large amount of memory is required when searching. It becomes. Therefore, as shown in the explanatory diagram of FIG. 6, the M × N pixel block is divided into a plurality. FIG. 6 shows an example in which the image is divided into two. This will be described with reference to FIG.
[0062]
That is, a 2-byte code is generated using 3 × 3 9 pixels = 9 bits indicated by a thick frame from M = N = 5 pixel blocks. The above-mentioned PATi in FIG. 3 considers don't care,
Binary number: 001001111 → Decimal number: 79,
Binary number: 101001111 → Decimal number: 335
It becomes. x-pattern 2 byte code is generated. Naturally, as shown in FIG. 7, a plurality of patterns may exist in one 2-byte code. With the information of 9 pixels, it is possible to narrow down from many patterns (PAT number column in the figure). Next, one pattern is determined using the information of the remaining 16 pixels.
[0063]
When one pattern is determined using the information of the remaining 16 pixels, pattern candidates are narrowed down from the central 9 pixels as shown in FIG. For example, when the decimal number is 79, it is narrowed down to two patterns of PAT9 and PAT24. Therefore, PAT9 and PAT24 are determined from the remaining 16 pixels. At this time, since the pattern is narrowed down, it is not necessary to check the remaining 16 pixels by matching or mismatching one by one. That is, only the characteristic pixels other than the don't care among the surrounding pixels in the PAT 9 need be referred to. For example, in the case of PATi, it is determined by whether or not (3, 0) is ◯. In this manner, peripheral feature pixels can be registered for each pattern and referenced to increase the speed. If there is a mismatch, the subsequent pixel search is terminated. In addition, there is a method of pattern matching as well as the central nine pixels.
[0064]
<Second Embodiment>
Embodiments of the present invention will be described below with reference to the drawings. 8 is a block diagram showing an embodiment of a color image processing apparatus according to the present invention, FIG. 9 is an explanatory diagram showing the configuration of the M × N buffer of FIG. 8, and FIG. 10 is a processing example of the binarization unit of FIG. FIG. 11 is an explanatory diagram showing an embedding process of the embedding unit of FIG. 8, and FIG. 12 is a flowchart showing a smoothing enlargement process procedure of the color image processing apparatus of FIG.
[0065]
In FIG. 8, an RGB / YIQ conversion unit 801 converts RGB data, which is an input image, into a brightness component and a color component. Here, the following equation (1)
[Expression 1]

To convert to a multi-value YIQ signal. The YIQ signal is composed of a luminance signal (brightness component) Y and color difference signals (color components) I and Q in accordance with NTSC television. The luminance signal Y is applied to the M × N buffer 2 and the color difference signals I, Q is applied to the color component enlargement unit 7. As other brightness components and color components, PAL YUV (brightness component Y, color components U, V), uniform color space CIELAB, CIEUV (brightness component L *, color components a *, b *) Alternatively, u *, v *) or tristimulus values XYZ (brightness component Y, color components X, Y) may be used.
[0066]
For example, as illustrated in FIG. 9, the M × N buffer 2 temporarily stores 5 × 5 pixels of the multi-value luminance signal Y converted by the RGB / YIQ conversion unit 1 (the center pixel “*” is the target pixel). . The binarization unit 3 extracts the maximum value max and the minimum value min of the luminance signal Y of 5 × 5 pixels stored in the M × N buffer 2, and the following equation (2)
th = (max + min) / 2 (2)
The threshold value th for binarization is calculated as follows, and a multi-value luminance signal Y of, for example, 5 × 5 pixels is converted into binarized density data based on this threshold value th (when Y> th, binarized density data = 0, otherwise binarized concentration data = 1).
[0067]
Therefore, for example, as shown in FIG. 10A, in a 5 × 5 pixel region, high luminance pixels (low density pixels) are distributed in the upper left and low luminance pixels (high density pixels) are distributed in the lower right. As shown in FIG. 10 (b), binarized density data = 0 is distributed in the upper left and binarized density data = 1 is distributed in the lower right.
[0068]
The pattern matching processing unit 4 binarizes the binarized density data converted by the binarizing unit 3 and, for example, 5 × 5 pixels stored in advance in the pattern storage unit 5 as shown in FIG. A match / mismatch signal indicating whether or not an edge or the like where jaggy occurs is output by matching with a plurality of patterns of density data. Note that “−” in FIG. 11A indicates that “0” or “1” is not a concern (don't care), and FIG. 11B shows an enlargement of 8 times vertical × 8 times horizontal. Shows the embedding process.
[0069]
The embedding unit 806 selects the processing by the simple embedding unit 4-1 when the pattern matching processing unit 4 matches “mismatch”, while the template embedding unit 806-2 and the template storage unit 806 when “matching”. 3 is selected, and the binarized density data is expanded according to the integer magnification designated by the magnification calculator 810. As shown on the upper side of FIGS. 11A and 11B, the simple embedding unit 806-1 embeds the binarized density data = 1 of the pixel of interest for all the enlarged 8 × 8 pixels, for example.
[0070]
The template embedding unit 806-2 embeds binary density data so as not to generate jaggy based on the binary template stored in the template storage unit 806-3. For example, FIG. The drawing shown on the lower side shows that the upper right corner is embedded with white pixels (binarized density data = 0). At this time, the binarized density data = 1 in FIG. 11B is embedded with the binarized data of the pixel of interest, and the pixels in the 5 × 5 pixels adjacent to the pixel of interest are binarized density data = 0. Embedding with binarized density data corresponding to [1], [2], [3] (simply embedding with pixel [1], etc.). Note that data to be used for embedding from the adjacent pixels is determined in advance for each pattern.
[0071]
The color component enlargement unit 807 converts the multivalued color difference signals I and Q converted by the RGB / YIQ conversion unit 801 according to the integer magnification designated by the magnification calculation unit 810, for example, the nearest neighbor method or the bilinear method. Enlarge with a known enlargement method. The YIQ / RGB conversion unit 808 performs inverse conversion to the original RGB signal based on the binarized density signal enlarged by the embedding unit 806 and the color difference signals I and Q enlarged by the color component enlargement unit 807 and Expression (1). This is applied to the fraction scaling unit 809.
[0072]
Here, the input magnification zoom is not necessarily an integer multiple. Therefore, the magnification calculation unit 810 uses the following expressions (3) and (4) based on the input magnification zoom.
zoom1 = INT (zoom + 0.5) (3)
zoom2 = zoom / zoom1 (4)
Then, the integer magnification zoom1 and the fraction magnification zoom2 are calculated, the integer magnification zoom1 is applied to the embedding unit 806 and the color component enlargement unit 807, and the fraction magnification zoom2 is applied to the fraction scaling unit 9. For example, when 8.33 times is given based on the designated magnification or the designated image size, zoom1 = 8 and zoom2 = 1.041. The fraction scaling unit 809 enlarges the RGB signal converted by the YIQ / RGB conversion unit 808 by the nearest neighbor method (described later) according to the fraction magnification zoom2.
[0073]
Next, the smoothing enlargement processing procedure will be described with reference to FIG. In this process, first, the magnification calculator 810 calculates an integer magnification zoom1 and a fraction magnification zoom2 from the input magnification zoom (step 1201), and then a template corresponding to the integer magnification zoom1 is sent from the template storage unit 806-3 to the template embedding unit 806. -2 (step 1202), and then the fraction magnification zoom2 is set in the fraction scaling unit 809 (step 1203). Next, when the processing of all images is completed, the smoothing enlargement processing is ended, and when the processing of all images is not completed, the process proceeds from step 1204 to step 1205.
[0074]
In step 1205, when the band process is completed, a fraction scaling process is performed (step 1206), and then the process returns to step 1204. If band processing has not ended in step 1205, the process proceeds to step 1207. Here, “band processing” is processing by dividing the target pixel in the vertical direction. In step 1207, when the enlargement process of the brightness component (binarized density data) is completed, the enlargement process of the color components (color difference signals I and Q) is performed (step 1208), and then the process returns to step 1205.
[0075]
If the enlargement process of the brightness component (binarized density data) is not completed in step 1207, the RGB / YIQ converter 801 converts the RGB signal into a YIQ signal and converts the Y signal into the M × N buffer 802. Then, the binarization unit 803 calculates a binarization threshold th based on the Y signal of the M × N pixel (step 1210), and the Y signal of the M × N pixel is calculated based on the threshold th. Conversion into binarized density data (step 1211).
[0076]
Next, matching processing is performed by the pattern matching processing unit 4 (step 1212), and if the matching processing result is “match”, the pixel data is embedded by referring to the template corresponding to the matched pattern (step 1213 → 1214), In the case of “mismatch”, the target pixel data is embedded (steps 1213 → 1215). Next, the processing returns to step 1207 and the processing in steps 1209 to 1215 is repeated until the brightness component (binarized density data) enlargement processing is completed.
[0077]
<Third Embodiment>
FIG. 13 shows a configuration of the third embodiment in which the luminance signal Y is converted into a T (> 2 integer) value and the smoothing enlargement process is performed. In this embodiment, the binarization unit 803 is changed to a T-value conversion unit 803a with respect to the second embodiment shown in FIG. 8, and a synthesis unit 811 is added after the embedding unit 806. Is configured in the same way as the second embodiment shown in FIG.
[0078]
The T-value conversion unit 803a illustrated in FIG. 13 extracts the maximum value max and the minimum value min of the luminance signal Y of 5 × 5 pixels stored in the M × N buffer 802 and calculates the following equation:
th (T−1) = {t × max + (T−t) × min} / T (5)
However, t = T-1, ..., 1
(T-1) T-value threshold values th (T-1) are calculated by the above, and the luminance signal Y is converted into T-value density data.
[0079]
FIG. 14 shows ternary processing as an example of T-value conversion. As shown in FIG. 14A, the luminance signal Y of 5 × 5 pixels is
max = 240
min = 60
In the case of, the threshold value on the high luminance (low density) side
th1 = 180,
Low brightness (high density) threshold
th2 = 120
It becomes. Next, ternarization is performed. When Y> th1, “0” is set, and when Y ≦ th1, “1” is set, the density data shown in FIG. 14B is obtained. Then, when Y> th2, “0” is set. ", If Y≤th2," 1 "results in the density data shown in FIG.
[0080]
Here, the combination in which the target pixel matches the pattern for each of the thresholds th1 and th2 is:
(1) 0,0
(2) 0, 1
(3) 1, 0
(4) 1,1
There are four ways (1) to (4). Therefore, in the case of (1), since both are “mismatch”, “simple embedding process” is executed, and in the cases of (2) and (3), “match”, so the corresponding template is selected. Based on this, the “template embedding process” is executed. In the case of (4) above, the pattern matching process is performed twice, and the combining unit 11 combines the embedded data. As for the composition processing, embedding is performed from the low density (high luminance) pixel, and only the pixel of “1” is overwritten on the high density side corresponding to the threshold th2. As a result, since three types of brightness can be processed in the enlarged pixel as shown in FIG. 15, the shadowed character can be enlarged with high image quality.
[0081]
Next, the smoothing enlargement processing procedure in the third embodiment will be described with reference to FIG. First, the processing in steps 1601 to 1609 is the same as the processing in steps 1201 to 1209 in the flowchart of FIG. 12 in the second embodiment. Next, the threshold value th is calculated by the T-value conversion unit 803a based on the Y signal of M × N pixels (step 1610), and the Y signal is converted into T-value density data by this threshold value th (step 1611).
[0082]
Next, in step 1612, if (T-1) times of pattern matching processing has not been completed, the process proceeds to step 1613 and subsequent steps, and if completed, the process proceeds to step 1617. In step 1613 and subsequent steps, first, the pattern matching processing unit 804 performs matching processing (step 1613). If the matching processing result is “match”, the pixel data is embedded with reference to the template corresponding to the matched pattern (step 1613). 1614 → 1615), in the case of “mismatch”, the target pixel data is temporarily embedded (steps 1614 → 1616). Next, returning to step 1612, the processing in steps 1613 to 1615 is repeated until (T-1) times of pattern matching processing is completed. When (T-1) times of pattern matching processes are completed, a synthesis process is performed (step 1617), and the process returns to step 1607.
[0083]
Next, the nearest neighbor method and the bilinear method will be described. In the nearest neighbor method, for example, the pixel of interest “*” in 4 × 4 pixels as shown in FIG. 17A is the closest pixel among the four corner pixels a, b, c, and d (pixel a in this example). It is a method of filling with data. In the bilinear method, for example, the pixel of interest “*” in 4 × 4 pixels as shown in FIG. 17B is filled based on the four pixels a, b, c, d and the weights i, j of the pixel of interest “*”. Is the method. For example, in the example of FIG.
* = (I-1). (J-1) .a + i. (J-1) .b + (i-1) .j.c + i.j.d
It is to be filled up like this. Details of the bilinear method will be described later with reference to FIG.
[0084]
In addition, the processing described in this embodiment is performed by simply thinning the image on the sending computer to directly transfer to the destination printer or computer in order to save the transfer time when the resolution of the digital camera image is increased to print a large image. Alternatively, the present invention can also be applied to a case where data is transferred via a network and subjected to smoothing enlargement processing by a controller in the partner printer or software of the partner computer.
[0085]
<Fourth Embodiment>
FIG. 18 is a block diagram illustrating a configuration of an image processing apparatus according to the fourth embodiment.
[0086]
In the figure, the image processing apparatus includes an M × N pixel block extraction unit 1801 to which RGB original image data is input, a first color space data conversion unit 1802 to which the extracted pixel block is input, The first to fourth enlargement means 1803, 1804, 1805, 1806 and the first to fourth enlargement means 1803, 1804, 1805, 1806 to which the color space data converted by the color space data conversion unit 1802 is input. A selection unit 1807 that selects any one of the outputs, a second color space data conversion unit 1808 that further converts the data selected by the selection unit 1807, and a feature relating to the pixel of interest from the extracted M × N pixel block A feature calculation unit 1809 that calculates an amount and selects enlargement means 1803-1806 via the selection unit 1807 according to the feature value Has been.
[0087]
The operation of the image processing apparatus configured in this way is as shown in the flowchart of FIG. That is, M × N pixel blocks are extracted from the RGB original image data input by the M × N pixel block extraction unit 1801 (step 1901), and first to fourth enlargement means 1803-1806 taking different enlargement methods. The first color space data conversion unit 1802 converts each color space data to be input to (step 1902). As described above, the feature amount calculation unit 1809 calculates the feature amount from the M × N pixel block 1801 (step 1903), and selects one of the first to fourth enlargement units 1803-1806 as an enlargement method suitable for enlargement. (Step 1904), the target pixel is enlarged. Thereafter, the second color space data conversion unit 1808 converts the data into desired color space data (step 1905). This process is repeated for all pixels.
[0088]
That is, in this embodiment, first, in the first step, M × N pixel blocks are extracted from the RGB original image data input by the M × N pixel block extraction unit 1801, and in the second step, different enlargement methods are used. The first color space data conversion unit 1802 converts each color space data to be input to the first to fourth enlargement means 1803 to 1806. On the other hand, the feature amount is calculated from the M × N pixel block extraction unit 1801 in the third step, and in the fourth step, one enlargement unit suitable for enlargement is selected from the first to enlargement units 1803 to 1806 to select the pixel of interest. Expanding. Thereafter, in the fifth step, the second color space data conversion unit 1808 converts the data into desired color space data and outputs it.
[0089]
This embodiment shows an example of the most basic operation principle of the present invention, and the first to fourth enlargement means 1803-1806 are RGB data as will be described in detail in the fifth embodiment. That have the function of enlarging the image data, and those that have the function of enlarging the RGB data into the RGB multi-value data are adopted. Enlargement means 1803-1806 suitable for processing according to the feature amount are appropriately set and prepared. The
[0090]
As the feature amount, for example, the difference between the maximum value and the minimum value of the M × N pixel block is used. Also, in the selection by the selection unit 1807, an enlargement method set according to the number of colors, hue, and the like as described in detail in a fifth embodiment described later is selected based on the feature amount.
[0091]
<Fifth Embodiment>
The configuration of the image processing apparatus according to the fifth embodiment is shown in the block diagram of FIG. This embodiment is an example having a plurality of enlargement means for enlarging data in an RGB color space and a YIQ color space (luminance / color difference signals, other signals such as YUV signals, etc.).
[0092]
In the figure, the image processing apparatus according to the fifth embodiment receives RGB image data and extracts an M × N pixel block, an RGB: M × N pixel block extraction unit 2001, and this M × N pixel block extraction. An image feature amount calculation unit 2002 that calculates an image feature amount based on image data from the unit 2001, an RGB / YIQ conversion unit 2003 that receives RGB original image data and converts the RGB data into YIQ data, and this RGB / YIQ conversion Data from luminance Y: M × N pixel block extraction unit 2004 and RGB: M × N pixel block extraction unit 2001 for extracting an M × N pixel block related to luminance Y from YIQ data converted by unit 2003 and luminance Y: M Calculation by the integer multiple enlargement unit 2005 to which data from the × N pixel block 2004 is input and the image feature amount calculation unit 2002 A selection unit 2006 that selects the first to fourth enlargement units 20051, 20052, 20053, and 20054 of the integer magnification enlargement unit 2005 according to the result, and shapes the size of the enlarged image by the integer magnification to a desired size of the enlarged image Information to be generated and shaped from the shaping unit 2007, the YIQ / RGB conversion unit 2008 that converts and inputs YIQ / RGB conversion data to the shaping unit 2007 according to the selection of the selection unit 2006, and the image size and magnification It is composed of an integer magnification calculator 2009 that calculates an integer magnification to be enlarged and outputs the magnification to an integer magnification enlarger 2005 and a shaping unit 2007.
The enlargement unit, the feature amount, the integer magnification calculation unit, and the shaping unit will be described later.
[0093]
The processing procedure of the image processing apparatus configured as described above is shown in the flowchart of FIG. In this process, first, an integer magnification to be enlarged is calculated based on the image size and the magnification input by the integer magnification calculator 2009 (step 2101), and information to make a desired size is generated by the shaping unit 2007 ( Step 2102). Next, the RGB original image is converted into YIQ data (step 2103). This conversion is performed by the RGB / YIQ conversion unit 2003. Then, a feature amount is calculated from the M × N pixel block surrounding the target pixel (step 2105), and one enlargement unit is selected from the first to fourth enlargement units 20051 to 20054 based on the calculated feature amount (step 2105). 2106). When the enlargement means is selected, the pixel of interest is enlarged by the selected enlargement means (step 2107), and it is checked whether or not conversion from the YIQ space to the RGB space is necessary (step 2108). The YIQ / RGB conversion unit 2008 executes the conversion (step 2109), and if not necessary, directly checks whether or not shaping is necessary (step 2110). If shaping is necessary in this check, shaping is performed (described later), and if unnecessary, shaping is not performed, and it is confirmed in step 2104 whether the processing from step 2105 to step 2111 has been completed for all pixels. To do. Then, the enlargement process is completed when the process is completed for all the pixels.
[0094]
In this embodiment, the integer multiple enlargement unit 2005 includes first to fourth enlargement means 20051 to 20054 as described above. The first enlarging means 20051 has a function of enlarging the RGB data, and for example, the above-mentioned nearest neighbor method, bilinear method or the like can be used. The second enlarging means 20052 has a function of enlarging the YIQ data, and has a luminance data enlarging unit 200521 and a color difference data enlarging unit 200522, and for the luminance signal (Y data), the luminance data enlarging unit 200521 uses a bilinear method. The color difference data enlargement unit 20522 applies the arrest neighbor method to the color difference signal (I, Q data). The third enlarging means 20053 has a function of enlarging RGB data into RGB multi-valued data. For example, a method disclosed in Japanese Patent Laid-Open No. 7-221976 or Japanese Patent Laid-Open No. 7-221977 is employed. The fourth enlargement unit 20054 has a function of enlarging the RGB data, for example, an enlargement function obtained by modifying the third enlargement unit 20053. The image data necessary for the enlargement function of the enlargement means is input by such enlargement means. Note that these various enlargement functions are combined by applying known techniques according to the state of the image, the type of color space, and the like. The function of the above-described enlargement means is an example.
[0095]
As can be seen from the block diagram of FIG. 20 and the flowchart of FIG. 21, the integer magnification calculator 2009 calculates an integer magnification from information such as the input / output image size and magnification, and the feature calculator 2002 extracts the extracted pixels. From the block, feature information necessary for selecting the enlargement means is calculated. Then, based on the feature information calculated by the integer multiple enlargement unit 2005, one enlargement unit is selected by the enlargement unit selection unit 2006. Then, the selected pixel of interest is enlarged by an integral multiple.
[0096]
The shaping unit 2007 generates information for shaping the size of the enlarged image at an integer magnification to the size of the desired enlarged image, and performs shaping.
[0097]
The processing procedure of the selection example of the enlargement means in the integer multiple enlargement unit 2005 is shown in the flowcharts of FIGS. This selection is performed according to the calculation results in the number of colors / hue detection unit 20001 in the feature amount calculation unit 2002 and the pixel connection information generation unit 20022. In this embodiment, the maximum number of colors is 4, and the flowcharts of FIGS. 22 to 24 are based on this number of colors. Of these, FIG. 22 shows the number of colors, FIG. 23 shows the number of colors and hues, and FIG. 24 shows a selection example based on the number of colors, hues, and pixel connection information. Thereby, one enlargement means is selected from a plurality of enlargement means 20051 to 20054.
[0098]
Specifically, in the flowchart of FIG. 22, first, if the number of colors is 1 (Y in Step 2201), SW0 of the selection unit 2006 is turned on, and the RGB data from the first enlargement unit 20051 is converted into the shaping unit 2007. Is input. If the number of colors is 2 (Y in Step 2202), SW1 of the selection unit 2006 is turned on, and RGB data and luminance data (Y data) from the third enlargement unit 20053 are input to the shaping unit 2007. If the number of colors is 3 (Y in Step 2203), SW2 of the selection unit 2006 is turned on, and RGB data and luminance data (Y data) from the fourth enlargement unit 20054 are input to the shaping unit 2007. If the number of colors is 4 (N in step 2203), SW3 of the selection unit 2006 is turned on, and the luminance data (Y data) and color difference data (I data and Q data) from the second enlargement means 20052 are selected. After being converted into RGB data by the YIQ / RGB conversion unit 2008, the data is input to the shaping unit 2007. If the number of colors is not 3 in the determination at step 2203, SW3 is turned on and the second enlargement means 20052 is selected.
[0099]
By processing in this way, it is possible to select a plurality of enlargement methods with feature information having only a small number of colors, and to perform pixel enlargement along with jaggy reduction.
[0100]
In the flowchart of FIG. 23, if the number of colors is 1 (Y in Step 2301), SW0 of the selection unit 2006 is turned on, and RGB data from the first enlargement unit 20051 is input to the shaping unit 2007. If the number of colors is 2 (Y in Step 2302), SW1 of the selection unit 2006 is turned on, and RGB data and luminance data (Y data) from the third enlargement unit 20053 are input to the shaping unit 2007. If the number of colors is 3 (Y in step 2303), it is further checked whether all the hues match or are similar (step 2304). If they match or are similar, SW3 is turned on. Turn on. If the number of colors is 4 (Y in step 2305), it is further checked whether or not all hues match or are similar. If they match or are similar, SW3 is turned on, and if neither matches or resembles, SW1 is turned on. If the number of colors is not 4 in the determination in step 2305, SW3 is turned on. Note that the SW selected in the flowchart of FIG. 23 selects the enlargement means 20051 to 20054 shown in the block diagram of FIG.
[0101]
By processing in this way, the combination of the number of colors and the hue enables the anti-aliasing character / line drawing to be enlarged while reducing jaggies.
[0102]
In the flowchart of FIG. 24, if the number of colors is 1 (Y in Step 2401), SW0 of the selection unit 2006 is turned on, and RGB data from the first enlargement unit 20051 is input to the shaping unit 2007. If the number of colors is 2 (step 2402), SW1 of the selection unit 2006 is turned on, and RGB data and luminance data (Y data) from the third enlargement unit 20053 are input to the shaping unit 2007. If the number of colors is 3 (Y in step 2403), it is further checked whether all hues match or are similar (step 2404). If neither matches nor similar, SW1 is turned on. The pixel connection information described later is generated (step 2405). Pixel connection information is generated by a feature amount calculation unit 2002. Then, if it is determined that there is connection from the generated pixel connection information, SW2 is turned on, and if it is determined that there is no connection, SW3 is turned on. If the number of colors is 4 (Y in step 2407), it is further determined whether all the hues match or are similar (step 2408). If they match or are similar, SW3 is turned on, and the match must be similar. SW1 is turned on. If it is determined in step 2407 that the number of colors is not 4, SW3 is turned on. Note that the SW selected in the flowchart of FIG. 24 selects the enlargement means 20051 to 20054 shown in the block diagram of FIG.
[0103]
When the number of colors is 1, for example, the first enlargement unit 20051 simply enlarges one RGB pixel according to the integer magnification Zs as shown in FIG. The simple enlargement is a method of simply enlarging, for example, when Zs = 3, all the values of Zs × Zs pixels are filled with the original image values.
[0104]
By performing processing in this way, jaggy reduction and pixel enlargement can be performed for anti-aliasing characters / line drawings and shadowed characters / line drawings by combining the number of colors, hue, and pixel connection.
[0105]
The generation of the pixel connection information in step 2405 is performed as follows. That is, as shown in FIG. 25, pixel connection determination is performed with luminance data in M × N pixels (5 × 5 pixels in the figure) surrounding the target pixel *. The luminance M × N pixel has the number of colors = 3, that is, the luminance is composed of a maximum value Ymax, a minimum value Ymin, and a median value Ymid. Therefore, if the pixel matching the Ymid value is set to 1 and the other pixels are set to 0, Ymid connection information is obtained. The example shown in FIG. 25 is an example in which one pixel is vertically connected. Moreover, it is good also as having connection with 2 pixels width and 2 connection.
[0106]
FIG. 26 is an explanatory diagram for explaining the operation of the integer magnification calculator 2009. In the integer magnification calculator 2009, a desired integer magnification is set in advance as 2 to Zmax (times). Here, for the sake of simplicity, an example with the main and sub-magnification will be described.
[0107]
When the number of pixels in the input X direction (main scanning direction) is Xin, the number of pixels in the output X direction is Xout, and the input magnification is Zin, the input magnification is
Zin = Xout / Xin
This value is between 2 and Zmax. At this time, the integer magnification Zs is calculated from the staircase characteristics shown in FIG. Further, the characteristics may be shifted from ± 0.5. The integer multiple enlargement unit performs enlargement according to the magnification of Zs. In this example, the magnification Z is
2.5 ≦ Z <3.5
When,
Zs = 3
This integer magnification “3” is output to the integer multiple enlargement unit 305 and the shaping unit 307.
[0108]
FIG. 27 is an explanatory diagram for explaining the operation of the shaping unit 2007. In the shaping unit 2007, from the characteristics of the integer magnification calculator 2009 shown in FIG.
2.5 times ≤ Zin <3.0 times → thinning
Zin = 3.0 times → No shaping: Integer expansion as it is
3.0 times <Zin <3.5 times → Add
Information is known. Therefore, the number of pixels Spix when thinning and additional shaping are required is
Spix = Xin × | Zin−Zs |
The shaping pitch pit is
pit = Zs / | Zin-Zs |
Can be obtained. Then, the enlarged pixels are counted, and when they coincide with the integer value of the shaping pitch pit, thinning or addition is performed. After the match, the shaping pitch pit adds its own value.
[0109]
FIG. 27 shows a time when the magnification is around 3. Zin = 3 is an example in which one pixel is enlarged to 3 × 3 pixels without shaping (FIG. 27A). When thinning out, as shown by the dotted line in FIG.
1: Vertical 3 pixels
2: 3 horizontal pixels
3: 3 pixels vertically and horizontally
Are thinned out. In the case of addition, as shown in FIG.
1: The value of the left pixel is simply copied and filled.
2: The value of the upper pixel is simply copied and filled.
3: Copy and fill the value of the left pixel, and further copy and fill the value of the upper pixel.
Add like this. As a result, jaggy can be reduced.
[0110]
As described above, since the image enlarged at the integer magnification by any one of the enlargement means 20051 to 20054 of the integer magnification enlargement unit 2005 is adjusted to a desired size by the shaping unit 2007, the enlarged image multiplied by the integer can be reduced in jaggy. It can be transformed to any desired size without loss. Further, no color shift occurs at the edge portion.
[0111]
<Sixth Embodiment>
This embodiment requires a process of binarizing the enlarged data and adding and synthesizing with the data before binarization in the past, and in view of the fact that it has not been able to cope with the speeding up of processing, it is possible to perform higher speed processing. It is comprised so that can be implement | achieved.
[0112]
The configuration of the image processing apparatus according to the sixth embodiment is shown in the block diagram of FIG. 29, and the processing procedure of the image processing apparatus is shown in the flowchart of FIG.
[0113]
In FIG. 29, the image processing apparatus includes an enlargement unit 2901, an enhancement processing unit 2902, and a feature information calculation unit 2903, and an M × N pixel block surrounding the target pixel * is enlarged from the image to be enlarged. Is input to the feature information calculation unit 2903, the feature information indicating the feature of the block is calculated by the feature information calculation unit 2903 (step 3001), and the pixel of interest is enlarged to the P × Q pixel block by the enlargement unit 2901 ( In step 3002), the enhancement processing unit 2902 performs enhancement processing for all the pixels P × Q in accordance with the feature information (step 3003). The target pixel is shifted for each pixel, and this process is repeated for all pixels.
[0114]
By processing in this way, the feature information is calculated from the pixel block including the target pixel, and after the target pixel is enlarged, conversion is performed according to the feature information, so that the sharpness is maintained in the expansion of the low resolution image, It is possible to reduce jaggy.
[0115]
An enlargement unit 2901 performs enlargement using a linear interpolation method. The bilinear method, which is generally known as the linear interpolation method, has been briefly described before, but will be described in more detail with reference to FIG.
[0116]
As shown in FIG. 31, for example, a 3 × 3 pixel block with M = N = 3 is given by P0 to P8, the target pixel is P4, and this target pixel P4 is enlarged by, for example, four times ( P = Q = 4), and the enlarged pixel Px is 16 pixels P400 to P433. When interpolating 16 pixels, which pixel among P0 to P8 is used for interpolation,
For P400, P401, P410, and P411, P0, P1, P3, P4,
For P402, P403, P412, and P413, P1, P2, P4, P5,
For P420, P421, P430, P431, P3, P4, P6, P7,
For P422, P423, P432, P433, P4, P5, P7, P8,
Each of the four points is used, and the enlarged pixel is expressed in linear form from these four points and the coefficients a, b, c, d with the distances i, j as weights.
P400 = (1-i) (1-j) P0 / a + i (1-j) P1 / b + (1-i) jP3 / c + ij / dP4 (6)
Is calculated by
[0117]
Other expansion methods include the bicubic method. The bicubic method can obtain higher image quality than the bilinear method, but the calculation load is higher. Since this bicubic method itself is publicly known, description thereof is omitted here.
[0118]
The feature information calculation unit 2903 extracts the maximum value Max and the minimum value Min in the M × N pixel block, and the difference between them is extracted.
Range = Max−Min
And the difference Range is used as feature information.
[0119]
Thus, since the feature information is the difference between the maximum value and the minimum value in the pixel block, by using these pieces of information in each block, it is possible to perform an accurate enhancement process for each block.
[0120]
In the enhancement processing unit 2902, as shown in the flowchart of FIG. 32, all the pixels Px enlarged by the enlargement unit 2901 are normalized by the feature amount. Then, the normalized pixel data Px ′ is
Px ′ = (Px−Min) / Range (7)
(Step 3201).
[0121]
Next, a conversion characteristic (described later) is generated according to the difference Range that is the feature information (step 3202), and Px ′ is converted to obtain Px ″ (step 3203).
Pxout = Px “× Range + Min (8)
In step 3204, denormalization is performed to obtain the enhanced data Pxout after enlargement.
[0122]
The conversion characteristics of the enhancement processing unit 2902 are as shown in FIG. That is, since the input and output are both normalized values, the vertical axis and the horizontal axis have a range of 0 to 1. Conversion characteristics are adaptively generated from FIG. 33A to FIG. 33C according to the size of the feature information range.
[0123]
When the range is small, the through characteristics as shown in FIG.
Px "= Px '(9)
If the value is large, as shown in FIG.

The binary characteristic is converted. The intermediate conversion characteristics are as shown in FIG.
[0124]
There are two ways to make the variable corresponding to the Range: a method of defining a function in advance and several steps of characteristics, and a method of selecting one according to the value of the Range. The former method can achieve stepless characteristics.
[0125]
Example function:
When 0 ≦ Px ′ <0.5, Px “= (− 0.6 × Range + 1) × Px ′
other than that
Px “= (− 0.6 × Range + 1) × Px ′ + 0.6 * Range (11)
In this way, the range is associated with the size.
[0126]
It is also possible to vary the threshold value of 0.5 mentioned in the example and the slopes of the straight lines 0-t1 and t2-t3 according to the range.
[0127]
In addition, as a method of preparing several characteristics and selecting one according to the value of Range, for example, it is classified into three, large, medium and small, small: FIG. 33 (a), medium: FIG. 33 (b) Large: This can be realized by setting so as to select FIG. As the range is made finer, of course, it approaches the stepless function definition.
[0128]
Since the enlargement unit 2901 converts the enlarged pixels with the conversion characteristics generated in this way, the enhancement process can be adaptively performed according to the feature information, and the image data can be enlarged without reducing the sharpness. it can.
[0129]
According to the present embodiment, a plurality of conversion tables used at the time of conversion are provided, one conversion table is selected according to the feature information, and the enlarged pixel is converted based on the selected conversion table. When performing, it becomes possible to process at high speed.
[0130]
<Seventh Embodiment>
This embodiment is an example in which enlargement processing is performed using a luminance signal and a color difference signal.
[0131]
The image processing apparatus according to this embodiment includes an enlargement unit 3401, an enhancement processing unit 3402, and a feature information calculation unit 3403. The enlargement unit 3401 further includes a Y signal enlargement unit 34011 and an I and Q signal enlargement unit 34012. .
[0132]
An M × N pixel block (3 × 3 in FIG. 34) surrounding the target pixel * of the luminance Y signal (hereinafter referred to as “Y signal”) is input to the Y signal expansion unit 34011 and is expanded. The color difference I and Q signals (hereinafter referred to as “I signal and Q signal”) are input to the I and Q signal enlargement unit 17012 and are similarly enlarged.
[0133]
The processing procedure at this time is shown in the flowchart of FIG. That is, in this process, first, feature information is calculated by the feature information calculation unit 3403 from the Y signal M × N pixel block (step 3501). Feature information
・ Maximum value Ymax
・ Minimum value Ymin
・ Difference Yrange = Ymax-Ymin
These are three pieces of information.
[0134]
Then, the calculated feature information is set in the enhancement processing unit 3402, and the Y signal is expanded (step 3503). Next, the enlarged Y signal is enhanced (step 3504), and the I and Q signals are enlarged (step 3505).
[0135]
Regarding the expansion of the YIQ signal,
1) A linear interpolation method (eg, bilinear method) is used for Y, I, and Q signals.
2) The Y signal is enlarged by a linear interpolation method (eg, bilinear method), and the simple enlargement method (copying with the same value) is used for the I and Q signals.
There are methods.
[0136]
At this time, when the Y signal enlargement method is a linear interpolation method and the enlargement magnification of the pixel of interest is fixed, the weight coefficients i and j in FIG. 31 (four weight coefficients for every 16 pixels in the figure) are constants. It becomes. That is, it is not necessary to calculate i and j every time.
[0137]
Further, when the magnification to be enlarged by the enlargement unit 3401 is, for example, 2 to 15 times (here, the same magnification is used in the main scanning and sub-scanning directions), a weighting factor is set for the enlargement unit 3401 as shown in FIG. If the unit 3404 calculates in advance a weighting factor corresponding to an integral multiple between the magnifications, and sets the weighting factor in the enlargement unit 3401 according to the input of the magnification, the processing speed can be increased. it can.
[0138]
According to this embodiment, the image information is a luminance / color difference signal, the luminance signal is enlarged by the enlargement unit 3401 by linear interpolation, and the feature information calculation unit 3403 generates feature information from the luminance signal (Y signal). Since the conversion according to the feature information is performed on the enlarged luminance signal, no color shift occurs due to the enlargement by the luminance and color difference signals. In addition, since the enhancement processing in the enhancement processing unit 3402 is performed only with the luminance signal, it can be processed at high speed.
[0139]
【The invention's effect】
The present invention is as described above. Configured as described in Because The A random color image can be magnified at an arbitrary integer magnification at high speed.
[0141]
According to the third aspect of the present invention, a pixel block is cut out from the first color space data that is the original image, converted into space data of a different second color, pattern matching is performed using the second color space data, Each pixel has information on which pixel information in the pattern is used to fill the enlarged pixel and fills the enlarged pixel using pixel data in the first color space that matches this information. When color matching is performed on each of the RGB planes, color misregistration occurs. However, this color misregistration can be prevented by converting to a suitable color space.
[0142]
According to the fourth aspect of the present invention, the second color space data is a color space representing three elements of luminance (= lightness), hue, and saturation, and pattern matching includes at least one of the three elements. Therefore, when the hue in the pixel block is filled with two different colors, the two colors can be separated by one plane of hue. In addition, since shaded characters / line drawings composed of the same hue have different saturations, two colors can be separated by one saturation plane, and pattern matching can be performed accurately.
[0143]
According to the invention of claim 5, the second color space data is a color space representing three elements of luminance and color difference (luminance: 1 element, color difference: 2 elements), and the pattern matching is at least one of the 3 elements. Since it is performed using one element, color misregistration can be prevented.
[0144]
According to the sixth aspect of the present invention, the pixel block is divided into N, and the pattern search of the pixel block including the target pixel is performed using the information of the divided block. It is possible to cope with increasing factors such as correspondence of don't care of information, and it is possible to accurately retrieve one pattern at high speed.
[0145]
According to the seventh aspect of the invention, the continuous tone color image data with relatively low gradation is converted into T (≧ 2) values for each pixel, and the T-valued image data is matched with a pattern in which jaggy occurs. If the pattern is determined to be a pattern that causes jaggies, the pixel data is embedded in the T-valued image data so that jaggies do not occur and the smoothing enlargement process is performed. Since an enlarged image with high gradation is generated, smoothing enlargement processing for both a binary image and a halftone image can be performed without increasing the calculation load.
[0146]
According to the eighth aspect of the present invention, since the integer magnification and the fraction magnification are calculated according to the magnification, and the smoothing enlargement processing is performed with the integer magnification and then the enlargement processing is performed with the fraction magnification, it is possible to deal with real number magnification. .
[0147]
According to the ninth aspect of the invention, since the smoothing enlargement process is performed based on the plurality of pixel embedding patterns for each integer magnification after the smoothing enlargement process, the process can be speeded up.
[0148]
According to the tenth aspect of the present invention, the RGB data is converted into a brightness component signal and a color component signal, the converted signal is subjected to pattern matching, and the converted signal is subjected to smoothing enlargement processing and then the original RGB data. Therefore, it is possible to prevent the hue of the edge from changing.
[0149]
According to the eleventh aspect of the present invention, since only the brightness component signal is converted into a T-value density signal and pattern matching is performed, the processing speed can be increased.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an enlargement processing unit of a main part of an image processing apparatus according to a first embodiment of the present invention.
FIG. 2 is a flowchart showing a processing procedure in an enlargement processing unit in FIG. 1;
FIG. 3 is an explanatory diagram showing specific contents of each file in the pattern processing unit in FIG. 1;
FIG. 4 is an explanatory diagram illustrating a method for enlarging an original image by converting a pixel block of the original image from a first color space to a second color space.
FIG. 5 is a flowchart showing a procedure for creating dot arrangement information.
FIG. 6 is an explanatory diagram showing a division state when a pixel block is divided and a pattern search of an image block including a target pixel is performed using information on the divided blocks.
FIG. 7 is a diagram illustrating a relationship with a decimal number when a 2-byte code is generated using pixels of a divided pixel block.
FIG. 8 is a block diagram showing a color image processing apparatus according to a second embodiment of the present invention.
FIG. 9 is an explanatory diagram showing a configuration of the M × N buffer of FIG. 8;
FIG. 10 is an explanatory diagram illustrating a processing example of the binarization unit in FIG. 8;
FIG. 11 is an explanatory diagram showing an embedding process of the embedding unit in FIG. 8;
12 is a flowchart showing a smoothing enlargement processing procedure of the color image processing apparatus of FIG. 8;
FIG. 13 is a block diagram showing a color image processing apparatus according to a third embodiment of the present invention.
FIG. 14 is an explanatory diagram showing a ternarization process in the third embodiment.
FIG. 15 is an explanatory diagram illustrating smoothing expansion processing according to the third embodiment.
FIG. 16 is a flowchart illustrating a processing procedure of smoothing expansion processing according to the third embodiment.
FIG. 17 is an explanatory diagram showing a nearest neighbor method and a bilinear method.
FIG. 18 is a block diagram illustrating a configuration of an image processing apparatus according to a fourth embodiment of the present invention.
FIG. 19 is a flowchart illustrating a processing procedure of the image processing apparatus according to the fourth embodiment.
FIG. 20 is a block diagram illustrating a configuration of an image processing apparatus according to a fifth embodiment of the present invention.
FIG. 21 is a flowchart illustrating a processing procedure of the image processing apparatus according to the fifth embodiment.
FIG. 22 is a flowchart illustrating a processing procedure in the case of selecting only from the number of colors of the enlargement unit in the integer multiple enlargement unit of the fifth embodiment.
FIG. 23 is a flowchart showing a processing procedure when selecting from the number of colors and hue of the enlargement means in the integer multiple enlargement unit of the fifth embodiment.
FIG. 24 is a flowchart showing a processing procedure when selecting from the number of colors, hue, and pixel connection information of the enlargement means in the integer multiple enlargement unit of the fifth embodiment.
FIG. 25 is a diagram for explaining generation of pixel connection information;
FIG. 26 is a diagram for explaining the operation of the integer magnification calculator.
FIG. 27 is a diagram for explaining the operation of the shaping unit;
FIG. 28 is a diagram illustrating an example of an enlargement method for simply enlarging one RGB pixel in accordance with an integer magnification.
FIG. 29 is a block diagram illustrating a configuration of an image processing apparatus according to a sixth embodiment of the present invention.
FIG. 30 is a flowchart illustrating a processing procedure of the image processing apparatus according to the sixth embodiment.
FIG. 31 is a diagram for explaining details of an enlargement method known as a bilinear method in an enlargement unit;
FIG. 32 is a flowchart illustrating a processing procedure of an enhancement processing unit that normalizes all pixels enlarged by an enlargement unit using feature amounts.
FIG. 33 is an explanatory diagram illustrating conversion characteristics of the enhancement processing unit.
FIG. 34 is a block diagram showing a configuration of an image processing apparatus according to a seventh embodiment of the present invention.
FIG. 35 is a flowchart illustrating a processing procedure of the image processing apparatus according to the seventh embodiment.
FIG. 36 is a block diagram illustrating a configuration in which a weighting factor corresponding to an integral multiple between magnifications is calculated in advance, and a weighting factor is set in an enlargement unit according to the input of the magnification, and enlarged.
[Explanation of symbols]
100 Enlargement processing section
110 File section
111 pattern files
112 dot layout file
113 pixel reference file
120 pattern generator
130 Pattern search section
140 Embedded processing unit
141 Embedding part
142 Simple embedding part
150 integer magnification
160 pixel block
801 RGB / YIQ converter
802 M × N buffer
803 binarization unit
803a T-value conversion unit
804 Pattern matching processing unit
805 Pattern storage unit
806 Embedded part
806-1 Simple embedding part
806-2 Template embedding part
806-3 Template storage unit
807 Color component enlargement section
808 YIQ / RGB converter
809 fraction scaling unit
810 Magnification calculator
811 Combining part
1801 M × N pixel block
1802 First color space data converter
1803 First enlargement means
1804 Second enlargement means
1805 Third enlargement means
1806 Fourth enlargement means
1807, 2006 selection unit
1808 Second color space data converter
1809, 2002 Feature amount calculation unit
2001 RGB: M × N pixel block
2003 RGB / YIQ converter
2004 Luminance Y: M × N pixel block
2005 Integer multiple enlargement part
20051 First enlargement means
20052 Second enlargement means
20053 Third enlargement means
20054 Fourth enlargement means
2007 shaping department
2008 YIQ / RGB converter
2009 Integer magnification calculator
2901, 3401 Enlarged part
29011 Y signal expansion section
29012 I and Q signal expansion section
2902, 3402 Enhancement processing unit
2903 Feature information calculation unit
3403 Feature information calculation unit
3404 Weight coefficient setting unit

Claims

In an image processing apparatus that performs processing for enlarging an image on input image data,
In order to hold the dot arrangement information of the enlarged pixels for each pattern to be corrected and for each magnification, and to extract one dot arrangement information from the pattern matching result and the magnification, for each pattern of the pattern file storing a plurality of patterns in advance A dot arrangement file stored as information for each integer magnification how to arrange the enlarged pixel of the target pixel;
Pixel reference of which pixel information is to be filled with pixel information in an M × N ((M, N ≧ 2)) pixel block that is preset in the dot arrangement file and includes the target pixel of the input RGB image data An image reference file containing the information,
Means for extracting a pixel block from the RGB image data, converting the pixel block into luminance color difference signal data, and performing pattern matching with a pattern in a pattern file registered in advance using luminance data of the luminance color difference signal data;
If there is a matching pattern by the pattern matching, an image reference file corresponding to the dot arrangement file corresponding to the matched pattern file is specified, and for each enlarged pixel in the dot arrangement file, the specified image reference file embedding an enlarged correction object pixel by embedding enlarged pixel by the RGB values of the pixels in the RGB image data corresponding to the pixel reference information, if there is no matching pattern, M × N pixels of the RGB image data input Means for simply enlarging and embedding the RGB value itself of the correction target pixel in the block ;
An image processing apparatus comprising:

The M × N pixel block is divided into a plurality of blocks, a 2-byte code is generated for all the pixels of one pixel block of the divided blocks, and one pattern is formed using information of the remaining pixel blocks The image processing apparatus according to claim 1.

Means for converting the input image data into T values (integer of T ≧ 2), calculates a threshold value based on the luminance signal of M × N pixels by the T-value conversion means, and converts the luminance signal into a T value based on the threshold value; The pattern matching means performs (T-1) pattern matching processing, and the embedding means matches the pattern when the matching processing result is the same in the process of the pattern matching processing. The pixel data is embedded with reference to the template corresponding to, and when there is a mismatch, the process of temporarily embedding the pixel data of interest is executed, and after the (T-1) times of the pattern matching process, the enlargement process is performed. The image processing apparatus according to claim 1, wherein the image processing apparatus is embedded.

The extraction of the dot arrangement information creates enlarged pixel dot arrangement information of other magnifications based on dot arrangement information of enlarged pixels at a preset magnification. The image processing apparatus according to item.

The embedding unit includes an enlargement unit, an enhancement processing unit, and a feature information calculation unit. From the image to be enlarged, image information of an M × N pixel block surrounding the target pixel is supplied to the enlargement unit and the feature information calculation unit. The feature information indicating the feature of the same block is input and calculated by the feature information calculation unit. The enlargement unit expands the target pixel into a P × Q (P, Q ≧ 2) pixel block, and the calculated feature information The image processing apparatus according to claim 1, wherein the enhancement processing unit repeats the enhancement process for all pixels P × Q pixel blocks by shifting the target pixel for each pixel and repeating the process for all pixels.

The embedding means includes an integer magnification calculation unit that calculates an integer magnification that is enlarged based on an image size and a magnification, and thinning obtained from the molding magnification calculation unit based on the calculated integer magnification, no shaping, and additional Thinning out information, calculating the number of pixels and shaping pitch when additional shaping is required, counting the enlarged pixels, and performing thinning or additional processing when it matches the integer value of the shaping pitch The image processing apparatus according to claim 1.

2. The image processing according to claim 1, wherein a plurality of enlargement processes are set and are switched according to a combination of the number of colors in M × N pixels, hue matching or similarity, and pixel connection determination based on luminance data. apparatus.

In an image processing method for performing an image enlargement process on input image data,
In order to hold the dot arrangement information of the enlarged pixels for each pattern to be corrected and for each magnification, and to extract one dot arrangement information from the pattern matching result and the magnification, for each pattern of the pattern file storing a plurality of patterns in advance A dot arrangement file stored as information for each integer magnification how to arrange the enlarged pixel of the target pixel;
Pixel reference information indicating in which position the pixel information in the M × N ((M, N ≧ 2)) pixel block of the input RGB image data is filled with the enlarged pixel is stored in advance in the dot arrangement file. Image reference files,
Have
A pixel block is cut out from the RGB image data, converted to luminance color difference signal data, pattern matching with a pattern file registered in advance using the luminance color difference signal data is performed,
When there is a matching pattern by the pattern matching, an image reference file corresponding to the dot arrangement file corresponding to the matched pattern file is specified, and depending on the value of RGB image data corresponding to the pixel reference information of the specified image reference file An image processing method characterized by enlarging and embedding a correction target pixel, and embedding by simply enlarging and embedding the value of the correction target pixel of M × N pixels of input RGB image data when there is no matching pattern.

In an image processing program to be executed by a computer that performs processing for enlarging an image with respect to input image data,
In order to hold the dot arrangement information of the enlarged pixels for each pattern to be corrected and for each magnification, and to extract one dot arrangement information from the pattern matching result and the magnification, for each pattern of the pattern file storing a plurality of patterns in advance A dot arrangement file stored as information for each integer magnification how to arrange the enlarged pixel of the target pixel;
Pixel reference information indicating in which position the pixel information in the M × N ((M, N ≧ 2)) pixel block of the input RGB image data is filled with the enlarged pixel is stored in advance in the dot arrangement file. Image reference files,
Have
A process of cutting out a pixel block from the RGB image data, converting it into luminance color difference signal data, and performing pattern matching with a pattern in a pattern file registered in advance using the luminance color difference signal data;
When there is a matching pattern by the pattern matching, an image reference file corresponding to the dot arrangement file corresponding to the matched pattern file is specified, and depending on the value of RGB image data corresponding to the pixel reference information of the specified image reference file If the correction target pixel is enlarged and embedded, and there is no matching pattern, the process of simply enlarging and embedding the correction target pixel value of the M × N pixel of the input RGB image data itself;
An image processing program comprising:

A recording medium, wherein the image processing program according to claim 9 is read by a computer and recorded so as to be executable.