JP4400760B2 - 画像データ補間装置、画像データ印刷装置、画像データ補間方法および画像データ補間プログラムを記録した媒体 - Google Patents

Description

本発明は、ドットマトリクス状の画素からなる画像データを補間する画像データ補間装置、画像データ補間方法、画像データ印刷装置および画像データ補間プログラムを記録した媒体に関する。

コンピュータなどで画像を扱う際には、画像をドットマトリクス状の画素で表現し、各画素を階調値で表している。例えば、コンピュータの画面で水平方向に６４０ドット、垂直方向に４８０ドットの画素で写真やコンピュータグラフィックスを表示することが多い。

一方、カラープリンタの性能向上がめざましく、そのドット密度は７２０ｄｏｔ／ｉｎｃｈ（ｄｐｉ）というように極めて高精度となっている。すると、６４０×４８０ドットの画像をドット単位で対応させて印刷させようとすると極めて小さくなってしまう。この場合、階調値も異なる上、解像度の意味合い自体が異なるのであるから、ドット間を補間して印刷用のデータに変換しなければならない。

従来、このような場合にドットを補間する手法として、最近隣内挿法（ニアリストネイバ補間：以下、ニアリスト法と呼ぶ）や、３次たたみ込み内挿法（キュービックコンボリューション補間：以下、キュービック法と呼ぶ）などの手法が知られている。また、特許文献１にはドットを補間したときの縁部のスムージングを行うにあたり、予め縁部がスムーズとなるような拡大形態となるようにドットパターンを用意しておく技術が開示されている。
特開平６−２２５１４０号公報

上述した従来の補間技術においては、次のような課題があった。
ニアリスト法やキュービック法などの各種の手法にはそれぞれに得失があるが、利用者がそれを選択するのは難しく、また、どちらか一方に固定したとすれば、不得手な画像に対して補間結果の品質が低下する。
特開平６−２２５１４０号公報に開示された発明においては、予めパターンを用意しておくことから補間倍率が固定的にならざるを得ないし、カラーの画像を前提とするとパターンの数が膨大となって予め用意しておくこと自体が困難である。

本発明は、上記課題にかんがみてなされたもので、カラー画像を含めて効率よく補間することが可能な画像データ補間装置、画像データ補間方法、画像データ印刷装置および画像データ補間プログラムを記録した媒体の提供を目的とする。

本発明で提供される画像データ補間装置は、画像をドットマトリクス状の画素で表現した画像データを取得する画像データ取得手段と、上記画像データにおける構成画素数を増やす補間処理を行うにあたり複数の補間処理の中から選択して実行可能な画素補間手段と、上記画像データについての上記補間処理に関連する特徴量を取得する特徴量取得手段と、この特徴量取得手段によって取得された特徴量に対応して最適な補間結果を得ることが可能な補間処理を選択して上記画素補間手段に実行させる補間処理選択手段とを具備する構成とされている。
また、本発明で提供される画像データ補間装置は、画像をドットマトリクス状の画素で表現した画像データを取得する画像データ取得手段と、前記画像データにおける構成画素数を増やす補間処理を行うにあたり複数の補間処理の中から選択して実行可能な画素補間手段と、前記画像データについての前記補間処理に関連する特徴量を取得する特徴量取得手段と、前記特徴量取得手段によって取得された特徴量に応じた補間結果を得ることが可能な補間処理を選択して前記画素補間手段に実行させる補間処理選択手段と、前記画素補間手段が実行可能な画像処理を表示して選択を入力する画像処理選択手段と、前記画像処理選択手段によって前記画像データの拡大処理と前記画像データのシャープさの変更処理とが共に選択されたか否かを判断する同時処理判断手段と、前記同時処理判断手段によって前記画像データの拡大処理と前記画像データのシャープさの変更処理とが共に選択されたと判断された場合、上記画像データにおける構成画素数を増やして画像を拡大するにあたり、補間する画像データの変化度合いを調整することにより前記画像処理選択手段にて選択されたシャープさとなるように補間処理を実行可能な前記画素補間手段とを具備する構成としてある。

このように構成した本発明においては、画像をドットマトリクス状の画素で表現した画像データの構成画素数を増やす補間処理を行うにあたり、画素補間手段は複数の補間処理の中からいずれかを選択して実行可能となっており、画像データ取得手段が対象となる画像データを取得すると、特徴量取得手段は同画像データについての上記補間処理に関連する特徴量を取得し、補間処理選択手段はこの特徴量取得手段によって取得された特徴量に対応して最適な補間結果を得ることが可能な補間処理を選択して上記画素補間手段に実行させる。すなわち、自ら画像の特徴量を取得して最適な補間処理を選択する。

このように、画像の特徴に応じて最適な補間処理を選択する手法は必ずしも実体のある装置に限られる必要はなく、その方法としても機能することは容易に理解できる。このため、本発明で提供される画像データ補間方法は、画像をドットマトリクス状の画素で表現した画像データについて構成画素数を増やす補間処理を行うにあたり、上記画像データを取得する工程と、上記画像データについての上記補間処理に関連する特徴量を取得する工程と、この取得された特徴量に対応して複数の補間処理の中から最適な補間結果を得ることが可能な補間処理を選択する工程と、この複数の補間処理の中から選択された補間処理を実行する工程とを具備する構成とされている。

すなわち、必ずしも実体のある装置に限らず、その方法としても有効であることに相違はない。
このような画像データ補間装置は単独で存在する場合もあるし、ある機器に組み込まれた状態で利用されることもあるなど、発明の思想としてはこれに限らず、各種の態様を含む。従って、ソフトウェアであったりハードウェアであったりするなど、適宜、変更可能である。
発明の思想の具現化例として画像データ補間装置のソフトウェアとなる場合には、かかるソフトウェアを記録した記録媒体上においても本発明は当然に存在し、利用されるといわざるをえない。

その一例として、本発明で提供されるコンピュータにて補間処理を実行させる画像データ補間プログラムを記録した媒体は、画像をドットマトリクス状の画素で表現した画像データについて構成画素数を増やす補間処理を行うにあたり、上記画像データを取得するステップと、上記画像データについての上記補間処理に関連する特徴量を取得するステップと、この取得された特徴量に対応して複数の補間処理の中から最適な補間結果を得ることが可能な補間処理を選択するステップと、この複数の補間処理の中から選択された補間処理を実行するステップとをコンピュータに実行させる構成としている。

むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。その他、供給方法として通信回線を利用して行なう場合でも本発明が利用されていることにはかわりない。
さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものではなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。
なお、本発明をソフトウェアで実施する場合、発明がプログラムを記録した媒体として実現されるのみならず、本発明がプログラム自体として実現されるのは当然であり、プログラム自体も本発明に含まれる。

ここで、画像データは画像をドットマトリクス状の画素で表現したものであり、各画素についてデータで表したものであればよく、カラー画像であっても良いし、モノクロ画像であってもよい。また、階調値は二階調のものであってもよいし、多階調のものであっても良い。
画像データ取得手段は、かかる画像データを取得するものであり、上記画素補間手段が構成画素を増やすための補間処理を行うにあたり、対象となる画像データを保持するようなものであればよい。従って、その取得手法は特に限定されるものではなく、各種のものを採用可能である。例えば、インターフェイスを介して外部機器から取得するものであってもよいし、撮像手段を備えて画像を撮像するものであっても良い。また、コンピュータグラフィックアプリケーションを実行してマウスやキーボードから入力するものであってもよい。

画素補間手段は、各種の手法により複数の補間処理を選択可能なものであればよく、これは実質的に補間処理結果が異なる選択肢を備えるものであればよい。従って、全ての選択肢が独立した補間手法である必要はない。
その一例として、上記画素補間手段は、上記補間処理の選択肢として複数の補間処理を重ねて実行する補間処理を有する構成としてあるすることもできる。
このように構成した場合には、上記画素補間手段が補間処理の選択肢の一つとして複数の補間処理を重ねて実行する。すなわち、最初にある補間処理で画素を補間した後、重ねて別の補間処理で画素を補間する。これにより独立した補間処理としては二種類であっても、それを重ねて行う処理も含めて三種類の選択肢といえる。

従って、補間処理の対応例として複数の補間処理を重ねて実行することが可能であるので、補間処理のバリエーションを増やすことができる。
また、実行する補間処理は全画素について一定のものに限る必要もない。その一例として、上記特徴量取得手段は、画像の一部の領域ごとに特徴量を取得し、上記補間処理選択手段は、当該領域毎に取得された特徴量に基づいて上記画素補間手段における補間処理を選択して実行させる構成とすることもできる。

このように構成した場合には、上記特徴量取得手段が画像の一部の領域ごとに特徴量を取得する。各補間処理の得失によっては一律に適用することが好ましいものもあればそうでないものもある。そして、一律でなくても構わない場合にはそれぞれの特長を活かすことが好ましい。このため、一部の領域毎に取得された特徴量に基づいて上記補間処理選択手段は上記画素補間手段における補間処理を選択して実行させる。

例えば、画像に変化のないところでは単純な補間処理を採用したとしても画質の劣化は分かりにくいが、変化の激しいところでは補間処理の手法が単純であると画質の劣化が分かりやすくなってしまう。従って、画素の補間は既存の画素の間に画素を増やすことになるので増やす画素について補間処理を適宜変更することが可能である。
従って、画像全体に一律の補間処理を施す必要が無くなり、総合的な意味で最適な結果を得ることが可能となる。

補間処理を選択するのは補間処理に応じて補間結果が異なるからであり、補間手法を選択する鍵となる特徴量もさまざまである。その一例として、上記画素補間手段は、自然画と非自然画のそれぞれに最適な補間処理を実行可能であり、上記特徴量取得手段は、上記画像データが表す画像が自然画が非自然画であるかを判定する特徴量を取得し、上記補間処理選択手段は、同特徴量に基づいて画像が自然画であると判定されるときに上記画素補間手段にて自然画に最適な補間処理を実行させるとともに非自然画であると判定されるときに上記画素補間手段にて非自然画に最適な補間処理を実行させる構成とすることもできる。

このように構成した場合には、その前提として上記画素補間手段が自然画と非自然画のそれぞれに最適な補間処理を実行可能であることとすると、上記画像データが表す画像が自然画か非自然画であるかを判断し得る特徴量を上記特徴量取得手段が取得し、上記補間処理選択手段は、同特徴量に基づいて画像が自然画であると判定されるときに上記画素補間手段にて自然画に最適な補間処理を実行させるとともに非自然画であると判定されるときに上記画素補間手段にて非自然画に最適な補間処理を実行させる。

従って、身近な処理対象である自然画と非自然画とに応じた最適な補間処理を選択することができるようになる。
自然画とはいわゆる実写画像のようなものを意味し、非自然画はビジネスグラフに代表されるコンピュータグラフィックスなどを意味する。特徴的には自然画であれば多色を利用していると考えられるし、非自然画であれば利用色数は少ないといえる。むろんこの他に見出される特徴に対応するものであってもよいが、画素補間手段はこのような特徴的な差異を有する自然画と非自然画のそれぞれに最適な補間処理を実行可能となっている。

より具体的には、上記画素補間手段は、非自然画に対して最近隣内挿法による補間処理を実行するとともに自然画に対して３次たたみ込み内挿法による補間処理を実行する構成とすることができる。
このようにすれば、非自然画の場合に最近隣内挿法による高速処理というメリットが得られ、自然画の場合に３次たたみ込み内挿法によるシャープさの保持というメリットが得られる。
非自然画と自然画とでは画素あたりの表現量の多少に差が出てくることが多く、最近隣内挿法は処理が単純であるために高速処理が可能である反面、自然画に対しては不自然な感じが表れることになりかねない。一方、３次たたみ込み内挿法はシャープさを保持できるものの処理は複雑であり、補間処理に要する演算負荷が大きく、処理時間が多くかかるといえる。

このような得失を前提として、非自然画に対して最近隣内挿法による補間処理を実行することになるので、処理の高速化が期待でき、自然画に対して３次たたみ込み内挿法による補間処理を実行するのでシャープさが確保されることになる。
特徴量取得手段は画像データについての特徴量を取得するが、この特徴量自体は補間処理に関連する性質のものである。上述したようにその一例としては自然画であるか非自然画であるかといったことを判定することにより得られるが、その取得手法はさまざまである。

その一例として、上記特徴量取得手段は、取得された画像データにおける各画素のデータを所定の基準で集計して当該画像データが表す画像の種類を判定する特徴量を取得する構成とすることもできる。
このように構成した場合には、特徴量取得手段が各画素のデータを所定の基準で集計する。すなわち、画像データ自身からその画像の内容の種類を判定する特徴量を取得する。むろん、集計手法は各種の統計手法などを採用可能であるが、ヒストグラムなどもその一例である。

このようにすれば、画像データを集計して画像の種類を判定するので、他の情報が無い場合でも確実に最適な補間処理を選択することができる。
集計するデータとしては、例えば、利用色数といったものが上げられる。上述したようにコンピュータグラフィックスでは描画する人間が色を指定すると考えると、さほど沢山の色を利用できない。特に、ビジネスグラフなどではその傾向が強く表れる。一方、自然画であれば一色のものであっても光線の加減で多色となり得、利用色数は極端に多くなる。従って、画像データについて利用色数を集計すればその画像が自然画か非自然画かといったことを判定できることになる。

この場合の利用色数は厳密に集計する必要もない。例えば、各画素についての輝度のヒストグラムを集計し、各輝度の利用頻度から利用色数の多少を判定するようにしても良い。自然画について輝度のヒストグラムと利用色数との関連性は見出しにくいが、ビジネスグラフなどを想定すると簡易に理解できる。ビジネスグラフのようなものは利用色数が少ないし、塗りつぶしのグラフなどを考えても数色しか利用しないことが多い。この場合、輝度のヒストグラムはスペクトル状となって表れる。異なる色において輝度が一致することもあり得るので、必ずしも輝度の利用頻度が利用色数とは一致しないが、多いか少ないかは容易に理解できる。例えば、自然画であるとすると、陰影などをがあるので利用される輝度は確実に多くなり、ヒストグラムもスペクトル状というよりは、連続した曲線のように表れるはずである。

また、この場合に輝度自体も正確でなくて構わないのは、同様の趣旨から明らかである。例えば、ＲＧＢの画像データについての正確な輝度は、通常、演算だけで求められるものではない。しかしながら、テレビ放送などでは単純な重み付け加算でＲＧＢから輝度を得ている。すなわち、このような簡易的な手法も利用可能である。
ヒストグラムがスペクトル状となるか曲線状となるかといったことも集計結果から導き出されるものであり、それに基づいて自然画であるか非自然画であるかを判定して特徴量と判断することもできる。また、自然画であるか否かという観点以外にも明るい画像であるか否かといった特徴量として取得することも可能である。すなわち、明るい画像に対して好適な補間処理と、暗い画像に対して好適な補間処理がある場合にはこれらを選択することが可能となる。

また、各画素のデータの変化度合いというものを集計することも可能である。コンピュータグラフィックスで絵を描いた場合、利用者が描いただけの変化度合いとなるが、風景を撮影した自然画であればその情報量は各段に多く、それは画素の変化度合いの大きさに表れてくる。従って、画素間の変化度合いからも画像の種類を判定することが可能となる。
一方、特徴量取得手段は画像を判定するのが目的であるから、判定するのに必要な程度でだけ画像データを集計すればよいといえる。この意味で、上記特徴量取得手段は、上記画像データを構成する一部の画素についての上記データを抽出して集計する構成とすることもできる。

このように構成した場合には、上記画像データを構成する一部の画素についてだけ上記階調値を抽出し、集計する。
ここで、抽出する手法については、各種の手法を採用可能である。単純なものとしてランダムに画素を選択して集計することも可能であるし、特定のオブジェクトを見出して集計するようにしても良い。また、集計しながら集計結果の傾向を予測するようなものでもよい。自然画か非自然画かを判定する例であれば、利用色がなだらかにその周辺を含むようなことが見出されればその時点で自然画であると判定することも可能である。また、極端に色数が多そうであることが分かればその時点で判定しても良い。

このようにした場合には、画像データの全てを集計しないで行うため、処理を高速化することができる。
また、コンピュータなどを想定すると、画像データはファイルとして処理されるが、そのファイル形式から画像の種類が判定できることも少なくない。従って、上記画像データの形式に基づいて特徴量を取得する構成とすることもできる。
例えば、自然画であればＪＰＥＧ方式で圧縮されることが多い。従って、画像データの形式がＪＰＥＧ方式であれば自然画と判定することができる。また、ビジネスグラフについてはそれを出力するアプリケーションを表すファイルの拡張子が付されていることが多い。従って、このような拡張子も一形式と判断して画像の種類を判定できる。

このようにすれば、画像データの形式に基づいて画像の種類を判定するので、画像データを解析する場合に比べて処理量を少なくすることができる。
一方、補間処理に関連する特徴量というのは必ずしも画像の種類といった類のものでなければならないわけでもない。従って、上記特徴量取得手段は、実行する補間倍率を取得して特徴量とする構成とすることもできる。
補間倍率も補間結果に関連する。例えば、補間倍率が小さい間は画像が荒くならないが、補間倍率が上がると画像が荒くなるということもある。この場合、後者のものであれば補間処理を複雑なものにしなければならなくなるとも言える。このため、特徴量取得手段が補間倍率を取得する。

むろん、この場合、選択する補間処理に応じて補間倍率のしきい値などは変化することになるし、ある補間処理から他の補間処理へ移行するにあたっても段階的に変化させるといったことも可能である。
このようにすれば、画像データの種類以外の要素に基づいて最適な補間処理を選択することができる。

以上説明したように本発明によれば、自ら画像の特徴量を取得して最適な補間処理を選択するようにしており、画像の特徴に応じた補間処理が実施されるので、最適な補間結果を極めて容易に得ることが可能な画像データ補間装置、画像データ補間方法、画像データ補間プログラムを記録した媒体を提供することができる。

さらに、画像データの簡易な分類として自然画と非自然画とに分類して最適な補間処理を実行することが可能となる。
また、非自然画に対してはその性質上最も好適な最近隣内挿法による補間処理を実行し、自然画に対してはその性質上最も好適な３次たたみ込み内挿法による補間処理を実行することが可能となる。

さらに、画素の変化度合いであるシャープさに基づいて補間処理を選択することにより、最適な補間結果を得ることが可能となる。
さらに、画素の変化度合の小さい領域では極めて簡易な処理で補間処理を実行することが可能となる。
さらに、変化度合の大きい領域では画像データをなだらかに変化させて画質を向上させることが可能となる。

さらに、複数の補間処理を重ねて実行することにより実質的に利用可能な補間処理を増やしてきめ細かな処理を行うことが可能となる。
さらに、画像の領域ごとに最適な補間処理を選択して実行させることが可能となる。
さらに、演算パラメータを調整するだけで、一つの補間処理を実質的に複数の画素補間処理として利用することが可能となる。

さらに、画像の拡大処理ととともに画像のシャープさの変更処理とが共に選択された場合に極めて効率的に処理することとなる。
さらに、同様の効果を奏する画像データ印刷装置および画像データ補間処理用コンピュータを提供することができる。

以下、図面にもとづいて本発明の実施形態を説明する。
図１は、本発明の画像データ補間装置の主要構成を示すブロック図である。
ディジタル処理を前提とすると、画像はドットマトリクス状の画素で表現することになり、各画素を表すデータの集まりで画像データが構成される。そして、画素単位で処理する系においては、画像の拡大縮小は画素単位で実施することになる。本画像データ補間装置はこのような画素単位での拡大処理を実施するものであり、画像データ取得手段Ｃ１は、このような画像データを取得し、画素補間手段Ｃ２はこの画像データにおける構成画素数を増やす補間処理を行う。ここで、画素補間手段Ｃ２は補間処理として複数の補間処理を実行可能となっており、特徴量取得手段Ｃ３が上記画像データについての上記補間処理に関連する特徴量を取得すると、補間処理選択手段Ｃ４はその特徴量に対応して最適な補間結果を得ることが可能な補間処理を選択し、上記画素補間手段Ｃ２に実行させる。

本実施形態においてはこのような画像データ補間装置を実現するハードウェアの一例としてコンピュータシステム１０を採用している。
図２は、同コンピュータシステム１０をブロック図により示している。
本コンピュータシステム１０は、画像入力デバイスとして、スキャナ１１ａとデジタルスチルカメラ１１ｂとビデオカメラ１１ｃとを備えており、コンピュータ本体１２に接続されている。それぞれの入力デバイスは画像をドットマトリクス状の画素で表現した画像データを生成してコンピュータ本体１２に出力可能となっており、ここで同画像データはＲＧＢの三原色においてそれぞれ２５６階調表示することにより、約１６７０万色を表現可能となっている。

コンピュータ本体１２には、外部補助記憶装置としてのフロッピーディスクドライブ１３ａとハードディスク１３ｂとＣＤ−ＲＯＭドライブ１３ｃとが接続されており、ハードディスク１３ｂにはシステム関連の主要プログラムが記録されており、フロッピーディスクやＣＤ−ＲＯＭなどから適宜必要なプログラムなどを読み込み可能となっている。
また、コンピュータ本体１２を外部のネットワークなどに接続するための通信デバイスとしてモデム１４ａが接続されており、外部のネットワークに同公衆通信回線を介して接続し、ソフトウェアやデータをダウンロードして導入可能となっている。この例ではモデム１４ａにて電話回線を介して外部にアクセスするようにしているが、ＬＡＮアダプタを介してネットワークに対してアクセスする構成とすることも可能である。この他、コンピュータ本体１２の操作用にキーボード１５ａやマウス１５ｂも接続されている。

さらに、画像出力デバイスとして、ディスプレイ１７ａとカラープリンタ１７ｂとを備えている。ディスプレイ１７ａについては水平方向に８００画素と垂直方向に６００画素の表示エリアを備えており、各画素毎に上述した１６７０万色の表示が可能となっている。むろん、この解像度は一例に過ぎず、６４０×４８０画素であったり、１０２４×７６８画素であるなど、適宜、変更可能である。

また、カラープリンタ１７ｂはインクジェットプリンタであり、ＣＭＹＫの四色の色インクを用いて記録媒体たる印刷用紙上にドットを付して画像を印刷可能となっている。画像密度は３６０×３６０ＤＰＩや７２０×７２０ＤＰＩといった高密度印刷が可能となっているが、階調表限については色インクを付すか否かといった２階調表現となっている。
一方、このような画像入力デバイスを使用して画像を入力しつつ、画像出力デバイスに表示あるいは出力するため、コンピュータ本体１２内では所定のプログラムが実行されることになる。そのうち、基本プログラムとして稼働しているのはオペレーティングシステム（ＯＳ）１２ａであり、このオペレーティングシステム１２ａにはディスプレイ１７ａでの表示を行わせるディスプレイドライバ（ＤＳＰ ＤＲＶ）１２ｂとカラープリンタ１７ｂに印刷出力を行わせるプリンタドライバ（ＰＲＴ ＤＲＶ）１２ｃが組み込まれている。これらのドライバ１２ｂ，１２ｃの類はディスプレイ１７ａやカラープリンタ１７ｂの機種に依存しており、それぞれの機種に応じてオペレーティングシステム１２ａに対して追加変更可能である。また、機種に依存して標準処理以上の付加機能を実現することもできるようになっている。すなわち、オペレーティングシステム１２ａという標準システム上で共通化した処理体系を維持しつつ、許容される範囲内での各種の追加的処理を実現できる。

むろん、このようなプログラムを実行する前提として、コンピュータ本体１２内にはＣＰＵ１２ｅとＲＡＭ１２ｆとＲＯＭ１２ｇとＩ／Ｏ１２ｈなどが備えられており、演算処理を実行するＣＰＵ１２ｅがＲＡＭ１２ｆを一時的なワークエリアや設定記憶領域として使用したりプログラム領域として使用しながら、ＲＯＭ１２ｇに書き込まれた基本プログラムを適宜実行し、Ｉ／Ｏ１２ｈを介して接続されている外部機器及び内部機器などを制御している。

ここで、基本プログラムとしてのオペレーティングシステム１２ａ上でアプリケーション１２ｄが実行される。アプリケーション１２ｄの処理内容は様々であり、操作デバイスとしてのキーボード１５ａやマウス１５ｂの操作を監視し、操作された場合には各種の外部機器を適切に制御して対応する演算処理などを実行し、さらには、処理結果をディスプレイ１７ａに表示したり、カラープリンタ１７ｂに出力したりすることになる。

かかるコンピュータシステム１０では、画像入力デバイスであるスキャナ１１ａなどで画像データを取得し、アプリケーション１２ｄによる所定の画像処理を実行した後、画像出力デバイスとしてのディスプレイ１７ａやカラープリンタ１７ｂに表示出力することが可能である。この場合、単に画素同士の対応に着目すると、カラープリンタ１７ｂにおける画素密度とスキャナ１１ａの画素密度が一致する場合にはスキャンした元画像の大きさと印刷される画像の大きさとが一致するが、両者にずれがあれば画像の大きさが異なることになる。スキャナ１１ａの場合はカラープリンタ１７ｂの画素密度と近似するものも多いが、高画質化のために画素密度の向上が図られているカラープリンタ１７ｂの画素密度の方が一般的な画像入力デバイスにおける画素密度よりも高密度であることが多い。特に、ディスプレイ１７ａの表示密度と比較すると各段に高密度であり、ディスプレイ１７ａ上での表示を画素単位で一致させて印刷させるとなると極めて小さな画像になりかねない。

このため、オペレーティングシステム１２ａで基準となる画素密度を決定しつつ実際のデバイスごとの画素密度の相違を解消するために解像度変換が実施される。例えば、ディスプレイ１７ａの解像度が７２ＤＰＩであるとするときに、オペレーティングシステム１２ａで３６０ＤＰＩを基準とするならば、ディスプレイドライバ１２ｂが両者の間の解像度変換を実施する。また、同様の状況でカラープリンタ１７ｂの解像度が７２０ＤＰＩであればプリンタドライバ１２ｃが解像度変換を実施する。

解像度変換は画像データにおける構成画素数を増やす処理にあたるので補間処理に該当し、これらのディスプレイドライバ１２ｂやプリンタドライバ１２ｃがその機能の一つとして補間処理を実施する。ここにおいて、ディスプレイドライバ１２ｂやプリンタドライバ１２ｃは上述した画素補間手段Ｃ２はもとより、以下に述べるように特徴量取得手段Ｃ３や補間処理選択手段Ｃ４を実行し、解像度変換にて画質が劣化しないようにしている。

なお、かかるディスプレイドライバ１２ｂやプリンタドライバ１２ｃは、ハードディスク１３ｂに記憶されており、起動時にコンピュータ本体１２にて読み込まれて稼働する。また、導入時にはＣＤ−ＲＯＭであるとかフロッピーディスクなどの媒体に記録されてインストールされる。従って、これらの媒体は画像データ補間プログラムを記録した媒体を構成する。
本実施形態においては、画像データ補間装置をコンピュータシステム１０として実現しているが、必ずしもかかるコンピュータシステムを必要とするわけではなく、同様の画像データに対して補間処理が必要なシステムであればよい。例えば、図３に示すようにデジタルスチルカメラ１１ｂ１内に補間処理する画像データ補間装置を組み込み、補間処理した画像データを用いてディスプレイ１７ａ１に表示させたりカラープリンタ１７ｂ１に印字させるようなシステムであっても良い。また、図４に示すように、コンピュータシステムを介することなく画像データを入力して印刷するカラープリンタ１７ｂ２においては、スキャナ１１ａ２やデジタルスチルカメラ１１ｂ２あるいはモデム１４ａ２等を介して入力される画像データについて自動的に解像度変換を行って印刷処理するように構成することも可能である。

この他、図５に示すようなカラーファクシミリ装置１８ａや図６に示すようなカラーコピー装置１８ｂといった画像データを扱う各種の装置においても当然に適用可能である。
図７および図８は、上述したプリンタドライバ１２ｃが実行する解像度変換に関連するソフトウェアフローを示している。ここで、前者は汎用的なフローを示しており、後者は本実施形態の具体的なフローを示している。

ステップＳＴ１０２は元画像データを取得する。アプリケーション１２ｄにてスキャナ１１ａから画像を読み込み、所定の画像処理を行った後で印刷処理すると、所定の解像度の印刷データはオペレーティングシステム１２ａを介してプリンタドライバ１２ｃが取得するので、この段階が該当する。むろん、スキャナ１１ａにて画像を読み込むものであってもよい。この処理はソフトウェアとしてみるときに画像データ取得ステップということになるが、当該画像データ取得ステップを含めてコンピュータに実行させる各種のステップは、オペレーティングシステム１２ａ自体やハードウェアを直接に含まないものとして理解することができる。これに対して、ＣＰＵなどのハードウェアと有機一体的に結合したものと考えると画像データ取得手段Ｃ１に該当する。

ステップＳＴ１０４は、読み込んだ画像データにおける特徴量を抽出する処理である。特徴量の抽出処理の詳細は後述する。ステップＳＴ１０６では得られた特徴量に基づいて当該画像データに最適な補間処理を選択し、同補間処理を表すフラグをセットする。そして、ステップＳＴ１０８にて同フラグを参照してステップＳＴ１１０，ＳＴ１１２，ＳＴ１１４の各補間処理１〜Ｎを実行させることになる。従って、ステップＳＴ１１０，ＳＴ１１２，ＳＴ１１４に示す各補間処理１〜Ｎが具体的に画像補間ステップに相当するし、ステップＳＴ１０６，ＳＴ１０８が特徴量に基づいて補間処理を選択するので補間処理選択ステップに相当する。むろん、これらがＣＰＵなどのハードウェアと有機一体的に結合したものと考えると画像補間手段Ｃ２や補間処理選択手段Ｃ４を構成することになる。

ステップＳＴ１１６，ＳＴ１１８は補間処理が全てのブロックについて終了するまでブロック移動させる処理を示している。補間処理は必ずしも画像全体にわたって一律の処理である必要はなく、ブロック単位の領域毎に補間処理を変更することも可能である。
従って、ブロック毎に最適な補間処理を実施しようとする場合には、各ブロックでの補間処理を終了したらステップＳＴ１０４にて次のブロックの特徴量を抽出する処理から実行し直す。一方、画像データ全体にわたって一律に処理する場合にはステップＳＴ１０８以下の処理を繰り返す。

そして、全てのブロックが終了すればステップＳＴ１２０にて補間された画像データを出力する。プリンタドライバ１２ｃの場合、解像度変換だけで印刷データが得られるわけではなく、色変換であるとか、ハーフトーン処理が必要になる。従って、ここで画像データを出力するとは、次の段階へのデータの受け渡しを意味する。
次に、以上のような汎用的なフローに対してより具体的な処理について説明する。本実施形態においては、元画像がコンピュータグラフィックス（非自然画）であるか写真（自然画）であるかを判定し、判定結果に基づいて補間処理を選択することにする。ステップＳＴ２０２ではステップＳＴ１０２と同様にして元画像データを入力する。

元画像の種類がどのようなものであるかを判定する手法としてはいくつか採用可能であるが、本実施形態においては画像データを用いて集計処理を行う。
具体的には画像データで利用されている色数を求め、多ければ自然画と判定し、少なければ非自然画と判定する。写真の場合、一色の物体が映っているとしても光線の加減や陰影によって明るいところから暗いところまで幅ができてしまい、色数は多くなる。このような特性があるので色数を見れば自然画か非自然画かを判断できる。ただし、１６７０万色の中で実際にどれだけの色を利用しているかを集計するのはプログラムでの処理において効率的でない。また、自然画でさえそのうちの一部しか利用していないことが多く、非自然画との見極めがつきにくい。

このため、本実施形態においては、各画素の輝度を求め、輝度が取りうる範囲において画素数のヒストグラムを集計して利用色数の傾向を判定する。１６７０万色のうちで同じ輝度となる色が複数存在するのは当然であるが、非自然画との比較だけに着目すれば、色であっても輝度であっても多いか少ないかの比較は可能である。さらに、非自然画がせいぜい６４色程度ぐらいしか利用していないと考えれば輝度の取りうる範囲が２５６階調であったとしても十分に判定可能であると考えられる。

一方、輝度の集計は以上のように画像データの概略の傾向を判定するのみであるから、必ずしも全画素について集計する必要はない。すなわち、集計対象となる画素を選択すべく間引き処理を実行する。
図９に示すように、ビットマップの画像であれば、縦方向に所定ドットと横方向に所定ドットからなる二次元のドットマトリクスとして成り立っており、正確な輝度の分布を求めるのであれば全画素について輝度を調べる必要がある。しかしながら、ここでは必ずしも正確である必要はない。従って、ある誤差の範囲内となる程度に間引きを行うことが可能である。統計的誤差によれば、サンプル数Ｎに対する誤差は概ね１／（２**（１／２））と表せる。ただし、**は累乗を表している。従って、１％程度の誤差で処理を行うためにはＮ＝１００００となる。

ここにおいて、図９に示すビットマップ画面は（ｗｉｄｔｈ）×（ｈｅｉｇｈｔ）の画素数となり、サンプリング周期ｒａｔｉｏは、
ｒａｔｉｏ＝ｍｉｎ（ｗｉｄｔｈ，ｈｅｉｇｈｔ）／Ａ＋１
とする。ここにおいて、ｍｉｎ（ｗｉｄｔｈ，ｈｅｉｇｈｔ）はｗｉｄｔｈとｈｅｉｇｈｔのいずれか小さい方であり、Ａは定数とする。また、ここでいうサンプリング周期ｒａｔｉｏは何画素ごとにサンプリングするかを表しており、図１０の○印の画素はサンプリング周期ｒａｔｉｏ＝２の場合を示している。すなわち、縦方向及び横方向に二画素ごとに一画素のサンプリングであり、一画素おきにサンプリングしている。Ａ＝２００としたときの１ライン中のサンプリング画素数は図１１に示すようになる。

同図から明らかなように、サンプリングしない場合のサンプリング周期ｒａｔｉｏ＝１の場合を除いて、２００画素以上の幅があるときには最低でもサンプル数は１００画素以上となることが分かる。従って、縦方向と横方向について２００画素以上の場合には（１００画素）×（１００画素）＝（１００００画素）が確保され、誤差を１％以下にできる。
ここにおいてｍｉｎ（ｗｉｄｔｈ，ｈｅｉｇｈｔ）を基準としているのは次のような理由による。例えば、図１２（ａ）に示すビットマップ画像のように、ｗｉｄｔｈ＞＞ｈｅｉｇｈｔであるとすると、長い方のｗｉｄｔｈでサンプリング周期ｒａｔｉｏを決めてしまった場合には、同図（ｂ）に示すように、縦方向には上端と下端の２ラインしか画素を抽出されないといったことが起こりかねない。しかしながら、ｍｉｎ（ｗｉｄｔｈ，ｈｅｉｇｈｔ）として、小さい方に基づいてサンプリング周期ｒａｔｉｏを決めるようにすれば同図（ｃ）に示すように少ない方の縦方向においても中間部を含むような間引きを行うことができるようになる。

なお、この例では、縦方向と横方向の画素について正確なサンプリング周期で間引きを行うようにしている。これは、逐次入力される画素について間引きしながら処理する場合に好適である。しかし、全画素が入力されている場合には縦方向や横方向についてランダムに座標を指定して画素を選択するようにしても良い。このようにすれば、１００００画素というような必要最低限の画素数が決まっている場合に１００００画素となるまでランダムに抽出する処理を繰り返し、１００００画素となった時点で抽出を止めればよくなる。

このように選択した画素についての画素データがその成分要素として輝度を持っていればその輝度値を用いて分布を求めることが可能である。しかしながら、輝度値が直接の成分値となっていない画像データの場合でも、間接的には輝度を表す成分値を備えている。従って、輝度値が直接の成分値となっていない表色空間から輝度値が直接の成分値となっている表色空間への変換を行えば輝度値を得ることができる。

異なる表色空間の間での色変換は変換式によって一義的に定まるものではなく、それぞれの成分値を座標とする色空間について相互に対応関係を求めておき、この対応関係を記憶した色変換テーブルを参照して逐次変換する必要がある。すると、厳密には１６７０万個の要素の色変換テーブルを持たなければならない。効率的な記憶資源の利用を考えた結果、すべての座標値についての対応関係を用意しておくのではなく、通常は適当なとびとびの格子点について対応関係を用意しておき、補間演算を併用するようにしている。しかし、かかる補間演算はいくつかの乗算や加算を経て可能となるものであるため、演算処理量は膨大となってくる。

すなわち、フルサイズの色変換テーブルを使用するのであれば処理量としては少なくなるもののテーブルサイズが非現実的な問題となり、テーブルサイズを現実的なサイズにすれば演算処理量が非現実的となることが多い。
このような状況に鑑み、本実施形態においては、テレビジョンなどの場合に利用されているように、ＲＧＢの三原色から輝度を求める次式の変換式を採用している。すなわち、Ｐ点での輝度ｙp についてはＲＧＢの成分値（Ｒp,Ｇp,Ｂp ）から、
ｙp＝０．３０Ｒp＋０．５９Ｇp＋０．１１Ｂp
とする。このようにすれば、三回の乗算と二回の加算だけで輝度値を求めることができるようになる。

本実施形態においては、ＲＧＢの表色空間を対象としている結果、このような変換式を採用しているが、その背景には各成分値が色の明るさを示しているので、それぞれの成分値を単独で見た場合に輝度に線形に対応しているという性質がある。従って、よりおおざっぱに言えばそれぞれの加算割合を考慮することなく単に
ｙp＝（Ｒp＋Ｇp＋Ｂp）／３
というように簡略化することも不可能ではない。

ステップＳＴ２０４では、以上のようにした間引き処理した画素についての輝度をヒストグラム化する。集計後、ステップＳＴ２０６では色数を計数する。色数が少なければ輝度の分布もまばらであり、ビジネスグラフのような非自然画では図１３に示すように線スペクトル状に表れるし、写真のような自然画であれば図１４に示すようになだらかな曲線状になることが予想される。
このようなことから、ステップＳＴ２０６では２５６階調の輝度のうち分布数が「０」でない輝度値がいくつ表れているかカウントし、ステップＳＴ２０８では「６４」色未満であるときに自然画でないと判断し、「６４」色以上であるときに自然画であると判断する。一方、分布が線スペクトル状か否かは分布数が「０」でない輝度値の隣接割合で判断することも可能である。すなわち、分布数が「０」でない輝度値であって隣接する輝度値に分布数があるか否かを判断する。隣接する二つの輝度値のうち少なくとも一方で隣接していれば何もせず、両方で隣接していない場合にカウントを行い、その結果、「０」でない輝度値の数とカウント値との割合で判断すればよい。例えば、「０」でない輝度値の数が「８０」であって、隣接しないものの数が「８０」であれば線スペクトル状に分布していることが分かる。むろん、この利用色数が特徴量に該当する。

なお、特徴量の取得手法はこれらに限るものではなく他の手法も実現可能である。
まず、集計対象となる画素を間引きするにあたっては、上述したような均等間隔の間引きに限られるものではない。例えば、画像の中での本来のオブジェクト部分を見つけ、その画素についての特徴量を集計するといったことも可能である。
このようなオブジェクトは他の部分と比較して画像がシャープであるという経験的事実に基づいて、シャープな部分がオブジェクトの画素であると判断する。画像データがドットマトリクス状の画素から構成されている場合には、画像のエッジ部分では隣接する画素間での同データの差分は大きくなる。この差分は輝度勾配であり、これをエッジ度と呼ぶことにして各画素でのエッジ度を判定する。図１５に示すようなＸＹ直交座標を考察する場合、画像の変化度合いのベクトルはＸ軸方向成分とＹ軸方向成分とをそれぞれ求めれば演算可能となる。ドットマトリクス状の画素からなるディジタル画像においては、図１６に示すように縦軸方向と横軸方向に画素が隣接しており、Ｘ方向の差分値ｆｘとＹ方向の差分値ｆｙは、
ｆｘ＝ｆ（ｘ＋１，ｙ）−ｆ（ｘ，ｙ）
ｆｙ＝ｆ（ｘ，ｙ＋１）−ｆ（ｘ，ｙ）
のように表される。従って、これらを成分とするベクトルの大きさ｜ｇ（ｘ，ｙ）｜は、
｜ｇ（ｘ，ｙ）｜＝（ｆｘ**２＋ｆｙ**２）**（１／２）
のように表される。むろん、エッジ度はこの｜ｇ（ｘ，ｙ）｜で表される。なお、本来、画素は図１７に示すように縦横に升目状に配置されており、中央の画素に注目すると八つの隣接画素がある。従って、同様にそれぞれの隣接する画素との画像データの差分をベクトルで表し、このベクトルの和を画像の変化度合いと判断しても良い。

以上のようにして各画素についてエッジ度が求められるので、基本的にはあるしきい値と比較してエッジ度の方が大きい画素をオブジェクトの画素と判断すればよい。しかしながら、経験的事実から考察すると、オブジェクトは構図の中央部分に位置することが多い。この事実は、中央部分から多くの画素が抽出されるような仕組みとすることによってオブジェクトの画素がより抽出されやすくなるということを裏付けるものである。

このため、図１８に示すように、画像の中の部分毎に比較するしきい値Ｔｈ１，Ｔｈ２，Ｔｈ３を異ならせておくことも可能である。むろん、この例では、
Ｔｈ１＜Ｔｈ２＜Ｔｈ３
なる関係があり、中央に近い部分ほどしきい値は低く、エッジ度が比較的低くてもオブジェクトと判断されるようになっている。
むろん、このようにしてオブジェクトと判断された画素についての画像データを集計し、補間処理に対応した特徴量を得ることになる。

一方、特徴量は必ずしも画像データを集計して得る必要もない。補間処理に依存して補間結果が良好となるか否かを関連づけるものであればよい。
画像データの画像が自然画か否かは印刷元となる画像ファイルの形式からも判断できる。図１９はプリンタドライバ１２ｃがオペレーティングシステム１２ａに用意されたシステム関数を利用する状況を示しており、プリンタドライバ１２ｃがファイル名を問合せる関数を利用すると、オペレーティングシステム１２ａは対応するファイル名を返答する。この場合、”ＸＸＸＸ．ＸＬＳ”であればその拡張子からビジネスグラフであると分かり、非自然画であるとの判定を可能とする。また、”ＸＸＸＸ．ＪＰＧ”であればその拡張子から写真画像の圧縮ファイルであると分かり、自然画であるとの判定を可能とする。
むろん、拡張子からではなく、データファイルの先頭部分に含まれる情報からドロー系のファイル構造であるかビットマップ系のファイル構造であるかも判断できるから、自ずから自然画であるか非自然画であるかといった目安を取得できることになる。すなわち、このような画像の内容を推理可能となる目安であれば、特徴量を構成することになる。

以上のようにして、ステップＳＴ２０２にて入力された元画像データが自然画であるか非自然画であるかを判断したら、それぞれに応じた適切な補間処理を実行する。
ここで、本実施形態において実行する補間処理の各手法について説明する。
コンピュータグラフィックスのような非自然画に適した補間処理として、ステップＳＴ２１０ではニアリスト法の補間処理を実行可能となっている。ニアリスト法は図２０に示すように、周囲の四つの格子点Ｐｉｊ，Ｐｉ＋１ｊ，Ｐｉｊ＋１，Ｐｉ＋１ｊ＋１と内挿したい点Ｐｕｖとの距離を求め、もっとも近い格子点のデータをそのまま移行させる。これを一般式で表すと、
Ｐｕｖ＝Ｐｉｊ
ここで、ｉ＝［ｕ＋０．５］、ｊ＝［ｖ＋０．５］である。なお、［］はガウス記号で整数部分を取ることを示している。

図２１は、ニアリスト法で画素数を縦横３倍ずつに補間する状況を示している。補間する前には四隅の画素（□△○●）があるとして、補間して生成する画素にはこれらの画素のうちもっとも近い画素のデータをそのまま移行させている。すなわち、この例で言えば四隅の画素に隣接する画素についてそれぞれ複写することになる。また、かかる処理を行うと、図２２に示すように白い画素を背景として黒い画素が斜めに配置される元画像は、図２３に示すように黒の画素が縦横に３倍に拡大されつつ斜め方向に配置されることになる。

ニアリスト法においては、画像のエッジがそのまま保持される特徴を有する。それ故に拡大すればジャギーが目立つもののエッジはエッジとして保持される。これに対して他の補間処理では補間される画素を周りの画素のデータを利用してなだらかに変化するようにする。従って、ジャギーが目立たなくなる反面、本来の元画像の情報は削られていってしまい、エッジがなくなることになってコンピュータグラフィックスなどの非自然画には適さなくなる。

一方、写真のような自然画に適した補間処理として、ステップＳＴ２１２ではキュービック法の補間処理を実行する。キュービック法は図２４に示すように、内挿したい点Ｐｕｖを取り囲む四つの格子点のみならず、その一周り外周の格子点を含む計１６の格子点のデータを利用する。
内挿点Ｐｕｖを取り囲む計１６の格子点がそれぞれに値を備えている場合に、内挿点Ｐｕｖはそれらの影響を受けて決定される。例えば、一次式で補間しようとすれば、内挿点を挟む二つの格子点からの距離に反比例させて重みづけ加算すればよい。Ｘ軸方向に注目すると、内挿点Ｐｕｖから上記１６の格子点との距離は、図面上、左外側の格子点までの距離をｘ１、左内側の格子点までの距離をｘ２、右内側の格子点までの距離ｘ３、右外側の格子点までの距離ｘ４と表しつつ、このような距離に対応した影響度合いを関数ｆ（ｘ）で表すことにする。また、Ｙ軸方向に注目すると、内挿点Ｐｕｖから上記１６の格子点との距離は、上方外側の格子点までの距離をｙ１、上方内側の格子点までの距離をｙ２、下方内側の格子点までの距離ｙ３、下方外側の格子点までの距離ｙ４と表しつつ、同様に影響度合いは関数ｆ（ｙ）で表せる。

１６の格子点は以上のような距離に応じた影響度合いで内挿点Ｐｕｖに寄与するので、全ての格子点にデータに対してＸ軸方向とＹ軸方向のそれぞれの影響度合いを累積させる一般式は次式のようになる。

また、ここで距離に応じた影響度合いを３次たたみ込み関数で表すとすると、
f(t) = {sin(πt)}/πt
となる。なお、上述した各距離ｘ１〜ｘ４，ｙ１〜ｙ４は格子点Ｐｕｖの座標値（ｕ，ｖ）について絶対値を利用して次のように算出することになる。
x1 = 1+(u-|u|) y1 = 1+(v-|v|)
x2 = (u-|u|) y2 = (v-|v|)
x3 = 1-(u-|u|) y3 = 1-(v-|v|)
x4 = 2-(u-|u|) y4 = 2-(v-|v|)
以上の前提のもとでＰについて展開すると、

となる。なお、３次たたみ込み関数と呼ばれるように距離に応じた影響度合いｆ（ｔ）は次のような三次式で近似される。

このキュービック法では一方の格子点から他方の格子点へと近づくにつれて徐々に変化していき、その変化具合がいわゆる３次関数的になるという特徴を有している。

図２５と図２６はキュービック法にて補間される際の具体例を示している。理解を容易にするため、垂直方向についてのデータの変化はなく、水平方向についてエッジが生じているモデルについて説明する。また、補間する画素を３点とする。
まず、図２６の具体的数値について説明する。補間前の画素の階調値を左列に「Ｏｒｉｇｉｎａｌ」として示しており、階調値「６４」の画素（Ｐ０、Ｐ１、Ｐ２、Ｐ３）が４点並び、階調値「１２８」の画素（Ｐ４）を１点挟み、階調値「１９２」の画素（Ｐ５、Ｐ６、Ｐ７、Ｐ８、Ｐ９）が５点並んでいる。この場合、エッジは階調値「１２８」の画素の部分である。

ここで各画素間に３点の画素（Ｐｎ１、Ｐｎ２、Ｐｎ３）を内挿することになると、内挿される画素間の距離は「０．２５」となり、上述したｘ１〜ｘ４は内挿点毎に表の中程の列の数値となる。ｘ１〜ｘ４に対応してｆ（ｘ１）〜ｆ（ｘ４）も一義的に計算されることになり、例えば、ｘ１，ｘ２，ｘ３，ｘ４が、それぞれ「１．２５」、「０．２５」、「０．７５」、「１．７５」となる場合、それに対するｆ（ｔ）については、概略「−０．１４」、「０．８９」、「０．３０」、「−０．０５」となる。また、ｘ１，ｘ２，ｘ３，ｘ４が、それぞれ「１．５０」、「０．５０」、「０．５０」、「１．５０」となる場合、それに対するｆ（ｔ）については、「−０．１２５」、「０．６２５」、「０．６２５」、「−０．１２５」となる。また、ｘ１，ｘ２，ｘ３，ｘ４が、それぞれ「１．７５」、「０．７５」、「０．２５」、「１．２５」となる場合、それに対するｆ（ｔ）については、概略「−０．０５」、「０．３０」、「０．８９」、「−０．１４」となる。以上の結果を用いて内挿点の階調値を演算した結果を表の右列に示しているとともに、図２５においてグラフで示している。なお、このグラフの意味するところについて後に詳述する。

垂直方向についてのデータの変化がないものとみなすと、演算は簡略化され、水平方向に並ぶ四つの格子点のデータ（P1,P2,P3,P4 ）だけを参照しつつ、内挿点から各格子点までの距離に応じた影響度合いｆ（ｔ）を利用して次のように算出できる。
P=P1・f(x1)+P21f(x2)+P3・f(x3)+P4・f(x4)
従って、内挿点Ｐ２１について算出する場合には、
P21=64*f(1.25)+64*f(0.25)+64*f(0.75)+128*f(1.75)
=64*(-0.14063)+64*(0.890625)+64*(0.296875)+128*(-0.04688)
=61
となる。

キュービック法によれば３次関数的に表せる以上、そのカーブの形状を調整することによって補間結果の品質を左右することができる。
その調整の一例として、
0＜t＜0.5 f(t) = -(8/7)t**3-(4/7)t**2+1
0.5＜t＜1 f(t) = (1-t)(10/7)
1＜t＜1.5 f(t) = (8/7)(t-1)**3+(4/7)(t-1)**2-(t-1)
1.5＜t＜2 f(t) = (3/7)(t-2)
としたものをハイブリッドバイキュービック法と呼ぶことにする。

図２７はハイブリッドバイキュービック法にて補間される際の具体例を示しており、キュービック法の場合と同じ仮定のモデルについて補間した結果を示している。また、図２５にもハイブリッドバイキュービック法による補間処理結果を示しており、この例では３次関数的なカーブがわずかに急峻となり、画像全体のイメージがシャープとなる。
上述したニアリスト法やキュービック法やハイブリッドバイキュービック法の特性の理解のために他の補間手法である共１次内挿法（バイリニア補間：以下、バイリニア法と呼ぶ）について説明する。

バイリニア法は、図２８に示すように、一方の格子点から他方の格子点へと近づくにつれて徐々に変化していく点でキュービック法に近いが、その変化が両側の格子点のデータだけに依存する一次関数的である点で異なる。すなわち、内挿したい点Ｐｕｖを取り囲む四つの格子点Ｐｉｊ，Ｐｉ＋１ｊ，Ｐｉｊ＋１，Ｐｉ＋１ｊ＋１で区画される領域を当該内挿点Ｐｕｖで四つの区画に分割し、その面積比で対角位置のデータに重み付けする。これを式で表すと、
Ｐ＝｛（ｉ＋１）−ｕ｝｛（ｊ＋１）−ｖ｝Ｐｉｊ
＋｛（ｉ＋１）−ｕ｝｛ｖ−ｊ｝Ｐｉｊ＋１
＋｛ｕ−ｉ ｝｛（ｊ＋１）−ｖ｝Ｐｉ＋１ｊ
＋｛ｕ−ｉ ｝｛ｖ−ｊ｝Ｐｉ＋１ｊ＋１
となる。なお、ｉ＝［ｕ］、ｊ＝［ｖ］である。

二つのキュービック法とバイリニア法は一方の格子点から他方の格子点へと近づくにつれて徐々に変化していく点で共通するが、その変化状況が３次関数的であるか１次関数的であるかが異なり、画像としてみたときの差異は大きい。図２９はニアリスト法とキュービック法とハイブリッドバイキュービック法とバイリニア法における補間結果の相違を理解しやすくするために二次元的に表した図である。同図において、横軸に位置を示し、縦軸に補間関数を示している。むろん、この補間関数は上述した距離に応じた影響度合いに該当する。ｔ＝０、ｔ＝１、ｔ＝２の位置に格子点が存在し、内挿点はｔ＝０〜１の位置となる。

バイリニア法の場合、隣接する二点間（ｔ＝０〜１）で直線的に変化するだけであるので境界をスムージングすることになり、画面の印象はぼやけてしまう。すなわち、角部のスムージングと異なり、境界がスムージングされると、コンピュータグラフィックスでは、本来あるべき輪郭がなくなってしまうし、写真においてはピントが甘くなってしまう。
一方、キュービックにおいては、隣接する二点間（ｔ＝０〜１）においては山形の凸を描いて徐々に近接するのみならず、さらに同二点間の外側（ｔ＝１〜２）において下方に押し下げる効果をもつ。すなわち、あるエッジ部分は段差が生じない程度に大きな高低差を有するように変化され、写真においてはシャープさを増しつつ段差が生じないという好適な影響を及ぼす。また、ハイブリッドバイキュービックではよりシャープさを増す影響を及ぼす。なお、キュービック法は演算処理量が大きく、補間倍率が大きくなって補間すべき画素数が大きくなれば多大な演算処理量を要することになる。

画質の面を重視すれば、キュービック法のような三次関数を選びそうであるが、コンピュータの処理では速度と画質のバランスも大きい。すなわち、画質の向上程度に応じて処理速度の低下具合の許容度が大きくなるが、画質の向上が微量あるいは多少画質が向上落ちるとしても処理速度が高速である方を好むという場合もある。
一方、以上のような補間関数の比較とともに具体的な数値を示す図２５、図２６、図２７を参照するとより理解しやすい。図１５の例を参照し、もともとのエッジ部分である階調値「６４」の画素（Ｐ３）と、階調値「１２８」の画素（Ｐ４）と、階調値「１９２」の画素（Ｐ５）という三点に注目してみると、単純に直線的に連結する手法はバイリニア法に相当し、これに対してキュービック法では具体的なＳ字カーブが形成されているし、ハイブリッドバイキュービック法ではそのＳ字カーブがより急峻となっている。むろん、Ｓ字カーブの方向は画素の階調値変化を急峻とする方向であり、だからこそエッジが強調されている。また、このエッジ画素に隣接する領域（Ｐ２〜Ｐ３、Ｐ５〜Ｐ６）ではいわゆるアンダーシュートとオーバーシュートが生じており、低い側に生じるアンダーシュートと高い側に生じるオーバーシュートにより、エッジ画素を挟む両側の高低差が大きくなる。従って、これらの二つの要因によってエッジが強調されることが理解できる。

画像がシャープに見えるか否かはこのＳ字カーブにおける中央部分の傾斜角度が影響を与えることも容易に理解できる。また、エッジの両側のアンダーシュートとオーバーシュートによって生じる高低差も同様に影響を与えるものといえる。
各補間処理には以上のような特性の違いがあり、ステップＳＴ２０８ではステップＳＴ２０６にて求めた色数に基づいて非自然画であると判断する場合にはステップＳＴ２１０におけるニアリスト法による補間処理を実行するし、自然画であればキュービック法による補間処理を実行することになる。

補間処理自体は任意の倍率で実行可能であるが、プリンタドライバ１２ｃにおける処理の高速化を図るため、整数倍の補間処理を受け付けるようにする。図２９は水平方向と垂直方向に２倍に補間する処理例を示している。予め、補間後の画像データについての変数領域を確保すると、整数倍の補間処理であれば元画像の画像データは整数倍した座標値に対応する画素の画像データとなる。図に示す例で言えば、旧座標値（０，０）は新座標値（０，０）に対応し、旧座標値（１，０）は新座標値（２，０）に対応し、旧座標値（０，１）は新座標値（０，２）に対応し、旧座標値（１，１）は新座標値（２，２）に対応するということである。従って、残りの座標値についてのみ上述した補間処理に対応して画像データを生成していく。この場合、画像データの幅方向を主走査方向とし、長さ方向を副走査方向として順に走査していくことも可能であるし、画像データがある四つの格子点に囲まれた各ブロック毎に内部の座標値の補間処理をしていって埋めていくことも可能である。

そして、新たな座標値について全て補間処理したときにステップＳＴ２１４にて補間画像データを次段の処理へ引き渡す。ただし、補間倍率によっては補間画像データのデータ量が極めて多大になることもあるし、そもそもプリンタドライバ１２ｃが利用可能なメモリ領域がさほど多くない場合もある。このような場合には一定のデータ量ごとに分けて出力するようにしても構わない。
上述したようにステップＳＴ１１６，ＳＴ１１８は補間処理がブロック単位の領域毎に補間処理を変更する手法に対応している。これを上述したプリンタドライバ１２ｃの具体的なソフトウェア処理に対応して説明すると、図２９に示すように整数倍して格子点の画像データを新たな座標値に移行せしめておき、四つの格子点に囲まれた各ブロック毎に特徴量を取得して補間処理を選択することになる。上述した例では利用色数を集計するものであるのでかかる特徴量を利用することはできないが、他の特徴量を取得して補間処理を変更していくことが可能である。

例えば、四つの格子点の差を求めると、自然画であれば当然にこの差が生じていることが多い。しかし、自然画に重ねて文字が組み込まれているような場合、文字が単一色であれば四つの格子点は一致し、差が生じない。むろん、差が生じない領域に内挿する画素は四つの格子点と同じデータとすればよいのであり、最も演算量の少ないニアリスト法で補間すればよい。
また、差が生じない場合に限る必要はない。空のように余り変化のない領域ではニアリストを使用しても画質の劣化は判断できないことが多いため、四つの格子点の差が小さいときにはニアリスト法で補間するようにしても良い。なお、以上の例では領域として最小の単位でブロックを形成しているが、より大きなブロックで補間処理を変更するようにしても構わない。

選択可能な補間処理はニアリスト法かキュービック法かのいずれか一方だけに限る必要もない。例えば、４倍に補間するような場合に、最初にキュービック法にて２倍に補間処理し、続いてニアリスト法にて２倍に補間処理することも有意義である。補間処理によって画素数が増加する前に演算量の多い補間処理を実行しておき、その後で演算量の少ない補間処理を実行することになるからである。

すなわち、補間結果に関連するものとして、このような場合には補間倍率が影響しているといえる。従って、プリンタドライバ１２ｃはオペレーティングシステム１２ａにおける基準解像度とカラープリンタ１７ｂの解像度との比較において倍率が判定できたときに補間処理を選択することも可能である。
このように、画像入力デバイスとしてスキャナ１１ａなどを有するとともに画像出力デバイスとしてカラープリンタ１７ｂなどを有するコンピュータシステム１０において、プリンタドライバ１２ｃはステップＳＴ２０２にて元画像データを取得し、ステップＳＴ２０４，ＳＴ２０６にて画像の利用色数を計数することにより、当該画像データの画像が自然画であるのか非自然画であるのかを判定するための特徴量を抽出し、ステップＳＴ２０８にて同特徴量に基づいて自然画か非自然画かを決定することによって非自然画であればステップＳＴ２１０のニアリスト法の補間処理を実行するし、自然画であればステップＳＴ２１２のキュービック法の補間処理を実行するようにしたため、画像の特徴に応じた補間処理が実施され、最適な補間結果を極めて容易に得ることができる。

そして、このようなプログラムを実行する前提として、コンピュータ１２には、ＣＰＵ１２ｅとＲＡＭ１２ｆとＲＯＭ１２ｇとＩ／Ｏ１２ｈなどが備えられている。同ＲＡＭ１２ｆは、画像をドットマトリクス状の画素で表現した画像データを記憶する画像メモリとして作用する。また、同ＲＡＭ１２ｆは、この画像メモリに記憶された画像データを対象として補間処理に関連する特徴量を取得するとともに、同特徴量に対応して複数の補間処理の中から最適な補間結果を得ることが可能な補間処理を選択し、同補間処理を上記ＣＰＵ１２ａに実行させて上記画像メモリに書き込ませる処理プログラムを記憶する。さらに、Ｉ／Ｏ１２ｈは上記画像データを入力および出力するインターフェイスとして作用する。

むろん、ＣＰＵ１２ｅはＲＡＭ１２ｆを一時的なワークエリアや設定記憶領域やプログラム領域として使用しながら、ＲＯＭ１２ｇに書き込まれた基本プログラムを適宜実行し、Ｉ／Ｏ１２ｈを介して未処理の画像データを入力し、処理後の画像データを出力する。
次に、上述した画像データの変化度合いを特徴量とした実施形態について説明する。
図３１は、本画像データ補間装置を表すブロック図である。
本画像データ補間装置はこのような画素単位での拡大処理を実施するものであり、画像データ取得手段Ｄ１は、このような画像データを取得し、画素補間手段Ｄ２はこの画像データにおける構成画素数を増やす補間処理を行う。ここで、画素補間手段Ｄ２は補間処理として画素の変化度合いに応じた複数の補間処理を実行可能となっており、画素変化度合評価手段Ｄ３が上記画像データに基づいて画素ごとの変化度合いを評価する。すると、補間処理選択手段Ｄ４はそのようにして評価された画素の変化度合いに対応して最適な補間結果を得ることが可能な補間処理を選択し、上記画素補間手段Ｄ２に実行させる。

なお、本実施形態においては、ディスプレイドライバ１２ｂやプリンタドライバ１２ｃは上述した画素補間手段Ｄ２はもとより、以下に述べるように画素変化度合評価手段Ｄ３や補間処理選択手段Ｄ４を実行し、解像度変換において最もバランスの良い補間結果を得ることができるようにしている。
図３２は、上述したプリンタドライバ１２ｃが実行する解像度変換に関連するソフトウェアフローを示している。

ステップＳＴ３０２は元画像データを取得する。ステップＳＴ３０４〜ＳＴ３０８は、読み込んだ画像データにおける画素の変化度合いを評価する処理である。
上述したような簡略化した演算で輝度を求めることとした上で、図３３と図３４は、輝度勾配を算出するためのエッジ検出フィルタを示している。画像データはドットマトリクス状の画素から構成されているので、注目画素を中心とする近隣の八画素との間で画像の変化度合いを評価すべきである。そういった意味では図３４（ａ）に示すように、注目画素に８倍の重み付けを与えつつ周囲の画素を均等に評価してそれを合算することでフィルタを掛けることが好ましい。しかしながら、経験的には必ずしも周囲の八画素を評価しなくても図３３（ａ）に示すように注目画素と周囲の四画素だけから評価可能である。むろん、四画素を利用するか八画素を利用するかでは演算量の差が大きく、このようにして評価対象を少なくすると処理時間を減らすことができる。

また、図３３（ｂ）と図３４（ｂ）には実際の画像データ（輝度）の例を示しており図３３（ｃ）と図３４（ｃ）には（ａ）に示すフィルタを（ｂ）に示す画像データの配置に適用した場合の演算例を示している。画像データは概ね左斜め上方側に画像データ「１００」のエリアがあり、右斜め下方側に画像データ「７０」と「６０」の領域があるような場合を示している。図３３の例では、中心画素の上下左右の四画素（画像データ「１００」、「１００」、「７０」、「７０」）についてそれぞれ「−１」の重みが付加され、中心画素（画像データ「１００」）には「４」の重みが付加されている。そして、この五画素について重み付加算を行なう。この重み付加算結果は「６０」であり、しきい値（ｔｈ）の「３２」を越えている。

一方、図３４の例では、中心画素を取り囲む八画素についてそれぞれ「−１」の重みが付加され、中心画素には「８」の重みが付加されている。この重み付加算結果は「１００」であり、しきい値（ｔｈ）の「６４」を越えている。
図３３や図３４に示すエッジ検出フィルタを利用した結果を各画素のエッジ量Ｅと呼ぶと、その分布は図３５に示すように正規分布的となることが予想され、画像の変化度合いが大きいエッジ部分であるか否かはしきい値ｔｈと比較することによって判定できる。図３３と図３４に示すエッジ検出フィルタはそれぞれしきい値としてｔｈ＝３２およびｔｈ＝６４というエッジ量のしきい値が妥当する。従って、エッジの画素か否かは次式から評価する。
（Ｅ＜−ｔｈ） ｏｒ （ｔｈ＞Ｅ）
この評価をドットマトリクス状の画素の全てに実施するのがステップＳＴ３０６の処理であり、各画素単位でエッジの画素のように画像の変化度合いが大きい画素であるか否かを評価する。

ところで、各画素単位で画像の変化度合いが大きいか否かを判定するとしても、補間処理は一定の領域毎に画素を生成する処理であるから、その領域単位で画像の変化度合いが大きいか否かを判定する必要がある。各領域ごとにこの変化度合いを判定するのは煩雑であるから、ステップＳＴ３０８であらかじめエッジ画素であるか否かを判定してフラグを設定する。この場合、図３６に示すように、エッジ画素を取り囲む全ての画素において画像の変化度合いが大きいものと判断する。より具体的には、各画素の変化度合いが図３７（ａ）に示すようになっているとするときに、しきい値が「３２」であれば、しきい値を越える画素はｘｙ座標で示すところの（０，０）（３，０）（４，０）（１，１）（２，１）であるとしても、エッジ画素の隣接画素にはフラグを設定することになる。すると、同図（ｂ）に示すようにｙ＝０，１の全画素と、（４，２）を除くｙ＝２の画素についてはフラグが設定されることになる。この結果、後の工程で各画素単位で注目ブロックを移動させていくときにフラグだけを参照して補間処理を適宜選択できるようになる。

むろん、本実施形態においては、これらのステップＳＴ３０４〜ＳＴ３０８の処理が画素変化度合評価ステップに相当する。むろん、これらがＣＰＵなどのハードウェアと有機一体的に結合したものと考えると画素変化度合評価手段Ｄ３を構成することになる。
以上のように設定したフラグに基づき、ステップＳＴ３１０以下ではループ処理で補間画素を生成していく。図３８は既存の画素に対して補間して生成される画素の配置を概略的に示している。既存の画素について仮に座標を（Ｘ，Ｙ）として表示し、補間で生成される画素の座標を＜Ｘ，Ｙ＞として表示している。同図の例では、約２．５×２．５倍の補間処理を行っている。

既存の四つの画素で囲まれる一つの領域をブロックと呼び、各ブロックごとに補間する画素の補間処理を選択する。ステップＳＴ３０８では各画素ごとに周囲の画素の変化度合も考慮してフラグを設定しているので、各ブロックでは四つの画素（０，０）（１，０）（０，１）（１，１）についていずれについてもフラグが設定されていれば変化度合の大きい場合の補間処理を選択することになり、どれか一つでもフラグが設定されていなければ変化度合の小さい場合の補間処理を選択することになる。ステップＳＴ３１０では、この条件に基づいて当該ブロック内部に適用する補間処理を判断し、変化度合いが小さい場合にはステップＳＴ３１２にてニアリスト法による補間処理で補間を実行するし、変化度合いが大きい場合にはステップＳＴ３１４にてキュービック法による補間処理で補間を実行する。また、一つのブロックを補間処理した後、ステップＳＴ３１６とステップＳＴ３１８にて処理対象となるブロックを移動させ、全てのブロックが終了すればステップＳＴ３２０にて補間された画像データを出力する。

なお、図中にはステップＳＴ３１８の終了後にステップＳＴ３１０に戻るような流れを実線で示しているが、破線で示すようにブロック毎にエッジ画素を集計する処理を繰り返すようにしても良い。
むろん、このような意味でステップＳＴ３１０の処理を中心としてステップＳＴ３１６，ＳＴ３１８の処理を含めて補間処理選択ステップに相当する。むろん、これらがＣＰＵなどのハードウェアと有機一体的に結合したものと考えると補間処理選択手段Ｄ４を構成することになる。なお、プリンタドライバ１２ｃの場合、解像度変換だけで印刷データが得られるわけではなく、色変換であるとか、ハーフトーン処理が必要になる。従って、ここで画像データを出力するというのは、次の段階へのデータの受け渡しを意味することになる。

本実施形態の場合は、四つの画素に囲まれる領域をブロックと呼んで補間処理を選択しているが、補間処理を変更する基準は演算能力や補間処理などに応じて適宜変更可能である。例えば、図３９に示すように、注目画素を中心とする領域を基準として補間処理する場合もある。このような場合は、かかる注目画素を矢印のように走査させて移動させながら補間処理を適宜実施していけばよい。
ここで、注目画素を移動させていきながら補間処理を選択する手法について説明する。上述した例ではブロック毎に変化度合いが大きいか否かを判定するにあたり、当該領域に含まれる全てのフラグが「１」となっている場合にだけ画像の変化度合いが大きい領域と判断している。しかしながら、必ずしもこのように全てのフラグが「１」になっている必要もないともいえる。例えば、図４０（ａ）に示すように４画素で囲まれる領域に補間処理で画素を生成するものとする。この場合、図３６でエッジ画素の隣接画素にフラグを立てる関係上、本来であれば上述したように４画素全てにフラグが立っている場合だけが変化度合いの大きい領域と判定することになりえる。しかしながら、このように判断するとブロックを１画素分だ横に移動させた場合には縦の辺が共通する関係で縦の二画素について毎回判断が重複するし、縦方向に移動させれば横の辺が共通する関係で横の二画素について毎回判断が重複する。このような重複状況は演算処理において無駄である。一方、同図（ｂ）に示すように領域の隣接状況を考慮すれば、１領域ごとに左上の１画素を代表させて関連づけることが可能であるし、少なくともエッジ画素に同視しうる画素の近辺で変化度合いが大きいと判断しても対して支障はないといえる。また、隣接画素同士に囲まれる領域というのは実際には極めて微少な領域であることを鑑みても十分であるといえる。そして、このようにして１画素に１領域を対応させれば、ブロックを移動させる際に注目画素を移動させていき、その注目画素のエッジ量だけで領域の変化度合いを判定することが可能となるし、判定に要する演算処理量も低減する。

また、補間する画素の側でブロックを形成するようにすることも可能である。図４１はこの例を示しており、図中、□の格子点が補間する画素を示し、○の格子点が既存の画素を示している。いま、補間する画素について５×５のブロックを一つとし、その中に含まれる既存の画素のエッジ量に基づいて当該領域が画像の変化度合いの大きいものであるか否かを判断する。この場合、一つのブロックを決めて当該ブロックに含まれる既存の画素を抽出し、そのエッジ量の積算値を求め、当該ブロック内では同一の補間処理で画素を生成すればよい。

むろん、以上の場合においてより大きな領域毎にブロックを設定して補間処理を選択しても良く、例えば、１０×１０画素毎をブロックとすることも可能である。また、ブロックを設定せずに補間する画素毎にそれを取り囲む既存の画素についてのエッジ量を判断して補間処理を選択することも可能である。図４１の例で言えば内側に配列される３×３の□の格子点は、いずれも○で示す四つの既存の格子点の中に含まれ、それぞれの□の格子点を生成する際にこれを取り囲む○で示す四つの既存の格子点についてのエッジ量に基づいて補間処理を選択するということである。むろん、演算処理上、このような処理の方が都合よい場合に実現すればよい。すなわち、先に補間処理するブロックを特定して補間処理を決めてからその内部に画素を補間するという手法であっても良いし、補間する画素毎にブロックの状況を判定して補間処理を選択しても良い。

さらに、上述したフローではステップＳＴ３０８にて予めエッジ画素に隣接する画素にフラグを設定しておき、ブロック毎に同フラグを参照するようにしている。しかしながら、図３２にて破線で示すようにブロックを移動させるフローとすることも可能であり、この場合には敢えてフラグを設定する必要もなく、当該ブロックの周囲の画素のエッジ量を判断して補間処理を選択するようにすれば良い。

上述したように別々の補間処理を備えているステップＳＴ３１２，ＳＴ３１４の処理は画素補間ステップに相当する。むろん、これらがＣＰＵなどのハードウェアと有機一体的に結合したものと考えると画素補間手段Ｄ２を構成することになる。ここで、それぞれの補間処理について詳述する。
一方、このような関係は図２９に示す補間関数においてｔ＝０〜１の区間において傾斜が急となりつつ、ｔ＝１〜２の区間において増加した重み分を打ち消すように負の側へ引き寄せるカーブとなっている場合に生じる。

従って、シャープさを調整しようとする場合には、（１）補間関数においてシャープさの基準となる理想的な傾斜を決定し、（２）ｔ＝０〜１の区間において上記傾斜を発生させるカーブを決定し、（３）ｔ＝１〜２の区間においてこのカーブによって増える重み付けを相殺するように負の側に引き寄せつつ、オーバーシュートとアンダーシュートが生じやすいカーブを決定することによって実現できる。むろん、この後の作業では特定されるカーブとなるように多次演算関数のパラメータを決定するが、かかるパラメータの決定方法は極めて多様であるから、実質的な意味でＳ字カーブにおける中央部分の傾斜角度とアンダーシュート及びオーバーシュートを調整することに他ならない。

各補間処理には以上のような特性の違いがあり、ステップＳＴ３１０にて画像の変化度合いが小さいと判断されたブロックでは、ステップＳＴ３１２にてニアリスト法の補間処理を実行するし、逆に変化度合いが大きいと判断されたブロックでは、キュービック法やハイブリッドバイキュービック法の補間処理を実行する。キュービック法で補間処理をする場合には演算時間が多大となってしまうものの、画像の変化度合いが小さいような部分ではニアリスト法に切り替えるため、全体としての処理時間は極めて低減する。特に、コンピュータグラフィックスのように同色で一定領域を塗りつぶしてあるような場合には一律にニアリスト法を実行しても全く問題ないので、処理時間は低減する。また、自然画であっても拡大したときにジャギーが目立ちやすい部分というのは面積比でいってもそれほど大きくないのが普通であるから、このように画像の変化度合いを逐次切り替えることによって画質を劣化させることなく処理量を低減させることができる。

本実施形態においては、フラグによって二種類ある補間処理のいずれかを実行するようにしているが、画素の変化度合いに対して段階的に対応する複数の補間処理を実行するようにしても良い。また、図４２に示すように、二つの補間処理を重ねて実行することとしてその拡大倍率を画像の変化度合いに対応させるようにしても良い。例えば、補間倍率が５倍であるとして画像の変化度合いが小さめであればニアリスト法で５倍に補間処理するし、画像の変化度合いが大きめであればキュービック法で５倍の補間処理する。これらの場合は上述した実施形態と同様であるが、画像の変化度合いが中間的な値である場合にはキュービック法で２倍に補間処理し、残りの２．５倍をニアリスト法で補間処理する。このようにして二つの補間処理でありながら実質的には画像の変化度合いに応じた複数の補間処理を選択できることになる。

なお、前述のように、キュービック法のような補間処理の演算量が大きいものについては、補間倍率を整数倍とする。
このように、画像入力デバイスを有するとともに画像出力デバイスを有するコンピュータシステム１０において、プリンタドライバ１２ｃはステップＳＴ３０２にて元画像データを入力した後、ステップＳＴ３０４〜１０８にて画像の変化度合いを検出してフラグを設定しておき、ステップＳＴ３１０にて同フラグを参照することにより、画像の変化度合いの小さいブロックではステップＳＴ３１２にてニアリスト法による補間処理を実行するし、画像の変化度合いの大きいブロックではステップＳＴ３１４にてキュービック法による補間処理を実行するようにしたため、画質を劣化させない範囲でできる限りニアリスト法を実行するように制御され、自動的に最適な補間処理を選択しつつ演算処理量を低減させる。

以上説明したように、発明においては、画像をドットマトリクス状の画素で表現した画像データを取得する画像データ取得手段と、上記画像データに基づいて画素の変化度合いを評価する画素変化度合評価手段と、上記画像データにおける構成画素数を増やす補間処理を行うに複数の補間処理の中から選択して実行可能な画素補間手段と、上記画素変化度合評価手段によって評価された画素の変化度合に基づいてその変化度合いに対応して最適な補間結果を得ることが可能な補間処理を選択して上記画素補間手段に実行させる補間処理選択手段とを具備する構成としてある。

このように構成した本発明においては、画像をドットマトリクス状の画素で表現した画像データの構成画素数を増やす補間処理を行うにあたり、画素補間手段は複数の補間処理の中からいずれかを選択して実行可能となっており、画像データ取得手段が対象となる画像データを取得すると、上記画素変化度合評価手段は同画像データに基づいて画素の変化度合いを評価する。そして、上記補間処理選択手段はこの画素変化度合評価手段によって評価された画素の変化度合に基づき、その変化度合いに対応して最適な補間結果を得ることが可能な補間処理を選択して上記画素補間手段に実行させる。

すなわち、画素の変化度合は補間処理の具体的手法に密接に関連するので、同画素の変化度合を評価して積極的に補間処理を変更することにより、無駄のない補間処理を実現する。
以上説明したように本発明は、画像の変化度合いに応じて補間処理を変更することにより極めて簡易に最適な補間結果を得ることが可能な画像データ補間装置を提供することができる。
画素変化度合評価手段は、画素の変化度合を評価するものであり、評価の手法や結果は特に限定されるものではない。また、補間処理選択手段での同評価結果の利用態様に応じて相対的に変更可能なものである。例えば、具体的な変化度合いを数値として要するのであれば数値を出力すればよいし、単に変化度合いが大きいか否かといったものでよければ、それに合わせて出力すればよい。

また、画素の変化自体をどのようにして把握するかも適宜変更可能である。その一例として、上記画素変化度合評価手段は、各画素の明るさのパラメータを求めるとともに周囲の画素のパラメータとの比較で上記変化度合いを算出する構成とすることもできる。
このように構成した場合には、画素の評価の基準として当該画素の明るさを利用するものとし、上記画素変化度合評価手段は各画素の明るさのパラメータを求め、当該画素とその周囲の画素とで同パラメータを比較し、比較結果を上記変化度合いとして算出する。

むろん、これ以外にも画素の変化度合いを把握することは可能であるが、多要素のパラメータで表される画素を一律に把握するにあたって明るさのパラメータは比較的容易である。
このようにすれば、画像の変化度合いを明るさのパラメータに基づいて判断するため、比較的容易に同変化度合いを求めることができる。
一方、補間処理の処理内容にも画素の変化度合いが影響を及ぼす範囲が異なってくると言える。例えば、補間処理を実行するにあたって必要とする画素の数が一つであるものもあれば、複数の画素に基づいて補間処理するものもある。特に、後者の例であれば、一つでも変化度合いが大きい画素があると補間処理を変えるのか、あるいは一つでも変化度合が小さい画素があると補間処理を変えるのかといったことが問題となる。

このような状況に対する一例として、上記画素変化度合評価手段は、各画素ごとに求めた上記変化度合いを周囲の画素の変化度合の評価についても利用する構成とすることもできる。
補間処理で要する画素が複数であり、そのうちの一つでも変化度合いが大きいときには、二つの態様が考えられる。すなわち、補間処理で対象とする範囲の残り画素については評価する必要が無くなるし、逆に既に評価した画素について変化度合いが小さかったとしても当該評価は不要となる。

このような二方向の意味で、各画素ごとに求めた上記変化度合いを周囲の画素の変化度合の評価についても利用することになる。
このようにすれば、一の画素の変化度合いを周囲の画素においても利用することにより、演算量を低減できるし、補間処理の影響を受ける適当な範囲で共有することにより、最適な補間結果を得ることができる。
画素補間手段では、画素の変化度合いに関連する複数の補間処理を実行可能であればよく、補間処理自体としては各種の処理が可能である。その一例として、上記画素補間手段は、変化度合の小さい領域で適用して好適な補間処理として、補間処理前の最近隣画素の画像データを新たな構成画素の画像データに利用する補間処理を実行可能な構成とすることもできる。

このように構成した場合には、一つの補間処理として補間処理前の最近隣画素の画像データを新たな構成画素の画像データに利用するが、同じ画素のデータが増えるとしても変化度合の小さい領域であれば何ら問題なく、処理量が少ない点で好適である。
このようにすれば、変化度合の小さい領域では画質に影響することなく処理量を減らすことができる。
また、他の一例として、上記画素補間手段は、変化度合の大きい領域で適用して好適な補間処理として補間する画素の画像データがなだらかに変化するように周囲の画素の画像データから演算処理で補間画素の画像データを算出する補間処理を実行可能な構成とすることもできる。

このように構成した場合には、周囲の画素の画像データを利用して演算処理することにより、補間する画素の画像データはなだらかに変化する。このように、なだらかに変化させると、変化度合いの大きい画素の並びがあったとして、この間を補間したとしても段差が目立たない。従って、変化度合いの大きい画素の並びについてこの間を補間したとしても段差が目立たたず画質の劣化を防止することができる。

補間する画素の画像データがなだらかに変化する演算手法は各種のものを採用可能であるが、その変化態様は画質に影響を与える。このため、ある意味では演算手法を変えることによって画質を調整可能となるともいえる。画質を調整可能な一例として、上記画素補間手段は、変化度合いの大きい画素間で補間画素の画像データを算出するにあたり、画像データの変化態様を略Ｓ字型としつつその傾斜を調整するとともに、両端部位では低い側にアンダーシュートを発生させつつ高い側にオーバーシュートを発生させて高低差を形成してその高低差を調整することにより、画像の変化度合いを最適なものとするように調整する構成とすることもできる。

このように構成した場合には、補間する画素の画像データをなだらかに変化させるにあたり、変化度合いの大きい画素間で画像データの変化態様を略Ｓ字型とする。従って、なだらかには変化するもののその変化態様は単に直線的に結ぶ勾配よりは急峻とさせることができ、その傾斜を調整して画像の変化度合いを最適なものとすることが可能となる。また、両端部位で低い側にアンダーシュートを発生させつつ高い側にオーバーシュートを発生させると高低差は大きくなり、かつ、その高低差を調整することによっても見かけ上の画像の変化度合いを最適なものとすることが可能となる。このような演算処理の一例としては、多次演算処理の３次たたみ込み内挿法などを使用可能であるし、かかる調整を可能とする演算処理はこれに限られず、他の演算手法を採用することもできる。

このようにすれば、Ｓ字カーブの傾斜と、アンダーシュートとオーバーシュートによる高低差とにより、画質の調整を比較的容易に実現できる。
画素の変化度合いが画像全体にわたって一定であることはないため、補間処理選択手段は、適宜、補間処理を選択して切り換えなければならない。そして、かかる切り換えの頻度も特に限定されるものでなく、各種の手法を採用可能である。その一例として、上記補間処理選択手段は、上記画素変化度合評価手段によって評価された画素の変化度合に基づいて画素単位で上記補間処理を選択して実行させる構成とすることもできる。

このように構成した場合には、上記画素変化度合評価手段によって評価された画素の変化度合に基づき、上記補間処理選択手段が画素単位で上記補間処理を選択して実行させる。すなわち、変化度合いが画素単位で評価される以上、これに対応して補間処理も変更する。
従って、画素単位で補間処理を選択するのできめ細かに補間結果を向上させることができる。
また、他の一例として、上記補間処理選択手段は、上記画素変化度合評価手段によって評価された画素の変化度合に基づいて複数画素からなる所定の小領域毎に上記補間処理を選択して実行させる構成とすることもできる。このようにすれば、小領域毎に補間処理を選択するので処理を簡易化することができる。

次に、補間処理を前提としつつシャープさを併せて修正する実施形態を説明する。
図４３は、このような画像データ補間装置を表すブロック図である。
元の画像が自然画であるとすると、画像によってはシャープさに欠けることがある。例えば、ピントの甘いような写真などが該当する。また、装置間の解像度を一致させるための拡大にとどまらず、画像自体を拡大して出力したいような場合には、シャープさの欠ける画像はさらにピントが甘くなりかねない。
本画像データ補間装置は画像データについて画素単位での拡大処理を実施する際にシャープさを調整するものであり、画像データ取得手段Ｅ１は、同画像データを取得し、画素補間手段Ｅ２はこの画像データにおける構成画素数を増やす補間処理を行う。ここで、画素補間手段Ｅ２は補間処理に付随して画像のシャープさを変化させることが可能となっており、シャープ度合評価手段Ｅ３が上記画像データに基づいて画像のシャープさを評価する。すると、補間処理制御手段Ｅ４はそのようにして評価されたシャープさが低ければこれを高めるような補間処理を実行するように上記画素補間手段Ｅ２を制御する。

上述したように、オペレーティングシステム１２ａで管理する解像度とカラープリンタ１７ｂの解像度とが一致しない場合にプリンタドライバ１２ｃは解像度を一致させる処理を実行する。通常、カラープリンタ１７ｂの解像度はオペレーティングシステム１２ａが管理する解像度よりも細かいので、解像度を一致させるためには画素を増やすための補間処理が行われる。このようにアプリケーション１２ｄによって拡大処理する場合と、プリンタドライバ１２ｃによって解像度を一致させる場合に補間処理が行われるが、これらの補間処理で画像のシャープさに影響を与えることができる。

画像のシャープさはそれぞれの隣接画素間での変化度合いの総合評価と言える。シャープさに欠ける画像というのは本来のエッジ部分でなだらかに画素が変化していることを意味し、シャープな画像では本来のエッジ部分で隣接画素間の変化度合いが急峻である。補間処理は既存の画素と画素の間に新たな画素を生成することになるので、新たな画素をどのような値とするかで画像のシャープさが変化するからである。

この意味で、本発明の画像データ補間装置では、アプリケーション１２ｄやプリンタドライバ１２ｃが上述した画素補間手段Ｅ２はもとより、以下に述べるようにシャープ度合評価手段Ｅ３や補間処理制御手段Ｅ４を構成する。
図４４は、補間処理を実行する一例としてのプリンタドライバ１２ｃが実行する解像度変換に関連するソフトウェアフローを示している。
ステップＳＴ４０２は元画像データを取得する。ステップＳＴ４０４〜ＳＴ４０８は、読み込んだ画像データにおける各画素の変化度合いから画像のシャープさを評価する処理である。

図３３や図３４に示すエッジ検出フィルタを利用した結果を各画素のエッジ量Ｅと呼ぶと、その分布は図３５に示すように正規分布的となることが予想される。このようにしてドットマトリクス状の画素の全てにおいて算出するのがステップＳＴ４０６の処理であり、エッジ量の絶対値をステップＳＴ４０８にて集計する。集計は単純な平均値であっても良いが、背景部分の面積比の影響を受けやすいとも言える。例えば、図４５では被写体たる人物像が大きく映って背景部分が少ないが、図４６では被写体たる人物像が小さく映って背景部分が多くなる。背景部分では画素の変化度合いが小さくなりがちであるから、背景部分の面積割合が大きい図４６に示すものでは図４５に示すものと比較して平均値が低くなりがちである。この意味で、或る一定のしきい値を設けておき、そのしきい値以上のものだけの平均を算出するようにしても良い。

一方、この集計の段階では画像のシャープさを求めるのが主目的であるが、そもそも自然画のようなシャープさを要求される画像であるのか否かをこの集計結果から判断することも可能である。自然画の場合は単なる背景のような部分であっても色の明暗であるとか背景としての実物の形状に応じて同一の画素が並んでいるわけではないことから、エッジ量の絶対値の集計結果は図４７に示すようになり、エッジ量は大きめになりがちである。これに対してビジネスグラフのような画像では同色で一定領域を塗りつぶすことが多いので、エッジ量の絶対値の集計結果は図４８に示すようになり、エッジ量が低めになる。

従って、集計結果の平均値（ａｖ）があるしきい値Ｔｈより低い場合にはシャープさを増すような処理が必要でない画像と言え、シャープさに影響を与えない補間処理を実行させるようにすればよい。
以上のようにしてステップＳＴ４０４〜ＳＴ４０８において画像を構成する各画素の変化度合いを集計し、当該画像がシャープな画像と言えるか否かの評価を実施したことになるため、これらのステップＳＴ４０４〜ＳＴ４０８の処理がシャープ度合評価手段Ｅ３を構成することになる。

この評価結果に基づき、ステップＳＴ４１０では画像のシャープさの高低に応じた補間処理を選択する。本実施形態においては、シャープな画像に対してキュービック法による補間処理を実行し、シャープさに欠ける画像に対してハイブリッドバイキュービック法による補間処理を実行する。従って、この意味で当該ステップＳＴ４１０は補間処理制御手段Ｅ４を構成するし、別々の補間処理を備えているステップＳＴ４１２，ＳＴ４１４の処理は画素補間手段Ｅ２を構成することになる。ここで、それぞれの補間処理について詳述する。

各補間処理には以上のような特性の違いがあり、ステップＳＴ４１０にて画像がシャープであると判断されればステップＳＴ４１２にてキュービック法の補間処理を実行するし、逆にシャープではないと判断されるとハイブリッドバイキュービック法の補間処理を実行する。ハイブリッドバイキュービック法で補間処理をする場合には補間するカーブが急峻となってシャープさを増すことができ、かかる補間処理が選択されるのは対象とする画像のシャープさを評価し、その評価結果に基づくものである。このため、操作者は特段の判断をしなくてもシャープでない画像をシャープにすることができる。

本実施形態においては、二種類ある補間処理のいずれかを実行するようにしているが、画素の変化度合いに対して段階的に対応する複数の補間処理を実行するようにしても良い。図４９はシャープさの評価を４段階に分けて３次内挿法のパラメータを変化させた四つのキュービック法を実施する例を示している。図中「０」は通常のシャープさの画像に適用されるキュービック法のカーブを示しており、「＋１」のカーブはわずかにシャープさに欠ける画像に適用されるキュービック法を示しており、「＋２」のカーブはかなりシャープさが欠ける画像に適用されるキュービック法を示している。また、シャープすぎる画像については「−１」のカーブのキュービック法を適用する。むろん、これらはいずれもハイブリッドバイキュービック法の場合と同様にＳ字カーブにおける中央部分の傾斜角度とアンダーシュート及びオーバーシュートを調整して実現している。

次に、この場合の手続のフローを図５０に示す。
画像のシャープさに基づいてステップＳＴ５１０ではこれらのパラメータを設定し、かかるパラメータを使用したキュービック法をステップＳＴ５１４にて実行する。また、このフローでは、画像のシャープさが部分的に異なることを考慮し、画像を小領域であるブロックに分割して各ブロック毎に最適な補間処理を実行する。すなわち、各ブロック毎にシャープさを評価して補間処理を選択するため、ステップＳＴ５０８にてブロック毎のエッジ量を集計し、ステップＳＴ５１６，ＳＴ５１８にてブロックを順次移動させながら補間処理を実行するようにしている。

全ての画像データについて補間処理を終了したら、ステップＳＴ４２０やステップＳＴ５２０にて補間された画像データを出力する。なお、プリンタドライバ１２ｃの場合、解像度変換だけで印刷データが得られるわけではなく、色変換であるとか、ハーフトーン処理が必要になる。従って、ここで画像データを出力するというのは、次の段階へのデータの受け渡しを意味することになる。
このように、画像入力デバイスを有するとともに画像出力デバイスを有するコンピュータシステム１０において、プリンタドライバ１２ｃはステップＳＴ４０２にて元画像データを入力した後、ステップＳＴ４０４〜１０８にて画像のシャープさを評価して集計するとともに、ステップＳＴ４１０にて同集計結果に基づいてシャープさに欠ける画像であればステップＳＴ４１４にてシャープさを増す補間処理を実行するし、シャープな画像であればステップＳＴ４１２にて通常の補間処理を実行するようにしたため、操作者が別段にシャープさを増す画像処理を選択しなくても補間処理を経るだけでシャープな画像とすることができる。

以上説明したように、本実施形態においては、画像をドットマトリクス状の画素で表現した画像データを取得する画像データ取得手段と、上記画像データに基づいて画像のシャープさを評価するシャープ度合評価手段と、上記画像データにおける構成画素数を増やす補間処理を行うにあたり画像のシャープさを変化させる補間処理を実行可能な画素補間手段と、上記シャープ度合評価手段によって評価された画像のシャープさが適当でなければシャープさを変化させて適当となるように上記画素補間手段に補間処理を実行させる補間処理制御手段とを具備する構成としてある。

このように構成した場合には、画像をドットマトリクス状の画素で表現した画像データの構成画素数を増やす補間処理を行うにあたり、画素補間手段は画像のシャープさを変化させる補間処理を実行可能となっており、画像データ取得手段が対象となる画像データを取得すると、上記シャープ度合評価手段は同画像データに基づいて画像のシャープさを評価する。そして、上記補間処理制御手段はこのシャープ度合評価手段によって評価されたシャープさに基づき、画像のシャープさが適当でなければシャープさを変化させて適当となるように上記画素補間手段に補間処理を実行させる。

すなわち、画像のシャープさが低い場合には補間処理によってシャープさを増し、また、シャープすぎる場合にはシャープさを低減させる。
このようにすれば、画像のシャープさに応じて補間処理でシャープさを調整するようにしているため、操作を煩雑にすることなく簡易に画質を向上させることが可能な画像データ補間装置を提供することができる。
補間を実行しつつ画像のシャープさを変化させる手法として画像データの変化態様を略Ｓ字型としつつその傾斜を調整するとともに、両端部位では低い側にアンダーシュートを発生させつつ高い側にオーバーシュートを発生させて高低差を形成してその高低差を調整することにより、画像の変化度合いを最適なものとするように調整して画像のシャープさを変化させることを示した。

このようなＳ字カーブをとる一例として、上記画素補間手段は、３次たたみ込み内挿法におけるパラメータを調整して画像のシャープさを変化させる構成とすることもできる。
このように構成した場合には、補間処理として利用される３次たたみ込み内挿法のパラメータを調整することにより、元の画像での隣接する画素の間に補間される画素が３次関数を採用することによってＳ字を描き、なだらかでありながら急峻さも併せ持つことになる。そして、このＳ字の曲がり具合をパラメータで調整することによって急峻さが変化し、画像のシャープさが変化する。

このようにすれば、多次演算処理として３次たたみ込み内挿法を利用することにより、Ｓ字カーブを調整して比較的容易にシャープさを調整することができる。
シャープさを変化させるにあたり、必ずしも一つの演算手法だけを採用する必要はなく、シャープさに影響を与える複数の補間処理を実行することも可能である。そのような一例として、上記画素補間手段は、画像のシャープさの変化度合いの異なる複数の補間処理を実行可能であるとともに、それぞれの補間倍率の割合を変化させて画像のシャープさを調整する構成とすることもできる。

このように構成した場合には、複数の補間処理のそれぞれで画像のシャープさの変化度合いが異なり、必要な補間倍率を得るために複数の補間処理を実行する。従って、その補間倍率の分担割合を互いに変化させることにより、シャープさを調整可能となる。例えば、シャープさの変化度合いの低い補間処理とシャープさの変化度合いの高い補間処理とがある場合に両者の分担割合を変化させれば二つの変化度合の中間を選択可能となる。

このようにすれば、複数の補間処理で分担する補間倍率を変えるだけであるので、パラメータの設定が簡易になる。
画像のシャープさは、必ずしも高ければよいわけではない。従って、シャープさを増す必要がない場合もある。この場合、操作者が判断することも可能であるが、かかる判断を同時に実現する構成とすることもできる。その一例として、上記補間処理制御手段は、上記画像のシャープさが所定のしきい値を越えていると評価されたときに上記画素補間手段にて画像のシャープさを変化させるように制御する構成とすることもできる。

このように構成した場合には、上記補間処理制御手段が上記画像のシャープさと所定のしきい値とを比較し、画像のシャープさがこれを越えていると評価されたときに上記画素補間手段にて画像のシャープさを変化させるように制御する。しかしながら、画像のシャープさがしきい値を越えていないようであればあえて画像のシャープさを変化させるようには制御しない。例えば、自然画であるときの画像のシャープさと非自然画であるときの画像のシャープさとを比較すれば、前者のものの方が一般的にはシャープさが高いと言えるからである。むろん、画像のシャープさは自然画か非自然画かといった分類だけで決まるものでもないため、他の判断要素を加えることも可能である。例えば、画像の分類を取得し、その分類にたった上で上記しきい値を変化させればより柔軟な対応が可能となる。

このようにすれば、ある一定の範囲まではシャープさを変化させないようにするため、シャープさを変化させることが不適当な画像まで自動的にシャープさを調整してしまうといった不便さがなくなる。
画面のシャープさは個々の画素を基準とすると、画像全体にわたって一定であるわけではないので、必ずしも一定の補間処理に限られるものでもない。このため、画素単位で画像のシャープさを評価するとともに、評価された画像のシャープさに基づいて画素単位で画像のシャープさを変化させるように制御する構成とすることもできる。また、所定の小領域毎に画像のシャープさを評価するとともに、評価された画像のシャープさに基づいて所定の小領域毎に画像のシャープさを変化させるように制御する構成としてある。

次に、画像処理を選択できるようにした実施形態を説明する。
図５１は、このような画像データ補間装置を表すブロック図である。
本画像データ補間装置は画像データについて画素単位の画像処理を実施する際に拡大処理とシャープさの変更処理を補間処理として同時に行うものであり、画像データ取得手段Ｆ１にて同画像データを取得するともに、画像処理選択手段Ｆ２で実施する画像処理を選択する。同時処理判断手段Ｆ３は実行すべき画像処理が拡大処理とシャープさの変更処理とを同時に行うものであるか否かを判断するものであり、同時に行う必要がある場合には画素補間手段Ｆ４が当該画像データにおける構成画素数を増やす補間処理を行なうのに付随して画像のシャープさを変化させる。そして、拡大処理後の画像データは画像データ出力手段Ｆ５が出力する。

かかるコンピュータシステム１０では、画像入力デバイスであるスキャナ１１ａなどで画像データを取得し、アプリケーション１２ｄで所定の画像処理を実行する。この画像処理には各種のものがあり、拡大縮小、シャープさの強弱、コントラストの強弱、色合いの修正といったものがあげられる。なお、上述したように、画像出力デバイスとしてのディスプレイ１７ａやカラープリンタ１７ｂに表示出力するためには解像度の一致が必要であり、特にプリンタの解像度に合わせる際には拡大処理としても実行する補間処理が行われる。そして、この補間処理はプリンタドライバ１２ｃで実行しても良いし、アプリケーション１２ｄで実行することもできる。

ここで、アプリケーション１２ｄでは、画像処理として拡大処理とシャープさの変更処理を選択することが可能であり、また、プリンタの解像度に合わせる際に拡大処理するのに伴ってシャープさを変更することも可能である。従って、これらの場合に拡大処理とシャープさの調整処理を実行することになる。
この意味で、本発明の画像データ補間装置は、上述したコンピュータシステム１０におけるアプリケーション１２ｄとして実現されることになる。そして、アプリケーション１２ｄは上述した画素補間手段Ｆ４はもとより、以下に述べるように画像処理選択手段Ｆ２や同時処理判断手段Ｆ３を構成する。また、データの入出力が伴うので、ファイル入力やファイル出力あるいは印刷データの出力という意味で画像データ取得手段Ｆ１や画像データ出力手段Ｆ５を構成する。

図５２は、アプリケーション１２ｄのソフトウェアフローの概略を示している。アプリケーション１２ｄは図５３に示すようなメニュー選択によって各種の画像処理を実行可能であり、必ずしも図５２に示すようなソフトウェアフローに限定されるものではないが、理解の便宜のために簡略化して表示している。
ステップＳＴ６０２では元画像データを取得する。アプリケーション１２ｄにおけるファイルメニューなどでスキャナ１１ａから画像を読み込む処理などが該当する。本実施形態においては後述する画像処理に使用する画像データを生成すればよいので、新規ファイル作成などを選択して画像ファイルを生成するような処理であっても同様に元画像データの取得といえる。オペレーティングシステム１２ａやハードウェアの構成を除いた元画像データの取得処理が画像データ取得に相当する。むろん、これらがＣＰＵなどのハードウェアと有機一体的に結合したものと考えると画像データ取得手段Ｆ１に該当する。

ステップＳＴ６０４では、画像処理を選択し、ステップＳＴ６０６，ＳＴ６０８では、選択された画像処理を判断する。画像処理を選択するには、図５３に示すように画面上にてウィンドウ枠に表示されるメニューバーの中から、マウス１５ｂによって「画像」の文字部分をクリックすると、図５４に示すように実行可能な各種の画像処理が表示される。同図に示す例では、「拡大」処理と、「シャープネス」調整処理と、「コントラスト」調整処理と、「明るさ」調整処理とが実行可能となっている。それぞれの画像処理には「ボタン」スイッチを用意してあり、複数の画像処理を同時に選択可能となっている。また、「ボタン」スイッチで選択されるまでは各処理はグレイ表示されており、非表示状態が一別できるようになっている。

所望の画像処理のボタンスイッチで選択状態とするとともに、それぞれのパラメータをセットして「ＯＫ」ボタンをクリックすると、選択を入力した処理として扱われ、ステップＳＴ６０６，ＳＴ６０８にて選択された処理を判断する。この例では、ステップＳＴ６０６にて拡大処理が選択されたか否かが判断され、拡大処理が選択されていなければステップＳＴ６１０にてそれぞれに対応する画像処理を実施する。一方、拡大処理が選択されている場合には、ステップＳＴ６０８にてシャープネス調整処理が選択されているか否かを判断する。この結果、拡大処理とシャープネス調整処理が共に選択されているならば、ステップＳＴ６１２へと進み、拡大処理は選択されているもののシャープネス調整処理は選択されていないのであればステップＳＴ６１４へと進む。なお、ステップ１１２，ＳＴ６１４の処理については後述する。

このソフトウェアフローでは、理解しやすくステップＳＴ６０６，ＳＴ６０８の二つの分岐処理で行っているが、実際にはケース処理で多数の分岐を選択するようにしてもよい。本実施形態においては、ステップＳＴ６０４にて画像処理を選択するので画像処理選択ステップに相当するし、ステップＳＴ６０６，ＳＴ６０８にて拡大処理とシャープネス調整処理が共に選択されているか否かを判断することになるので同時処理判断ステップに相当する。むろん、これらがＣＰＵなどのハードウェアと有機一体的に結合したものと考えると画像処理選択手段Ｆ２や同時処理判断手段Ｆ３に該当する。

ここで、画像処理選択手段Ｆ２や同時処理判断手段Ｆ３の変形例について説明する。
図５５〜図５７はその一例を示しており、アプリケーション１２ｄが図５４に示すように明示的なシャープネス調整処理を備えていないものとし、拡大処理は選択可能となっているとする。この例では、ステップＳＴ７０４にて画像処理の選択として図５６に示すような拡大処理のパラメータ入力ウィンドウを表示する。ここでは拡大率を％で選択入力可能となっており、所望の倍率にセットして「ＯＫ」ボタンをクリックすると、次の段階へと進行する。通常であれば、拡大率を入力することによってその倍率に応じた補間処理を実行すればよいが、この例ではステップＳＴ７０６にて拡大処理が選択されていると判断すると、ステップＳＴ７０８にて図５７に示すようなシャープネス調整の問い合わせ用ウィンドウを表示する。このウィンドウには「ＮＯ」、「Ｌｏｗ」、「Ｈｉｇｈ」の三つの選択肢が用意され、それぞれに択一的に選択可能なボタンが割り当てられている。デフォルトは「ＮＯ」であり、操作者は必要に応じて「Ｌｏｗ」や「Ｈｉｇｈ」を選択できるようになっている。これらはシャープネス強調についての問い合わせであり、「ＮＯ」は強調せず、「Ｌｏｗ」はやや強調し、「Ｈｉｇｈ」は強調するという意味である。

そして、選択された結果に基づいて、補間処理であるステップＳＴ７１２，ＳＴ７１４，ＳＴ７１６のいずれかを実行する。拡大処理の際には、後述するように補間処理を選択すればシャープネスを変化させることが可能であるので、拡大処理を選択した場合に自動的に問合せるようにしている。この例では、ステップＳＴ７０４，ＳＴ７０８が画像処理選択ステップに相当するし、ステップＳＴ７１０が同時処理判断ステップに相当する。

また、図５８〜図６０には、直接には画像処理を選択しているようには見えないが、実際には内部的に拡大処理するような場合を示しており、より具体的には印刷処理の場合である。図示しないファイルメニューの中から印刷を選択すると、ステップＳＴ８０４にて図５９に示すような印刷メニューを表示する。この印刷メニューの中でも各種のパラメータを設定可能であるが、その一つとして「印刷解像度」の選択ボックスがある。アプリケーション１２ｄが内部的に扱っている解像度とは関係なく、印刷時にどの解像度で印刷実行するかによって解像度の一致作業が必要となる。カラープリンタ１７ｂ２の解像度が７２０ｄｐｉであるとして、印刷解像度を７２０ｄｐｉとして印刷する場合には画像データの１ドットが印刷時の１ドットと対応するので解像度変換は不要である。しかしながら、３００ｄｐｉで印刷する際には印刷データとの対応を一致させなければならず、この意味での解像度変換が必要となってくる。

このため、ステップＳＴ８０８にて印刷解像度ボックスのパラメータとオペレーティングシステム１２ａが管理しているカラープリンタ１７ｂ２の解像度とを比較して解像度変換を実施する必要があるか否かを判断し、解像度変換が必要な場合にはステップＳＴ８１０にて図６０に示すようなシャープネスの問い合わせ用ウィンドウを表示する。この例では図５４の場合と同様にシャープネスの調整程度を％で選択して入力するようにしており、ステップＳＴ８１２では入力されたパラメータに従って処理を選択する。すなわち、調整処理が要求されない場合にはステップＳＴ８１４へと進み、調整処理が要求される場合にはステップＳＴ８１６へ進むようにしている。この後、解像度が一致した状態でステップＳＴ８１８にて印刷処理を実行する。

この例では、ステップＳＴ８０４，ＳＴ８１０が画像処理選択ステップに相当するし、ステップＳＴ８１２が同時処理判断手段ステップに相当する。むろん、これらの画像処理選択手段Ｆ２と同時処理判断手段Ｆ３についてはこれら以外の手法で実現することが可能であることはいうまでもない。
以上のような判断を経て補間処理が実行されることになる。具体的には、拡大処理だけが選択されてシャープさの強調処理が選択されない場合にはニアリスト法による補間処理を実行するし（ステップＳＴ６１４，ＳＴ７１２，ＳＴ８１４）、拡大処理とシャープさの強調処理が選択されたときにはハイブリッドバイキュービック法による補間処理（ステップＳＴ６１２，ＳＴ８１６）とキュービック法による補間処理（ステップＳＴ７１４）を実行する。従って、後者のステップＳＴ６１２，ＳＴ８１６，ＳＴ７１４が画素補間手段Ｆ４を構成することになる。

本実施形態のように、拡大処理の中でシャープさを調整できるようにすることは、単に拡大処理とシャープさ調整処理とを別個に行うよりも優れている点がある。例えば、シャープさを強調してから拡大する処理を行うとするとしても、拡大処理がニアリスト法のようなものであればジャギーが目立ってしまい、シャープな感じを維持できないことがある。また、ニアリスト法で拡大してからシャープさを強調するとした場合は、ジャギーが目立った状態でシャープにすることになるので、画質が向上するとも言えない。これに対して、一体の拡大処理の中でシャープさをも合わせて行うようにすれば、このような弊害は生じにくい。

画像データについて補間処理や他の画像処理を終了したら、ステップＳＴ６６にて画像データを出力する。ここでいう画像データを出力するというのは広義の意味を含んでおり、カラープリンタ１７ｂ２に出力するとか、ハードディスク１３ｂに書き込むといった処理に限られず、データとしては保持しておきながらディスプレイ１７ｂ１に表示させ、次なる画像処理に備えるというものであっても構わない。むろん、本実施形態においては、このステップＳＴ６１６が画像データ出力手段Ｆ５を構成する。

このように、画像入力デバイスや画像出力デバイスなどを有するコンピュータシステム１０において、アプリケーション１２ｄは各種の画像処理を実行可能となっており、ステップＳＴ６０４にて実行すべき画像処理を選択させたとき、拡大処理とシャープさの変更処理とが同時に指定された場合には、ステップＳＴ６０８の判断を経てステップＳＴ６１２にてシャープさを増す補間処理を実行し、拡大処理だけが選択された場合にはステップＳＴ６１４にてシャープさに影響を与えない通常の補間処理を実行するようにしたため、拡大処理とシャープさの変更処理とを個別に実行するための余分な時間がかからないし、両者が一体的に実行されるので、確実にシャープさを調整することができる。

以上説明したように、発明においては、画像をドットマトリクス状の画素で表現した画像データを取得する画像データ取得手段と、上記画像データに対して個々の画素における画像データを変更することによって各種の画像処理を実行するべく実行可能な画像処理を表示して選択を入力する画像処理選択手段と、この画像処理選択手段によって画像の拡大処理と画像のシャープさの変更処理とが共に選択されたか否かを判断する同時処理判断手段と、この同時処理判断手段によって画像の拡大処理と画像のシャープさの変更処理とが共に選択されたと判断されたときに、上記画像データにおける構成画素数を増やして画像を拡大するにあたり、この補間する画像データの変化度合いを調整することにより選択された画像のシャープさとなるように補間処理を実行可能な画素補間手段と、生成された画像データを出力する画像データ出力手段とを具備する構成としてある。

このような構成とした本発明においては、画像データ取得手段にて画像をドットマトリクス状の画素で表現した画像データを取得したら、この画像データに対して個々の画素における画像データを変更することによって各種の画像処理を実行するべく画像処理選択手段にて実行可能な画像処理を表示して選択を入力させる。ここで、同時処理判断手段はこの画像処理選択手段によって画像の拡大処理と画像のシャープさの変更処理とが共に選択されたか否かを判断し、両処理が共に選択されたと判断されれば、画素補間手段は上記画像データにおける構成画素数を増やして画像を拡大するに際し、この補間する画像データの変化度合いを調整することにより選択された画像のシャープさとなるように補間処理を実行する。そして、画像データ出力手段は生成された画像データを出力する。

すなわち、画像の拡大とシャープさを変更する処理を同時に実行させる必要が生じれば、補間処理で生成する画像データを調整することによって拡大しつつシャープさを変化させる。
以上説明したように本発明は、拡大処理で必要となる補間処理によって画像のシャープさを変更するようにしたため、拡大処理とシャープさの変更処理とを個別に行う必要が無く、処理時間を短くすることが可能な画像データ補間装置を提供することができる。

また、同時に行われるので、拡大処理によってはその後のシャープさを変更する際に良好な結果を得られなくなったりすることもないし、むろん、シャープさを変更してから拡大処理することによってシャープさの変更処理が無駄になってしまうこともない。
画像処理選択手段は実行可能な画像処理を表示して選択を入力するものであり、同時処理判断手段は画像の拡大処理と画像のシャープさの変更処理とが共に選択されたか否かを判断するものである。これらは、結果的に両処理を同時に実行する必要があるか否かを判断するものであればよく、選択の態様などは適宜変更可能である。

その一例として、上記画像処理選択手段は、拡大処理の選択とシャープさ変更の選択とを個別に選択可能であり、上記同時処理判断手段は、この画像処理選択手段にて拡大処理の選択とシャープさ変更の選択とが同時に選択されたか否かを判断する構成とすることもできる。
このように構成した場合には、拡大処理の選択とシャープさ変更の選択とを個別に選択可能であるので、拡大処理だけであるとか、シャープさ変更だけが選択されることもある。そして、同時処理判断手段はそのような状況を前提として拡大処理の選択とシャープさ変更の選択とが同時に選択されたか否かを判断する。

このようにすれば、拡大処理とシャープさの変更処理が個別に選択できる場合に好適である。
また、他の一例として、上記画像処理選択手段は、拡大処理を選択可能であるとともに、上記同時処理判断手段は、上記画像処理選択手段にて拡大処理が選択されたときにシャープさの変更度合を選択させる構成とすることもできる。
このように構成した場合には、上記画像処理選択手段で拡大処理だけが選択可能となっており、シャープさを変更する選択までは入力しない。しかしながら、この画像処理選択手段にて拡大処理が選択されたときには、上記同時処理判断手段が独自に判断してシャープさの変更度合を選択させる。むろん、シャープさを変更しないことを選択することも可能であって、その場合には拡大処理だけを実行することになるし、逆にシャープさを変化させることを選択した場合には拡大処理とシャープさを変更する処理とを同時に選択されたものと判断する。

従って、表面上は拡大処理しか選択できないような場合においても合わせてシャープさを変更することが可能となる。
さらに、上述した例では拡大処理を明示的に選択するようになっているが、拡大処理自体は明示的なものに限られる必要もない。その一例として、上記同時処理判断手段は、上記画像処理選択手段が画像処理に伴って解像度の変換処理を行うときに、シャープさの変更度合を選択させる構成とすることもできる。

このように構成した場合には、上記画像処理選択手段において選択された画像処理に伴って付随的に解像度の変換処理を行う必要性が生じることがあり、この場合に上記同時処理判断手段は、シャープさの変更度合を選択させる。そして、シャープさを変化させることを選択した場合には拡大処理とシャープさを変更する処理とを同時に選択されたものと判断する。
このようにすれば、付随的に拡大処理するような場合にもシャープさを合わせて変更することができる。

なお、これらの場合における表示と入力の操作はＧＵＩのもとでの画面表示やマウス操作などで実現しても良いし、ハードウェア的なスイッチで実施することも可能であるなど、適宜変更可能である。

本発明の一実施形態にかかる画像データ補間装置のブロック図である。 同画像データ補間装置の具体的ハードウェアのブロック図である。 本発明の画像データ補間装置の他の適用例を示す概略図である。 本発明の画像データ補間装置の他の適用例を示す概略図である。 本発明の画像データ補間装置の他の適用例を示す概略図である。 本発明の画像データ補間装置の他の適用例を示す概略図である。 本発明の画像データ補間装置における汎用的なフローチャートである。 本発明の画像データ補間装置におけるより具体的なフローチャートである。 元画像の大きさを示す図である。 サンプリング周期を示す図である。 サンプリング画素数を示す図である。 元画像とサンプリングされる画素の関係を示す図である。 非自然画についての輝度のヒストグラムを示す図である。 自然画についての輝度のヒストグラムを示す図である。 画像の変化度合いを直交座標の各成分値で表す場合の説明図である。 画像の変化度合いを縦軸方向と横軸方向の隣接画素における差分値で求める場合の説明図である。 隣接する全画素間で画像の変化度合いを求める場合の説明図である。 しきい値を変化させる領域を示す図である。 プリンタドライバからオペレーティングシステムに問い合わせを行う状況を示す図である。 ニアリスト法の概念図である。 ニアリスト法で各格子点のデータが移行される状況を示す図である。 ニアリスト法の補間前の状況を示す概略図である。 ニアリスト法の補間後の状況を示す概略図である。 キュービック法の概念図である。 キュービック法の具体的適用時におけるデータの変化状況を示す図である。 キュービック法の具体的適用例を示す図である。 ハイブリッドバイキュービック法の具体的適用例を示す図である。 バイリニア法の概念図である。 補間関数の変化状況を示す図である。 整数倍の補間処理を示す概略図である。 本発明の一実施形態にかかる画像データ補間装置の概略ブロック図である。 本発明の画像データ補間装置におけるフローチャートである。 エッジ検出フィルタの一例を示す図である。 エッジ検出フィルタの他の一例を示す図である。 エッジ量の分布としきい値との関係を示す図である。 注目画素とフラグの設定判断で対象とする画素の関係を示す図である。 エッジ量とフラグの設定状況を示す図である。 既存の画素で形成されるブロックと補間する画素との関係を示す図である。 注目画素を基準としてブロックを形成する場合を示す図である。 フラグの状況と領域の対応を示す図である。 補間する画素でブロックを形成する場合を示す図である。 画像の変化度合いに応じて複数の補間処理の補間倍率を分配する関係を示す図である。 本発明の一実施形態にかかる画像データ補間装置の概略ブロック図である。 本発明の画像データ補間装置におけるフローチャートである。 背景部分の小さい画像を示す図である。 背景部分の大きい画像を示す図である。 自然画のエッジ量の集計結果を示す図である。 ビジネスグラフのエッジ量の集計結果を示す図である。 補間関数の変化状況を示す図である。 補間関数を選択するフローを示す図である。 本発明の一実施形態にかかる画像データ補間装置の概略ブロック図である。 本発明の画像データ補間装置におけるフローチャートである。 画像処理を実行するためのメニューを表示を示す図である。 画像処理を選択する画面を示す図である。 画像データ補間装置の変形例を示すフローチャートである。 拡大処理を指示する画面を示す図である。 シャープネスを指示する画面を示す図である。 印刷処理のフローチャートである。 印刷時のパラメータを指示する画面を示す図である。 シャープネスを指示する画面を示す図である。

符号の説明

１０…コンピュータシステム
１１ａ…スキャナ
１１ａ２…スキャナ
１１ｂ…デジタルスチルカメラ
１１ｂ１…デジタルスチルカメラ
１１ｂ２…デジタルスチルカメラ
１１ｃ…ビデオカメラ
１２…コンピュータ本体
１２ａ…オペレーティングシステム
１２ｂ…ディスプレイドライバ
１２ｂ…ドライバ
１２ｃ…プリンタドライバ
１２ｄ…アプリケーション
１３ａ…フロッピーディスクドライブ
１３ｂ…ハードディスク
１３ｃ…ＣＤ−ＲＯＭドライブ
１４ａ…モデム
１４ａ２…モデム
１５ａ…キーボード
１５ｂ…マウス
１７ａ…ディスプレイ
１７ａ１…ディスプレイ
１７ｂ…カラープリンタ
１７ｂ１…カラープリンタ
１７ｂ２…カラープリンタ
１８ａ…カラーファクシミリ装置
１８ｂ…カラーコピー装置

Claims (7)

1. 画像をドットマトリクス状の画素で表現した画像データを取得する画像データ取得手段と、
   前記画像データにおける構成画素数を増やす補間処理を行うにあたり複数の補間処理の中から選択して実行可能な画素補間手段と、
   前記画像データについての前記補間処理に関連する特徴量を取得する特徴量取得手段と、
   前記特徴量取得手段によって取得された特徴量に応じた補間結果を得ることが可能な補間処理を選択して前記画素補間手段に実行させる補間処理選択手段と、
   前記画素補間手段が実行可能な画像処理を表示して選択を入力する画像処理選択手段と、
   前記画像処理選択手段によって前記画像データの拡大処理と前記画像データのシャープさの変更処理とが共に選択されたか否かを判断する同時処理判断手段と、
   前記同時処理判断手段によって前記画像データの拡大処理と前記画像データのシャープさの変更処理とが共に選択されたと判断された場合、上記画像データにおける構成画素数を増やして画像を拡大するにあたり、補間する画像データの変化度合いを調整することにより前記画像処理選択手段にて選択されたシャープさとなるように補間処理を実行可能な前記画素補間手段とを具備することを特徴とする画像データ補間装置。
2. 上記請求項１に記載の画像データ補間装置において、上記画素補間手段は、上記補間処理の選択肢として複数の補間処理を重ねて実行する補間処理を有することを特徴とする画像データ補間装置。
3. 上記請求項１に記載の画像データ補間装置において、上記特徴量取得手段は、画像の一部の領域ごとに特徴量を取得し、上記補間処理選択手段は、当該領域毎に取得された特徴量に基づいて上記画素補間手段における補間処理を選択して実行させることを特徴とする画像データ補間装置。
4. 上記請求項１に記載の画像データ補間装置において、上記画素補間手段が、３次たたみ込み内挿法における演算パラメータを調整して複数の画素補間処理を実現することを特徴とする画像データ補間装置。
5. 画像をドットマトリクス状の画素で表現した画像データを取得する画像データ取得手段と、
   前記画像データにおける構成画素数を増やす補間処理を行うにあたり複数の補間処理の中から選択して実行可能な画素補間手段と、
   前記画像データについての前記補間処理に関連する特徴量を取得する特徴量取得手段と、
   前記特徴量取得手段によって取得された特徴量に応じた補間結果を得ることが可能な補間処理を選択して前記画素補間手段に実行させる補間処理選択手段と、
   前記画素補間手段が実行可能な画像処理を表示して選択を入力する画像処理選択手段と、
   前記画像処理選択手段によって前記画像データの拡大処理と前記画像データのシャープさの変更処理とが共に選択されたか否かを判断する同時処理判断手段と、
   前記同時処理判断手段によって前記画像データの拡大処理と前記画像データのシャープさの変更処理とが共に選択されたと判断された場合、上記画像データにおける構成画素数を増やして画像を拡大するにあたり、補間する画像データの変化度合いを調整することにより前記画像処理選択手段にて選択されたシャープさとなるように補間処理を実行可能な前記画素補間手段と、
   前記画素補間手段による補間処理に基づいて画像の印刷を行う印刷手段と
   を有することを特徴とする画像データ印刷装置。
6. 画像をドットマトリクス状の画素で表現した画像データを取得する画像データ取得工程と、
   前記画像データにおける構成画素数を増やす補間処理を行うにあたり、前記画像データについての前記補間処理に関連する特徴量を取得し、当該取得した特徴量に応じた補間結果を得ることが可能な補間処理を複数の補間処理の中から選択して実行可能な画素補間工程と、
   前記画素補間工程で実行可能な画像処理を表示して選択を入力する画像処理選択工程と、
   前記画像処理選択工程によって前記画像データの拡大処理と前記画像データのシャープさの変更処理とが共に選択されたか否かを判断する同時処理判断工程と、
   前記同時処理判断工程によって前記画像データの拡大処理と前記画像データのシャープさの変更処理とが共に選択されたと判断された場合、上記画像データにおける構成画素数を増やして画像を拡大するにあたり、補間する画像データの変化度合いを調整することにより前記画像処理選択工程にて選択されたシャープさとなるように補間処理を実行可能な前記画素補間工程とを具備することを特徴とする画像データ補間方法。
7. 画像をドットマトリクス状の画素で表現した画像データを取得する画像データ取得機能と、
   前記画像データにおける構成画素数を増やす補間処理を行うにあたり複数の補間処理の中から選択して実行可能な画素補間機能と、
   前記画像データについての前記補間処理に関連する特徴量を取得する特徴量取得機能と、
   前記特徴量取得機能によって取得された特徴量に応じた補間結果を得ることが可能な補間処理を選択して前記画素補間機能に実行させる補間処理選択機能と、
   前記画素補間機能が実行可能な画像処理を表示して選択を入力する画像処理選択機能と、
   前記画像処理選択機能によって前記画像データの拡大処理と前記画像データのシャープさの変更処理とが共に選択されたか否かを判断する同時処理判断機能と、
   前記同時処理判断機能によって前記画像データの拡大処理と前記画像データのシャープさの変更処理とが共に選択されたと判断された場合、上記画像データにおける構成画素数を増やして画像を拡大するにあたり、補間する画像データの変化度合いを調整することにより前記画像処理選択機能にて選択されたシャープさとなるように補間処理を実行可能な前記画素補間機能とをコンピュータに実行させることを特徴とする画像データ補間プログラムを記録した媒体。

Images