JP4081628B2 - 画像データ補間方法、画像データ補間装置および画像データ補間プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像データ補間方法、画像データ補間装置および画像データ補間プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
コンピュータなどで画像を扱う際には、画像をドットマトリクス状の画素で表現し、各画素を階調値で表している。例えば、コンピュータの画面で水平方向に６４０ドット、垂直方向に４８０ドットの画素で写真やコンピュータグラフィックスを表示することが多い。
【０００３】
一方、カラープリンタの性能向上がめざましく、そのドット密度は７２０ｄｐｉというように極めて高精度となっている。すると、６４０×４８０ドットの画像をドット単位で対応させて印刷させようとすると極めて小さくなってしまう。この場合、階調値も異なる上、解像度の意味合い自体が異なるのであるから、ドット間を補間して印刷用のデータに変換しなければならない。
従来、このような場合にドットを補間する手法として、最近隣内挿法（ニアリストネイバ補間：以下、ニアリスト法と呼ぶ）や、３次たたみ込み内挿法（キュービックコンボリューション補間：以下、キュービック法と呼ぶ）などの手法が知られている。また、特開平６−２２５１４０号公報にはドットを補間したときの縁部のスムージングを行うにあたり、予め縁部がスムーズとなるような拡大形態となるようにドットパターンを用意しておく技術が開示されている。
【０００４】
【発明が解決しようとする課題】
自然画の場合、一般的にはシャープな方が好まれる。特に、画素補間することによってシャープさが劣化してしまうのは好ましくない。従って、基本的にはシャープにする処理を実行している。しかしながら、必ずしも全てがシャープであればよいわけではなく、シャープにする修整をかけることによってざらついた感じが現れてしまい、好ましくない。
上述した従来の手法においては、それぞれにシャープさへの影響度が異なり、ある画像データに対して補間処理を実行することにより、一律に特定のシャープさを調整することになる。従って、画像によっては好ましい場合もあるし好ましくない場合も生じてしまい、これを避けるには操作する側で補間処理を選択する必要があるという課題があった。また、補間処理を選択したとしても画像の部分部分によって望ましいシャープさが異なるため、結局は妥協しなければならなかった。
【０００５】
本発明は、上記課題にかんがみてなされたもので、画像の種類や被写体にかかわらずシャープさを良好にして補間することが可能な画像データ補間方法、画像データ補間装置および画像データ補間プログラムを記録したコンピュータ読み取り可能な記録媒体の提供を目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、画像を複数の画素で表現した画像データを取得する画像データ取得工程と、上記画像データに対してシャープさに影響を与える複数の補間処理を重ねて実行するにあたり、これらの各補間処理で負担する補間倍率を上記画像が有する色調に応じて調整する色調対応画素補間工程と、補間された上記画像データを出力する画像データ出力工程とをコンピュータによって実行する構成としてある。
【０００７】
上記のように構成した請求項１にかかる発明においては、画像データ取得工程にてカラーの自然画像をドットマトリクス状の画素で表現した画像データを取得する。カラーの自然画の場合、様々な被写体が想定され、被写体によってはシャープであることが好ましい場合と、シャープでない方が好ましい場合とがある。これらの場合において、ある色調をして固有の被写体を代表させることも可能であり、例えば、肌色であれば人の肌が被写体であるとみなすことも不可能ではない。そして、人の肌が被写体であるときにはシャープにしすぎると肌がざらついた感じに見えて好ましくない。従って、肌色であれば被写体が人の肌であると見なしてシャープさを強調しないような処理を実行することによって好ましい画像を得られる。
【００１２】
色調対応画素補間工程では、シャープさに影響を与える複数の補間処理を重ねて実行することとし、さらに、各処理で負担する補間倍率を調整して所望のシャープさとしている。例えば、シャープさの強調度が大きい第一の補間処理と、シャープさの強調度が小さい第二の補間処理とを実行して、最終的に６倍の補間処理を実現しようとするとき、第一の補間処理で２倍の補間処理を実行しつつ第二の補間処理で３倍の補間処理を実行するのと、第一の補間処理で３倍の補間処理を実行しつつ第二の補間処理で２倍の補間処理を実行するのとでは最終的なシャープさには差が出てくる。従って、かかる負担割合の相違によって所定の色調に対して最適なシャープさとなるように調整する。
【００１３】
この場合の具体例としては、第一の補間処理としてキュービック法を採用し、第二の補間処理としてバイリニア法を利用するというようにして実現可能である。
【００１５】
特定の色調がシャープさとの関係でどのような結果を得ることになるのかは適宜設定することが可能であり、請求項２にかかる発明は、請求項１に記載の画像データ補間方法において、上記色調対応画素補間工程では、肌色の色領域の上記色調を有する上記画像を滑らかにする上記補間倍率とする構成としてある。
【００１６】
さらに、請求項３にかかる発明は、上記請求項１または請求項２のいずれかに記載の画像データ補間方法において、上記色調対応画素補間工程では、青空の色領域の上記色調を有する上記画像を滑らかにする上記補間倍率とする構成としてある。上述したように肌色の部分は人体であることが多く、画像を見るものも自ずからその部分に注目する。従って、シャープすぎるとざらついた感じが明らかになり、目障りになるが、肌色の色調であれば滑らかな感じとなるような補間処理を実行するので、人体部分でざらつきが生じることが無くなる。
【００１７】
また、同様に屋外の写真であれば青空が大きな面積を占めていることも多いが、このような青空の部分もざらつきが目立ちやすい対象であり、また、少々シャープでないことは何ら支障もない。従って、青空の色領域であれば画像を滑らかな感じにする。
ところで、新たに補間される画素の色調に基づいて補間処理を選択するといっても補間される画素の色調を決定するのは既存の画素であり、既存の画素の色調を基準としてもよいことは当然である。その場合の手法の一例として、請求項４にかかる発明は、上記請求項１〜請求項３のいずれかに記載の画像データ補間方法において、上記色調対応画素補間工程では、補間画素を生成するに必要な領域画素の平均的な上記色調に基づいて上記補間倍率を変化させる。
【００１８】
上記のように構成した請求項４にかかる発明においては、補間画素を生成するに必要な領域があり、この領域内の画素の色調が補間画素を生成することになるのであるから、当該領域画素の平均的な色調に基づいて補間処理を判断する。ここでいう平均的な色調は必ずしも平均値だけに限定されるものではなく、メジアンであっても良いし、画素の位置に依存する影響度合いに基づいて重み付けした値を採用することもできる。
【００１９】
また、補間処理を選択するだけの意味合いであるとすると、必ずしも厳密に領域画素を判断する必要はない。そのような意味で、請求項５にかかる発明は、上記請求項１〜請求項３のいずれかに記載の画像データ補間方法において、上記色調対応画素補間工程では、注目画素を決めて上記画像データを走査しながら補間処理を実行するとともに、その注目画素の上記色調に基づいて上記補間倍率を変化させる構成としてある。
【００２０】
上記のように構成した請求項５にかかる発明においては、一つの注目画素を決めて画像データ中を順次移動させることにより全体を走査していく。このような注目画素である一画素の色調に基づいて補間処理を判断することにより、平均値を求めるなどの別個の処理の必要性がなくなる。ところで、色調と補間処理との対応は必ずしも固定的なものではなく、色調に基づいてシャープさを適宜調整するものであっても良い。例えば、ある色調の領域についてその内外だけの判断で補間処理を切り換えるだけでなく、境界部分では順次シャープさを増減させていくようにしても良い。
【００２２】
なお、画像データを入出力する画像データ取得工程や画像データ出力工程は、画像データをアクセスする上で必然的に行われるものであるが、必ずしも外部機器との間でのアクセスに限られるものではなく、全体として一連の処理を実現する中で本発明が一部として適用される場合もあり、このような場合に前後の工程との間で画像データを受け渡す処理として実現されることも当然に含まれる。また、一連の処理がまとまって行われる場合に限らず、いくつかの処理が並列して処理される場合においても実質的な意味で色調に基づいて補間処理が選択されているのであれば本発明が適用されているものといえる。
【００２３】
このように、補間される画素の色調に基づいて所定の補間処理を選択して実行すると、その色調に対応したシャープさとなるように画素が補間されるようにする手法は実体のある装置において実現され、その意味で本発明を実体のある装置としても適用可能であることは容易に理解できる。このため、請求項６にかかる発明は、画像を複数の画素で表現した画像データを取得する画像データ取得手段と、上記画像データに対してシャープさに影響を与える複数の補間処理を重ねて実行するにあたり、これらの各補間処理で負担する補間倍率を上記画像が有する色調に応じて調整する色調対応画素補間手段と、補間された画像データを出力する画像データ出力手段とを具備する構成としてある。
【００２４】
すなわち、実体のある装置としても有効であることに相違はない。このような画像データ補間装置は単独で実施される場合もあるし、ある機器に組み込まれた状態で他の方法とともに実施されることもあるなど、発明の思想としてはこれに限らず、各種の態様を含むものである。従って、ソフトウェアであったりハードウェアであったりするなど、適宜、変更可能である。
発明の思想の具現化例として画像データ補間方法を実施するソフトウェアとなる場合には、かかるソフトウェアを記録した記録媒体上においても当然に存在し、利用されるといわざるをえない。
【００２５】
その一例として、請求項７にかかる発明は、画像を複数の画素で表現した画像データに基づいてコンピュータにて画素補間する画像データ補間プログラムを記録したコンピュータ読み取り可能な記録媒体であって、上記画像データを取得する画像データ取得ステップと、上記画像データに対してシャープさに影響を与える複数の補間処理を重ねて実行するにあたり、これらの各補間処理で負担する補間倍率を上記画像が有する色調に応じて調整する色調対応画素補間ステップと、補間された画像データを出力する画像データ出力ステップとを上記コンピュータに実行させるための画像データ補間プログラムを記録した構成としてある。
【００２６】
むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。その他、供給方法として通信回線を利用して行なう場合でも本発明が利用されていることにはかわりない。
さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものではなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。
【００２７】
【発明の効果】
以上説明したように本発明は、色調を参照して補間処理を選択することにより画像全体としてはシャープにしつつも部分に応じて適度にシャープさを調整し、良好な画像を得ることが可能な画像データ補間方法を提供することができる。また、複数の補間処理を重ねて実行するような場合に、その負担割合を変えるだけで調整できるようになる。
【００２８】
さらに、請求項２にかかる発明によれば、ざらつきが肌色部分において改善され、請求項３にかかる発明によれば、青空の部分において改善される。
【００２９】
さらに、請求項４にかかる発明によれば、補間画素を生成する領域画素に基づいて選択するため、正確な判定が可能となる。
さらに、請求項５にかかる発明によれば、注目画素という一画素に基づいて選択するため、判断の処理が簡易になる。
【００３０】
【発明の実施の形態】
図１は、本発明の画像データ補間方法をフローチャートにより示しており、図２はこの画像データ補間方法を実行するコンピュータシステム１０をブロック図により示している。
【００３１】
本コンピュータシステム１０は、画像入力デバイスとして、スキャナ１１ａとデジタルスチルカメラ１１ｂとビデオカメラ１１ｃとを備えており、コンピュータ本体１２に接続されている。それぞれの入力デバイスは画像をドットマトリクス状の画素で表現した画像データを生成してコンピュータ本体１２に出力可能となっており、ここで同画像データはＲＧＢの三原色においてそれぞれ２５６階調表示することにより、約１６７０万色を表現可能となっている。
【００３２】
コンピュータ本体１２には、外部補助記憶装置としてのフロッピーディスクドライブ１３ａとハードディスク１３ｂとＣＤ−ＲＯＭドライブ１３ｃとが接続されており、ハードディスク１３ｂにはシステム関連の主要プログラムが記録されており、フロッピーディスクやＣＤ−ＲＯＭなどから適宜必要なプログラムなどを読み込み可能となっている。
また、コンピュータ本体１２を外部のネットワークなどに接続するための通信デバイスとしてモデム１４ａが接続されており、外部のネットワークに同公衆通信回線を介して接続し、ソフトウェアやデータをダウンロードして導入可能となっている。この例ではモデム１４ａにて電話回線を介して外部にアクセスするようにしているが、ＬＡＮアダプタを介してネットワークに対してアクセスする構成とすることも可能である。この他、コンピュータ本体１２の操作用にキーボード１５ａやマウス１５ｂも接続されている。
【００３３】
さらに、画像出力デバイスとして、ディスプレイ１７ａとカラープリンタ１７ｂとを備えている。ディスプレイ１７ａについては水平方向に８００画素と垂直方向に６００画素の表示エリアを備えており、各画素毎に上述した１６７０万色の表示が可能となっている。むろん、この解像度は一例に過ぎず、６４０×４８０画素であったり、１０２４×７６８画素であるなど、適宜、変更可能である。
【００３４】
また、カラープリンタ１７ｂはインクジェットプリンタであり、ＣＭＹＫの四色の色インクを用いて記録媒体たる印刷用紙上にドットを付して画像を印刷可能となっている。画像密度は３６０×３６０ＤＰＩや７２０×７２０ＤＰＩといった高密度印刷が可能となっているが、諧調表限については色インクを付すか否かといった２階調表現となっている。
一方、このような画像入力デバイスを使用して画像を入力しつつ、画像出力デバイスに表示あるいは出力するため、コンピュータ本体１２内では所定のプログラムが実行されることになる。そのうち、基本プログラムとして稼働しているのはオペレーティングシステム（ＯＳ）１２ａであり、このオペレーティングシステム１２ａにはディスプレイ１７ａでの表示を行わせるディスプレイドライバ（ＤＳＰ ＤＲＶ）１２ｂとカラープリンタ１７ｂに印刷出力を行わせるプリンタドライバ（ＰＲＴ ＤＲＶ）１２ｃが組み込まれている。これらのドライバ１２ｂ，１２ｃの類はディスプレイ１７ａやカラープリンタ１７ｂの機種に依存しており、それぞれの機種に応じてオペレーティングシステム１２ａに対して追加変更可能である。また、機種に依存して標準処理以上の付加機能を実現することもできるようになっている。すなわち、オペレーティングシステム１２ａという標準システム上で共通化した処理体系を維持しつつ、許容される範囲内での各種の追加的処理を実現できる。
【００３５】
この基本プログラムとしてのオペレーティングシステム１２ａ上でアプリケーション１２ｄが実行される。アプリケーション１２ｄの処理内容は様々であり、操作デバイスとしてのキーボード１５ａやマウス１５ｂの操作を監視し、操作された場合には各種の外部機器を適切に制御して対応する演算処理などを実行し、さらには、処理結果をディスプレイ１７ａに表示したり、カラープリンタ１７ｂに出力したりすることになる。
【００３６】
かかるコンピュータシステム１０では、画像入力デバイスであるスキャナ１１ａなどで画像データを取得し、アプリケーション１２ｄによる所定の画像処理を実行した後、画像出力デバイスとしてのディスプレイ１７ａやカラープリンタ１７ｂに表示出力することが可能である。この場合、単に画素同士の対応に着目すると、カラープリンタ１７ｂにおける画素密度とスキャナ１１ａの画素密度が一致する場合にはスキャンした元画像の大きさと印刷される画像の大きさとが一致するが、両者にずれがあれば画像の大きさが異なることになる。スキャナ１１ａの場合はカラープリンタ１７ｂの画素密度と近似するものも多いが、高画質化のために画素密度の向上が図られているカラープリンタ１７ｂの画素密度の方が一般的な画像入力デバイスにおける画素密度よりも高密度であることが多い。特に、ディスプレイ１７ａの表示密度と比較すると各段に高密度であり、ディスプレイ１７ａ上での表示を画素単位で一致させて印刷させるとなると極めて小さな画像になりかねない。
【００３７】
このため、オペレーティングシステム１２ａで基準となる画素密度を決定しつつ実際のデバイスごとの画素密度の相違を解消するために解像度変換が実施される。例えば、ディスプレイ１７ａの解像度が７２ＤＰＩであるとするときに、オペレーティングシステム１２ａで３６０ＤＰＩを基準とするならば、ディスプレイドライバ１２ｂが両者の間の解像度変換を実施する。また、同様の状況でカラープリンタ１７ｂの解像度が７２０ＤＰＩであればプリンタドライバ１２ｃが解像度変換を実施する。
【００３８】
解像度変換は画像データにおける構成画素数を増やす処理にあたるので補間処理に該当し、これらのディスプレイドライバ１２ｂやプリンタドライバ１２ｃがその機能の一つとして補間処理を実施する。ここにおいて、ディスプレイドライバ１２ｂやプリンタドライバ１２ｃは上述した色調対応画素補間工程Ａ２を実現する主体となるものであり、その入出力過程は画像データ取得工程Ａ１や画像データ出力工程Ａ３を実現し、以下に詳述するように色調に応じて解像度変換の手法を適宜変更して画質の向上を図るようにしている。なお、かかるディスプレイドライバ１２ｂやプリンタドライバ１２ｃは、ハードディスク１３ｂに記憶されており、起動時にコンピュータ本体１２にて読み込まれて稼働する。また、導入時にはＣＤ−ＲＯＭであるとかフロッピーディスクなどの媒体に記録されてインストールされる。従って、これらの媒体は画像データ補間プログラムを記録した媒体を構成する。
【００３９】
本実施形態においては、画像データ補間装置をコンピュータシステム１０として実現しているが、必ずしもかかるコンピュータシステムを必要とするわけではなく、同様の画像データに対して補間処理が必要なシステムであればよい。例えば、図３に示すようにデジタルスチルカメラ１１ｂ１内に補間処理する画像データ補間装置を組み込み、補間処理した画像データを用いてディスプレイ１７ａ１に表示させたりカラープリンタ１７ｂ１に印字させるようなシステムであっても良い。また、図４に示すように、コンピュータシステムを介することなく画像データを入力して印刷するカラープリンタ１７ｂ２においては、スキャナ１１ａ２やデジタルスチルカメラ１１ｂ２あるいはモデム１４ａ２等を介して入力される画像データについて自動的に解像度変換を行って印刷処理するように構成することも可能である。
【００４０】
この他、図５に示すようなカラーファクシミリ装置１８ａや図６に示すようなカラーコピー装置１８ｂといった画像データを扱う各種の装置においても当然に適用可能である。
図１に示すフローチャートはあくまでも大概念での手順であり、実際のプログラムにおいては必ずしもこのように明確に分離されている必要はない。図７は、上述したプリンタドライバ１２ｃが実行する解像度変換に関連するソフトウェアフローを示している。なお、ディスプレイドライバ１２ｂにおいても同様に実行可能であるが、処理速度を優先させるなどの場合にはディスプレイドライバ１２ｂにおいて実行する必要がない場合もある。
【００４１】
ステップ１００は元画像データを入力する。アプリケーション１２ｄにてスキャナ１１ａから画像を読み込み、所定の画像処理を行った後で印刷処理すると、所定の解像度の印刷データがオペレーティングシステム１２ａを介してプリンタドライバ１２ｃに引き渡されるため、この引渡の段階が該当する。むろん、スキャナ１１ａにて画像を読み込むものであってもよく、いずれにしても当該処理が元画像データ取得工程Ａ１に該当する。
【００４２】
この読み込んだ画像データに基づいて全画像を走査し、その過程で画素補間処理を実行する。その意味で、ステップ１０５では注目ブロックの初期位置を設定する。そして、ステップ１１０以下では、図８に示すように画像の水平方向（ｗｉｄｔｈ方向）に主走査しながら順次走査ラインを垂直方向（ｈｅｉｇｈｔ方向）に移動させて副走査を実行していくことになる。
画素補間処理はある一定の範囲の画素に基づいて画素を補間していくことになるため、本実施形態においては図９に示すような４×４画素の領域を１ブロックとし、一画素単位でこのブロックを移動させていく。この際の処理の対象ブロックを注目ブロックと呼んでいる。
【００４３】
ステップ１１０ではこの注目ブロックを対象として処理を進行させていく上で、まず、当該注目ブロックに基づいて補間生成されていく画素の色度と輝度を計算する。
輝度Ｙは、
Ｙ＝３．０Ｒ＋０．５９Ｇ＋０．１１Ｂ
として計算され、色度は、
ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）
ｂ＝Ｂ／（Ｒ＋Ｇ＋Ｂ）
として表される。ここで、注目領域は１６画素から構成されており、この場合の上記計算は、全画素についての平均値を求めるようにしてもよいし、内周側の４画素についての平均値を求めるようにしても良いし、さらには内周側の４画素における特定の一画素について求めるようにしても良い。複数画素から平均値を求める手法は補間されて生成される画素の目安として妥当であるが、平均値を求める分だけの演算が増えることになる。これに対して、一画素を代表させたとしても補間される画素が大きくずれることは起こりにくいことを考えれば演算量を低減させるメリットがある。なお、複数画素から代表値を求める際には平均値に限られるものではなく、メジアンを代表値とするなど各種の演算手法を採用して構わない。
【００４４】
図１０は人間の肌を表す画像データのサンプリング結果を示している。すなわち、左側の三つのデータは肌を構成する画素の（Ｒ，Ｇ，Ｂ）の値であり、その右方に（Ｒ＋Ｇ＋Ｂ）の合計（ｓｕｍ＿ｒｇｂ）を示し、その右方に上記計算に基づく色度ｒ，ｂと輝度Ｙとを示している。また、図１１は各画素についてｒｂ空間にプロットした場合のグラフを示している。同図に示すように、ＲＧＢデータとしては統一性を見出しにくいようでも、色度としてグラフにプロットしてみると規則性があることが見出される。すなわち、人の肌であれば暗く写っているときも明るく写っているときもあり得るが、それにもかかわらず、図１１に示すように直線状に分布しているのである。同図に示す直線状の分布は、
Ｙ＞１２８
０．３３＜ｒ＜０．５１
｜０．７４ｒ＋ｂ−０．５７｜＜０．１
なる関係式が成立しているといえるから、上記のような注目ブロックの代表値についてこの関係式に当てはめて成立すれば当該注目ブロックは肌色領域に属するものといえる。この判定がステップ１１５の肌色領域か否かの判断に相当する。
【００４５】
また、図１２は同様にして青空を表す画像データのサンプリング結果を示しており、この場合は肌色の場合よりも変動幅が大きいことを考慮すると、
Ｙ＞１２８
０．１７＜ｒ＜０．３０
｜１．１１ｒ＋ｂ−０．７０｜＜０．２
なる関係式が成立しているといえる。従って、ステップ１１５にて肌色領域でないと判断された場合にはステップ１２０にてこの関係式が成立しているか否かを判断する。
【００４６】
ステップ１１０〜ステップ１２０によって肌色や空色の領域であるか否かが分かるが、これらは補間結果があまりシャープでない方が好まれる画像の一例である。例えば、人の顔が大きく写っているときには画像がシャープになることによってざらつき感が生じることになり、好ましくない。また、青空についても多少の色の変化があるにしてもその変化をシャープにしてとげとげしく見せるよりも、却ってぼけてしまうくらいの方が好ましい。このような好みの要素に鑑みて、ステップ１１５とステップ１２０の分岐処理を経て一般的には画像をシャープにする補間処理を実行しつつ、肌色や空色の場合に限って画像をわずかにぼけた感じにする補間処理を実行することにしている。
【００４７】
前者の補間処理はＭキュービック法を採用し、後者の補間処理はバイリニア法を採用している。ここで、これらの補間処理について説明する。
補間処理のうちで最もシンプルなものはニアリスト法の補間処理であり、図１４に示すように周囲の四つの格子点Ｐｉｊ，Ｐｉ＋１ｊ，Ｐｉｊ＋１，Ｐｉ＋１ｊ＋１と内挿したい点Ｐｕｖとの距離を求め、もっとも近い格子点のデータをそのまま移行させる。これを一般式で表すと、
Ｐｕｖ＝Ｐｉｊ
となる。ここで、ｉ＝［ｕ＋０．５］、ｊ＝［ｖ＋０．５］である。なお、［］はガウス記号で整数部分を取ることを示している。
【００４８】
ニアリスト法においては、画像のエッジがそのまま保持される特徴を有するため、拡大すればジャギーが目立つもののエッジはエッジとして保持される。
一方、写真のような自然画に適する一方で演算処理量が大きい補間処理が、キュービック法の補間処理である。キュービック法は図１５に示すように、内挿したい点Ｐｕｖを取り囲む四つの格子点のみならず、その一周り外周の格子点を含む計１６の格子点のデータを利用する。３次たたみ込み関数を用いた一般式は次式のようになる。
【数１】

となる。これをＰについて展開すると、
【数２】

となる。なお、
【数３】

と置換可能である。
【００４９】
このキュービック法では一方の格子点から他方の格子点へと近づくにつれて徐々に変化していき、その変化具合がいわゆる３次関数的になるという特徴を有している。キュービック法によれば３次関数的に表せる以上、そのカーブの形状を調整することによって補間結果の品質を左右することができる。
その調整の一例として、
【数４】

としたものをＭキュービック法と呼ぶことにする。
【００５０】
図１６にはＭキュービック法とキュービック法とにおける補間関数ｆ（ｔ）を示している。同図において、横軸に位置を示し、縦軸に補間関数を示している。ｔ＝０、ｔ＝１、ｔ＝２の位置に格子点が存在し、内挿点はｔ＝０〜１の位置となる。キュービック法とＭキュービック法とを比較すると、Ｍキュービック法の方が３次関数的なカーブがわずかに急峻となり、画像全体のイメージがよりシャープとなる。
【００５１】
次に、バイリニア法（共１次内挿法）の補間手法を説明すると、図１６に示すように、一方の格子点から他方の格子点へと近づくにつれて徐々に変化していく点でキュービック法と共通するが、その変化が両側の格子点のデータだけに依存する一次関数的となっている。すなわち、図１４に示すように内挿したい点Ｐｕｖを取り囲む四つの格子点Ｐｉｊ，Ｐｉ＋１ｊ，Ｐｉｊ＋１，Ｐｉ＋１ｊ＋１で区画される領域を当該内挿点Ｐｕｖで四つの区画に分割し、その面積比で対角位置のデータに重み付けする。これを式で表すと、

となる。なお、ｉ＝［ｕ］、ｊ＝［ｖ］である。
【００５２】
キュービック法とバイリニア法では、その変化状況が３次関数的であるか１次関数的であるかが異なり、画像としてみたときの差異は大きい。バイリニア法の場合、隣接する二点間（ｔ＝０〜１）で直線的に変化するだけであるので境界をスムージングすることになり、画面の印象はぼやけてしまう。すなわち、角部のスムージングと異なり、境界がスムージングされると、コンピュータグラフィックスでは、本来あるべき輪郭がなくなってしまうし、写真においてはピントが甘くなってしまう。
【００５３】
このような差異があるので、上述したように画像をシャープにさせたい領域においてステップ１２５にてＭキュービック法を採用した画素補間を実行するとともに、ざらつきを生じさせたくない領域においてステップ１３０にてバイリニア法を採用した画素補間を実行することにより、領域ごとにシャープさを変化させて好ましい画像を生じさせることになる。
一つの注目ブロック内で生成すべき画素を補間したら、ステップ１３５にて全ブロックを終了したか判断し、終了していなければステップ１４０にて注目ブロックを次のブロックへ移動させるし、終了していればステップ１４５にて修整が完了した画像データを出力する。むろん、この出力は単にデータを所定のエリアに保存した状態で次の工程に受け渡すというだけのものであっても構わない。
【００５４】
ステップ１０５〜ステップ１４５の処理は、画像の色調に応じて適度なシャープさとなる補間処理を実行しているが、その前提としてステップ１１５とステップ１２０とで肌色の色調と空色の色調についてバイリニア法の補間処理を実行するように対応づけられているし、他の色調についてはステップ１２５にてＭキュービック法の補間処理を実行するように対応づけられている。そして、この対応付けによってステップ１２５とステップ１３０とで対応すべき所定の補間処理を実行するので、かかる対応付け及び補間処理の実行が色調対応画素補間工程Ａ２を構成しているといえる。
【００５５】
この例では、色調の判断がそのまま補間処理の選択に直結しているが、その実現手法はソフトウェアの変更によって簡単に可能となる。例えば、ステップ１１５やステップ１２０で色調を判断することによって対応関係のある補間処理を特定し、次のステップで特定結果を参照して対応する補間処理を実行するという処理を行うことにしても結果は変わらない。
一方、同じ３次関数による補間処理であってもキュービック法とＭキュービック法とでシャープさが異なるのは図１６からも明らかである。すなわち、３次たたみ込み内挿法の画素補間であればパラメータの与え方によって補間曲線の特徴を適宜変更できるから、図１７に示すようにしてＳ字カーブの形状を変化させてやればシャープにしたり滑らかにしたりということを設定できる。
【００５６】
図１８はこのようにパラメータを変化させて補間処理結果を制御する手法を示しており、ステップ２１５にて肌色の領域であると判断されると、ステップ２２３で肌色用のパラメータを、ステップ２２０にて空色の領域であると判断されるとステップ２２２で空色用のパラメータをセットすることとし、これら以外の時にステップ２２５にてデフォルトのパラメータをセットする。すなわち、ステップ２２５ではＭキュービック法を実行するパラメータをセットし、ステップ２２２とステップ２２３ではキュービック法を実行するパラメータをセットした上、ステップ２２６ではパラメータに応じた３次たたみ込み内挿法で画素補間を実行している。
【００５７】
この例では肌色領域であるか否か、あるいは空色領域であるか否かというように場合分けして補間処理を区別しているが、パラメータによってシャープさを徐々に変化させられるという場合には、肌色領域からの離れ具合いや空色領域からの離れ具合によってシャープさを増減させるということも可能である。
また、シャープさを徐々に変化させうる手法は一つの補間処理に対してパラメータを与えるというものだけではなく、それぞれシャープさの異なる複数の補間処理を重ねて実行する場合に、それぞれの補間倍率の負担を変化させることも可能である。図１９はこれを具体的に示しており、左方に元画像Ｐ１を示し、右方に最終的な拡大画像Ｐ２を示している。この場合の拡大率を（Ｐ２／Ｐ１）で表すものとし、補間処理はシャープさの異なる二つの補間処理を実行するものとする。この場合に第１段階の補間処理について拡大率α１，α２とするとともに、第２段階の補間処理について拡大率β１，β２とすると、
Ｐ２／Ｐ１＝α１×β１＝α２×β２
なる関係を維持してα１，α２，β１，β２の組み合わせを適宜変化させることができる。むろん、この補間倍率の負担割合の変化は画像におけるシャープさとなって影響を与えるから、肌色領域や空色領域の場合に滑らかになる補間処理の負担割合が大きくなるようにするし、そうでない色調の領域についてはシャープになる補間処理の負担割合が大きくなるようにすればよい。
【００５８】
図２０においてステップ３２１〜ステップ３２３では、このような観点から第１段階の補間処理であるＭキュービック法の補間倍率と第２段階の補間処理であるバイリニア法の補間倍率とを決定しておき、その決定結果を参照してステップ３２７ではＭキュービック法で第一段階の補間処理を実行し、ステップ３２８ではバイリニア法で残りの第二段階の補間処理を実行する。
このようにして最終的な補間倍率は一定としつつも、その過程の負担割合を変化させることによって画質の調整を図ることができる。
【００５９】
ところで、この例では肌色領域や空色領域については必ず滑らかにさせるような指示を与えているが、空色の部分はあるが青空ではなく特定の物の色である場合も考えられるし、肌色ではあるが人の肌ではなく特定の他の物の色である場合も考えられる。そして、この場合には必ず滑らかにする補間処理を実行してしまうというのでは融通性に欠けるともいえる。
従って、図７に示すステップ１０７にて、図２１に示すような設定画面を利用して、ユーザーに対応関係を選択させるようにしても良い。この設定画面では、マウス１５ｂを操作して肌色のざらつきを防止するか否かを選択したり、空色のざらつきを防止するか否かを選択する。そして、図２２に示すようにステップ１１５にて肌色領域であるか判断する前にステップ１１４にて上記オプションが選択されているか否かを参照し、肌色のざらつきを防止するように選択しているときにステップ１１５の判断を実行する。また、同様にしてステップ１２０にて空色領域であるか判断する前にステップ１１７にて上記オプションが選択されているか否かを参照し、空色のざらつきを防止するように選択しているときにステップ１２０の判断を実行する。
【００６０】
むろん、これら以外にも別の色調についてざらつき防止を選択できるようにしておくことも可能であるし、また、滑らかさやシャープさの程度を選択できるようにしても良い。
このように、カラーの自然画像をドットマトリクス状の画素で表現した画像データを補間する際に、画素を補間生成するために参照する領域である注目ブロックについて色度の代表値を取得し（ステップ１１０）、当該色度から肌色領域や空色領域であると判断すると（ステップ１１５，１２０）、バイリニア法で画素補間する（ステップ１３０）ので滑らかに拡大されるし、そうでない色調の領域についてはＭキュービック法で画素補間する（ステップ１２５）のでシャープに拡大されることになり、画像全体としてはシャープさを維持しつつ人の肌や青空の部分がざらついたりすることを防止できる。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかる画像データ補間方法の概略フローチャートである。
【図２】同画像データ補間方法を実行する画像データ補間装置としてのコンピュータシステムのブロック図である。
【図３】本発明の画像データ補間方法の他の適用例を示す概略ブロック図である。
【図４】本発明の画像データ補間方法の他の適用例を示す概略ブロック図である。
【図５】本発明の画像データ補間方法の他の適用例を示す概略ブロック図である。
【図６】本発明の画像データ補間方法の他の適用例を示す概略ブロック図である。
【図７】コンピュータシステムで実行する画像データ補間方法のフローチャートである。
【図８】ドットマトリクス状の画像で注目画素を移動させていく状況を示す図である。
【図９】注目ブロックとなる画素領域を示す図である。
【図１０】肌色の画素の画像データと色度と輝度を示す図である。
【図１１】肌色の画素を色度のグラフで示す図である。
【図１２】空色の画素の画像データと色度と輝度を示す図である。
【図１３】空色の画素を色度のグラフで示す図である。
【図１４】基本的な画素補間で生成される画素を示す図である。
【図１５】キュービック法の画素補間手法を示す図である。
【図１６】画素補間で利用する補間関数の変化を示す図である。
【図１７】３次補間関数でシャープさを調整する手法を示す図である。
【図１８】３次補間関数のパラメータを調整してシャープさを調整するフローチャートである。
【図１９】二つの補間手法を利用しつつ補間倍率の負担割合を変えてシャープさを調整する手法を示す図である。
【図２０】補間倍率の負担割合を変えてシャープさを調整するフローチャートである。
【図２１】色調対応補間処理のオプション画面を示す図である。
【図２２】色調対応補間処理のオプションに対応するフローチャートの一部である。
【符号の説明】
１０…コンピュータシステム
１１ａ…スキャナ
１１ａ２…スキャナ
１１ｂ…デジタルスチルカメラ
１１ｂ１…デジタルスチルカメラ
１１ｂ２…デジタルスチルカメラ
１１ｃ…ビデオカメラ
１２…コンピュータ本体
１２ａ…オペレーティングシステム
１２ｂ…ディスプレイドライバ
１２ｂ…ドライバ
１２ｃ…プリンタドライバ
１２ｄ…アプリケーション
１３ａ…フロッピーディスクドライブ
１３ｂ…ハードディスク
１３ｃ…ＣＤ−ＲＯＭドライブ
１４ａ…モデム
１４ａ２…モデム
１５ａ…キーボード
１５ｂ…マウス
１７ａ…ディスプレイ
１７ａ１…ディスプレイ
１７ｂ…カラープリンタ
１７ｂ１…カラープリンタ
１７ｂ２…カラープリンタ
１８ａ…カラーファクシミリ装置
１８ｂ…カラーコピー装置

Claims (7)

1. 画像を複数の画素で表現した画像データを取得する画像データ取得工程と、
   上記画像データに対してシャープさに影響を与える複数の補間処理を重ねて実行するにあたり、これらの各補間処理で負担する補間倍率を上記画像が有する色調に応じて調整する色調対応画素補間工程と、
   補間された上記画像データを出力する画像データ出力工程とをコンピュータによって実行することを特徴とする画像データ補間方法。
2. 上記請求項１に記載の画像データ補間方法において、上記色調対応画素補間工程では、肌色の色領域の上記色調を有する上記画像を滑らかにする上記補間倍率とすることを特徴とする画像データ補間方法。
3. 上記請求項１または請求項２のいずれかに記載の画像データ補間方法において、上記色調対応画素補間工程では、青空の色領域の上記色調を有する上記画像を滑らかにする上記補間倍率とすることを特徴とする画像データ補間方法。
4. 上記請求項１〜請求項３のいずれかに記載の画像データ補間方法において、上記色調対応画素補間工程では、補間画素を生成するに必要な領域画素の平均的な上記色調に基づいて上記補間倍率を変化させることを特徴とする画像データ補間方法。
5. 上記請求項１〜請求項３のいずれかに記載の画像データ補間方法において、上記色調対応画素補間工程では、注目画素を決めて上記画像データを走査しながら補間処理を実行するとともに、その注目画素の上記色調に基づいて上記補間倍率を変化させることを特徴とする画像データ補間方法。
6. 画像を複数の画素で表現した画像データを取得する画像データ取得手段と、
   上記画像データに対してシャープさに影響を与える複数の補間処理を重ねて実行するにあたり、これらの各補間処理で負担する補間倍率を上記画像が有する色調に応じて調整する色調対応画素補間手段と、
   補間された画像データを出力する画像データ出力手段とを具備することを特徴とする画像データ補間装置。
7. 画像を複数の画素で表現した画像データに基づいてコンピュータにて画素補間する画像データ補間プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
   上記画像データを取得する画像データ取得ステップと、
   上記画像データに対してシャープさに影響を与える複数の補間処理を重ねて実行するにあたり、これらの各補間処理で負担する補間倍率を上記画像が有する色調に応じて調整する色調対応画素補間ステップと、
   補間された画像データを出力する画像データ出力ステップとを上記コンピュータに実行させるための画像データ補間プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images