JP5522655B2 - 画像拡大方法、そのコンピュータプログラム、及び画像処理装置 - Google Patents

Description

本発明は、画像拡大方法、そのコンピュータプログラム、及び画像処理装置に関するものである。

画像を拡大する場合、解像度をそのままで単純に拡大するとジャギーが生じるため、拡大対象となる原画像の画素間を、画像拡大アルゴリズムに従って、滑らかな関数で結んで補間することが行われている。従来の画像拡大アルゴリズムには、Ｓｐｌｉｎｅ法、Ｌａｎｃｚｏｓ法などがある。

しかし、従来の画像拡大アルゴリズムでは、全体的にぼけた画像となり、画像中の境界面がわかりにくいという問題がある。なお、従来の画像拡大アルゴリズムでは、拡大した画像を原画像の大きさに縮小すると、原画像の画素値とは異なってしまうという問題もあった。
そこで、本発明は、境界が比較的わかりやすい拡大画像が得られる画像拡大方法等を提供することを目的とする。

本発明は、原画像を高解像度化して拡大画像を得る画像拡大方法であって、前記原画像における単位画素に対応する前記拡大画像の対応領域中の複数の画素の各画素値として、前記原画像における前記単位画素又はその周辺にある複数の周辺画素のいずれかの画素値をそのまま選択することで、前記原画像における前記単位画素それぞれを、前記原画像における前記単位画素又はその周辺にある複数の周辺画素のいずれかの画素値を有する複数の画素に細分化して拡大画像を得る細分化ステップを含み、前記細分化ステップは、前記原画像における前記単位画素又はその周辺にある複数の周辺画素のうちどの画素の画素値を、前記対応領域中のどの画素の画素値として選択するかを、影響度情報及び配置情報に基づいて、決定するものであり、前記影響度情報は、前記単位画素及び前記周辺画素の画素値それぞれが、前記対応領域における画素の画素値として占める画素数を示す情報であり、前記配置情報は、前記対応領域に配置される画素の位置を規律する情報であり、前記影響度情報及び配置情報は、前記単位画素及び前記周辺画素の画素値に基づいて生成される画像拡大方法である。

前記影響度情報は、当該影響度情報に従った場合の対応領域の平均画素値と、前記単位画素の画素値と、の差である平均輝度差を小さくするように決定されるのが好ましい。

前記影響度情報は、前記単位画素及び前記周辺画素の画素値における最大値及び最小値が、前記対応領域中における画素値として占める割合が大きくなるように決定されるのが好ましい。

原画像を高解像度化して拡大画像を得る画像拡大方法であって、前記原画像における単位画素に対応する前記拡大画像の対応領域中の複数の画素の各画素値として、前記原画像における前記単位画素又はその周辺にある複数の周辺画素のいずれかの画素値を選択することで、前記原画像における前記単位画素それぞれを細分化して拡大画像を得る細分化ステップを含み、前記細分化ステップは、前記原画像における前記単位画素又はその周辺にある複数の周辺画素のうちどの画素の画素値を、前記対応領域中のどの画素の画素値として選択するかを、影響度情報及び配置情報に基づいて、決定するものであり、前記影響度情報は、前記単位画素及び前記周辺画素の画素値それぞれが、前記対応領域における画素の画素値として占める画素数を示す情報であり、当該影響度情報に従った場合の対応領域の平均画素値と前記単位画素の画素値との差である平均輝度差を、前記単位画素及び前記周辺画素の平均画素値と前記単位画素及び前記周辺画素の画素値それぞれとの差の絶対値に、対応する前記単位画素及び前記周辺画素の影響度情報を乗じたものの総和を示す分散値で除した値である変換度に基づいて決定され、前記配置情報は、前記対応領域に配置される画素の位置を規律する情報であり、前記影響度情報及び配置情報は、前記単位画素及び前記周辺画素の画素値に基づいて生成されるのが好ましい。また、前記影響度情報は、前記変換度が最小となるように決定されるのが好ましい。

前記配置情報は、前記周辺画素の画素値が、前記対応領域における画素の画素値として占める範囲の広がり方向を示す方向情報を含むのが好ましい。
また、前記配置情報は、前記周辺画素の画素値それぞれが、前記対応領域中の画素の画素値として選択される際における前記周辺画素間の優先順位を示す情報を含むのが好ましい。

前記拡大画像におけるエッジを抽出するエッジ抽出ステップを更に含み、前記エッジ抽出ステップでは、画像におけるエッジが強調されるように画像拡大を行う第１画像拡大アルゴリズムによって前記原画像を拡大した場合の画素値と、前記第１画像拡大アルゴリズムよりも画像全体が滑らかになる第２画像拡大アルゴリズムによって前記対象を拡大した場合の画素値と、が一致する位置にある画素をエッジとして抽出し、前記細分化ステップでは、前記対応領域中の画素のうち、前記エッジに相当する画素は、その画素値として、前記原画像における前記単位画素の画素値を選択するのが好ましい。

前記第１画像拡大アルゴリズムは、Ｌａｎｃｚｏｓ法又は線形補間法であるのが好ましく、前記第２画像拡大アルゴリズムは、Ｓｐｌｉｎｅ法又はＭｉｔｃｈｅｌｌ法であるのが好ましい。

拡大対象である原画像を、所定の画像拡大アルゴリズムに従って所望の拡大率で拡大させて初期拡大画像を得る拡大ステップと、前記初期拡大画像を補正して補正拡大画像を得る補正ステップと、前記補正拡大画像中の各画素それぞれの画素値を置換した近似拡大画像を得る置換ステップと、前記近似拡大画像を前記原画像のサイズに縮小したものと、前記原画像と、の差分を示す判定用差分画像を得る判定用差分画像抽出ステップと、前記判定用差分画像に基づいて、前記近似拡大画像が前記原画像の拡大画像として適切であるか否かを判定する判定ステップと、を更に含み、前記補正ステップは、前記初期拡大画像を前記原画像のサイズに縮小させた縮小画像を得るステップと、前記原画像と前記縮小画像との差分を示す差分画像を得るステップと、前記差分画像を前記画像拡大アルゴリズムに従って前記拡大率で拡大させて拡大差分画像を得るステップと、前記初期拡大画像に前記拡大差分画像を加算して補正拡大画像を得るステップと、を含み、前記置換ステップは、前記原画像における単位画素に対応する前記補正拡大画像の対応領域中の複数の置換対象画素それぞれの画素値を、近似値に置換することで近似拡大画像を得るものであり、更に前記置換ステップでは、前記近似値として、前記原画像における前記単位画素及びその周辺にある複数の周辺画素の各画素値のうち、前記置換対象画素の画素値に最も近い値が選択され、前記判定ステップにおいて、前記近似拡大画像が前記原画像の拡大画像として適切であると判定されると、前記近似拡大画像を拡大画像として出力し、前記近似拡大画像が前記原画像の拡大画像として適切でないと判定されると前記細分化ステップで得た拡大画像を出力するのが好ましい。

前記補正ステップによって得られた前記補正拡大画像を前記初期拡大画像として、前記補正ステップを複数回繰り返すのが好ましい。

前記所定の画像拡大アルゴリズムは、Ｓｐｌｉｎｅ法又はＭｉｔｃｈｅｌｌ法であるのが好ましい。

他の観点からみた本発明は、コンピュータに、前記画像拡大方法におけるステップを実行させるためのコンピュータプログラムである。

他の観点からみた本発明は、原画像を高解像度化しつつ拡大した拡大画像を得る画像処理装置であって、前記原画像における単位画素に対応する前記拡大画像における対応領域中の複数の画素の画素値として、前記原画像における前記単位画素又はその周辺にある複数の周辺画素のいずれかの画素値をそのまま選択することで、前記原画像における前記単位画素それぞれを、前記原画像における前記単位画素又はその周辺にある複数の周辺画素のいずれかの画素値を有する複数の画素に細分化して拡大画像を得る細分化手段を備えていることを特徴とする画像処理装置である。

本発明によれば、境界が比較的わかりやすい拡大画像が得られる。

実施形態に係る画像拡大方法の処理の流れを示すフローチャートである。 元画像とそれを縮小した原画像（拡大対象の画像）である。 エッジ部分の作成処理のフローチャートである。 エッジ部分の抽出処理を示す概念図である。 エッジ付画像である。 面領域の作成処理のフローチャートである。 置換ステップを示す概念図である。 周辺輝度近似拡大画像である。 判定用差分画像とその求め方を示す図である。 補完処理のフローチャートである。 一次勾配と二次勾配の求め方を示す概念図である。 対応領域への値の代入の仕方を示す概念図である。 実施例に係る拡大画像である。 単純拡大画像である。 （ａ）はＢ−Ｓｐｌｉｎｅ法による拡大画像であり、（ｂ）はＬａｎｃｚｏｓ法による拡大画像である。

以下、本発明の好ましい実施形態について添付図面を参照しながら説明する。

［１．画像処理装置の全体構成］
図１は、画像処理装置における処理ステップを示している。本実施形態における画像処理装置は、ＣＰＵ・メモリなどを有するコンピュータによって構成され、後述する画像処理装置の機能（画像拡大処理）はコンピュータにインストールされたコンピュータプログラムが当該コンピュータによって実行されることで実現される。
なお、本実施形態の画像処理装置の機能は、画像処理プロセッサなどのハードウェアによって構成されてもよい。

［２．画像拡大処理の概要］
図１に示すように、本実施形態の画像拡大処理は、エッジ部分の作成処理（ステップＳ１）、面領域の作成処理（ステップＳ２）、補完処理（ステップＳ３）の各ステップから構成されている。拡大対象となる原画像が入力されるとこれらのステップＳ１〜Ｓ３によって、原画像を拡大した拡大画像が出力される。

なお、本実施形態では、図２に示す元画像を１／５に縮小した画像を原画像とし、この原画像を５倍に拡大する場合を例として説明する。ただし、拡大率が５倍に限定されるものではなく、任意の拡大率を採用することができる。

［３．エッジ部分の作成処理］
図３は、エッジ部分の作成処理（ステップＳ１）を示している。このステップＳ１で得られたエッジ部分の位置（画素位置）を示す情報は、ステップＳ３の補完処理で用いられる。
図３に示すように、エッジ部分の作成処理は、Ｌａｎｃｚｏｓ法（第１画像拡大アルゴリズム）によって原画像を５倍に拡大するステップＳ１１と、Ｂ−Ｓｐｌｉｎｅ法（第２画像拡大アルゴリズム）によって原画像を５倍に拡大するステップＳ１２と、Ｌａｎｃｚｏｓ法による補間関数とＢ−Ｓｐｌｉｎｅ法による補間関数との交点を抽出するステップＳ１３とを含んでいる。

図４（ａ）（ｂ）は、原画像を拡大したときの補間関数と原画像の輝度値（画素値）とを示している。図（ａ）（ｂ）における点線又は実線の曲線が補間関数であり、図４（ａ）（ｂ）中の棒グラフを構成する各棒は、原画像における各画素の輝度値を示している。

図４（ａ）に示すように、Ｌａｎｃｚｏｓ法では、補間関数曲線（点線）が原画像における各画素の輝度値を必ず通過するように補間関数が生成される（ステップＳ１１）。このため、補間関数の山では原画像の輝度値よりも値が大きくなり、補間関数曲線の谷では原画像の輝度値よりも値が小さくなることがある。このようにＬａｎｃｚｏｓ法は、画素間の輝度差が大きくなりやすく、原画像におけるエッジを強調する第１画像拡大アルゴリズムである。

Ｌａｎｃｚｏｓ法のような第１画像拡大アルゴリズムでは、輝度差は強調されるものの、そのため、画像中の物体が実際よりも大きくなりすぎたり、物体のまわりに疑似輪郭が生じたりする。
なお、エッジを強調する他の第１画像拡大アルゴリズムとしては、線形補間法などがある。

図４（ｂ）に示すように、Ｂ−Ｓｐｌｉｎｅ法（Ｓｐｌｉｎｅ法）では、補間関数曲線（実線）の山や谷が、原画像の輝度値に到達せず、原画像における各画素の輝度値をより滑らかに近似する補間関数が生成される（ステップＳ１２）。このように、Ｂ−Ｓｌｉｎｅ法は、Ｌａｎｃｚｏｓ法よりも画像が全体的に滑らかにする第２画像拡大アルゴリズムである。

Ｂ−Ｓｐｌｉｎｅのような第２画像拡大アルゴリズムでは、画像が滑らかになるものの全体的にぼけた画像となる。
なお、第１画像拡大アルゴリズムよりも画像を滑らかにする他の第２画像拡大アルゴリズムとしては、Ｍｉｔｃｈｅｌｌ法などがある。

ステップＳ１３の交点抽出ステップでは、Ｌａｎｃｚｏｓ法の補間関数曲線とＢ−Ｓｐｌｉｎｅ法の補間関数曲線の交点、すなわち、ステップＳ１１で得た拡大画像における輝度値とステップＳ１２で得た拡大画像における輝度値とが一致する画素の位置、を抽出する。以下では、この交点を「エッジ」とよび、同じ輝度（画素値）のエッジを繋いだ線を「エッジライン」という。

図５は、ステップＳ１の処理によって得られたエッジラインを拡大画像に重ねて表示したものを示している。
図５において、白色の線がエッジラインである。このようなエッジ部分を示す情報は、ステップＳ３において拡大画像を生成する際に用いられる。
具体的には、エッジ（エッジライン）は、ステップＳ３において生成される拡大画像中の物体（画素値）の境界（境界線）線として用いられる。このエッジを用いることで、Ｌａｎｃｚｏｓ法で拡大した場合に物体が大きくなりすぎる問題や疑似輪郭の問題を防止できる。

［４．面領域の作成処理］
図６は、面領域の作成処理（ステップＳ２）を示している。
面領域の作成処理は、原画像を、Ｂ−Ｓｐｌｉｎｅ（Ｓｐｌｉｎｅ）法などの所定の画像拡大アルゴリズムに従って所望の拡大率（ここでは５倍）で拡大して初期拡大画像を得る拡大ステップＳ２１と、初期拡大画像を補正して補正拡大画像を得る１又は複数の補正ステップＳ２２ａ，Ｓ２２ｂ，・・と、補正拡大画像中の各画素それぞれの画素値を最適な周辺輝度値で置換した近似拡大画像を得る置換ステップＳ２３と、近似拡大画像を縮小する縮小ステップＳ２４と、原画像とこの縮小ステップＳ２４で縮小した画像との差分を示す判定用差分画像を得る判定用差分画像抽出ステップＳ２５と、を含んでいる。

前記拡大ステップＳ２１は、画像中において輝度がほぼ一定な面領域は比較的良好に拡大されるが、輝度値の変化が大きくなる境界部分ではぼけが生じ易い画像拡大アルゴリズムで前処理的な拡大を行う。この拡大ステップＳ２１で採用できる画像拡大アルゴリズムとしては、Ｂ−Ｓｐｌｉｎｅ法のほか、Ｍｉｔｃｈｅｌｌ法などを採用することができる。

前記補正ステップＳ２２は、初期拡大画像のぼけにより原画像と間により生じた差分（ぼけによる差分）を初期拡大画像に加えることで、ぼけを減少させるためのものである。このため、補正ステップＳ２２では、まず、初期拡大画像を原画像のサイズにするため１／５縮小を行って縮小画像を得るステップＳ２２ａ−１を行い、その縮小画像と原画像との差分（画素ごとに輝度値の差を求めたもの）を示す差分画像を得るステップＳ２２ａ−２を行う。

この差分画像を再び、Ｂ−Ｓｐｌｉｎｅ法によって前記拡大率（５倍）で拡大して拡大差分画像を得るステップＳ２２ａ−３を行い、その拡大差分画像を初期拡大画像に加算させてぼけを解消した補正拡大画像を得るステップＳ２２ａ−４を行う。

本実施形態において、前記補正ステップ２２ａは、１回だけでなく、２回繰り返される。２回目の補正ステップＳ２２ｂは、１回目の補正ステップＳ２２ａで得られた補正拡大画像を、初期拡大画像として、１回目の補正ステップＳ２２ａと同様に行う。なお、補正ステップは、２回だけでなく、任意の回数（ｎ回）繰り返すことができる。補正ステップを複数回繰り返すことで、ぼけをより解消することができる。

前記置換ステップＳ２３では、補正拡大画像中の画素を、原画像における画素の輝度値のうち適切な近似値で置換する。
ここでは、まず、図７に示すように、原画像中のある単位画素（１ピクセル；図７（ａ）ではｄａｔａ［４］に相当するピクセル）を拡大（５倍拡大）した領域を「対応領域」という。図７（ａ）では、前述のある単位画素及び単位画素に隣接する８個の周辺画素の計９個の画素の輝度値をｄａｔａ［０］〜ｄａｔａ［８］で示している。図７（ｂ）では、対応領域中の２５個の画素の輝度値をＳｐｌｉｎｅ［０］〜Ｓｐｌｉｎｅ［２４］で示している。

置換ステップＳ２３では、対応領域中の２５個の画素の輝度値Ｓｐｌｉｎｅ［０］〜Ｓｐｌｉｎｅ［２４］を、適切な近似値ｂｌｏｃｋ［０］〜ｂｌｏｃｋ［２４］で置換する。近似値ｂｌｏｃｋ［０］〜ｂｌｏｃｋ［２４］としては、原画像における前述のある単位画素及び単位画素に隣接する８個の周辺画素の計９個の画素の輝度値ｄａｔａ［０］〜ｄａｔａ［８］の中から選択される。

具体的には、各画素の近似値ｂｌｏｃｋ［ｉ］（ｉ＝０〜２４）は、下記式に基づいて選択される。
つまり、各画素（置換対象画素）の近似値ｂｌｏｃｋ［ｉ］としては、ｄａｔａ［０］〜ｄａｔａ［８］のうち、その画素（置換対象画素）の補正拡大画像における輝度地Ｓｐｌｉｎ［ｉ］に最も近い値が選択される。

以上のような置換は、補正拡大画像における全画素について行われるため、置換ステップで得られた近似拡大画像中の各画素の輝度値は、原画像におけるいずれかの画素の輝度値となる。これにより、画像中の境界が比較的はっきりした近似拡大画像が得られる。図８に上記処理で得られた近似拡大画像（周辺輝度近似拡大画像）の例を示す。

前記縮小ステップＳ２４では、前記近似拡大画像を１／５縮小した縮小画像を得る。そして、前記判定用差分画像抽出ステップＳ２５では、図９に示すように、各画素について原画像の輝度値から縮小画像の輝度値を引いて、判定用差分画像を得る。

［５．補完処理］
図１０に示すように補完処理（ステップＳ３）では、まず、判定用差分画像抽出ステップＳ２５で得た判定用差分画像に基づいて、処理を終了するか否かの判定処理（ステップＳ３１）を行う。

この判定処理では、判定用差分画像における各画素の輝度値が所定の閾値以下であるか否かを判定する。判定用差分画像における各画素の輝度値が所定の閾値以下である場合には、これまでの処理で得られた近似拡大画像が、拡大画像として十分的に適切であるとみなし、処理を終了し、前記近似拡大画像を出力画像（拡大画像）とする。

一方、判定用差分画像における各画素の輝度値が所定の閾値よりも大きい場合には、これまでの処理で得られた近似拡大画像は、拡大画像としては不適切であるとみなし、補完処理（ステップＳ３）における以降の各ステップ（ステップＳ３２〜Ｓ３４）を実行する。

判定処理（ステップＳ３１）において、処理を継続することとなった場合、ステップＳ３２〜Ｓ３４の処理によって原画像から拡大画像を生成する。
まず、ステップＳ３２では、原画像の各画素（単位画素）について、原画像のある特定の画素（単位画素）及びその特定画素に隣接する８個の周辺画素の計９個の画素の輝度値（周辺輝度値）が、その特定画素を拡大したときの拡大画像中の対応領域に及ぼす影響度情報Ｋ［ｊ］（ｊ：０〜８）を算出する。
この影響度情報Ｋ［ｊ］は、９個の周辺輝度値それぞれが、対応領域中の画素の輝度値として選択される画素数（影響面積）である。

後に行われるステップＳ３４では、対応領域中の各画素として、前記特定画素及びその特定画素に隣接する８個の周辺画素の計９個の周辺輝度値の中から選択される一の画素値が代入される。
したがって、前記影響度情報Ｋ［ｊ］は、９個の周辺輝度値それぞれが、前記対応領域において、何個の画素分存在するかを示す値となる。

この影響度情報Ｋ［ｊ］は次のように算出される。
まず、９個のＫ［ｊ］（ｊ：０〜８）の総和は、前記対応領域中の画素数（５×５＝２５）に等しい。よって、下記式が成り立つ。

また、拡大画像における前記対応領域中の２５個の各画素の画素値をｂｌｏｃｋ［ｉ］（ｉ：０〜２４）とすると、下記式のように、これら２５個の画素値ｂｌｏｃｋ［ｉ］の平均値は、原画像において対応する特定画素の輝度値（対象輝度値）とほぼ等しくなるべきである。

また、９個の周辺輝度値をｄａｔａ［ｊ］（ｊ：０〜８）とすると、
といえることから、
と変形することができる。
この平均輝度差が小さいほど、拡大画像を再び縮小したときに原画像に近い画像となり好ましい拡大画像となる。

ここで、境界等がくっきりした拡大画像にするためには、周辺輝度値ｄａｔａ［ｊ］の最小値と最大値の影響度情報（影響面積）Ｋ［ｊ］が大きくなるようにするのが好ましい。
つまり、
とおくと、上記分散値が大きくなるほど、くっきりした画像といえる。

よって、
と定義し、上記変換度が最小となるようにＫ［ｊ］の値を決定すればよい。具体的には、ステップＳ３２では、Ｋ［ｊ］を適宜変更して、その都度、上記変換度を算出し、当該変換度が最小となったＫ［ｊ］を採用する。ただし、エッジラインが対応領域内に存在する場合、当該対応領域内におけるエッジラインの面積（画素数）を、特定画素（単位画素）についての影響度情報（影響面積）Ｋ［４］に固定した上で、他の影響度情報Ｋ［０］〜Ｋ［３］，Ｋ［５］〜［８］の変更を行って、変換度が最小となる値を求める。

９個の影響度情報（影響面積）Ｋ［ｊ］が求まると、続いて、ステップＳ３３では、これらの影響度情報（影響面積）Ｋ［ｊ］から、配置情報（勾配）を算出する。ここで算出される配置情報は、前記対応領域に配置する画素の位置を規律する情報である。

本実施形態において、配置情報は、周辺画素の画素値それぞれが、前記対応領域における画素の画素値として占める範囲の広がり方向を示す方向情報を含んでおり、この方向情報を「一次勾配」として求める。
また、配置情報は、周辺画素の画素値それぞれが、前記対応領域における画素の画素値として選択される際における前記周辺画素間の優先順位を示す優先情報を含んでおり、この優先情報を「二次勾配」として求める。

一次勾配及び二次勾配は、図１１のようにして算出される。まず、図１１（ａ１）に示すような原画像の特定画素の影響度情報Ｋ［４］及びその周辺画素の影響度情報Ｋ［０］〜Ｋ［３］，Ｋ［５］〜Ｋ［８］の具体値が、図１１（ａ２）に示す値であるとする。
このとき、一次勾配ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ（図１１（ｃ１）参照）は、図１１（ｃ２）のような値となり、この一次勾配を構成する各値ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈは、影響度情報Ｋ［ｊ］に基づき、図１１（ｂ１）中に示す式に従って算出される。ここでは、ａ＝９，ｂ＝７，Ｃ＝１０，ｄ＝４，ｅ＝８，ｆ＝６，ｇ＝１１，ｈ＝５である（図１１（ｂ２）（ｃ２）参照）。

一次勾配の各値のうち［ａ，ｂ］の組は、図１１において影響度情報の上下方向の勾配を示し、［ｃ，ｄ］の組は、影響度情報の左右方向の勾配を示し，［ｅ，ｆ］の組は、影響度情報の左斜下−右斜上方向の勾配を示し、［ｇ，ｈ］の組は、図において影響度情報の左斜上−右斜下方向の勾配を示している。

また、二次勾配Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ（図１１（ｅ１）参照）は、図１１（ｅ２）に示すような値となり、この二次勾配を構成する各値Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈは、一次勾配に基づき、図１１（ｄ１）中に示す式に従って算出される。ここでは、Ａ＝２６，Ｂ＝２０，Ｃ＝２９，Ｄ＝１５，Ｅ＝２５，Ｆ＝１９，Ｇ＝３０，Ｈ＝１６である（図１１（ｄ２）（ｅ２）参照）。
これらの二次勾配の各値は、特定画素の周囲における影響度情報の全体的な勾配を示している。

続いて、ステップＳ１で求めたエッジ（エッジライン）の位置情報、影響度情報（影響面積）、勾配（一次勾配、二次勾配）に基づいて、前記特定画素の細分化ステップＳ３４を行う。
細分化ステップＳ３４では、影響度情報Ｋ［ｊ］それぞれが示す数に従って、特定画素又は周辺画素の輝度値を、前記対応領域中の画素値として代入する。

例えば、図１２に示すように、影響度情報（影響面積）Ｋ［ｊ］、一次勾配、二次勾配が求まっているものとする。
この場合、まず、対応領域中に、エッジラインとなる画素が存在する場合、原画像の対応する特定画素の画素値ｄａｔａ［４］を、エッジラインとなる画素（ｂｌｏｃｋ［２］，ｂｌｏｃｋ［７］，ｂｌｏｃｋ［１２］，ｂｌｏｃｋ［１８］，ｂｌｏｃｋ［２３］）の画素値として代入する。図１２では、エッジラインとなる画素は×で示している。なお、ここでは、エッジライン上の画素数＝Ｋ［４］＝５である。

続いて、影響面積Ｋの四隅（Ｋ［０］，Ｋ［２］，Ｋ［６］，Ｋ［８］）の値が、１以上のときには、その四隅に対応する原画像の周辺画素の輝度値（ｄａｔａ［０］，ｄａｔａ［２］，ｄａｔａ［６］，ｄａｔａ［８］）を、対応領域の四隅の画素（ｂｌｏｃｋ［０］，ｂｌｏｃｋ［４］，ｂｌｏｃｋ［２０］，ｂｌｏｃｋ［２４］）として代入する。ただし、対応領域の四隅がエッジライン上の場合には、この代入は行わない。

なお、図１２の対応領域における各画素中の数字は、対応領域中の画素に値が代入される順番（エッジラインを除く）であり、対応領域の四隅には、「１」が記されている。
また、対応領域中の各画素を囲む図形は、対応領域中の画素の輝度値として、どの周辺画素の輝度値が代入されたかを識別するためのものであり、一重丸印は特定画素の左斜上の周辺輝度値（ｄａｔａ［０］）、二重丸印は同真上の周辺輝度値（ｄａｔａ［１］）、一重星印は同右斜上の周辺輝度値（ｄａｔａ［２］）、一重四角印は同左横の周辺輝度値（ｄａｔａ［３］）、二重四角印は同右横の周辺輝度値（ｄａｔａ［５］）、一重三角印は同左斜下の周辺輝度値（ｄａｔａ［６］）、二重星印は同真下の周辺輝度値（ｄａｔａ［７］）、二重三角印は同右斜下の周辺輝度値（ｄａｔａ［８］）を示す。

続いて、二次勾配の一番高い値（図１２では、「３０」）から順番に選択して、以下の処理（ｉ）（ｉｉ）を行う。

（ｉ）対応領域において値が未代入である画素について、周辺画素の中心から、近い距離にある画素順に、選択された二次勾配の値に対応する位置の周辺画素の輝度値ｄａｔａ［ｉ］を代入する。このとき、前記中心から同距離の複数の未代入画素が存在した場合、複数の未代入画素同士を結ぶ方向の勾配を、一次勾配を参照して決定し、当該方向における一次勾配の値が小さい方の未代入画素から値を代入する。

（ｉｉ）上記（ｉ）のようにして値を代入していき、値を代入すべき画素がエッジラインに当たった場合は、エッジラインを越えずに、エッジラインに沿って広がるように、次に代入すべき画素を選択する。ただし、値を未代入の画素が残っていない場合には、エッジラインをまたいでもよいものとする。

具体的に図１２では、対応領域に代入する周辺画素の優先順位（代入順位）としては、二次勾配の値の大きい順に、ｄａｔａ［０］＝３０、ｄａｔａ［３］＝２９、ｄａｔａ［１］＝２６、ｄａｔａ［６］＝２５、ｄａｔａ［７］＝２０、ｄａｔａ［２］＝１９、ｄａｔａ［８］＝１６、ｄａｔａ［５］＝１５となる。

最初の代入値であるｄａｔａ［０］については、対応する影響度情報（影響面積）Ｋ［０］＝４であるから、対応領域において占めるべき画素数は４つであり、すでに一つが対応領域の左斜上隅に代入されているから、ここでは、残りは３つである。

ここで、ｄａｔａ［０］の中心から最短距離の対応領域中の未代入画素は、ｂｌｏｃｋ［１］とｂｌｏｃｋ［５］の２つがある。この２つの画素のうちどちらを優先して代入するかは、一次勾配を参照して決定する。つまり、ｂｌｏｃｋ［１］とｂｌｏｃｋ［５］とを結ぶ方向は、ｄａｔａ［０］の中心を基準としてみると、右斜上と左斜下とを結ぶ方向である。この方向の勾配は、一次勾配を参照すると、右斜上が「６」であり、左斜下が「８」であることから、右斜上のほうが小さい値である。値が大きいほうは他の周辺画素からの影響を受け易い位置となるので、値の小さい右斜上側にあるｂｌｏｃｋ［１］が優先して代入される画素（２番目に代入される画素）として選択される。

続いて、ｂｌｏｃｋ［１］の画素と同距離にあるとｂｌｏｃｋ［５］の画素が、次に代入される画素（３番目に代入される画素）として選択される。さらに、この状態において、ｄａｔａ［０］の中心から最短距離の対応領域中の未代入画素は、ｂｌｏｃｋ［６］となるから、この画素が、４番目に代入される画素として選択される。
以上で、最初の代入値であるｄａｔａ［０］の対応領域中への代入が完了する。
同様に、次の代入値ｄａｔａ［３］の対応領域中への代入が行われ、他の代入値についても順次代入が行われて、細分化ステップＳ３４が終了する。

上記細分化ステップＳ３４を行った場合、画像処理装置は、当該細分化ステップＳ３４によって得られた画像を、拡大画像（出力画像）として出力する。なお、細分化ステップ３４は、エッジが含まれる対応領域にだけ行い、エッジが含まれない対応領域については面領域の作成処理で得た値を画素値として採用しても良いし、原画像の全画素対応する対応領域すべてについて行っても良い。

上記の補完処理（ステップＳ３）によって得られた拡大画像を図１３に示す。また、比較例として、高解像度化を行わずに原画像の単純拡大を行った単純拡大画像を図１４に、原画像をＢ−Ｓｐｌｉｎｅ法により拡大を行った拡大画像を図１５（ａ）に、原画像をＬａｎｃｚｏｓ法により拡大を行った拡大画像を、図１５（ｂ）に示す。

図１４の単純拡大画像ではジャギーが生じている。図１５（ａ）（ｂ）に示す従来の画像拡大アルゴリズムで拡大した画像は、単純拡大画像よりは全体的に滑らかになるものの、ぼけた画像となっている。また、従来の画像拡大アルゴリズムで拡大した画像をもう一度、原画像のサイズに縮小した場合、原画像とは異なる画素値となる。
特に、Ｌａｎｃｚｏｓ法で拡大した図１５（ｂ）では、疑似輪郭が生じ、物体がやや大きくなっている（トンボの尻尾の部分の周辺を参照）。

これに対し、図１３の拡大画像（実施例）では、図１５（ａ）（ｂ）に比べて、ぼけがある程度解消されており、境界線がわかりやすくなっている。また、疑似輪郭もみられない。また、再縮小した場合、原画像とほぼ同じ画素値となる。

［６．付記］
なお、上記において開示した事項は、例示であって、本発明を限定するものではなく、様々な変形が可能である

Ｓ１ エッジ部分の作成処理（エッジ抽出ステップ）
Ｓ２ 面領域の作成処理
Ｓ３ 補完処理

Claims (15)

1. 原画像を高解像度化して拡大画像を得る画像拡大方法であって、
   前記原画像における単位画素に対応する前記拡大画像の対応領域中の複数の画素の各画素値として、前記原画像における前記単位画素又はその周辺にある複数の周辺画素のいずれかの画素値をそのまま選択することで、前記原画像における前記単位画素それぞれを、前記原画像における前記単位画素又はその周辺にある複数の周辺画素のいずれかの画素値を有する複数の画素に細分化して拡大画像を得る細分化ステップ
   を含み、
   前記細分化ステップは、前記原画像における前記単位画素又はその周辺にある複数の周辺画素のうちどの画素の画素値を、前記対応領域中のどの画素の画素値として選択するかを、影響度情報及び配置情報に基づいて、決定するものであり、
   前記影響度情報は、前記単位画素及び前記周辺画素の画素値それぞれが、前記対応領域における画素の画素値として占める画素数を示す情報であり、
   前記配置情報は、前記対応領域に配置される画素の位置を規律する情報であり、
   前記影響度情報及び配置情報は、前記単位画素及び前記周辺画素の画素値に基づいて生成される
   画像拡大方法。
2. 前記影響度情報は、当該影響度情報に従った場合の対応領域の平均画素値と、前記単位画素の画素値と、の差である平均輝度差を小さくするように決定される
   請求項１記載の画像拡大方法。
3. 前記影響度情報は、前記単位画素及び前記周辺画素の画素値における最大値及び最小値が、前記対応領域中における画素値として占める割合が大きくなるように決定される
   請求項１又は２記載の画像拡大方法。
4. 原画像を高解像度化して拡大画像を得る画像拡大方法であって、
   前記原画像における単位画素に対応する前記拡大画像の対応領域中の複数の画素の各画素値として、前記原画像における前記単位画素又はその周辺にある複数の周辺画素のいずれかの画素値を選択することで、前記原画像における前記単位画素それぞれを細分化して拡大画像を得る細分化ステップを含み、
   前記細分化ステップは、前記原画像における前記単位画素又はその周辺にある複数の周辺画素のうちどの画素の画素値を、前記対応領域中のどの画素の画素値として選択するかを、影響度情報及び配置情報に基づいて、決定するものであり、
   前記影響度情報は、前記単位画素及び前記周辺画素の画素値それぞれが、前記対応領域における画素の画素値として占める画素数を示す情報であり、当該影響度情報に従った場合の対応領域の平均画素値と前記単位画素の画素値との差である平均輝度差を、前記単位画素及び前記周辺画素の平均画素値と前記単位画素及び前記周辺画素の画素値それぞれとの差の絶対値に、対応する前記単位画素及び前記周辺画素の影響度情報を乗じたものの総和を示す分散値で除した値である変換度に基づいて決定され、
   前記配置情報は、前記対応領域に配置される画素の位置を規律する情報であり、
   前記影響度情報及び配置情報は、前記単位画素及び前記周辺画素の画素値に基づいて生成される
   画像拡大方法。
5. 前記影響度情報は、前記変換度が最小となるように決定される
   請求項４記載の画像拡大方法。
6. 前記配置情報は、前記周辺画素の画素値が、前記対応領域における画素の画素値として占める範囲の広がり方向を示す方向情報を含む
   請求項１〜５のいずれか１項に記載の画像拡大方法。
7. 前記配置情報は、前記周辺画素の画素値それぞれが、前記対応領域中の画素の画素値として選択される際における前記周辺画素間の優先順位を示す情報を含む
   請求項１〜６のいずれか１項に記載の画像拡大方法。
8. 原画像を高解像度化して拡大画像を得る画像拡大方法であって、
   前記原画像における単位画素に対応する前記拡大画像の対応領域中の複数の画素の各画素値として、前記原画像における前記単位画素又はその周辺にある複数の周辺画素のいずれかの画素値を選択することで、前記原画像における前記単位画素それぞれを細分化して拡大画像を得る細分化ステップと、
   前記拡大画像におけるエッジを抽出するエッジ抽出ステップと、を含み、
   前記エッジ抽出ステップでは、画像におけるエッジが強調されるように画像拡大を行う第１画像拡大アルゴリズムによって前記原画像を拡大した場合の画素値と、前記第１画像拡大アルゴリズムよりも画像全体が滑らかになる第２画像拡大アルゴリズムによって前記対象を拡大した場合の画素値と、が一致する位置にある画素をエッジとして抽出し、
   前記細分化ステップでは、前記対応領域中の画素のうち、前記エッジに相当する画素は、その画素値として、前記原画像における前記単位画素の画素値を選択する
   画像拡大方法。
9. 前記第１画像拡大アルゴリズムは、Ｌａｎｃｚｏｓ法又は線形補間法である
   請求項８記載の画像拡大方法。
10. 前記第２画像拡大アルゴリズムは、Ｓｐｌｉｎｅ法又はＭｉｔｃｈｅｌｌ法である
    請求項８又は９記載の画像拡大方法。
11. 拡大対象である原画像を、所定の画像拡大アルゴリズムに従って所望の拡大率で拡大させて初期拡大画像を得る拡大ステップと、
    前記初期拡大画像を補正して補正拡大画像を得る補正ステップと、
    前記補正拡大画像中の各画素それぞれの画素値を置換した近似拡大画像を得る置換ステップと、
    前記近似拡大画像を前記原画像のサイズに縮小したものと、前記原画像と、の差分を示す判定用差分画像を得る判定用差分画像抽出ステップと、
    前記判定用差分画像に基づいて、前記近似拡大画像が前記原画像の拡大画像として適切であるか否かを判定する判定ステップと、
    を更に含み、
    前記補正ステップは、
    前記初期拡大画像を前記原画像のサイズに縮小させた縮小画像を得るステップと、
    前記原画像と前記縮小画像との差分を示す差分画像を得るステップと、
    前記差分画像を前記画像拡大アルゴリズムに従って前記拡大率で拡大させて拡大差分画像を得るステップと、
    前記初期拡大画像に前記拡大差分画像を加算して補正拡大画像を得るステップと、
    を含み、
    前記置換ステップは、前記原画像における単位画素に対応する前記補正拡大画像の対応領域中の複数の置換対象画素それぞれの画素値を、近似値に置換することで近似拡大画像を得るものであり、
    更に前記置換ステップでは、前記近似値として、前記原画像における前記単位画素及びその周辺にある複数の周辺画素の各画素値のうち、前記置換対象画素の画素値に最も近い値が選択され、
    前記判定ステップにおいて、前記近似拡大画像が前記原画像の拡大画像として適切であると判定されると、前記近似拡大画像を拡大画像として出力し、前記近似拡大画像が前記原画像の拡大画像として適切でないと判定されると前記細分化ステップで得た拡大画像を出力する
    請求項１〜１０のいずれか１項に記載の画像拡大方法。
12. 前記補正ステップによって得られた前記補正拡大画像を前記初期拡大画像として、前記補正ステップを複数回繰り返す
    請求項１１記載の画像拡大方法。
13. 前記所定の画像拡大アルゴリズムは、Ｓｐｌｉｎｅ法又はＭｉｔｃｈｅｌｌ法である
    請求項１１又は１２に記載の画像拡大方法。
14. コンピュータに、請求項１〜１３のいずれか１項に記載の画像拡大方法におけるステップを実行させるためのコンピュータプログラム。
15. 原画像を高解像度化しつつ拡大した拡大画像を得る画像処理装置であって、
    前記原画像における単位画素に対応する前記拡大画像の対応領域中の複数の画素の各画素値として、前記原画像における前記単位画素又はその周辺にある複数の周辺画素のいずれかの画素値をそのまま選択することで、前記原画像における前記単位画素それぞれを、前記原画像における前記単位画素又はその周辺にある複数の周辺画素のいずれかの画素値を有する複数の画素に細分化して拡大画像を得る細分化手段を備え、
    前記細分化手段は、前記原画像における前記単位画素又はその周辺にある複数の周辺画素のうちどの画素の画素値を、前記対応領域中のどの画素の画素値として選択するかを、影響度情報及び配置情報に基づいて、決定し、
    前記影響度情報は、前記単位画素及び前記周辺画素の画素値それぞれが、前記対応領域における画素の画素値として占める画素数を示す情報であり、
    前記配置情報は、前記対応領域に配置される画素の位置を規律する情報であり、
    前記影響度情報及び配置情報は、前記単位画素及び前記周辺画素の画素値に基づいて生成される画像処理装置。