JP4717897B2 - 画像処理装置、画像処理方法、画像処理装置制御プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、ディスプレイ上に表示されるデジタル画像およびビデオ映像等の画像の画質を向上させる画像処理方法、画像処理プログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。

典型的な液晶ディスプレイの解像度は、標準精細度テレビに類似する約７２０×４８０である。また、典型的な超高解像度ディスプレイは、解像度が４０９６×２１６０であり、視距離が、画像の高さの２倍よりも短い。そして、高解像度のディスプレイ上に低解像度の画像を表示するためには、低解像度の画像を、アップスケーリング（upscaling、アップサンプリング（upsampling））しなければならない。しかしながら、大型高解像度ディスプレイでは、視距離付近で視聴されると、アップサンプリングの結果として、目障りなアーチファクト（artifact）を生じる傾向がある。
米国特許第６７３１８２３号明細書 Yu et al., Image Reconstruction Using Data-Dependent Triangulation, IEEE Computer Graphics and Applications, volume 21, number 3, pages 62-68, 2001

一般に、アップスケーリングの従来の方法によると、対象となる画像に目に見える画質の低下をもたらす。この目に見える画質の低下の主な要因がいくつか存在する。第１の要因は、安価な線形シフト不変（Linear Shift Invariant (LSI)）フィルタを使用して、画像をアップサンプリングすることによる。そのような線形シフト不変フィルタは入力画像における高い空間周波数成分を取り除いたり、弱めたりする。これにより、入力画像は、細部がぼけたり、様々なアーチファクトが発生しやすいエイリアシングが発生したりする。

第２の要因は、パターン化されたテクスチャ（texture）におけるモアレ（moire）、並びに、エッジに沿って存在する偽パターンおよびジャギーによる。これは、少なくとも部分的には、安価な線形シフト不変フィルタを使用することから生じる。フィルタのカーネルをより大きくすると、これらのアーチファクトを減らすことができるが、画像内の鮮鋭なエッジの付近のリンギングアーチファクト（ringing artifact）が犠牲となる。リンギングアーチファクトは、線形シフト不変フィルタに基づくアップサンプリング技術の限界である。

第３の要因は、アップサンプリングされた画像におけるエッジのぼやけである。従来のアップサンプリング技術は、入力された画像におけるエッジや輪郭の位置を認識していない。アップサンプリングフィルタは、鮮鋭なエッジの輪郭に出会っても、エッジを横切って畳み込み（convolution）を続け、エッジの両側にある画像サンプルを合成するのみである。これにより、アップサンプリングされた画像において、エッジがぼやける。

従来のアップスケーリング技術に対する様々な改良が進んでいる。その一種は、エッジ適応技術であり、入力画像のエッジおよび輪郭の位置を検知し、エッジ近くでのフィルタの処理を制御するものである。この技術により、鮮鋭さが自然に見えるエッジおよび輪郭を有する、アップサンプリングされた画像を作り出すことができる。しかしながら、エッジ適応のアップサンプリング技術は、いくつかの短所を線形シフト不変フィルタと共有している。エッジ適応技術における１或る短所は、該技術が（例えば、皮膚や砂のような）テクスチャをぼやけさせる傾向があることである。エッジ適応技術における他の短所は、該技術が、非エッジの特徴をエッジと勘違いして、その結果エッジと分類してしまうことである。これは、元の画像にはなく、かつ極めて容易に誤りと認識できる、局所的な偽のエッジを導く。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、画像のぼやけやギザギザ等の上記問題点を克服する画像処理装置等を実現することにある。

上記課題を解決するために、本発明に係る画像処理装置は、取得した画像データからテクスチャ情報を含む第１のチャンネルとエッジおよびフラット領域情報を含む第２のチャンネルとを抽出する抽出手段と、上記抽出手段で抽出された第１のチャンネルを第１フィルタを用いて補間する第１補間手段と、上記抽出手段で抽出された第２のチャンネルを第２フィルタを用いて補間する第２補間手段と、上記第１補間手段で補間された第１補間チャンネルと、上記第２補間手段で補間された第２補間チャンネルとを結合する結合手段とを備えていることを特徴としている。

また、本発明に係る画像処理方法は、取得した画像データからテクスチャ情報を含む第１のチャンネルとエッジおよびフラット領域情報を含む第２のチャンネルとを抽出する抽出ステップと、上記抽出ステップで抽出された第１のチャンネルを第１フィルタを用いて補間する第１補間ステップと、上記抽出手段で抽出された第２のチャンネルを第２フィルタを用いて補間する第２補間ステップと、上記第１補間ステップで補間された第１補間チャンネルと、上記第２補間ステップで補間された第２補間チャンネルとを結合する結合ステップとを含むことを特徴としている。

上記の構成および方法によれば、取得した画像データに対し、テクスチャ情報を含むチャンネルとエッジおよびフラット領域情報を含むチャンネルとが抽出され、それぞれのチャンネルが独自に補間される。そして補間されたそれぞれのチャンネルが再び結合される。

これにより、テクスチャ情報を含むチャンネルは、テクスチャ情報を含むものとして補間され、エッジおよびフラット領域情報を含むチャンネルは、エッジおよびフラット領域情報を含むものとして補間されるので、それぞれの補間後のチャンネルを結合した画像データは、画像のぼやけやギザギザ等のない滑らかな画像となる。

本発明に係る画像処理装置では、上記抽出手段は、非線形フィルタを用いて抽出するものであってもよい。

上記抽出手段が非線形フィルタを用いて抽出することにより、取得した画像データからテクスチャ情報を含むチャンネルと、エッジおよびフラット領域情報を含むチャンネルとを抽出することができる。

上記非線形フィルタは、シーブ（sieve）フィルタであっても上述した効果を奏することができる。

上記第１フィルタは、線形フィルタであっても上述した効果を奏することができる。

上記第２フィルタは、非線形フィルタであっても上述した効果を奏することができる。

本発明に係る画像処理装置では、上記結合手段は、ブレンディング（blending）機構に基づくものであってもよい。

上記結合手段は、ブレンディング（blending）機構に基づくものであることにより、補間された複数のチャンネルを結合することができる。

上記ブレンディング機構は、ハロー生成手段（halo generation）に基づいているものであってもよい。

本発明に係る画像処理装置では、上記ブレンディング機構は、エッジ情報を含むものであってもよい。

本発明に係る画像処理装置では、上記エッジ情報は、グレースケール情報を含むものであってもよい。

本発明に係る画像処理装置では、上記ブレンディング機構は、上記第１のチャンネルにおけるエッジから離れた領域が変更後の画像に寄与するように動作するものであってもよい。

本発明に係る画像処理装置では、上記抽出手段が非線形フィルタの場合、該非線形フィルタは、第３のチャンネルを抽出するものであってもよい。

本発明に係る画像処理装置では、上記結合手段は、上記第１のチャンネルと上記第２のチャンネルと上記第３のチャンネルとを結合するものであってもよい。

上記の構成によれば、結合手段は、上記非線形フィルタが抽出した第３のチャンネルを上記第１のチャンネルと上記第２のチャンネルとに含めて結合させることができる。

本発明に係る画像処理装置では、上記抽出手段は、スプリット（splitting）フィルタを用いて抽出するものであってもよい。

上記抽出手段が、スプリット（splitting）フィルタを用いて抽出することにより、取得した画像データからテクスチャ情報を含むチャンネルと、エッジおよびフラット領域情報を含むチャンネルとを抽出することができる。

本発明に係る画像処理装置では、上記第２フィルタは、データ依存三角分割（data dependent triangulation）を行うものであってもよい。

上記第２フィルタは、データ依存三角分割を行うことにより、エッジおよびフラット領域情報を含むチャンネルを補間することができる。

上記ＤＤＴは、異なる方向における初期の三角分割を含むものであってもよい。

上記ＤＤＴは、対角線の修正によって部分的なエッジ方向を測定することによって初期化されるものであってもよい。

上記第２チャンネルは、上記補間される前に、上記抽出手段における非線形フィルタによって抽出されるものであってもよい。

上記課題を解決するために、本発明に係る画像処理装置は、取得した画像データから少なくとも３つのチャンネルを抽出するチャンネル抽出手段と、上記チャンネル抽出手段で抽出されたそれぞれのチャンネルにおけるそれぞれの選択情報を強化するように、それぞれのフィルタで補間する複数のチャンネル補間手段と、上記複数の補間手段で補間されたそれぞれのチャンネルを結合するチャンネル結合手段とを備えていることを特徴としている。

上記の構成によれば、取得した画像データから複数のチャンネルとが抽出され、それぞれのチャンネルが独自に補間される。そして補間されたそれぞれのチャンネルが再び結合される。

これにより、それぞれのチャンネルは、それぞれのチャンネルの特性に応じて補間されるので、それぞれの補間後のチャンネルを結合した画像データは、画像のぼやけやギザギザ等のない滑らかな画像となる。

上記フィルタの少なくとも１つは、線形フィルタであることにより上述した効果を奏することができる。

上記フィルタの少なくとも１つは、非線形フィルタであることにより上述した効果を奏することができる。

本発明に係る画像処理装置では、上記結合手段は、エッジ情報を含むブレンディング（blending）機構に基づくものであってもよい。

上記結合手段は、ブレンディング（blending）機構に基づくものであることにより、補間された複数のチャンネルを結合することができる。

上記フィルタの少なくとも１つは、テクスチャと、フィルム粒子と、テキストおよび画像と、スクロール文字（scrolling text）と、エッジおよびフラット領域（edges and flat regions）との中のいずれかのためのものであってもよい。

上記抽出手段は、第１解像度を有する画像を取得しており、上記結合手段は、チャンネルを結合することにより、上記画像を、第１解像度よりも大きな第２解像度を有する画像に変更するものであってもよい。

なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記画像処理装置をコンピュータにて実現させる画像装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

以上のように、本発明に係る画像処理装置は、取得した画像データからテクスチャ情報を含む第１のチャンネルとエッジおよびフラット領域情報を含む第２のチャンネルとを抽出する抽出手段と、上記抽出手段で抽出された第１のチャンネルを第１フィルタを用いて補間する第１補間手段と、上記抽出手段で抽出された第２のチャンネルを第２フィルタを用いて補間する第２補間手段と、上記第１補間手段で補間された第１補間チャンネルと、上記第２補間手段で補間された第２補間チャンネルとを結合する結合手段とを備えている構成である。

また、本発明に係る画像処理方法は、取得した画像データからテクスチャ情報を含む第１のチャンネルとエッジおよびフラット領域情報を含む第２のチャンネルとを抽出する抽出ステップと、上記抽出ステップで抽出された第１のチャンネルを第１フィルタを用いて補間する第１補間ステップと、上記抽出手段で抽出された第２のチャンネルを第２フィルタを用いて補間する第２補間ステップと、上記第１補間ステップで補間された第１補間チャンネルと、上記第２補間ステップで補間された第２補間チャンネルとを結合する結合ステップとを含む方法である。

これにより、テクスチャ情報を含むチャンネルは、テクスチャ情報を含むものとして補間され、エッジおよびフラット領域情報を含むチャンネルは、エッジおよびフラット領域情報を含むものとして補間されるので、それぞれの補間後のチャンネルを結合した画像データは、画像のぼやけやギザギザ等のない滑らかな画像となるという効果を奏する。

また、本発明に係る画像処理装置は、取得した画像データから少なくとも２つのチャンネルを抽出するチャンネル抽出手段と、上記チャンネル抽出手段で抽出されたそれぞれのチャンネルにおけるそれぞれの選択情報を強化するように、それぞれのフィルタで補間する複数のチャンネル補間手段と、上記複数の補間手段で補間されたそれぞれのチャンネルを結合するチャンネル結合手段とを備えていることを特徴としている。

これにより、それぞれのチャンネルは、それぞれのチャンネルの特性に応じて補間されるので、それぞれの補間後のチャンネルを結合した画像データは、画像のぼやけやギザギザ等のない滑らかな画像となるという効果を奏する。

本発明の上述した内容および他の目的、特徴、利点は、以下の詳細な説明および添付の図面により、より容易に理解されるであろう。

アップスケーリングを行うための、線形シフト不変（ＬＳＩ）フィルタを用いる技術は、ぼやけたギザギザのエッジをもたらすものとして知られている。また、アップサンプリングに用いる、安価で短い線形シフト不変フィルタは、入力画像において鮮鋭であったテクスチャをぼやけさせるものとして知られている。上述のように、線形シフト不変フィルタが、過度のぼやけを避けるようになされている場合、例えばエッジ付近のリンギングのような、偽の目障りな画像アーチファクトをもたらす傾向がある。

実例を挙げて説明すると、図１は、入力画像を示す。図２は、図１の画像を、計算的に安価なバイリニア（bilinear）線形シフト不変フィルタを用いて２の因子でアップサンプリングした画像を示す。図２に示す、アップサンプリング後の画像は、顕著なぼやけを有している。図３は、図１の画像を、計算的に高価なランチョシュ（Lanczos）線形シフト不変フィルタを用いて、２倍にアップサンプリングした画像を示す。このフィルタは、より広い帯域幅、より鋭い遷移帯域、および多くのフィルタタップ（filter tap）を用いることによって、ぼやけを減らそうとするものである。テクスチャは、より良く表示されるが、エッジ付近にリンギングアーチファクト（ringing artifact）が見受けられる。

例えば、腕時計の近辺や、眼における点描（stippling）や、髪における「ロープのような」見かけである。これらすべては、主に、空間周波数域から見たアップサンプリング処理における、フーリエスペクトルの漏れに起因している。

線形シフト不変フィルタを用いない幾つかの方法、例えばエッジに適応させる技術（エッジ適応技術）は、この線形シフト不変フィルタのトレードオフを減らす。エッジ適応技術は、エッジの両側のサンプルを、結合または平均化すること無しに、再サンプリングされた画像を作り出すように、アップサンプリング処理を適応させる。エッジを認識する処理の効果は、図４の２つの画像に示されている。図４（ａ）は、線形シフト不変フィルタを用いてアップサンプリングした画像であり、図４（ｂ）は、リー（Li）とオーチャード（Orchard）のＮＥＤＩ（new edge-directed interpolation）技術を用いてアップサンプリングした画像である。図４から分かるように、（ａ）の画像はスペクトルの漏れに起因してノイズが生じている一方、（ｂ）の画像は、輪郭が自然で滑らかな見映えとなっている。

それにもかかわらず、エッジ適応技術は、性能のよい線形シフト不変フィルタを用いた場合と比較して、表示されたテクスチャにぼやけをもたらす傾向がある。例えば、ランチョシュ補間された図３の女性の画像において良好に解像されたセーターの織物を、エッジ適応技術を用いて生成することは難しい。また、トレードオフの無いアップサンプリングフィルタを開発する試みは、難しい。アップサンプリングは、複数の異なるフィルタを用いることによって効果が発揮される。異なるフィルタはそれぞれの有利な面を利用するために、異なる方法で画像を通す。なお、解像度を増加させるようなフィルタなど、どのようなフィルタが使われてもよい。

一例を挙げると、解像度は、通常、ディスプレイ媒体における画素の大きさとして参照される。他にも、単位長さあたりの画素（例えば、４５ドット／インチ、３００ドット／インチ）、スクリーンの高さまたは幅あたりの画素、網膜上の範囲を定める（subtended）角度あたりの画素として参照される。

さらに、解像度が高くなるということは、ディスプレイの情報量が増加するということと同じであってもよい。また、解像度が高くなるということは、アップサンプリングの結果として作り出された新たに利用可能な高い空間周波数帯における周波数成分（例えば、より稠密なサンプリンググリッド）を加えたものと言うこともできる。アップサンプリング後の画像の解像度を高めることにより、入力画像から実際の場面の情報を分解する能力が向上してもよい。さらに、解像度を高めるということは、入力画像より多い画素数で画像取り込み装置によって取得される場合、画像がどうであるかを全般的に評価することと言うこともできる。この場合、解像度の損失は、画素数の不足、それに加えて光学上のぼやけが最も有力な要因である。

〔実施の形態１〕
本実施の形態では、入力画像を複数のチャンネルに分ける非線形フィルタで入力画像の予備的処理を行い得ると判断した。注目されることは、これらのチャンネルは周波数帯を必要としないか、或いは、周波数域と直接関係付けられることである。或るチャンネルは、画像におけるエッジの内容と、徐々に変化する「平坦な」領域とを含んでもよい。他のチャンネルは、画像からエッジを差し引いたもののテクスチャを含んでもよい。この画像をチャンネルに分けるために使用される非線形フィルタの効果は、図５および図６に示されている。図５は、シーブフィルタのような非線形フィルタに適用されるべき入力画像である。このフィルタは、図６に示す２つのチャンネルを作り出す。非線形フィルタの非線形効果は、図６（ａ）の画像に見られ、該画像では、（一般に、高い空間周波数を含む）エッジが保たれ、ほぼ鮮鋭に残っている。一方、（これもまた高い空間周波数を含む）テクスチャは、フィルタリングされて、図６の（ｂ）に示されるようになる。線形フィルタは、このような選択的なフィルタリングには適していない。

次に、図７を参照して、本実施の形態について説明する。図７は、本実施の形態における画像処理装置１０のブロックを示すブロック図である。図７に示すように、画像処理装置１０は、２チャンネル非線形スプリットフィルタ（抽出手段）２１０とテクスチャ補間部（第１補間手段）１０６とエッジ適応補間部（第２補間手段）１０４と結合部（結合手段）１０８とを含む構成である。

２チャンネル非線形スプリットフィルタ２１０は、受信した標準精細または高精細の画像データをテクスチャ情報１００と、エッジ＋フラット領域情報１０２とに分割するフィルタである。

テクスチャ補間部１０６は、２チャンネル非線形スプリットフィルタ２１０から受信したテクスチャ情報１００を補間し、テクスチャ情報（Ｔ）として結合部１０８へ送信する。なお、テクスチャ補間部１０６は、線形シフト不変フィルタに基づくものであれば、良好なテクスチャ補間を実現できる可能性が高い。

エッジ適応補間部１０４は、２チャンネル非線形スプリットフィルタ２１０から受信したエッジ＋フラット領域情報１０２を補間し、エッジ＋フラット領域情報（Ｅ）として結合部１０８へ送信する。

結合部１０８は、テクスチャ補間部１０６から受信したテクスチャ情報（Ｔ）とエッジ適応補間部１０４から受信したエッジ＋フラット領域情報（Ｅ）とを結合させて超高精細画像データとして出力する。

なお、上記２つのチャンネル、すなわちテクスチャ情報１００（Ｔ）とエッジ＋フラット領域情報１０２（Ｅ）とは、アップサンプリングされた高品質な画像を生成する多数の方法において使用されることができる。

〔実施の形態２〕
本発明の他の実施の形態について図８および図９に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記の実施の形態において示した部材と同一の機能を有する部材には、同一の符号を付し、その説明を省略する。

本実施の形態において、上記実施の形態と異なる点は、画像処理装置１１が、エッジ抽出アルファマップ形成部１２０を備えている点である。

エッジ抽出アルファマップ形成部１２０は、２チャンネル非線形スプリットフィルタ２１０からエッジ＋フラット領域情報１０２を受信し、アルファチャンネル１２２を作成し、結合部１０８へ送信する。

図８に示す、画像処理装置１１の処理方法では、バイナリーエッジマップ（binary edge map）が決定され、該バイナリーエッジマップからグレースケールのブレンディング用（アルファ）チャンネル１２２が作成される。

図９は、（ａ）が、アップサンプリングされるべき入力画像を示し、（ｂ）が、該入力画像に関してグレースケールのブレンディング用チャンネルを示す。アルファチャンネルにおけるグレースケールエッジの幅は、テクスチャチャンネルフィルタに起因するリンギングの予想幅とエッジ自身の強さに起因する視覚マスキングの予想量とによって決定される。

図８に示すブレンディング用チャンネルを用いて、適応補間されたエッジ＋フラット領域情報（Ｅ）とテクスチャ情報（Ｔ）とがブレンディングされ、その結果、テクスチャフィルタによって生じる他のエッジアーチファクトと同様に、（一般にエッジの近くに生じる）リンギングアーチファクトが最終画像に入ることを減らす。補間されたテクスチャチャンネルにおいてエッジから離れた領域のみ（または、該領域を主として）が最終的な結果に寄与するように、テクスチャ情報（Ｔ）とエッジ＋フラット領域情報（Ｅ）との２つのチャンネルの加算は、アルファチャンネル１２２によって制御される。

〔実施の形態３〕
本発明の他の実施の形態について図１０に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記の実施の形態において示した部材と同一の機能を有する部材には、同一の符号を付し、その説明を省略する。

本実施の形態において、上記実施の形態と異なる点は、画像処理装置１２が、テクスチャ補間部１０６の代わりにテクスチャ補間部１４８を備えている点である。

テクスチャ補間部１４８は、直接、標準精細または高精細の画像データを受信し、補間を行い、テクスチャ情報（Ｔ）を結合部１０８へ送信する。すなわち、画像処理装置１２においては、２チャンネル非線形スプリットフィルタ２１０の結果物であるテクスチャ情報１００を使用する代わりに、元の入力画像からテクスチャ補間部１４８を介して、テクスチャ情報を使用する。

なお、エッジ適応補間部１０４にてバイナリーエッジマップが抽出され、該バイナリーエッジマップからグレースケールエッジブレンディング用アルファチャンネルの画像が形成されてもよい。次に、グレースケール結合アルファチャンネル１２２を用いて、アップサンプリングされたエッジ適応補間チャンネルのエッジ領域と、テクスチャ補間チャンネルのテクスチャ領域とが結合される。２チャンネルの上記処理は、テクスチャの強化された補間によって、エッジ上にもたらされるリンギングその他のアーチファクトを減らす。加えて、２チャンネルの上記処理は、エッジ適応補間のテクスチャのぼやけを減らす。なお、所望の場合、テクスチャ情報１００は、最終的な画像において同様に使用されてもよい。

〔実施の形態４〕
本発明の他の実施の形態について図１１〜１３に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記の実施の形態において示した部材と同一の機能を有する部材には、同一の符号を付し、その説明を省略する。

本実施の形態において、上記実施の形態と異なる点は、画像処理装置１３が、ハロー（halo）生成部（ハロー生成手段）１５２、エッジ抽出部１５４、エッジ適応補間部２２２、テクスチャ補間部２２４、結合部２２６、スプリットフィルタ補償部２３０を備えている点である。

ハロー生成部１５２は、エッジ抽出部１５４から受信した情報からグレースケールハロー（grayscale halo）を生成するための処理を行い、コントロール信号をエッジ適応補間部２２２へ送信する。

エッジ抽出部１５４は、２チャンネル非線形スプリットフィルタ２１０から受信したエッジ＋フラット領域情報１０２からエッジ情報を抽出し、バイナリーエッジマップをハロー生成部１５２へ送信する。

エッジ適応補間部２２２およびテクスチャ補間部２２４は、受信した画像データを補間し、結合部２２６へ送信する。なお、テクスチャ補間部２２４は、線形シフト不変フィルタであることが好ましい。

結合部２２６は、エッジ適応補間部２２２から受信した情報とテクスチャ補間部２２４から受信した情報とを結合しスプリットフィルタ補償部２３０へ送信する。

スプリットフィルタ補償部２３０は、結合部２２６から受信した情報を補償し、超高解像度の画像データを出力する。

画像処理装置１３は、結合マップを作るために、２チャンネル非線形スプリットフィルタ２１０からエッジ＋フラット領域情報１０２を使用する他の方法を示す。入力画像は、エッジ適応補間部２２２とテクスチャ補間部２２４とで処理される。結合部２２６は、対応技術を用いてエッジを表現し、最終結果に表れた技術からテクスチャを表現するために、２つの補間画像データであるテクスチャ情報（Ｔ）とエッジ＋フラット領域情報（Ｅ）とを組み合わせる。

なお、画像処理装置１３は、図７、８、および１０に示すように、エッジの抽出とアルファマップの生成とを１つの機能ブロックで実行してもよい。また、ハロー生成部１５２は、入力画像のエッジ付近のグレースケールのハローを生成するために、ガウスプロファイル（Guassian）もしくは他の所望のプロファイルでエッジを拡張することによって導き出したバイナリーエッジマップの処理を行ってもよい。このハローマップ（α）と補数（compliment）（１−α）とを用いて、式“αＥ＋（１−α）Ｔ”によって定義されるように、情報Ｅと情報Ｔとを線形に結合してもよい。

エッジ適応補間部２２２は、データ依存三角分割技法によって行われることが好ましい。しかし、他の好適な技法であってもよい。２チャンネル非線形シーブフィルタは、好ましくは、非線形スプリットフィルタとして使われる。しかし、他の好適な技法によるものであってもよい。非線形スプリットフィルタのテクスチャ情報チャンネルは、さらに強化されたテクスチャに対する最終結果にブレンディング用マップの補数を、パーセンテージとして、場合により（１−α）を乗算して追加するために使用していもよい。

また、非線形フィルタのエッジおよびフラット領域のチャンネルは、エッジ適応技術の計算量を減じるために使用されてもよい。これは、入力画像において、エッジ適応技術を実行する領域を制御するために、エッジおよびフラット領域のチャンネルからの直接的なエッジ情報、或いは、ブレンディング用マップからの間接的なエッジ情報を使用することによって実行される。ほとんどの画像においてエッジはまばらであるなので、これは、計算要求を実質的に軽減する。

多くの場合、非線形スプリットフィルタは、テクスチャからエッジをさほど正確には分離しないであろう。従って、いくつかの情報は、他のチャンネルからそれぞれのチャンネルへ漏れるであろう。その結果、ブレンディング用マップにより、エッジ適応技術が、テクスチャを最終結果に至るまで処理することを容認してもよい。これらのテクスチャは、テクスチャ強化用補間を介して適当に処理されたテクスチャと比較して、分解能がわずかに劣る。画像処理装置１３の構成は、スプリットフィルタ補償部２３０が非線形フィルタのチャンネルを通過し、従ってエッジ適応処理によって補間されたテクスチャをさらに分解する処理を含んでもよい。

このフィルタは、例えば非特許文献１に記載のようなエッジ適応補間を実行するためのデータ依存三角分割（ＤＤＴ、data dependent triangulation）を含む。非特許文献１は、この引用をもって本願に記載加入される。非特許文献１のＤＤＴ技術は、時々、エッジの分類を誤る。初期の三角分割は、入力画像の画素の位置によって規定されるノードにおける標準のデローニ三角分割法である。この三角分割法では、全ての四角形の対角線は、図１２に示すように、完全に同じ方向に配置されている。そして、部分的に上記分類の誤りを起こすことが判明した。最終的に表示された画像における改善は、図１３に示すように方向を不規則に配置した対角線、もしくは、異なる方向へ進む三角形の集合を用いて、初期の三角分割を生成することによって行われてよい。また、初期の三角分割は、部分的なエッジ方向の評価に基づいて対角線を修正することにより行われてもよい。

なお、本発明は図１４および図１５に示す、以下の実施形態であってもよい。

まず、図１４により一般化された補間システム３００を示す。補間システム３００は、改良された補間技術のために使われる。この技術は、任意の適当なチャンネルの組に画像を分解する２チャンネル空間分解部（チャンネル抽出手段）３１０を含む。２チャンネル空間分解部３１０の分解は、線形でも非線形でもよい。加えて、２チャンネル空間分解部３１０は、所望により２つ以上のチャンネルに分解してもよい。そして、２チャンネル空間分解部３１０は、２チャンネル非線形スプリットフィルタ（チャンネル抽出手段）３０２を含んでいてもよい。チャンネルは、次のような特徴を含んでもよい。例えば、図形対自然、テキスト部対非テキスト部、顔部対非顔部、テクスチャ、エッジ＋フラット領域、スクロールテキスト、フィルム粒子ノイズのようなものである。具体的な実施に依存するが、入力画像は、１つまたは複数のチャンネルに関して、フィルタリングされずに、任意の方法で補間されるものであってもよい。チャンネル特定補間部（アップコンバージョン）３２０は、任意の適当なフィルタの組を用いてもよい。望むなら、フィルタは、特定の画像をフィルタリングするときの映像の一時的な情報を含んでいてもよい。これは、特にテキストの処理やフィルム粒子ノイズに有用である。例えば、この補間システム３００は、テクスチャ補間部（チャンネル補間手段）３３０、エッジ適応補間部（チャンネル補間手段）３４０、または、特定のチャンネルに適した他の補間技術を含んでもよい。加えて、エッジ抽出アルファマップ作成部３５０は、１つまたは複数のチャンネルのために形成され、画像の様々なチャンネルを互いにブレンディングするために使用される。分かれているチャンネルを一緒にするチャンネル結合部３６０は、任意の好適な技術を用いて、所望の場合には１つまたは複数のチャンネル結合部（チャンネル結合手段）３７０とともに、混合がなされてもよい。また、データに基づく三角分割は、対角線の修正による部分的なエッジの方向を評価することによって、初期化されてもよい。

次に、図１５を参照して、他の構成について説明する。図１５に示す構成は、２つ以上の空間的および／または時空間的および／または時間的分解部４００を備える。チャンネルのためのフィルタ４１０は、特定の特徴を強化するために選択されてもよい。上記チャンネルは、テクスチャ４２０、フィルム粒子（時間的情報は、フィルム粒子をフィルタリングするのに有用である）４３０、テキストと図形４４０、スクロールテキスト（時間的情報は、スクロールテキストをフィルタリングするのに有用である）４５０、および漫画構造（エッジ＋フラット領域）４６０を強化するように選択されてもよい。それぞれのチャンネル、または複数のチャンネルの組合せは、適当な方法で拡大部４８０で別々に拡大されてもよい。拡大されたチャンネルは、適当な方法で結合部４９０で結合される。

上述の明細書に使用している用語および表現は、説明として用いたものであり、これに限定されるものではない。また、上記用語および表現の使用において、本願に示され説明された特徴またはその一部との等価物を除外することを意図しない。本発明の範囲は、添付の特許請求の範囲によってのみ規定され限定されると解すべきである。

最後に、画像処理装置１０〜１３の各ブロック、特にエッジ適応補間部１０４、テクスチャ補間部１０６、結合部１０８、エッジ抽出アルファマップ形成部１２０、テクスチャ補間部１４８、ハロー生成部１５２、エッジ抽出部１５４、エッジ適応補間部２２２、テクスチャ補間部２２４、結合部２２６、およびスプリットフィルタ補償部２３０は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、画像処理装置１０〜１３は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１０、画像処理装置１１、画像処理装置１２、および画像処理装置１３の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、画像処理装置１０〜１３に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（microprocessor unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（compact disc read-only memory）／ＭＯ（magneto-optical）／ＭＤ（Mini Disc）／ＤＶＤ（digital video disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ（erasable programmable read-only memory）／ＥＥＰＲＯＭ（electrically erasable and programmable read-only memory）／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、画像処理装置１０、画像処理装置１１、画像処理装置１２、および画像処理装置１３を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（local area network）、ＩＳＤＮ（integrated services digital network）、ＶＡＮ（value-added network）、ＣＡＴＶ（community antenna television）通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ（institute of electrical and electronic engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（asynchronous digital subscriber loop）回線等の有線でも、ＩｒＤＡ（infrared data association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

アップスケーリング等の画像処理を画質のよい状態で行うことができるので、任意の画像処理装置に好適である。

本発明に係る実施の形態における説明に用いる入力画像を示す図である。 上記実施の形態において、図１に示す画像をバイリニア（bilinear）補間によって２倍にアップサンプリングした画像を示す図である。 上記実施の形態において、図１に示す画像をランチョシュ（Lanczos）補間によって２倍にアップサンプリングした画像を示す図である。 上記実施の形態において、アップサンプリングした画像を示す図であり、（ａ）はバイリニア補間によってアップサンプリングをした画像を示す図であり、（ｂ）はエッジ適応技術によってアップサンプリングをした画像を示す図である。 上記実施の形態において、他の入力画像を示す図である。 上記実施の形態において、図５に示す画像をシーブ（sieve）フィルタにかけた画像を示すものであり、（ａ）は、エッジと滑らかな領域を示す図であり、（ｂ）は、テクスチャを示す図である。 本発明の実施の形態を示すものであり、２チャンネルの補間を示す図である。 上記実施形態において、アルファチャンネルを備えた２チャンネルの補間を示す図である。 上記実施形態において、（ａ）は、さらに他の入力画像を示す図であり、（ｂ）は、グレースケールのアルファチャンネルを示す図である。 本発明の他の実施の形態を示すものであり、アルファチャンネルを備えた２チャンネルの補間を示す図である。 本発明のさらに他の実施の形態を示すものであり、アルファチャンネルを備えた２チャンネルの補間を示す図である。 本発明の実施の形態における、デローニ三角分割を用いたＤＤＴ（data dependent triangulation）による初期化を示す図である。 本発明の実施の形態における、不規則に方向付けられた対角線を用いた、修正されたＤＤＴによる初期化を示す図である。 本発明のさらに他の実施の形態における、一般化された補間システムを示す図である。 本発明のさらに他の実施の形態における、多重チャンネルの構成を示す図である。

符号の説明

１０、１１、１２、１３ 画像処理装置
１００ テクスチャ情報
１０２ エッジ＋フラット領域情報
１０４、２２２、３４０ エッジ適応補間部（第２補間手段、チャンネル補間手段）
１０６、１４８、２２４、３３０ テクスチャ補間部（第１補間手段、チャンネル補間手段）
１０８、２２６ 結合部（結合手段）
１２０、３５０ エッジ抽出アルファマップ形成部
１２２ アルファチャンネル
１５２ ハロー生成部（ハロー生成手段）
１５４ エッジ抽出部
２１０、３０２ ２チャンネル非線形スプリットフィルタ（抽出手段、チャンネル抽出手段）
２３０ スプリットフィルタ補償部
３１０ ２チャンネル空間分解部（チャンネル抽出手段）
３２０ チャンネル特定補間部
３６０、３７０ チャンネル結合部（チャンネル結合手段）

Claims (23)

1. 取得した画像データからテクスチャ情報を含む第１のチャンネルとエッジおよびフラット領域情報を含む第２のチャンネルとを抽出する抽出手段と、
   上記抽出手段で抽出された第１のチャンネルを第１フィルタを用いて補間する第１補間手段と、
   上記抽出手段で抽出された第２のチャンネルを第２フィルタを用いて補間する第２補間手段と、
   上記第１補間手段で補間された第１補間チャンネルと、上記第２補間手段で補間された第２補間チャンネルとを結合する結合手段とを備え、
   上記結合手段は、バイナリーエッジマップから作成されたグレースケールのアルファチャンネルを用いて、上記第１補間チャンネルと上記第２補間チャンネルとを結合することを特徴とする画像処理装置。
2. 上記抽出手段は、非線形フィルタを用いて抽出することを特徴とする請求項１に記載の画像処理装置。
3. 上記非線形フィルタは、シーブ（sieve）フィルタであることを特徴とする請求項２に記載の画像処理装置。
4. 上記第１フィルタは、線形フィルタであることを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 上記第２フィルタは、非線形フィルタであることを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 上記結合手段は、ハロー生成手段（halo generation）が生成したグレースケールハローを用いて補間された上記第２補間チャンネルと上記第１補間チャンネルとを結合することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 上記結合手段は、上記第１のチャンネルにおけるエッジから離れた領域が変更後の画像に寄与するように動作することを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
8. 上記抽出手段が非線形フィルタを用いて抽出する場合、該非線形フィルタは、
   上記画像データに図形データと自然データとが含まれるとき、該図形データを含む第３のチャンネルを、
   上記画像データにテキストデータと非テキストデータとが含まれるとき、該テキストデータを含む第３のチャンネルを、
   上記画像データに顔部データと非顔部データとが含まれるとき、該顔部データを含む第３のチャンネルを、
   抽出することを特徴とする請求項２に記載の画像処理装置。
9. 上記結合手段は、上記第１のチャンネルと上記第２のチャンネルと上記第３のチャンネルとを結合することを特徴とする請求項８に記載の画像処理装置。
10. 上記抽出手段は、スプリット（splitting）フィルタを用いて抽出することを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
11. 上記第２フィルタは、データ依存三角分割（ＤＤＴ（data dependent triangulation））を行うものである事を特徴とする請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 上記ＤＤＴは、異なる方向に初期の三角分割を行うものであることを特徴とする請求項１１に記載の画像処理装置。
13. 上記ＤＤＴは、部分的なエッジの方向を評価することにより、対角線を変更して初期化されることを特徴とする請求項１１に記載の画像処理装置。
14. 上記第２のチャンネルは、上記補間される前に、上記抽出手段における非線形フィルタによって抽出されることを特徴とする請求項２に記載の画像処理装置。
15. 取得した画像データから少なくとも２つのチャンネルを抽出するチャンネル抽出手段と、
    上記チャンネル抽出手段で抽出されたそれぞれのチャンネルにおけるそれぞれの選択情報を強化するように、それぞれのフィルタで補間する複数のチャンネル補間手段と、
    上記複数の補間手段で補間されたそれぞれのチャンネルを結合するチャンネル結合手段とを備え、
    上記結合手段は、バイナリーエッジマップから作成されたグレースケールのアルファチャンネルを用いて、上記複数の補間手段で補間されたそれぞれのチャンネルを結合することを特徴とする画像処理装置。
16. 上記フィルタの少なくとも１つは線形フィルタであることを特徴とする請求項１５に記載の画像処理装置。
17. 上記フィルタの少なくとも１つは非線形フィルタであることを特徴とする請求項１５に記載の画像処理装置。
18. 上記結合手段は、アルファチャンネルを用いて結合を行うものであることを特徴とする請求項１５に記載の画像処理装置。
19. 上記フィルタの少なくとも１つは、テクスチャと、フィルム粒子と、テキストおよび画像と、スクロール文字と、エッジおよびフラット領域（edges and flat regions）との中のいずれかのためのものであることを特徴とする請求項１５に記載の画像処理装置。
20. 上記抽出手段は、第１解像度を有する画像を取得しており、
    上記結合手段は、チャンネルを結合して補償することにより、上記画像を、第１解像度よりも大きな第２解像度を有する画像に変更することを特徴とする請求項１〜１９のいずれか１項に記載の画像処理装置。
21. 請求項１〜２０のいずれか１項に記載の画像処理装置を動作させる画像処理装置制御プログラムであって、コンピュータを上記の各手段として機能させるための画像処理装置制御プログラム。
22. 請求項２１に記載の画像処理装置制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
23. 取得した画像データからテクスチャ情報を含む第１のチャンネルとエッジおよびフラット領域情報を含む第２のチャンネルとを抽出する抽出ステップと、
    上記抽出ステップで抽出された第１のチャンネルを第１フィルタを用いて補間する第１補間ステップと、
    上記抽出ステップで抽出された第２のチャンネルを第２フィルタを用いて補間する第２補間ステップと、
    上記第１補間ステップで補間された第１補間チャンネルと、上記第２補間ステップで補間された第２補間チャンネルとを結合する結合ステップとを含み、
    上記結合ステップでは、バイナリーエッジマップから作成されたグレースケールのアルファチャンネルを用いて、上記第１補間チャンネルと上記第２補間チャンネルとを結合することを特徴とする画像処理方法。