JPWO2011033619A1 - 画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体 - Google Patents

Abstract

画像処理装置（１００、２００、３００）第１画像を取得する取得手段（１１０、１３０等）と、取得された第１画像からテクスチャ画像を抽出する抽出手段（１１０）と、抽出されたテクスチャ画像を拡大する第１拡大手段（１２０）と、取得された第１画像を拡大する第２拡大手段（１３０）と、拡大された第１画像の輪郭に鮮鋭化処理を施すことにより輪郭が鮮鋭化されたベース画像を取得するベース画像取得手段（１４０）と、拡大されたテクスチャ画像と、取得されたベース画像とを合成する合成手段（１５０）とを備える。

Description

本発明は、例えばバイラテラルフィルタを用いた画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体の技術分野に関する。

この種の画像処理装置として、拡大処理の後に鮮鋭化処理を行う装置が一般的である。一般的な鮮鋭化処理として、特許文献１等に記載されている技術が開示されている。特許文献１等では、拡大縮小回路を利用することにより、オーバーシュートやアンダーシュートを付加すること無く、画像の輪郭部分の立ち上がり、立下りを急峻にさせる技術が開示されている。

また、非特許文献１等では、画像の輪郭をぼかさずにノイズ成分を除去可能な非線形フィルタとしてバイラテラルフィルタに関する技術が開示されている。

また、非特許文献２等では、画像の輪郭部分において画素値の空間方向の傾きを急峻にさせるバイラテラルフィルタに関する技術が開示されている。

また、非特許文献３等では、骨格成分とテクスチャ成分との分離に基づく画像拡大処理に関する技術が開示されている。この技術は、入力画像を骨格成分とテクスチャ成分とに分離し、各成分に適した補間法を採用することで、細かなテクスチャ成分を保存しつつ、輪郭付近にジャギーやリンギングを発生させることなく、輪郭を鮮鋭に保つ技術である。

特開２００２−１６８２０号公報

「バイラテラルフィルタによるノイズ除去とイラスト風画像の生成」浦浜喜一著、映像情報メディア学会誌Vol.62,No.8,pp.1268〜1273（2008） 「浦浜喜一,井上光平"バイラテラルフィルタのエッジ強調性"電子情報通信学会論文誌2003/3Vol.J86-ANo.3」 「齊藤隆弘,石井勇樹,中川陽介,小松隆"乗算型骨格/テクスチャ画像分離の画像処理への応用"電子情報通信学会論文誌DVol.J90-DNo.7pp.1682-1685 「非線形ディジタルフィルタとその応用」荒川薫、電子情報通信学会誌 Vol.77,No.8,pp844-852,1994年8月

しかしながら、上述した特許文献１等による従来技術によれば、画像の拡大処理によって、画像の輪郭のうち斜め線の部分や曲線の部分に出現する階段状のギザギザ、いわゆる、ジャギーや、画像の輪郭付近に発生する擬似輪郭、いわゆる、リンギングなどのノイズ成分が発生し、このジャギーやリンギングなどのノイズ成分を鮮鋭化処理で強調してしまう、あるいは低減することが困難であるという技術的な問題点が生じる。特に、このジャギーやリンギングなどのノイズ成分は、例えば画像の輪郭周辺、いわゆる、エッジ周辺などのように、隣接した画素間の画素値の差が大きい画素において発生しやすい。

本発明は、例えば上述した従来の問題点に鑑みなされたものであり、ノイズ成分の発生を効果的に抑制し、画質をより適切に改善することが可能な画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体を提供することを課題とする。

上記課題を解決するために、本発明に係る画像処理装置は、第１画像を取得する取得手段と、前記取得された第１画像からテクスチャ画像を抽出する抽出手段と、前記抽出されたテクスチャ画像を拡大する第１拡大手段と、前記取得された第１画像を拡大する第２拡大手段と、前記拡大された第１画像の輪郭に鮮鋭化処理を施すことにより輪郭が鮮鋭化されたベース画像を取得するベース画像取得手段と、前記拡大されたテクスチャ画像と、前記取得されたベース画像とを合成する合成手段とを備える。

本発明に係る画像処理装置によれば、例えばメモリ、プロセッサ等を備えて構成される取得手段によって、第１画像が取得される。例えばメモリ、プロセッサ等を備えて構成される抽出手段によって、取得された第１画像からテクスチャ画像が抽出される。ここに、本発明に係る「第１画像」は、例えばカメラ、ビデオカメラ等により撮像された例えば写真、動画を構成するフレーム画像、カラー画像や白黒画像等の画像を意味する。本発明に係る「テクスチャ画像」とは、各画素の画素値が周辺の画素と比べて小さく変化している成分で構成されている画像を意味する。典型的には、「テクスチャ画像」とは、画素値の変化が微小である画素によって構成される画像を意味する。本発明に係る「ベース画像」とは、画像からテクスチャ成分を殆どまたは完全に無くした画像を意味する。典型的には、「ベース画像」とは、画素値の変化が大きな輪郭部と、画素値の変化が一律である平坦部とによって構成される。また、本発明に係る「画素値」とは、例えば輝度、色度、又は彩度等の画素の特性レベルの大小を、画素単位で示した指標を意味する。また、本発明に係る「抽出」とは、典型的には、画像中のテクスチャ画像のみを、直接的又は間接的に「抽出」、「識別」、「選別」、「区別」、「認識」、「選択」、「取捨選択」等することを意味する。

例えばメモリ、プロセッサ等を備えて構成される第１拡大手段によって、抽出されたテクスチャ画像が拡大される。例えばメモリ、プロセッサ等を備えて構成される第２拡大手段によって、取得された第１画像が拡大される。

特に、例えばメモリ、プロセッサ等を備えて構成されるベース画像取得手段によって、拡大された第１画像の輪郭に鮮鋭化処理が施されることにより輪郭が鮮鋭化されたベース画像が取得される。ここに、本発明に係る「鮮鋭化処理」とは、画像の輪郭の画素値の空間方向の変化の傾きを急峻化させる画像処理を意味する。次に、合成手段によって、拡大されたテクスチャ画像と、取得されたベース画像とが合成される。

このように、本発明では、拡大処理を施した第１画像にバイラテラルフィルタまたはトリラテラルフィルタを用いて鮮鋭化処理を行っている。尚、バイラテラルフィルタに輪郭、いわゆる、エッジを鮮鋭化させる効果があることは非特許文献２を参照されたし。また、バイラテラルフィルタまたはトリラテラルフィルタはノイズ除去効果も合わせもっている。バイラテラルフィルタにノイズ除去効果があることは非特許文献１を参照されたし。ノイズは主に画像の微小な変化で構成されているため、テクスチャ成分と類似している。このため、鮮鋭化処理を施した画像はテクスチャ成分も除去される。よって、鮮鋭化処理を施して得られるベース画像は、画像の粒状感やディティール感が低減し、視覚上違和感のある画像になるので、実践上、大変好ましくない。そこで本発明では、第１画像から、バイラテラルフィルタやεフィルタを用いてフィルタ処理された第１画像を減算することによって、テクスチャ画像を抽出している。抽出したテクスチャ画像を拡大処理後、ベース画像と合成することで出力画像を得ている。これにより、輪郭、いわゆる、エッジが鮮鋭化され、しかも画像の粒状感やディティール感が失われていない画像を得ることができるので、実践上、大変好ましい。

このように、本発明では、第２拡大手段が入力画像に対して施されることにより、劣化したあるいは画像情報が欠落した画像ではない画像に対して画像処理を行えるので、輪郭部分がより鮮明になる視覚上の効果を得ることができ、実践上、大変好ましい。

仮に、第２拡大手段へ入力画像に分離処理を施した画像を入力した場合、それぞれ分離処理により輪郭を表現するための画像情報が劣化あるいは低減してしまい、第２拡大手段の後段の鮮鋭化処理部で画像の輪郭を鮮鋭化することが困難になってしまうという技術的な問題点が生じる。

本発明に係る画像処理装置の一の態様では、前記ベース画像取得手段は、バイラテラルフィルタ又はトリラテラルフィルタを用いて前記ベース画像を取得する。

また、本発明に係る画像処理装置の他の態様では、前記抽出手段は、前記取得された第１画像から、前記取得された第１画像にバイラテラルフィルタリング又はεフィルタリングを施した画像を減算することにより、前記テクスチャ画像を抽出する。

一般的に、画像の拡大処理によって、ジャギーやリンギングなどのノイズ成分が発生する度合いが高まる。特に、このジャギーやリンギングなどのノイズ成分は、例えば画像の輪郭周辺、いわゆる、エッジ周辺などのように、隣接した画素群の画素値の差が大きい位置において発生しやすい。このため、仮に、取得された第１画像に拡大処理を施した後に鮮鋭化処理を行った場合、この拡大処理の際に発生したジャギーやリンギングなどのノイズ成分が、第１画像を拡大した拡大画像において、さらに強調され、画像処理の結果、出力される画像において、ノイズ成分が発生する度合いが高まってしまう技術的な問題点が生じる。

これに対して、この態様によれば、ベース画像取得手段におけるバイラテラルフィルタ又はトリラテラルフィルタは、拡大された第１画像において発生したジャギーやリンギングなどのノイズ成分は、バイラテラルフィルタ等が有するノイズ除去作用によって、平滑化されると共に低減することが可能である。また、テクスチャ画像は、第１画像と、当該第１画像にバイラテラルフィルタリング又はεフィルタリングを施した画像との減算であるため、テクスチャ画像を構成する画素間の画素値の差は非常に小さい。これにより、このテクスチャ画像に対して、第１拡大手段による拡大処理を施した場合、ジャギーやリンギングなどのノイズ成分の発生を顕著に抑制することができる。

これらの結果、拡大処理で発生する可能性が高いジャギーやリンギングなどのノイズ成分の発生を効果的に抑制した画像を得ることができる。

本発明に係る画像処理装置の他の態様では、前記拡大されたテクスチャ画像に対して、前記拡大されたテクスチャ画像の性質に応じた補正を行う第１補正処理、及び、前記取得されたベース画像に対して、前記取得されたベース画像の性質に応じた補正を行う第２補正処理のうち少なくともいずれか一方の補正処理を施す補正手段を更に備え、前記合成手段は、前記少なくともいずれか一方の補正処理が施された後、前記テクスチャ画像と、前記ベース画像とを合成することを特徴とする請求の範囲第１項に記載の画像処理装置。

この態様によれば、テクスチャ画像と、ベース画像とを区別して、テクスチャ画像及びベース画像のそれぞれの性質に応じた適切な手法で、それぞれ補正することができる。この結果、画像処理の結果、出力される画像の画質をより高めることができる。

本発明に係る画像処理装置の他の態様では、前記補正手段は、前記第１補正処理として、前記拡大されたテクスチャ画像に対して、３次元ノイズリダクション処理、孤立点除去処理、非線形処理、及び乗算処理のうち少なくとも一つの補正を施し、前記拡大されたテクスチャ画像を補正する。

この態様によれば、補正手段は、第１補正処理として、画像の輪郭、即ち、エッジ部を含まないテクスチャ画像に対してのみ、時間軸方向のフィルタ処理である３次元ノイズリダクション処理、いわゆる、3DNR処理を行う。これにより、この3DNR処理は、画像の輪郭に何ら影響を与えない。これにより、ランダムノイズを3DNRで除去しつつ、残像の発生を効果的に低減可能であるので、実践上、大変有益である。

仮に、テクスチャ画像と、ベース画像とを区別して補正することなく、ベース画像に対して3DNR処理を行った場合、いわゆる、残像が発生する度合いが高まるという技術的な問題点が生じる。特に、この残像は、画像の輪郭、即ち、エッジ部において一般的に検知されるので、ベース画像、ひいては、ベース画像とテクスチャ画像とが合成されて出力される出力画像に残像が発生し、画質が低下してしまうという技術的な問題点が生じる。

或いは、補正手段は、第１補正処理として、テクスチャ画像に対してのみ孤立点除去処理を行う。これにより、この孤立点除去処理は、画像の輪郭、即ち、エッジ部などの画素値が大きく変化する画素部分の影響を殆ど又は完全に受けることなく、孤立点除去処理を行うため、孤立点等のノイズを検出する精度を高めると共に、ノイズ除去を効果的に行うことが可能であるので、実践上、大変有益である。

或いは、補正手段は、第１補正処理として、テクスチャ画像に対して、非線形処理や乗算器処理を行い、ベース画像に対して、非線形処理や乗算器処理を行わない。これにより、ベース画像におけるエッジ部や平坦部の画素値を維持可能であるので、いわゆる画像全体の画素値が上下することにより白潰れやあるいは黒潰れが発生することなく、画像の粒状感やディティール感が向上すると共に画像のコントラスト感を高めることが可能であるので、実践上、大変好ましい。

本発明に係る画像処理装置の他の態様では、前記補正手段は、前記第２補正処理として、前記取得されたベース画像に対して、グラデーション補正処理、及びトランジェント補正処理のうち少なくとも一つの処理を施し、前記取得されたベース画像を補正する。

この態様によれば、第２補正処理として、テクスチャ成分が低減されたベース画像に対して、グラデーション補正処理が施されるため、良好なグラデーション補正処理を行うことができる。具体的には、テクスチャ成分が低減されたベース画像において、画素値の段階的な変化に応じて、線形的に画素値を変化させることが可能であり、良好なグラデーション補正処理を行うことができる。

仮に、テクスチャ成分が多く含まれている画像に対して、グラデーション補正処理をかける場合、このテクスチャ成分が妨害となって正常にグラデーション補正処理を行うことができない可能性があるという技術的な問題点が生じる。

或いは、第２補正処理として、テクスチャ成分が低減されたベース画像に対して、トランジェント補正処理が施されるため、良好なトランジェント補正処理を行うことができる。具体的には、テクスチャ成分が低減されたベース画像において、テクスチャ成分に影響を与えることなく、輪郭周辺の画素値の段階的な変化に応じて、輪郭の傾きを急峻にすることが可能であり、良好なトランジェント補正処理を行うことができる。

仮に、テクスチャ成分が多く含まれている画像に対して、トランジェント補正処理をかける場合、このテクスチャ成分が妨害となって正常にトランジェント補正処理を行うことができない可能性があるという技術的な問題点が生じる。

本発明に係る画像処理装置の他の態様では、前記取得された一つの第１画像もしくは複数の第１画像群のうち各第１画像毎における任意の領域で周波数成分の分布を測定する測定手段を更に備え、前記ベース画像取得手段は、前記測定された周波数成分の分布に基づいて、前記ベース画像を取得することに加えて又は代えて、前記抽出手段は、前記測定された周波数成分の分布に基づいて、前記テクスチャ画像を抽出する。

この態様によれば、入力される多種多様な第１画像に対して、測定された周波数成分の分布に基づいて、画像の粒状感やディティール感の度合いを一定レベルに維持することが可能であるので、実践上、大変好ましい。

本発明に係る画像処理装置の他の態様では、前記ベース画像取得手段は、前記測定された周波数成分の分布に応じてタップ数、及びフィルタ係数のうち少なくとも一つを変化させ、前記ベース画像を取得することに加えて又は代えて、前記抽出手段は、前記測定された周波数成分の分布に応じてタップ数、及びフィルタ係数のうち少なくとも一つを変化させ、前記テクスチャ画像を抽出する。

ここに、本発明に係るタップ数とは、画像処理の対象となる画素の範囲を、画素の単位で表現した値を意味する。また、フィルタ係数とは、フィルタの特性を制御するパラメータを意味し、典型的には、εフィルタの場合、ε値もしくは非線形関数の選択を意味し、バイラテラルフィルタもしくはトリラテラルフィルタの場合、α値もしくはβ値を意味する。

この態様によれば、典型的には、測定された周波数成分の分布に含まれる高周波成分の頻度或いは頻度の時間積分が所定値を超える場合、タップ数を増加方向に変更し、上述の高周波成分の頻度或いは頻度の時間積分が所定値を超えない場合、タップ数を減少方向に変更してよい。

この結果、入力される多種多様な第１画像に対して、測定された周波数成分の分布に基づいてタップ数を変化させて、画像の粒状感やディティール感の度合いを、一定レベルに高精度で維持することが可能であるので、実践上、大変好ましい。

本発明に係る画像処理装置の他の態様では、前記測定手段は、前記第１画像を取得する際のシーン毎又はチャンネル毎に、前記周波数成分の測定を初期化する。

この態様によれば、入力される多種多様な第１画像に対して、画像の粒状感やディティール感の度合いを、一定レベルに高精度で維持することが可能である。

本発明に係る画像処理装置の他の態様では、前記ベース画像取得手段は、前記測定された分布に加えて前記第１画像を拡大するための拡大情報に基づいて、前記ベース画像を取得する。

この態様によれば、入力される多種多様な第１画像に対して、画像の粒状感やディティール感の度合いを、一定レベルに、より高精度で維持することが可能である。典型的には、測定された周波数成分の分布に基づくタップ数と拡大情報に含まれる拡大倍率との積をタップ数として設定してよい。

上記課題を解決するために、本発明の画像処理方法は、第１画像を取得する取得工程と、前記取得された第１画像からテクスチャ画像を抽出する抽出工程と、前記抽出されたテクスチャ画像を拡大する第１拡大工程と、前記取得された第１画像を拡大する第２拡大工程と、前記拡大された第１画像の輪郭に鮮鋭化処理を施すことにより輪郭が鮮鋭化されたベース画像を取得するベース画像取得工程と、前記拡大されたテクスチャ画像と、前記取得されたベース画像とを合成する合成工程とを備える。

本発明の画像処理方法によれば、上述した本発明の画像処理装置が有する各種利益を享受することが可能となる。尚、上述した本発明の画像処理装置が有する各種態様に対応して、本発明の画像処理方法も各種態様を採ることが可能である。

本発明の画像処理プログラムは、コンピュータを備える装置によって実行される画像処理プログラムであって、第１画像を取得する取得手段と、前記取得された第１画像からテクスチャ画像を抽出する抽出手段と、前記抽出されたテクスチャ画像を拡大する第１拡大手段と、前記取得された第１画像を拡大する第２拡大手段と、前記拡大された第１画像の輪郭に鮮鋭化処理を施すことにより輪郭が鮮鋭化されたベース画像を取得するベース画像取得手段と、前記拡大されたテクスチャ画像と、前記取得されたベース画像とを合成する合成手段として前記コンピュータを機能させる。

本発明に係る画像処理プログラムの実施形態によれば、当該コンピュータプログラムを格納するＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク等の記録媒体から、当該コンピュータプログラムをコンピュータに読み込んで実行させれば、或いは、当該コンピュータプログラムを、通信手段を介してコンピュータにダウンロードさせた後に実行させれば、上述した本発明の画像処理装置に係る実施形態を比較的簡単に実現できる。

尚、上述した本発明の画像処理装置に係る実施形態における各種態様に対応して、本発明の画像処理プログラムに係る各実施形態も各種態様を採ることが可能である。

本発明の記憶媒体は、上述した、画像処理プログラム（但し、各種の態様を含む）を記憶している。

本発明に係る記憶媒体の実施形態によれば、上述した画像処理プログラムを、コンピュータに読み取らせることで、コンピュータを上述した本発明の画像処理装置に係る実施形態として適切に、機能させることが可能である。

第１実施形態に係る画像処理装置の全体構成を示すブロック図である。 第１実施形態に係るテクスチャ分離部１１０の詳細構成を示したブロック図である。 第１実施形態に係るテクスチャ分離部のフィルタ処理部の一例であるεフィルタにおける非線形関数の具体例を示したグラフ（図３（ａ）ないし図３（ｄ））である。 第１実施形態に係る画像処理装置の動作の流れを示したフローチャートである。 第１実施形態に係る画像処理装置のテクスチャ分離部における各種の処理が行われた後、得られる画像を、画像上の位置及び画素値を用いて表現した画像の一の波形図（図５（ａ）ないし図５（ｃ））である。 第１実施形態に係る画像処理装置における各種の処理が行われた後、得られる画像を画像上の位置及び画素値を用いて表現した画像の他の波形図（図６（ａ）ないし図６（ｄ））である。 比較例に係る画像処理装置の全体構成を示すブロック図である。 第２実施形態に係る画像処理装置の全体構成を示すブロック図である。 第２実施形態に係るグラデーション補正処理を施した画像の波形図（図９（ａ））及び比較例に係るグラデーション補正処理を施した画像の波形図（図９（ｂ））である。 第３実施形態に係る画像処理装置の全体構成を示すブロック図である。 第３実施形態に係る入力画像の周波数成分と各周波数成分の頻度との定量的及び定性的な関係を示したグラフ（図１１（ａ）及び図１１（ｂ））である。

以下、図面を参照して本発明を実施するための最良の形態について説明する。

＜第１実施形態＞
（全体構成）
先ず、本発明の第１実施形態について説明する。図１は、第１実施形態に係る画像処理装置の全体構成を示すブロック図である。

図１に示されるように、第１実施形態に係る画像処理装置１００は、テクスチャ分離部１１０、拡大処理部１２０、拡大処理部１３０、鮮鋭化処理部１４０、加算器１５０を備えて構成されている。

入力画像は、テクスチャ分離部１１０、及び拡大処理部１３０にそれぞれ入力される。尚、入力画像によって、本発明に係る第１画像の一例が構成されている。

テクスチャ分離部１１０では入力画像からテクスチャ画像を分離し出力する。また、拡大情報が拡大処理部１２０と拡大処理部１３０に入力される。拡大情報は、入力画像を何倍に拡大するのかを指定した倍率に関する情報でよい、或いは、拡大情報は、拡大した後の画素数を指定した画素数に関する情報でよい。尚、本発明に係る取得手段の一例、及び、本発明に係る抽出手段の一例が、このテクスチャ分離部１１０によって構成されている。

拡大処理部１３０は入力画像を所定の画素数へ拡大処理し鮮鋭化処理部１４０に出力する。尚、本発明に係る第２拡大手段の一例が、この拡大処理部１３０によって構成されている。拡大処理部１２０は、テクスチャ画像を所定の画素数へ拡大処理し、加算器１５０へ出力する。尚、本発明に係る第１拡大手段の一例が、この拡大処理部１２０によって構成されている。

鮮鋭化処理部１４０では入力画像を拡大処理部１３０で拡大した画像をエッジ鮮鋭化処理しベース画像を出力する。尚、本発明に係るベース画像取得手段の一例が、この鮮鋭化処理部１４０によって構成されている。

ベース画像と拡大されたテクスチャ画像を加算器１５０で合成することで出力画像を得る。尚、本発明に係る合成手段の一例が、この加算器１５０によって構成されている。

（テクスチャ分離部の詳細構成）
次に、図２を参照して、第１実施形態に係るテクスチャ分離部１１０の詳細構成について説明する。ここに、図２は、第１実施形態に係るテクスチャ分離部１１０の詳細構成を示したブロック図である。

テクスチャ分離部１１０は、フィルタ処理部１１１、及び減算器１１２を備えて構成される。入力画像は、フィルタ処理部１１１、減算器１１２に入力される。フィルタ処理部１１１では、入力画像をエッジ維持フィルタ処理し出力する。入力画像からエッジ維持フィルタ処理された入力画像を減算器１１２で減算することでテクスチャ画像を得る。フィルタ処理部１１１は、エッジ維持効果のあるフィルタで構成され、εフィルタ及びバイラテラルフィルタのうちいずれか一方を用いてよい。

再び図１に戻る。

拡大処理部１３０と、拡大処理部１２０とでは、ニアレストネイバー、バイリニア補間、バイキュービック補間、the Lanczos-windowed sinc function filterによる補間を使用することができる。ただし、その他の拡大方法を排除するものではない。また、拡大処理部１３０と拡大処理部１２０とは、同じ拡大処理方法でも異なる拡大処理方法でも構わない。ただし、拡大処理部１３０ではジャギーやリンギングの発生が抑制されるニアレストネイバーなどの方式で行い、拡大処理部１２０では高周波成分の拡大が良好に行えるバイキュービック補間やthe Lanczos-windowed sinc function filterによる補間を使用する方法が推奨される。

鮮鋭化処理部１４０は、エッジ急峻化効果のあるバイラテラルフィルタ、及びトリラテラルフィルタのうちいずれか一方を用いてよい。本実施形態に係るバイラテラルフィルタは、フィルタの重み係数が、（ｉ）対象となる対象画素と着目画素との空間的な距離、及び（ｉｉ）対象画素の画素値と着目画素の画素値との差分という2つの要素から決まるフィルタを意味してよい。トリラテラルフィルタは、バイラテラルフィルタに第３の関数を追加した方式のフィルタである。典型的には、トリラテラルフィルタは、インパルスノイズの検出器を第３の重みとした方式のフィルタ或いは着目画素とその周辺画素との勾配に基づく関数を追加した方式のフィルタなどを挙げることができる。

（テクスチャ分離部のフィルタ処理部の一例であるεフィルタ）
次に、図３を参照して、テクスチャ分離部のフィルタ処理部の一例であるεフィルタについて説明する。ここに、図３は、第１実施形態に係るテクスチャ分離部のフィルタ処理部の一例であるεフィルタにおける非線形関数の具体例を示したグラフ（図３（ａ）ないし図３（ｄ））である。尚、図３（ａ）ないし図３（ｄ）において、横軸は、画素値xn-kと画素値xnとの差であるxを示し、縦軸は、非線形関数F(x)を示す。

非線形平滑化フィルタであるεフィルタは画素値の急峻な変化を損なうことなく当該画素を平滑化する際に有効なデジタルフィルタである。εフィルタは、フィルタ処理用の画素が１次元で2N+1タップの場合、次の式（１）によって表される。

…… （１）
ここで、関数Ｆ（ｘ）は、その関数値の絶対値((F(x))) （但し、((ａ))はａの絶対値を示す）が((F(x)))≦ε0に抑えられている非線形関数である。その例を図３に示す。上述の式（１）のεフィルタでは、入力と出力の画素値の差が、次の式（２）で定まる有限の値に抑えられている。

…… （２）
これにより、入出力画素値の差が±ε以内に制限され、画素値の急峻な変化が維持される。
ここで、bn-kに例えば図３（ａ）のＦ（ｘ）を採用した場合、bn-kは、次の式（３）によって表される。

…… （３）
このときεフィルタは、フィルタ処理の中心画素の画素値xnと周辺画素の画素値xn-kとの差の絶対値((xn−xn-k))を所定の閾値ε0と比較する。その結果、絶対値((xn−xn-k))が所定の閾値ε0よりも小さい場合は、画素値xn-kをbn-kに代入し、akを各タップ係数とした通常のローパスフィルタと同様の処理を行うことにより、中心画素を中心として画像を平滑化する。一方、絶対値((xn−xn-k))が所定の閾値ε0よりも大きい場合は、画素値xnをbn-kに代入し、画素値xn-kを画素値xnに置き換えた後に、中心画素を中心としたローパスフィルタ処理を行うことにより、画素値xn-kを無視した平滑化を行う。尚、概ね同様にして、bn-kに、図３（ｂ）に示されたＦ（ｘ）、図３（ｃ）に示されたＦ（ｘ）、又は図３（ｄ）に示されたＦ（ｘ）を採用してよい。また、εフィルタに関する詳細な内容については、『「非線形ディジタルフィルタとその応用」荒川薫、電子情報通信学会誌 Vol.77,No.8,pp844-852,1994年8月』を参照されたし。

以上によりエッジの急峻な変化をそのままに保存した平滑化を行うことができる。εフィルタは１次元のεフィルタを画像の水平方向及び垂直方向にそれぞれ適応することによって構成される場合と、２次元のεフィルタによって構成される場合とがある。

（鮮鋭化処理部の一例であるバイラテラルフィルタ）
次に、鮮鋭化処理部の一例であると共に、テクスチャ分離部のフィルタ処理部の一例であるバイラテラルフィルタについて説明する。

バイラテラルフィルタは非線形フィルタであり、エッジをなまらせずにノイズを平滑化する特徴がある。バイラテラルフィルタはガウス関数を重み係数とし、空間方向と画素値方向（階調方向）に対して重み付けを行っている。空間座標(x,y)での入力画素値をd(x,y)とし、座標(x,y)での出力画素値をf(x,y)とし、タップ数を2N+1とした場合、バイラテラルフィルタは次の式（４）によって表される。

…… （４）
ここでα、βはバイラテラルフィルタの係数であり、αを小さくすると空間方向の平滑範囲が広がり、βを小さくすると階調方向の平滑範囲が広がる。バイラテラルフィルタに関する詳細な内容については、『「バイラテラルフィルタによるノイズ除去とイラスト風画像の生成」浦浜喜一著、映像情報メディア学会誌Vol.62,No.8,pp.1268〜1273（2008）』を参照されたし。また、バイラテラルフィルタが有するエッジを急峻化する性質については、『「浦浜喜一,井上光平”バイラテラルフィルタのエッジ強調性”電子情報通信学会論文誌2003/3Vol.J86-ANo.3」』を参照されたし。

（動作原理）
次に、図４ないし図６を参照して、第１実施形態に係る画像処理装置の動作原理について説明する。ここに、図４は、第１実施形態に係る画像処理装置の動作の流れを示したフローチャートである。

図５は、第１実施形態に係る画像処理装置のテクスチャ分離部における各種の処理が行われた後、得られる画像を、画像上の位置及び画素値を用いて表現した画像の一の波形図（図５（ａ）ないし図５（ｃ））である。図６は、第１実施形態に係る画像処理装置における各種の処理が行われた後、得られる画像を画像上の位置及び画素値を用いて表現した画像の他の波形図（図６（ａ）ないし図６（ｄ））である。尚、図５（ａ）ないし図５（ｃ）並びに図６（ａ）ないし図６（ｄ）における、横軸は画像上の位置（即ち、画素位置）を表し、縦軸は、画素値を表している。

図４に示されるように、先ず、テクスチャ分離部１１０によって、画像中の画素を示す画素値Iが取得される（ステップＳ１０）。と同時に又は相前後して、拡大処理部１３０によって、画像中の画素を示す画素値Iが取得される（ステップＳ５０）。具体的には、図５（ａ）は入力画像を示している。入力画像は、画素値の変化が大きな輪郭部、及び画素値の変化が一律である平坦部を表すベース成分（即ち、本発明に係るベース画像の一例）と、画像の微小な変化を表すテクスチャ成分（即ち、本発明に係るテクスチャ画像の一例）とから構成されている。

上述したステップＳ１０に続いて、テクスチャ分離部１１０のフィルタ処理部１１１によって、画素値Iからフィルタ処理した画素値ＬＰ（Ｉ）が生成される（ステップＳ２０）。具体的には、図５（ｂ）に示された画像の波形図は、入力画像の輪郭部、いわゆる、エッジ部における画素値のレベル変化を維持するフィルタ処理を施すことで得られる。図５（ｂ）に示された画像においては、エッジ部における画素値のレベル変化を維持したままテクスチャ成分が除去されている。

次に、テクスチャ分離部１１０の減算器１１２によって、画素値Iから画素値ＬＰ（Ｉ）が減算されることによって、テクスチャ画像「Ｉ−ＬＰ（Ｉ）」が取得される（ステップＳ３０）。具体的には、図５（ｃ）に示されるテクスチャ画像が得られる。このテクスチャ画像は、入力画像からエッジを維持したフィルタ処理後の画像を減算することによって得られる。

次に、拡大処理部１２０によって、テクスチャ画像「Ｉ−ＬＰ（Ｉ）」に拡大処理を施すことによって、画像「ＥＸ１（Ｉ−ＬＰ（Ｉ））」が生成される（ステップＳ４０）。具体的には、図６（ａ）によって、図５（ｃ）に示されるテクスチャ画像を拡大したテクスチャ画像が示されている。

上述した拡大処理部１３０による、画像中の画素を示す画素値Iの取得（ステップＳ５０）に続いて、拡大処理部１３０によって、取得された画素値Iに拡大処理が施され、画像「ＥＸ２（Ｉ）」が生成される（ステップＳ６０）。具体的には、図６（ｂ）は、入力画像を拡大処理した画像を示している。

次に、鮮鋭化処理部１４０によって、鮮鋭化処理が施され、画像「ＢＩ（ＥＸ２（Ｉ））」が生成される（ステップＳ７０）。具体的には、図６（ｃ）は、ベース画像を示しており、拡大した入力画像に対して、鮮鋭化処理を施すことにより、エッジ部における画素値の変化をより急峻化させていることに加えて、画像からテクスチャ成分が除去されている。

最後に、ステップＳ８０において、ステップＳ４０にて生成された画像「ＥＸ１（Ｉ−ＬＰ（Ｉ））」と、ステップＳ７０にて生成された画像「ＢＩ（ＥＸ２（Ｉ））」とが、加算器１５０によって、合成されることで画像「ＥＸ１（Ｉ−ＬＰ（Ｉ））＋ＢＩ（ＥＸ２（Ｉ））」が生成され出力される。具体的には、図６（ｄ）は、出力画像を示しており、拡大したテクスチャ画像と上記ベース画像とを合成した画像「ＥＸ１（Ｉ−ＬＰ（Ｉ））＋ＢＩ（ＥＸ２（Ｉ））」が得られる。

上述したバイラテラルフィルタは非線形フィルタであり、エッジ部をなまらせずにノイズを平滑化する特徴があるが、エッジ部を急峻化する性質も持ち合わせている。本実施形態では、この性質を利用して拡大した入力画像のエッジ部を急峻化させ、鮮鋭なベース画像を得る。他方で、拡大した入力画像をバイラテラルフィルタ処理すると、画像の細かな変化を表すテクスチャ成分も除去されてしまう。そこで、本実施形態では、入力画像からテクスチャ画像を生成し、テクスチャ画像を拡大処理した画像とベース画像とを合成することで、エッジ部は鮮鋭化しつつディテール感を維持した画像を得ることができる。

＜第１実施形態における作用と効果の第１の検討＞
次に、図７を参照して、第１実施形態に係る画像処理装置の作用と効果とについて検討する。ここに、図７は、比較例に係る画像処理装置の全体構成を示すブロック図である。

図７に示されるように、比較例に係る画像処理装置１００ｃは、拡大処理部１０１ｃ、及び鮮鋭化処理部１４０cを備えて構成されている。拡大処理部１０１cは、入力画像を所定の画素数へ拡大する処理を行う。鮮鋭化処理部１４０cは、拡大された入力画像に対して鮮鋭化処理を行い、出力画像として出力する。

一般的に、画像の拡大処理によって、ジャギーやリンギングなどのノイズ成分が少なからず発生する。特に、このジャギーやリンギングなどのノイズ成分は、例えば画像の輪郭周辺、いわゆる、エッジ周辺などのように、隣接した画素間の画素値の差が大きい画素位置において発生しやすい。

このため、比較例においては、拡大処理部１０１ｃで発生したジャギーやリンギングなどのノイズ成分が、輪郭補正処理部１４０ｃにおいて、さらに強調され、出力画像にノイズ成分が発生する度合いが高まってしまうという技術的な問題点が生じる。

これに対して、本実施形態に係る鮮鋭化処理部１４０においては、拡大処理部１３０によって入力画像が拡大処理されることにより発生したジャギーやリンギングなどのノイズ成分は、バイラテラルフィルタが有するノイズ除去作用とエッジ鮮鋭化作用によって、平滑化されると共に低減される。また、テクスチャ画像は、入力画像と、フィルタ処理部１１１による入力画像のフィルタ処理を施した画像との減算であるため、上述した図５（ｃ）に示されるように、テクスチャ画像を構成する画素間の画素値の差は非常に小さい。これにより、このテクスチャ画像に対して拡大処理部１２０による拡大処理を施した場合、ジャギーやリンギングなどのノイズ成分の発生を顕著に抑制することができる。

この結果、本実施形態によれば、拡大処理で発生する可能性が高いジャギーやリンギングなどのノイズ成分の発生を効果的に抑制した画像を得ることができる。

＜第１実施形態における作用と効果の第２の検討＞
次に、第１実施形態に係る画像処理装置の作用と効果とについて、更に検討する。

一般的に、骨格成分とテクスチャ成分との分離に基づく画像拡大に関する技術では、分離処理にＴＶ（Total Variation）ノルムを使用した反復演算処理が行われている。ここで骨格成分とは、ベース成分と概ね類似の成分を意味する。また、骨格画像の補間処理においても周波数帯域への変換と、ＴＶノルムを使用した反復演算処理が行われる。このため、骨格成分とテクスチャ成分との分離に基づく画像拡大に関する技術では、画像処理量が膨大になってしまい、例えば通信回線を利用したオンライン方式の画像処理では、画像処理時間が長くなってしまうという技術的な問題が生じる。さらに骨格成分とテクスチャ成分との分離に基づく画像拡大に関する技術では、テクスチャ画像に加えて、骨格画像も分離処理によって生成される。即ち、次の式（５）の関係が成り立っている。

入力画像＝骨格画像＋テクスチャ画像＋α …… （５）
このため、骨格画像は入力画像に分離処理を施すことで取得しており、骨格画像のエッジ部の一部が分離処理の際に平滑化されてしまい、この平滑化された骨格画像を更に補間処理した場合、骨格画像のエッジ部の鮮鋭化効果が低減されてしまうという技術的な問題点が生じる。

これに対して、第１実施形態によれば、画像信号における周波数帯域への変換処理が行われないと共に、反復演算処理が行われない。これにより、画像処理の高速化を容易に実現可能であると共に画像処理量の低減を実現可能であると共に、画像処理の際のメモリ量を効果的に低減することができる。更に、入力画像に対して拡大処理を行った後に鮮鋭化処理を行っているので、エッジ部が平滑化されることなく保持されており、良好な鮮鋭化効果を得ることができる。

＜第２実施形態＞
（全体構成）
次に、図８及び図９を参照して、本発明の第２実施形態について説明する。図８は、第２実施形態に係る画像処理装置の全体構成を示すブロック図である。図９は、第２実施形態に係るグラデーション補正処理を施した画像の波形図（図９（ａ））及び比較例に係るグラデーション補正処理を施した画像の波形図（図９（ｂ））である。

尚、第２実施形態に係る構成要素において、上述した第１実施形態に係る構成要素と概ね同様な構成要素には、同一の符号番号を付し、それらの説明については、適宜省略する。加えて、第２実施形態の動作において、上述した第１実施形態の動作と概ね同様な動作についての説明も適宜省略する。

図８に示されるように、第２実施形態に係る画像処理装置２００は、テクスチャ分離部１１０、拡大処理部１２０、ノイズ除去処理部２１０、非線形処理部２２０、乗算器２３０、拡大処理部１３０、鮮鋭化処理部１４０、ベース画像補正処理部２４０、及び加算器１５０を備えて構成されている。尚、本発明に係る第１補正処理を行う補正手段の一例が、これらのノイズ除去処理部２１０、非線形処理部２２０、乗算器２３０のうち少なくとも一つによって構成されている。また、本発明に係る第２補正処理を行う補正手段の一例が、このベース画像補正処理部２４０によって構成されている。

ノイズ除去処理部２１０としては3DNR（ノイズリダクション）処理や孤立点除去処理が考えられる。3DNR処理は時間軸方向にフィルタ処理することで、ランダムノイズなどを除去することができる。孤立点除去処理は、テクスチャ成分がある程度の大きさ（領域）で分布すると考えて、孤立的に存在するテクスチャ成分はノイズと判断し除去することにより、ノイズ低減効果を持たせる方法である。

非線形処理部２２０はテクスチャ画像に非線形なフィルタ処理を行う。例えば、S字曲線処理を行うことで、低レベルのテクスチャ成分をノイズとして低減し、画像本来のテクスチャ成分が多く含まれると思われる中間的なレベルのテクスチャ成分のレンジを拡げ、あるレベル以上のテクスチャ成分は抑えるような特性にすることで、総合的な画質を向上する。

乗算器２３０は、テクスチャ成分の量を制御するもので、倍率L倍で指定する。L=0の場合は、テクスチャ画像から生成される画像は0になり、ベース画像から作成される画像のみが出力画像となる。0＜L＜1の場合は、テクスチャ画像から生成される画像が低減され、ベース画像から生成される画像と合成され出力される。L=1の場合は、乗算器が無い状態と同じになり、ベース画像から生成される画像とテクスチャ画像から生成される画像が同じ比率で合成され出力画像となる。L>1の場合は、テクスチャ画像から生成される画像が増強され、ベース画像から生成される画像と合成され出力画像となる。

ベース画像補正処理部２４０としては、グラデーション補正処理やトランジェント補正処理を施す画像処理部が考えられる。グラデーション補正処理は、階調の変化がなだらかな領域（グラデーション領域）を判別したときに、その領域内で低域通過フィルタ処理または線形補間を行うことによって、グラデーション領域内で均一な階調変化を実現する。トランジェント補正処理は、エッジの傾きを空間的な処理によって高める画像処理であり、輝度信号及び色信号のうち少なくともどちらか一方に対して施す画像処理である。

第２実施形態では、鮮鋭化処理部１４０によってエッジ鮮鋭化されつつ出力されたベース画像は、ベース画像補正処理部２４０を経由して加算器１５０に入力される。加えて、拡大処理部１２０によって拡大処理されつつ出力されたテクスチャ画像は、ノイズ除去処理部２１０、非線形処理部２２０、及び乗算器２３０を経由して加算器１５０に入力される。加算器１５０では、これら入力されたベース画像及びテクスチャ画像を合成して出力画像として出力する。

特に、第２実施形態では、鮮鋭化処理部１４０による鮮鋭化処理後のベース画像においては、エッジを保持した平滑化が行われ、このベース画像はエッジ部及び平坦部から構成されており、テクスチャ成分が大幅に低減されている。これにより、第２実施形態に係るベース画像補正部２４０では、テクスチャ成分が低減されたベース画像に対して、グラデーション補正処理が施されるため、良好なグラデーション補正処理を行うことができる。具体的には、図９（ａ）に示されるように、第２実施形態に係るグラデーション補正処理では、テクスチャ成分が低減されたベース画像において、画素値の段階的な変化に応じて、線形的に画素値を変化させること可能であり、良好なグラデーション補正処理を行うことができる。

仮に、テクスチャ成分が多く含まれている画像に対して、グラデーション補正処理をかける場合、図９（ｂ）に示されるように、このテクスチャ成分が妨害となって正常にグラデーション補正処理を行うことができない可能性があるという技術的な問題点が生じる。

加えて、第２実施形態に係るベース画像補正部２４０では、テクスチャ成分が低減されたベース画像に対して、トランジェント補正処理が施されるため、良好なトランジェント補正処理を行うことができる。具体的には、テクスチャ成分が低減されたベース画像において、テクスチャ成分に影響を与えることなく、輪郭周辺の画素値の段階的な変化に応じて、輪郭の画素値の変化の傾きを急峻にすることが可能であり、良好なトランジェント補正処理を行うことができる。

仮に、テクスチャ成分が多く含まれている画像に対して、トランジェント補正処理をかける場合、このテクスチャ成分が妨害となって正常にトランジェント補正処理を行うことができない可能性があるという技術的な問題点が生じる。

また、一般的に、画像に含まれるランダムノイズは、画像の画素値の微小な変化で構成される成分であるのでテクスチャ成分に類似する成分として分類される。特に、入力画像に対して時間軸方向のフィルタ処理である３次元ノイズリダクション、いわゆる、3DNR処理を行った場合、いわゆる残像が問題となる。また、この残像は特に、画像の輪郭、即ち、エッジ部において一般的に検知される傾向がある。

これに対して、第２実施形態に係るノイズ除去処理部２１０は、画像の輪郭、即ち、エッジ部を含まないテクスチャ画像に対してのみ3DNR処理を行っている。これにより、ノイズ除去処理部２１０での3DNR処理は、画像のエッジ部に何ら影響を与えない。これにより、第２実施形態によれば、ランダムノイズを3DNR処理で除去しつつ、残像の発生を効果的に低減可能であるので、実践上、大変有益である。

加えて、一般的に孤立点除去処理で除去されるノイズ成分も画像の画素値の微小な変化で構成される成分であるため、テクスチャ成分に類似する成分として分類される。

第２実施形態に係るノイズ除去処理部２１０においては、テクスチャ画像に対してのみ孤立点除去処理が行われる。これにより、ノイズ除去処理部２１０は、画像の輪郭、即ち、エッジ部などの画素値が大きく変化する画素部分の影響を殆ど又は完全に受けることなく、孤立点除去処理を行うため、孤立点等のノイズを検出する精度を高めると共に、ノイズ除去を効果的に行うことが可能であるので、実践上、大変有益である。

更に加えて、第２実施形態によれば、テクスチャ画像に対して、上述した非線形処理や乗算器処理を行い、ベース画像に対して、上述した非線形処理や乗算器処理を行わない。これにより、ベース画像におけるエッジ部や平坦部の画素値のレベルを維持可能であるので、いわゆる画像の粒状感やディティール感が向上すると共に画像のコントラストを高めることが可能であるので、実践上、大変好ましい。

＜第３実施形態＞
（全体構成）
次に、図１０及び図１１を参照して、本発明の第３実施形態について説明する。図１０は、第３実施形態に係る画像処理装置の全体構成を示すブロック図である。図１１は、第３実施形態に係る入力画像の周波数成分と各周波数成分の頻度との定量的及び定性的な関係を示したヒストグラム（図１１（ａ）及び図１１（ｂ））である。

尚、第３実施形態に係る構成要素において、上述した第１実施形態に係る構成要素と概ね同様な構成要素には、同一の符号番号を付し、それらの説明については、適宜省略する。加えて、第３実施形態の動作において、上述した第１実施形態の動作と概ね同様な動作についての説明も適宜省略する。

図１０に示されるように、第３実施形態に係る画像処理装置３００は、テクスチャ分離部１１０、拡大処理部１２０、拡大処理部１３０、鮮鋭化処理部１４０、加算器１５０、周波数分析処理部３１０を備えて構成されている。尚、本発明に係る測定手段の一例が、この周波数分析処理部３１０によって構成されている。

周波数分析処理部３１０は、入力画像の空間周波数成分を分析し、その分析結果及び拡大情報に基づいて、鮮鋭化処理部においてタップ数、及びフィルタ係数のうち少なくとも一つの設定を行うと共に、周波数分析処理部３１０は、入力画像の空間周波数成分を分析し、その分析結果に基づいて、テクスチャ分離部においてタップ数、及びフィルタ係数のうち少なくとも一つの設定を行う。入力画像は、テクスチャ分離部１１０、拡大処理部１２０及び周波数分析処理部３１０にそれぞれ入力される。上述した拡大情報は、拡大処理部１２０、拡大処理部１３０、及び周波数分析処理部３１０にそれぞれ入力される。周波数分析処理部３１０による周波数分析の結果に関する情報は、テクスチャ分離部１１０、及び鮮鋭化処理部１４０にそれぞれ入力される。

空間周波数成分の分析方法として、ウェーブレット（Wavelet）変換、フーリエ（Fourier）変換、ＤＣＴ（DiscreteCosineTransform）変換、及びアダマール変換のうちいずれかの処理を行い周波数分布の統計量を求める。この統計値から画像の鮮鋭度を判定しタップ数、及びフィルタ係数のうち少なくとも一つの設定を行う。周波数分析処理部からテクスチャ分離部のフィルタ処理部に対して設定されるフィルタ係数としては、εフィルタの場合、ε値、及び非線形関数の選択を挙げることができる。バイラテラルフィルタの場合、フィルタ係数としては、係数α、及び係数βを挙げることができる。周波数分析処理部から鮮鋭化処理部へのパラメータ設定としては係数α、係数βがある。ここで、ε値は、上述の式（３）におけるε0を意味する。また、非線形関数の選択は、図３（ａ）ないし図３（ｄ）の非線形関数のうち一つを選択することを意味する。また、係数αは、上述の式（４）におけるαを意味する。また、係数βは、上述の式（４）におけるβを意味する。

一例として、入力画像をフーリエ変換し周波数領域に展開する。周波数領域に展開された画像データをヒストグラム処理し、周波数分布の統計量を求める。この統計量に基づいて、図１１（ｂ）に示されるように、例えば、低域成分の頻度と、概ね同様の頻度で高域成分が存在し、高域成分が含まれる度合いが大きい場合、鮮鋭度が高いと判断してよい。他方、図１１（ａ）に示されるように、例えば、低域成分の頻度と比較して、高域成分の頻度が高域になるに従って減少し、ひいては高域成分の頻度が無くなっており、高域成分に含まれる度合いが小さい場合、鮮鋭度が低いと判断してよい。

典型的には、鮮鋭度が高い場合、タップ数を増加方向に変更し、鮮鋭度が低い場合、タップ数を減少方向に変更してよい。急激な変更を避けるため、鮮鋭度の高低に関わらずにタップ数の変更をゼロにした遷移する区間を持つように考慮してよい。また、上記処理は一枚の画像で行ってもよいが、一枚のあるブロック領域だけで行ってもよい。さらに絵柄によって周波数分布が変化することを考慮して複数枚の画像の蓄積値または平均値から周波数分布の統計量を求めてもよい。周波数分析処理はシーンチェンジやチャンネルチェンジによってリセット処理する方法も考えられる。また、拡大情報を使用する一例として、空間周波数成分の分析からタップ数が求めた後に、拡大情報を考慮してタップ数を増加させる。例えば拡大情報が水平画素数、垂直画素数ともn倍に拡大指定されていた場合、次の式（６）によって指定タップ数を決定してよい。

指定タップ数＝ （分析結果のタップ数） × ｎ …… （６）
但し、ｎは拡大率。

以上の結果、第３実施形態によれば、周波数分析処理部３１０によって入力画像の鮮鋭度を事前に判別することによって、多種多様な入力画像に対して、上述した画像の粒状感やディティール感の度合いを、一定レベルに維持することが可能であるので、実践上、大変好ましい。

本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像処理装置、画像処理方法、画像処理プログラム、及び、記憶媒体もまた本発明の技術的範囲に含まれるものである。

本発明は、例えばデジタルカメラ、例えば液晶TV、PDP、有機EL等のディスプレイ装置、例えばDVD、Blu-ray、HD-DVD、HDDレコーダ、パソコン等の画像再生装置、例えば、地上デジタル放送受信端末、ケーブルデジタル放送受信端末、衛星デジタル放送受信端末、IP放送受信端末、カーナビ、携帯電話、ワンセグ受信機器等のデジタル放送受信装置などの画像処理装置、及び、当該画像処理装置における画像処理方法に利用可能である。加えて、本発明は、例えば静止画及び動画編集ソフトウェア、静止画及び動画再生ソフトウェアなどの画像処理方法、画像処理プログラム、及び、当該画像処理プログラムが記憶される記憶媒体に利用可能である。

１００…画像処理装置、１１０…テクスチャ分離部、１１１…フィルタ処理部、１１２…減算器、１２０…拡大処理部、１３０…拡大処理部、１４０…鮮鋭化処理部、１５０…加算器、２００…画像処理装置、２１０…ノイズ除去処理部、２２０…非線形処理部、２３０…乗算器、２４０…ベース画像補正処理部、３００…画像処理装置、３１０…周波数分析処理部。

Claims (13)

1. 第１画像を取得する取得手段と、
   前記取得された第１画像からテクスチャ画像を抽出する抽出手段と、
   前記抽出されたテクスチャ画像を拡大する第１拡大手段と、
   前記取得された第１画像を拡大する第２拡大手段と、
   前記拡大された第１画像の輪郭に鮮鋭化処理を施すことにより輪郭が鮮鋭化されたベース画像を取得するベース画像取得手段と、
   前記拡大されたテクスチャ画像と、前記取得されたベース画像とを合成する合成手段と
   を備えることを特徴とする画像処理装置。
2. 前記ベース画像取得手段は、バイラテラルフィルタ又はトリラテラルフィルタを用いて前記ベース画像を取得することを特徴とする請求の範囲第１項に記載の画像処理装置。
3. 前記抽出手段は、前記取得された第１画像から、前記取得された第１画像にバイラテラルフィルタリング又はεフィルタリングを施した画像を減算することにより、前記テクスチャ画像を抽出することを特徴とする請求の範囲第１項に記載の画像処理装置。
4. 前記拡大されたテクスチャ画像に対して、前記拡大されたテクスチャ画像の性質に応じた補正を行う第１補正処理、及び、前記取得されたベース画像に対して、前記取得されたベース画像の性質に応じた補正を行う第２補正処理のうち少なくともいずれか一方の補正処理を施す補正手段を更に備え、
   前記合成手段は、前記少なくともいずれか一方の補正処理が施された後、前記テクスチャ画像と、前記ベース画像とを合成することを特徴とする請求の範囲第１項に記載の画像処理装置。
5. 前記補正手段は、前記第１補正処理として、前記拡大されたテクスチャ画像に対して、３次元ノイズリダクション処理、孤立点除去処理、非線形処理、及び乗算処理のうち少なくとも一つの補正を施し、前記拡大されたテクスチャ画像を補正することを特徴とする請求の範囲第４項に記載の画像処理装置。
6. 前記補正手段は、前記第２補正処理として、前記取得されたベース画像に対して、グラデーション補正処理、及びトランジェント補正処理のうち少なくとも一つの処理を施し、前記取得されたベース画像を補正することを特徴とする請求の範囲第４項に記載の画像処理装置。
7. 前記取得された一つの第１画像もしくは複数の第１画像群のうち各第１画像毎における任意の領域で周波数成分の分布を測定する測定手段を更に備え、
   前記ベース画像取得手段は、前記測定された周波数成分の分布に基づいて、前記ベース画像を取得することに加えて又は代えて、
   前記抽出手段は、前記測定された周波数成分の分布に基づいて、前記テクスチャ画像を抽出することを特徴とする請求の範囲第１項に記載の画像処理装置。
8. 前記ベース画像取得手段は、前記測定された周波数成分の分布に応じてタップ数、及びフィルタ係数のうち少なくとも一つを変化させ、前記ベース画像を取得することに加えて又は代えて、
   前記抽出手段は、前記測定された周波数成分の分布に応じてタップ数、及びフィルタ係数のうち少なくとも一つを変化させ、前記テクスチャ画像を抽出することを特徴とする請求の範囲第７項に記載の画像処理装置。
9. 前記測定手段は、前記第１画像を取得する際のシーン毎又はチャンネル毎に、前記周波数成分の測定を初期化することを特徴とする請求の範囲第７項に記載の画像処理装置。
10. 前記ベース画像取得手段は、前記測定された分布に加えて前記第１画像を拡大するための拡大情報に基づいて、前記ベース画像を取得することを特徴とする請求の範囲第７項に記載の画像処理装置。
11. 第１画像を取得する取得工程と、
    前記取得された第１画像からテクスチャ画像を抽出する抽出工程と、
    前記抽出されたテクスチャ画像を拡大する第１拡大工程と、
    前記取得された第１画像を拡大する第２拡大工程と、
    前記拡大された第１画像の輪郭に鮮鋭化処理を施すことにより輪郭が鮮鋭化されたベース画像を取得するベース画像取得工程と、
    前記拡大されたテクスチャ画像と、前記取得されたベース画像とを合成する合成工程と
    を備えることを特徴とする画像処理方法。
12. コンピュータを備える装置によって実行される画像処理プログラムであって、
    第１画像を取得する取得手段と、
    前記取得された第１画像からテクスチャ画像を抽出する抽出手段と、
    前記抽出されたテクスチャ画像を拡大する第１拡大手段と、
    前記取得された第１画像を拡大する第２拡大手段と、
    前記拡大された第１画像の輪郭に鮮鋭化処理を施すことにより輪郭が鮮鋭化されたベース画像を取得するベース画像取得手段と、
    前記拡大されたテクスチャ画像と、前記取得されたベース画像とを合成する合成手段として前記コンピュータを機能させることを特徴とする画像処理プログラム。
13. 請求の範囲第１２項に記載の画像処理プログラムを記憶したことを特徴とする記憶媒体。

Images