JP4455897B2

JP4455897B2 - 画像処理方法および装置並びにプログラム

Info

Publication number: JP4455897B2
Application number: JP2004033291A
Authority: JP
Inventors: 嘉郎北村; 渡伊藤
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2004-02-10
Filing date: 2004-02-10
Publication date: 2010-04-21
Anticipated expiration: 2024-02-10
Also published as: US20050175247A1; US20070071353A1; JP2005227838A; US7529425B2; US7356194B2

Description

本発明は写真画像に対して、画質を向上させる処理、具体的には、ノイズ成分、肌上のシワ、シミなどを抑制する処理を行う画像処理方法および装置並びにそのためのプログラムに関するものである。

人物の顔を含む写真画像（以下略して単に画像という）からシワやシミなどを抑制、除去する美肌処理が従来行われている。例えば、ノイズ除去に通常用いられるローパスフィルタ（ＬＰＦ）を適用することができる。しかし、ＬＰＦは、画像からシワ、シミおよびノイズ成分を抑制することができる一方、画像信号中のエッジ部分を劣化させてしまい、画像全体をぼかしてしまうという欠点がある。

また、シワや、シミなどの成分の多くが、画像の高周波数成分に小振幅の信号として存在することを利用して、画像中の小振幅の高周波ノイズ成分を分離し抑制するために考案されたε−フィルタ（ε−分離非線形デジタルフィルタ）をシワ、シミなどの除去に適用することも行われている（非特許文献１）。ε−フィルタは、画像信号中の小振幅のレベル変化のみを平坦化する特性を有しているため、ε―フィルタを用いて処理した画像は、急峻なレベル変化を有するエッジが保存され、全体のキレが殆ど損なわれない。

ε−フィルタは、基本的に、振幅のレベルの変化量に対して非線形関数を適用して得た値を元の画像信号から減算するように作用するものである。この非線形関数は、信号の振幅が所定の閾値（ε０）より大きいとき、出力を０とする関数である。すなわち、ε−フィルタを適用した場合、画像中の、振幅が前述閾値より大きい部位では、非線形関数の出力が０であり、処理後の画像においては、その部位の元の信号が保持される一方、振幅が前述閾値以下の部位では、処理後の画像においては、その部位の信号値が元の信号値から非線形関数の出力（その絶対値が０より大きい）を引いた値になる。こうすることによって、いわゆるノイズではないが、小振幅の明暗変化を呈するシワや、シミなどの部位において、明暗変化が平滑され、シワ、シミなどを目立たなくさせることができると共に、振幅の大きいエッジ部分を保持することができる。

また、特許文献１には、シワ、シミを除去しつつ、肌の肌理、質感を保持するために、閾値ε_０の値が大きい非線形関数を適用してシワなどの成分を抽出し、閾値ε_０の値が小さい非線形関数を適用して肌の肌理、質感を表す成分を抽出する。そして、元の信号からシワなどの成分を減ずると共に、肌の肌理、質感を表す成分を加算することによって、シワ、シミなどを除去しつつ、肌の肌理、質感を保持する方法が提案されている。

また、従来より、画像中の複数の異なる周波数帯域の信号を抽出する技術が提案されている。例えば、特許文献２には、原画像に基づいて、互いに周波数応答特性が異なる複数のボケマスク画像（非鮮鋭マスク画像）を作成し、原画像およびこれらの複数の非鮮鋭マスク画像、またはこれらの複数の非鮮鋭マスク画像に基づいて原画像の複数の異なる周波数帯域の信号を夫々表す複数の帯域制限画像を作成する方法が記載されている。また、特許文献３には、非鮮鋭マスク画像を作成する際の計算量を軽減し、効率良く非鮮鋭マスク画像を作成する方法が記載されている。
特開２００１−１１８０６４号公報特開平１０−７５３９５号公報特開平９−１５３１３２号公報荒川ほか、「ベクトルε−フィルタによるカラー顔画像処理−皺成分の除去」１９９８年３月電子情報通信学会総合大会予稿集、Ｄ−１１−４３、ＰＰ１４３−

しかしながら、シワ、シミなどの成分は、高周波数帯域に多く存在するものの、高い周波数帯域から低い周波数帯域までの各々の周波数帯域に亘って存在するものである。上述したε−フィルタを利用した美肌処理方法は、１つの周波数帯域のみにおいてシワ、シミなどの成分を抽出して原画像から抽出された成分を減算するようにしているため、シワ、シミなどの成分を消し切ることができない。また、１つの周波数帯域でシワなどの成分を抽出する前述の方法は、シワ、シミなどを除去する効果を良くするためには、この１つの周波数帯域でフィルタリングを強める、すなわち前述したシワ、シミなどを抽出するための閾値ε０を大きくするしかないため、アーチファクトが発生し易く、処理後の画像の画質が良くないという問題がある。

本発明は、上記事情に鑑み、シワ、シミ乃至ノイズが効果的に除去されると共に、画質の良い処理済み画像を得ることができる画像処理方法および装置並びにそのためのプログラムを提供することを目的とするものである。

本発明の画像処理方法は、写真画像に基づいて、該写真画像の複数の周波数帯域ごとの成分を表す複数の帯域制限画像を作成し、
出力値の絶対値を入力値の絶対値以下にする処理であって、かつ絶対値が所定の閾値以下である入力値に対しては、該入力値の絶対値が大きいほど出力値の絶対値が大きくなる一方、絶対値が前記所定の閾値より大きい入力値に対しては、出力値の絶対値が前記閾値に対応する出力値の絶対値以下となる非線形変換処理を各前記帯域制限画像の夫々の画素値に対して施して複数の変換画像を得、
所定の減算係数を前記複数の変換画像の画素値に乗算し、
前記写真画像の画素値から、前記減算係数を乗算された前記複数の変換画像の画素値を減算して処理済み画像の画素値を得ることを特徴とするものである。

ここで、「写真画像」とは、デジタルカメラなどで被写体を撮像した得たデジタル画像は勿論、スキャナなどの読取装置で銀塩写真フィルムや、印刷物（例えばプリント）などにある画像を読み取って得たデジタル画像も含むものである。以下、説明上の便宜のため、単に画像というものも、写真画像を意味するものとする。

また、前記所定の減算係数は、前記写真画像の各画素に対して同じものを用いてもよいが、前記写真画像の画素値に応じて決められたものであることが好ましい。

画像において、ノイズや、シワなどの成分は、画像の画素値に対応した異なる存在態様を有するものである。例えば、ノイズは、画像中の暗い部分（すなわち輝度値が小さい部分）に多く発生するため、画素値が大きいほど小さい（逆に画像値が小さいほど大きい）減算係数を用いるようにすると、ノイズ除去効果を高めることができる。

また、シワ、シミなどの成分は、髪の毛などより明るい肌部分に存在するので、画素値、例えば輝度値が大きいほど大きい（逆に画素値が小さいほど小さい）減算係数を用いるようにすると、ノイズ成分を除去することができると共に、特にシワ、シミ成分を抑制する効果、所謂美肌効果を得ることができる。

また、前記非線形変換処理は、絶対値が前記所定の閾値より大きい入力値に対して、出力値の絶対値がほぼ一定となる処理であることが好ましい。

また、前記所定の閾値は、処理する前記帯域制限画像の周波数帯域に応じて決められたものであることが好ましい。

本発明の画像処理装置は、写真画像に基づいて、該写真画像の複数の周波数帯域ごとの成分を表す複数の帯域制限画像を作成する帯域制限画像作成手段と、
出力値の絶対値を入力値の絶対値以下にする処理であって、かつ絶対値が所定の閾値以下である入力値に対しては、該入力値の絶対値が大きいほど出力値の絶対値が大きくなる一方、絶対値が前記所定の閾値より大きい入力値に対しては、出力値の絶対値が前記閾値に対応する出力値の絶対値以下となる非線形変換処理を各前記帯域制限画像の夫々の画素値に対して施して複数の変換画像を得る非線形変換手段と、
所定の減算係数を前記複数の変換画像の画素値に乗算すると共に、前記写真画像の画素値から、前記減算係数を乗算された前記複数の変換画像の画素値を減算して処理済み画像の画素値を得る周波数抑制手段とを有してなることを特徴とするものである。

ここで、前記所定の減算係数が、前記写真画像の画素値に応じて決められたものであることが好ましい。

さらに、特にシワ、シミなどの成分を抑制する美肌処理の効果を高めるために、前記所定の減算係数は、前記写真画像の画素値に応じて、該画素値が大きいほど小さくなるように決められたものであることが好ましい。

また、前記非線形変換手段は、絶対値が前記所定の閾値より大きい入力値に対して、出力値の絶対値がほぼ一定となるように処理するものであることが好ましい。

また、前記非線形手段に用いられる前記所定の閾値は、処理する前記帯域制限画像の周波数帯域に応じて決められたものであることが好ましい。

本発明のプログラムは、本発明の画像処理方法をコンピュータに実行させるものである。

本発明の画像処理方法および装置並びにそのためのプログラムは、処理対象となる写真画像に基づいて作成されたこの写真画像の複数の異なる周波数帯域ごとの成分を表す複数の帯域制限画像に対して非線形変換処理を施して複数の変換画像を得る。この非線形変換処理は、出力値の絶対値を入力値の絶対値以下にする処理であって、かつ絶対値が所定の閾値以下の入力値に対しては、入力値の絶対値が大きいほど出力値の絶対値が大きくなる一方、絶対値が所定の閾値より大きい入力値に対しては、出力値の絶対値がこの所定の閾値に対応する出力値の絶対値以下となる処理である。この非線形変換処理により得られた変換画像が、当該変換画像が対応する周波数帯域におけるシワ、シミ乃至ノイズなどの振幅の小さい成分を表すものである。本発明は、この複数の変換画像の画素値に所定の減算係数を乗算して、元の写真画像の画素値から減算して処理済み画像の画素値を得るようにしているので、写真画像から複数の周波数帯域におけるシワ、シミ乃至ノイズなどの成分を効果的に除去することができる。

また、１つの周波数帯域におけるシワ、シミなどの成分を抽出する従来の美肌処理技術では、美肌効果を上げるために、この１つの周波数帯域における非線形処理を強める（すなわち、シワ、シミなどの成分を抽出するための閾値を大きくする）必要があり、処理済み画像にはアーチファクトが発生し、画質低下という問題があった。それに対して、本発明は、複数の周波数帯域からシワ、シミ乃至ノイズなどの成分を除去するようにし、個々の周波数帯域における非線形処理をそれほど強めなくても良いノイズ除去効果または美肌効果を得ることができるので、アーチファクトの発生を防ぎ、画質の良い処理済み画像を得ることができる。

以下、図面を参照して、本発明の実施形態について説明する。

図１は、本発明の実施形態となる画像処理装置の構成を示すブロック図である。なお、本実施形態の画像処理装置は、入力された写真画像に対して美肌処理を行うものであり、補助記憶装置に読み込まれた美肌処理プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、この美肌処理プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。

また、画像データは画像を表すものであるため、以下、特に画像と画像データの区別をせずに説明を行う。

図１に示すように、本実施形態の画像処理装置は、原画像Ｓ０の互いに周波数応答特性が異なる複数のボケ画像Ｓ１、Ｓ２、・・・Ｓｎ（ｎ：２以上の整数）を作成するボケ画像作成手段１０と、原画像Ｓ０およびボケ画像Ｓ１、Ｓ２、・・・Ｓｎを用いて複数の帯域制限画像Ｔ１、Ｔ２、・・・Ｔｎを作成する帯域制限画像作成手段２０と、帯域制限画像Ｔ１、Ｔ２、・・・Ｔｎに対して非線形変換処理を夫々施して各帯域制限画像が対応する周波数帯域におけるシワ成分Ｑ１、Ｑ２、・・・Ｑｎを抽出するシワ成分抽出手段３０と、原画像Ｓ０からシワ成分を除去してシワ除去済み画像Ｓ´０（Ｙ１）を得るシワ成分除去手段４０とを有し、これらの手段が輝度空間において処理を行うものであるため、本実施形態の画像処理装置は、入力された画像Ｄ０（Ｒ０，Ｇ０，Ｂ０）に対してＹＣＣ変換を行って画像Ｄ０の輝度Ｙ０（これらの輝度成分Ｙ０により前述した原画像Ｓ０が構成される）、色差Ｃｂ０、Ｃｒ０を得るＹＣＣ変換手段１と、シワ成分除去手段４０により得られたシワ除去済み画像Ｓ´０の画素値Ｙ１、およびＹＣＣ変換手段１により得られた色差Ｃｂ０、Ｃｒ０とから構成される画像を処理済み画像Ｄ１（Ｙ１，Ｃｂ０，Ｃｒ０）として出力する出力手段５０とも有する。以下、本実施形態の各構成の詳細について説明する。

ＹＣＣ変換手段１は、下記の式（１）に従って、画像データＤ０のＲ、Ｇ、Ｂ値を輝度値Ｙ、色差値Ｃｂ、Ｃｒに変換する。

Ｙ＝０．２９９０×Ｒ＋０．５８７０×Ｇ＋０．１１４０×Ｂ
Ｃｂ＝−０．１６８７×Ｒ−０．３３１３×Ｇ＋０．５０００×Ｂ＋１２８（１）
Ｃｒ＝０．５０００×Ｒ−０．４１８７×Ｇ−０．０８１３×Ｂ＋１２８

ボケ画像作成手段１０は、ＹＣＣ変換手段１により得られた輝度値Ｙ０を用いて、複数のボケ画像を作成する。図２は、ボケ画像作成手段１０の構成を示すブロック図である。本実施形態の画像処理装置において、ボケ画像作成手段１０は、特許文献２および特許文献３に記載の方法でボケ画像を作成するものである。図示のように、ボケ画像作成手段１０は、フィルタリング処理を行ってフィルタリング画像Ｂ１、Ｂ２、・・・Ｂｎを得るフィルタリング手段１２と、各フィルタリング画像に対して補間処理を行う補間手段１４と、フィルタリング手段１２および補間手段１４を制御する制御手段１６とを有してなるものである。フィルタリング手段１２は、ローパスフィルタを用いてフィルタリング処理を行うものであり、このローパスフィルタとしては、例えば図３に示すような５×１のグリッド状の１次元ガウス分布に略対応したフィルタＦを用いることができる。このフィルタＦは下記の式（２）において、σ＝１としたものである。

フィルタリング手段１２は、このようなフィルタＦを用いて処理対象となる画像に対して画素のｘ方向およびｙ方向に対してフィルタリング処理を施すことにより処理対象の画像の全体のフィルタリング処理を行う。

図４は、ボケ画像作成手段１０の制御手段１６が、フィルタリング手段１２と補間手段１４に行わせる処理の詳細を示している。図示のように、フィルタリング手段１２は、まず、原画像Ｓ０（Ｙ０）に対して、図３に示すフィルタＦを用いて１画素おきにフィルタリング処理を行う。このフィルタリング処理によってフィルタリング画像Ｂ１（Ｙ１）が得られる。フィルタリング画像Ｂ１のサイズは、原画像Ｓ０のサイズの１／４（ｘ方向、ｙ方向に夫々１／２）となっている。次いで、フィルタリング手段１２は、フィルタリング画像Ｂ１（Ｙ１）に対しても１画素おきにフィルタＦによるフィルタリング処理を施し、フィルタリング画像Ｂ２（Ｙ２）を得る。フィルタリング手段１２は、このようなフィルタＦによるフィルタリング処理を繰り返し、ｎ個のフィルタリング画像Ｂｋ（ｋ＝１〜ｎ）を得る。フィルタリング画像Ｂｋのサイズは、原画像Ｓ０のサイズの１／２^２Ｋとなっている。図５は、例としてｎ＝３としたときに、フィルタリング手段１２により得られた各フィルタリング画像Ｂｋの周波数特性を示している。図示のように、フィルタリング画像Ｂｋのレスポンスはｋが大きいほど高周波成分が除去されたものとなっている。

なお、本実施形態の画像処理装置において、フィルタリング手段１２は、図３に示すフィルタＦにより画像のｘ方向およびｙ方向に対してフィルタリング処理を施すようにしているが、図６に示すような５×５の２次元フィルタにより原画像Ｓ０およびフィルタリング画像Ｂｋに対して一度にフィルタリング処理を施すようにしてもよい。

補間手段１４は、フィルタリング手段１２により得られた各フィルタリング画像Ｂｋに対して補間処理を行って、夫々のフィルタリング画像Ｂｋのサイズを原画像Ｓ０と同じようにする。補間処理の方法は、Ｂスプラインによる方法など種々挙げられるが、本実施形態においては、フィルタリング手段１２は、ローパスフィルタとしてガウス信号に基づくフィルタＦを用いているため、補間手段１４は、補間処理の補間演算を行うための補間係数としてもガウス信号を用いるものであり、この補間係数は、下記の式（３）において、σ＝２^Ｋ−１と近似したものである。

フィルタリング画像Ｂ１を補間する際に、ｋ＝１であるため、σ＝１となる。上記式（３）においてσ＝１としたときの補間を行うためのフィルタは、図７に示すような５×１の１次元フィルタＦ１となる。補間手段１４は、まず、フィルタリング画像Ｂ１に対して１画素おきに値が０の画素を１ずつ補間することによりフィルタリング画像Ｂ１を原画像Ｓ０と同じサイズに拡大し、次いで拡大された画像に対して図７に示すフィルタＦ１によりフィルタリング処理を施してボケ画像Ｓ１を得る。このボケ画像Ｓ１は、原画像Ｓ０と同じ画素数、すなわち原画像Ｓ０と同じサイズを有する。

ここで、図７に示すフィルタＦ１は５×１のフィルタであるが、フィルタＦ１を適用する前にフィルタリング画像Ｂ１に対して１画素おきに値が０である画素を補間しているので、補間手段１４による補間処理は、実質的には２×１のフィルタ（０．５，０．５）および３×１のフィルタ（０．１，０．８，０．１）の２種類のフィルタによるフィルタ処理と等価である。

補間手段１４は、フィルタリング画像Ｂ２に対して補間を行う際に、ｋ＝２であるため、σ＝２である。上記の式（３）において、σ＝２に対応するフィルタは、図８に示す１１×１の１次元フィルタＦ２となる。補間手段１４は、まず、フィルタリング画像Ｂ２に対して１画素おきに値が０である画素を３つずつ補間することによりフィルタリング画像Ｂ２を原画像Ｓ０と同じサイズに拡大し、次いで拡大された画像に対して図８に示すフィルタＦ２によりフィルタリング処理を施してボケ画像Ｓ２を得る。ボケ画像Ｓ２は、原画像Ｓ０と同じ画素数、すなわち原画像Ｓ０と同じサイズを有する。

同じように、図８に示すフィルタＦ２は１１×１のフィルタであるが、フィルタＦ２を適用する前にフィルタリング画像Ｂ２に対して１画素おきに値が０である画素を３つずつ補間しているので、補間手段１４による補間処理は、実質的には２×１のフィルタ（０．５，０．５）および３×１のフィルタ（０．３，０．６５，０．０５）、（０．３，０．７４，０．１３）、（０．０５，０．６５，０．３）の４種類のフィルタによるフィルタ処理と等価である。

補間手段１４は、このように各フィルタリング画像Ｂｋに対して夫々、１画素おきに値が０である画素を（２^Ｋ−１）個ずつ補間することにより、フィルタリング画像Ｂｋを原画像Ｓ０と同じサイズに拡大し、そして値が０である画素が補間されたフィルタリング画像Ｂｋに対して、上記の式（３）に基づいて作成された長さが（３×２^Ｋ−１）であるフィルタによるフィルタリング処理を施してボケ画像Ｓｋを得る。

図９は、例としてｎ＝３としたときに、ボケ画像作成手段１０により得られた各ボケ画像Ｓｋの周波数特性を示している。図示のように、ボケ画像Ｓｋは、ｋが大きいほど、原画像Ｓ０の高周波成分が除去されたものとなっている。

帯域制限画像作成手段２０は、ボケ画像作成手段１０により得られた各ボケ画像Ｓ１，Ｓ２，・・・Ｓｎを用いて、下記の式（４）に従って原画像Ｓ０の複数の周波数帯域毎の成分を表す帯域制限画像Ｔ１，Ｔ２，・・・Ｔｎを作成する。

Ｔｍ＝Ｓ（ｍ−１）−Ｓｍ（４）
但し，ｍ：１以上ｎ以下の整数

図１０は、例としてｎ＝３としたときに、帯域制限画像作成手段２０により得られた各帯域制限画像Ｔｍの周波数特性を示している。図示のように、帯域制限画像Ｔｍは、ｍが大きいほど、原画像Ｓ０の低周波数領域における成分を表すものとなっている。

シワ成分抽出手段３０は、帯域制限画像作成手段２０により得られた各帯域制限画像Ｔｍ（ｍ＝１〜ｎ）に対して非線形変換を行って夫々の帯域制限画像Ｔｍが対応する周波数帯域におけるシワ、シミ、ノイズなどの成分（以下総してシワ成分という）Ｑ１，Ｑ２，・・・，Ｑｎを抽出するものである。この非線形変換は、出力値を入力値以下にする処理であって、かつ所定の閾値以下の入力値に対しては、該入力値が大きいほど出力値が大きくなる一方、前記所定の閾値より大きい入力値に対しては、出力値が前記所定の閾値に対応する出力値以下となる処理であって、本実施形態においては、図１１に示すような関数ｆにより行われるものである。なお、図中破線は、出力値＝入力値、すなわち傾きが１となる関数を示すものである。図示のように、本実施形態のシワ成分抽出手段３０に用いられる非線形変換の関数ｆは、入力値の絶対値が第１の閾値Ｔｈ１より小さいときは傾きが１であり、入力値の絶対値が第１の閾値以上かつ第２の閾値Ｔｈ２以下であるときは傾きが１より小さくなり、入力値の絶対値が第２の閾値Ｔｈ２より大きいときは、出力値がその絶対値が入力値の絶対値より小さい一定の値Ｍとなる関数である。なお、この関数ｆは、各帯域制限画像に対して同じものであってもよいが、各帯域制限画像に対して異なるものであってもよい。

シワ成分抽出手段３０は、各帯域制限画像の輝度値を入力値とし、図１１に示す非線形変換の関数ｆを用いて各帯域制限画像に対して非線形変換を行って、出力値の輝度値により構成された、各帯域制限画像が対応する周波数帯域におけるシワ成分Ｑｍ（ｍ＝１〜ｎ）を抽出する。

シワ成分除去手段４０は、シワ成分抽出手段３０により抽出された各シワ成分Ｑｍに対して減算係数βを乗算し、原画像Ｓ０（Ｙ０）から、減算係数を乗算されたシワ成分Ｑｍを減算してシワ除去済み画像Ｓ´０（Ｙ１）を得る。下記の式（５）は、シワ成分除去手段４０により行われる処理を示している。

ここで、減算係数βは、β（Ｓ０）であり、すなわち、原画像Ｓ０の画素の輝度値Ｙ０に応じて決められたものであり、具体的には、輝度値Ｙ０が大きい画素ほど、この画素の画素値Ｙ１を求める際に用いられる減算係数βの値が大きくなるものである。シワ成分抽出手段３０により抽出されたシワ成分Ｑｍには、髪の毛などの成分が含まれている場合があり、髪の毛などの成分を真のシワ成分と同じように除去してしまうと、写真画像における髪の毛の部分がボケてしまい、処理後の画像の画質が良くないという問題がある。本発明は、一般的にシワなどが生じる肌部分が明るく（すなわち輝度値が大きく）、髪の毛の部分が暗い（すなわち輝度値が小さい）ことに着目し、輝度値が大きい画素ほど、値が大きい減算係数βを用い、髪の毛の部分の減算（すなわちシワ除去）の程度を弱く、肌部分の減算（すなわちシワ除去）の程度を大きくすることによって、真のシワ、シミ乃至ノイズなどの成分を除去することができると共に、髪の毛を表す成分を残すことができ、髪の部分がボケないため、処理後の画素の画質が良い。

出力手段５０は、シワ成分除去手段４０により得られた輝度値Ｙ１と、ＹＣＣ変換手段１により得られた画像Ｄ０の色差値Ｃｂ０、Ｃｒ０とに構成される画像（Ｙ１，Ｃｒ０，Ｃｂ０）を処理済み画像Ｄ１として出力する。

このように、本実施形態の画像処理装置は、原画像Ｓ０（Ｙ０）の複数の異なる周波数帯域ごとの成分を表す複数の帯域制限画像Ｔｍ（ｍ＝１〜ｎ，ｎ≧２）を作成し、これらの帯域制限画像に対して非線形変換処理を施して複数の変換画像（シワ成分）を得る。そして、これらの複数の変換画像の画素値に対して、原画像Ｓ０の輝度値に応じて決められた減算係数βを乗算して、原画像Ｓ０の画素値（輝度値Ｙ０）から減算して処理済み画像の画素値（輝度値Ｙ１）を得るようにすることによって、写真画像の複数の周波数帯域におけるシワ、シミ乃至ノイズなどの成分を効果的に除去して美肌することができる。また、複数の周波数帯域においてシワ成分の除去を行うようにしているので、従来技術のように美肌効果を高めるために只１つの周波数帯域においてシワ成分の除去を強めることに起因するアーチファクトの発生を防ぐことができ、処理画像の高画質化を図ることができる。

以上、本発明の望ましい実施形態について説明したが、本発明の画像処理方法および装置並びにそのためのプログラムは、上述した実施形態に限られることがなく、本発明の主旨を逸脱しない限り、様々な増減、変化を加えることができる。

例えば、本実施形態の画像処理装置において、帯域制限画像作成手段２０は、原画像Ｓ０およびボケ画像Ｓｋ（ｋ＝１〜ｎ，ｎ≧２）を用いて上記式（４）に従って帯域制限画像を得るようにするものであり、帯域制限画像作成手段２０、シワ成分抽出手段３０、およびシワ成分除去手段４０において行われる処理を下記の式（６）により表すことができるが、例えば、下記の式（７）または式（８）または式（９）により、帯域制限画像作成手段、シワ成分抽出手段、およびシワ成分除去手段４０の処理を行うようにしてもよい。すなわち、式（６）により表される本実施形態の画像処理装置における処理のように、原画像および各ボケ画像を用いて、互いに隣接する周波数帯域の画像（原画像Ｓ０はボケ画像Ｓ１と周波数帯域が隣接するものとする）の減算を行って帯域制限画像を得るようにしてもよいが、式（７）に示すように、全てのボケ画像と、原画像との減算により帯域制限画像を得るようにしてもよく、または式（８）に示すように、原画像を用いず互いに隣接する周波数帯域のボケ画像の減算を行って帯域制限画像を得るようにしてもよく、または式（９）に示すように、原画像を用いず、ボケ画像Ｓ１と、ボケ画像Ｓ１を除いた全てのボケ画像Ｓｍ（ｍ＝２〜ｎ，ｎ≧３）との減算により帯域制限画像を得るようにしてもよい。

また、帯域制限画像を作成する方法も、上述した式（４）、式（６）〜（９）により表される方法のように、原画像のボケ画像を作成し、原画像および／またはボケ画像を用いて作成する方法に限らず、原画像の複数の異なる周波数帯域の成分を表す画像を作成することができれば、いかなる方法を用いてもよい。

また、本実施形態においては、写真画像全体に対して処理を行うようにしているが、処理の目的は美肌であるため、例えば、写真画像から肌色部分のみを抽出し、抽出された部分に対してのみ美肌処理を行うようにしてもよい。さらに、顔部分の美肌を目的とするような場合においては、従来提案された種々の顔抽出技術を用いて顔部分を抽出し、顔部分に対してのみ美肌処理を行うようにしてもよい。こうすることによって、美肌処理に費やす計算量を減少することができると共に、肌色以外、または顔以外の部分のボケを防ぐことができる。

また、本実施形態において、シワ成分を除去する際に用いられた減算係数βが、原画像Ｓ０の輝度値Ｙ０に応じて決められたものであるが、例えば、原画像の輝度値に加え、対象となる写真画像の被写体の情報に応じて減算係数を変えるようにしても良い。例えば被写体が高齢であるほど、減算係数を大きくして美肌効果を強めたり、または逆に被写体が高齢であるほど、処理後の画像が不自然にならないように減算係数を小さくして美肌効果を弱めたりするようにしてもよい。

同様に、帯域制限画像に対して非線形変換を行う際の閾値Ｔｈ、特にＴｈ２のほうも被写体の情報に応じて変えるようにしてもよい。なお、被写体の情報は、認識処理や、タグ情報の参照によって取得するようにしてもよく、操作者の手動入力により取得するようにしてもよい。

また、被写体の情報に限らず、ユーザ希望の美肌効果の強弱に応じて減算係数や、非線形変換の閾値などのパラメータを変えるようにしてもよい。

さらに、遺影用や、結婚式用や、自動撮影プリント装置（所謂プリクラ）用など、写真画像の用途に応じて前述したパラメータを変えるようにしてもよい。

また、本実施形態の画像処理装置は、シワ成分は明暗変化を表す小振幅の成分であり、色の振幅を持っていないことに着目し、輝度空間においてのみシワ成分の除去を行うことによって、効率の良い美肌処理を実現しているが、例えば、Ｒ、Ｇ、Ｂ成分の全てに対して行うようにし、シワ成分のみならず、色のノイズ成分も除去するようにしてもよい。

また、本実施形態の画像処理装置は、シワ、シミ成分を抑制し、美肌効果を得ることを主な目的とするため、原画像の画素値が大きいほど値が大きくなる減算係数を用いたが、例えば、ノイズ除去を主とする場合には、原画像の画素値が大きいほど値が小さく減算係数を用いるようにしてもよい。

本発明の実施形態となる画像処理装置の構成を示すブロック図図１に示す画像処理装置におけるボケ画像作成手段１０の構成を示すブロック図図２に示すボケ画像作成手段１０におけるフィルタリング手段１２が用いる１次元フィルタＦの例を示す図図２に示すボケ画像作成手段１０において行われる処理を示す図図２に示すボケ画像作成手段１０におけるフィルタリング手段１２により作成されたフィルタリング画像Ｂｋの周波数特性を示す図図２に示すボケ画像作成手段１０におけるフィルタリング手段１２が用いる２次元フィルタの例を示す図図２に示すボケ画像作成手段１０における補間手段１４がフィルタリング画像Ｂ１の補間に用いるフィルタＦ１の例を示す図図２に示すボケ画像作成手段１０における補間手段１４がフィルタリング画像Ｂ２の補間に用いるフィルタＦ２の例を示す図図２に示すボケ画像作成手段１０により作成されたボケ画像Ｓｋの周波数特性を示す図図１に示す本発明の実施形態の画像処理装置における帯域制限画像作成手段２０により作成された帯域制限画像Ｔｋの周波数特性を示す図図１に示す本発明の実施形態の画像処理装置におけるシワ成分抽出手段３０が用いる非線形関数ｆの例を示す図

符号の説明

１ＹＣＣ変換手段
１０ボケ画像作成手段
１２フィルタリング手段
１４補間手段
１６制御手段
２０帯域制限画像作成手段
３０シワ成分抽出手段
４０シワ成分除去手段
５０出力手段
Ｙ輝度値
Ｃｂ，Ｃｒ色差値

Claims

カラー画像からなる人物の顔を含む写真画像に基づいて、該写真画像の複数の周波数帯域ごとの成分を表す複数の帯域制限画像を作成し、
出力値の絶対値を入力値の絶対値以下にする処理であって、かつ絶対値が所定の閾値以下である入力値に対しては、該入力値の絶対値が大きいほど出力値の絶対値が大きくなる一方、絶対値が前記所定の閾値より大きい入力値に対しては、出力値の絶対値が前記所定の閾値に対応する出力値の絶対値以下となる非線形変換処理を各前記帯域制限画像の夫々の画素値に対して施して複数の変換画像をシワ・シミ成分として得、
所定の減算係数を前記複数の変換画像の画素値に乗算し、
前記写真画像の画素値から、前記減算係数が乗算された前記複数の変換画像の画素値を減算して前記シワ・シミ成分を除去した処理済み画像の画素値を得ることを特徴とする写真画像処理方法。
前記所定の減算係数が、前記写真画像の画素値に応じて決められたものであることを特徴とする請求項１記載の写真画像処理方法。
前記所定の減算係数が、前記写真画像の画素値に応じて、該画素値が大きいほど大きくなるように決められたものであることを特徴とする請求項１または２記載の写真処理方法。
前記非線形変換処理が、絶対値が前記所定の閾値より大きい入力値に対して、出力値の絶対値がほぼ一定となる処理であることを特徴とする請求項１から３のいずれか１項記載の写真画像処理方法。
前記所定の閾値が、処理する前記帯域制限画像の周波数帯域に応じて決められたものであることを特徴とする請求項１から４のいずれか１項記載の写真画像処理方法。
前記写真画像の色チャンネル毎に異なる画像処理を行なうことを特徴とする請求項１から５のいずれか１項記載の写真画像処理方法。
前記写真画像の輝度成分と色差成分とに対し異なる画像処理を行うことを特徴とする請求項１から６のいずれか１項記載の写真画像処理方法。
前記写真画像の輝度成分について前記帯域制限画像の作成と前記シワ・シミ成分の抽出と該シワ・シミ成分の除去が行われることを特徴とする請求項７記載の写真画像処理方法。
カラー画像からなる人物の顔を含む写真画像に基づいて、該写真画像の複数の周波数帯域ごとの成分を表す複数の帯域制限画像を作成する帯域制限画像作成手段と、
出力値の絶対値を入力値の絶対値以下にする処理であって、かつ絶対値が所定の閾値以下である入力値に対しては、該入力値の絶対値が大きいほど出力値の絶対値が大きくなる一方、絶対値が前記所定の閾値より大きい入力値に対しては、出力値の絶対値が前記所定の閾値に対応する出力値の絶対値以下となる非線形変換処理を各前記帯域制限画像の夫々の画素値に対して施して複数の変換画像をシワ・シミ成分として抽出するシワ・シミ成分抽出手段と、
所定の減算係数を前記複数の変換画像の画素値に乗算し、前記写真画像の画素値から、前記減算係数が乗算された前記複数の変換画像の画素値を減算して前記シワ・シミ成分を除去した処理済み画像の画素値を得るシワ・シミ成分除去手段と
を有してなることを特徴とする写真画像処理装置。
前記所定の減算係数が、前記写真画像の画素値に応じて決められたものであることを特徴とする請求項９記載の写真画像処理装置。
前記所定の減算係数が、前記写真画像の画素値に応じて、該画素値が大きいほど大きくなるように決められたものであることを特徴とする請求項９または１０記載の写真画像処理装置。
前記非線形変換手段が、絶対値が前記所定の閾値より大きい入力値に対して、出力値の絶対値がほぼ一定となるように処理するものであることを特徴とする請求項９から１１のいずれか１項記載の写真画像処理装置。
前記所定の閾値が、処理する前記帯域制限画像の周波数帯域に応じて決められたものであることを特徴とする請求項９から１２のいずれか１項記載の写真画像処理装置。
前記写真画像の色チャンネル毎に異なる画像処理が行われることを特徴とする請求項９から１３のいずれか１項記載の写真画像処理装置。
前記写真画像を輝度成分と色差成分とに分離する輝度色差変換手段をさらに有し、前記写真画像の輝度成分と色差成分とに対し異なる画像処理が施されることを特徴とする請求項９から１４のいずれか１項記載の写真画像処理装置。
前記写真画像の輝度成分について前記帯域制限画像の作成と前記シワ・シミ成分の抽出と該シワ・シミ成分の除去が行われることを特徴とする請求項１５記載の写真画像処理装置。
カラー画像からなる人物の顔を含む写真画像に基づいて、該写真画像の複数の周波数帯域ごとの成分を表す複数の帯域制限画像を作成する処理と、
出力値の絶対値を入力値の絶対値以下にする処理であって、かつ絶対値が所定の閾値以下である入力値に対しては、該入力値の絶対値が大きいほど出力値の絶対値が大きくなる一方、絶対値が前記所定の閾値より大きい入力値に対しては、出力値の絶対値が前記閾値に対応する出力値の絶対値以下となる非線形変換処理を各前記帯域制限画像の夫々の画素値に対して施して複数の変換画像をシワ・シミ成分として得る処理と、
所定の減算係数を前記複数の変換画像の画素値に乗算する処理と、
前記写真画像の画素値から、前記減算係数が乗算された前記複数の変換画像の画素値を減算して前記シワ・シミ成分を除去した処理済み画像の画素値を得る処理とをコンピュータに実行させることを特徴とするプログラム。