JP5904878B2 - 画像処理装置 - Google Patents

Description

本発明は、取得した画像における凹凸情報（被写体表面の深さ方向の形状変化の大きさ）に応じて、被写体表面の状態をよりリアルに再現するための質感向上処理を行う画像処理装置に関する。

従来、被写体表面の凹凸情報を検出し、凹凸を強調することにより、画像中の被写体の質感を向上させる画像表示装置として、例えば、次の特許文献１に記載の凹凸情報を強調する装置がある。

図６は特許文献１に記載の凹凸情報を強調する装置の一例を示す説明図で、(a)は概略構成を示すブロック図、(b)は装置の原理説明図である。
特許文献１に記載の凹凸情報を強調する装置は、対象の凹凸情報を抽出し、画像の凹凸の印象を任意に強調することを課題とした装置であり、デジタル式撮影装置５１と、光源５２と、画像保存手段５３と、凹凸情報抽出認識手段５４と、凹凸情報重畳手段５５とを備えている。
デジタル式撮影装置５１は、対象５９を撮影する。光源５２は、デジタル式撮影装置５１と対象５９とを結ぶ軸方向とその軸方向とは異なる方向とから光を照射する。画像保存手段５３は、デジタル式撮影装置５１により撮影された画像を保存する。凹凸情報抽出認識手段５４は、軸方向とその軸方向と異なる方向とから光が照射されてデジタル式撮影装置５１により撮影され、画像保存手段５３に保存された通常照明画像と斜め照明画像とにおける画素ごとの画素濃度値の比に基づいて、対象５５の凹凸情報を抽出する。凹凸情報重畳手段５５は、その抽出された凹凸情報を軸方向から光を照射されて得られた通常照明画像に重畳して凹凸が強調された画像を得る。

特開２０００−１８０１４２号公報

しかし、特許文献１に記載の凹凸情報を強調する装置では、凹凸を強調する質感向上処理を行う際に用いる凹凸情報を、軸方向とその軸方向とは異なる方向からの異なる２つの角度ａ，ｂの照明下で撮影された２枚の画像に基づいて抽出する構成であるため、撮影された画像が特定の角度の照明下で撮影された１枚の画像である場合、その１枚の画像に対しては質感向上処理を施すことが出来なかった。

本発明は、このような従来の問題点に鑑みてなされたものであり、１枚の画像から被写体表面の凹凸情報を検出し、凹凸情報に応じた質感向上処理を行うことの可能な画像処理装置を提供することを目的としている。

上記目的を達成するため、本発明による画像処理装置は、画像を取得する画像取得手段と、前記画像の少なくとも一部の範囲における、第１の周波数の周波数特性値と第２の周波数の周波数特性値を少なくとも含む、周波数特性を取得する周波数特性取得手段と、前記周波数特性取得手段により取得された、前記第１の周波数の周波数特性値と前記第２の周波数の周波数特性値とを差分し、その差分値に基づき、前記画像の少なくとも一部の範囲の凹凸情報を取得する凹凸情報取得手段と、前記凹凸情報取得手段により取得された、前記画像の少なくとも一部の範囲の凹凸情報に基づいて、前記画像に対する所定の質感向上処理の作動を制御する質感向上処理制御手段と、を備えたことを特徴としている。

また、本発明の画像処理装置においては、前記画像取得手段は、前記画像の全領域から被写体表面が写っている範囲を前記画像の少なくとも一部の範囲として抽出して、前記周波数特性取得手段へ出力するのが好ましい。

また、本発明の画像処理装置においては、前記第１の周波数と前記第２の周波数は、夫々、画像サイズから定まる最大周波数の１／３以下の周波数であるのが好ましい。

また、本発明の画像処理装置においては、前記周波数特性取得手段は、前記画像の少なくとも一部の範囲を２次元フーリエ変換して、該画像の少なくとも一部の範囲の２次元の周波数特性を算出する２次元周波数特性算出部と、前記２次元周波数特性算出部により２次元の周波数特性が算出された前記画像の少なくとも一部の範囲の前記２次元フーリエ変換後の画像に対し原点を中心とする夫々の半径ごとに、円周方向の各座標位置での周波数特性値を積算し、積算した周波数特性値を当該円周の長さで除算することにより、１次元の周波数特性のヒストグラムを算出する１次元周波数特性算出部を有し、前記凹凸情報取得手段は、前記１次元周波数特性算出部により算出された前記１次元の周波数特性のヒストグラムにおける前記第１の周波数の周波数特性値と前記第２の周波数の周波数特性値とを差分し、その差分値に基づき、前記画像の少なくとも一部の範囲の凹凸情報を取得するのが好ましい。

また、本発明の画像処理装置においては、前記周波数特性取得手段は、前記第１の周波数及び前記第２の周波数を中心とした通過波長特性を持つバンドパスフィルタ部を有し、前記画像の少なくとも一部の範囲の信号に対し、該バンドパスフィルタ部を介して前記第１の周波数の周波数特性値と前記第２の周波数の周波数特性値を出力し、前記凹凸情報取得手段は、前記バンドパスフィルタ部により出力された前記第１の周波数の周波数特性値と第２の周波数の周波数特性値とを差分し、その差分値に基づき、前記画像の少なくとも一部の範囲の凹凸情報を取得するのが好ましい。

また、本発明の画像処理装置においては、前記質感向上処理制御手段は、前記凹凸情報取得手段により取得された前記画像の少なくとも一部の範囲の凹凸情報が所定の閾値以上である場合に前記画像に対する前記所定の質感向上処理を作動させるのが好ましい。

また、本発明の画像処理装置においては、前記質感向上処理制御手段は、前記所定の質感向上処理の作動量を、前記画像の少なくとも一部の範囲の凹凸情報に対応した作動量の関数を用いて制御するのが好ましい。

また、本発明の画像処理装置においては、前記質感向上処理制御手段は、前記所定の質感向上処理の作動量を、前記画像の少なくとも一部の範囲の凹凸情報に対応する作動量が記録されたＬＵＴ（ルックアップテーブル）を用いて制御するのが好ましい。

また、本発明の画像処理装置においては、前記所定の質感向上処理は、トーンカーブ、輝度コントラスト、色コントラスト、シャープネス、エッジ強調、ボケ、ノイズ、明度、彩度、色相のうち１種類以上の項目について行う画像処理であるのが好ましい。

本発明によれば、１枚の画像から被写体表面の凹凸情報を検出し、凹凸情報に応じた質感向上処理を行うことの可能な画像処理装置が得られる。

本発明の実施例１にかかる画像処理装置の全体構成を示すブロック図である。 図１の画像処理装置に備わる画像取得手段が取得した画像の一例を示す説明図である。 図１の画像処理装置の周波数特性取得手段の一構成例を示す説明図で、(a)は概略構成を示すブロック図、(b)は周波数特性取得手段に備わる２次元周波数特性算出部により変換された、図２に示された一部の範囲の画像の２次元フーリエ変換画像を示す写真、(c)は周波数特性取得手段に備わる１次元周波数特性算出部が(b)に示された２次元フーリエ変換画像に対し原点を中心とする夫々の半径ごとに、円周方向の各座標位置での周波数特性値を積算し、積算した周波数特性値を当該円周の長さで除算することにより算出した、１次元の周波数ヒストグラムを示すグラフである。 図１の画像処理装置の周波数特性取得手段の変形例を示す説明図で、(a)は概略構成を示すブロック図、(b)は(a)の周波数特性手段に備わるバンドパスフィルタの第１の周波数に対する通過波長特性を示すグラフ、(c)は(a)の周波数特性手段に備わるバンドパスフィルタの第２の周波数に対する通過波長特性を示すグラフ、(d)は図２に示された一部の範囲の画像の信号に対し、バンドパスフィルタを介して出力した第１の周波数の周波数特性値及び第２の周波数の周波数特性値を示すグラフである。 実施例１の画像処置装置に備わる質感向上処理手段で施すコントラスト処理、シャープネス処理に関する、凹凸情報との関係を示す図で、(a)は凹凸情報に対するコントラスト処理量を示すグラフ、(b)は凹凸情報に対するシャープネス処理量を示すグラフである。 特許文献１に記載の凹凸情報を強調する装置の一例を示す説明図で、(a)は概略構成を示すブロック図、(b)は装置の原理説明図である。

実施例の説明に先立ち、本発明の作用効果について説明する。
本発明の画像処理装置は、画像を取得する画像取得手段と、前記画像の少なくとも一部の範囲における、第１の周波数の周波数特性値と第２の周波数の周波数特性値を少なくとも含む、周波数特性を取得する周波数特性取得手段と、前記周波数特性取得手段により取得された、前記第１の周波数の周波数特性値と前記第２の周波数の周波数特性値とを差分して、前記画像の少なくとも一部の範囲の凹凸情報を取得する凹凸情報取得手段と、前記凹凸情報取得手段により取得された、前記画像の少なくとも一部の範囲の凹凸情報に基づいて、前記画像に対する所定の質感向上処理の作動を制御する質感向上処理制御手段と、を備えている。

本発明の発明者は、被写体表面の深さ方向の形状変化量が異なる多数の画像について、夫々の画像を構成する各周波数成分の周波数特性値を分析した結果、第１の周波数の周波数特性値と第２の周波数の周波数特性値との差と被写体表面の深さ方向の形状変化量とに相関関係があることを見出し、本発明を着想するに至った。
本発明の画像処理装置のように、周波数特性取得手段が、画像の少なくとも一部の範囲における、第１の周波数の周波数特性値と第２の周波数の周波数特性値を少なくとも含む、周波数特性を取得し、凹凸情報取得手段が、第１の周波数の周波数特性値と第２の周波数の周波数特性値とを差分し、その差分値に基づき、画像の少なくとも一部の範囲の凹凸情報を取得するようにすれば、特許文献１に記載の装置のような異なる角度の照明下で撮影された２枚の画像を用いることなく、特定の角度の照明下で撮影された１枚の画像から凹凸情報（被写体表面の深さ方向の形状変化量）を検出することができる。

そして、質感向上処理制御手段が、凹凸情報取得手段により取得された、画像の少なくとも一部の範囲の凹凸情報に基づいて、画像に対する所定の質感向上処理の作動を制御するようにすれば、被写体表面の深さ方向の形状変化量に応じた適切な質感向上処理を施すことができる。

また、本発明の画像処理装置においては、前記画像取得手段は、前記画像の全領域から被写体表面が写っている範囲を前記画像の少なくとも一部の範囲として抽出して、前記周波数特性取得手段へ出力するのが好ましい。
このようにすれば、より高精度且つ効率的に被写体表面の深さ方向の形状変化量を検出でき、また、被写体表面の深さ方向の形状変化量に応じたより適切な質感向上処理を施すことができる。

また、本発明の画像処理装置においては、前記第１の周波数と前記第２の周波数は、夫々、画像サイズから定まる最大周波数の１／３以下の周波数であるのが好ましい。
画像に含まれる（空間）周波数は、低い周波数ほど振幅が大きく、高い周波数ほど振幅が小さく、画像中における最大（空間）周波数の１／３以下の周波数は振幅の差が顕著に表れやすい。このため、第１の周波数と第２の周波数が最大周波数の１／３以下であれば、凹凸情報取得手段による第１の周波数の周波数特性と第２の周波数の周波数特性の差分値を大きくとることができ、凹凸情報を高精度に取得できる。

また、本発明の画像処理装置においては、前記周波数特性取得手段は、前記画像の少なくとも一部の範囲を２次元フーリエ変換して、該画像の少なくとも一部の範囲の２次元の周波数特性を算出する２次元周波数特性算出部と、前記２次元周波数特性算出部により２次元の周波数特性が算出された前記画像の少なくとも一部の範囲の前記２次元フーリエ変換後の画像に対し原点を中心とする夫々の半径ごとに、円周方向の各座標位置での周波数特性値を積算し、積算した周波数特性値を当該円周の長さで除算することにより、１次元の周波数特性のヒストグラムを算出する１次元周波数特性算出部を有し、前記凹凸情報取得手段は、前記１次元周波数特性算出部により算出された前記１次元の周波数特性のヒストグラムにおける前記第１の周波数の周波数特性値と前記第２の周波数の周波数特性値とを差分し、その差分値に基づき、前記画像の少なくとも一部の範囲の凹凸情報を取得するのが好ましい。
このようにすれば、第１の周波数の周波数特性値と第２の周波数の周波数特性値とを用いた凹凸情報の取得のための構成が具現化できる。

また、本発明の画像処理装置においては、前記周波数特性取得手段は、前記第１の周波数及び前記第２の周波数を中心とした通過波長特性を持つバンドパスフィルタ部を有し、前記画像の少なくとも一部の範囲の信号に対し、該バンドパスフィルタ部を介して前記第１の周波数の周波数特性値と前記第２の周波数の周波数特性値を出力し、前記凹凸情報取得手段は、前記バンドパスフィルタ部により出力された前記第１の周波数の周波数特性値と第２の周波数の周波数特性値とを差分し、その差分値に基づき、前記画像の少なくとも一部の範囲の凹凸情報を取得するようにしてもよい。
このようにしても、第１の周波数の周波数特性値と第２の周波数の周波数特性値とを用いた凹凸情報の取得のための構成が具現化できる。

また、本発明の画像処理装置においては、前記質感向上処理制御手段は、前記凹凸情報取得手段により取得された前記画像の少なくとも一部の範囲の凹凸情報が所定の閾値以上である場合に前記画像に対する前記所定の質感向上処理を作動させるのが好ましい。
上述したように、第１の周波数の周波数特性値と第２の周波数の周波数特性値との差分値が大きいほど、画像中の当該範囲の被写体表面の被写体表面の深さ方向の形状変化が大きく、上記差分値が小さいほど被写体表面の深さ方向の形状変化は小さくなる。そして、全体的に被写体表面の深さ方向の形状変化が乏しい画像の場合、質感向上処理を施しても被写体表面の状態をリアルに再現する効果が出ない場合がある。
そこで、凹凸情報が所定の閾値以上である場合に画像に対する所定の質感向上処理を作動させるようにすれば、画像中の被写体表面の深さ方向の形状変化が乏しい場合における質感向上処理の作動を防ぐことができる。

また、本発明の画像処理装置においては、前記質感向上処理制御手段は、前記所定の質感向上処理の作動量を、前記画像の少なくとも一部の範囲の凹凸情報に対応した作動量の関数を用いて制御するのが好ましい。
このようにすれば、被写体表面の深さ方向の形状変化量に応じた適切な質感向上処理を施すことができる。

また、本発明の画像処理装置においては、前記質感向上処理制御手段は、前記所定の質感向上処理の作動量を、前記画像の少なくとも一部の範囲の凹凸情報に対応する作動量が記録されたＬＵＴ（ルックアップテーブル）を用いて制御するようにしてもよい。
このようにすれば、被写体表面の深さ方向の形状変化量に応じた適切な質感向上処理の作動量を、関数等を用いて算出することなく迅速に取得できる。

なお、本発明の画像処理装置においては、前記所定の質感向上処理は、トーンカーブ、輝度コントラスト、色コントラスト、シャープネス、エッジ強調、ボケ、ノイズ、明度、彩度、色相のうち１種類以上の項目について行う画像処理である。
このようにすれば、被写体表面の深さ方向の形状変化量が大きな画像に対し、適切な質感向上処理を施すことができる。

以下、本発明の実施例について、図面を用いて説明する。
実施例１
図１は本発明の実施例１にかかる画像処理装置の全体構成を示すブロック図である。図２は図１の画像処理装置に備わる画像取得手段が取得した画像の一例を示す説明図である。図３は図１の画像処理装置の周波数特性取得手段の一構成例を示す説明図で、(a)は概略構成を示すブロック図、(b)は周波数特性取得手段に備わる２次元周波数特性算出部により変換された、図２に示された一部の範囲の画像の２次元フーリエ変換画像を示す写真、(c)は周波数特性取得手段に備わる１次元周波数特性算出部が(b)に示された２次元フーリエ変換画像に対し原点を中心とする夫々の半径ごとに、円周方向の各座標位置での周波数特性値を積算し、積算した周波数特性値を当該円周の長さで除算することにより算出した、１次元の周波数ヒストグラムを示すグラフである。図４は図１の画像処理装置の周波数特性取得手段の変形例を示す説明図で、(a)は概略構成を示すブロック図、(b)は(a)の周波数特性手段に備わるバンドパスフィルタの第１の周波数に対する通過波長特性を示すグラフ、(c)は(a)の周波数特性手段に備わるバンドパスフィルタの第２の周波数に対する通過波長特性を示すグラフ、(d)は図２に示された一部の範囲の画像の信号に対し、バンドパスフィルタを介して出力した第１の周波数の周波数特性値及び第２の周波数の周波数特性値を示すグラフである。図５は実施例１の画像処置装置に備わる質感向上処理手段で施すコントラスト処理、シャープネス処理に関する、凹凸情報との関係を示す図で、(a)は凹凸情報に対するコントラスト処理量を示すグラフ、(b)は凹凸情報に対するシャープネス処理量を示すグラフである。

本実施例の画像処理装置は、図１に示すように、画像取得手段１と、周波数特性取得手段２と、凹凸情報取得手段３と、質感向上処理制御手段４を有している。
画像取得手段１は、撮像素子（不図示）が撮像した電気信号を画像情報に変換等することで画像を取得するように構成されている。また、画像取得手段１は、取得した画像を周波数特性取得手段２と質感向上処理制御手段４に出力する。ここでは、周波数特性取得手段２へは、取得した画像の全領域から被写体表面が写っている範囲を抽出して出力するように構成されている。
ここでは、画像取得手段１は、画像において焦点の合っている範囲を、画像における被写体表面が写っている範囲として検出するように構成されている。なお、画像における被写体の位置が一定となる画像を画像処理対象とする場合には、本実施例の画像処理手段における画像取得手段１が、例えば、画像における一定範囲の中央領域を、画像における被写体表面が写っている範囲として検出するように構成してもよい。

周波数特性取得手段２は、画像の少なくとも一部の範囲（ここでは、被写体表面が写っている範囲）における、第１の周波数の周波数特性値と第２の周波数の周波数特性値を少なくとも含む、周波数特性を取得する。
凹凸情報取得手段３は、周波数特性取得手段２により取得された、第１の周波数の周波数特性値と第２の周波数の周波数特性値とを差分し、その差分値に基づき、画像の少なくとも一部の範囲（被写体表面が写っている範囲）の凹凸情報を取得する。

ここで、周波数特性取得手段２、凹凸情報取得手段３による周波数特性取得から凹凸情報取得に至る原理を、図３及び図４を用いて説明する。図３は図１の画像処理装置の周波数特性取得手段の一構成例、図４はその変形例を夫々示す説明図である。
図３の例の周波数特性取得手段２は、図３(a)に示すように、２次元周波数特性算出部２ａと、１次元周波数特性算出部２ｂを有している。
２次元周波数特性算出部２ａは、図２に示す画像の少なくとも一部の範囲（被写体表面が写っている範囲）を２次元フーリエ変換する。これにより、図２に示す画像の少なくとも一部の範囲（被写体表面が写っている範囲）の２次元の周波数特性が算出される（図３(b)参照）。図３(b)は２次元フーリエ変換後の画像である。中心Ｏは周波数０となっている。中心Ｏからの距離ｒ１が正弦波の周波数を示している。そして、図３(b)の２次元フーリエ変換後の画像における濃淡は、２次元方向の各周波数の輝度を示している。
１次元周波数特性算出部２ｂは、２次元周波数特性算出部２ａにより２次元の周波数特性が算出された画像の少なくとも一部の範囲（被写体表面が写っている範囲）の２次元フーリエ変換後の画像に対し原点Ｏを中心とする夫々の半径ごとに（図３(b)では半径ｒ１が示されている）、円周方向の各座標位置での周波数特性値を積算し、積算した周波数特性値を円周の長さで除算する。これにより、原点Ｏを中心とする夫々の半径に対応する周波数ごとの平均輝度が算出される。そして、算出された周波数ごとの平均輝度をグラフ化すると図３(c)に示すような１次元の周波数特性のヒストグラムとなる。

この場合、凹凸情報取得手段３は、１次元周波数特性算出部２ｂにより算出された、図３(c)に示す１次元の周波数特性のヒストグラムにおいて、第１の周波数ｆ１の周波数特性値（例えば、振幅、輝度等）と、第２の周波数ｆ２の周波数特性値（例えば、振幅、輝度等）とを差分し、その差分値に基づき、図２に示す画像の少なくとも一部の範囲（被写体表面が写っている範囲）の凹凸情報を取得する。なお、上述したように、第１の周波数ｆ１における周波数特性値と、第２の周波数ｆ２における周波数特性値との差分値が大きいほど凹凸情報は大きく、これらの周波数特性値の差分値が小さいほど凹凸情報は小さくなる。

また、図４の変形例の周波数特性取得手段２は、図４(a)に示すように、バンドパスフィルタ部２ｃを有している。
バンドパスフィルタ部２ｃは、図４(b)及び図４(c)に示すように、第１の周波数及び第２の周波数を中心とした通過波長特性を持っている。
そして、周波数特性取得手段２は、図２に示した画像の少なくとも一部の範囲（被写体表面が写っている範囲）の信号に対し、バンドパスフィルタ部２ｃを介して第１の周波数の周波数特性値と第２の周波数の周波数特性値を出力する。

この場合、凹凸情報取得手段３は、バンドパスフィルタ部２ｃを介して出力された第１の周波数の周波数特性値と第２の周波数の周波数特性値とを差分し、その差分値に基づき、画像の少なくとも一部の範囲（被写体表面が写っている範囲）の凹凸情報を取得する。

なお、実施例１の画像処理装置では、第１の周波数ｆ１、第２の周波数ｆ２は、画像サイズから定まる最大周波数の１／３以下の周波数としている。

質感向上処理制御手段４は、凹凸情報取得手段３により取得された、図２に示す画像の少なくとも一部の範囲（被写体表面が写っている範囲）の凹凸情報に基づいて、画像に対する所定の質感向上処理の作動を制御する。
例えば、質感向上処理制御手段４は、画像の少なくとも一部の範囲（被写体表面が写っている範囲）の凹凸情報が所定の閾値以上である場合、画像取得手段１が取得した画像の全領域又は凹凸情報を取得した画像の少なくとも一部の範囲（被写体表面が写っている範囲）に対し、凹凸情報に比例したコントラスト処理とシャープネス処理を作動させる。凹凸情報が所定の閾値を下回る場合は、コントラスト処理やシャープネス処理は作動させない。より詳しくは、凹凸情報が所定の閾値以上である場合は、コントラスト調整量やシャープネス調整量を凹凸情報の大きさに対応したプラスの所定値に設定し、凹凸情報が所定の閾値を下回る場合は、コントラスト調整量やシャープネス調整量をゼロに設定する。

なお、本実施例の画像処理装置では、質感向上処理制御手段４が制御するコントラスト処理量やシャープネス処理量を、次式(1)，(2)に示すような凹凸情報の大きさＸの関数値により取得できるようにする。
（コントラスト処理量）＝αｃ（Ｘ） ・・・(1)
（シャープネス処理量）＝αｓ（Ｘ） ・・・(2)
この場合、αは凹凸情報Ｘの関数になり、例えば、図５(a)、図５(b)のような関係になる。なお、コントラスト処理量αｃ（Ｘ）、シャープネス処理量αｓ（Ｘ）は、いずれも凹凸情報の大きさＸに比例した関係にあるが、シャープネス処理量αｓ（Ｘ）は、コントラスト処理量αｃ（Ｘ）に比べて凹凸情報の大きさＸに対する処理の増加量が大きくなるようにする。シャープネス処理のほうがコントラスト処理に比べてより被写体表面の状態をリアルに再現し易いからである。

あるいは、本実施例の画像処理装置では、質感向上処理制御手段４が制御するコントラスト処理量ＬＵＴｃ（Ｘ）やシャープネス処理量ＬＵＴｓ（Ｘ）を、予め設定したＬＵＴ（ルックアップテーブル）から取得できるようにしてもよい。
（コントラスト処理量）＝ＬＵＴｃ（Ｘ） ・・・(3)
（シャープネス処理量）＝ＬＵＴｓ（Ｘ） ・・・(4)

ＬＵＴ（ルックアップテーブル）には、凹凸情報の大きさＸが大きくなる程、コントラスト処理量ＬＵＴｃ（Ｘ）、シャープネス処理量ＬＵＴｓ（Ｘ）が大きくなるように設定しておく。なお、ＬＵＴに設定するコントラスト処理量ＬＵＴｃ（Ｘ）、シャープネス処理量ＬＵＴｓ（Ｘ）の値は、凹凸情報の大きさＸが一定の範囲において処理量の値が同じ値となるような値の他、任意の値を設定しても良い。
また、質感向上処理制御手段４が作動量を制御する質感向上処理は、コントラストやシャープネスに限定されるものではない。
例えば、トーンカーブ、輝度コントラスト、色コントラスト、シャープネス、エッジ強調、ボケ、ノイズ、明度、彩度、色相のうち１種類以上の項目について行うようにしてもよい。

このように構成された実施例１の画像処理装置によれば、周波数特性取得手段２が、画像の少なくとも一部の範囲における、第１の周波数の周波数特性値と第２の周波数の周波数特性値を少なくとも含む、周波数特性を取得し、凹凸情報取得手段３が、第１の周波数の周波数特性値と第２の周波数の周波数特性値とを差分し、その差分値に基づき、画像の少なくとも一部の範囲の凹凸情報を取得するので、特許文献１に記載の装置のような異なる角度の照明下で撮影された２枚の画像を用いることなく、特定の角度の照明下で撮影された１枚の画像から凹凸情報（被写体表面の深さ方向の形状変化量）を検出することができる。

そして、質感向上処理制御手段４が、凹凸情報取得手段３により取得された、画像の少なくとも一部の範囲の凹凸情報に基づいて、画像に対する所定の質感向上処理の作動を制御するので、被写体表面の深さ方向の形状変化量に応じた適切な質感向上処理を施すことができる。

また、実施例１の画像処理装置によれば、画像取得手段１が、画像の全領域から被写体表面が写っている範囲を画像の少なくとも一部の範囲として抽出して、周波数特性取得手段２へ出力するようにしたので、より高精度且つ効率的に被写体表面の深さ方向の形状変化量を検出でき、また、被写体表面の深さ方向の形状変化量に応じたより適切な質感向上処理を施すことができる。

また、実施例１の画像処理装置によれば、周波数特性取得手段２が取得し、凹凸情報取得手段３が周波数特性値を差分する第１の周波数と第２の周波数を、夫々、画像サイズから定まる最大周波数の１／３以下の周波数としたので、凹凸情報取得手段３による第１の周波数の周波数特性と第２の周波数の周波数特性の差分値を大きくとることができ、凹凸情報を高精度に取得できる。

また、実施例１の画像処理装置によれば、周波数特性取得手段２が、画像の少なくとも一部の範囲を２次元フーリエ変換して、画像の少なくとも一部の範囲の２次元の周波数特性を算出する２次元周波数特性算出部２ａと、２次元周波数特性算出部２ａにより２次元の周波数特性が算出された画像の少なくとも一部の範囲の２次元フーリエ変換後の画像に対し原点Ｏを中心とする夫々の半径ごとに、円周方向の各座標位置での周波数特性値を積算し、積算した周波数特性値を当該円周の長さで除算することにより、１次元の周波数特性のヒストグラムを算出する１次元周波数特性算出部２ｂを有し、凹凸情報取得手段３が、１次元周波数特性算出部２ｂにより算出された１次元の周波数特性のヒストグラムにおける第１の周波数の周波数特性値と第２の周波数の周波数特性値とを差分し、その差分値に基づき、画像の少なくとも一部の範囲の凹凸情報を取得するようにすることで、第１の周波数の周波数特性値と第２の周波数の周波数特性値とを用いた凹凸情報の取得のための構成が具現化できる。

また、実施例１の変形例の画像処理装置によれば、周波数特性取得手段２が、第１の周波数及び第２の周波数を中心とした通過波長特性を持つバンドパスフィルタ部２ｃを有し、画像の少なくとも一部の範囲の信号に対し、バンドパスフィルタ部２ｃを介して第１の周波数の周波数特性値と前記第２の周波数の周波数特性値を出力し、凹凸情報取得手段３が、バンドパスフィルタ部２ｃにより出力された第１の周波数の周波数特性値と第２の周波数の周波数特性値とを差分し、その差分値に基づき、画像の少なくとも一部の範囲の凹凸情報を取得するようにしても、第１の周波数の周波数特性値と第２の周波数の周波数特性値とを用いた凹凸情報の取得のための構成が具現化できる。

また、実施例１の画像処理装置においては、質感向上処理制御手段４は、凹凸情報取得手段３により取得された画像の少なくとも一部の範囲の凹凸情報が所定の閾値以上である場合に画像に対する所定の質感向上処理を作動させるようにすることで、画像中の被写体表面の深さ方向の形状変化が乏しく質感向上処理を施しても被写体表面の状態をリアルに再現する効果が出ない場合における質感向上処理の作動を防ぐことができる。

また、実施例１の画像処理装置によれば、質感向上処理制御手段４は、所定の質感向上処理の作動量を、画像の少なくとも一部の範囲の凹凸情報に対応した作動量の関数を用いて制御するようにすることで、被写体表面の深さ方向の形状変化量に応じた適切な質感向上処理を施すことができる。

また、実施例１の画像処理装置によれば、質感向上処理制御手段４が、所定の質感向上処理の作動量を、画像の少なくとも一部の範囲の凹凸情報に対応する作動量が記録されたＬＵＴ（ルックアップテーブル）を用いて制御するようにすることで、被写体表面の深さ方向の形状変化量に応じた適切な質感向上処理の作動量を、関数等を用いて算出することなく迅速に取得できる。

また、実施例１の画像処理装置によれば、所定の質感向上処理は、トーンカーブ、輝度コントラスト、色コントラスト、シャープネス、エッジ強調、ボケ、ノイズ、明度、彩度、色相のうち１種類以上の項目について行うようにしたので、被写体表面の深さ方向の形状変化が大きな画像に対し、適切な質感向上処理を施すことができる。

本発明の画像処理装置は、取得した画像の質感を向上させることが必要とされるあらゆる分野に有用である。

１ 画像取得手段
２ 周波数特性取得手段
２ａ ２次元周波数特性算出部
２ｂ １次元周波数特性算出部
２ｃ バンドパスフィルタ部
３ 凹凸情報取得手段
４ 質感向上処理制御手段
５１ デジタル式撮影装置
５２ 光源
５３ 画像保存手段
５４ 凹凸情報抽出認識手段
５５ 凹凸情報重畳手段
５９ 対象

Claims (9)

1. 画像を取得する画像取得手段と、
   前記画像の少なくとも一部の範囲における、第１の周波数の周波数特性値と第２の周波数の周波数特性値を少なくとも含む、周波数特性を取得する周波数特性取得手段と、
   前記周波数特性取得手段により取得された、前記第１の周波数の周波数特性値と前記第２の周波数の周波数特性値とを差分し、その差分値に基づき、前記画像の少なくとも一部の範囲の凹凸情報を取得する凹凸情報取得手段と、
   前記凹凸情報取得手段により取得された、前記画像の少なくとも一部の範囲の凹凸情報に基づいて、前記画像に対する所定の質感向上処理の作動を制御する質感向上処理制御手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記画像取得手段は、前記画像の全領域から被写体表面が写っている範囲を前記画像の少なくとも一部の範囲として抽出して、前記周波数特性取得手段へ出力することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の周波数と前記第２の周波数は、夫々、画像サイズから定まる最大周波数の１／３以下の周波数であることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記周波数特性取得手段は、前記画像の少なくとも一部の範囲を２次元フーリエ変換して、該画像の少なくとも一部の範囲の２次元の周波数特性を算出する２次元周波数特性算出部と、前記２次元周波数特性算出部により２次元の周波数特性が算出された前記画像の少なくとも一部の範囲の前記２次元フーリエ変換後の画像に対し原点を中心とする夫々の半径ごとに、円周方向の各座標位置での周波数特性値を積算し、積算した周波数特性値を当該円周の長さで除算することにより、１次元の周波数特性のヒストグラムを算出する１次元周波数特性算出部を有し、
   前記凹凸情報取得手段は、前記１次元周波数特性算出部により算出された前記１次元の周波数特性のヒストグラムにおける前記第１の周波数の周波数特性値と前記第２の周波数の周波数特性値とを差分し、その差分値に基づき、前記画像の少なくとも一部の範囲の凹凸情報を取得することを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
5. 前記周波数特性取得手段は、前記第１の周波数及び前記第２の周波数を中心とした通過波長特性を持つバンドパスフィルタ部を有し、前記画像の少なくとも一部の範囲の信号に対し、該バンドパスフィルタ部を介して前記第１の周波数の周波数特性値と前記第２の周波数の周波数特性値を出力し、
   前記凹凸情報取得手段は、前記バンドパスフィルタ部により出力された前記第１の周波数の周波数特性値と第２の周波数の周波数特性値とを差分し、その差分値に基づき、前記画像の少なくとも一部の範囲の凹凸情報を取得することを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
6. 前記質感向上処理制御手段は、前記凹凸情報取得手段により取得された前記画像の少なくとも一部の範囲の凹凸情報が所定の閾値以上である場合に前記画像に対する前記所定の質感向上処理を作動させることを特徴とする請求項１〜５のいずれかに記載の画像処理装置。
7. 前記質感向上処理制御手段は、前記所定の質感向上処理の作動量を、前記画像の少なくとも一部の範囲の凹凸情報に対応した作動量の関数を用いて制御することを特徴とする請求項１〜６のいずれかに記載の画像処理装置。
8. 前記質感向上処理制御手段は、前記所定の質感向上処理の作動量を、前記画像の少なくとも一部の範囲の凹凸情報に対応する作動量が記録されたＬＵＴ（ルックアップテーブル）を用いて制御することを特徴とする請求項１〜６のいずれかに記載の画像処理装置。
9. 前記所定の質感向上処理は、トーンカーブ、輝度コントラスト、色コントラスト、シャープネス、エッジ強調、ボケ、ノイズ、明度、彩度、色相のうち１種類以上の項目について行う画像処理であることを特徴とする請求項１〜８のいずれかに記載の画像処理装置。

Images