JP5443533B2 - 画像処理装置、画像表示装置及び画像処理方法 - Google Patents

Description

本実施形態は、画像から物体表面の反射特性を推定・制御する画像処理装置及び方法に関する。

表示画像の光沢感を向上するために、入力画像を鏡面反射成分と拡散反射成分に分離し、鏡面反射画像を調整・制御する技術が必要とされている。これに対して、画像から、二色性反射モデルに基づく連立方程式を解くことで拡散反射画像と鏡面反射画像を分離し、鏡面反射画像を強調する技術が開示されている。

従来技術では、拡散反射画像と鏡面反射画像を分離するには、処理対象の全ての画素及びその周辺画素の色情報を参照していたため、入力画像のサイズに併せて演算量が増大していた。

特開平６−２３６４４０号

S.A.Shafer, "Using color to separate reflection components," in COLOR Research and Application, Vol.10, No.4, pp.210-218, 1985

本実施形態は、上記に鑑みてなされたものであって、鏡面反射画像の鮮鋭度を維持したまま、従来に比べて演算量を削減できる。

上記課題を解決するために本実施形態の画像処理装置は、処理対象画像よりもサイズの小さい縮小画像に縮小する縮小部と、前記縮小画像から、前記縮小画像の各画素の拡散反射成分の画素値を求め、前記縮小画像と同じサイズの第１拡散反射画像を算出する算出部と、前記第１拡散反射画像を拡大し、前記処理対象画像と同じサイズの第２拡散反射画像を求める拡大部と、前記処理対象画像から前記第２拡散反射画像を減算し、鏡面反射画像を算出する減算部を有する。

本実施形態によれば、鏡面反射画像の鮮鋭度を維持したまま演算量を削減できる。

第１の実施形態に係る画像処理装置の構成を示す図。 第１の実施形態の動作を示すフローチャート。 第２の実施形態に係る画像処理装置の構成を示す図。 第３の実施形態に係る画像表示装置の構成を示す図。 第３の実施形態の動作を示すフローチャート。 第４の実施形態に係る画像処理装置の構成を示す図。 第５の実施形態に係る画像処理装置の構成を示す図。 第５の実施形態の動作を示すフローチャート。 第６の実施形態に係る画像処理装置の構成を示す図。

以下、図面を参照しながら本発明の実施形態の画像処理装置について詳細に説明する。ここで、互いに同じ部分には共通の符号を付して、重複説明は省略する。

（第１の実施形態）
図１は、第１の実施形態の画像処理装置１０の構成を示す。
画像処理装置１０は、縮小部１１と、算出部１２と、拡大部１３と、減算部１４を有する。本実施形態の画像処理装置は、入力画像から、各画素値の拡散反射成分に起因する画素値を抽出した画像（以下、拡散反射画像と記載）と、鏡面反射成分に起因する画素値を抽出した画像（以下、鏡面反射画像と記載）に分離する。

入力画像は、各画素に対する画素値を含む。画素値は、例えば国際電機連合（以下、ＩＴＵと記載）の規格に基づく輝度信号、色信号を有する画像であり、三原色であるＲＧＢを成分とする方式と、ＲＧＢから輝度信号および色差信号に変換した方式のどちらであっても構わない。本実施形態では一例として、ＩＴＵ−ＲＢＴ．６０１規格における三原色に対応したＲＧＢを成分とする方式に関して説明する。そのため、入力画像における各画素の画素値は、赤色成分の輝度を有するＲチャンネルと、緑色成分の輝度を有するＧチャンネルと、青色成分の輝度を有するＢチャンネルとで表現される。それぞれ、Ｒチャンネルが０〜ｒ_０、Ｇチャンネルが０〜ｇ_０、Ｂチャンネルが０〜ｂ_０の離散化された画素値を有する。

物体（被写体）からの反射光は２つの物理的に異なった経路で反射する。一つは物体の表面の境界で反射し、この反射は鏡面反射と呼ばれる。もう一方は、物体表面の凹凸に入射した光の散乱によるものであり、この反射を拡散反射と呼ぶ。拡散反射は、光源の色とは異なったオブジェクトの表面に固有の色とされる。

縮小部１１は、入力画像を、入力画像よりも小さいサイズに縮小した縮小画像を算出する。サイズとは、１枚の画像（フレーム、フィールド）に含まれる画素数を指し、縮小画像は処理対象の入力画像よりも少ない画素数を有する。算出された縮小画像は、算出部１２へ送られる。

算出部１２は、縮小画像から、前記縮小画像の各画素の拡散反射成分の画素値を求め、前記縮小画像と同じサイズの第１拡散反射画像を算出する。算出された第１拡散反射画像は、拡大部１３に送られる。

拡大部１３は、第１拡散反射画像を入力画像と同じサイズに拡大した第２拡散反射画像を算出する。算出された第２拡散反射画像は、減算部１４に送られる。また、第２拡散反射画像は、出力される。

減算部１４は、入力画像から第２拡散反射画像を引き去り、鏡面反射画像を求める。また、鏡面反射画像は、鏡面反射成分が分離された画像として出力される。

なお、本実施形態では拡散反射画像と鏡面反射画像の双方を求めて出力する構成について説明するが、いずれか一方のみを出力する構成であっても構わない。

次に、図２を用いて画像処理装置１０の動作について説明する。
縮小部１１は、入力画像を、横１／Ｎ、縦１／Ｍのサイズに縮小する（ステップＳ１０１０）。縮小方法は、最近傍法や双三次内挿法などの一般的な縮小手法を用いて構わない。縮小時に処理対象の画素の周辺の画素の色が混ざりにくい手法を採用することが望ましい。これは、縮小によって近隣画素と色が混ざってしまうと、後段で算出部１２が第１拡散反射画像を算出する際に、分離精度が下がるためである。本実施形態に係る縮小方法では最近傍法を用いる例について述べる。これは、最近傍法が縮小時に近隣画素と色が混ざりにくい手法であるためである。

本実施形態では、最近傍法による縮小を前述したＲチャンネル、Ｂチャンネル、Ｇチャンネルの色成分に対して適用する。これにより、近隣画素と色が混ざっていない縮小画像を生成することが可能となる。

算出部１２は、縮小画像から、前記縮小画像の各画素の拡散反射成分の画素値を求め、前記縮小画像と同じサイズの第１拡散反射画像を算出する（ステップＳ１０２）。この時、第１拡散反射画像の算出には、どのような算出方法を用いても良い。本実施形態では、非特許文献１によるＳｈａｆｅｒ（１９８８）の手法を用いる。

具体的には、Ｓｈａｆｅｒ（１９８８）の手法によれば、入力画像から処理対象の画素，及び，当該画素周辺の画素群の色相（ＲＧＢの割合）を用いて、同一表面画素群を算出する。次に、同一表面画素群の各々の画素値を用いて、同一表面画素群の代表色度を算出する。次に、処理対象の画素、及び，同一表面画素群の代表色度を用いて，処理対象の画素の拡散反射率を算出する．そして、処理対象の画素の画素値と拡散反射率とを用いて、処理対象の画素の鏡面反射画像と拡散反射画像を算出し出力する．
しかしながら、一般に上記手法によって拡散反射画像を算出すると、処理対象の画素に対して各々周辺画素の色情報を参照しなければならない。したがって、処理対象の画素数が増えるほど、すなわち画像のサイズが大きくなるほど演算量が膨大化する傾向がある。これに対して、ステップＳ１０１によれば、処理対象の画素数を減らすことができるので、全体の演算量を小さくすることができる。この時、ステップＳ１０２において、入力画像のサイズで各画素について拡散反射成分を産出する際の演算回数をＰ回とすると、演算回数はＰ／（Ｎ×Ｍ）回まで減らすことができる。

拡大部１３では、算出部１２によって出力された第１拡散反射画像を、横Ｎ倍、縦Ｍ倍のサイズに拡大した第２拡散反射画像を算出する（ステップＳ１０３）。この時、拡大方法は、最近傍法や双三次内挿法などの一般的な拡大手法を用いて構わない。できるだけ鮮鋭な拡大画像を生成できる手法であることが望ましい。後段のステップ１０４において、減算部１４が入力画像と、第２拡散反射画像との差分を取る際に、拡大によって発生するエッジ部分や細かい明るさの変動を有するテクスチャの誤差を低減するためである。そのため、本実施形態では、双三次内挿法による画素値の補完を行う拡大手法を利用する。双三次内挿法は、拡大時に処理対象の画素の周辺１６点のサンプリング点の情報を用いて補完多項式を算出する手法である。双三次内挿法によれば、鮮鋭な拡大画像を生成できる。本実施形態では、双三次内挿法による画素値の補完を行う拡大手法を、第１拡散反射画像のＲチャンネル、Ｂチャンネル、Ｇチャンネルの色成分ごとに適用する。それによって、入力画像に対するエッジ部分の誤差が少ない第２拡散反射画像を算出することが可能となる。

ステップＳ１０１〜Ｓ１０３によれば、サイズの小さな第１拡散反射画像を拡大することで演算回数を削減しつつ、入力画像と同じサイズの第２拡散反射画像を得ることができる。

減算部１４では、入力画像から第２拡散反射画像を引き、鏡面反射画像を算出する（ステップＳ１０４）。
鏡面反射画像をＳｐｅｃとすると、鏡面反射画像の画素値Ｓｐｅｃ（ｘ、ｙ）は次式によって算出される。
Ｓｐｅｃ（ｘ、ｙ）＝ ＩＮ（ｘ、ｙ）−ＤＩＦＦ（ｘ、ｙ） …式１
ＩＮ（ｘ、ｙ）は入力画像の画素値を、ＤＩＦＦ（ｘ、ｙ）は第２拡散反射画像の画素値を示す。

本実施形態では、式１を、拡散反射画像のＲチャンネル、Ｂチャンネル、Ｇチャンネルの色成分ごとに計算する。

Ｓｈａｆｅｒの提唱した２色性反射モデルによれば、物体表面の色は、鏡面反射と拡散反射の輝度を線形に加算することで表現できる。そのため、ステップＳ１０４によれば、入力画像の各画素の各チャンネルから物体表面の本来の色成分である拡散反射成分を引くことで、光源が鏡面反射した色成分のみが残り、それが鏡面反射画像となる。

前述したように、物体表面における拡散反射は、物体表面の凹凸に入射した光の散乱によって生じる。また、物体表面の凸凹は多くの場合空間的に連続であるため、その反射強度は空間方向に滑らかに変わる。そのため、拡散反射画像の輝度変化は低周波成分として抽出されることが多い。そして、低周波成分を有する滑らかな画像は、縮小・拡大してもその周波数特性が変化しにくく、縮小・拡大を行わずに算出したものと同様の周波数特性を有する。

そのため、ステップＳ１０１〜Ｓ１０３によって、縮小された画像で拡散反射画像を算出した場合でも、入力画像から算出した場合と同等の周波数特性を有する拡散反射画像を算出できる。縮小された画像で拡散反射画像を算出したため、演算回数を少なくすることができる。さらに、縮小・拡大処理を行うことで、入力画像に存在する画素単位でのノイズが抑制され、縮小・拡大を行わずに算出したものよりもノイズの影響が少ない拡散反射画像を算出できる。

また、鏡面反射成分に関しては高周波成分が多いため、単純に縮小画像から第１拡散反射画像を減算した後に拡大を行うと、先鋭度の低い鏡面反射画像となってしまう。そのため、本実施形態では、入力画像から第２拡散反射画像を減算している。それによって、鏡面反射の高周波成分が残るので、鮮鋭度の高い鏡面反射画像が生成できる。

少ない演算量で対象画素の拡散反射成分と鏡面反射成分とを分離することが可能なため、動画像のように短い時間で大量の画像を拡散反射成分と鏡面反射成の分離する用途に対して効果的である。また、分離された対象画素の拡散反射成分と鏡面反射成分を用いて、精度の高い物体認識を後段で行うことも可能である。

さらに、抽出された拡散反射成分と鏡面反射成分は、画像を強調する用途に応用しても良い。例えば、鏡面反射成分を伸張した後に拡散反射成分と再合成することで、物体表面の光沢感を強調するよう用いても良い。また、鏡面反射成分を抑制した後に拡散反射成分と再合成することで、人の顔のように拡散反射成分を抑制するよう処理する用途に用いても良い。本実施形態は、少ない演算量で対象画素の拡散反射成分と鏡面反射成分とを分離できるので、そういった強調処理の前段で利用しても有用である。カメラやセンサ等の撮像機器や、テレビやディスプレイのような表示機器における汎用的な画像処理に対して効果的である。

（第２の実施形態）
図３は、本実施形態の画像処理装置２０のブロック図である。
画像処理装置２０は、倍率調整部２１と、縮小部２２と、算出部１２と、拡大部２４と、減算部１４を有する。

倍率調整部２１は、入力象画像のサイズに関する情報を取得し、縮小部２２が求める縮小画像が特定の第１サイズとなる縮小倍率を求める。倍率調整部２１は、入力画像の画像サイズを用いて、画像の横方向の倍率Ｎ０と、画像の縦方向の倍率Ｍ０を算出し、縮小部２２と拡大部２４に送る。入力画像の横方向のサイズをＮ、縮小画像の縦方向のサイズをＭとすると、Ｎ０とＭ０は次式が成り立つような倍率であることが望ましい。

Ｎ０ ＝ Ｎ／ｓＮ
Ｍ０ ＝ Ｍ／ｓＭ … 式２
ここで、ｓＮは、縮小画像の横方向のサイズを、ｓＭは、縮小画像の横方向のサイズを示す定数でる。倍率調整部２１は、特定の第１サイズでを示す横方向がｓＮ、縦方向がｓＭとなる倍率を求める。

縮小部２２は、倍率Ｎ０と倍率Ｍ０とを用いて、横方向が１／Ｎ０、縦方向が１／Ｍ０のサイズとなるよう入力画像を縮小する。縮小画像は算出部１２に送られる。

拡大部２４は、倍率Ｎ０と倍率Ｍ０とを用いて、横方向がＮ０倍、縦方向がＭ０倍のサイズとなるよう第１拡散反射画像を拡大し、第２拡散反射画像を求める。第２拡散反射画像は、減算部１４に送られる。

以上のように、本実施形態によれば、入力画像のサイズに応じて、縮小倍率と拡大の倍率が調整される。画像処理装置において、様々なサイズの入力画像に対して処理をすることが想定される。本実施形態によれば、算出部１２が処理する第１拡散反射画像のサイズが一定になるので、入力画像のサイズが様々に異なって処理部分の演算回路が一つで済むため、装置の製造コストを下げることが可能となる。

本実施形態によって算出された拡散反射成分と鏡面反射成分は、画像を強調する用途に応用しても良い。例えば、鏡面反射成分を伸張した後に拡散反射成分と再合成することで、物体表面の光沢感を強調するよう用いても良い。また、鏡面反射成分を抑制した後に拡散反射成分と再合成することで、人の顔のように拡散反射成分を抑制するよう処理する用途に用いても良い。本実施形態によれば、様々なサイズの入力画像に対する処理を低い製造コストで実現できるので、カメラやセンサ等の撮像機器や、テレビやディスプレイのような表示機器における汎用的な画像処理に対して効果的である。

以上のような理由から、本実施形態は、カメラやセンサ等の撮像機器や、テレビやディスプレイのような表示機器における汎用的な画像処理に対して効果的である。

（第３の実施形態）
図４は、本実施形態の画像表示装置３１のブロック図を示す。画像表示装置３１は、画像処理装置３０と、画像表示部３７を有する。画像処理装置３０は、縮小部１１と、算出部１２と、拡大部１３と、減算部１４と、調整部３５と、合成部３６を有する。

拡大部１３は、算出された第２拡散反射画像を減算部１４に送る。第２拡散反射画像を算出するための処理の動作は、第１の実施形態と同様であるため説明を省略する。

減算部１４は、入力画像と第２拡散反射画像とを用いて、入力画像から第２拡散反射画像を減算し、鏡面反射画像を算出する。減算部１４は、算出された鏡面反射画像を、乗算部３５に送る。鏡面反射画像を算出するための動作は、第１の実施形態と同様であるため説明を省略する。

調整部３５は、鏡面反射画像の明るさを調整係数に応じて調整した調整画像を算出する。調整部３５は、算出された調整画像を合成部３６に送る。

合成部３６は、入力画像と調整画像とを足し合わせ、合成画像を算出し、出力する。

画像表示部３７は、合成画像を表示する。

図５は、画像処理装置３０の動作を説明する図である。図５において、ステップＳ３０１〜ステップＳ３０４は、図２のステップＳ１０１〜ステップＳ１０４と同様の処理であるため説明を省略する。
調整部３５は、鏡面反射画像の明るさを調整係数に応じて調整した調整画像を算出する（ステップＳ３０５）。画像内の位置が（ｘ、ｙ）の鏡面反射画像の画素値をＳｐｅｃ（ｘ、ｙ）、画像内の位置が（ｘ、ｙ）の調整画像の画素値をｅＳｐｅｃ（ｘ、ｙ）とする。次式は、ｅＳｐｅｃ（ｘ、ｙ）を算出する式である。
ｅＳｐｅｃ（ｘ、ｙ）＝ ｇａｉｎ×Ｓｐｅｃ（ｘ、ｙ） …式３
ここでｇａｉｎは調整係数である。画像処理装置３０において入力画像の鏡面反射成分（光沢）を強調した画像を出力する場合には０以上の実数が設定される。具体的には、ｇａｉｎ＝１．０とすることで、入力画像の鏡面反射成分の明るさが２倍になった合成画像が出力される。また、画像処理装置３０において入力画像の鏡面反射成分を抑制した画像を出力する場合には０以下−1以上の実数が設定される。

例えば、ｇａｉｎ＝―１．０とすることで、入力画像の鏡面反射成分を除去した合成画像が出力される。調整係数ｇａｉｎは、工場出荷時に設定されてもよいし、ユーザーによる外部入力によって設定されてもよい。

合成部３６は、入力画像と調整画像とを足し合わせ、合成画像を算出する（ステップＳ３０６）。画像内の位置が（ｘ、ｙ）の合成画像の画素値ｅＯＵＴ（ｘ、ｙ）は次式によって算出される。
ｅＯＵＴ ＝ ＩＮ（ｘ、ｙ）＋ｅＳｐｅｃ（ｘ、ｙ） …式４
式４の右辺の第１項と第２項は、画素値が輝度に線形な値で保持されていることが望ましいが、ガンマ変換を加えた非線形な信号値であってもかまわない。非特許文献１で提唱されている二色性反射モデルによれば、画素値が物理的な輝度に線形な値である場合に拡散反射画像と鏡面反射画像との間に加法性が成り立つ。しかしながら、画素値が非線形な信号値である場合は厳密には二色性反射モデルには従わなくなる。しかし、その場合でも、本実施形態による光沢を調整する効果は実現可能なため、画素値が非線形な信号値で保持されていてもかまわない。式４の計算は、入力画像の各画素値のＲチャンネル、Ｂチャンネル、Ｇチャンネルに対して適用される。

以上のように、本実施形態によれば、第１の実施形態と同様の構成によって得られた鏡面反射画像の明るさを任意に調整することが可能である。入力画像と調整画像を合成することで、鏡面反射成分の分離に伴う演算量を抑えつつ入力画像の鏡面反射成分をさまざまに調整した画像を表示することが可能となる。

一般的な画像表示装置や画像記録装置では、例えば信号忠実モードのように、鏡面反射成分の調整を行わず入力画像をそのまま出力する場合が想定される。これに対して、第３の実施形態によれば、式３のｇａｉｎを０に設定することで、鏡面反射成分の調整を行わず入力画像をそのまま出力することが可能である。

以上のような理由から、本実施形態の画像処理装置は、カメラやセンサ等の撮像機器や、テレビやディスプレイのような表示機器における汎用的な画像処理に対して効果的である。

（第４の実施形態）
図６は、第４の実施形態の画像処理装置４０のブロック図である。画像処理装置４０は、縮小部１１と、算出部１２と、拡大部１３と、減算部１４と、調整部３５と、レンジ圧縮部４６と、合成部３６と、を有する。

以下では、レンジ圧縮部４６について説明する。

レンジ圧縮部４６は、調整係数に応じて入力画像の明るさのレンジを圧縮して圧縮入力画像を算出する。レンジ圧縮部４６は、算出した圧縮入力画像を合成部３６に送る。レンジ圧縮部４６は、圧縮入力画像の画素値ｃＩＮ（ｘ、ｙ）を次式によって算出する。
ｃＩＮ（ｘ、ｙ） ＝ Ｃ×ＩＮ（ｘ、ｙ）／ｇａｉｎ 、ｇａｉｎ＞０、
ｃＩＮ（ｘ、ｙ） ＝ ＩＮ（ｘ、ｙ） 、ｇａｉｎ＜＝０。…式５
ＩＮ（ｘ、ｙ）は画像内の位置（ｘ、ｙ）における入力画像の画素値を示す。ｇａｉｎは、調整部３５において用いる鏡面反射画像の調整係数であり、Ｃは任意に設定される定数である。式５の計算は、入力画像の各画素値のＲチャンネル、Ｂチャンネル、Ｇチャンネルに対して適用される。

合成部３６は、圧縮入力画像と調整画像とを足し合わせ、合成画像を算出する。本実施形態では、鏡面反射画像の明るさを調整した調整画像を算出し、圧縮入力画像と調整画像とを足し合わせ、合成画像を算出する。この時、ｇａｉｎがより大きくなると、最終的に出力される合成画像のハイライト部が白つぶれを起こしやすくなる。なぜなら、入力画像内の鏡面反射成分によるハイライト部は、そもそも画像表現できる明るさのレンジの上限付近の値を有しており、そこに鏡面反射画像を足し合わせるためである。

これに対して、本実施形態によれば、ｇａｉｎが大きくなる、すなわち、鏡面反射画像の明るさが明るくなるのに併せて、式５によって入力画像側の明るさが圧縮されるので、前述した白つぶれを起こしにくくすることが可能となる。

他方、ｇａｉｎが０以下の場合は、そもそも前述した白つぶれは発生しないので、式５のように入力画像のレンジ圧縮を行わないことが望ましい。

本実施形態では、入力画像の明るさを前記調整係数に応じて明るさレンジを線形に圧縮することを想定しているが、一般的な明るさレンジを圧縮する手法であればどのような手法を用いてもかまわない。具体的には、画素値を対数化して圧縮する手法、画素値の最大価、中央値、最小値などの特徴量を用いてレンジを圧縮する手法、画像の低周波成分と高周波成分を分離して少なくとも一方の明るさを圧縮する手法などを用いてもかまわない。

一般的な画像表示装置や画像記録装置では、ハイライトが白つぶれすると画質が損なわれ問題となるが、本実施形態によれば、鏡面反射画像をより明るくしても、ハイライトのつぶれを起こしにくい合成画像を生成できる。そのため、本実施形態は、カメラやセンサ等の撮像機器や、テレビやディスプレイのような表示機器における汎用的な画像処理に対して効果的である。

（第５の実施形態）
図７は、本実施形態の画像表示装置５１のブロック図を示す。画像表示装置５１は、画像処理装置５０と、画像表示部５７を有する。画像処理装置５０は、縮小部１１と、算出部１２と、拡大部５３と、減算部１４と、調整部５５と、合成部５６を有する。
拡大部５３は、第１拡散反射画像を入力画像と同じサイズに拡大した第２拡散反射画像を算出する。算出された第２拡散反射画像は、減算部１４と合成部５６とに送られる。
調整部５５は、鏡面反射画像の明るさを調整係数に応じて調整した調整画像を算出する。調整部５５は、算出された調整画像を合成部５６に送る。
合成部５６は、第２拡散反射画像と調整画像とを足し合わせ、合成画像を算出し、出力する。
画像表示部５７は、合成画像を表示する。
図８は、画像処理装置５０の動作を説明する図である。図５において、ステップＳ５０１、ステップＳ５０２、ステップＳ５０４は、図２のステップＳ１０１、ステップＳ１０２、ステップＳ１０４と同様の処理であるため説明を省略する。
拡大部５３では、算出部１２によって出力された第１拡散反射画像を、横Ｎ倍、縦Ｍ倍のサイズに拡大した第２拡散反射画像を算出し、減算部１４と合成部５６とに送る（ステップＳ５０３）。
調整部５５は、鏡面反射画像の明るさを調整係数に応じて調整した調整画像を算出する（ステップＳ５０５）。画像内の位置が（ｘ、ｙ）の鏡面反射画像の画素値をＳｐｅｃ（ｘ、ｙ）、画像内の位置が（ｘ、ｙ）の調整画像の画素値をｅＳｐｅｃ２（ｘ、ｙ）とする。次式は、ｅＳｐｅｃ２（ｘ、ｙ）を算出する式である。
ｅＳｐｅｃ２（ｘ、ｙ）＝ ｇａｉｎ×Ｓｐｅｃ（ｘ、ｙ） …式６
ここでｇａｉｎは調整係数である。画像処理装置５０において入力画像の鏡面反射成分（光沢）を強調した画像を出力する場合には１以上の実数が設定される。具体的には、ｇａｉｎ＝２．０とすることで、入力画像の鏡面反射成分の明るさが２倍になった合成画像が出力される。また、画像処理装置５０において入力画像の鏡面反射成分を抑制した画像を出力する場合には１以下０以上の実数が設定される。例えば、ｇａｉｎ＝０．０とすることで、入力画像の鏡面反射成分を除去した合成画像が出力される。調整係数ｇａｉｎは、工場出荷時に設定されてもよいし、ユーザーによる外部入力によって設定されてもよい。

合成部５６は、第２拡散反射画像と調整画像とを足し合わせ、合成画像を算出する（ステップＳ５０６）。画像内の位置が（ｘ、ｙ）の合成画像の画素値ｅＯＵＴ２（ｘ、ｙ）は次式によって算出される。
ｅＯＵＴ２ ＝ ＤＩＦＦ（ｘ、ｙ）＋ｅＳｐｅｃ２（ｘ、ｙ） …式７
ここでＤＩＦＦ（ｘ、ｙ）は、第２拡散反射画像の位置が（ｘ、ｙ）の画素値である。
式７の右辺の第１項と第２項は、画素値が輝度に線形な値で保持されていることが望ましいが、ガンマ変換などを加えた非線形な信号値であってもかまわない。前述したとおり二色性反射モデルによれば、画素値が輝度に線形な値の場合に拡散反射画像と鏡面反射画像との間に加法性が成り立つ。しかしながら、画素値が非線形な信号値である場合は厳密には二色性反射モデルには従わなくなる。しかし、その場合でも、本実施形態による光沢を調整する効果は実現可能なため、画素値が非線形な信号値で保持されていてもかまわない。式７の計算は、入力画像の各画素値のＲチャンネル、Ｂチャンネル、Ｇチャンネルに対して適用される。

第２拡散反射画像は、入力画像を縮小し第１の拡散反射画像を求めた物を拡大した画像である。この時、入力画像を縮小する際に入力画像中に含まれる微細な色ノイズが除去される。そのため、本実施形態によれば、第２拡散反射画像と調整画像とを合成することで、入力画像に含まれるノイズを除去しつつ鏡面反射成分をさまざまに調整した鮮明な画像を表示することが可能となる。

上記のような理由から、本実施形態の画像処理装置は、カメラやセンサ等の撮像機器や、テレビやディスプレイのような表示機器における汎用的な画像処理に対して効果的である。

（第６の実施形態）
図９は、第６の実施形態の画像処理装置６０のブロック図である。画像処理装置６０は、縮小部１１と、算出部１２と、拡大部５３と、減算部１４と、調整部３５と、レンジ圧縮部６６と、合成部６７と、を有する。

レンジ圧縮部６６は、調整係数に応じて第２拡散反射画像の明るさのレンジを圧縮して圧縮拡散反射画像を算出する。レンジ圧縮部６６は、算出した圧縮拡散反射画像を合成部６７に送る。レンジ圧縮部６６は、圧縮拡散反射画像の画素値ｃＤＩＦＦ（ｘ、ｙ）を次式によって算出する。
ｃＤＩＦＦ（ｘ、ｙ） ＝ Ｃ×ＤＩＦＦ（ｘ、ｙ）／ｇａｉｎ 、ｇａｉｎ＞1、
ｃＤＩＦＦ（ｘ、ｙ） ＝ ＤＩＦＦ（ｘ、ｙ） 、ｇａｉｎ＜＝１．…式８
ＤＩＦＦ（ｘ、ｙ）は画像内の位置（ｘ、ｙ）における入力画像の画素値を示す。ｇａｉｎは、調整部５５において用いる鏡面反射画像の調整係数であり、Ｃは任意に設定される定数である。式５の計算は、入力画像の各画素値のＲチャンネル、Ｂチャンネル、Ｇチャンネルに対して適用される。

合成部６７は、圧縮拡散反射画像と調整画像とを足し合わせ、合成画像を算出する。

本実施形態では、鏡面反射画像の明るさを調整した調整画像を算出し、圧縮拡散反射画像と調整画像とを足し合わせ、合成画像を算出する。この時、ｇａｉｎがより大きくなると、最終的に出力される合成画像のハイライト部が白つぶれを起こしやすくなる。なぜなら、ハイライト付近の拡散反射成分は比較的明るいことが多く、そこに調整した鏡面反射画像を足し合わせるためである。

これに対して、本実施形態によれば、ｇａｉｎが大きくなる、すなわち、鏡面反射画像の明るさが明るくなるのに併せて、式８によって第２拡散反射画像の明るさが圧縮されるので、前述した白つぶれを起こしにくくすることが可能となる。
他方、ｇａｉｎが１以下の場合は、そもそも前述した白つぶれは発生しないので、式５のように入力画像のレンジ圧縮を行わないことが望ましい。
本実施形態では、第２拡散反射画像の明るさを調整係数に応じて明るさレンジを線形に圧縮することを想定しているが、一般的な明るさレンジを圧縮する手法であればどのような手法を用いてもかまわない。具体的には、画素値を対数化して圧縮する手法、画素値の最大価、中央値、最小値などの特徴量を用いてレンジを圧縮する手法、画像の低周波成分と高周波成分を分離して少なくとも一方の明るさを圧縮する手法などを用いてもかまわない。

一般的な画像表示装置や画像記録装置では、ハイライトが白つぶれすると画質が損なわれ問題となるが、本実施形態によれば、鏡面反射画像をより明るくしても、ハイライトのつぶれを起こしにくい合成画像を生成できる。そのため、本実施形態は、カメラやセンサ等の撮像機器や、テレビやディスプレイのような表示機器における汎用的な画像処理に対して効果的である。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

画像処理装置 １０、２０、３０、４０
縮小部 １１、２２
算出部 １２
拡大部 １３、２４、５３
減算部 １４
倍率調整部 ２１、
調整部 ３５、５５
合成部 ３６、５６，６７
レンジ圧縮部 ４６、６６
画像表示装置 ３１、５１
画像表示部 ３７、５７

Claims (5)

1. 処理対象画像よりもサイズの小さい縮小画像に縮小する縮小部と、
   前記縮小画像から、前記縮小画像の各画素の拡散反射成分の画素値を求め、前記縮小画像と同じサイズの第１拡散反射画像を算出する算出部と、
   前記第１拡散反射画像を拡大し、前記処理対象画像と同じサイズの第２拡散反射画像を求める拡大部と、
   前記処理対象画像から前記第２拡散反射画像を減算し、鏡面反射画像を算出する減算部と、
   前記鏡面反射画像の明るさを調整係数に応じて調製する調整部と、
   前記調整係数の大きさに応じて、前記処理対象画像の画素値のレンジを圧縮して圧縮画像を求めるレンジ圧縮部と、
   前記圧縮画像と、調整された前記鏡面反射成分とを足し合わせた合成画像を算出する合成部と、
   を有する画像処理装置。
   
2. 前記処理対象画像のサイズを取得し、前記縮小画像が特定の第１サイズとなる縮小倍率を求める倍率調整部を更に有し、
   前記縮小部は、前記縮小倍率に従って前記処理対象画像を縮小する、
   請求項１記載の画像処理装置。
   
3. 前記縮小部は、最近傍法を用いて前記縮小画像を求める請求項１記載の画像処理装置。
   
4. 請求項１〜３のいずれか１項に記載の画像処理装置と、
   画像を表示する表示部と、を備える画像表示装置。
   
5. 処理対象画像よりもサイズの小さい縮小画像に縮小すること、
   前記縮小画像から、前記縮小画像の各画素の拡散反射成分の画素値を求め、前記縮小画像と同じサイズの第１拡散反射画像を算出すること、
   前記第１拡散反射画像を拡大し、前記処理対象画像と同じサイズの第２拡散反射画像を求めること、
   前記処理対象画像から前記第２拡散反射画像を減算し、鏡面反射画像を算出すること、
   前記鏡面反射画像の明るさを調整係数に応じて調製すること、
   前記調整係数の大きさに応じて、前記処理対象画像の画素値のレンジを圧縮して圧縮画像を求めること、
   前記圧縮画像と、調整された前記鏡面反射成分とを足し合わせた合成画像を算出すること、
   を有する画像処理方法。

Images