JP5147287B2 - 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路 - Google Patents

Description

本発明は、２次元画像に陰影付加・光付加を行うことにより画像の奥行き感や立体感を強調する画像処理装置、画像処理方法、プログラム、記録媒体および、集積回路に関するものである。

大画面ＦＰＤ（フラット・パネル・ディスプレイ）装置等の画面に表示される映像をより自然な映像として表示させるために、表示映像において「奥行き感」や「立体感」を向上させる技術が、ユーザから強く求められている。これに対して、人間の両眼視差を利用した３次元テレビ等が提案されているが、特殊な専用眼鏡を必要とする場合が多いという課題、画像依存性が大きいという課題、あるいは、特殊なデバイスを必要とするため高コストになるというような課題が指摘されている。現状では、大画面ディスプレイ装置でのセールスポイントとして、大画面ディスプレイ装置の表示画像内での階調特性や色特性を滑らかにすることで、表示画像（映像）の立体感を実現させる技術がアピールされることが多い。
人間は、両眼視差のみならず、色情報、彩度、明暗、（色情報や明るさ情報の）コントラスト、陰影、肌理の勾配、相対的大きさ等の単眼情報を利用して、２次元画像に奥行き感や立体感を知覚することが明らかとなっている。

このような単眼情報を利用した従来技術として、照明方向を検知して、その検知した照明方向に対応するフィルタ処理画像（シェーディング画像）を入力画像に加算することで立体化画像を生成する技術がある（例えば、特許文献１参照）。
図８２は、その従来の画像処理装置（立体化装置）９０００の構成を示すブロック図である。
画像処理装置９０００の生成部５００１において、まず、入力画像（入力画像信号）が入力されると、入力画像信号に対して複数の照明方向検出用に用意されたフィルタ係数をもつフィルタが適用され、各々のフィルタ処理画像（シェーディング画像）が生成される。画像処理装置９０００では、このフィルタ処理画像と入力画像の画素値間の平均差分値がもっとも小さいフィルタ係数に対応するフィルタ方向から照明（照明光）が来ていると判定される。そして、判定された照明方向に対応するフィルタ処理画像は、画質改善部５００２において、ノイズ除去処理（雑音除去部５００３による処理）、（画像上の）上下左右への拡散処理（ぶれ部５００４による処理）が行なわれる。その後、利得調整部５００５で得られた利得率がフィルタ処理画像に乗算され、乗算されて取得された出力は、加算器５００６により、入力画像に加算される。そして、加算器５００６の出力は、マッピング５００７での処理を経て、画像処理装置９０００から出力される。画像処理装置９０００は、このようにして得られた画像を出力することで、立体化画像を生成する。なお、画像処理装置９０００では、各照明方向に対応するフィルタとして、複数方向の輪郭を抽出するためのフィルタが用意されている。また、（画像上の）上下左右にフィルタ処理画像の値を拡散することで、立体付加を図っているのである。なお、この画像処理装置９０００では、照明（照明光）が一方向から来ていると仮定して検出処理を行っており、そのために各方向に対応したフィルタの係数が予め用意されていることが前提となる。
特開２００３−１９６６３９号公報

上記従来技術では、画像内における照明方向の検出を必要とし、その検出精度の影響を大きく受ける。さらに、照明が一方向から来る場合のみを想定しているため、自然画像で多く見受けられる複数照明が存在する場合に適切に対応することができない。つまり、従来技術では、複数照明方向（複数の照明（光源）による照明方向）を検出できないとともに、部分的に照明方向が変動している場合には、照明検出精度は大きく悪化する恐れがある。そのため、従来技術では、画像依存性が高く、特に自然画像において適切な効果を奏することが出来ない場合が多い。また、予め照明検出用フィルタを用意しておく必要がある等の課題もある。
本発明は、上記従来技術の課題に鑑み、従来技術のような照明方向の検出を必要とせず、かつ、画像内にある照明分布がどのようなものであっても（複数照明の場合であっても）画像に適切な陰影付加を行うことで、処理画像において奥行き感・立体感向上を実現させる画像処理装置、画像処理方法、プログラム、記録媒体および集積回路を提供することを目的とする。また、本発明は、画像に適切な光付加を行うことで、さらなる処理画像の奥行き感・立体感向上を実現させる画像処理装置、画像処理方法、プログラム、記録媒体および集積回路を提供することを目的とする。

第１の発明は、明るさ情報算出部と、法線方向推定部と、補正階調導出部と、を備える画像処理装置である。明るさ情報算出部は、画素からなる２次元画像を形成することができる入力された画像信号から、画像信号の明るさ情報を算出する。法線方向推定部は、画像信号により形成される２次元画像上に奥行き感を与えるために、明るさ情報から、画素ごと又は複数の画素からなる領域ごとに法線方向を推定し、推定された法線方向に基づいて、画素ごと又は領域ごとに３次元ベクトルである法線方向ベクトルを取得する。補正階調導出部は、法線方向推定部で取得された法線方向ベクトルに基づいて明るさ情報の補正量を求め、明るさ情報の補正量に基づいて画像信号の明るさ情報を補正する。法線方向推定部は、２次元画像上で画素の画素位置を決定するための２次元座標情報である、第１方向の成分の値である第１方向成分値および第２方向の成分の値である第２方向成分値と、２次元画像が形成する平面上には含まれない第３方向の成分の値である第３方向成分値と、の３つの方向成分の値により法線方向ベクトルを決定する。また、法線方向推定部は、第３方向成分値を所定の値である第１の値に設定し、複数の画素について、第３方向成分値を第１の値と同じ値にして、画素ごと又は領域ごとに法線方向ベクトルを決定する。

この画像処理装置では、法線方向推定部により、明るさ情報から、画素ごと又は複数の画素からなる領域ごとに法線方向を推定し、推定された法線方向に基づいて、画素ごと又は領域ごとに３次元ベクトルである法線方向ベクトルが取得される。そして、補正階調導出部により、法線方向推定部で取得された法線方向ベクトルに基づいて明るさ情報の補正量を求め、明るさ情報の補正量に基づいて画像信号の明るさ情報が補正される。
したがって、この画像処理装置では、２次元画像から３次元の法線方向ベクトルを求め、それを用いて３次元的な処理を施すことができるので、処理画像において奥行き感・立体感を効果的に向上させることができる。
法線方向推定部は、２次元画像上で画素の画素位置を決定するための２次元座標情報である、第１方向の成分の値である第１方向成分値および第２方向の成分の値である第２方向成分値と、２次元画像が形成する平面上には含まれない第３方向の成分の値である第３方向成分値と、の３つの方向成分の値により法線方向ベクトルを決定する。
ここで、第１方向とは、例えば、ＸＹＺ空間におけるｘ軸方向（ｘ方向）であり、第２方向とは、ＸＹＺ空間におけるｙ軸方向（ｙ方向）であり、ＸＹＺ空間におけるｚ軸方向（ｚ方向）である。なお、第１方向、２方向、および第３方向は、互いに平行ではない方向である。
また、法線方向推定部は、第３方向成分値を所定の値である第１の値に設定し、複数の画素について、第３方向成分値を第１の値と同じ値にして、画素ごと又は領域ごとに法線方向ベクトルを決定する。
これにより、２次元画像による情報から、簡単に、３次元ベクトルである法線方向ベクトルを決定させることができる。なお、２次元画像を形成する全画素について、第３方向成分値を第１の値と同じ値にして、法線方向ベクトルを決定するようにしてもよい。

第２の発明は、第１の発明であって、補正階調導出部により明るさ情報が補正された画像信号を、所定の形式により出力させる出力部をさらに備える。
これにより、画像処理装置により処理した画像を所定の形式で出力させて、表示装置に表示させることができる。
ここで、「所定の形式」とは、表示装置に表示させるための画像に関する形式のことをいい、例えば、画像（映像）フォーマット形式（例えば、ＪＰＥＧ画像形式、ＢＭＰ画像形式、ＭＰＥＧ形式、ＮＴＳＣ方式の映像形式）等がこれに該当する。
第３の発明は、第１又は第２の発明であって、補正階調導出部は、少なくとも１つの仮想光源を設定し、仮想光源の光源位置を決定し、画素の画素位置と光源位置との位置関係および法線方向ベクトルに基づいて、画像信号の明るさ情報を補正する。

第４の発明は、第１から第３のいずれかの発明であって、補正階調導出部は、少なくとも１つの仮想光源を設定し、画素ごとまたは領域ごとに仮想光源への方向を持つ３次元ベクトルである光源方向ベクトルを求め、法線方向ベクトルと光源方向ベクトルとに基づいて、画像信号の明るさ情報を補正する。
これにより、この画像処理装置では、少なくとも１つの仮想光源を設定することで、画像信号の明るさ情報を補正することができるので、従来技術のような照明方向の検出を必要とせず、かつ、画像内にある照明分布がどのようなものであっても（複数照明の場合であっても）処理画像において奥行き感・立体感を効果的に向上させることができる。

第５の発明は、第４の発明であって、補正階調導出部は、画素の画素値に対して陰影付加処理を行うことで、画像信号の明るさ情報を補正する。
これにより、この画像処理装置により処理した画像において、効果的に陰影を付加することができる。なお、「陰影付加処理」とは、立体感を向上させるために、画像データの中の所定の画素に対して、画素値の明るさを示す成分値を減少させる処理（輝度値を低下させる処理と等価な処理を含む。）である。
第６の発明は、第４の発明であって、補正階調導出部は、画素の画素値に対して光付加処理を行うことで、画像信号の明るさ情報を補正する。
これにより、この画像処理装置により処理した画像において、効果的に光を付加することができる。なお、「光付加処理」とは、立体感を向上させるために、画像データの中の所定の画素に対して、画素値の明るさを示す成分値を増加させる処理（輝度値を増加させる処理と等価な処理を含む。）処理である。

第７の発明は、第１の発明であって、法線方向推定部は、画素の画素値の第１方向についての微分値に基づいて、法線方向ベクトルの第１方向成分値を決定する。
これにより、第１方向の変化が大きい部分についての法線方向ベクトルの第１方向成分の値が大きくなり、法線方向ベクトルにより決定される立体曲面と２次元画像平面とのなす角度が大きくなるので、効果的に陰影付加処理や光付加処理を実行することができる。
なお、ここで、「微分」とは、差分を含む概念であり、例えば、注目画素の画素値と、注目画素に隣接する画素の画素値との差分をとる演算が含まれる。
また、「第１方向についての微分値」とは、例えば、ＸＹＺ空間における、ｘ軸方向について微分（差分）した値、つまり、ｘ成分についての偏微分値である。

第８の発明は、第１の発明であって、法線方向推定部は、画素の画素値の第２方向についての微分値に基づいて、法線方向ベクトルの第２方向成分値を決定する。
これにより、第２方向の変化が大きい部分についての法線方向ベクトルの第２方向成分の値が大きくなり、法線方向ベクトルにより決定される立体曲面と２次元画像平面とのなす角度が大きくなるので、効果的に陰影付加処理や光付加処理を実行することができる。
なお、「第２方向についての微分値」とは、例えば、ＸＹＺ空間における、ｙ軸方向について微分（差分）した値、つまり、ｙ成分についての偏微分値である。

第９の発明は、第１の発明であって、法線方向推定部は、画素の画素値の第１方向についての微分値に基づいて、法線方向ベクトルの第１方向成分値を決定し、画素の画素値の第２方向についての微分値に基づいて、法線方向ベクトルの第２方向成分値を決定し、補正階調導出部は、変調法線方向ベクトルに基づいて、明るさ情報の補正量を求め、明るさ情報の補正量に基づいて画像信号の明るさ情報を補正する。
これにより、第１方向および第２方向の変化が大きい部分についての法線方向ベクトルの第１方向成分の値および第２方向成分の値が大きくなり、法線方向ベクトルにより決定される立体曲面と２次元画像平面とのなす角度が大きくなるので、効果的に陰影付加処理や光付加処理を実行することができる。
ここで、例えば、第１方向成分をＸＹＺ空間のｘ成分とし、第２方向成分をＸＹＺ空間のｙ成分とした場合、第１方向成分の微分値ｄｘ、および第２方向成分の微分値ｄｙを用いて、法線方向ベクトルを、３次元ベクトル表示で（−ｄｘ，−ｄｙ，ｃ）（ｃは定数）とすることが好ましい。

第１０の発明は、第１から第９のいずれかの発明であって、明るさ情報の補正量は、法線方向ベクトルの第１方向成分値または第２方向成分値の変化に伴い変化する。
第１１の発明は、第１から第１０のいずれかの発明であって、法線方向推定部は、法線方向ベクトルを変調することにより変調法線方向ベクトルを取得し、補正階調導出部は、変調法線方向ベクトルに基づいて、明るさ情報の補正量を求め、明るさ情報の補正量に基づいて画像信号の明るさ情報を補正する。
これにより、法線方向ベクトルにより決定される立体曲面と２次元画像平面とのなす角度が小さい場合であっても、変調法線方向ベクトルにより決定される立体曲面と２次元画像平面とのなす角度が大きくすることができるので、効果的に陰影付加処理や光付加処理を実行することができる。

第１２の発明は、第１１の発明であって、法線方向推定部は、画素の画素値の第１方向についての微分値に基づいて、法線方向ベクトルを変調することにより変調法線方向ベクトルを取得する。
これにより、法線方向ベクトルにより決定される立体曲面と２次元画像平面とのなす角度が小さい場合であっても、変調法線方向ベクトルにより決定される立体曲面と２次元画像平面とのなす角度が大きくすることができるので、効果的に陰影付加処理や光付加処理を実行することができる。
第１３の発明は、第１１の発明であって、法線方向推定部は、画素の画素値の第２方向についての微分値に基づいて、法線方向ベクトルを変調することにより変調法線方向ベクトルを取得する。
これにより、法線方向ベクトルにより決定される立体曲面と２次元画像平面とのなす角度が小さい場合であっても、変調法線方向ベクトルにより決定される立体曲面と２次元画像平面とのなす角度が大きくすることができるので、効果的に陰影付加処理や光付加処理を実行することができる。

第１４の発明は、第１１の発明であって、法線方向推定部は、画素の画素値の第１方向および第２方向についての微分値に基づいて、法線方向ベクトルを変調することにより変調法線方向ベクトルを取得する。
これにより、法線方向ベクトルにより決定される立体曲面と２次元画像平面とのなす角度が小さい場合であっても、変調法線方向ベクトルにより決定される立体曲面と２次元画像平面とのなす角度が大きくすることができるので、効果的に陰影付加処理や光付加処理を実行することができる。
第１５の発明は、第１１から第１４のいずれかの発明であって、法線方向推定部は、画像信号において処理対象とされている画素である注目画素についての明るさ情報と、注目画素の周辺画素の明るさ情報とに基づいて明るさ対比量を算出し、明るさ対比量に基づいて、法線方向ベクトルの第３方向成分値を変化させることにより変調法線方向ベクトルを取得する。
これにより、法線方向ベクトルにより決定される立体曲面と２次元画像平面とのなす角度が小さい場合であっても、変調法線方向ベクトルにより決定される立体曲面と２次元画像平面とのなす角度が大きくすることができるので、効果的に陰影付加処理や光付加処理を実行することができる。

第１６の発明は、第１１から第１４のいずれかの発明であって、法線方向推定部は、画像信号において処理対象とされている画素である注目画素についての明るさ情報と、注目画素の周辺画素の明るさ情報とに基づいて明るさ対比量を算出し、明るさ対比量に基づいて、視覚的奥行き感の程度を示す第１視覚的奥行き量を算出し、第１視覚的奥行き量に基づいて、法線方向ベクトルの第１方向成分値および第２方向成分値を変化させることにより変調法線方向ベクトルを取得する。
これにより、法線方向ベクトルにより決定される立体曲面と２次元画像平面とのなす角度が小さい場合であっても、変調法線方向ベクトルにより決定される立体曲面と２次元画像平面とのなす角度が大きくすることができるので、効果的に陰影付加処理や光付加処理を実行することができる。
この画像処理装置では、視覚効果の１つである明るさ対比により発生する明るさ感知の効果を考慮して視覚的奥行き量（第１視覚的奥行き量）を定義し、その視覚的奥行き量より法線方向を求めるものである。こうすることで、明るくかつ明るさ対比効果が高いほど明るく感じるとともに、ユーザにより近く感じる視覚心理に応じて補正された法線推定が可能となる。

第１７の発明は、第１１から第１４のいずれかの発明であって、法線方向推定部は、画像信号において処理対象とされている画素である注目画素についての色情報と、注目画素の周辺画素の色情報とに基づいて色対比量を算出し、色対比量に基づいて、視覚的奥行き感の程度を示す第２視覚的奥行き量を算出し、第２視覚的奥行き量に基づいて、法線方向ベクトルの第１方向成分値および第２方向成分値を変化させることにより変調法線方向ベクトルを取得する。

これにより、法線方向ベクトルにより決定される立体曲面と２次元画像平面とのなす角度が小さい場合であっても、変調法線方向ベクトルにより決定される立体曲面と２次元画像平面とのなす角度が大きくすることができるので、効果的に陰影付加処理や光付加処理を実行することができる。
視覚心理として鮮やかであるほど凸形状である（画像を見ているユーザ方向に近い）と感じることが指摘されている。よって、この画像処理装置では、前述の対象部分の輝度のみの関数で定義した奥行き量に色対比により発生する効果を考慮して視覚的奥行き量（第２視覚的奥行き量）を定義し、その視覚的奥行き量より法線方向を求めるものである。こうすることで、明るく色対比効果が高いほど明るくあざやかに感じるとともに、ユーザにより近く感じる視覚心理に応じて補正された法線推定が可能となる。

第１８の発明は、第１１から第１４のいずれかの発明であって、法線方向推定部は、画像信号において処理対象とされている画素である注目画素についての明るさ情報と、注目画素の周辺画素の明るさ情報とに基づいて明るさ対比量を算出し、明るさ対比量に基づいて、視覚的奥行き感の程度を示す第１視覚的奥行き量を算出し、画像信号において処理対象とされている画素である注目画素についての色情報と、注目画素の周辺画素の色情報とに基づいて色対比量を算出し、色対比量に基づいて、視覚的奥行き感の程度を示す第２視覚的奥行き量を算出し、
第１視覚的奥行き量および第２視覚的奥行き量に基づいて、法線方向ベクトルの第１方向成分値および第２方向成分値を変化させることにより変調法線方向ベクトルを取得する。

第１９の発明は、第４の発明であって、法線方向推定部は、法線方向ベクトルを変調することにより変調法線方向ベクトルを取得し、補正階調導出部は、変調法線方向ベクトルおよび光源方向ベクトルに基づいて、明るさ情報の補正量を求め、明るさ情報の補正量に基づいて画像信号の明るさ情報を補正する。
これにより、法線方向ベクトルにより決定される立体曲面と２次元画像平面とのなす角度が小さい場合であっても、変調法線方向ベクトルにより決定される立体曲面と２次元画像平面とのなす角度が大きくすることができる。そして、光源方向ベクトルと変調法線方向ベクトルにより決定される立体曲面との位置関係により陰影を付加すべきであるのか、あるいは、光付加をするべきであるのかを適切に判断することができるため、この画像処理装置で処理した画像において、効果的に陰影付加や光付加を行うことができる。
特に、この画像処理装置では、２次元画像上において、平坦部で、かつ、階調値（画素値）の微小変化のある画素（あるいは領域）において、効果的に陰影付加や光付加を行うことができる（特に、処理画像において、効果的に丸み・膨らみ感を与えることができる）。

第２０の発明は、第１９の発明であって、法線方向推定部は、法線方向ベクトルと光源方向ベクトルとのなす角度αに基づいて、法線方向ベクトルを変調する。
これにより、この画像処理装置で処理した画像で、効果的に陰影付加や光付加を行うことができる。
第２１の発明は、第２０の発明であって、補正階調導出部は、角度αが大きくなるに従い、明るさ情報の補正量を増加させる。
これにより、この画像処理装置で処理した画像で、効果的に陰影付加や光付加を行うことができる。
特に、この画像処理装置では、２次元画像上において、平坦部で、かつ、階調値（画素値）の微小変化のある画素（あるいは領域）において、効果的に陰影付加や光付加を行うことができる。

第２２の発明は、第２０の発明であって、補正階調導出部は、角度αが、２次元画像の法線ベクトルと光源方向ベクトルとのなす角度であるα０より大きい場合であって、第１閾値角度α１以下の場合、角度αが大きくなるに従い、明るさ情報の補正量を増加させ、角度αが第１閾値角度α１より大きくなった場合、角度αが大きくなるに従い、補正量を減少させる。
これにより、この画像処理装置で処理した画像で、効果的に陰影付加や光付加を行うことができる。
特に、この画像処理装置では、２次元画像上において、平坦部で、かつ、階調値（画素値）の微小変化のある画素（あるいは領域）において、効果的に陰影付加や光付加を行うことができる。

第２３の発明は、第２２の発明であって、補正階調導出部は、補正量により、画素の画素値に対して陰影付加処理を行うことで、画像信号の明るさ情報を補正する。
第２４の発明は、第１１の発明であって、法線方向ベクトルを変調させる特性を決定させるための情報を入力することができる入力部をさらに備える。
これにより、ユーザは、法線方向ベクトルを変調させる特性を決定させるための情報を入力することができ、ユーザの好みの画像処理を、この画像処理装置において実現させることができる。

第２５の発明は、第４の発明であって、補正階調導出部は、光源方向ベクトルと法線方向ベクトルとの内積値に基づいて、画像信号の明るさ情報を補正する。
これにより、光源方向ベクトルと変調法線方向ベクトルにより決定される立体曲面との位置関係を、光源方向ベクトルと法線方向ベクトルとの内積値により、簡単に把握することができ、陰影を付加すべきであるのか、あるいは、光付加をするべきであるのかを適切に判断することができる。このため、この画像処理装置で処理した画像において、効果的に陰影付加や光付加を行うことができる。
ここで、例えば、第１方向成分をＸＹＺ空間のｘ成分とし、第２方向成分をＸＹＺ空間のｙ成分とした場合、対象画素ｉ（ｘ，ｙ，ｚ）（での第１方向成分の微分値ｄｘ、および対象画素ｉ（ｘ，ｙ，ｚ）での第２方向成分の微分値ｄｙを用いて、対象画素ｉ（ｘ，ｙ，ｚ）の法線方向ベクトルＨｉ＝（−ｄｘ，−ｄｙ，ｃ）（ｃは定数）とし、光源方向ベクトルが対象画素ｉ（ｘ，ｙ，ｚ）から光源位置への方向を持つベクトルであるとして、法線方向ベクトルと光源方向ベクトルとのなす角度が小さい（０度に近い）ほど、対象画素ｉ（ｘ，ｙ，ｚ）は、光源からの光が当たる領域にある可能性が高いと判断し、光付加処理の程度を高める（あるいは、陰影付加処理の程度を弱める）ようにし、法線方向ベクトルと光源方向ベクトルとのなす角度が大きい（１８０度に近い）ほど、対象画素ｉ（ｘ，ｙ，ｚ）は、光源からの光が当たらない領域にある可能性が高いと判断し、陰影付加処理の程度を高める（あるいは、光付加処理の程度を弱める）ようにする。

第２６の発明は、第４又は第２５の発明であって、補正階調導出部は、光源方向ベクトルと法線方向ベクトルとを、数式モデルまたはルックアップテーブルに適用させることで、陰影強調画像信号を取得し、陰影強調画像信号を画像信号に合成することにより、画像信号の明るさ情報を補正する。
これにより、光源方向ベクトルと変調法線方向ベクトルにより決定される立体曲面との位置関係により陰影を付加すべきであるのか否かを適切に判断することができるため、この画像処理装置で処理した画像において、効果的に陰影付加や光付加を行うことができる。
なお、ここで、「数式モデル」とは、光源についての３次元データおよび注目画素（対象画素）についての３次元データから、注目画素の明るさ情報を算出することができる数式モデルのことをいい、例えば、ＰｈｏｎｇモデルやＴｏｒｒａｎｃｅ ａｎｄ Ｓｐａｒｒｏｗによるモデルやコンピュータグラフィックス（ＣＧ）で使用されるモデル等がこれに該当する。
また、ここでの「ルックアップテーブル」は、例えば、光源方向ベクトルと法線方向ベクトルとに基づくデータを入力することで、上記数式モデルの演算結果に相当するデータを出力するデータを保持している参照テーブルのことをいう。

第２７の発明は、第４又は第２５の発明であって、補正階調導出部は、光源方向ベクトルと法線方向ベクトルとを、数式モデルまたはルックアップテーブルに適用させることで、光強調画像信号を取得し、光強調画像信号を画像信号に合成することにより、画像信号の明るさ情報を補正する。
これにより、光源方向ベクトルと変調法線方向ベクトルにより決定される立体曲面との位置関係により光を付加すべきであるのか否かを適切に判断することができるため、この画像処理装置で処理した画像において、効果的に陰影付加や光付加を行うことができる。

第２８の発明は、第４又は第２５の発明であって、補正階調導出部は、光源方向ベクトルと法線方向ベクトルとを、数式モデルまたはルックアップテーブルに適用させることで、陰影強調画像信号および光強調画像信号を取得し、陰影強調画像信号および光強調画像信号を画像信号に合成することにより、画像信号の明るさ情報を補正する。
これにより、光源方向ベクトルと変調法線方向ベクトルにより決定される立体曲面との位置関係により陰影を付加すべきであるのか、あるいは、光付加をするべきであるのかを適切に判断することができるため、この画像処理装置で処理した画像において、効果的に陰影付加や光付加を行うことができる。

第２９の発明は、第１から第２８のいずれかの発明であって、法線方向推定部は、法線方向ベクトルを空間方向に平滑化した平滑化法線方向ベクトルを求め、補正階調導出部は、平滑化法線方向ベクトルに基づいて画像信号の明るさ情報を補正する。
これにより、法線方向ベクトルがノイズ等により変動することを抑制でき、安定した画像信号の補正処理を行うことができる。
ここで、「空間方向に平滑化」するとは、法線方向ベクトルが定義される３次元空間において平滑化することをいい、例えば、注目画素の法線方向ベクトルと、注目画素の隣接画素の法線方向ベクトルとを平均した法線方向ベクトル（これが「平滑化法線方向ベクトル」に該当する。）を取得することがこれに該当する。
第３０の発明は、第１から第２８のいずれかの発明であって、法線方向推定部は、法線方向ベクトルを時間方向に平滑化した平滑化法線方向ベクトルを求め、補正階調導出部は、平滑化法線方向ベクトルに基づいて画像信号の明るさ情報を補正する。
これにより、法線方向ベクトルが時間方向に変動する場合であっても、安定した画像信号の補正処理を行うことができる。特に、この画像処理装置において連続した画像（つまり、映像）を扱う場合において、画像間（フレーム間）で、法線方向ベクトルが急激に変動することにより生じる映像上のちらつき等を抑制することができる。
ここで、「時間方向に平滑化」するとは、例えば、時刻の異なる画像信号における、複数の法線方向ベクトルを平均した法線方向ベクトル（これが「平滑化法線方向ベクトル」に該当する。）を取得することをいう。

第３１の発明は、明るさ情報算出ステップと、法線方向推定ステップと、補正階調導出ステップと、を備える画像処理方法である。明るさ情報算出ステップでは、画素からなる２次元画像を形成することができる入力された画像信号から、画像信号の明るさ情報を算出する。法線方向推定ステップでは、画像信号により形成される２次元画像上に奥行き感を与えるために、明るさ情報から、画素ごと又は複数の画素からなる領域ごとに法線方向を推定し、推定された法線方向に基づいて、画素ごと又は領域ごとに３次元ベクトルである法線方向ベクトルを取得する。補正階調導出ステップでは、法線方向推定ステップで取得された法線方向ベクトルに基づいて明るさ情報の補正量を求め、明るさ情報の補正量に基づいて画像信号の明るさ情報を補正する。法線方向推定ステップでは、２次元画像が形成する平面上には含まれない第３方向の成分の値である第３方向成分値が所定の値である第１の値に設定される。２次元画像上で画素の画素位置を決定するための２次元座標情報である、第１方向の成分の値である第１方向成分値および第２方向の成分の値である第２方向成分値と、設定した第３方向成分値と、の３つの方向成分の値により法線方向ベクトルが決定され、複数の画素について、第３方向成分値を第１の値と同じ値にして、画素ごと又は領域ごとに法線ベクトルが決定される。
これにより、第１の発明と同様の効果を奏する画像処理方法を実現することができる。

第３２の発明は、コンピュータを、明るさ情報算出部、法線方向推定部、補正階調導出部、として機能させるためのプログラムである。明るさ情報算出部は、画素からなる２次元画像を形成することができる入力された画像信号から、画像信号の明るさ情報を算出する。法線方向推定部は、画像信号により形成される２次元画像上に奥行き感を与えるために、明るさ情報から、画素ごと又は複数の画素からなる領域ごとに法線方向を推定し、推定された法線方向に基づいて、画素ごと又は領域ごとに３次元ベクトルである法線方向ベクトルを取得する。補正階調導出部は、法線方向推定部で取得された法線方向ベクトルに基づいて明るさ情報の補正量を求め、明るさ情報の補正量に基づいて画像信号の明るさ情報を補正する。法線方向推定部は、２次元画像が形成する平面上には含まれない第３方向の成分の値である第３方向成分値を所定の値である第１の値に設定し、２次元画像上で画素の画素位置を決定するための２次元座標情報である、第１方向の成分の値である第１方向成分値および第２方向の成分の値である第２方向成分値と、設定した第３方向成分値と、の３つの方向成分の値により法線方向ベクトルを決定するものであり、複数の画素について、第３方向成分値を第１の値と同じ値にして、画素ごと又は領域ごとに法線ベクトルを決定するように機能させる。
これにより、第１の発明と同様の効果を奏するプログラムを実現することができる。

第３３の発明は、コンピュータを、明るさ情報算出部、法線方向推定部、補正階調導出部、として機能させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体である。明るさ情報算出部は、画素からなる２次元画像を形成することができる入力された画像信号から、画像信号の明るさ情報を算出する。法線方向推定部は、画像信号により形成される２次元画像上に奥行き感を与えるために、明るさ情報から、画素ごと又は複数の画素からなる領域ごとに法線方向を推定し、推定された法線方向に基づいて、画素ごと又は領域ごとに３次元ベクトルである法線方向ベクトルを取得する。補正階調導出部は、法線方向推定部で取得された法線方向ベクトルに基づいて明るさ情報の補正量を求め、明るさ情報の補正量に基づいて画像信号の明るさ情報を補正する。法線方向推定部は、２次元画像が形成する平面上には含まれない第３方向の成分の値である第３方向成分値を所定の値である第１の値に設定し、２次元画像上で画素の画素位置を決定するための２次元座標情報である、第１方向の成分の値である第１方向成分値および第２方向の成分の値である第２方向成分値と、設定した第３方向成分値と、の３つの方向成分の値により法線方向ベクトルを決定するものであり、複数の画素について、第３方向成分値を第１の値と同じ値にして、画素ごと又は領域ごとに法線ベクトルを決定するように機能させる。
これにより、第１の発明と同様の効果を奏するプログラムを記録したコンピュータで読み取り可能な記録媒体を実現することができる。

第３４の発明は、明るさ情報算出部と、法線方向推定部と、補正階調導出部と、を備える集積回路である。明るさ情報算出部は、画素からなる２次元画像を形成することができる入力された画像信号から、画像信号の明るさ情報を算出する。法線方向推定部は、画像信号により形成される２次元画像上に奥行き感を与えるために、明るさ情報から、画素ごと又は複数の画素からなる領域ごとに法線方向を推定し、推定された法線方向に基づいて、画素ごと又は領域ごとに３次元ベクトルである法線方向ベクトルを取得する。補正階調導出部は、法線方向推定部で取得された法線方向ベクトルに基づいて明るさ情報の補正量を求め、明るさ情報の補正量に基づいて画像信号の明るさ情報を補正する。法線方向推定部は、２次元画像が形成する平面上には含まれない第３方向の成分の値である第３方向成分値を所定の値である第１の値に設定し、２次元画像上で画素の画素位置を決定するための２次元座標情報である、第１方向の成分の値である第１方向成分値および第２方向の成分の値である第２方向成分値と、設定した第３方向成分値と、の３つの方向成分の値により法線方向ベクトルを決定するものであり、複数の画素について、第３方向成分値を第１の値と同じ値にして、画素ごと又は領域ごとに法線ベクトルを決定するように機能させる。
これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。

第３５の発明は、ユーザの指示により処理モードを選択させるユーザモード選択部と、出力部からの出力を画像として表示させる表示部と、第１から第３２のいずれかの発明である画像処理装置と、を備える表示装置である。
これにより、この表示装置において、ユーザは、処理モードを選択することができる。特に、ユーザは、表示部に表示される処理画像を確認しながら、処理モードを選択することができるため、ユーザの所望の画像処理特性による画像処理を、この表示装置において実現させることができる。

第３６の発明は、第３５の発明であって、ユーザモード選択部は、少なくとも、明るさ情報の補正の強度に関する情報を含む処理モードを選択させる。
これにより、この表示装置において、ユーザは、明るさ情報の補正の強度を選択して、この表示装置での明るさ情報補正の強度を変えることができる。例えば、この表示装置において、明るさ情報の補正の強度を設定させる処理モードとして、「強モード」、「中モード」、および「弱モード」を設け、ユーザがそのいずれかのモードを選択することで、ユーザの所望の明るさ情報補正が実現される。
《定義》
なお、本願発明では、別段の記載のない限り、以下の用語の定義を用いる。
「画素」とは、画像を構成する最小の単位要素をいう。
「画素値」とは、ＲＧＢ、ＹＣｒＣｂ等任意の色空間における色成分（ＹＣｒＣｂ空間の場合は、輝度成分（Ｙ成分）を含む。）のうち少なくとも１成分の値を含む、画素の値（画素ごとの固有の値）をいう。

「画像データ」とは、それぞれ画素値を有する複数の画素の集合データ（画素値の集合データ、あるいは、画素値に対応する信号の集合データ）であって、平面に表示することができる２次元画像を形成することができる有意な数の画素の集合データのことをいう。
「画素位置」とは、画像データにより形成される２次元画像における画素の座標位置（ｘ，ｙ）のことをいう。つまり、画素位置とは、画像データにより形成される２次元画像平面上の座標位置（ｘ，ｙ）のことをいう。
「領域位置」とは、領域（隣接する複数の画素の集合であって、画像データを構成する画素の数より少ない数の画素の集合）を、代表する画素の位置である。
「立体感」とは、表示された画像データを、平面的ではなく奥行きまたは広がりのある感じとして、人間が視覚を通じて（あるいは、人間が知覚して）把握する感覚をいう。

「陰影付加処理」とは、立体感を向上させるために、画像データの中の所定の画素に対して、画素値の明るさを示す成分値を減少させる処理（輝度値を低下させる処理と等価な処理を含む。）である。
「光付加処理」とは、立体感を向上させるために、画像データの中の所定の画素に対して、画素値の明るさを示す成分値を増加させる処理（輝度値を増加させる処理と等価な処理を含む。）処理である。
「明るさ情報」とは、典型的には、画素又は領域の明るさを示す成分値であり、典型的には輝度値である。なお、「明るさ情報」は、定義される色空間のうち実質的に輝度値に相当する成分値を含む概念である。
「明るさ変調」とは、画素又は領域（複数画素からなる領域）についての明るさ情報を変化させることをいい、少なくとも陰影付加処理および光付加処理のいずれか一方を同時または個別に行う処理を行うことにより実現される。

「装置」とは、装置、集積回路、プロセッサ、コンピュータを含む概念である。
「３次元ベクトル」とは、複数の画素により形成される２次元画像平面（画素位置を定義する平面）上の第１方向（ｘ方向）と第２方向（ｙ方向）とを含む２方向、及び、前述のｘｙ平面（２次元画像平面）上に存在しない点の方向を示すため第３方向（ｚ方向）、の３つの方向（ｘ方向、ｙ方向、およびｚ方向）、並びに、各々の方向（ｘ方向、ｙ方向、およびｚ方向）についての大きさ（ｘ方向成分、ｙ方向成分、およびｚ方向成分）からなるベクトルである。
「３次元ベクトル値」とは、前述の３次元ベクトルの第１〜第３方向（ｘ方向、ｙ方向、およびｚ方向）の各々の方向の大きさを示す、第１成分値（ｘ方向成分）、第２成分値（ｙ方向成分）、及び第３成分値（ｚ方向成分）からなる３次元データである。この３次元データは、装置に適合されるフォーマットに変換され保持されたデータ、または、分離して保持された各成分値のデータを含む概念である。

「仮想光源を設定する」とは、前述画像データを構成する座標系のうち、ｘ、ｙ座標のとりうる範囲、あるいは、その範囲の外部に座標位置を仮定的に設定・保持・導出することである。この仮想光源の座標は、ｚ方向に成分を有し、３次元ベクトル値として保持される。仮想光源の座標は、前述のｘ、ｙ平面に含まれる座標をもつ処理対象画素までの所定ベクトルを導出することができるものであればよい。つまり、仮想光源の座標は、設定された仮想光源の座標位置と、前述のｘ、ｙ平面に含まれる処理対象画素の座標位置との間で、所定のベクトルを導出することができるものであればよい。
なお、「仮想光源を設定する」とは、仮想光源として点光源（即ち、座標位置を１点のみとする光源）を仮定（設定）することのみならず、複数の仮想光源を設定する（処理対象の座標位置の画素に対して、平行光を仮定するために用いるものである場合を含む。つまり、平行光源を設定する場合を含む。）ことを含む概念である。

本発明によれば、従来技術のような照明方向の検出を必要とせず、かつ、画像内にある照明分布がどのようなものであっても（複数照明の場合であっても）画像に適切な陰影付加を行うことで、処理画像において奥行き感・立体感向上を実現させる画像処理装置、画像処理方法、プログラム、記録媒体および集積回路を提供することができる。
また、本発明によれば、画像に適切な光付加を行うことで、さらなる処理画像の奥行き感・立体感向上を実現させる画像処理装置、画像処理方法、プログラム、記録媒体および集積回路を提供することができる。

以下、本発明の第１〜第１７実施形態について説明する。
第１実施形態では、入力された画像信号の明るさ情報と推定された法線情報とに基づいて明るさ情報を補正することで、奥行き感向上を実現する画像処理装置および画像処理方法について説明する。
第２実施形態では、エッジ情報と推定された法線情報とをもとに画像の陰影強調を行うことで、奥行き感向上を実現する画像処理装置および画像処理方法について説明する。
第３実施形態では、エッジ情報と推定された法線情報をもとに画像の所定領域に微小な光付加を行うことで、奥行き感向上を実現する画像処理装置および画像処理方法について説明する。
第４実施形態では、第２実施形態例で得られた陰影強調画像と第３実施形態例で得られた光強調画像を適応的に合成して両方の特徴である陰影付加と光付加効果を合わせ持つことで、より奥行き感が向上した画像生成を実施する画像処理装置および画像処理方法について説明する。

第５実施形態では、第４実施形態に明るさ情報のフィルタ処理と、その差分を処理済み画像に加える画像処理装置および画像処理方法について説明する。
第６実施形態では、第５実施形態における陰影強調画像生成と光強調画像生成の代わりに各処理での明るさ変動量のみを保持する画像処理装置および画像処理方法について説明する。
第７実施形態では、第２から第６実施形態における法線推定において、エッジ量で法線方向ベクトルを補正する画像処理装置および画像処理方法について説明する。
第８実施形態では、第２から第６実施形態における法線推定において、明るさ対比量で法線方向ベクトルを補正する画像処理装置および画像処理方法について説明する。
第９実施形態では、第２から第６実施形態における法線推定において、視覚効果の１つである明るさ対比により発生する明るさ感知の効果を考慮して視覚的奥行き量を定義し、その視覚的奥行き量より法線方向を求める画像処理装置および画像処理方法について説明する。

第１０実施形態では、第２から第６実施形態における法線方向推定において、対象部分の輝度のみの関数で定義した奥行き量に色対比により発生する効果を考慮して視覚的奥行き量を定義し、その視覚的奥行き量より法線方向を求める画像処理装置および画像処理方法について説明する。
第１１実施形態では、第２から第６実施形態の法線方向推定において、対象部分の輝度のみの関数で定義した奥行き量に明るさ対比により発生する効果と色対比による発生する効果を考慮して視覚的奥行き量を定義し、その視覚的奥行き量より法線方向を求める画像処理装置および画像処理方法について説明する。
第１２実施形態では、算出された所定の法線方向と設定した光源のなす角度を変調して曲面法線方向の変調を実施しその角度変調に生じた明るさ変調を行うことで画像内の中間調付近の階調変調を行う画像処理装置および画像処理方法について説明する。

第１３実施形態では、第１２実施形態の特徴である所定の法線方向と光源のなす角度変調をもとにした明るさ変調により画像内の所定部分の階調変調を行う工夫に加えて、第２実施形態の特徴である陰影付加処理を組み合わせた画像処理装置および画像処理方法について説明する。
第１４実施形態では、第１２実施形態の特徴である所定の法線方向と光源のなす角度変調をもとにした明るさ変調により画像内の所定部分の階調変調を行う工夫に加えて、第３実施形態の特徴である光付加処理を組み合わせた画像処理装置および画像処理方法について説明する。
第１５実施形態では、第１２実施形態の特徴である所定の法線方向と光源のなす角度変調をもとにした明るさ変調により画像内の所定部分の階調変調を行う工夫に加えて、第４実施形態の特徴である陰影・光付加処理を組み合わせた画像処理装置および画像処理方法について説明する。

第１６実施形態では、第２から第１５実施形態の対象領域単位での法線方向ベクトル推定に、現時点よりもｐ時刻前のフレーム画像から現時点のフレーム画像までの法線方向情報を使って時間方向の平滑化処理を行う工夫を加えた画像処理装置および画像処理方法について説明する。
第１７実施形態では、第１から第１６における実施形態例を画像処理部として、その補正レベル等の処理モードをユーザが選択する画像処理装置および画像処理装置について説明する。
以下、図面を用いて、本発明の実施形態について説明する。
［第１実施形態］
図１〜図３を用いて、第１実施形態の画像処理方法および画像処理装置について説明する。

＜１．１：画像処理装置の構成＞
図1に、本実施形態に係る画像処理装置１００の構成図を示す。
画像処理装置１００は、主に、入力された画像信号ｖＩｉ（ｘ，ｙ）の明るさ情報を算出する明るさ情報算出部１１と、画像信号により形成される画像上に奥行き感を与えるための法線方向を推定する法線方向推定部１３と、法線方向推定部１３で推定された法線をもとに明るさ情報の補正分（補正量）を算出して入力画像ｖＩｉ（ｘ，ｙ）の明るさ情報を補正する補正階調導出部２０１と、補正階調導出部２０１で得られた画像信号（明るさ変調を実行された画像信号）を所定の画像データ形式に変換して出力する出力部１５と、から構成されている。
明るさ情報算出部１１は、２次元画像を形成することができる画像信号ｖＩｉ（ｘ，ｙ）を入力とし、入力された画像信号ｖＩｉ（ｘ，ｙ）の明るさ情報を算出し、算出した明るさ情報を法線方向推定部１３に出力する。

法線方向推定部１３は、明るさ情報算出部１１により算出された明るさ情報を入力とし、画像信号により形成される画像上に奥行き感を与えるための法線方向を推定する。具体的には、法線方向を示す3次元のベクトルである法線方向ベクトル（法線方向ベクトル情報）（「法線方向ベクトル」を「法線ベクトル」ということもある。以下、同じ。）を算出する。法線方向推定部１３は、算出した法線方向ベクトル情報を補正階調導出部２０１に出力する。
補正階調導出部２０１は、入力画像信号ｖＩｉ（ｘ，ｙ）および法線方向推定部１３で算出された法線方向ベクトル情報を入力とし、法線方向ベクトル情報に基づいて、入力画像信号ｖＩｉ（ｘ，ｙ）の明るさ情報の補正分を算出して入力画像ｖＩｉ（ｘ，ｙ）の明るさ情報を補正し、補正した画像信号を出力部１５に出力する。

出力部１５は、補正階調導出部２０１により補正された画像信号を入力とし、補正階調導出部２０１で得られた画像信号（明るさ変調を実行された画像信号）を所定の画像データ形式に変換して、出力画像信号ｖＯｕｔｉ（ｘ，ｙ）として出力する。
＜１．２：画像処理装置の動作＞
次に、画像処理装置１００の動作について、説明する。
まず、（１．２．１）法線方向推定部１３の処理および（１．２．２）補正階調導出部２０１の処理について、説明する。
（１．２．１：法線方向推定部１３の処理）
法線方向推定部１３は、所定の画素位置（入力画像信号ｖＩｉ（ｘ，ｙ）により形成される２次元画像を構成する画素の、２次元画像上の位置）の画素（入力画像信号ｖＩｉ（ｘ，ｙ）により形成される２次元画像を構成する画素）に対し、それぞれ、３次元ベクトル値を生成する処理を行う。つまり、法線方向推定部１３は、所定の画素位置の画素についての法線方向ベクトルを生成する。

法線方向推定は、２次元画像に立体感を生じさせるための処理に含まれる処理である。
法線方向とは、２次元画像平面上の所定位置（ｘ，ｙ）の、画素ごともしくは領域ごとに設定される、前記所定位置（ｘ，ｙ）からの３次元ベクトルが示す方向であり、この法線方向を示す法線方向ベクトルは、３次元ベクトル値として、例えば、画像処理装置内やコンピュータ内で用いられる。
この法線方向の３次元ベクトル値は、対象画素と、その対象画素の隣接画素（あるいは所定の方向に含まれる画素等）との輝度の変化量に基づいて変化する３次元ベクトル値である。この３次元ベクトル値を有する３次元ベクトルが法線方向ベクトルである。
法線方向ベクトルにより、法線方向ベクトルを法線とする画素位置（ｘ，ｙ）における接平面を画素ごとに決定させることができる。そして、画素ごとに法線方向ベクトルにより決定された接平面を全画素について繋げていくことで、立体曲面を生成（想定）することができる。

法線方向は、２次元画像平面上の所定画素位置（ｘ，ｙ）を立体曲面（法線方向ベクトルを法線とする画素位置（ｘ，ｙ）における接平面により決定される立体曲面）で表現する際の当該立体曲面の向かう方向を示すものであり、その方向に当該立体曲面が凸に膨らんでいることを示す。具体的には、例えば、図１０の場合、（数式１）で表される法線方向ベクトルＨｉ（ｘ，ｙ）が示す方向が法線方向となる。
自然画を構成する画像データは、２次元画像を形成する画像データであるので、３次元の情報を有しているコンピュータグラフィックス（ＣＧ）のデータとは異なり、当該画像データにおける位置についての情報としては、２次元の情報（ｘ，ｙ）しか有してない。
したがって、２次元画像に立体感を付加する場合、２次元画像内の所定の画素位置でどのような高さ（２次元画像平面外の成分（ｚ成分））を有しているかを設定する必要がある。

法線方向とは、より具体的には、２次元画像内の２つの成分値（ｘ成分値およびｙ成分値）に、この高さ情報を第３成分値（ｚ成分値）として加えて表される３次元ベクトルにより表される方向である。そして、この３次元ベクトルが法線方向ベクトルである。
「法線を推定する」とは、所定画素または領域を立体的に表現するための上記３次元ベクトル（法線方向ベクトル）を推定することを意味し、装置・プロセッサ等においては、所定画素または領域毎に上記３次元ベクトル値を導出・設定・保持することである。
具体的には、対象画素と、その対象画素の隣接画素との明るさの変化量が大きくなるにつれて、対象画素における立体曲面は、画像データが存在するＸＹ平面に垂直になるように定義され（立体曲面の対象画素での接平面とＸＹ平面とのなす角度が垂直（９０度）に近づくように定義され）、対象画素の法線方向ベクトルの第１成分値（ｘ成分値）もしくは第２成分値（ｙ成分値）が大きくなるように推定される。

一方、対象画素を含む２次元画像平面内に存在しない法線方向ベクトルの第３成分値（ｚ成分値）には、所定の値が設定される。なお、対象画素の法線ベクトルの第３成分値（ｚ成分値）は、予め定めた所定の値に設定するようにしてもよいし、あるいは、対象画素と隣接画素との明るさの変化量に応じて変化するように設定するようにしてもよい。この場合、この第３成分値（ｚ成分値）は、対象画素と隣接画素との明るさの変化量が大きくなるにつれて、小さくなるように設定される。
なお、画像処理装置１００あるいは画像処理装置１００で実現される画像処理方法において、法線方向として定義されたベクトル（法線方向ベクトル）は、画素位置（または領域位置）ごとに導出あるいは設定される３次元（３成分を有する）のデータとして保持・設定される。そして、法線方向推定では、画素毎もしくは領域毎に、画素位置もしくは領域位置に対応づけて、上記３次元のデータ（法線方向ベクトルの３次元データ）が、それぞれ、設定・導出・保持される。

このように、法線方向推定部１３では、明るさ算出部１１で得られた明るさ情報Ｋｉ（ｘ，ｙ）をもとに法線方向推定が実施される。
（１．２．２：補正階調導出部２０１の処理）
補正階調導出部２０１では、前述したように、位置が２次元で示される画素（あるいは領域に含まれる画素）の画素値に対して、人間が画像データを立体的に知覚する方向に画素値を変更（ここで、「変更」とは、処理せずにそのままの値を用いる場合も含む概念である。以下同じ。）する処理を行う。具体的には、補正階調導出部２０１は、算出された所定の法線方向（法線方向ベクトル）を用いて対象部分の明るさ変調を行う。
明るさ変調とは、前述した２次元画像立体感表現のために、所定領域の階調を変化させることである。具体的には、所定の領域あるいは画素の、画素値（ＲＧＢ、ＹＣＣ（ＹＣｂＣｒ）、等のカラーコンポーネント値（あらゆる色空間によるカラーコンポーネント値を含む。）。以下同じ。）に対して行う処理である。

ここで、「階調を変化させる」とは、所定画素の値そのものや、その値から得られる明るさを示す値（輝度の値等）の分布や傾向を変化させる（階調値を変化させることを含む。）ことである。
補正階調導出部２０１が行う明るさ変調では、法線方向として定義された３次元ベクトル値（法線方向ベクトルの3次元ベクトル値）の変化に応じて、所定領域に陰影付加や光付加を行うことで、当該所定領域の階調を変化させる。
具体的には、補正階調導出部２０１は、所定領域の法線方向ベクトルにおいて、第１成分値（ｘ成分値）または第２成分値（ｙ成分値）の増加に従い、当該所定領域で、陰影付加や光付加による画素値の明るさ変化が大きくなるように明るさを変化させる。
また、補正階調導出部２０１は、所定領域の法線方向ベクトルの第３成分値（ｚ成分値）の増加に従い、当該所定領域で、陰影付加や光付加による画素値の明るさ変化量が小さくなるように変化させる。

さらに、補正階調導出部２０１は、所定領域の法線方向ベクトルの第１成分値（ｘ成分値）または第２成分値（ｙ成分値）の増加に従い、陰影付加や光付加による画素値の明るさ変化量が所定の値まで大きくなり、その所定値に明るさ変化量が達すると、漸近的に明るさ変化量が小さくなるように、明るさ変化量を変化させることもできる。この場合、補正階調導出部２０１は、当該所定領域の法線方向ベクトルの第３成分値（ｚ成分値）の増加に従い、陰影付加や光付加による画素値の明るさ変化量が所定の値まで大きくなり、その所定値に明るさ変化量が達すると、漸近的に明るさ変化量が小さくなるように変化させることもできる。
また、補正階調導出部２０１が行う明るさ変調では、所定領域の法線方向ベクトルの第１成分値（ｘ成分値）の増加に従い、第１成分値（ｘ成分値）の示す方向に沿って陰影付加や光付加による画素値の明るさを変化させる。同様に、所定領域の法線方向ベクトルの第２成分値（ｙ成分値）の増加に従い、第２成分値（ｙ成分値）の示す方向に沿って陰影付加や光付加による画素値の明るさを変化させる。

一方、補正階調導出部２０１は、所定領域の法線方向ベクトルの第１成分値（ｘ成分値）と第２成分値（ｙ成分値）の増加に従い、第１成分値（ｘ成分値）の変化方向と第２成分値（y成分値）の変化方向で示される２次元ベクトル方向に沿って陰影付加や光付加による画素値の明るさを変化させる。
さらに、陰影付加を行う場合、補正階調導出部２０１は、所定の光源ベクトル（「光源ベクトル」を「光源方向ベクトル」ということもある。以下、同じ。）と法線方向ベクトルとが逆方向になるに従い、陰影による画素値の明るさ変化が大きくなるように変化させる。光付加を行う場合、補正階調導出部２０１は、所定の光源ベクトルと法線方向ベクトルが同じ方向になるに従い、光による画素値の明るさ変化が大きくなるように変化させる。

また、陰影付加を行う場合、補正階調導出部２０１は、所定の光源ベクトルと法線方向ベクトルとのなす角度が所定の角度になるまで大きくなるに従い、陰影による画素値の明るさ変化量を大きくし、所定の光源ベクトルと法線方向ベクトルとのなす角度が、その所定の角度より大きくなり、法線方向ベクトルが光源ベクトルと逆方向を向くに従い、陰影による画素値の明るさ変化量を漸近的に小さくするように変化させてもよい。具体的には、補正階調導出部２０１は、図３の右図に示すような制御を行うことで陰影付加を行うようにしてもよい。なお、図３の右図において、横軸は、法線方向（法線方向ベクトル）と光源方向（光源ベクトル）とのなす角度αであり、縦軸は、明るさ補正量を決定させるための補正係数Ｋｅｉｓｕである。
また、光付加を行う場合、補正階調導出部２０１は、所定の光源ベクトルと法線方向ベクトルとのなす角度が所定の角度になるまで小さくなるに従い、光による画素値の明るさ変化量を大きくし、所定の光源ベクトルと法線方向ベクトルとのなす角度が、その所定の角度より小さくなり、法線方向ベクトルが光源ベクトルと同じ方向を向くに従い、光による画素値の明るさ変化量を漸近的に小さくするように変化させてもよい。

ここで、光源ベクトルと法線方向で定義された３次元ベクトル（法線方向ベクトル）とが同じ方向を向くとは、２つのベクトルのなす角度αが所定の角度αｔｈを用いて、０度≦α＜αｔｈ≦９０度にある場合を示し、角度αが０度に近づくほど同じ方向を向くことを示す。
また、光源ベクトルと法線方向で定義された３次元ベクトル（法線方向ベクトル）とが逆方向を向くとは、２つのベクトルのなす角度αが、αｔｈ≦９０度≦α≦１８０度にある場合を示し、角度αが１８０度に近づくほど逆方向を向くことを示す。所定の角度αｔｈとして、後述するように、画像の含まれるＸＹ平面（２次元画像平面）の法線方向として定義された３次元ベクトルと光源ベクトルとのなす角度α０を用いてもよい。
補正階調導出部２０１は、以上のような明るさ変調を行うことで、２次元画像上の輪郭付近よりも、階調が緩やかに変化する比較的明るさが均一な部分へ陰影付加や光付加を効果的に行うことできる。これにより、２次元画像上の階調が緩やかに変化する比較的明るさが均一な部分に、効果的な階調変化を与えることができる。

また、上記で説明下処理により、輪郭付近への陰影付加や光付加を行うことも可能である。本来、２次元情報（ｘ，ｙ）しか持たない自然画像を構成する２次元画像データは、３次元方向（ｚ方向）の成分も持たないため、高さ（３次元方向（ｚ方向）の奥行き）を感じることができない。しかし、画像処理装置１００では、上記で説明した処理により、２次元画像において、変化の乏しい比較的明るさが均一な部分での階調変化をつけることができるので、見た目に立体感を増す効果を実現させた２次元画像を取得することができる。
（１．２．３：画像処理装置１００の具体的動作）
以上のことをもとに図１〜図３を用いて、画像処理装置１００の具体的動作について説明する。

まず、明るさ算出部１１により、画像処理装置１００に入力された画像信号ｖＩｉ（ｘ，ｙ）から明るさ情報Ｋｉ（ｘ，ｙ）が取得される。そして、法線方向推定部１３により、明るさ情報Ｋｉ（ｘ，ｙ）をもとに法線方向推定が実施される。
ここで、画像信号ｖＩｉ（ｘ，ｙ）等の変数の頭文字が「ｖ」であるベクトルデータ（複数のデータからなる集合データ）は、対象画素ｉ（ｘ，ｙ）について複数の情報（データ）を有していることを示す。例えば、画像信号ｖＩｉ（ｘ，ｙ）は、処理対象画素ｉ（注目画素ｉ）について、輝度データＹ、色差データＣｂおよびＣｒの合計３つの情報（データ）を有する情報であってもよく、また、対象画素ｉについて、ＲＧＢ色空間による表現を用い、Ｒ成分について情報（データ）、Ｇ成分についての情報（データ）、およびＢ成分についての情報（データ）の合計３つの情報（データ）を有する情報であってもよく、さらに、別の色空間等の表現を用いた、当該色空間による複数の成分の情報（データ）であっても良い。

法線方向推定部１３により、具体的には、明るさ情報Ｋｉ（ｘ，ｙ）から法線方向ベクトルｖＨｉ（ｘ，ｙ）が取得される。ここで、法線方向ベクトルｖＨｉ（ｘ，ｙ）は、画素単位で取得される。そのため、その画素単位の法線方向ベクトルｖＨｉ（ｘ，ｙ）をそのまま使用してもよいし、画像信号ｖＩｉ（ｘ，ｙ）により形成される画像上の平坦に近いがゆるやかに変化している階調部分での法線抽出のため画素単位の法線方向ベクトルｖＨｉ（ｘ，ｙ）の各法線成分別でのフィルタ処理（平滑化）を行ってもよい（法線方向ベクトルのｘ成分、ｙ成分およびｚ成分ごとに、それぞれ、フィルタ処理（平滑化）を行ってもよい）。
補正階調導出部２０１では、この法線方向ベクトルｖＨｉ（ｘ，ｙ）を使って、所定部分の陰影付加による明るさ変調が行われる。図３の右図のグラフは、光源ベクトルと法線方向ベクトルとのなす角度αと、補正係数Ｋｅｉｓｕとの関係を示している。そして、この補正係数Ｋｅｉｓｕを、図３の左下に示した数式に適用させることにより、陰影付加による明るさ補正（低下）量ΔＫｉが求められる。

図３では、前述の明るさ変調の方法を、陰影変調させたい（陰影付加の程度を変化させたい）部分の角度α（光源ベクトルと法線方向ベクトルとのなす角度α）により制御する様子を模式的に示しており、処理内容としては、前述の明るさ変調の方法と同様である。
この補正階調導出部２０１での処理により、設定された光源ベクトルｖＬ（ｘ，ｙ）と法線方向ベクトルｖＨｉ（ｘ，ｙ）とのなす角度αをもとに、対象画素の明るさ情報Ｋｉ（ｘ，ｙ）の変調分ΔＫｉ（ｘ，ｙ）が求められる。光源ベクトルとして、画素ｉ（ｘ，ｙ）から、設定された光源へ向かうベクトルを用いている。ここでは、光源ベクトルｖＬ（ｘ，ｙ）として、左上（図３の左図のｖＬ１が示す方向）にある平行光源による光源ベクトルを設定している。なお、光源ベクトルｖＬ（ｘ，ｙ）は、これに限定されず、他のユーザ指定の光源方向を示す光源ベクトルであってもよく、第１２実施形態のような方法で推定された最適な光源方向を示す光源ベクトルであってもよい。

上記説明において、光源を「決定する」とは、本来、装置内部で、前記画像データの所定の位置に光源となるべき場所の座標（少なくともｘ成分値、ｙ成分値）を含む値（情報）を決定する処理である。なお、所定の位置は、必ずしも１つである必要はなく、複数であってもよい。つまり、光源の座標は、１点の座標である必要はなく、複数の座標（つまり、光源が複数存在する場合に相当。）であってもよい。また、決定された所定位置は、結果として、画像処理装置１００により出力される画像中に、本来ならここに光源があるとして人間に認識される位置となる。
図３の右図で示されるように、陰影変調させたい部分の角度αでの法線方向を変化させて陰影付加による明るさ変調を起こす（光源方向と法線方向とのなす角度に基づいて、明るさ変調を起こす）。具体的には、明るさ変調量ΔＫｉを制御する係数である補正係数Ｋｅｉｓｕを、光源方向と法線方向とのなす角度αに基づいて、変化させる。図３の右図に示すように、角度αが、陰影変調させたい平坦部における光源方向と法線方向（入力画像信号ｖＩｉ（ｘ，ｙ）により形成される２次元画像平面の法線方向）とのなす角度α０である付近から、補正係数Ｋｅｉｓｕの値が大きくなるように制御する。そして、ある角度（図３の右図の角度α１）をピークにして、そこから角度αが大きく鳴るに従い、補正係数Ｋｅｉｓｕの値を減少させ「０」に漸近的に近づくように変化させる。これにより、輪郭付近での陰影変調を抑える。この場合の明るさ変調分ΔＫｉは、
ΔＫｉ＝Ｋｅｉｓｕ×Δαｃ （ａ１）
のようになる。ここで、Δαｃは、所定の基準変動量であり正定数である。

なお、ここでは、陰影付加による明るさ変調を示しているので、補正後の明るさ情報ＯＫｉ（ｘ，ｙ）は、
ＯＫｉ（ｘ，ｙ）＝Ｋｉ（ｘ，ｙ）−ΔＫｉ （ａ２）
のようになる。
この値が補正階調導出部２０１から出力される明るさ情報ＯＫｉ（ｘ，ｙ）となる。なお、補正階調導出部２０１から出力される色情報は、入力画像ｖＩｉ（ｘ，ｙ）の色情報から変化させず、入力画像の色差情報Ｃｒｉ（ｘ，ｙ）、Ｃｂｉ（ｘ，ｙ）をそのまま補正階調導出部２０１から出力させる。つまり、補正階調導出部２０１からの出力される色差情報ＯＣｂｉ（ｘ，ｙ）＝Ｃｂｉ（ｘ，ｙ）、ＯＣｒｉ（ｘ，ｙ）＝Ｃｒｉ（ｘ，ｙ）とする。なお、これ以外にも、処理済の明るさ情報ＯＫｉ（ｘ，ｙ）、入力画像の明るさ情報Ｋｉ（ｘ，ｙ）、入力画像の色差情報Ｃｒｉ（ｘ，ｙ）、Ｃｂｉ（ｘ，ｙ）より、明るさ情報の改善比Ｒａｔｉｏ＝ＯＫｉ（ｘ，ｙ）／Ｋｉ（ｘ，ｙ）を使って色差の改善比ＲａｔｉｏＣｒＣｂを求め、入力画像の色差Ｃｒｉ（ｘ，ｙ）、Ｃｂｉ（ｘ，ｙ）に色差の改善比ＲａｔｉｏＣｒＣｂ（ＲａｔｉｏＣｒＣｂは、明るさ情報の改善比Ｒａｔｉｏと同値であってもよい。）を乗算し、乗算結果を色差情報ＯＣｂｉ（ｘ，ｙ）、ＯＣｒｉ（ｘ，ｙ）として、補正階調導出部２０１から出力させるようにしてもよい。

出力部１５は、補正階調導出部２０１で得られた各画素Ｐｉの処理済み画像ｖＯｉ（ｘ，ｙ）（上記の場合、ベクトルデータｖＯｉ（ｘ，ｙ）は、ＯＫｉ（ｘ，ｙ）、ＯＣｂｉ（ｘ，ｙ）およびＯＣｒｉ（ｘ，ｙ）である。ここで、ベクトルデータとは、複数のデータからなるデータをいい、例えば、明るさ情報のデータ、色差情報のデータからなるデータがこれに該当する。）を、使用機器で扱うことのできる画像フォーマットに応じて変換して得られた処理画像データを出力する。
このように、画像処理装置１００では、陰影変調させたい部分（図３では、輪郭付近部分ではなく、比較的平坦でゆるやかに階調変化している部分）の法線方向（つまり角度α）を変化させること（角度αにより補正係数Ｋｅｉｓｕを変化させることを含む。）で発生する明るさ変調分を求め、陰影付加として、発生した明るさ変調分を入力画像の明るさ情報から減算することで、補正後の明るさ情報を求める。

なお、図３の右図での補正係数Ｋｅｉｓｕを明るさ情報Ｋｉ（ｘ，ｙ）に応じて制御することで、より効果的な陰影付加による明るさ変調が可能となる。例えば、明るさ情報Ｋｉ（ｘ，ｙ）の増加に応じて、ｍａｘＫの値を単調減少させることが可能である。また、図３の右図に一例として示した補正係数Ｋｅｉｓｕは、数式モデル（例えば、ＰｈｏｎｇモデルやＴｏｒｒａｎｃｅ ａｎｄ ＳｐａｒｒｏｗによるモデルやＣＧで使用されるモデル）により決定させてもよい。また、補正係数Ｋｅｉｓｕは、テーブル化（ルックアップテーブル（ＬＵＴ）化）をして、決定させてもよい。そして、そのテーブルをもとに補正量を決めることも可能である。その際、明るさ情報ＫｉでｍａｘＫを制御する場合は、法線と光源ベクトルとのなす角度α、および明るさ情報Ｋｉの２つを入力値（参照値）とし、補正量ΔＫｉを出力値（補正係数Ｋｅｉｓｕを出力値としてもよい。）とする２次元プロファイルテーブル（2次元ＬＵＴ（ルック・アップ・テーブル））を参照することとなる。また、光源方向（光源ベクトル）と補正量ΔＫｉ（あるいは補正係数Ｋｅｉｓｕ）を合わせてＬＵＴ化することも可能であり、その場合、ＬＵＴ化されたテーブルは、３次元ＬＵＴとなる。

また、図３の右図で、補正係数Ｋｅｉｓｕを負にすることで、陰影付加ではなく光付加による階調変調も可能であり、所定の比較的平坦な部分で光源に向かう領域で明るくすることでも、同様の効果が実現される。
以上のように、本実施形態の画像処理装置１００では、算出された所定の法線方向（法線方向ベクトル）と設定した光源方向（光源ベクトル）とのなす角度をもとに陰影付加による明るさ変調を行うので、画像内の輪郭付近よりも中間調付近の階調変調を行うことができる。その結果、画像処理装置１００では、ゆるやかに階調が変化する中間調付近（物体輪郭付近ではなく、ゆるやかな明るさが変化する物体平坦部や薄めの陰付近等）での明るさ変調・変化強調を行うことができ、画像処理装置１００により処理された画像において、単なる輪郭コントラストのみにメリハリがついた際に感じる平板な立体感ではなく、より自然な丸み・膨らみ感をもつ立体感を実現させることが可能となる。

［第２実施形態］
図４から図１８を用いて、本発明の第２実施形態として、陰影付加により画像内の奥行き感向上を実現する画像処理方法及び画像処理装置について説明する。
図４に、本発明の第２実施形態に係る画像処理装置２００の構成を示す。また、図５は法線方向推定部１３の構成を、図６に陰影強調画像生成部１４の構成を示す。
図７に本発明の第１実施形態に係る画像処理方法の処理フローチャートを示す。また、図８に、本発明の第１実施形態に係る画像処理方法内の法線方向推定ステップの処理フローチャートを示す。図９に、陰影強調画像生成ステップの処理フローチャートを示す。
この発明は、画像データを処理することで、画像内の色情報を補正する装置であり、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、これらの撮影機器で取得したデジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話やカーモバイル機器・ＰＤＡ等、あるいは、様々な環境下で使用される大型映像表示機器等へ搭載される。

＜２．１：画像処理装置の構成＞
画像処理装置２００は、主に、入力された画像信号ｖＩｉ（ｘ，ｙ）の明るさ情報Ｋｉ（ｘ，ｙ）を算出する明るさ情報算出部１１と、明るさ情報算出部１１で算出された明るさ情報Ｋｉ（ｘ，ｙ）から法線情報（法線方向ベクトル）ｖＨｉ（ｘ，ｙ）およびエッジ量ＥＤＧＥｉ（ｘ，ｙ）を算出する法線方向推定部１３と、法線方向推定部１３で取得された法線方向ベクトルｖＨｉ（ｘ，ｙ）およびエッジ量ＥＤＧＥｉ（ｘ，ｙ）並びに明るさ情報算出部１１で算出された明るさ情報Ｋｉ（ｘ、ｙ）に基づいて、入力画像信号ｖＩｉ（ｘ，ｙ）に陰影付加・強調処理を行う陰影強調画像生成部１４と、陰影強調画像生成部１４で得られた画像信号を所定の画像データ形式に変換して出力する出力部１５と、から構成されている。

なお、本実施形態において、前述の実施形態と同様の部分については、同一の符号を付し、説明を省略する。
法線方向推定部１３は、図５に示すように、主に，水平方向微分算出部３０と、垂直方向微分算出部３１と、法線方向ベクトル算出部３２と、から構成される。
水平方向微分算出部３０は、明るさ情報Ｋｉ（ｘ，ｙ）を入力とし、明るさ情報Ｋｉ（ｘ，ｙ）を水平方向（ｘ方向）について微分し（ｘについての偏微分を行い）、算出した微分値を法線方向ベクトル算出部３２に出力する。
垂直方向微分算出部３１は、明るさ情報Ｋｉ（ｘ，ｙ）を入力とし、明るさ情報Ｋｉ（ｘ，ｙ）を垂直方向（ｙ方向）について微分し（ｙについての偏微分を行い）、算出した微分値を法線方向ベクトル算出部３２に出力する。

法線方向ベクトル算出部３２は、水平方向微分算出部３０により算出された水平方向の微分量および垂直方向微分算出部３１により算出された垂直方向の微分量に基づいて、エッジ量ＥＤＧＥｉ（ｘ，ｙ）および法線情報（法線方向ベクトル）ｖＨｉ（ｘ，ｙ）を算出し、陰影強調画像生成部１４に出力する。ここで、法線方向ベクトル算出部３２は、例えば、（数式１）による処理により、法線方向ベクトルｖＨｉ（ｘ，ｙ）を算出する。
陰影強調画像生成部１４は、明るさ情報Ｋｉ（ｘ，ｙ）、その法線方向ベクトルｖＨｉ（ｘ，ｙ）、明るさによるエッジ量ＥＤＧＥｉ（ｘ，ｙ）に基づいて、入力画像（信号）ｖＩｉ（ｘ，ｙ）に陰影付加・強調を行い、陰影強調画像ｖＳＯｉ（ｘ，ｙ）を生成する。そして、陰影強調画像生成部１４は、生成した陰影強調画像（信号）を出力部１５に出力する。

なお、Ｐｈｏｎｇモデルを使用する場合、陰影強調画像生成部１４は、図６に示すように構成される。この場合、陰影強調画像生成部１４は、外部制御信号Ｃにより仮想光源を設定する仮想光源設定部４１と、設定された仮想光源と明るさ情報Ｋｉと法線方向ベクトル（法線情報）ｖＨｉとにより拡散反射成分を算出する拡散反射成分算出部４２と、設定された仮想光源と明るさ情報Ｋｉと法線方向ベクトル（法線情報）ｖＨｉとにより鏡面反射成分を算出する鏡面反射成分算出部４３と、設定された仮想光源と明るさ情報Ｋｉと法線方向ベクトル（法線情報）ｖＨｉとにより環境光反射成分を算出する環境光成分算出部４４と、を備える。また、陰影強調画像生成部１４は、拡散反射成分算出部４２により算出された拡散反射成分、鏡面反射成分算出部４３により算出された鏡面反射成分、および環境光成分算出部４４により算出された環境光成分に基づいて、陰影成分画像を生成する陰影成分画像生成部４６と、明るさ情報Ｋｉとエッジ量ＥＤＧＥｉとから合成係数を算出する合成係数算出部４５と、合成係数算出部４５により算出された合成係数および明るさ情報Ｋｉに基づいて、陰影成分画像から陰影強調画像を生成する陰影強調画像算出部４７と、入力画像ｖＩｉから色差成分を算出し、陰影強調画像算出部から出力された陰影強調画像に色差成分を考慮して、陰影強調画像ｖＳＯｉに変換し、変換した陰影強調画像ｖＳＯｉを出力する色差成分算出部と、を備える。

＜２．２：画像処理装置の動作＞
次に、画像処理装置２００の動作について説明する。
（２．２．１：処理の概要）
図７から図９の処理フローチャートを参照して、画像処理装置２００における処理の概要について説明する。
まず、画像処理装置２００に画素ｉ（ｘ，ｙ）における画素値ｖＩｉ（ｘ，ｙ）をもつ画像データが入力される。ここで（ｘ，ｙ）とは画素ｉの（水平画素位置、垂直画素位置）を示す。また、変数の先頭の小文字の「ｖ」はベクトルデータを示すものとする。
明るさ算出部１１において、画像データｖＩｉ（ｘ，ｙ）を構成する各画素のデータは、所定の明るさ情報Ｋｉ（ｘ，ｙ）へ変換される。明るさ情報としては多くの例があり、輝度Ｙ、色差Ｃｂ、Ｃｒより構成されるＹＣｂＣｒ空間データの輝度Ｙや、明度Ｌ、色ａ＊、ｂ＊より構成されるＬａ＊ｂ＊空間データの明度Ｌ等がその一例である。ここでは、ＹＣｂＣｒ空間データにおける輝度Ｙを画素ｉで計算して明るさ情報Ｋｉ（ｘ，ｙ）とする。

法線方向推定部１３により、画像に付加する奥行き曲面のための法線方向ベクトルと、画素ｉ（ｘ，ｙ）における明るさ情報のエッジ量ＥＤＧＥｉ（ｘ，ｙ）とが求められる。本来、入力された画像は２次元データのため、奥行き感や立体感をつけるための奥行き方向のデータが不足している。これは、通常、不定問題と呼ばれ解析は不可能である。本発明で行う、この不足している奥行き方向のデータに関する処理について、図１０を用いて説明する。
まず、画素ごとに法線方向を決定する。一般に、ユーザは、画面正面より画面を構成する２次元画像を観察している。そこで、２次元画像の画面に垂直な方向で、かつ、ユーザに向かう方向に、法線方向ベクトルｖＨｉ（ｘ，ｙ）の１つであるＺ方向成分ｈｚ（ｘ，ｙ）を仮定する。

次に、画素ｉ（ｘ，ｙ）における明るさ情報Ｋｉ（ｘ，ｙ）のＸ方向（水平方向）の微分値にマイナスを付加した値と、Ｙ方向（垂直方向）の微分値にマイナスを付加した値を求め、その画素ｉ（ｘ，ｙ）における法線方向ベクトル方向のＸ成分ｈｘ（ｘ，ｙ）およびＹ成分ｈｙ（ｘ，ｙ）に設定する。
つまり、法線方向ベクトルｖＨｉ（ｘ，ｙ）は、３次元データ（ｈｘ（ｘ，ｙ），ｈｙ（ｘ，ｙ），ｈｚ（ｘ，ｙ））となる。
画素ｉ（ｘ，ｙ）における明るさ情報Ｋｉ（ｘ，ｙ）の変化が大きいほど、人間はそこに注目するとともに距離感を感じる。そこで、画素ｉ（ｘ，ｙ）にＫｉ（ｘ，ｙ）の水平方向（Ｘ方向）の変化量ｄｘと垂直方向（Ｙ方向）の変化量ｄｙを求める。この値を使って、画素ｉ（ｘ，ｙ）における奥行き曲面の法線方向ベクトルｖＨｉ（ｘ，ｙ）の水平方向成分ｈｘ（ｘ，ｙ）と、垂直方向成分ｈｙ（ｘ，ｙ）を（数式１）により算出する。

法線方向ベクトル算出部３２により、ＥＤＧＥｉ（ｘ，ｙ）が算出される。例えば、画素ｉ（ｘ，ｙ）でのｄＫｘとｄＫｙの大きさを求め、求めた値を画素ｉ（ｘ，ｙ）におけるエッジ量ＥＤＧＥｉ（ｘ，ｙ）とする。つまり、
ＥＤＧＥｉ（ｘ，ｙ）＝（（ｄＫｘ）^２＋（ｄＫｙ）^２）^０．５
とする。
また、（数式１）において、ＬＥＮは、法線方向ベクトルｖｄＨｉ（ｘ，ｙ）＝（−ｄＫｘ，−ｄＫｙ，１）の大きさであり、各成分を正規化したものが（数式１）における法線方向ベクトルｖＨｉ（ｘ，ｙ）になる。つまり、
ＬＥＮ＝（ｄＫｘ）^２＋（ｄＫｙ）^２＋１）^０．５
である。

なお、（数式１）のように、法線方向ベクトルｖＨｉ（ｘ，ｙ）（（数式１）では、ベクトルデータではなく、明るさ情報Ｋｉのみについてのデータであるので、Ｈｉ（ｘ，ｙ）としている。）を定義した場合、図１０の左図のように、明るさ（輝度）の高い領域と明るさ（輝度）の低い領域とが接した部分での法線方向ベクトルは、図１０の右図のようになる。このような場合、図１０の右下図に模式的に示すように、高い明るさをもつ領域部分がユーザ正面に向かって凸になっていると仮定することとなる。つまり、この法線方向ベクトルにより決定される立体曲面は、ユーザ正面方向に凸となる形状を有することになる。
陰影強調画像生成部１４は、明るさ情報Ｋｉ（ｘ，ｙ）、その法線方向ベクトルｖＨｉ（ｘ，ｙ）、明るさによるエッジ量ＥＤＧＥｉ（ｘ，ｙ）を受けて、陰影付加・強調した画像を生成する。この処理は、図９に示すように実施される。

まず、図１１のように、仮想光源（仮想光源は、図１１のＤ１１で示す方向に存在する。）を仮定し、そこから画像への光源方向ベクトルｖＲ１（図１１のＤ１１に相当。）を決定する。これは、この仮想光源による陰影付加を目的とする。なお、光源方向ベクトルｖＲ１は、図１１のｘ１１で示すｘ方向ベクトルと、ｙ１１で示すｙ方向ベクトルと、ｚ１１で示すｚ方向ベクトルとの合成ベクトルである。つまり、光源方向ベクトルｖＲ１は、ｘ１１で示される成分をｘ方向成分とし、ｙ１１で示される成分をｙ方向成分とし、ｚ１１で示される成分をｚ方向成分とする３次元ベクトルである。
一般に、人間は上方（左上）からの光を強く感じる傾向があることが視覚心理より判明している。そこで、図１１に示す場合においても、人間が強く感じる光源方向による陰影付加を行うために、左上からの平行光源照明を仮定して、光源方向ベクトルｖＲ１を設定する。

そして、現在の画素（対象画素）ｉ（ｘ，ｙ）の明るさ情報Ｋｉ（ｘ，ｙ）の中で、この仮想光源からの照明による明るさをｄＳＫｉ（ｘ，ｙ）（対象画素ｉ（ｘ，ｙ）の全ての明るさ情報Ｋｉ（ｘ，ｙ）のうち、対象画素ｉ（ｘ，ｙ）において仮想光源からの照明により生じる明るさをｄＳｋｉ（ｘ，ｙ）とする。）を、ある平行光源を設定した場合の物体曲面での明るさを近似する近似モデルを利用して推定・抽出する。
ここで、設定された仮想光源方向ベクトルｖＲ１による明るさ情報ｄＳＫｉ（ｘ，ｙ）がＫｉ（ｘ，ｙ）に近い場合、この画素ｉ（ｘ，ｙ）での曲面（物体曲面）（法線方向ベクトル）は、光源方向ベクトルｖＲ１の方向を向いている可能性が高いため、陰影付加をする必要性は低い。
しかし、ｄＳＫｉ（ｘ，ｙ）がＫｉ（ｘ，ｙ）よりもずっと小さい場合は、この画素ｉ（ｘ，ｙ）での曲面（物体曲面）（法線方向ベクトル）は、ｖＲ１とは異なる方向を向いている可能性が高いため、陰影付加をする必要性は高くなる。

この近似モデルとしては、多くの方法や式があるが、例えば、比較的簡易でありよく用いられるＰｈｏｎｇにより提案されたＰｈｏｎｇモデルを用いることができる。これ以外にも、Ｔｏｒｒａｎｃｅ ａｎｄ ＳｐａｒｒｏｗによるモデルやＣＧで使用されるモデルがあり、これらを利用することも可能である。
（２．２．２：Ｐｈｏｎｇモデルを使用した場合について）
図１２は、照明を近似するモデルとして、画素ごとの画素ｉ（ｘ，ｙ）の明るさＫｏが、Ｐｈｏｎｇのモデル（以下、「Ｐｈｏｎｇモデル」という。）を使った場合、どのような成分より構成されるかを示すものである。
まず、Ｐｈｏｎｇモデルでは、ある点の明るさ（輝度）は、拡散反射成分と鏡面反射成分と環境光成分とにより近似される。

これを本発明における仮想光源による画素ｉ（ｘ，ｙ）での明るさｄＳＫｉ（ｘ，ｙ）の算出に適用すると、（数式２）で示すように、拡散反射成分ｄＫｏａｉ（ｘ，ｙ）、鏡面反射成分ｄＫｏｂｉ（ｘ，ｙ）、環境光成分ｄＫｏｃｉ（ｘ，ｙ）の３つの成分で近似表現される。

（数式２）の各成分は、光源方向と物体表面法線（法線方向ベクトル）とのなす角αや物体表面係数等から算出することができる。
《拡散反射成分ｄＫｏａ》
まず、拡散反射成分ｄＫｏａについて、図１３を用いて説明する。光源方向ベクトルｖＲ１（図１３の矢印ｄＩｉと逆方向のベクトル）と物体表面の法線方向ベクトルｖＨｉのなす角度をαとした場合、拡散反射成分ｄＫｏａは、角度αの余弦であるｃｏｓαと、物体表面係数等で決まる。つまり、拡散反射成分ｄＫｏａは、光沢のない（表面に微細な凹凸がある）物体表面にある光が当たった場合、物体はすべての方向にほぼ同じ強さで光を拡散反射するという仮定により定義された成分である。この拡散反射成分ｄＫｏａは、ｃｏｓα、入力される輝度（入射光による明るさ（輝度））ｄＫｉ（ｘ，ｙ）、物体表面の拡散係数ｋａを用いると（数式３）のように表現される。

この拡散反射成分ｄＫｏａ（対象画素ｉ（ｘ，ｙ）の拡散反射成分がｄＫｏａｉ（ｘ，ｙ）である。）は、光源の方向と面の法線の向きが一致した場合に、最も明るく（拡散反射成分ｄＫｏａの値が大きく）なり、光源方向（光源方向ベクトル）と物体表面の法線（法線方向ベクトル）の向きのずれが大きくなる（角度αが大きくなる）に従い、暗くなっていく（拡散反射成分ｄＫｏａの値が小さくなっていく）性質を持つ。ここでは、物体係数ｋａは、固定値として定義されるため、拡散反射成分ｄＫｏａは、ｃｏｓαと入射される明るさｄＫｉ（ｘ，ｙ）で決まる。
本発明では、仮想光源から入射される明るさｄＫｉ（ｘ，ｙ）は、仮想的に明るさ情報Ｋｉ（ｘ，ｙ）が入力（入射）されるものとして計算する。これは、現時点での明るさ情報Ｋｉ（ｘ，ｙ）において、仮想光源からの方向（つまり、角度α）に基づいて算出される拡散成分ｄＫｏａｉを抽出するためである。

《鏡面反射成分ｄＫｏｂ》
次に、鏡面反射成分ｄＫｏｂについて図１１を用いて説明する。鏡面反射成分ｄＫｏｂは、物体の表面の質により変わる反射光成分を表しており、鏡や金属のように反射率の高い物体に光が当たると、局所的に明るい部分が発生する現象により生じる成分である。つまり、鏡面反射成分ｄＫｏｂは、表面に凹凸がない一様な表面（鏡面）を持った物体に光が当たった場合に発生する特定方向への反射成分を示す。
鏡面反射成分ｄＫｏｂは、物体係数ｋｂと、ユーザ視線と反射方向間の角度βで決定され、（数式４）により求められる。なお、（数式４）で、ｎは正定数である。

しかし、本発明では、ユーザが画面方向に垂直方向から観察していると仮定しているため、ｃｏｓβとして、物体の法線ベクトルｖＨｉと光源方向ベクトルｖＲ１のなす角度αの余弦ｃｏｓαを使って、鏡面反射成分ｄＫｏｂを求めることができる。また、物体係数ｋｂは、固定値として定義される。このため、（数式４）により、鏡面反射成分ｄＫｏｂは、ｃｏｓαと入射される明るさｄＫｉ（ｘ，ｙ）とで決まる。ここでも、仮想光源から入射される明るさ情報ｄＫｉ（ｘ，ｙ）は、仮想的に明るさ情報Ｋｉ（ｘ，ｙ）が入力（入射）されるものとして仮定する。そして、現時点での明るさ情報Ｋｉ（ｘ，ｙ）において、仮想光源からの方向（つまり、角度β）に基づいて算出される鏡面反射成分ｄＫｏｂｉを抽出する。鏡面反射成分ｄＫｏｂは、（数式４）より明らかなように、光の反射角の方向と視線が一致する場合に非常に明るくなり、その角度βがすれるに従い急速に減衰する性質を持つ。

《環境光成分ｄＫｏｃ》
環境光成分ｄＫｏｃについて図１５を用いて説明する。図１５に示すように、環境光成分は、物体全体に一定の明るさを与える周囲光に相当するものであり、表面材質に関係なく、周囲に均一に存在する成分である。
この環境光成分ｄＫｏｃｉは、周囲係数ｋｃと、入力される輝度（入射光による明るさ（輝度））ｄＫｉ（ｘ，ｙ）とを用いて、（数式５）のように表現される。

なお、（数式５）以外にも固定明るさを環境光成分ｄＫｏｃとすることができる。ここでも、拡散反射成分や鏡面反射成分と同様に、仮想光源から入射される明るさｄＫｉ（ｘ，ｙ）は、仮想的に明るさ情報Ｋｉ（ｘ，ｙ）が入力（入射）されるものとして計算する。数式５）は、現時点での明るさＫｉ（ｘ，ｙ）において、仮想光源ｄＫｉ（ｘ，ｙ）に基づいて算出される環境光成分ｄＫｏｃｉを抽出するために設定された。なお、（数式５）のようなＰｈｏｎｇモデルの場合、環境光成分は、仮想光源とのなす角度αに依存しない。しかし、環境光成分として、仮想光源とのなす角度αによる変動分を考慮することも可能である。
以上のことより、Ｐｈｏｎｇモデルによる対象画素ｉ（ｘ，ｙ）の明るさ情報Ｋｉ（ｘ，ｙ）は、物体上の表面係数等を固定とした場合、物体表面の法線方向ベクトルと光源方向へのベクトル（光源方向ベクトル）とがなす角度αの余弦値ｃｏｓαで、その強度を決定することができる。なお、図９において、「相関ＣｏＡ」とは、光源方向ベクトルと法線方向ベクトルとの相関を示すものであればよく、上記余弦値ｃｏｓαがこの一例である。

以上の値を（数式２）に代入することで、画像処理装置２００では、現在の明るさ情報Ｋｉ（ｘ，ｙ）より推定された仮想光源方向ベクトルｖＲ１による明るさ情報ｄＳＫｉ（ｘ，ｙ）を求める。
そして、画像処理装置２００は、このｄＳＫｉ（ｘ，ｙ）と入力明るさＫｉ（ｘ，ｙ）とを合成することで、入力画像の照明分布を保持しながら、陰影部分を強調する画像ｖＳＯｉ（ｘ，ｙ）を生成する。
しかし、以上の処理により求められるｄＳＫｉ（ｘ，ｙ）は、人間が強く感じる方向から来る光が、現在の入力明るさ情報Ｋｉに寄与しているもの（寄与分）を示しているに過ぎない。つまり、ｄＳＫｉ（ｘ，ｙ）は、以下（１）（２）に示す特徴を有する。
（１）法線方向ベクトルと光源方向ベクトルとのなす角度αが大きい画素では、仮想光源による光が入射されないものとして、この仮想光源による明るさｄＳＫｉ（ｘ，ｙ）は、入力された明るさ情報Ｋｉ（ｘ，ｙ）よりもずっと小さくなる（陰影強調）。

（２）法線方向ベクトルと光源方向ベクトルとのなす角度αが小さい画素では、仮想光源による光が実際の照明分布に近いものとして、この仮想光源による明るさｄＳＫｉ（ｘ，ｙ）は、入力された明るさ情報Ｋｉ（ｘ，ｙ）より小さいが、入力された明るさ情報Ｋｉ（ｘ，ｙ）にある程度近い値になる。
このため、ｄＳＫｉ（ｘ，ｙ）は、本来の入力画像の明るさ情報Ｋｉ（ｘ，ｙ）よりも低下する（小さい値をとる）傾向がある。
そこで、画像処理装置２００では、この２つ（ｄＳＫｉ（ｘ，ｙ）と入力明るさ情報Ｋｉ（ｘ，ｙ））を合成することで、入力画像の明るさをある程度保持しながら、陰影強調を行うようにする。
《結合係数ｗｋｓの制御について》
仮想光源により抽出された画素ｉ（ｘ，ｙ）の明るさ情報ｄＳＫｉ（ｘ，ｙ）に係る結合係数ｗｋｓ（０．０≦ｗｋｓ≦１．０）の制御には多くの方法がある。結合係数ｗｋｓの制御の方法について、以下、説明する。

（Ｓ−１）ｗｋｓを明るさ情報Ｋｉ（ｘ，ｙ）に対して単調減少させるとともに、エッジ情報ＥＤＧＥｉ（ｘ，ｙ）に対して単調増加させる。
こうすることで、画像上の低輝度の輪郭部における陰影強調を適切に行うことができ、本来陰影でない部分を強調することが少なくなる。
（Ｓ−２）ｗｋｓを法線方向ベクトルと光源方向ベクトルとがなす角度αの余弦値ｃｏｓαの絶対値に対して、単調減少させるとともに、エッジ情報ＥＤＧＥｉ（ｘ，ｙ）に対して単調増加させる。ｃｏｓαは、法線方向ベクトルと光源方向ベクトルとの間の相関を示す値であり、この値が小さい場合には、仮想光源からの光が当たらないような立体面（立体曲面）を持つと考えられる。よって、このようにｗｋｓを制御することにより、輪郭部において、仮想光源の光が当たらない部分での陰影強調をすることができ、仮定した立体曲面（法線方向ベクトルにより決定される立体曲面）の陰影に相当する箇所に陰影付加・強調ができる。

（Ｓ−３）ｗｋｓを法線方向ベクトルと光源方向ベクトルとがなす角度αの余弦値ｃｏｓαの絶対値に対して、単調減少させるとともに、エッジ情報ＥＤＧＥｉ（ｘ，ｙ）に対して単調増加させる。さらに、明るさ情報Ｋｉ（ｘ，ｙ）に対して単調減少させる。
こうすることで、仮想光源からの光が当たらないような立体面（立体曲面）を持ち、元々明るさが低い（低輝度の）輪郭部において陰影強調をすることができる。このようにｗｋｓを制御することで、仮定した立体曲面での陰影に相当する部分であり、かつ、元々暗い領域（低輝度の領域）に陰影付加・強調ができる。
ここでは、（Ｓ−１）の例を採用するが、他の方法も使用可能である。（Ｓ−１）の方法を採用した場合、陰影強調後の明るさＳＫｉ（ｘ，ｙ）は、（数式６）により求められる。

（数式６）で、ＳＳｔは陰影強調強度パラメータであり、所定の定数であってもよく、ユーザが指定した値であってもよい。
図１６、図１７は、本処理による処理結果を模式的に示している。ここでは、説明便宜のため、明るさに対する結果のみを示す。
図１６は、中心円の明るさが周囲の円よりも高い場合を示している。図１６は、左上から光を照射する仮想光源を設定した例である。
図１６（ａ）に示すように、中心円の右下の領域（１）では、光源方向と法線方向とが異なる。この領域（１）では、図１６（ｂ）に示すように光源方向ベクトルｖＲ１と法線方向ベクトルｖＨｉとが大きく異なる（なす角度が大きい）ため、領域（１）の明るさが高い円に接する低い円の輪郭部（低明るさ側（暗い側））で輝度低下が生じ、陰影強調が実施される。

それに対して、図１６（ａ）に示す、中心円の左上の領域（２）では、光源方向と法線方向とがほぼ一致する。この領域（２）では、図１６（ｃ）に示すように、光源方向ベクトルｖＲ１と法線方向ベクトルｖＨｉとが一致する方向に近づくため、明るさ（輝度）低下は小さくなり、陰影強調も小さい。
また、図１７は、中心円の明るさが周囲の円よりも低い場合を示している。図１７は、左上から光を照射する仮想光源を設定した例である。
図１７（ａ）における中心円の右下の領域（１）では、設定した光源方向と算出した法線方向がほぼ一致する（光源方向ベクトルと法線方向ベクトルとのなす角度が小さい）。そのため、この領域（１）では、図１７に示すように光源方向ベクトルｖＲ１と法線方向ベクトルｖＨｉが一致する（なす角度が小さい）方向に近づくため、領域（１）の明るさ低下は小さく、陰影強調も小さい。

それに対して、図１７（ａ）における中心円の左上の領域（２）では、設定した光源方向と算出された法線方向とが異なる（光源方向ベクトルと法線方向ベクトルとのなす角度が大きい）。そのため、この領域（２）では、図１７（ｃ）に示すように、光源方向ベクトルｖＲ１と法線方向ベクトルｖＨｉが大きく異なる（光源方向ベクトルと法線方向ベクトルとのなす角度が大きい）ため、領域（２）の明るさの低い円輪郭部（低明るさ側（暗い側））で輝度低下が生じ、陰影強調が実施される。
色差成分算出部４８は、この得られた陰影強調後の明るさ情報ＳＫｉ（ｘ，ｙ）と入力画像ｖＩｉ（ｘ，ｙ）の明るさ情報Ｋｉ（ｘ，ｙ）とから、陰影強調後の色差情報ＳＣｒｉ（ｘ，ｙ）とＳＣｂｉ（ｘ，ｙ）とを求める。
ここでも、多くの方法がある。例えば、ＳＣｒｉ（ｘ，ｙ）＝Ｃｒｉ（ｘ，ｙ）、ＳＣｂ（ｘ，ｙ）＝Ｃｂｉ（ｘ，ｙ）のように入力画像の色差を保持する方法がある。

次に、この得られた陰影強調後の明るさ情報ＳＫｉ（ｘ，ｙ）と入力画像の明るさ情報Ｋｉ（ｘ，ｙ）との比Ｒａｔｉｏ＝ＳＫｉ（ｘ，ｙ）／Ｋｉ（ｘ，ｙ）（明るさ改善比）をもとに、入力画像ｖＩｉ（ｘ，ｙ）の色差Ｃｒｉ（ｘ，ｙ）とＣｂｉ（ｘ，ｙ）とに乗算される色差改善比ＲａｔｉｏＣｒＣｂを、図１８に示すようにして求めることもできる。
図１８は、画像処理装置２００内の色差成分算出部４８の制御例に関する模式図である。
図１８（ａ）は、陰影強調後の明るさ情報ＳＫｉ（ｘ，ｙ）と入力画像の明るさ情報Ｋｉ（ｘ，ｙ）との比Ｒａｔｉｏに対する色差比の制御例（色差制御関数例）を示し、横軸は陰影強調後の明るさ情報ＳＫｉ（ｘ，ｙ）と入力画像の明るさ情報Ｋｉ（ｘ，ｙ）との比Ｒａｔｉｏに相当し、縦軸は得られる色差比に相当する。この図１８（ａ）で示される特性は、（数式７）により定義される。

また、図１８（ｂ）は、色差制御関数における傾き係数Ｋｅｉｓｕを陰影強調後の明るさ情報ＳＫｉ（ｘ，ｙ）（＝ｏｕｔｋｉｄｏ）で制御する例を示す。これは、（数式８）のように定義できる。
なお、図１８や（数式７）（数式８）におけるｏｕｔｋｉｄｏは、
ｏｕｔｋｉｄｏ＝ＳＫｉ
である。
また、ＭｉｎＲａｔｉｏ、ＭａｘＲａｔｉｏ、ＯＭｉｎ、ＯＭａｘ、ＴｈｒｅｓＨｉｇｈは、所定の正定数であり、通常、ＭｉｎＲａｔｉｏ＝１．０、ＯＭｉｎ＝１．０となる。また、ＴｈｒｅｓＨｉｇｈ＜１．０となる。
なお、この式では明るさ情報が０≦Ｋｉ≦１．０を仮定している。

図１８や（数式７）（数式８）で得られた色差比ＲａｔｉｏＣｒＣｂを入力画像の対象画素ｉ（ｘ，ｙ）における色差Ｃｒｉ（ｘ，ｙ）およびＣｂｉ（ｘ，ｙ）に乗算して陰影強調後の色差情報ＳＣｒｉ（ｘ，ｙ）およびＳＣｂｉ（ｘ，ｙ）を求める処理が、色差成分算出部４８により実施される。このように、画像処理装置２００では、明るさ改善比Ｒａｔｉｏに対して色差改善比の強さを抑制することで、過剰な改善を抑える効果を持たせることができる。
また、画像処理装置２００では、（数式８）のように傾き係数Ｋｅｉｓｕを改善後の明るさ情報ＳＫｉがハイライト（高い明るさ（高輝度））になるほど抑制することで、ハイライト側（高輝度部分）での飽和現象を抑制する効果を持つ。
最後に、出力部１５は、陰影強調画像生成部１４で得られた各画素ｉ（ｘ，ｙ）の陰影強調画像ｖＳＯｉ（ｘ，ｙ）＝（ＳＫｉ（ｘ，ｙ），ＳＣｂｉ（ｘ，ｙ），ＳＣｒｉ（ｘ，ｙ）を、使用機器で扱うことのできる画像フォーマットに応じて変換して得られた処理画像データを出力する。

以上により、画像処理装置２００では、陰影強調画像を生成することで、画像内の照明分布を推定することなく、また画像内の照明分布に大きな影響を与えることなく、所定の領域への陰影付加や陰影強調を行うことができるとともに、簡易な構成で画像の奥行き感の向上を実現することができる。
［第３実施形態］
図１９から図２４を用いて、本発明の第３実施形態として、光付加により画像内の奥行き感向上を実現する画像処理方法及び画像処理装置３００について説明する。
図１９に、本実施形態に係る画像処理装置３００の構成を示す。また、図２０に、画像処理装置３００内の光強調画像生成部５０の構成を示す。
図２１に本実施形態に係る画像処理方法の処理フローチャートを示す。また、図２２に光強調画像生成ステップの処理フローチャートを示す。

この発明は、画像データを処理することで、画像内の色情報を補正する装置であり、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、これらの撮影機器で取得したデジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話やカーモバイル機器・ＰＤＡ等、あるいは、様々な環境下で使用される大型映像表示機器等へ搭載される。
＜３．１：画像処理装置の構成＞
第３実施形態に係る画像処理装置３００は、第２実施形態に係る画像処理装置２００と同様の構成を有しており、画像処理装置２００の陰影強調画像生成部１４を光強調画像生成部５０に置換した点のみが異なる。
なお、本実施形態に係る画像処理装置３００において、前述の実施形態と同様の部分については、同一の符号を付し、説明を省略する。

光強調画像生成部５０は、明るさ情報Ｋｉ（ｘ，ｙ）、その法線方向ベクトルｖＨｉ（ｘ，ｙ）、明るさによるエッジ量ＥＤＧＥｉ（ｘ，ｙ）に基づいて、入力画像（信号）ｖＩｉ（ｘ，ｙ）に光付加・強調を行い、光強調画像ｖＬＯｉ（ｘ，ｙ）を生成し、出力部１５に出力する。なお、Ｐｈｏｎｇモデルを使用する場合、光強調画像生成部５０は、図２０に示すように構成される。
＜３．２：画像処理装置の動作＞
図２１および図２２の処理フローチャートを参照して、画像処理装置３００における処理の概要について説明する。
まず、画像処理装置３００に画素ｉ（ｘ，ｙ）における画素値ｖＩｉ（ｘ，ｙ）をもつ画像データが入力される。ここで（ｘ，ｙ）とは画素ｉの（水平画素位置、垂直画素位置）を示す。また、変数の先頭の小文字の「ｖ」はベクトルを示すものとする。

明るさ算出部１１および法線方向推定部１３の処理は、前述の実施形態と同様であるので、説明を省略する。
光強調画像生成部５０は、明るさ情報Ｋｉ（ｘ，ｙ）、その法線方向ベクトルｖＨｉ（ｘ，ｙ）、明るさによるエッジ量ＥＤＧＥｉ（ｘ，ｙ）を受けて、光付加・強調した画像を生成する。この処理は図２１に示すように実施される。
まず、前述の実施形態と同様に、仮想光源を仮定し、そこから画像への光源方向ベクトルｖＲ１を決定する。そして、この方向から微弱な仮想光成分ｃＫｃｉ（ｘ，ｙ）を仮定して、この仮想光付加成分による光付加を目的とする。なお、前述の実施形態と同様に、仮想光成分は、左上からの平行光源照明によるものであると仮定して、光源方向ベクトルｖＲ１を設定する。つまり、画面に対して左上方向に仮想光源があると仮定する。

この際、光成分の明るさ情報ｃＫｃｉ（ｘ，ｙ）の設定には多くの方法があるが、ここでは、入力画素ｉ（ｘ，ｙ）の明るさ情報Ｋｉ（ｘ，ｙ）に所定の光付加係数ＡｄｄＬｉｇｈｔを乗算して設定することとする。こうすることで、対象画素ｉ（ｘ，ｙ）の明るさ情報Ｋｉ以上の明るさがその画素ｉに付加されることを抑制することができ、明るさ飽和の抑制になる。なお、光付加係数ＡｄｄＬｉｇｈｔは、予め用意された正定数であっても、ユーザが入力して設定された値であってもよい。
この仮想光成分ｃＫｃｉ（ｘ，ｙ）＝ＡｄｄＬｅｉｇｈｔ×Ｋｉ（ｘ，ｙ）を加えた際の光付加画像がまず生成される。その際、前述の実施形態と同様に、Ｐｈｏｎｇモデルを用いることとする。これ以外にも、Ｔｏｒｒａｎｃｅ ａｎｄ ＳｐａｒｒｏｗによるモデルやＣＧで使用されるモデルがあり、これらを利用することも可能である。

仮想光源成分ｃＫｃｉ（ｘ，ｙ）による画素ｉ（ｘ，ｙ）で付加される光成分の明るさ情報ｄＬＫｉ（ｘ，ｙ）は、付加拡散成分ｃＫｃａｉ（ｘ，ｙ）、付加鏡面反射成分ｃＫｃｂｉ（ｘ，ｙ）、付加環境光成分ｃＫｃｃｉ（ｘ，ｙ）、入力画像の明るさ情報Ｋｉ（ｘ，ｙ）により、（数式９）のように表現される。

付加拡散反射成分ｃＫｃａｉ（ｘ，ｙ）、付加鏡面反射成分ｃＫｃｂｉ（ｘ，ｙ）、および付加環境光成分ｃＫｃｃｉ（ｘ，ｙ）は、それぞれ、（数式３）（数式４）および（数式５）において、ｄＫｉ（ｘ，ｙ）＝ｃＫｃｉ（ｘ，ｙ）とすることで求めることができる。そして、この処理は、図２０で示した付加拡散反射成分算出部６１、付加鏡面反射成分算出部６２、および付加環境成分算出部６３により実行される。
光付加画像生成部６５では（数式９）を用いて、画素ｉ（ｘ，ｙ）における仮想光成分ｃＫｃｉ（ｘ，ｙ）による光付加画像の明るさ情報ｄＬＫｉ（ｘ，ｙ）が求められる。
この後、このｄＬＫｉ（ｘ，ｙ）と入力明るさＫｉ（ｘ，ｙ）とを合成することで、入力画像の照明分布を保持しながら、光部分を強調する画像ｖＬＯｉ（ｘ，ｙ）が生成される。画像処理装置３００において、このような処理を行うことで、人間が強く感じる方向から来る弱い仮想光成分を加えて、より印象深くなるようにして光強調画像を生成することができる。

明るさ情報ｄＬＫｉ（ｘ，ｙ）は、以下の（１）および（２）に示す特徴を有する。
（１）法線方向ベクトルと光源方向ベクトルとのなす角度αが大きい画素では、仮想光源成分ｃＫｃｉによる光がこないため、明るさｄＬＫｉ（ｘ，ｙ）は、入力された明るさＫｉ（ｘ，ｙ）とほぼ同じとなり、光付加量も小さい。
（２）法線方向ベクトルと光源方向ベクトルとのなす角度αが小さい画素では、仮想光源成分ｃＫｃｉによる光は、画素ｉ（ｘ，ｙ）に到達する。そのため、明るさｄＬＫｉ（ｘ，ｙ）は、入力された明るさＫｉ（ｘ，ｙ）よりもやや高い値となり、光強調された状態となる。
明るさ情報ｄＬＫｉ（ｘ，ｙ）は、このようなの特徴をもつため、本来の入力画像の明るさＫｉ（ｘ，ｙ）よりも上昇する傾向がある。そこで、この２つ（ｄＬＫｉ（ｘ，ｙ）と入力明るさＫｉ（ｘ，ｙ））を合成することで、入力画像の明るさをある程度保持しながら、光強調を行うようにする。

《結合係数ｗｋｌの制御について》
仮想光源により抽出された画素ｉ（ｘ，ｙ）の明るさ情報ｄＬＫｉ（ｘ，ｙ）に係る結合係数ｗｋｌ（０．０≦ｗｋｌ≦１．０）の制御には多くの方法がある。結合係数ｗｋｌの制御の方法について、以下、説明する。
（Ｌ−１）ｗｋｌを明るさ情報Ｋｉ（ｘ，ｙ）に対して単調増加させるとともに、エッジ情報ＥＤＧＥｉ（ｘ，ｙ）に対して単調増加させる。
こうすることで、輪郭部の高輝度における光強調をすることができ、本来光でないところを強調することが少なくなる。
（Ｌ−２）ｗｋｌを法線方向ベクトルと光源方向ベクトルとがなす角度αの余弦値ｃｏｓαの絶対値に対して、単調増加させるとともに、エッジ情報ＥＤＧＥｉ（ｘ，ｙ）に対して単調増加させる。ｃｏｓαは、法線方向ベクトルと光源方向ベクトルと間の相関を示す値であり、この値が大きい場合には、仮想光源からの光が十分当たるような立体面（立体曲面）を持つと考えられる。よって、このようにｗｋｌを制御することにより、輪郭部で、仮想光源の光が当たる部分での光強調をすることができる。

（Ｌ−３）ｗｋｌを法線方向ベクトルと光源方向ベクトルとがなす角度αの余弦値ｃｏｓαの絶対値に対して、単調増加させるとともに、エッジ情報ＥＤＧＥｉ（ｘ，ｙ）に対して単調減少させる。こうすることで、仮想光源からの光が十分当たるような平坦部の光強調をすることができる。
（Ｌ−４）ｗｋｌを法線方向ベクトルと光源方向ベクトルとがなす角度αの余弦値ｃｏｓαの絶対値に対して、単調増加させるとともに、エッジ情報ＥＤＧＥｉ（ｘ，ｙ）に対して単調減少させる。さらに、明るさ情報Ｋｉ（ｘ，ｙ）に対して単調増加させる。こうすることで、仮想光源からの光が十分当たるような立体面（立体曲面）を持ち、元々明るさが高い平坦部（高輝度の平坦部）での光強調をすることができる。つまり、仮定した曲面（法線方向ベクトルに決定される立体曲面）での平坦部に相当する部分であり、かつ、元々明るい領域（高輝度の領域）に光影付加・強調をすることで、この領域を印象付けることができる。

ここでは、（Ｌ−１）の例を採用するが、他の方法も使用可能である。（Ｌ−１）の方法を採用した場合、光強調後の明るさＬＫｉ（ｘ，ｙ）は、（数式１０）により求められる。

（数式１０）で、ＬＳｔは光強調強度パラメータであり、所定の定数であっても、ユーザが指定した値であってもよい。
図２３、図２４は、本処理による処理結果を模式的に示している。
図２３は、第２実施形態で模式的に示した結果例１に対する処理済み画像の傾向を示すものである。この図では左上から光を照射する仮想光源を設定した例である。
図２３は、中心円の明るさが周囲の円よりも高い場合を示すものである。
図２３（ａ）に示すように、中心円の右下の領域（１）では、設定された光源方向と算出された法線方向が異なる。そのため、この領域（１）では、図２３（ｂ）に示すように、光源方向ベクトルｖＲ１と法線方向ベクトルｖＨｉとが大きく異なる（なす角度が大きい）ため、仮想光成分ｃＫｃｉ（ｘ，ｙ）による光付加が小さくなり、光強調が小さい。

それに対して、図２３（ａ）に示すように、中心円の左上の領域（２）では、設定された光源方向と算出された法線方向がほぼ一致する（光源方向ベクトルと法線方向ベクトルとのなす角度が小さい）。そのため、図２３（ｃ）に示すように、光源方向ベクトルｖＲ１と法線方向ベクトルｖＨｉとが一致する方向に近づくため、中心の明るい円の輪郭部（明るさが高い側（明るい側））で光付加が実施され、輪郭部の明るさ上昇が発生し、光強調が実施される。
また、図２４は、中心円の明るさが周囲の円よりも低い場合を示している。ここでも、左上から光を照射する仮想光源を設定した例である。図２４（ａ）に示す、中心円の右下の領域（１）では、設定された光源方向と算出された法線方向のずれが小さい（光源方向ベクトルと法線方向ベクトルとのなす角度が小さい）。そのため、図２４（ｂ）に示すように光源方向ベクトルｖＲ１と法線方向ベクトルｖＨｉとが一致する方向に近づくため、領域（１）では、中心の輝度が低い円に接する明るい円輪郭部（明るさが高い側（明るい側））で光付加が実施され、輪郭部の明るさ上昇が発生し、光強調が実施される。

それに対して、図２４の中心円の左上の領域（２）では、設定された光源方向と算出された法線方向が異なる（光源方向ベクトルと法線方向ベクトルとのなす角度が大きい）傾向がある。そのため、図２４（ｃ）に示すように、光源方向ベクトルｖＲ１と法線方向ベクトルｖＨｉとが大きく異なる（光源方向ベクトルと法線方向ベクトルとのなす角度が大きい）ため、領域（２）での光付加は小さくなり、光強調も小さい。
色差成分算出部４８は、この得られた光強調後の明るさ情報ＬＫｉ（ｘ，ｙ）と入力画像ｖＩｉ（ｘ，ｙ）の明るさ情報Ｋｉ（ｘ，ｙ）より光強調後の色差情報ＬＣｒｉ（ｘ，ｙ）とＬＣｂｉ（ｘ，ｙ）とを求める。これは、前述の実施形態と同様である。
最後に、出力部１５は、光強調画像生成部５０で得られた各画素ｉ（ｘ，ｙ）の陰影強調画像ｖＬＯｉ（ｘ，ｙ）＝（ＬＫｉ（ｘ，ｙ）、ＬＣｂｉ（ｘ，ｙ）、ＬＣｒｉ（ｘ，ｙ）を、使用機器で扱うことのできる画像フォーマットに応じて変換して得られた処理画像データを出力する。

画像処理装置３００では、このようにして光強調画像を生成することで、画像内の照明分布を推定することなく、また画像内の照明分布に大きな影響を与えることなく、所定の領域へ光付加や光強調を行うことができるとともに、簡易な構成で画像の奥行き感向上を実現できる。
［第４実施形態］
図２５から図３４を用いて、本発明の第４実施形態として、陰影強調・光強調を利用して画像の奥行き感向上補正を行う画像処理方法及び画像処理装置４００について説明する。
図２５に、本実施形態に係る画像処理装置４００の構成を示す。
画像処理装置４００は、図２５に示すように、主に、明るさ算出部１１、明るさ対比算出部７１、法線方向推定部１３、陰影強調画像生成部１４、光強調画像生成部５０、合成部７０、出力部１５より構成される。

図２６に合成部７０の構成を示す。合成部７０は、図２６に示すように、主に、合成係数算出部８０、明るさ合成部８１、色差成分算出部４８より構成される。
図２７に、明るさ対比算出部７１を示す。明るさ対比算出部７１は、図２７に示すように、主に、周辺明るさ情報算出部９１と明るさ対比量算出部９２より構成される。
図２８は、本実施形態に係る画像処理方法の処理フローチャートを示す。図２９は、明るさ対比量算出処理のフローチャートを示す。図３０は、陰影強調画像と光強調画像との合成ステップの処理フローチャートを示す。
この発明は、画像データを処理することで、画像内の色情報を補正する装置であり、例えば、デジタルスチルカメラやデジタルビデオカメラのような撮影機器、これらの撮影機器で取得したデジタル画像を編集する画像編集装置、モバイル環境下で使用する携帯電話やカーモバイル機器・ＰＤＡ等、あるいは、様々環境下で使用される大型映像表示機器等へ搭載される。

本実施形態に係る画像処理装置４００および画像処理方法の特徴は、第２実施形態例で得られた陰影強調画像と、第３実施形態例で得られた光強調画像とを合成して、両方の特徴である陰影付加効果と光付加効果をを合わせ持つ効果を実現させることで、より奥行き感が向上した画像生成を実施する点にある。
図２８から図３０の処理フローチャートをもとに処理の流れを示す。
画像処理装置４００に画像データが入力され、各画素のデータが所定の明るさ情報Ｋｉ（ｘ，ｙ）へ変換される。この明るさ情報Ｋｉ（ｘ，ｙ）をもとに、明るさ対比量ＲＫｉ（ｘ，ｙ）の算出を、明るさ対比算出部７１が行う。
明るさ対比算出部７１が、明るさ情報Ｋｉ（ｘ，ｙ）に対して視覚特性に応じた明るさ特性を示す情報を求める。この明るさ特性を示すものとしては、多くのものが考えられるが、より人間の見た目に近いような補正を実現するために、人間の視覚特性に対応した情報を用いることとした。人間の視覚特性として、多くのものがあり、明るさ対比特性を用いることとする。図３１は、その特性を説明するための図である。この値（明るさ対比量）は、色に対する色対比が明るさ情報についても生じることが知られており、明るさ対比量は、その程度を数値化したものである。例えば、明るさの低い大きな円中心部分に、その周囲よりも明るさが高い小さな中心円がある例を考える。この場合、大きな円の中心部は、人間には、実際の明るさよりもより明るく感じる傾向があることが視覚心理より明らかとされている。この現象は、明るさ対比特性により生じる現象であり、対象物体の周囲を異なる明るさが取り囲む場合に、物体の明るさが、その周囲の明るさに影響を受けることにより発生する現象である。

つまり、物体自体の明るさよりもその物体の周囲を取り囲む明るさが高い場合、物体の明るさは低く感じられる。逆に、物体自体の明るさよりもその物体の周囲を取り囲む明るさが低い場合、物体の明るさは高く感じられる。
また、図３２を用いて、明るさ対比について説明する。図３２は、同じ明るさ対比を１つの円の境界で考えるための説明図である。
中心の円は均一な明るさ情報を持つ。一方、左の矩形内は中心円よりやや高い明るさを持ち、右の矩形内は中心円よりもずっと低い明るさを持つ（ずっと暗い）とする。この場合、中心円境界上で２つの星印で示された位置の画素Ａの明るさと画素Ｂの明るさとを確認する。本来、画素Ａの明るさと画素Ｂの明るさとは、同じ明るさを持つ。しかし、画素Ｂでは、周辺領域内の明るさよりも画素Ｂがずっと明るいため、その対比効果により本来の画素Ｂの明るさよりもずっと明るく感じる傾向がある。それに対して、画素Ａでは、周辺領域内の明るさよりも画素Ａの明るさがやや低いため、これも対比効果により、本来の画素Ａの明るさよりもやや暗く感じてしまう。その結果、ユーザは、画素Ｂの方が画素Ａよりも明るく感じる現象が発生するのである。

本発明では、この明るさ対比量ＲＹｉ（ｘ，ｙ）を明るさ対比算出部７１で求める。その際、明るさ対比量ＲＹｉ（ｘ，ｙ）を求める際の周辺領域として、人間の視野に相当する画像の１／６から１／３程度を占める画素範囲（領域）を用いて処理することとする。この際、周囲の代表明るさＡＫｉ（ｘ，ｙ）としては、例えば、人間の視野領域に相当する所定の広さを持つ画素領域Ωｉ内の重み付き平均明るさを、対象画素ｉ（ｘ，ｙ）の周囲の画素の代表明るさＡＫｉ（ｘ，ｙ）とすることが好ましいが、これ以外にも、視野領域内の画素を対象として、当該領域内の画素の明るさ（輝度）についてのヒストグラム（輝度ヒストグラム）を求め、その輝度ヒストグラムにおいて、最も度数の多い輝度値や、視野領域内の統計的分布をもとにしたクラスタリング処理で得られた代表輝度や、視野領域内の平均輝度度等を、代表明るさＡＹｉとすることも可能である。

また、明るさ対比量ＲＫｉ（ｘ，ｙ）の定義としても、
（ａ）明るさ情報Ｋｉ（ｘ，ｙ）の、その周辺を代表する明るさ情報ＡＫｉ（ｘ，ｙ）に対する比、
（ｂ）明るさ情報Ｋｉ（ｘ，ｙ）から、その周辺を代表する明るさ情報ＡＫｉ（ｘ，ｙ）を減算した値、
等の定義を採用することができる。なお、これ以外にも多くの定義があるが、ここでは対比をより明確に表すために、（ａ）の明るさ情報Ｋｉ（ｘ，ｙ）のその周辺を代表する明るさ情報ＡＫｉ（ｘ，ｙ）に対する比を用いることとした。

周辺代表明るさ算出部９１が、周囲の代表明るさＡＫｉ（ｘ，ｙ）を求め、明るさ対比量算出部９２が、明るさ対比量ＲＫｉ（ｘ，ｙ）を（数式１）より求める。
また、法線方向推定部１３が、各画素における法線方向ベクトルｖＨｉ（ｘ，ｙ）＝（ｈｘ，ｈｙ，ｈｚ）を設定する。
陰影強調画像生成部１４は、明るさ情報Ｋｉ（ｘ，ｙ）、法線方向ベクトルｖＨｉ（ｘ，ｙ）、およびエッジ情報ＥＤＧＥｉ（ｘ，ｙ）をもとに、陰影成分が強調された陰影強調画像ｖＳＯｉ（ｘ，ｙ）を、第２実施形態と同様にして生成する。
また、光強調画像生成部５０は、明るさ情報Ｋｉ（ｘ，ｙ）、法線方向ベクトルｖＨｉ（ｘ，ｙ）、およびエッジ情報ＥＤＧＥｉ（ｘ，ｙ）をもとに、光付加を行われた光強調画像ｖＬＯｉ（ｘ，ｙ）を、第３実施形態と同様にして生成する。

陰影強調画像生成部１４および光強調画像生成部５０により取得された２つの画像を合成部７０が合成して、最終的な処理済み画像を生成する。
出力部１５は、合成部７０で得られた各画素ｉ（ｘ，ｙ）の補正明るさ情報や補正色差そのまま出力することもできるが、合成部７０で得られた各画素ｉ（ｘ，ｙ）の補正明るさ情報や補正色差を、使用機器により扱うことのできる画像フォーマットに応じて変換して得られた処理画像データを出力するようにしてもよい。
なお、ここで、陰影強調画像生成部１４および光強調画像生成部５０は、陰影強調画像ｖＳＯ（ｘ，ｙ）および光強調画像ｖＬＯ（ｘ，ｙ）を出力し、合成部７０で利用されるとした。
しかし、陰影強調画像生成部１４が陰影強調画像内の陰影強調後の画素ｉ（ｘ，ｙ）における明るさ情報ＳＫｉ（ｘ，ｙ）を合成部７０に出力し、光強調画像生成部５０が光強調画像内の光強調後の画素ｉ（ｘ，ｙ）における明るさ情報ＬＫｉ（ｘ，ｙ）を合成部７０に出力し、合成部７０が明るさ情報ＳＫｉ（ｘ，ｙ）および明るさ情報ＬＫｉ（ｘ，ｙ）を、処理済み画像ｖＯｉ（ｘ，ｙ）の明るさ情報ＯＫｉ（ｘ，ｙ）の算出に利用し、その値と入力画像ｖＩｉ（ｘ，ｙ）より得られる画素ｉ（ｘ，ｙ）の明るさ情報Ｋｉ（ｘ，ｙ）、色差情報Ｃｂｉ（ｘ，ｙ）、Ｃｒｉ（ｘ，ｙ）を使って、画素ｉ（ｘ，ｙ）の処理済み画像の色差ＯＣｂｉ（ｘ，ｙ）、ＯＣｒｉ（ｘ，ｙ）を算出しても良い。

合成部７０は、明るさ対比量ＲＫｉ（ｘ，ｙ）を使って画素ｉ（ｘ，ｙ）における光強調画像ｖＬＯｉ（ｘ，ｙ）の明るさ情報ＬＫｉ（ｘ，ｙ）に掛かる結合係数ｗｌ２（０．０≦ｗｌ２≦１．０）を算出する。この場合、陰影強調画像ｖＬＯｉ（ｘ，ｙ）の明るさ情報ＳＫｉ（ｘ，ｙ）に掛かる結合係数は、１．０−ｗｌ２となる。
《結合係数ｗｌ２の制御》
結合係数ｗｌ２の制御には多くの方法が考えられる。ここでは、その一例について説明する。
まず、第２実施形態による陰影強調画像ｖＳＯｉ（ｘ，ｙ）は、画像内の明るさがやや低下する可能性がある。一方、第３実施形態による光強調画像ｖＬＯｉ（ｘ，ｙ）は、画像内の明るさがやや上昇する可能性がある。

そこで、画素ｉ（ｘ，ｙ）における明るさ対比量ＲＫｉ（ｘ，ｙ）が「１．０」よりずっと高い場合、陰影強調画像よりも光強調画像を優先し、得られた処理済み画像ｖＯｉ（ｘ，ｙ）の明るさ情報ＯＫｉ（ｘ，ｙ）を入力画像ｖＩｉ（ｘ，ｙ）の明るさ情報Ｋｉ（ｘ，ｙ）に近づけることにより、処理済画像の画質によい効果をもたらすことができる。このことより、ｗｌ２＝Ｆｕｎｃ（ＲＫｉ（ｘ，ｙ））のように、ＲＫｉ（ｘ，ｙ）の増大に従い、ｗ１２の値が緩やかに単調増加するように、ｗ１２を設定する。その際、画素ｉ（ｘ，ｙ）の明るさ情報Ｋｉ（ｘ，ｙ）が周囲の代表明るさ情報ＡＫｉ（ｘ，ｙ）と同じ値の場合、対比量ＲＫｉ（ｘ，ｙ）＝１．０となるが、この場合は、光強調画像の明るさ情報ＬＫｉ（ｘ，ｙ）と、陰影強調画像の明るさ情報ＳＫｉ（ｘ，ｙ）とが処理済み画像ｖＯｉ（ｘ，ｙ）に同じ程度貢献するとして、ｗｌ２＝０．５となるように設定する。

この処理は、第３合成係数算出部８０により実行される。
明るさ合成部８１が、第３合成係数算出部８０で得られた結合係数ｗｌ２より、（数式１２）のように、２つの画像の明るさ情報の合成を行い、処理済み画像の明るさ情報ＯＫｉ（ｘ，ｙ）を求める。

図３３は、第２実施形態や第３実施形態で模式的に示した結果例１に対する処理済み画像の傾向（状況）を説明するための模式図である。図３３は、左上から光を照射する仮想光源を設定した例であり、中心部が周辺領域より輝度が高い場合を示している。図３３（ａ）における中心円の右下の領域（１）では、設定された光源方向と算出された法線方向が異なる（光源方向ベクトルと法線方向ベクトルとのなす角度が大きい）。そのため、この領域（１）では、図３３（ｂ）に示すように、光源方向ベクトルｖＲ１と法線方向ベクトルｖＨｉとが大きく異なる（光源方向ベクトルと法線方向ベクトルとのなす角度が大きい）ことで光強調効果よりも陰影強調効果が強く発生する。つまり、この領域（１）では、高輝度円に接する低輝度円輪郭部（低輝度側）で輝度低下が発生し陰影強調が実施される。

それに対して、図３３（ａ）における中心円の左上の領域（２）では、設定された光源方向と算出された法線方向がほぼ一致する（光源方向ベクトルと法線方向ベクトルとのなす角度が小さい）。そのため、この領域（２）では、図３３（ｃ）に示すように、光源方向ベクトルｖＲ１と法線方向ベクトルｖＨｉとが一致する方向に近づくことで陰影強調効果よりも光強調効果が強く発生する。つまり、この領域（２）では、高輝度円輪郭部（高輝度側）で光付加（輝度上昇）が実施され、光強調が実施される。
以上の結果として、画像処理装置４００では、中心の高輝度円部分が正面に向かって凸に感じられる画像が得られる。
また、図３４は、第２実施形態や第３実施形態で模式的に示した結果例２に対する処理済み画像の傾向（状況）を説明するための模式図である。図３４は、左上から光を照射する仮想光源を設定した例であり、中心部が周辺領域より輝度が低い場合を示している。図３４（ａ）における中心円の右下の領域（１）では、設定された光源方向と算出された法線方向がほぼ一致する（光源方向ベクトルと法線方向ベクトルとのなす角度が小さい）。そのため、この領域（１）では、図３４（ｂ）に示すように、光源方向ベクトルｖＲ１と法線方向ベクトルｖＨｉとが一致する方向に近づくことで陰影強調効果よりも光強調効果が強く発生する。つまり、この領域（１）では、低輝度円に接する高輝度円輪郭部（高輝度側）で光付加（輝度上昇）が発生し光強調が実施される。

それに対して、図３４（ａ）における中心円の左上の領域（２）では、設定された光源方向と算出された法線方向が異なる（光源方向ベクトルと法線方向ベクトルとのなす角度が大きい）。そのため、この領域（２）では、図３４（ｃ）に示すように、光源方向ベクトルｖＲ１と法線方向ベクトルｖＨｉとが大きく異なる（光源方向ベクトルと法線方向ベクトルとのなす角度が大きい）ことで光強調効果よりも陰影強調効果が強く発生する。つまり、領域（２）では、低輝度円輪郭（低輝度側）で輝度低下が発生し陰影の強調が実施される。
結果として、中心の高輝度円部分が正面より凹のようにややくぼんで感じられる画像が得られる。この凹凸感は、第２実施形態や第３実施形態の場合でも同様に発生するが、本実施形態に係る画像処理装置４００では、この２つの異なる効果を加えることで、より奥行き感が向上した画像を得ることができる。

次に、色差成分算出部４８が、処理済み画像の明るさ情報ＯＫｉ（ｘ，ｙ）、入力画像の明るさ情報Ｋｉ（ｘ，ｙ）、入力画像の色差情報Ｃｒｉ（ｘ，ｙ）およびＣｂｉ（ｘ，ｙ）により、処理済み画像の色差情報ＯＣｒｉ（ｘ，ｙ）およびＯＣｂｉ（ｘ，ｙ）を求める。これについては、前述の実施形態と同様に、以下の２通りの方法を適用することができる。
（ｉ） ＯＣｂｉ（ｘ，ｙ）＝Ｃｂｉ（ｃ、ｙ）、ＯＣｒｉ（ｘ，ｙ）＝Ｃｒｉ（ｘ，ｙ）のように、入力画像の色差を処理済み画像の色差に適用する。
（ｉｉ） 明るさ情報の改善比Ｒａｔｉｏ＝ＯＫｉ（ｘ，ｙ）／Ｋｉ（ｘ，ｙ）を使って色差の改善比ＲａｔｉｏＣｒＣｂを求め、入力画像の色差Ｃｒｉ（ｘ，ｙ）、Ｃｂｉ（ｘ，ｙ）に乗算して算出する。

これ以外にも多くの方法があるが、色差成分算出部４８は、このように処理済み画像の色差を算出する。
出力部１５は、合成部７０で得られた各画素ｉ（ｘ，ｙ）の処理済み画像ｖＯｉ（ｘ，ｙ）を、使用機器で扱うことのできる画像フォーマットに応じて変換して得られた処理画像データを出力する。
このように、画像処理装置４００では、陰影強調画像と光強調画像の合成を行うことで、両方の特徴である陰影付加と光付加効果を合わせ持つ画像を生成することができ、より奥行き感が向上した画像を得ることができる。また、画像処理装置４００では、第２実施形態の方法での明るさがやや低下する可能性や、第３実施形態の方法での明るさがやや上昇する可能性を抑え、画質の点でも優れた画像を得ることが可能となる。

［第５実施形態］
図３５に示された第５実施形態の画像処理装置５００について説明する。
画像処理装置５００は、第４実施形態の画像処理方法および画像処理装置において、フィルタ処理後の明るさ情報値により法線方向ベクトルを推定するとともに、明るさ情報とフィルタ後の明るさ情報の差分値に比例した値を陰影強調・光強調後の合成画像の明るさ情報に加算することを特徴とする。
図３５に示す画像処理装置５００において、フィルタ処理部７２、差分明るさ算出部７３、補正分算出部７４、以外は、第４実施形態と同様であるので、説明を省略する。法線方向推定部１３、陰影強調画像生成部１４、光強調画像生成部５０では、フィルタ処理部７２で得られた平滑化明るさＬＫｉ（ｘ，ｙ）に対して、第４実施形態と同様の処理が実施される。

フィルタ処理部７２は、明るさ情報算出部１１で得られた明るさ情報Ｋｉ（ｘ，ｙ）に対して画像内における平滑化フィルタ処理を行い、平滑化後の明るさ情報ＬＫｉ（ｘ，ｙ）を求める。
この目的は、弱い輪郭やテクスチャでの微小輝度変動により生じる法線方向ベクトル変動を抑えることで、弱い輪郭やテクスチャへの陰影強調・光強調の効果を抑えることである。よって、フィルタ処理部７２で使用されるフィルタは、除去したい周波数の大きさ（カットオフ周波数）に応じた重みを持つ平滑フィルタが適用され、例えば、中心画素（対象画素）ｉ（ｘ，ｙ）とフィルタ内画素ｊ（ｓ，ｔ）間の距離ｌｅｎに対するガウス分布を重み係数ｇ（ｓ，ｔ）に持つ平滑化フィルタが適用される。また、中心画素とフィルタ内対象画素間の距離に対するガウス分布の重み係数ｇ（ｓ，ｔ）に、中心画素の明るさＫｉ（ｘ，ｙ）とフィルタ内画素の明るさＫｊ（ｓ，ｔ）の差より得られた値を乗算したバイラテラルフィルタを用いることで、画像上の輪郭付近のある程度大きな明るさ（輝度）を保持しながら、明るさの平滑化を行ってもよい。フィルタのサイズも除去したいテクスチャサイズや処理時間を考慮した適切な固定の大きさ（例えば、１１画素×１１画素や５画素×５画素、７画素×７画素）でもよいし、対象部分のテクスチャのもつ周波数成分よりフィルタサイズを決定する機能部を設け、そのフィルタサイズをもとに明るさ情報の平滑化処理を行うことも可能である。さらに、画像内を所定サイズのブロック領域に分割し、各ブロック内の平均明るさを算出する。そして、対象画素が含まれるブロックの平均輝度で平滑化明るさを代用することも可能である。さらに、ブロック単位での平滑化フィルタを行い、対象画素が含まれるブロックの平滑化された平均明るさとその周囲ブロックの平滑化された平均明るさとを使った補間処理で対象画素の平滑化明るさを求めるようにしてもよい。

差分明るさ算出部７３では、フィルタ処理部７２で得られた平滑化明るさＬＫｉ（ｘ，ｙ）と明るさＫｉ（ｘ，ｙ）との差分明るさｓｕｂＫｉ（ｘ，ｙ）を、（数式１３）により求める。

そして、この差分明るさｓｕｂＫｉ（ｘ，ｙ）に所定の正係数ηをかけた値を補正高周波分ｄＯＫｉ（ｘ，ｙ）（＝η×ｓｕｂＫｉ（ｘ，ｙ））として、合成部７０で得られた処理済画像に加えるのである。
平滑化された明るさに陰影・光強調処理をすることで、弱い輪郭やテクスチャへの過剰補正を抑制できるが、平滑化したことで高周波成分が落ちてしまい、ぼやけた処理画像となる可能性がある。
そこで、補正分算出部７４により、平滑化で落ちてしまった高周波成分を補正・加算することで、その弊害を抑制することができる。
［第６実施形態］
図３６に示された第６実施形態の画像処理装置６００について説明する。

画像処理装置６００は、本発明の第５実施形態において、陰影強調画像・光強調画像ともに変動量のみを算出することとしたものである。
図３６に示す画像処理装置６００において、陰影による減少生成部７５と光による加算生成部７６、変化分合成部７７以外は、第５実施形態と同様であるので、説明を省略する。
法線方向推定部１３は、フィルタ処理部７２で得られた平滑化後の明るさ情報ＬＫｉ（ｘ，ｙ）をもとに実施される。これを受けて陰影による減少生成部７５と光による加算生成部７６とが、それぞれ、陰影付加処理と光付加処理とを実施する。
陰影による減少生成部７５では、第５実施形態の陰影強調画像生成部１４における陰影強調後の明るさ情報ｄＳＫｉ（ｘ，ｙ）に、強度ＳＳｔと制御係数ｗｋｓとを掛けた値と、平滑された明るさ情報ＬＫｉ（ｘ，ｙ）との差分を求め、その値を陰影付加により発生する減少明るさ情報ｓｕｂｄＳＫｉ（ｘ，ｙ）とする。

また、光による加算生成部７６は、第５実施形態の光強調画像生成部５０における仮想光源成分ｃＫｃｉ（ｘ，ｙ）による光付加後の明るさ情報ｄＬＫｉ（ｘ，ｙ）に、強度ＬＳｔと制御係数ｗｋｌとを掛けた値と、平滑化された明るさ情報ＬＫｉ（ｘ，ｙ）との差分を求め、その値を光付加により発生する加算明るさ情報ｓｕｂｄＫｉ（ｘ，ｙ）を求める。
変化分合成部７７は、この２つの値（減少明るさ情報ｓｕｂｄＳＫｉ（ｘ，ｙ）と加算明るさ情報ｓｕｂｄＫｉ（ｘ，ｙ））を平滑化された明るさ情報ＬＫｉ（ｘ，ｙ）に加えた処理済画像の明るさ情報ＯＫｉ（ｘ，ｙ）を求め、補正分算出部７４で得られた補正分ｄＯＫｉ（ｘ，ｙ）で補正する処理を実施する。
こうすることで、陰影強調画像生成部１４や光強調画像生成部５０で実施していた、その時点での平滑化された明るさ情報ＬＫｉ（ｘ，ｙ）との重み付け合成をする処理を削減できる。

変化分合成部７７は、陰影による減少明るさ情報ｓｕｂｄＳＫｉ（ｘ，ｙ）と光付加による加算明るさ情報ｓｕｂｄＬＫｉ（ｘ，ｙ）とに、明るさ対比量ＲＫｉ（ｘ，ｙ）による重み係数（１．０−ｗｌ２）とｗｌ２とを、それぞれ乗算した値と平滑化された明るさＬＫｉ（ｘ，ｙ）との和を求め、ＯＫｉ（ｘ，ｙ）とする。つまり、変化分合成部７７は、（数式１４）に示す処理を行い、ＯＫｉ（ｘ，ｙ）を生成する。

この後、変化分合成部７７は、このＯＫｉ（ｘ，ｙ）を補正分算出部７４で得られた補正分ｄＯＫｉ（ｘ，ｙ）で補正する。
この場合、重み係数ｗｌ２は、前述の実施形態の場合と同様でもよいが、前述の実施形態よりも補正程度が大きくなる可能性があるので、
ｓｕｂｄＳＫｉ（ｘ，ｙ）×（１−ｗｌ２）＋ｓｕｂｄＬＫｉ（ｘ，ｙ）×ｗｌ２
に所定の正係数σ（σ≦１．０）を掛けたあとで、ＬＫｉ（ｘ，ｙ）に加えるようにしてもよい。
ここでのポイントは、陰影強調・光強調における処理量削減であり、第５実施形態への適用を説明したが、第４実施形態への本処理における陰影による減少生成部７５と光による加算生成部７６、変化分合成部７７を適用することも可能である。

［第７実施形態］
図３７〜図３９で示された第７実施形態の画像処理方法および画像処理装置について説明する。
本実施形態に係る発明は、前述の実施形態における画像処理方法および画像処理装置における法線方向推定部１３において、ｘ方向、ｙ方向ともに差分量が小さい場合に発生する法線方向の変動が小さくなる弊害を改善するものであり、エッジ量の大きさを変数とする関数でさらにｘ，ｙ方向の成分の大きさもしくはｚ方向の成分の大きさを制御することで法線方向の変動を大きくしたものである。この点が、本実施形態に係る発明の特徴である。
図３７は、本実施形態に係る法線方向推定部１３の構成を表すブロック図である。図３７に示すように、本実施形態に係る法線方向推定部１３において、ＸＹ成分強調量算出部１３１００と法線方向ベクトル調整部１０１とが追加機能を果たす。

図３８に、この法線方向推定部１３での処理のフローチャートを示す。この処理以外は、前述の実施形態と同様なので、説明を省略する。
まず、対象画素ｉ（ｘ，ｙ）の明るさ情報（たとえば輝度）Ｋｉ（ｘ，ｙ）のＸ方向、Ｙ方向における変化分ｄＫｘ，ｄＫｙを求める（Ｓ３０）。この大きさを成分に持つベクトルｖｄ（ｄＫｘ，ｄＫｙ）がエッジベクトルに相当し、その大きさｌｅｎがエッジ量となる。この値をもとに、仮の法線方向ベクトルｖＨｔｉ（ｘ，ｙ，ｚ）＝（ｄＫｘ，ｄＫｙ、１）を設定する。
次に、Ｘ方向成分ｄＫｘとＹ方向成分ｄＫｙとを補正する補正係数ｘｙｋｅｉｓｕを求め（Ｓ１００）、この値により仮の法線方向ベクトルｖＨｔｉ（ｘ，ｙ，ｚ）のＸＹ成分を補正することで、法線方向ベクトルｖＨｉ（ｘ，ｙ，ｚ）を求めるが、ここでは、法線方向ベクトルｖＨｉの大きさを正規化する（大きさを「１」にする）ために、まず、ベクトルｖｄｄ（ｄＫｘ×ｘｙｋｅｉｓｕ、ｄＫｙ×ｘｙｋｅｉｓｕ、１）の大きさＬＥＮＤを求める。

そして、このＬＥＮＤでベクトルｖｄｄの大きさを正規化したベクトルが調整済みの法線方向ベクトルｖＨｉ（ｘ，ｙ）となる。（数式１５）は、それを示す。なお、法線方向男ベクトルの大きさを「１」に正規化することは必須ではない。
この処理について、図３９を用いて説明する。
図３９の左図は、第２実施形態から第４実施形態までの法線方向ベクトルを模式的に示すものである。この場合、課題として明るさ情報Ｋｉ（ｘ，ｙ）のＸＹ方向微分量が小さい場合が多く、その場合に法線方向の変化が輪郭付近であってもあまり大きくならない場合があることが挙げられる。
本実施形態に係る発明では、図３９の右図のように、ＸＹ方向の微分量で設定された法線方向ベクトルｖＨｉのＸ，Ｙ成分をエッジ量で制御する係数ｘｙｋｅｉｓｕを求め、そのＸ，Ｙ成分を制御することで、法線方向に変化を与える。特に、本実施形態に係る発明は、輪郭付近で、よりＸ，Ｙ成分を大きく保つとともに、平坦部でのＸ，Ｙ成分を小さくすることで、図３９の右図のように、断面図の立体感をより効果的に表現できる法線方向ベクトルｖＨｉを求めることが特徴である。この制御係数ｘｙｋｅｉｓｕは、いろいろ考えられるが、一例として、本発明では、（数式１６）を用いる。

（数式１６）でｘｙＭａｘは、制御係数の最大値を表す正定数であり、ｘｙｄｅｌｔａは制御変数の分散程度を表す正定数である。ｘｙｄｅｌｔａとして、画像内のエッジ量ｌｅｎの最大値を用いてもよい。（数式１６）に示すｘｙｋｅｉｓｕを用いることで、ｘｙｋｅｉｓｕは、「１」〜「１＋ｘｙＭａｘ」を変動することとなり、仮法線方向ベクトルｖＨｔｉ（「仮法線方向ベクトル」を「仮法線ベクトル」ということがある。以下、同じ。）におけるＸ，Ｙ成分を始点として、エッジ量に応じてＸ，Ｙ成分の値を大きくすることとなる。なお、（数式１６）の変わりに、（数式１７）を用いてもよい。
（数式１７）の場合、エッジ量が小さいときは、法線方向ベクトルのＸ，Ｙ成分は「０」に近付き、より平坦部の法線を示すこととなる。この場合は、（数式１６）よりも輪郭部の法線方向と平坦部の法線方向との差がより大きくなることで立体感が増す可能性があるが、その反面、微小変動の影響を受け、法線方向が振れすぎるおそれもある。

なお、エッジ量でＸ，Ｙ成分を制御する係数ｘｙｋｅｉｓｕ以外にも、ＸＹ成分以外にＺ成分を制御することでも、より立体感を効果的に表現できる法線方向ベクトルの調整が可能である。この場合、エッジ量ｌｅｎが大きいほどＺ成分を制御する係数を大きくすることとなる。
このように、本実施形態の発明は、法線方向推定において、ｘ方向、ｙ方向ともに差分量が小さい場合に発生する法線方向の変動が小さくなる弊害を改善するものであり、エッジ量の大きさを変数とする関数でさらにｘ，ｙ方向の成分の大きさもしくはｚ方向の成分の大きさを制御することで法線方向の変動を大きくしたものである。特に、本実施形態の発明は、画像上の弱い輪郭付近での法線方向ベクトルが、ｚ方向の成分値よりもｘ，ｙ方向成分値が小さいことにより画像平面において垂直方向のベクトルからあまり変動せず、法線方向ベクトルにより決定される立体曲面が凸形状となりにくい傾向があることを改善するものである。

［第８実施形態］
図４０〜図４２で示した第８実施形態の画像処理方法および画像処理装置について説明する。
本実施形態に係る発明は、第２から第６実施形態に係る画像処理方法および画像処理装置における法線方向推定部１３において、ｘ方向、ｙ方向ともに差分量が小さい場合に発生する法線方向の変動が小さくなる弊害を改善するものであり、明るさ対比量ＲＫｉの大きさを変数とする関数でｚ方向の成分の大きさを制御することで法線方向の変動を大きくしたものである。この点が、本実施形態に係る発明の特徴である。
図４０は、本実施形態に係る法線方向推定部１３の構成を表すブロック図である。図４０に示すように、明るさ対比算出部７１とＺ成分算出部１１０が加えられている点が前述の実施形態と異なる。ここでの明るさ対比算出部７１は、第４実施形態におけるものと同じ処理をするものであり、第４、５、６実施形態では兼用することとなる。

また、第２、第３実施形態では、明るさ対比算出部７１が法線方向推定部１３内に追加されることとなる。
図４１に、本実施形態の法線方向推定部１３の処理のフローチャートを示す。この処理以外は、第２から第６実施形態と同様なので、説明を省略する。
まず、対象画素ｉ（ｘ，ｙ）の明るさ情報（たとえば輝度）Ｋｉ（ｘ，ｙ）のＸ方向、Ｙ方向における変化分ｄＫｘ，ｄＫｙを求める（Ｓ３０）。この大きさを成分に持つベクトルｖｄ（ｄＫｘ，ｄＫｙ）がエッジベクトルに相当し、その大きさｌｅｎがエッジ量となる（Ｓ３１）。
この後、第４実施形態で説明した、対象画素ｉ（ｘ，ｙ）の明るさ情報Ｋｉ（ｘ，ｙ）とその周辺画素の明るさ情報を代表する周辺代表明るさ情報ＡＫｉ（ｘ，ｙ）の比を明るさ対比量ＲＫｉ（ｘ，ｙ）として求める（Ｓ１２）。この値ＲＫｉ（ｘ，ｙ）を使って、法線方向ベクトルｖＨｉ（ｘ，ｙ）のＺ成分を求める。

《ｚ方向算出の考え方》
このｚ方向算出の考え方を、模式的に示したのが図４２である。
図４２（ａ）における座標での膨らみをもつ断面に対して設定される法線方向ベクトルのＸＹ成分は、対応する明るさ情報のＸ，Ｙ方向微分量で設定される。それに対して、図４２（ｂ）に示すように、得られる明るさ対比量ＲＫｉ（ｘ，ｙ）を使って、図４２（ｃ）のように、Ｚ成分を決定するのである。これは、ＲＫｉが「１」に近いほど、大域的に平坦な部分にあると考えられるので、Ｚ成分はそのまま「１」とする。
一方、ＲＫｉが「１」より離れるほど、大域的に平坦部から離れ、輪郭部へ近づくと考えられる。したがって、（ＲＫｉ−１．０）の絶対値に応じて、Ｚ成分を小さくすることで得られる法線方向ベクトルｖＨｉ（ｘ，ｙ）は、輪郭の特徴を表すこととなる。本実施形態に係る発明は、この考え方を適用して、実現されたものである。

本実施形態の発明では、明るさ対比量で法線方向ベクトルを補正することで、第２から第６実施形態における法線方向推定において、ｘ方向、ｙ方向ともに差分量が小さい場合に発生する法線方向の変動が小さくなる弊害を改善でき、より立体感を効果的に表現する法線方向ベクトルを得ることができる。特に、本実施形態の発明では、画素エッジ量を用いるよりも、明るさ対比量を法線方向ベクトルのＺ成分制御に用いることで微小の明るさ変動量に左右される影響が小さくなり、外光や伝送による明るさ変動の影響を受けにくく安定して効果的な法線推定が可能となる。
［第９実施形態］
図４３〜図４５で示した第９実施形態の画像処理方法および画像処理装置について説明する。

図４３は、本実施形態に係る法線方向推定部１３の構成を示すブロック図である。図４４に、本実施形態に係る法線方向推定方法の手順を示す。これ以外の部分については、前述の実施形態と同様のため、説明を省略する。
図４３および図４４をもとに、本実施形態の画像処理方法における法線方向推定方法について説明する。
本実施形態に係る発明は、明るさ対比量ＲＫｉ（ｘ，ｙ）を組み合わせた視覚的奥行き量Ｚｄを定義し、Ｚｄをもとに、対象画素ｉ（ｘ，ｙ）における法線方向ベクトルｖＨｉ（ｘ，ｙ）を求めるものである。この点が、本実施形態に係る発明の特徴である。
まず、本実施形態に係る法線方向推定部１３は、対象画素ｉ（ｘ，ｙ）の明るさ情報のＸ，Ｙ方向における変化分（Ｘ方向の微分量、Ｙ方向の微分量）ｄＫｘ，ｄＫｙを求め、ベクトルｖｄ（ｄＫｘ，ｄＫｙ）の大きさｌｅｎを求める。このｌｅｎがエッジ量ＥＤＥＧＥｉとなり、以降の機能部で使用される。

その後、本実施形態に係る法線方向推定部１３は、明るさ対比量ＲＫｉ（ｘ，ｙ）を求め、この値（明るさ対比量ＲＫｉ（ｘ，ｙ））を明るさ情報Ｋｉ（ｘ，ｙ）に組み合わせた視覚的奥行き量Ｚｄを求める。
この視覚的奥行き量の定義としては、多くの方式があり、ここでは、（数式１８）のように、Ｇｋ（Ｋ（ｘ，ｙ）、ＡＫ（ｘ，ｙ））で表現する。（数式１８）では、画素ｉの値であることを示す下付き文字（添え字）ｉを削除している。ＡＫｉ（ｘ，ｙ）は周辺平均明るさ情報（例えば、対象画素ｉ（ｘ，ｙ）の周辺画素の明るさ情報の平均値がこれに相当する。）を示す。

視覚的奥行き量Ｚｄは大きいほど、見ている人間までの距離が近いことを示し、ｇＫは明るさ対比量ＲＫの関数であることを示す。
一般に、（１）人間の視覚は、明るさ情報をもとに物体までの距離感を感じることが指摘されている。また、（２）注目部分の明るさが周辺内の明るさよりも高い場合、人間は、心理効果として、注目部分をより明るく感じることが指摘されている。
つまり、同じ明るさを持つ部分であっても、周辺より明るい部分の方が、より人間から見て、近く感じるといえる。
（数式１８）で定義した視覚的奥行き量は、上記（１）および（２）を考慮して、より人間の視覚に合うような奥行き感を定義することで導出されたものである。
図４５は、その視覚的奥行き量Ｚｄから法線方向ベクトルｖＨｉ（ｘ，ｙ）を算出する様子を数式的に示している。

（数式１８）におけるＺｄは、Ｋ（ｘ，ｙ）、ＡＫ（ｘ，ｙ）の関数であり、この２つは、画素位置ｉ（ｘ，ｙ）の関数である。このため、法線方向ベクトルのための３次元空間におけるｚ成分にＺｄをおいて、そのｚの微小量ｄｚを求める。ここで、周辺明るさ情報ＡＫ（ｘ，ｙ）は、視野に相当する画像内の領域（視野領域）である、画像内の全画像領域の１／３から１／４、あるいは１／６の大きさを持つ領域の平均の明るさに相当する。つまり、周辺明るさ情報ＡＫ（ｘ，ｙ）は、視野領域に相当する大局的に広い周辺領域内の平均明るさに相当するもので、そのｘ座標に対する変動量∂（ＡＫ）／∂ｘや、そのｙ座標に対する変動量∂（ＡＫ）／∂ｙは「０」と見なすことができる。
その結果、法線方向ベクトルｖＨｉ（ｘ，ｙ）（＝（ｈｘ，ｈｙ，ｈｚ））は、（数式１９）のようになる。

このため、本実施形態の処理では、視覚的奥行き量Ｚｄをもとにして、第２から第６実施形態で示した法線方向ベクトルのＸ方向成分とＹ方向成分とを補正する制御係数ＧＫｅｉｓｕ＝∂（Ｇｋ）／∂Ｋを求める。この値は、（数式１８）で示されるように、明るさＫ（ｘ，ｙ）と明るさ対比量ＲＫ（ｘ，ｙ）とで得られる値Ｇｋの、明るさＫ（ｘ，ｙ）に対する変化分の形で求めることができる。
ベクトルｖｄｄ（−ｄＫｘ×ＧＫｅｉｓｕ、−ｄＫｙ×ＧＫｅｉｓｕ、１）は、制御係数で補正した後の、正規化していない法線方向ベクトルになり、本実施形態の発明では、その大きさＬＥＮＤをもとに各成分を正規化することで、法線方向ベクトルｖＨｉ（ｘ，ｙ）を求める。
なお、（数式１８）のｇＫとして多くの定義があるが、一例として（数式２０）を示す。（数式２０）で、λは改善程度を表す正定数である。

以上により、本実施形態の発明では、第２から第６実施形態における法線方向推定において、ｘ方向、ｙ方向ともに差分量が小さい場合に発生する法線方向の変動が小さくなる弊害を改善することができる。特に、本実施形態の発明では、第２から第６実施形態における対象部分の輝度のみの関数で定義した奥行き量に、明るさ対比により発生する効果を考慮した視覚的奥行き量を定義し、その視覚的奥行き量より法線方向を求めることで、明るく明るさ対比が高い画像上の領域（画素）ほど、ユーザにより近く感じる視覚心理に応じて補正された法線推定が可能となる。

なお、視覚的奥行き量Ｚｄの定義として、（数式１８）以外に、（数式２１）のように明るさＫ（ｘ，ｙ）と明るさ対比量ＲＫ（ｘ，ｙ）との関数であるｇＫ（ＲＫ（ｘ，ｙ））の積等による形や、Ｋ（ｘ，ｙ）とＲＫ（ｘ，ｙ）とを変数とする非線形変換関数を用いることも可能である。
［第１０実施形態］
図４６〜図５０で示された第１０実施形態の画像処理方法および画像処理装置について説明する。
図４６は、本実施形態に係る法線方向推定部１３の構成を示すブロック図である。図４４に、本実施形態に係る法線方向推定方法の手順を示す。これ以外の部分については、前述の実施形態と同様のため、説明を省略する。

本実施形態に係る発明は、色対比量ＲＣｉ（ｘ，ｙ）を組み合わせた視覚的奥行き量Ｚｄを定義し、Ｚｄをもとに、対象画素ｉ（ｘ，ｙ）における法線方向ベクトルｖＨｉ（ｘ，ｙ）を求めるものである。
色対比特性の概念は、図４８および図４９に模式的に示されている。この図４８では、灰色背景の中に中心部分が開いた赤と青の２つの円が描かれている。なお、２つの円の中心領域は、背景と同じ灰色をしているとする。人が、これらの円を、図４８に示す星印にある視線位置に注目して観察した場合、人は、赤色円の中心をやや青く感じる傾向があり、また、青色円の中心をやや赤く感じる傾向がある。この現象は、視覚心理より明らかとされており、色対比特性により生じる現象である。色対比特性とは、対象物体の周囲を異なる彩度や色相が取り囲む場合に、対象物体の彩度や色相に与える影響のことをいう。そして、以下の（１）および（２）に示す特性が明らかになっている。

（１）対象物体の色相と異なる色相が対象物体を取り囲む場合、対象物体に周囲の色相の補色が加わって感じられる。
（２）対象物体の彩度よりも対象物体の周囲を取り囲む彩度が高い場合、対象物体の彩度は、低く感じられる。逆に、対象物体の彩度よりも対象物体の周囲を取り囲む彩度が低い場合、対象物体の彩度は高く感じられる。
本発明では、この色対比特性を用いて、画素の色情報補正を行うことでより、人間の視覚に近い印象を与える（人間が画像（映像）を見たときに人間の視覚特性上自然と感じる）画像補正を行うのである。例えば、色情報ｖＣｉ（Ｃｉのベクトルデータ）の中から彩度Ｖｉ（ｘ，ｙ）を補正対象Ｃｉ（ｘ，ｙ）とした場合、図４８に模式的に示すように、彩度補正を行うことで人間の視覚に近い印象を促進できると考えられる。つまり、図４８の左円のように円の中心に対象画素ｉ（ｘ，ｙ）があり、対象画素ｉ（ｘ，ｙ）の彩度Ｖｉ（ｘ，ｙ）が、対象画素ｉ（ｘ，ｙ）の周囲の画素（複数の画素）の代表彩度ＡＶｉ（ｘ，ｙ）（例えば、周囲の画素の彩度の（重み付き）平均値）よりも低い場合には、対象画素ｉ（ｘ，ｙ）の彩度Ｖｉ（ｘ，ｙ）を減少させることで、良好な画像補正（色情報補正）が実現される。逆に、右円のように対象画素ｉ（ｘ，ｙ）の彩度Ｖｉ（ｘ，ｙ）が、対象画素ｉ（ｘ，ｙ）の周囲の画素（複数の画素）の代表彩度ＡＶｉ（ｘ，ｙ）よりも高い場合には、対象画素ｉの彩度Ｖｉ（ｘ，ｙ）を上昇させることで、良好な画像補整（色情報補正）が実現される。以上のような処理を行うことで、人間の視覚特性上、好ましい画像（映像）補正（色情報補正）が実現される。対象画素ｉ（ｘ，ｙ）の周囲の代表彩度Ｖｉ（ｘ，ｙ）としては、例えば、人間の視野領域に相当する所定の広さを持つ画素領域Ωｉ内の重み付き平均彩度を、対象画素ｉ（ｘ，ｙ）の周囲の画素の代表彩度とすることが好ましいが、これ以外にも、視野領域内の画素を対象として、当該領域内の画素の彩度についてのヒストグラム（彩度ヒストグラム）を求め、その彩度ヒストグラムにおいて、最も度数の多い彩度値や、視野領域内の統計的分布をもとにしたクラスタリング処理で得られた代表彩度や、視野領域内の平均彩度等を代表彩度Ｖｉ（ｘ，ｙ）とすることも可能である。上記のように、彩度による色情報補正を行う場合、各画素ｉ（ｘ，ｙ）における彩度以外の色情報は保存することで、画像のバランスを保つことができ、視覚特性上、自然な色情報補正が実現される。

また、色情報ｖＣｉの中から色相Ｈｉ（ｘ，ｙ）を補正対象Ｃｉ（ｘ，ｙ）とした場合、図４９に模式的に示すように、色相補正を行うことで人間の視覚に近い印象を促進できると考えられる。つまり、図４９の左円のように円の中心に対象画素ｉ（ｘ，ｙ）があり、対象画素ｉ（ｘ，ｙ）の色相Ｈｉ（ｘ，ｙ）よりも対象画素ｉ（ｘ，ｙ）の周囲の画素（複数の画素）の代表色相ＡＨｉ（ｘ，ｙ）（例えば、周囲の画素の色相の（重み付き）平均値）が赤い（色相が赤方向により近い）場合には、対象画素ｉ（ｘ，ｙ）の色相Ｈｉ（ｘ，ｙ）を青方向へ動かすことで、良好な画像補正（色情報補正）が実現される。この際、色相以外の色情報は保存される（変更されない）。また、色相に関しても、色相を急激に変化させることで画像上に発生する弊害を抑制するために、色相の移動量（変化量）を抑制することで、画像のバランス（色のバランス）をできるだけ保持することができる。つまり、色相の移動量（変化量）を抑制することで、視覚特性上、画像の色が不自然になることを防止することができる。逆に、右円のように対象画素ｉ（ｘ，ｙ）の色相Ｈｉ（ｘ，ｙ）が、対象画素ｉ（ｘ，ｙ）の周囲の画素の代表色相ＡＨｉ（ｘ，ｙ）よりも青い（色相が青方向により近い）場合には、対象画素ｉの色相Ｈｉ（ｘ，ｙ）を赤方向へ動かことで、良好な画像補正（色情報補正）が実現される。対象画素ｉ（ｘ，ｙ）の周囲の画素の代表色相ＡＨｉ（ｘ，ｙ）としては、人間視野領域に相当する所定の広さを持つ画素領域Ωｉ内の重み付き平均色相を、対象画素ｉ（ｘ，ｙ）の周囲の画素の代表色相とすることが好ましいが、これ以外にも、視野領域内の画素を対象として、当該領域内の画素の色相についてのヒストグラム（色相ヒストグラム）を求め、その色相ヒストグラムにおいて、最も度数の多い色相値や、視野領域内の統計的分布をもとにしたクラスタリング処理で得られた代表色相や、視野領域内の平均色相等を代表色相ＡＨｉとすることも可能である。なお、ここでは、色相Ｈｉを所定の方向へ動かすことにより、色情報補正を行う場合について説明したが、ＹＣｂＣｒ空間における色差ＣｂとＣｒとを変化させることでも色相を動かす（変化させる）ことも可能である。この場合、定性的には、色差Ｃｂの成分を大きくすることで青成分が発生し、色差Ｃｒの成分を大きくすることで赤成分が発生する。

次に、図４６および図４７を用いて、本実施形態における画像処理装置内の法線方向推定部１３について説明する。
まず、本実施形態に係る法線方向推定部１３は、対象画素ｉ（ｘ，ｙ）の明るさ情報のＸ，Ｙ方向における変化分（Ｘ方向の微分量、Ｙ方向の微分量）ｄＫｘ，ｄＫｙを求め、ベクトルｖｄ（ｄＫｘ，ｄＫｙ）の大きさｌｅｎを求める。このｌｅｎがエッジ量ＥＤＥＧＥｉとなり、以降の機能部で使用される。
その後、本実施形態に係る法線方向推定部１３は、色対比量ＲＣｉ（ｘ，ｙ）を求め、この値（色対比量ＲＣｉ（ｘ，ｙ））を明るさ情報Ｋｉ（ｘ，ｙ）に組み合わせた視覚的奥行き量Ｚｄを求める。
この視覚的奥行き量の定義としては、多くの方式があり、ここでは、（数式２２）のように、Ｇｖ（Ｋ（ｘ，ｙ）、ＡＶ（ｘ，ｙ））で表現する。（数式２２）では、色対比量ＲＣｉ（ｘ，ｙ）として彩度対比量ＲＶｉ（ｘ，ｙ）を選択し、画素ｉの値であることを示す下付き文字（添え字）ｉを削除している。そして、ＡＶｉ（ｘ，ｙ）は、周辺平均彩度情報を示す。

視覚的奥行き量Ｚｄは大きいほど、見ている人間までの距離が近いことを示し、ｇＶは彩度対比量ＲＶの関数であることを示す。
一般に、（１）人間の視覚は、明るさ情報をもとに物体までの距離感を感じることが指摘されている。また、（２）人間は、鮮やかな色に高い関心を示す傾向にあり、注目部分の色（彩度、色相等）が周辺の色よりも高い（例えば、彩度が高い（色が鮮やかである））場合、注目部分の色をより濃く鮮やかに感じることが指摘されている。
つまり、同じ明るさを持つ部分であっても、周辺より鮮やかな部分の方が、より人間から見て近く感じるといえる。
（数式２２）で定義した視覚的奥行き量は、上記（１）および（２）を考慮して、より人間の視覚に合うような奥行き感を定義することで導出されたものである。

図５０は、その視覚的奥行き量Ｚｄから法線方向ベクトルｖＨｉ（ｘ，ｙ）を算出する様子を数式的に示している。
（数式２２）におけるＺｄは、Ｋ（ｘ，ｙ）、ＡＶ（ｘ，ｙ）の関数であり、この２つは、画素位置ｉ（ｘ，ｙ）の関数である。このため、法線方向ベクトルのための３次元空間におけるｚ成分にＺｄをおいて、そのｚの微小量ｄｚを求める。ここで、周辺彩度ＡＶ（ｘ，ｙ）は、視野に相当する画像内の領域（視野領域）である、画像内の全画像領域の１／３から１／４、あるいは１／６の大きさを持つ領域の平均の彩度に相当する。つまり、周辺彩度ＡＶ（ｘ，ｙ）は、視野領域に相当する大局的に広い周辺領域内の平均彩度に相当するもので、∂（ＡＶ）／∂ｘや、∂（ＡＶ）／∂ｙは、「０」と見なすことができる。

その結果、法線方向ベクトルｖＨｉ（ｘ，ｙ）（＝（ｈｘ，ｈｙ，ｈｚ））は（数式２３）のようになる。

このため、本実施形態の処理では、視覚的奥行き量Ｚｄをもとにして、第２から第６実施形態で示した法線方向ベクトルのＸ方向成分とＹ方向成分とを補正する制御係数ＧＫｅｉｓｕ＝∂（Ｇｔ）／∂Ｋを求める。この値は、（数式２２）で示されるように、明るさＫ（ｘ，ｙ）と色対比量ＲＶ（ｘ，ｙ）とで得られる値Ｇｖの、Ｋ（ｘ，ｙ）に対する変化分の形で求めることができる。
次に、ベクトルｖｄｄ（−ｄＫｘ×ＧＫｅｉｓｕ、−ｄＫｙ×ＧＫｅｉｓｕ、１）は、制御係数で補正した後の、正規化していない法線方向ベクトルになり、本実施形態の発明では、その大きさＬＥＮＤをもとに各成分を正規化することで、法線方向ベクトルｖＨｉ（ｘ，ｙ）を求める。
なお、（数式２２）のｇＶとして多くの定義があるが、一例として（数式２４）を示す。（数式２４）で、λは改善程度を表す正定数である。

以上により、本実施形態の発明では、第２から第６実施形態における法線方向推定において、ｘ方向、ｙ方向ともに差分量が小さい場合に発生する法線方向の変動が小さくなる弊害を改善することができる。特に、本実施形態の発明では、第２から第６における対象部分の輝度のみの関数で定義した奥行き量に、色対比による発生する効果を考慮した視覚的奥行き量を定義しその視覚的奥行き量より法線方向を求めることで、明るく色対比効果が高い部分ほど鮮やかに、かつ、明るく感じ、ユーザにより近く感じる視覚心理に応じて補正された法線推定が可能となる。

なお、視覚的奥行き量Ｚｄの定義として、（数式２２）以外に、（数式２５）のように明るさＫ（ｘ，ｙ）と色対比量ＲＶ（ｘ，ｙ）との関数であるｇＶ（ＲＶ（ｘ，ｙ））の積等による形や、Ｋ（ｘ，ｙ）とＲＶ（ｘ，ｙ）とを変数とする非線形変換関数を用いることも可能である。
［第１1実施形態］
図５１から図５３で示された第１１実施形態の画像処理方法および画像処理装置について説明する。図５１は、本実施形態における法線方向推定部１３の構成を示すブロック図である。図５２は、本実施形態に係る法線方向推定方法の手順を示す。これ以外の部分については、前述の実施形態と同様のため、説明を省略する。
図５１および図５２をもとに本実施形態の画像処理方法における法線方向推定方法について説明する。

本実施形態に係る発明は、第９実施形態における明るさ対比量ＲＫｉ（ｘ，ｙ）と第１０実施形態における色対比量ＲＣｉ（ｘ，ｙ）とを組み合わせた視覚的奥行き量Ｚｄをもとに、対象画素ｉ（ｘ，ｙ）における法線方向ベクトルｖＨｉ（ｘ，ｙ）を求めるものである。
まず、対象画素ｉ（ｘ，ｙ）の明るさ情報のＸ，Ｙ方向における変化分（Ｘ方向の微分量、Ｙ方向の微分量）ｄＫｘ，ｄＫｙを求め、ベクトルｖｄ（ｄＫｘ，ｄＫｙ）の大きさｌｅｎを求める。このｌｅｎがエッジ量ＥＤＥＧＥｉとなり、以降の機能部で使用される。
その後、明るさ対比量ＲＫｉ（ｘ，ｙ）と色対比量ＲＣｉ（ｘ，ｙ）とを求め、この２つの値を明るさ情報Ｋｉ（ｘ，ｙ）に組み合わせた視覚的奥行き量Ｚｄを求める。

この視覚的奥行き量の定義としては、多くの方式があり、ここでは、（数式２６）のように、第９実施形態と第１０実施形態を線形結合したＧｔ（Ｋ（ｘ，ｙ），ＡＫ（ｘ，ｙ），ＡＶ（ｘ，ｙ））で表現する。（数式２６）では、色対比量ＲＣｉ（ｘ，ｙ）として彩度対比量ＲＶｉ（ｘ，ｙ）を選択し、画素ｉの値であることを示す下付き文字（添え字）ｉを削除している。そして、ＡＫｉ（ｘ，ｙ）は、周辺平均明るさ情報を示し、ＡＶｉ（ｘ，ｙ）は、周辺平均彩度情報を示す。

視覚的奥行き量Ｚｄは大きいほど、見ている人間までの距離が近いことを示し、ｇＫは明るさ対比量ＲＫの関数であり、ｇＶは彩度対比量ＲＶの関数であることを示す。α、βは、所定の定数である。
一般に、第９および第１０実施形態で示したように、（１）人間の視覚は、明るさ情報をもとに物体までの距離感を感じることが指摘されている。また、（２）人間は、注目部分の明るさが周辺内の明るさよりも高い場合、注目部分をより明るく感じること、また、（３）人間は、鮮やかな色に高い関心を示す傾向にあり、注目部分の色（彩度、色相等）が周辺の色よりも高い場合、注目部分の色をより濃く鮮やかに感じることが指摘されている。つまり、同じ明るさを持つ部分であっても、周辺より明るく鮮やかな部分の方が、より人間から見て近く感じるといえる。

（数式２６）で定義した視覚的奥行き量は、上記（１）〜（３）を考慮して、より人間の視覚に合うような奥行き感を定義することで導出されたものである。
図５３では、その視覚的奥行き量Ｚｄから法線方向ベクトルｖＨｉ（ｘ，ｙ）を算出する様子を数式的に示す。
（数式２６）におけるＺｄは、Ｋ（ｘ，ｙ）、ＡＫ（ｘ，ｙ）、およびＡＶ（ｘ，ｙ）の関数であり、この３つの関数は、画素位置ｉ（ｘ，ｙ）の関数である。このため、法線方向ベクトルのための３次元空間におけるｚ成分にＺｄをおいて、そのｚの微小量ｄｚを求める。ここで、周辺明るさ情報ＡＫは、視野に相当する画像内の領域（視野領域）である、画像内の全画像領域の１／３から１／４、あるいは１／６の大きさを持つ領域の平均の明るさに相当する。つまり、周辺明るさ情報ＡＫ（ｘ，ｙ）は、視野領域に相当する大局的に広い周辺領域内の平均明るさに相当するもので、そのｘ座標に対する変動量∂（ＡＫ）／∂ｘや、そのｙ座標に対する変動量∂（ＡＫ）／∂ｙは、「０」と見なすことができる。

同様に、周辺彩度ＡＶは、視野に相当する画像内の領域（視野領域）である、画像内の全画像領域の１／３から１／４、あるいは１／６の大きさを持つ領域の平均の明るさに相当する。つまり、周辺彩度情報ＡＶ（ｘ，ｙ）は、視野領域に相当する大局的に広い周辺領域内の平均彩度に相当するもので、∂（ＡＶ）／∂ｘや∂（ＡＶ）／∂ｙは、「０」と見なすことができる。
その結果、法線方向ベクトルｖＨｉ（ｘ，ｙ）（＝（ｈｘ，ｈｙ，ｈｚ））は（数式２７）のようになる。

このため、本実施形態の処理では、視覚的奥行き量Ｚｄをもとにして、第２から第６実施形態で示した法線方向ベクトルのＸ方向成分とＹ方向成分を補正する制御係数ＧＫｅｉｓｕ＝∂（Ｇｔ）／∂Ｋを求める。
次に、ベクトルｖｄｄ（−ｄＫｘ×ＧＫｅｉｓｕ、−ｄＫｙ×ＧＫｅｉｓｕ、１）は、制御係数で補正した後の、正規化していない法線方向ベクトルになり、本実施形態の発明では、その大きさＬＥＮＤをもとに各成分を正規化することで、法線方向ベクトルｖＨｉ（ｘ，ｙ）を求める。
なお、（数式２６）のｇＫ、ｇＶとして多くの定義があるが、一例として（数式２８）を示す。（数式２８）で、λおよびμは改善程度を表す正定数である。

以上により、本実施形態の発明では、第２から第６実施形態における法線方向推定において、ｘ方向、ｙ方向ともに差分量が小さい場合に発生する法線方向の変動が小さくなる弊害を改善することができる。特に、本実施形態の発明では、第２から第６実施形態における対象部分の輝度のみの関数で定義した奥行き量に、明るさ対比により発生する効果と色対比による発生する効果とを考慮した視覚的奥行き量を定義し、その視覚的奥行き量より法線方向を求めることでで、明るく明るさ対比・色対比効果が高いほど明るくあざやかに感じるとともに、ユーザにより近く感じる視覚心理に応じて補正された法線推定が可能となる。

なお、視覚的奥行き量Ｚｄの定義として、（数式２６）以外に、（数式２９）のように明るさＫ（ｘ，ｙ）、明るさ対比量ＲＫ（ｘ，ｙ）、および色対比量ＲＶ（ｘ，ｙ）の関数であるｇＫ（ＲＫ（ｘ，ｙ））、ｇＶ（ＲＶ（ｘ，ｙ））の積等による形や、Ｋ（ｘ，ｙ）、ＲＫ（ｘ，ｙ）、およびＲＶ（ｘ，ｙ）を変数とする非線形変換関数を用いることも可能である。
［第１２実施形態］
図５４〜図６７で示された第１１実施形態の画像処理方法および画像処理装置１２００について説明する。
＜１２．１：画像処理装置の構成＞
図５４に、本実施形態に係る画像処理装置１２００の構成図を示す。

画像処理装置１２００は、主に、入力された画像信号ｖＩｉ（ｘ，ｙ）の明るさ情報を算出する明るさ情報算出部１１と、画像上に奥行き感を与えるための法線方向を推定する法線方向推定部１３と、法線方向推定部１３で推定された法線方向より所定の法線方向を得るための法線平滑化部１２２００と、法線平滑化部１２２００で得られた所定の法線方向を変調する法線方向変調部１２２０１と、法線方向変調部１２２０１で変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正するための輝度変調分（明るさ変調分）を算出する輝度変調分算出部２０２と、輝度変調分を入力画像信号に合成し、明るさ変調画像を取得する合成部２０３と、合成部２０３により取得された明るさ変調画像を所定の画像データで出力する出力部１５と、から構成されている。
なお、本実施形態において、前述の実施形態と同様の部分については、同一の符号を付し、説明を省略する。

本実施形態に係る発明は、算出された所定の法線方向（法線方向ベクトル）と設定した光源方向（光源方向ベクトル）のなす角度を変調して曲面法線方向の変調を実施し、その角度変調により生じた明るさ変調を行う。この点が、本実施形態に係る発明の特徴である。
＜１２．２：画像処理装置の動作＞
次に、図面を用いて、画像処理装置１２００の動作について説明する。
図５４から図５６を中心に処理の内容を説明する。
まず、明るさ算出部１１で得られた明るさ情報Ｋｉ（ｘ，ｙ）をもとに、前述の実施形態で説明したのと同様の手法により法線方向推定が実施される。ここで、法線ｖＨｉ（ｘ，ｙ）は画素単位で得られており、画素値変動に大きく影響を受ける。また、このままの法線を以降の処理に利用すると、画像上の輪郭部で大きな法線変動が生じ、そこを中心に処理が実施される傾向がある。

しかし、本実施形態に係る発明では、画像上の輪郭部への陰影変調よりも、画像上の平坦に近いがゆるやかに変化している階調を有する部分（中間調付近）での法線による陰影変調を目的としているため、このままの法線方向ベクトルを用いるのは、都合が悪い。
そこで、本実施形態に係る発明では、法線方向ベクトルｖＨｉ（ｘ，ｙ）の各法線成分別でのフィルタ処理（平滑化）を行い、輪郭部での変動を弱めて、より大局的に変化した法線方向ベクトルを抽出することとした。この際のフィルタ処理としては、多くの手法がある。例えば、第５実施形態における中心画素（対象画素）ｉ（ｘ，ｙ）とフィルタ内画素ｊ（ｓ，ｔ）間の距離ｌｅｎに対するガウス分布を重み係数ｇ（ｓ，ｔ）に持つ平滑化フィルタがある。しかし、この場合、輪郭部での法線変動を大きく抑制する傾向があるので、中心画素（対象画素）とフィルタ内対象画素間の距離に対するガウス分布の重み係数ｇ（ｓ，ｔ）に、中心画素の明るさＫｉ（ｘ，ｙ）とフィルタ内画素の明るさＫｊ（ｓ，ｔ）との差より得られた結合係数値ｋｗｅｉｇｈｔを乗算したバイラテラルフィルタを用いることで、画像上の輪郭付近のある程度大きな明るさ（輝度）を保持しながら、法線ｖＨｉの各成分の平滑化を行うこととした。（数式３０）は、輝度に関する重み係数の一例である。ＢＫｅｉｓｕは所定の正定数であり、ｋｗｅｉｇｈｔの分散程度を制御するものである。

これ以外に線形に変化させることで、法線ｖＨｉの各成分の平滑化を行うようにしてもよい。また、ｋｗｅｉｇｈｔは、輝度差で制御したが、対象画素ｉ（ｘ，ｙ）の法線ｖＨｉ（ｘ，ｙ）＝（ｈｘｉ，ｈｙｉ，ｈｚｉ）における各成分値とフィルタ内画素の法線ｖＨｊ（ｓ，ｔ）＝（ｈｘｊ，ｈｙｊ，ｈｚｊ）の対応する成分値の差で同様に抑制することもできる。
こうして得られたフィルタ処理後の画素ｉ（ｘ，ｙ）における法線方向ベクトルｖＨｉ（ｘ，ｙ）を使って、所定部分の陰影変調を行う。この処理は、設定された光源ベクトルｖＬ（ｘ，ｙ）と法線方向ベクトルｖＨｉ（ｘ，ｙ）とのなす角度αをもとに、対象画素の角度αを変調するΔαを求め、その角度変調分Δαにより発生する明るさ変調分ΔＫｉ（ｘ，ｙ）を求めることで実現される。光源ベクトルとしては、画素ｉ（ｘ，ｙ）から設定された光源へ向かうベクトルで表示され、ここではｖＬ（ｘ，ｙ）として、左上に平行光源が存在すると仮定して、光源ベクトルを設定する。この角度変調分Δαの決定には多くの方法があるが、本実施形態では、図５７から図５９による方法１と、図６０による方法２を用いる。以下、図面を用いて、方法１および方法２について説明する。なお、図５７〜図５９、およびお図６０において、角度の単位は「度」であっても「ラジアン」であってもよい。

《方法１（角度変調分Δαの決定方法１）》
方法１は、角度αに応じて、画像上の領域を３つの部分に分ける方法である。
画像上の平坦部における光源ベクトルｖＬ（ｘ，ｙ）と法線方向ベクトルのなす角度をα０とする。図５７は、角度αがα０より小さく、かつ、法線方向ベクトルｖＨｉのｚ成分ｈｚが光源ベクトルｖＬのｚ成分ｌｚよりも小さい場合を示している。（ここで、法線方向ベクトルの大きさと光源ベクトルの大きさとは同じであるものとする（法線方向ベクトルと光源ベクトルとは、正規化されたベクトルであるものとする）。以下、同じ。）
図５７（ａ）に、水平軸を座標とし、縦軸を膨らみをとした処理前の断面図（法線方向ベクトルにより決定される立体曲面の断面図）を模式的に示す。その下の図は、対象点Ｐの近傍Ｑの拡大図であり、近傍Ｑにおける光源方向と法線方向との関係を明示している。このＰ点とＱ点（近傍Ｑ）とは、互いに近傍であるため２つの法線の方向は、同じ方向となる。このＰ点に丸みを与える（Ｐ点付近の立体曲面に丸みを与える）ことを考えた場合、図５７（ｂ）のように近傍Ｑでの処理後の法線の方向は、光源から離れる方向に動くこととなる。つまり、図５７（ｂ）の下に示した拡大図のように、立体曲面に丸みをつけた後のＱ点における光源方向と法線方向のなす角度α’は、αより大きくなり、その角度変調分Δαは、正の変動となる。この領域では、角度αが「０」、つまり法線方向と光源方向とが同じ方向である点Ｃから離れるほど、その部分における法線方向ベクトル（角度変調後の法線方向ベクトル）は、図５７（ａ）の点Ｒへ向かうこととなる。この場合、角度αの変調分Δαもその丸み変化（立体曲面の丸み変化）に応じて、正の方向へ単調増加することとなる。また、角度α＝０では、光源方向と法線方向とが同じであるＣ点を示すため、その点における角度変調分Δαは「０」となる。

図５８は、角度αがα０より大きい場合を示しており、光源と逆方向に法線が向いた例を示している。図５８（ａ）における近傍Ｑでの法線は、Ｐ点で、立体曲面に丸みをつけた図５８（ｂ）の場合、より光源方向より開いた方向を向くこととなる。つまり、図５８（ａ）の下図および図５８（ｂ）の下図のＱ点付近拡大図のように、図５７の場合と同様に、立体曲面に丸みをつけた後でのＱ点における光源方向と法線方向のなす角度α’は、αより大きくなり、その角度変調分Δαは正の変動となる。この領域では、角度αがα０から離れるほど、その部分における法線方向ベクトル（角度変調後の法線方向ベクトル）は、図５８（ａ）の点Ｗへ向かうこととなる。この場合、角度αの変調分Δαもその丸み変化（立体曲面の丸みの変化）に応じて、正の方向へ単調増加することとなる。また、角度α０における角度変調分は、平坦部（図５８（ａ）の頂点Ｔの部分）における角度変調分に相当するものであり、ここでの明るさを保つために角度変調分Δα０＝０となる。

一方、図５９は、角度αがα０より小さく、かつ、法線ｖＨｉのｚ成分ｈｚが光源ｖＬのｚ成分ｌｚよりも大きい場合を示している。この場合、図５７、図５８の場合とは異なり、図５９（ａ）におけるＰ部分の立体曲面に丸みをつけた場合、その近傍Ｑにおける法線の方向は、光源方向に近づくこととなる。つまり、図５９（ａ）の下図および図５９（ｂ）の下図にあるＱ点付近の拡大図に示すように、立体曲面の丸みによりＱ点付近での光源方向と法線方向のなす角度αは小さくなる方向へ変化し、その角度変調分Δαも負に変動することとなる。この角度変動分の動きと、図５７における角度α＝０における角度変動分が「０」であること、図５８における角度α０における角度変動分が「０」である条件より、この領域では、一度角度αの増加に対してΔαは単調減少した後、この領域の所定の角度αｄを持つ地点（０＜αｄ＜α０、例えば、αｄ＝α０／２）で最小変動量Δαｄとなり、そこから角度αが角度α０へ向かって大きくなるにつれて、Δαも「０」へ向かって単調増加するように変化する。これは、図５７における角度α＝０、つまり、光源方向と法線方向とのなす方向が一致する部分でのΔα＝０の条件と、図５９における角度α０、つまり、平坦部分（法線がｚ成分のみを持つ部分）でのΔα０＝０の条件と、Δαがゆるやかに連続に変化する（α＝０とα＝α０での微分値が一致する）条件より決まるものである。

画像処理装置１２００では、この角度変調分Δαを、図６１および図６２に示すように、制御係数ｗｄ１と制御係数ｗｄ２との２つの制御係数により制御する。
制御係数ｗｄ１は、図６１（ａ）に示すように、光源方向と法線方向のなす角度αにより光源側か陰影側かを判断する制御係数である。
制御係数ｗｄ２は、図６１（ｂ）に示すように、光源ベクトルのＸＹ平面（２次元画像平面）への射影ベクトルと、法線方向ベクトルのＸＹ平面（２次元画像平面）への射影ベクトルとのなす角度ηにより光源側か陰影側かどうかを判断する制御係数である。
制御係数ｗｄ１および制御係数ｗｄ２は、一例として、（数式３１）および（数式３２）のようになる。
（数式３１）および（数式３２）で、ＳＳＳ１、ＳＳＳ２は所定の正定数であり、制御係数の傾き程度を制御するものである。また、α０ｄは、α０ｄ＝α０−δα０で表されるものであり、画像上の平坦部における法線方向と光源方向のなす角度から微小変動させた値に相当する。（数式３１）におけるη０は、η０＝π×０．５−δη０（［ラジアン］）で示される正定数であり、δη０は微小な正定数を示す。対象画素の法線方向ベクトルをＸＹ平面に投影したベクトルと光源ベクトルをＸＹ平面に投影したベクトルとの間のなす角度ηが９０度（π×０．５［ラジアン］）より大きい場合、その光源ベクトルは、対象画素に当たらない可能性が大きい。このことを考慮すると、対象画素の法線方向ベクトルをＸＹ平面に投影したベクトルと光源ベクトルをＸＹ平面に投影したベクトルとの間のなす角度ηの判定角度η０の候補として９０度（π×０．５［ラジアン］）が考えられる。本実施形態では、９０度（π×０．５［ラジアン］）から明るさ変調が実施される角度領域に多少の余裕を持たせるために、微小角度δη０を減算した値を判定角度η０に設定した。なお、δα０＝０としてもよい。またδη０＝０を用いてもよい。また、制御係数ｗｄ１およびｗｄ２の定義として、（数式３１）、（数式３２）以外の表現も可能である。

（数式３１）および（数式３２）による制御係数ｗｄ１およびｗｄ２は、図５７から図５９に示すように、角度変調分Δαがあくまでも立体曲面に丸みをつける観点により制御されるものであることを想定して決定されたものであり、実際には、光源と対象画素の関係により、さらに制御する必要がある（さらに制御する要素が増える）。このように、ｗｄ１は、対象画素が光源側にある場合は「０」に近い値を取り、陰影側になるほどｗｄ１は「１」に近づく。これは、角度αが所定の基準値より小さいかどうかで判断することができ、画像処理装置１２００では、角度αと平坦部における角度α０との大小関係で判断する。つまり、α＜α０では、ｗｄ１は小さく、α≧α０では、角度αの増加に従い、制御係数ｗｄ１は単調増加する。
一方、ｗｄ２は、角度ηにより光源側かどうかを判断する制御係数である。これは、α０がα０＜４５度の場合、たとえ、α＞α０であっても、対象画素が光源側に存在する可能性がある（対象画素の立体曲面上の点が、光源ベクトルと法線ベクトルとが一致する立体曲面上の点より下側部分（ｚ方向での下側部分）に存在する可能性がある）ためである。

このｗｄ２は、ηが所定の基準値η０よりも小さい場合には、対象画素が光源側にあると判断してｗｄ２を「０」に近づける。逆に、ηがη＞η０の場合は、対象画素が陰影側にあると判断して、ηに応じてｗｄ２を「１」へ単調増加させる。
画像処理装置１２００では、この２つの制御係数に合わせて、さらに、対象画素ｉ（ｘ，ｙ）の明るさ情報Ｋｉ（ｘ，ｙ）の大きさに応じた制御係数ｗｋ１により制御する。制御係数ｗｋ１は、明るさ情報が高い部分での角度変調Δαによる急激な低下を抑えるものであり、図６２（ｃ）のように、明るさ情報Ｋｉ（ｘ，ｙ）に対して単調減少する。
この３つの制御係数の積で決定された係数ｔｋｅｉｓｕを、角度変調Δαに掛けることにより、（数式３３）の形で、角度変調分Δαｔが決定される。なお、制御係数ｗｄ１およびｗｄ２は、角度αおよびηで制御したが、角度αの余弦値ｃｏｓαや角度ηの余弦値ｃｏｓηで制御しても良い。この場合、各基準値であるα０およびη０も、その角度の余弦値となる。

画像処理装置１２００では、（数式３３）で得られた角度変調分Δαｔを、図６３に示した数式に適用させることで、明るさ変調分ΔＫｉ（ｘ，ｙ）を算出する。ここで、拡散反射成分、鏡面反射成分ともにｃｏｓαの関数であるため、その微分によりマイナスが発生し、図５７および図５８のようにΔαｔが正である（法線方向ベクトルが光源方向ベクトルから遠ざかる方向に動く（法線方向と光源方向とのなす角度αが大きくなる））場合、明るさ変調分ΔＫｉ（ｘ，ｙ）は、負に変動することとなり、陰影変調が発生する。
逆に、図５９の場合、Δαｔは、負である（法線方向ベクトルが光源方向ベクトルに近づく方向に動く（法線方向と光源方向とのなす角度αが小さくなる））場合、明るさ変調分ΔＫｉ（ｘ，ｙ）は正となり、光変調が発生する。なお、環境光成分は、図６３に記載されているが、通常は角度αには依存しないため、この角度変調分Δαによる環境光成分の増分は「０」となる。

《方法２（角度変調分Δαの決定方法２）》
次に、方法２について、説明する。
図５７から図５９を用いて説明した方法１に対して、図６０に示した方法２では、光源方向と法線方向とのなす角度αの場合分けをせず、図５９の右図のように、陰影変調させたい部分の角度変調分Δαが大きくなるようにするものである。
この場合、角度変調分を決めるｆｋｅｉｓｕを、以下のように制御する。
法線方向と光源方向とのなす角度αが、画像上の平坦部における光源方向と法線方向のなす角度α０の付近から大きくなるに従い、ｆｋｅｉｓｕ（＝Ｋｅｉｓｕ）（図６０では、Ｋｅｉｓｕ）を増加させ、ある角度（図６０の右図のα１）をピークにｆｋｅｉｓｕを減少させ、Ｗ点で「０」に近づけるように変化させる。この場合の角度変調分Δαは、（数式３４）のようになる。Δαｂａｓｅは、所定の基準変動量であり正定数である。

この方法では、角度変調Δαをα＝０から角度αに応じて正方向に変動させるものであるが、方法１のようにα＝０からα＝α０の間の変調分を負にすることも可能である。条件としては、角度変調分Δαがなめらかに連続的に変化するように決定されることである。
こうして得られた角度αでの角度変調分Δαを、方法１と同じように、図６１および図６２に示すように、制御係数ｗｄ１と制御係数ｗｄ２との２つの制御係数により制御する。
画像処理装置１２００では、この２つの制御係数に合わせて、さらに、対象画素ｉ（ｘ，ｙ）の明るさ情報Ｋｉ（ｘ，ｙ）の大きさに応じた制御係数ｗｋ１により制御する。
この３つの制御係数の積で決定された係数ｔｋｅｉｓｕを、角度変調Δαに掛けることにより、（数式３３）の形で、角度変調分Δαｔが決定される。

その後、図６３に従い、角度変調分Δαから明るさ変調分ΔＫｉ（ｘ，ｙ）が方法１の場合と同様にして求められる。なお、方法１、２ともに、制御係数ｗｄ１とｗｄ２とは、角度αと角度ηとで制御したが、角度αの余弦値ｃｏｓαや角度ηの余弦値ｃｏｓηで制御するようにしても良い。この場合、各基準値であるα０およびη０も、その角度の余弦値となる。
図６４および図６５は、方法２による陰影変調例を模式的に示している。
この本実施形態の発明の特徴は、画像上の輪郭付近よりもより平坦で緩やかな階調をもつ部分での法線に対する変調を中心に行われるという点にある。第２実施形態や第３実施形態の場合に比べて、図６４および図６５における領域（１）や（２）は広がっている。法線方向ベクトル平滑化により、輪郭部での法線方向ベクトルが、ＸＹ平面（２次元画像平面）より離れることとなるが、緩やかな平坦部での法線方向ベクトルは、逆にＸＹ平面（２次元画像平面）に近づくこととなる。よって、第２実施形態や第３実施形態の場合に比べて、輪郭付近よりも、特にその輪郭から平坦部へ向かう方向に存在する部分への陰影変調が効果的に実施されることになる。図６４の領域（１）および（２）の大きさは、そのことを表している。それに応じて、図６４および図６５に示されるように、階調変調（陰影変調）も、輪郭付近からより緩やかに階調が変化する平坦部へ向かった部分（図６４と図６５の網掛け部分）に染み出すように実施される。

図６４は、第２実施形態や第３実施形態で模式的に示した結果例１に対する、画像処理装置１２００による処理済み画像の傾向（状況）を示すものである。この図では、左上から照射する仮想光源を設定した例であり、中心部が周辺領域より輝度が高い場合を示している。図６４（ａ）に示すように、中心円の右下の領域（１）では、設定された光源方向と算出された法線方向が異なる。この領域（１）では、図６４（ｂ）に示すように、光源方向ベクトルｖＲ１と法線方向ベクトルｖＨｉとが異なる（なす角度が大きい）ことで、外側の輝度の低い円で緩やかに変化していた部分で明るさ変調による陰影変調が発生する。つまり、この領域（１）では、外側の低輝度円中心から外周に向かって緩やかに変化する部分での陰影変調による膨らみ感向上の２つの効果が発生する。
それに対して、図６４（ａ）に示す、中心円の左上の領域（２）では、設定された光源方向と算出された法線方向がほぼ同じ方向（光源方向ベクトルと法線方向ベクトルとのなす角度が小さい）となる。そのため、この領域（２）では、図６４（ｃ）に示すように、光源方向ベクトルｖＲ１と法線方向ベクトルｖＨｉとが同じ方向に近づくことで、明るさ変調による陰影変調は抑制される。

以上の結果として、画像処理装置１２００では、中心の高輝度円部分が正面に向かって出るとともに、低輝度円における輝度平坦部分での膨らみ感が感じられる画像が得られる。
また、図６５は、第２実施形態や第３実施形態で模式的に示した結果例２に対する、画像処理装置１２００による処理済み画像の傾向（状況）を示すものである。この図では、左上から照射する仮想光源を設定した例であり、中心部が周辺領域より輝度が低い場合を示している。図６５（ａ）に示す、中心円の右下の領域（１）では、設定された光源方向と算出された法線方向とがほぼ同じ方向である。そのため、この領域（１）では、図６５（ｂ）に示すように、光源方向ベクトルｖＲ１と法線方向ベクトルｖＨｉとのなす角度が小さく、明るさ変調による陰影変調は発生しない。

それに対して、図６５（ａ）に示す、中心円の左上の領域（２）では、設定された光源方向と算出された法線方向とが異なる（光源方向ベクトルと法線方向ベクトルとのなす角度が大きい）。そのため、この領域（２）では、図６５（ｃ）に示すように、光源方向ベクトルｖＲ１と法線方向ベクトルｖＨｉとが異なる（光源方向ベクトルと法線方向ベクトルとのなす角度が大きい）ことで、輝度の低い中心円内で中心から外周へ向かって緩やかに変化する部分の明るさ変調（陰影変調）が発生する。つまり、この領域（２）では、中心円の輪郭から中心へ向かう陰影変調効果が発生する。結果として、図６５の場合、中心の低輝度円部分が正面からなだらかにややくぼんで感じられる画像が得られる。
方法１の場合、定性的には同じような処理が得られるが、角度α≦α０であり、法線方向ベクトルのｚ成分ｈｚが光源ベクトルのｚ成分より大きい図５９の領域では、角度変調分Δαが負となるため、対応する明るさ変調分ΔＫｉ（ｘ，ｙ）は正になる。しかし、光源方向との関係による制御係数ｗｄ１によりその効果は小さくなり、結果として、光源に向いた側で微小な光変調（光付加）効果が追加発生することとなる。

以上の処理により、輝度変調分算出部２０２で、入力画像の明るさ情報を補正するための輝度変調分（明るさ変調分）が算出される。
そして、合成部２０３により、輝度変調分算出部２０２で算出された輝度変調分（明るさ変調分）が入力画像ｖＩｉ（ｘ，ｙ）に合成される。
合成部２０３により合成された画像信号は、出力部１５に出力される。
そして、出力部１５により、合成部２０３により合成された画像信号は、使用機器で扱うことのできる画像フォーマットに応じて変換して得られた出力画像データｖＯｕｔｉ（ｘ，ｙ）として出力される。
以上のように、本実施形態に係る発明では、算出された所定の法線方向と設定した光源への方向である光源方向のなす角度を変調して、立体曲面の法線方向の変調を実施し、その角度変調に生じた明るさ変調を行うことで画像内の中間調付近の階調変調を行うことができる。

その結果、本実施形態に係る発明では、ゆるやかに階調が変化する中間調付近（物体輪郭付近ではなく、ゆるやかな明るさが変化する物体平坦部や薄めの陰付近等）での明るさ変調・変化強調が可能となり、単なる輪郭コントラストのみにメリハリがついた際に感じる平板な立体感ではなく、より自然な丸み・膨らみ感をもつ立体感を与えることが可能となる。
なお、法線平滑化部１２２００で、ＢＫｅｉｓｕを固定としたが、フィルタ内の明るさ情報分布やエッジ量分布に応じてＢＫｅｉｓｕを可変にすることも可能である。例えば、フィルタサイズ内のエッジ量ＥＤＧＥｉの分散値ＤｅｌＥＤＥＧを、所定の基準値ＴｈＥＤＥＧと比較して、ＤｅｌＥＤＧＥ＞ＴｈＥＤＥＧの場合は、強い輪郭が多い部分であるとして、ＢＫｅｉｓｕを大きくすることで、よりエッジが保存される平滑化が可能である。

一方で、ＤｅｌＥＤＧＥ≦ＴｈＥＤＥＧの場合は、強い輪郭が少ない部分であるとして、ＢＫｅｉｓｕを小さくすることで、より平滑化度合いを増すことができる。
また、法線平滑化部１２２００で、フィルタサイズを可変にすることも可能である。この場合も、例えば、ＤｅｌＥＤＧＥ＞ＴｈＥＤＥＧの場合は、強い輪郭が多い部分であるとして、フィルタサイズを小さくすることで、よりエッジが保存される平滑化が可能である。
一方で、ＤｅｌＥＤＧＥ≦ＴｈＥＤＥＧの場合は、強い輪郭が少ない部分であるとして、フィルタサイズを大きくすることで、より平滑化度合いを増すことができる。
さらに、画像内を所定サイズのブロック領域に分割し各ブロック内の平均法線方向ベクトルを算出する。そして、対象画素が含まれるブロックの平均法線方向ベクトルで代用することも可能である。また、ブロック単位での平滑化フィルタを行い、対象画素が含まれるブロックの平滑化された平均法線方向ベクトルとその周囲ブロックの平滑化された平均法線方向ベクトルを使った補間処理で対象画素の平滑化法線方向ベクトルを求めることも可能である。

また、角度変調において、α０＞４５度の場合、方法１、方法２ともに、ｗｄ２は不要となる（ｗｄ２＝１．０）。例えば、方法２の場合、ｗｄ１を（数式３４）に加え、Ｋｅｉｓｕ＝ｗｄ２×ｆｋｅｉｓｕとすることで、改めて角度αに対する角度変動分Δαとすることができる。

そうした場合、明るさ情報Ｋｉ（ｘ，ｙ）の制御係数ｗｋ１と、この補正係数Ｋｅｉｓｕとの２つで角度変調Δαｔおよび明るさ変調分ΔＫｉ（ｘ，ｙ）を制御することとなり、角度αと明るさ情報Ｋｉ（ｘ，ｙ）とで予め決定された任意の角度変調関数や角度変調テーブル（ＬＵＴ等）、プロファイルを用意することで、任意部分への階調変調（陰影変調や光変調）が可能となる。
また、光源は設定されるものとしたが、例えば、図５４において、法線平滑化部１２２００の後に（法線方向変調部１２２０１と輝度変調分算出部２０２との間に）、最適な画像を生成する光源方向とを推定する最適光源推定部を加えることも可能である。この場合、角度変調分を求める法線方向変調部１２２０１で、図６７のように用意された複数方向光源の各光源ベクトルＬｎ（ｎ＝０、１、２、…、ＬＮｕｍ）と法線方向ベクトルｖＨｉとのなす角度αに対して角度変調分を重点的に実施する画素を抽出することができる。各光源に対して、重点的に角度変調を実施する画素をまず抽出し、その画素ｉ（ｘ，ｙ）の処理前の明るさ情報Ｋｉｂ（ｘ，ｙ）と処理後の明るさ情報Ｋｉａ（ｘ，ｙ）とで表される評価関数Ｅｖａｌ（Ｌｎ）を満足する画素数がもっとも大きい方向、もしくは上位ＮＮＮ（ＮＮＮ＜Ｌｎｕｍ）の重心方向に最適な光源があるように設定して、法線方向変調部１２２０１から以降の処理を実施することでより効果的な明るさ変調を実施することができる。

評価関数Ｅｖａｌの例として、図６６のようなものが考えられる。しかし、評価関数Ｅｖａｌは、各光源方向で抽出された画素の処理前の明るさ情報と処理後の明るさ情報との２乗誤差の平均値や、処理前の明るさ情報と処理後の明るさ情報との差分をもとに変換した値を用いるものであってもよい。
［第１３実施形態］
図６８〜図７１で示された第１３実施形態の画像処理方法および画像処理装置１３００について説明する。
図６８に、本実施形態の画像処理装置１３００の構成ブロック図を示す。図６６に、画像処理装置１３００の処理（画像処理方法）のフローチャートを示す。
なお、前述の実施形態と同様の部分については、同じ符号を付し、説明を省略する。

図６５および図６６に示されるように、ここでは、第２実施形態における陰影強調画像生成部１４で得られた陰影強調処理画像の画素ｉ（ｘ，ｙ）における明るさ情報ＳＫｉ（ｘ，ｙ）と、第１２実施形態における輝度変調分算出部２０２で得られた明るさ情報Ｋｉ（ｘ，ｙ）の輝度変調分ｄＦＫｉ（ｘ，ｙ）および入力画像の明るさ情報Ｋｉ（ｘ，ｙ）により得られる明るさ変調画像の明るさ情報ＦＫｉ（ｘ，ｙ）＝Ｋｉ（ｘ，ｙ）＋ｄＦＫｉ（ｘ，ｙ）とを、第２合成部２１０が組み合わせる処理を行う。この際、第２合成部２１０で得られる最終的な処理済み画像の明るさ情報ＯＫｉ（ｘ，ｙ）は、（数式３６）のように単純に合成してもよい。これは、２つの効果を付加する部分が重なる割合が少ないことによる。

また、ＦＫｉ（ｘ，ｙ）を制御係数ｗｆｓにより制御するようにしてもよく、この場合、制御係数ｗｆｓを、対象画素ｉ（ｘ，ｙ）の明るさ対比量ＲＫｉ（ｘ，ｙ）で制御するようにしてもよい。

（数式３７）で、ｗｆｓｄｅｌｔａは所定の正定数であり、ガウス分布で変化するｗｆｓの分散程度を示す。この場合、得られる最終的に得られる処理済み画像の明るさ情報ＯＫｉ（ｘ，ｙ）は、

で得られる。ここで、ＲＫｉ（ｘ，ｙ）が「１」付近では、平坦で緩やかに変動する部分に対象画素ｉ（ｘ，ｙ）が含まれると考えられるので、明るさ変調後の明るさ情報ＦＫｉ（ｘ，ｙ）への制御係数ｗｆｓを大きくする。一方、ＲＫｉ（ｘ，ｙ）が「０」に近くなったり、「１」よりもずっと大きくなったりした場合、輪郭付近に対象画素ｉ（ｘ，ｙ）が含まれると考え、陰影強調後の明るさ情報ＳＫｉ（ｘ，ｙ）にかかる制御係数（１．０−ｗｆｓ）を大きくする。このように制御することで、２つの効果をさらにうまく両立させることができる。
図７０は、第２実施形態や第３実施形態で模式的に示した結果例１に対する、画像処理装置１３００による処理済み画像の傾向（状況）を示すものである。この図では左上から光を照射する仮想光源を設定した例であり、中心部が周辺領域より輝度が高い場合を示している。図７０（ａ）に示すように、中心円の右下の領域（１）では、設定された光源方向と算出された法線方向が異なる（光源方向ベクトルと法線方向ベクトルとのなす角度が大きい）。この領域（１）では、図７０（ｂ）に示すように、光源方向ベクトルｖＲ１と法線方向ベクトルｖＨｉとが異なる（光源方向ベクトルと法線方向ベクトルとのなす角度が大きい）ことで、まず輪郭付近で陰影強調効果が発生する。そして、外側の輝度の低い円で緩やかに変化していた部分で明るさ変調による陰影変調が発生する。つまり、この領域（１）では、輪郭における陰影強調でのコントラスト感向上と、外側の低輝度円中心から外周に向かって緩やかに変化する部分での陰影変調による膨らみ感向上の２つの効果が生じる。

それに対して、図７０（ａ）に示す、中心円の左上の領域（２）では、設定された光源方向と算出された法線方向がほぼ同じ方向となる（光源方向ベクトルと法線方向ベクトルとのなす角度が小さい）。そのため、この領域（２）では、図７０（ｃ）に示すように、光源方向ベクトルｖＲ１と法線方向ベクトルｖＨｉとが同じ方向に近づくことで輪郭部分での陰影強調効果は発生しない。また、明るさ変調に関しても、光源方向と法線が同じ方向を向くことで陰影変調も抑制される。
以上の結果として、中心の高輝度円部分が正面に向かって出るとともに、低輝度円における輝度平坦部分での膨らみ感が感じられる画像が得られる。
また、図７１は、第２実施形態や第３実施形態で模式的に示した結果例２に対する、画像処理装置１３００による処理済み画像の傾向（状況）を示すものである。この図では左上から光を照射する仮想光源を設定した例であり、中心部が周辺領域より輝度が低い場合を示している。図７１（ａ）に示す、中心円の右下の領域（１）では、設定された光源方向と算出された法線方向とがほぼ同じ方向を向く（光源方向ベクトルと法線方向ベクトルとのなす角度が小さい）。そのため、この領域（１）では、図７１（ｂ）に示すように、光源方向ベクトルｖＲ１と法線方向ベクトルｖＨｉとのなす角度が小さいので、陰影強調効果は出ない。また、明るさ変調に関しても、光源方向と法線方向とがほぼ同じ方向を向くことで陰影変調も抑制される。

それに対して、図７１（ａ）に示す、中心円の左上の領域（２）では、設定された光源方向と算出された法線方向が異なる（光源方向ベクトルと法線方向ベクトルとのなす角度が大きい）。そのため、この領域（２）では、図７１（ｃ）に示すように、光源方向ベクトルｖＲ１と法線方向ベクトルｖＨｉとが異なる（光源方向ベクトルと法線方向ベクトルとのなす角度が大きい）ことで陰影強調効果が輪郭付近で発生する。そして、輝度の低い中心円内で中心から外周へ向かって緩やかに変化する部分の明るさ変調（陰影変調）が発生する。つまり、この領域（２）では、輪郭における陰影強調でのコントラスト感向上と、中心円の輪郭から中心へ向かう陰影変調効果が生じる。
結果として、図７１の場合、中心の低輝度円部分が正面からなだらかにややくぼんで感じられる画像が得られる。

以上のように、本実施形態の発明では、第１２実施形態の特徴である所定の法線方向と光源方向のなす角度による角度変調をもとにした明るさ変調により画像内の所定部分の階調変調を行う工夫に加えて、第２実施形態の特徴である陰影付加処理を組み合わせた効果をもつことで、より立体感効果を実現することができる。
［第１４実施形態］
図７２〜図７５で示された第１４実施形態の画像処理方法および画像処理装置１４００について説明する。
図７２に、本実施形態の画像処理装置１４００の構成ブロック図を示す。図７０に、画像処理装置１４００の処理（画像処理方法）のフローチャートを示す。
なお、前述の実施形態と同様の部分については、同じ符号を付し、説明を省略する。

図６９および図７０に示されるように、ここでは、第３実施形態における光強調画像生成部５０で得られた光強調処理画像の画素ｉ（ｘ，ｙ）における明るさ情報ＬＫｉ（ｘ，ｙ）と、第１２実施形態における輝度変調分算出部２０２で得られた明るさ情報Ｋｉ（ｘ，ｙ）の輝度変調分ｄＦＫｉ（ｘ，ｙ）および入力画像の明るさ情報Ｋｉ（ｘ，ｙ）より得られる明るさ変調画像の明るさ情報ＦＫｉ（ｘ，ｙ）＝Ｋｉ（ｘ，ｙ）＋ｄＦＫｉ（ｘ，ｙ）とを、第３合成部２２０が組み合わせる処理を行う。この際、第３合成部２２０で得られる最終的な処理済み画像の明るさ情報ＯＫｉ（ｘ，ｙ）は、（数式３９）のように単純に合成してもよい。これは、２つの効果を付加する部分が重なる割合が少ないことによる。

また、ＦＫｉ（ｘ，ｙ）を制御係数ｗｆｌにより制御するようにしてもよく、この場合、制御係数ｗｆｌを、対象画素ｉ（ｘ，ｙ）の明るさ対比量ＲＫｉ（ｘ，ｙ）で制御するようにしてもよい。

（数式４０）で、ｗｆｌｄｅｌｔａは所定の正定数であり、ガウス分布で変化するｗｆｌの分散程度を示す。この場合、得られる最終的に得られる処理済み画像の明るさ情報ＯＫｉ（ｘ，ｙ）は、

で得られる。ここで、ＲＫｉ（ｘ，ｙ）が「１」付近では、平坦で緩やかに変動する部分に対象画素ｉ（ｘ，ｙ）が含まれると考えられるので、明るさ変調後の明るさ情報ＦＫｉ（ｘ，ｙ）への制御係数ｗｆｌを大きくする。一方、ＲＫｉ（ｘ，ｙ）が「０」に近くなったり、「１」よりもずっと大きくなったりした場合、輪郭付近に対象画素ｉ（ｘ，ｙ）が含まれると考え、光強調後の明るさ情報ＬＫｉ（ｘ，ｙ）にかかる制御係数（１．０−ｗｆｌ）を大きくする。このように制御することで、２つの効果をさらにうまく両立させることができる。
図７４は、第２実施形態や第３実施形態で模式的に示した結果例１に対する、画像処理装置１４００による処理済み画像の傾向（状況）を示すものである。この図では左上から光を照射する仮想光源を設定した例であり、中心部が周辺領域より輝度が高い場合を示している。図７４（ａ）に示すように、中心円の右下の領域（１）では、設定された光源方向と算出された法線方向が異なる（光源方向ベクトルと法線方向ベクトルとのなす角度が大きい）。この領域（１）では、図７４（ｂ）に示すように、光源方向ベクトルｖＲ１と法線方向ベクトルｖＨｉとが異なる（光源方向ベクトルと法線方向ベクトルとのなす角度が大きい）ことで、まず光強調効果が抑制される。逆に、外側の輝度の低い円で緩やかに変化していた部分で明るさ変調による陰影変調が発生する。

それに対して、図７４（ａ）に示す、中心円の左上の領域（２）では、設定された光源方向と算出された法線方向がほぼ同じ方向となる（光源方向ベクトルと法線方向ベクトルとのなす角度が小さい）。そのため、この領域（２）では、図７４（ｃ）に示すように、光源方向ベクトルｖＲ１と法線方向ベクトルｖＨｉとが同じ方向に近づくことで光強調効果が発生する。逆に、明るさ変調による陰影変調は光源方向と法線が同じ方向を向くことで抑制される。
以上の結果として、領域（２）での中心の高輝度円に接する部分での光強調効果と、領域（１）での外側の低輝度円中心から円周に向かってゆるやかに変化する部分での階調変調とにより、中心の高輝度円が正面に向かって出るとともに、低輝度円における輝度平坦部分での膨らみ感が感じられる画像が得られる。

また、図７５は、第２実施形態や第３実施形態で模式的に示した結果例２に対する、画像処理装置１４００による処理済み画像の傾向（状況）を示すものである。この図では左上から光を照射する仮想光源を設定した例であり、中心部が周辺領域より輝度が低い場合を示している。図７５（ａ）に示す、中心円の右下の領域（１）では、設定された光源方向と算出された法線方向とがほぼ同じ方向を向く（光源方向ベクトルと法線方向ベクトルとのなす角度が小さい）。そのため、この領域（１）では、図７５（ｂ）に示すように、光源方向ベクトルｖＲ１と法線方向ベクトルｖＨｉとのなす角度が小さいので、光強調効果が発生するが、明るさ変調による陰影変調は、光源方向と法線方向とが同じ方向を向くことで抑制される。
それに対して、図７５（ａ）に示す、中心円の左上の領域（２）では、設定された光源方向と算出された法線方向が異なる（光源方向ベクトルと法線方向ベクトルとのなす角度が大きい）。そのため、この領域（２）では、図７５（ｃ）に示すように、光源方向ベクトルｖＲ１と法線方向ベクトルｖＨｉとが異なる（光源方向ベクトルと法線方向ベクトルとのなす角度が大きい）ことで光強調効果は発生しない。しかし、輝度の低い中心円より中心に向かって緩やかに変化する部分の明るさ変調（陰影変調）が発生する。

以上の結果より、領域（２）での中心円の輪郭から中心へ向かう陰影変調効果と、領域（１）での中心の低輝度円と接する部分が光強調されたことで、正面からなだらかにややくぼんで感じられる画像が得られる。
以上のように、本実施形態では、第１２実施形態の特徴である所定の法線方向と光源のなす角度変調をもとにした明るさ変調により画像内の所定部分の階調変調を行う工夫に加えて、第３実施形態の特徴である光付加処理を組み合わせた効果をもつことで、より立体感効果を実現することができる。
［第１５実施形態］
図７６〜図７９で示された第１５実施形態の画像処理方法および画像処理装置１５００について説明する。

図７６に、本実施形態の画像処理装置１５００の構成ブロック図を示す。図７７に、画像処理装置１５００の処理（画像処理方法）のフローチャートを示す。
なお、前述の実施形態と同様の部分については、同じ符号を付し、説明を省略する。
図７６および図７７に示されるように、ここでは、第４実施形態における陰影強調画像生成部１４で得られた陰影強調処理画像の明るさ情報ＳＫｉ（ｘ，ｙ）および光強調画像生成部５０で得られた光強調処理画像の明るさ情報ＬＫｉ（ｘ，ｙ）の合成明るさ情報ＯＫＴｉ（ｘ，ｙ）と、第１２実施形態における輝度変調分算出部２０２で得られた明るさ情報Ｋｉ（ｘ，ｙ）の輝度変調分ｄＦＫｉ（ｘ，ｙ）および入力画像の明るさ情報Ｋｉ（ｘ，ｙ）より得られる明るさ変調画像の明るさ情報ＦＫｉ（ｘ，ｙ）＝Ｋｉ（ｘ，ｙ）＋ｄＦＫｉ（ｘ，ｙ）とを、第４合成部１５３００が組み合わせる処理を行う。

第４合成部１５３００では、まず、第４実施形態のように、ＳＫｉ（ｘ，ｙ）およびＬＫｉ（ｘ，ｙ）の合成画像の明るさ情報ＯＫＴｉ（ｘ，ｙ）を求める。この処理は、明るさ対比量ＲＫｉ（ｘ，ｙ）によるＬＫｉ（ｘ，ｙ）にかかる重み係数ｗｌｔ２をもとに実施される。なお詳細についてはは、第４実施形態と同様であるので、説明を省略する。
次に、ＦＫｉ（ｘ，ｙ）およびＯＫＴｉ（ｘ，ｙ）の合成により、最終的な処理済み画像の明るさ情報ＯＫｉ（ｘ，ｙ）が求められる。この合成処理は、（数式４２）のように単純に合成することで実行されてもよい。（数式４２）により処理できるのは、３つの効果を付加する部分が重なる割合が少ないことによる。

また、ＦＫｉ（ｘ，ｙ）を制御係数ｗｆｓｌにより制御するようにしてもよく、この場合、制御係数ｗｆｓｌを対象画素ｉ（ｘ，ｙ）の明るさ対比量ＲＫｉ（ｘ，ｙ）で制御するようにしてもよい。

（数式４３）で、ｗｆｓｌｄｅｌｔａは所定の正定数であり、ガウス分布で変化するｗｆｓｌの分散程度を示す。この場合、得られる最終的に得られる処理済み画像の明るさ情報ＯＫｉ（ｘ，ｙ）は、

で得られる。ここで、ＲＫｉ（ｘ，ｙ）が「１」付近では、平坦で緩やかに変動する部分に対象画素ｉ（ｘ，ｙ）が含まれると考えられるので、明るさ変調後の明るさ情報ＦＫｉ（ｘ，ｙ）への制御係数ｗｆｓｌを大きくする。一方、ＲＫｉ（ｘ，ｙ）が「０」に近くなったり、「１」よりもずっと大きくなったりした場合、輪郭付近に対象画素ｉ（ｘ，ｙ）が含まれると考え、陰影強調・光強調後の明るさ情報ＯＫＴｉ（ｘ，ｙ）にかかる制御係数（１．０−ｗｆｓｌ）を大きくする。このように制御することで、３つの効果をさらにうまく両立させることができる。
図７８は、第２実施形態や第３実施形態で模式的に示した結果例１に対する、画像処理装置１５００による処理済み画像の傾向（状況）を示すものである。この図では左上から光を照射する仮想光源を設定した例であり、中心部が周辺領域より輝度が高い場合を示している。図７８（ａ）に示すように、中心円の右下の領域（１）では、設定された光源方向と算出された法線方向が異なる（光源方向ベクトルと法線方向ベクトルとのなす角度が大きい）。この領域（１）では、図７８（ｂ）に示すように、光源方向ベクトルｖＲ１と法線方向ベクトルｖＨｉとが異なる（光源方向ベクトルと法線方向ベクトルとのなす角度が大きい）ことで、まず輪郭付近で陰影強調効果が発生する。そして、外側の輝度の低い円で緩やかに変化していた部分で明るさ変調による陰影変調が発生する。つまり、この領域（１）では、輪郭における陰影強調でのコントラスト感向上と、外側の低輝度円中心から外周に向かって緩やかに変化する部分での陰影変調による膨らみ感向上の２つの効果が発生する。

それに対して、図７８（ａ）に示す、中心円の左上の領域（２）では、設定された光源方向と算出された法線方向がほぼ同じ方向（光源方向ベクトルと法線方向ベクトルとのなす角度が小さい）となる。そのため、この領域（２）では、図７８（ｃ）に示すように、光源方向ベクトルｖＲ１と法線方向ベクトルｖＨｉとが同じ方向に近づくことで輪郭部分での光強調効果が発生するが、明るさ変調による陰影変調は抑制される。
以上の結果として、中心の高輝度円部分がより正面に向かって出るとともに、低輝度円における輝度平坦部分での膨らみ感が感じられる画像が得られる。
また、図７９は、第２実施形態や第３実施形態で模式的に示した結果例２に対する、画像処理装置１５００による処理済み画像の傾向（状況）を示すものである。この図では左上から光を照射する仮想光源を設定した例であり、中心部が周辺領域より輝度が低い場合を示す。図７９（ａ）に示す、中心円の右下の領域（１）では、設定された光源方向と算出された法線方向とが同じ方向を向く。そのため、この領域（１）では、図７９（ｂ）に示すように、光源方向ベクトルｖＲ１と法線方向ベクトルｖＨｉとのなす角度が小さくなることで陰影強調効果は生じず、光強調効果が発生する。それに対して、明るさ変調による陰影変調は抑制される。

それに対して、図７９（ａ）に示す、中心円の左上の領域（２）では、設定された光源方向と算出された法線方向とが異なる（光源方向ベクトルと法線方向ベクトルとのなす角度が大きい）。そのため、この領域（２）では、図７９（ｃ）に示すように、光源方向ベクトルｖＲ１と法線方向ベクトルｖＨｉとが異なる（光源方向ベクトルと法線方向ベクトルとのなす角度が大きい）ことで陰影強調効果が輪郭付近で発生する。そして、輝度の低い中心円内で中心から外周へ向かって緩やかに変化する部分の明るさ変調（陰影変調）が発生する。つまり、この領域（２）では、輪郭における陰影強調でのコントラスト感向上と、中心円の輪郭から中心へ向かう陰影変調効果が発生する。
結果として、図７９の場合、中心の低輝度円部分がより正面からなだらかにややくぼんで感じられる画像が得られる。

以上のように、本実施形態の発明では、第１２実施形態の特徴である所定の法線方向と光源のなす角度変調をもとにした明るさ変調により画像内の所定部分の階調変調を行う工夫に加えて、第４実施形態の特徴である陰影・光付加処理を組み合わせて特に輪郭付近でのコントラスト感を高めるた効果を合わせ持つことで、コントラスト感があるとともにより自然に感じされる立体感を実現することができる。
［第１６実施形態］
図８０および図８１を用いて、第１６実施形態の画像処理方法および画像処理装置について説明する。
本実施形態に係る発明は、第２から第１５実施形態における画像処理方法および画像処理装置における法線方向推定部１３において、現フレーム画像内の対象画素ｉ（ｘ，ｙ）における法線方向ベクトルｖＨｉ（ｘ，ｙ）のｘ、ｙ、ｚ成分に対して、現フレームのｐフレーム前のフレーム画像から、現フレームの１フレーム前のフレーム画像までの各フレーム画像より得られた対象画素ｉ（ｘ，ｙ）の法線方向ベクトルを使った時間方向法線平滑化部８０４００が加えられている。この点が本実施形態の発明の特徴である。

なお、図８０では、第２実施形態における法線方向推定部１３に時間方向法線平滑化部８０４００が加えられている。第７から第１１実施形態の場合にも、時間方向法線平滑化部８０４００は適用できる。第７、９、１０、および第１１実施形態の場合、法線方向ベクトル調整部１０１の後に、時間方向法線平滑化部８０４００を挿入し、第８実施形態の場合、法線方向ベクトル算出部３２の後に挿入することで、本実施形態と同様の効果を実現させることができる。
対象画素ｉ（ｘ，ｙ）における法線方向ベクトルｖＨｉ（ｘ，ｙ）を算出する処理以外は、第２から第１５実施形態と同様であるので、説明を省略する。
図８０を用いて、本実施形態に係る発明の処理について説明する。
対象画素ｉ（ｘ，ｙ）の明るさ情報Ｋｉ（ｘ，ｙ）におけるｘ方向微分値ｄＫｘとｙ方向微分値ｄＫｙが求められ、ｚ方向に所定の大きさ「１」を与えることで法線方向ベクトルｖＨｉ（ｘ，ｙ，ｔ）が、現フレーム画像（現フレームを取得する時刻を時刻ｔとする。）より求められる。

ここで、現フレームからｐフレーム前のフレーム画像が取得される時刻をｔ−ｐとし、現フレームの１フレーム前のフレーム画像が取得される時刻をｔ−１とする。
上記処理の後、時間方向法線平滑化部８０４００において、時刻ｔ−ｐから時刻ｔ−１までの間の時間において取得された、時刻ｋにおけるフレーム画像の画素ｉ（ｘ，ｙ）における法線方向ベクトルｖＨｉ（ｘ，ｙ，ｋ）（ｋ＝ｔ‐ｐ、…、ｔ‐１）に乗算する重み係数ｔｋｅｉｓｕを決定する。係数ｔｋｅｉｓｕは、現フレームが取得される時刻である時刻ｔからの時間差分ｄｔ＝ｔ‐ｋに応じて（数式４５）のように決定される係数で、ｖＨｉ（ｘ，ｙ，ｋ）に乗算する重み係数である。
（数式４５）で、ＴＫＤｅｌｔａは所定の正係数であり、大きいほどｄｔの変化に対してｔｋｅｉｓｕは大きく変化する。

現フレーム画像のｐフレーム前のフレーム画像から現フレーム画像の１フレーム前のフレーム画像において、重み係数を乗算した法線方向ベクトルの平均ベクトルｖＨｉＧ（ｘ，ｙ）を求め、その値を改めて現フレーム時刻ｔの法線方向ベクトルｖＨｉ（ｘ，ｙ，ｔ）とする。ここで、Ｔｏｔａｌｔｋｅｉｓｕは、ｋ＝ｔ‐ｐからｋ＝ｔ‐１における重み係数ｔｋｅｉｓｕの総和を示す。
この処理の目的について、図８１に示した模式図を用いて説明する。
図８１の左上図は、ある輝度分布をもつ立体曲面（法線方向ベクトルにより決定される立体曲面）の断面図を表しており、動画像として見た場合、この断面が右から左に動く例を示している。また、図８１の右上図は、時刻０における対象画素ｐｐにおける法線方向ベクトルを矢印で示している。

この断面が、図８１の下左図のように緩やかに動いた場合、法線方向も、図８１の上右図と比較して連続かつ緩やかに変化することが予想される。しかし、外光等で立体曲面の断面輝度が変動した場合。図８１の下真ん中図のように、立体曲面の断面の微小変動が原因で、法線方向が急激に大きく変わる現象が発生してしまう。
そして、その断面の微小変動部を通過し、元の断面に近い部分がｐｐの位置まで動いてきた時刻で、法線方向が、元々の法線方向に近い方向に戻ることで、法線方向のばらつきが生じてしまう。これが原因となり、本実施形態の発明の処理における陰影強調・光強調・明るさ変調における時間方向でのちらつき（本実施形態の発明により処理した画像（映像）上でのちらつき）を発生させる危険性がある。
そこで、本実施形態の発明では、このような法線方向ベクトルの時間方向での急激な変動を抑制することで、動画像を処理した場合の処理画像のちらつき等の弊害を抑制する。さらに、本実施形態の発明は、同じ画素における時間方向の法線方向の動きを滑らかにすることで、第２から第１５実施形態における処理方法を動画像のフレーム画像に適用した場合に必要となるであろう時間方向での補償処理の追加をする必要もない。

なお、ここでは、外光による輝度変動例を図８１で説明したが、本実施形態の発明では、画像自身の内容が急激に変化するシーン変化部分における急激な法線方向の変動に対する弊害も同様に抑制することができる。
また、本実施形態の発明において、時間方向法線平滑化部８０４００の前に、現フレーム画像のｐフレーム前のフレーム画像から、現フレームの１フレーム前のフレーム画像における法線方向ベクトルｖＨｉ（ｘ，ｙ，ｋ）（ｋ＝ｔ‐ｐ、…、ｔ‐１）と、現フレーム画像の法線方向ベクトルｖＨｉ（ｘ，ｙ，ｔ）の差分ベクトルの大きさより得られる値をもとに、時間方向での平滑化をした法線方向ベクトルｖＨｉＧ（ｘ，ｙ）を時刻ｔでの法線方向ベクトルとするかどうかを判定する平滑化判断部を加えることも可能である。こうすることで、時間方向での法線平滑化により効果がやや弱まる可能性があるが、その処理の必要性を判断することで、本実施形態の発明において、本陰影強調・光強調・明るさ変調の効果を弱めるを抑えながら、法線方向の急激な変動による処理済み動画像のちらつき等の弊害も抑制することができる。

［第１７実施形態］
図８２および図８３を用いて、第１７実施形態の画像処理方法および画像処理装置（表示装置）１７００について説明する。
本実施形態の発明は、陰影付加・光付加・明るさ変調による奥行き補正を実施する行き情報に応じて装置において、ユーザが処理モードを選択するユーザモード選択部３００１を加えたものである。
図８２に示すように、この画像処理装置（表示装置）１７００は、本発明の第１実施形態から第１６実施形態で説明した機能を実現する画像処理部２と、その処理結果を表示する表示部３０００、そしてユーザが処理モードを選択するユーザモード選択部３００１と、から構成される。

画像処理装置（表示装置）１７００では、画像処理部２で取得された奥行き補正結果画像が表示部３０００に表示される。ユーザは、表示部３０００での処理画像を視覚的に確認して、処理モードをユーザモード選択部３００１により選択することができる。つまり、画像処理装置（表示装置）１７００は、より個々人の特性に応じた（ユーザの嗜好に応じた）色補正ができるような構成になっている。ここで、表示部３０００は、画像（映像）を表示させることができる機能を有するものであり、液晶ディスプレイ装置や、プラズマディスプレイ装置や、一般のＴＶのメイン画面表示装置あるいはサブ画面表示装置等であってもよい。ユーザモード選択部３００１として、例えば、仮想光源方向を選択する場合は、図６７（１）上方光源モード、（１−２）上方右光源モード、（１−３）真上光源モード、（１−４）下方左光源モード、（１−５）下方右光源モード、（１−６）真下光源モード、（１−７）デフォルト光源方向モードのようなメニュー選択方式を用いる。

また、強度パラメータを選択する場合も、（２−１）強モード、（２−２）弱モード、（２−３）中間モード、（２−４）デフォルト強度モードのようなメニュー選択方式を用いる。
なお、これらに限定されることがないのは、言うまでもない。
ユーザは、表示部３０００に表示された画像（映像）を確認して、ユーザモード選択部３００１に用意されたメニュー内のオプションを選択する。例えば、仮想光源方向選択の場合、デフォルト光源方向モードとしては上方左からの光源方向が設定されている。このデフォルト光源方向モードは、メニューでの（１−１）上方左光源モードと同じでもよいし、同じ上方左に設定された仮想光源であるが、その角度を変えた光源を設定するモードであってもよい。

第２から第６実施形態のように陰影強調画像を生成する際、図８４のように輝度の低い背景内に輝度の高いパターン領域があった場合を例にして説明する。
デフォルトの光源方向モードの場合、図８４の左上図のようにパターンの右下の陰影が付加・強調される。この画像をユーザが見て、（１−２）上方右光源モードを選択した場合、図８４右上のように左下の陰影付加・強調が実施される。
また、ユーザが（１−４）下方左光源モードを選択した場合、図８４左下のように、右上の陰影付加・強調が実施される。また、ユーザが（１−５）下方右光源モードを選択した場合、図８４右下のように、左上の陰影付加・強調が実施される。
第３実施形態の場合、同じように輝度の低い背景内に輝度の高いパターン領域があった場合を例にして説明すると、（１−７）デフォルト光源モードでは、左上に光付加・強調が実施される。（１−２）上方右光源モードを選択した場合では、右上の光付加・強調が実施される。

また、ユーザが（１−４）下方左光源モードを選択した場合、左下の光付加・強調が実施される。また、ユーザが（１−５）下方右光源モードを選択した場合、右下の光付加・強調が実施される。
第４から第６実施形態の場合も、同様に輝度の低い背景内に輝度の高いパターン領域があった場合を例にして説明すると、（１−７）デフォルト光源モードでは、右下に陰影付加・強調が行われ、左上に光付加・強調が実施される。
ユーザが（１−２）上方右光源モードを選択した場合、左下に陰影付加・強調が実施され、右上の光付加・強調が実施される。また、ユーザが（１−４）下方左光源モードを選択した場合、右上に陰影付加・強調が実施され、左下の光付加・強調が実施される。また、ユーザが（１−５）下方右光源モードを選択した場合、左上に陰影付加・強調が実施され、右下の光付加・強調が実施される。

一方、第１２実施形態における明るさ変調の場合、明るさ変調における対象画素の角度変調はゆるやかに階調が変化する部分の陰影変調を前提とする例を示す。図８４のような輝度の低い背景に輝度が高いパターンに対して、（１−７）デフォルト光源モードでは、輝度の高いパターンの右下部分の階調変調（陰影変調）が実施されるが輪郭部分ではその効果は抑制される。
ユーザが（１−２）上方右光源モードを選択した場合は、輝度の高いパターンの左下部分の階調変調（陰影変調）が実施される。また、ユーザが（１−４）下方左光源モードを選択した場合は、輝度の高いパターンの右上部分の階調変調（陰影変調）が実施され、ユーザが（１−５）下方右光源モードを選択した場合、輝度の高いパターンの左上部分の階調変調（陰影変調）が実施される。

第１３から第１５実施形態の場合は、陰影強調処理、光強調処理、明るさ変調処理の対応する組み合わせに応じて、対応する第２、第３、第４、第１２実施形態での効果が光源方向の選択に応じて実現される。
このようにユーザが表示部３０００を確認して、陰影強調や光強調具合により生じる奥行き感・立体感をもとに、好みの仮想光源方向を選択できる。
同様に、ユーザは、表示部３０００を確認して、ユーザモード選択部３００１に用意されたメニュー内にある強度パラメータ選択に関して、例えば、（２−１）強モード、（２−２）弱モード、（２−３）中間モード、（２−４）デフォルト強度モードより選択することができる。ここでデフォルトモードとは、奥行き補正する際の陰影強調・光強調・明るさ変調の強度をデフォルト値に設定したモードに相当する。この選択結果を受けて、陰影強調・光強調画像・明るさ変調画像における、陰影付加・光付加・明るさ変調のための強度を制御するのである。なお、これらの強度パラメータ用メニューでは強度パラメータ以外にも、拡散反射成分・鏡面反射成分・環境光成分を算出する際に仮定した物体表面パラメータ等を連動して調整することも可能であるし、これらの成分算出時の仮定パラメータに関して別の選択メニューを用意しても良い。

これらの選択に応じて、ユーザモード選択部３００１により、画像処理部２で適用された陰影強調・光強調・明るさ変調の程度や陰影付加・光付加方向・明るさ変調方向を制御して、好みの立体感・奥行き感を実現するように制御することができる。こうすることで、人間の視覚特性に近い印象を与える奥行き感補正処理を行うとともに、さらに各個人の見た目に応じてレベルを制御することができる。
なお、ここではメニュー選択方式の例を示したが、仮想光源方向選択の場合、マウスやポインタのように連続的に動くインターフェースにより方向指定する方法も可能であり、その際のポインタインターフェースはアナログ的に動くものであっても、予め設定された複数方向だけデジタル的に動くものであってもよい。
さらに、図８３に示すように、１）陰影強調と光強調、２）陰影強調と明るさ変調、３）光強調と明るさ変調、４）陰影強調と光強調、明るさ変調の異なる組み合わせを同時に１つのスライダーやバーで調整するような構成も可能である。例えば、１）陰影強調と光強調処理が選択された場合、図８３（ａ）のようになる。バー強度Ｂは「０」から「ＢＭａｘ」まで選択でき、陰影強調の強度ＳＳと光強調の強度ＬＳはバー強度Ｂの関数で定義される。バー強度Ｂが大きくなるにつれて、陰影強調による強度ＳＳ（Ｂ）を増加させるが、光強調の強度ＬＳ（Ｂ）の増加量を抑えることで、陰影強調による効果を引き立たせる。しかし、ある程度、陰影強調がされた画像では、平均輝度低下と対象部分の過剰付加とが問題となるため、バー強度Ｂが設定しきい値ＴｈＢ１を越えた時点で陰影強調強度ＳＳ（Ｂ）を所定の最大陰影強調強度ＭａｘＳＳに漸近的に収束させる。逆に、光強調強度ＬＳ（Ｂ）を大きく増加するように変化させる。こうすることで、陰影による効果よりも光強調による効果を優先することで、輝度低下をある程度より抑えるとともに、陰影と光によるコントラスト効果で立体感を上げるように動作させることができる。

また、２）明るさ変調と光強調処理が選択された場合、図８３（ｂ）のようになる。このような場合、バー強度Ｓに応じて明るさ変調の強度ＦＳ（Ｂ）は線形的に変化させることがより自然であるため、そのように動作させるが、その影響として変調させる部分が大きいほど平均輝度低下を招く恐れがある。そこで、光強調処理では、その強度ＬＳをバー強度Ｂが設定しきい値ＴｈＢ２より小さい場合は、単調増加させる。ある程度光強調が強くなると、その弊害が特に輪郭付近で目立つ危険性があるので、バー強度Ｂが設定しきい値ＴｈＢ２より大きくなった場合、一定値ＭａｘＬＳで固定する。
３）明るさ変調と陰影強調処理が選択された場合、図８３（ｃ）のようになる。このような場合、バー強度Ｓに応じて明るさ変調の強度ＦＳ（Ｂ）は線形的に変化させることがより自然であるが、陰影強調の効果が重畳する恐れがある。そこで、２）よりも、明るさ変調の強度ＦＳ（Ｂ）における線形の増加率を抑える。それに対して、陰影強調の強度ＳＳ（Ｂ）も、１）と比べて低いレベルで飽和するように変化させる。こうすることで、緩やかに階調が変化する部分および輪郭部分への陰影効果が増す（高くなる）とともに、２つの処理の重畳による過剰補正を抑制する。なお、３）の場合、輝度低下が発生するため、その改善に光強調処理も同時に処理することも可能である。この場合、１）のように光強度の強度ＬＳ（Ｂ）を制御することで、画像内の平均輝度低下を抑えるとともに、陰影と光のコントラスト向上による立体感を深めることができる。

［他の実施形態］
ここで、仮想光源として人間の視覚特性として上側から来る光を強く感じる傾向があることに起因して、左上方向からの仮想光源による陰影強調画像および光強調画像の２つを合成した処理済画像で定義して説明した。しかし、これは一義ではなく、他の上方やそれ以外の方向からの仮想光源を用いることもできる。
上記実施形態において説明した本発明の画像処理方法および画像処理装置では、陰影強調画像生成処理や光強調画像生成処理において、エッジ情報ＥＤＧＥｉ（ｘ，ｙ）、法線方向ベクトルｖＨｉ（ｘ，ｙ）、そして明るさ情報Ｋｉ（ｘ，ｙ）を用いたが、エッジ情報の代わりに、第４実施形態で説明した明るさ対比量ＲＫｉ（ｘ，ｙ）を用いてもよい。
上記実施形態において説明した本発明の画像処理方法および画像処理装置では、対象とする明るさ情報の明るさ対比量データＲＫｉ（ｘ，ｙ）として、（１）周辺の代表明るさ情報に対する対象画素の明るさ情報の比と（２）対象画素の明るさ情報と周辺の代表明るさ情報の差分量を用いることが好ましいが、これ以外にも、上記（１）と（２）とを所定の関数により変換して得られる値を用いるようにしてもよい。また、代表明るさ情報算出に使用される周辺領域として、対象画素周辺の所定サイズ領域を用いたが、固定にする必要はなく、例えば、対象画素ｉ（ｘ，ｙ）の明るさ情報Ｋｉ（ｘ，ｙ）と周辺領域内の画素ｋ（ｓ，ｔ）の明るさ情報Ｋｋ（ｓ，ｔ）との差分や、画素ｉと画素ｋとの距離ｌｅｎｇｔｈに応じて、周辺領域を適応的に変えるようにしてもよい。また、代表明るさ情報として周辺領域内の平均を用いる場合、対象画素ｉの明るさ情報Ｋｉ（ｘ，ｙ）と周辺領域内の画素ｋの明るさ情報Ｋｋ（ｓ，ｔ）との差分や、画素ｉと画素ｋとの距離ｌｅｎｇｔｈに応じて、周辺領域画素ｋの明るさＫｋ（ｓ，ｔ）にかかる重み係数を弱めたり、強めたりするようにしてもよい。

また、各処理装置内の仮想光源方向情報や強度パラメータ等は、画像処理装置内に保持されるように構成してもよいが、これに限定されることはなく、例えば、ＲＡＭのような外部メモリや、外部から入力部を介して、これらのデータを提供するようにしてもよい。
上記実施形態において説明した本発明の画像処理方法および画像処理装置は、例えば、コンピュータ、テレビ、デジタルカメラ、携帯電話、ＰＤＡ、カーＴＶなど、画像を取り扱う機器に内臓、あるいは接続して用いられる装置であり、ＬＳＩなどの集積回路として実現される。
上記各実施形態で説明した各種処理を実現する各機能ブロックの一部または全部は、個別に１チップ化させてもよいし、一部又は全てを含むように１チップ化されても良い。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路の手法にはＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現することも可能である。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用することも可能である。
さらに、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。

また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
また、第２実施形態から第４実施形態における陰影強調処理と光強調処理とを行う場合、その光源は所定の設定された光源としたが、第１２実施形態で追加説明した最適光源推定部を用いて得られた光源方向を用いることも可能である。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

［付記］
本発明は、次のように表現することも可能である。
（付記１）
光源位置の座標（ｃ１，ｃ２，ｃ３）を入力するステップと、
所定位置（ｐ１，ｐ２）の画素の輝度と
ｘ方向に隣接する画素の輝度との差分ｘ，および
ｙ方向に隣接する画素の輝度との差分ｙ
を入力するステップと
ベクトル１（前記差分ｘ，前記差分ｙ，ｃ３）と、
ベクトル２（ｃ１−ｐ１，ｃ２−ｐ２，ｃ３）とに基づいて
前記画素を補正するステップと、
を含む陰影付加方法。

（付記２）
光源位置の座標（ｃ１，ｃ２，ｃ３）を入力するステップと、
所定位置（ｐ１，ｐ２）の画素の輝度と
ｘ方向に隣接する画素の輝度との差分ｘ、および
ｙ方向に隣接する画素の輝度との差分ｙ
を入力するステップと
ベクトル１（前記差分ｘ，前記差分ｙ，ｃ３）と、
ベクトル２（ｃ１−ｐ１，ｃ２−ｐ２，ｃ３）とに基づいて
前記画素を補正するステップと、
を含む光付加方法。

（付記３）
光源位置が太陽光線のように無限平行位置にある場合、前記光源位置の座標（ｃ１、ｃ２、ｃ３）は、その無限平行位置方向に向かって所定の大きさをもつ値となる、
付記１または付記２に記載の陰影または光付加方法。
（付記４）
入力されたカラー画像データを補正するカラー画像処理方法において、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定ステップと、
前記対象画素における法線方向情報を用いて、入力画像の明るさ情報を補正して陰影部分を強調する陰影強調画像生成ステップと、
得られた陰影強調画像を所定の画像データで出力する出力ステップより
構成されることを特徴とする画像処理方法。

（付記５）
入力されたカラー画像データを補正するカラー画像処理方法において、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定ステップと、
前記対象画素における法線方向情報より、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成ステップと、
得られた光強調画像を所定の画像データで出力する出力ステップより
構成されることを特徴とする画像処理方法。

（付記６）
入力されたカラー画像データを補正するカラー画像処理方法において、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
前記明るさ情報より明るさ対比量を求める明るさ対比算出ステップと、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定ステップと、
前記対象画素における法線方向情報を用いて、
入力画像の陰影部分を強調する陰影強調画像生成ステップと、
前記対象画素における法線方向情報より、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成ステップと、
前記対象画素における明るさ対比量より、前記陰影強調画像と前記光強調画像の合成を行う合成ステップと、
前記合成ステップで得られた処理済画像を所定の画像データで出力する出力ステップより
構成されることを特徴とする画像処理方法。

（付記７）
入力されたカラー画像データを補正するカラー画像処理方法において、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定ステップと、
前記法線方向より所定の法線方向を得るための法線平滑化ステップと、
前記得られた所定の法線方向を変調する法線方向変調ステップと、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成ステップと、
得られた明るさ変調画像を所定の画像データで出力する出力ステップより
構成されることを特徴とする画像処理方法。

（付記８）
入力されたカラー画像データを補正するカラー画像処理方法において、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定ステップと、
前記法線方向より所定の法線方向を得るための法線平滑化ステップと、
前記得られた所定の法線方向を変調する法線方向変調ステップと、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成ステップと、
前記得られた所定の法線方向情報を用いて、入力画像の明るさ情報を補正して陰影部分を強調する陰影強調画像生成ステップと、
前記対象画素における明るさ変調画像と陰影強調画像の合成を行う合成ステップと、
前記合成ステップで得られた処理済画像を所定の画像データで出力する出力ステップより
構成されることを特徴とする画像処理方法。

（付記９）
入力されたカラー画像データを補正するカラー画像処理方法において、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定ステップと、
前記法線方向より所定の法線方向を得るための法線平滑化ステップと、
前記得られた所定の法線方向を変調する法線方向変調ステップと、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成ステップと、
前記得られた所定の法線方向情報を用いて、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成ステップと、
前記対象画素における明るさ変調画像と光強調画像の合成を行う合成ステップと、
前記合成ステップで得られた処理済画像を所定の画像データで出力する出力ステップより
構成されることを特徴とする画像処理方法。

（付記１０）
入力されたカラー画像データを補正するカラー画像処理方法において、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
前記明るさ情報より明るさ対比量を求める明るさ対比算出ステップと、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定ステップと、
前記法線方向より所定の法線方向を得るための法線平滑化ステップと、
前記得られた所定の法線方向を変調する法線方向変調ステップと、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成ステップと、
前記対象画素における所定の法線方向情報を用いて、
入力画像の陰影部分を強調する陰影強調画像生成ステップと、
前記対象画素における所定の法線方向情報より、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成ステップと、
前記対象画素における明るさ対比量より、前記陰影強調画像と前記光強調画像、そして明るさ変調画像の合成を行う合成ステップと、
前記合成ステップで得られた処理済画像を所定の画像データで出力する出力ステップより
構成されることを特徴とする画像処理方法。

（付記１１）
明るさ対比算出ステップが、対象とする画素の明るさ情報を、その周囲の領域内の明るさ情報を代表する周囲明るさ情報と比較する明るさ対比処理により構成されることを特徴とする、
付記６または１０のいずれかに記載の画像処理方法。
（付記１２）
合成ステップは、明るさ対比量より合成係数を算出し、
陰影強調画像と光強調画像の明るさ情報を合成して処理済み画像の明るさ情報を算出し、
前記処理済み画像の明るさ情報と入力画像の明るさ情報より処理済み画像の色差成分を算出して処理済画像を生成することを特徴とする、
付記６に記載の画像処理方法。

（付記１３）
合成ステップは、明るさ対比量より合成係数を算出し、
陰影強調画像と光強調画像の明るさ情報を合成した画像の明るさ情報を算出した後に、
前記合成画像に明るさ変調画像の明るさ情報を合成して処理済み画像の明るさ情報を算出し、
前記処理済み画像の明るさ情報と入力画像の明るさ情報より処理済み画像の色差成分を算出して処理済画像を生成することを特徴とする、
付記１０に記載の画像処理方法。
（付記１４）
出力ステップが、入力画像の輝度分布を表す値と処理済画像の輝度分布を表す値をもとに、処理済画像の輝度の階調変換を実施する出力階調補正ステップと、
前記出力階調補正ステップで得られた出力輝度値をもとに、出力フォーマットに合わせた色差成分の補正を実施する出力色差補正ステップより構成されることを特徴とする、
付記４から１０のいずれか１項に記載の画像処理方法。

（付記１５）
対象領域内の法線方向情報が、
前記領域にｘ方向に隣接する領域内画素の平均輝度との差分ｘと、
前記領域にｙ方向に隣接する領域内画素の平均画素との差分ｙにより決定されることを特徴とする、
付記４から１０のいずれか１項に記載の画像処理方法。
（付記１６）
対象領域内の法線方向情報が、
前記領域にｘ方向に隣接する領域内画素の平均輝度との差分ｘと、
前記領域にｙ方向に隣接する領域内画素の平均画素との差分ｙと、
前記対象領域内の画素の平均輝度値、と前記対象領域周囲の所定の大きさ内にある配置された周囲領域内の画素の平均輝度値との関係を示す輝度対比量に応じた値により決定されることを特徴とする、
付記４から１０のいずれか１項に記載の画像処理方法。

（付記１７）
対象領域内の法線方向情報が、
前記領域にｘ方向に隣接する領域内画素の平均輝度との差分ｘと、
前記領域にｙ方向に隣接する領域内画素の平均画素との差分ｙと、
前記対象領域内の画素の平均色情報値、と前記対象領域周囲の所定の大きさ内にある配置された周囲領域内の画素の平均色情報値との関係を示す色対比量に応じた値により決定されることを特徴とする、
付記４から１０のいずれか１項に記載の画像処理方法。
（付記１８）
対象領域内の法線方向情報が、
前記領域にｘ方向に隣接する領域内画素の平均輝度との差分ｘと、
前記領域にｙ方向に隣接する領域内画素の平均画素との差分ｙと、
前記対象領域内の画素の平均輝度値、と前記対象領域周囲の所定の大きさ内にある配置された周囲領域内の画素の平均輝度値との関係を示す輝度対比量に応じた値と、
前記対象領域内の画素の平均色情報値、と前記対象領域周囲の所定の大きさ内にある配置された周囲領域内の画素の平均色情報値との関係を示す色対比量に応じた値により決定されることを特徴とする、
付記４から１０のいずれか１項に記載の画像処理方法。

（付記１９）
対象領域内の法線方向情報が、
前記領域にｘ方向に隣接する領域内画素の平均輝度との差分ｘと、
前記領域にｙ方向に隣接する領域内画素の平均画素との差分ｙと、
前記対象域内の輝度変動を示す値により決定されることを特徴とする、
付記４から１０のいずれか１項に記載の画像処理方法。
（付記２０）
陰影強調画像生成ステップは、仮想の光源方向を設定し、
入力画像の明るさ情報より、その仮想光源による拡散反射成分を算出し、
入力画像の明るさ情報より、その仮想光源による鏡面反射成分を算出し、
入力画像の明るさ情報より、その仮想光源による環境成分を算出し、
前記拡散反射成分、鏡面反射成分、環境光成分による陰影成分画像を生成し、
法線方向推定ステップで算出された法線情報とエッジ量より、前記陰影成分画像に掛かる合成係数を算出し、
前記合成係数をもとに陰影成分画像と入力画像の明るさ情報より陰影強調画像の明るさ情報を算出し、
前記陰影強調画像の明るさ情報と入力画像の明るさ情報より陰影強調画像の色差成分を算出して陰影強調画像を生成することを特徴とする、
付記４、６、７、１０、のいずれか１項に記載の画像処理方法。

（付記２１）
光強調画像生成ステップは、付加する仮想光源方向を設定し、
その仮想光源による付加拡散反射成分を算出し、
その仮想光源による付加鏡面反射成分を算出し、
その仮想光源による付加環境成分を算出し、
前記付加拡散反射成分、付加鏡面反射成分、付加環境光成分による光付加画像を生成し、
法線方向推定ステップで算出された法線情報とエッジ量より、前記光付加画像に掛かる合成係数を算出し、
前記合成係数をもとに光付加画像と入力画像の明るさ情報より光強調画像の明るさ情報を算出し、
前記光強調画像の明るさ情報と入力画像の明るさ情報より光強調画像の色差成分を算出して光強調画像を生成することを特徴とする、
付記５、６、９、１０のいずれか１項に記載の画像処理方法。

（付記２２）
明るさ変調画像生成ステップは、仮想光源を設定し、
法線方向変調ステップで実施された対象画素の変調前の法線方向ベクトルと変調後の法線差分ベクトルの間の角度変動量を求め、
その角度変動量より、仮想光源による拡散反射成分の変動量を算出し、
その角度変動量より、仮想光源による鏡面反射成分の変動量を算出し、
前記拡散反射成分、鏡面反射成分の変動量で入力画像の明るさ情報を補正することで明るさ変調画像を生成することを特徴とする、
付記７、８、９、１０のいずれか１項に記載の画像処理方法。
（付記２３）
法線平滑化ステップでは、対象領域の法線方向情報に対して、同じフレーム時刻における画像内で、対象領域から所定の大きさ内にある周囲領域の法線方向情報を使って、空間方向に平滑化処理を行うことを特徴とする、
付記７から１０のいずれか１項に記載の画像処理方法。

（付記２４）
法線方向推定ステップでは、対象領域において、現時点よりもｐ時刻前のフレーム画像から現時点のフレーム画像までの法線方向情報を使って、時間方向に平滑化処理を行うことを特徴とする、
付記１から１０のいずれか１項に記載の画像処理方法。
（付記２５）
法線方向平滑化ステップでは、対象領域の法線方向情報に対して、同じフレーム時刻における画像内で、対象領域から所定の大きさ内にある周囲領域の法線方向情報を使って、空間方向に平滑化処理を行うとともに、対象領域において、現時点よりもｐ時刻前のフレーム画像から現時点のフレーム画像までの法線方向情報を使って、時間方向にも平滑化処理を行うことを特徴とする、
付記７から１０のいずれか１項に記載の画像処理方法。

（付記２６）
入力されたカラー画像データを補正するカラー画像処理方法において、
ユーザが所定の方法で提示されたメニューやボタンより処理モードを選択するユーザ処理選択ステップと、
前記ユーザ処理選択ステップで得られた処理モードに応じて、付記４から１０のいずれかに記載の画像処理方法の処理制御を行うステップと、
前記画像処理方法による結果を所定の表示機器に表示するステップと、
前記表示ステップで得られた処理済み画像が良好である場合、その画像を所定の方法で出力することを指示するユーザ出力指示ステップと、
前期ユーザ出力ステップで出力指示がされた時点で所定の方法で処理済画像を出力する出力ステップより
構成されることを特徴とする、
付記２から７のいずれかに記載の画像処理方法。

（付記２７）
ユーザ処理選択ステップは、付記４から１０のいずれかに記載の画像処理方法における処理において陰影付加、光付加、または明るさ変調をする際の仮想光源方向や、拡散反射係数、鏡面反射係数、環境光係数や、陰影強調、光強調の強度、または明るさ変調強度に関するパラメータを調整するものであり、設定された所定の複数モードより選択することを特徴とする、
付記２７に記載の画像処理方法。
（付記２８）
ユーザ処理選択ステップは、付記４から１０のいずれかに記載の画像処理方法における処理において、陰影強調、光強調、明るさ変調から選ばれた異なる２つの効果を１つの軸を持つスライダバーで調整するものであり、前記選択された２つの効果の組み合わせに対応する複数モードから１つのモードを選択することを特徴とする、
付記２７に記載の画像処理方法。

（付記２９）
画像に光源位置を設定する設定部と、
前記画像を領域毎に分割する分割部と、
第１の領域の輝度の補正量と、前記第１の領域と隣接する第２の領域の輝度の補正量とを決定する決定部を備え、
前記決定部は、
第１の領域の平均輝度が第２の領域の平均輝度より高く、
かつ
第１の領域の中心座標が前記第２の領域の中心座標に比して光源位置に近い場合に、
第２の領域の補正量を第１の補正量に比して大きく決定する、
画像処理装置。

（付記３０）
入力されたカラー画像データを補正するカラー画像処理装置において、
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定部と、
前記対象画素における法線方向情報を用いて、
入力画像の陰影部分を強調する陰影強調画像生成部と、
得られた陰影強調画像を所定の画像データで出力する出力部
より構成されることを特徴とする、
画像処理装置。
（付記３１）
入力されたカラー画像データを補正するカラー画像処理装置において、
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定部と、
前記対象画素における法線方向情報より、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成部と、
得られた光強調画像を所定の画像データで出力する出力部より構成される
ことを特徴とする、
画像処理装置。

（付記３２）
入力されたカラー画像データを補正するカラー画像処理装置において、
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
前記明るさ情報より明るさ対比量を求める明るさ対比算出部と、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定部と、
前記対象画素における法線方向情報を用いて、
入力画像の陰影部分を強調する陰影強調画像生成部と、
前記対象画素における法線方向情報より、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成部と、
前記対象画素における明るさ対比量より、前記陰影強調画像と前記光強調画像の合成を行う合成部と、
前記合成部で得られた処理済画像を所定の画像データで出力する出力部より
構成されることを特徴とする、
画像処理装置。

（付記３３）
入力されたカラー画像データを補正するカラー画像処理装置において、
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定部と、
前記法線方向より所定の法線方向を得るための法線平滑化部と、
前記得られた所定の法線方向を変調する法線方向変調部と、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成部と、
得られた明るさ変調画像を所定の画像データで出力する出力部より
構成されることを特徴とする、
画像処理装置。

（付記３４）
入力されたカラー画像データを補正するカラー画像処理装置において、
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定部と、
前記法線方向より所定の法線方向を得るための法線平滑化部と、
前記得られた所定の法線方向を変調する法線方向変調部と、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成部と、
前記得られた所定の法線方向情報を用いて、入力画像の明るさ情報を補正して陰影部分を強調する陰影強調画像生成部と、
前記対象画素における明るさ変調画像と陰影強調画像の合成を行う合成部と、
前記合成ステップで得られた処理済画像を所定の画像データで出力する出力部より
構成されることを特徴とする、
画像処理装置。

（付記３５）
入力されたカラー画像データを補正するカラー画像処理装置において、
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定部と、
前記法線方向より所定の法線方向を得るための法線平滑化部と、
前記得られた所定の法線方向を変調する法線方向変調部と、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成部と、
前記得られた所定の法線方向情報を用いて、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成部と、
前記対象画素における明るさ変調画像と光強調画像の合成を行う合成部と、
前記合成ステップで得られた処理済画像を所定の画像データで出力する出力部より
構成されることを特徴とする、
画像処理装置。

（付記３６）
入力されたカラー画像データを補正するカラー画像処理装置において、
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定部と、
前記法線方向より所定の法線方向を得るための法線平滑化部と、
前記得られた所定の法線方向を変調する法線方向変調部と、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成部と、
前記得られた所定の法線方向情報を用いて、入力画像の明るさ情報を補正して陰影部分を強調する陰影強調画像生成部と、
前記得られた所定の法線方向情報を用いて、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成部と、
前記対象画素における明るさ変調画像と陰影強調画像、光強調画像の合成を行う合成部と、
前記合成部で得られた処理済画像を所定の画像データで出力する出力部より
構成されることを特徴とする、
画像処理方法。

（付記３７）
コンピュータによりカラー画像の補正を行うための画像処理プログラムであって、
前記画像処理プログラムは、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定ステップと、
前記対象画素における法線方向情報とエッジ情報を用いて、
入力画像の陰影部分を強調する陰影強調画像生成ステップと、
得られた陰影強調画像を所定の画像データで出力する出力ステップを
備える、
画像処理方法である画像処理プログラム。
（付記３８）
コンピュータによりカラー画像の補正を行うための画像処理プログラムであって、
前記画像処理プログラムは、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定ステップと、
前記対象画素における法線方向情報より、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成ステップと、
得られた光強調画像を所定の画像データで出力する出力ステップを
備える、
画像処理方法である画像処理プログラム。

（付記３９）
コンピュータによりカラー画像の補正を行うための画像処理プログラムであって、
前記画像処理プログラムは、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
前記明るさ情報より明るさ対比量を求める明るさ対比算出ステップと、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定ステップと、
前記対象画素における法線方向情報を用いて、
入力画像の陰影部分を強調する陰影強調画像生成ステップと、
前記対象画素における法線方向情報より、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成ステップと、
前記対象画素における明るさ対比量より、前記陰影強調画像と前記光強調画像の合成を行う合成ステップと、
前記合成ステップで得られた処理済画像を所定の画像データで出力する出力ステップを備える、
画像処理方法である画像処理プログラム。

（付記４０）
コンピュータによりカラー画像の補正を行うための画像処理プログラムであって、
前記画像処理プログラムは、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定ステップと、
前記法線方向より所定の法線方向を得るための法線平滑化ステップと、
前記得られた所定の法線方向を変調する法線方向変調ステップと、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成ステップと、
得られた明るさ変調画像を所定の画像データで出力する出力ステップを備える、
画像処理方法である画像処理プログラム。
（付記４１）
コンピュータによりカラー画像の補正を行うための画像処理プログラムであって、
前記画像処理プログラムは、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定ステップと、
前記法線方向より所定の法線方向を得るための法線平滑化ステップと、
前記得られた所定の法線方向を変調する法線方向変調ステップと、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成ステップと、
前記得られた所定の法線方向情報を用いて、入力画像の明るさ情報を補正して陰影部分を強調する陰影強調画像生成ステップと、
前記対象画素における明るさ変調画像と陰影強調画像の合成を行う合成ステップと、
前記合成ステップで得られた処理済画像を所定の画像データで出力する出力ステップを備える、
画像処理方法である画像処理プログラム。

（付記４２）
コンピュータによりカラー画像の補正を行うための画像処理プログラムであって、
前記画像処理プログラムは、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定ステップと、
前記法線方向より所定の法線方向を得るための法線平滑化ステップと、
前記得られた所定の法線方向を変調する法線方向変調ステップと、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成ステップと、
前記得られた所定の法線方向情報を用いて、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成ステップと、
前記対象画素における明るさ変調画像と光強調画像の合成を行う合成ステップと、
前記合成ステップで得られた処理済画像を所定の画像データで出力する出力ステップを備える、
画像処理方法である画像処理プログラム。

（付記４３）
コンピュータによりカラー画像の補正を行うための画像処理プログラムであって、
前記画像処理プログラムは、
入力された画像信号の明るさ情報を算出する明るさ情報算出ステップと、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定ステップと、
前記法線方向より所定の法線方向を得るための法線平滑化ステップと、
前記得られた所定の法線方向を変調する法線方向変調ステップと、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成ステップと、
前記得られた所定の法線方向情報を用いて、入力画像の明るさ情報を補正して陰影部分を強調する陰影強調画像生成ステップと、
前記得られた所定の法線方向情報を用いて、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成ステップと、
前記対象画素における明るさ変調画像と陰影強調画像、光強調画像の合成を行う合成ステップと、
前記合成ステップで得られた処理済画像を所定の画像データで出力する出力ステップを備える、
画像処理方法である画像処理プログラム。

（付記４４）
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定部と、
前記対象画素における法線方向情報を用いて、
入力画像の陰影部分を強調する陰影強調画像生成部と、
得られた陰影強調画像を所定の画像データで出力する出力部を
備える集積回路。
（付記４５）
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定部と、
前記対象画素における法線方向情報より、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成部と、
得られた光強調画像を所定の画像データで出力する出力部を
備える集積回路。

（付記４６）
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
前記明るさ情報より明るさ対比量を求める明るさ対比算出部と、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定部と、
前記対象画素における法線方向情報を用いて、
入力画像の陰影部分を強調する陰影強調画像生成部と、
前記対象画素における法線方向情報より、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成部と、
前記対象画素における明るさ対比量より、前記陰影強調画像と前記光強調画像の合成を行う合成部と、
前記合成部で得られた処理済画像を所定の画像データで出力する出力部を
備える集積回路。
（付記４７）
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定部と、
前記法線方向より所定の法線方向を得るための法線平滑化部と、
前記得られた所定の法線方向を変調する法線方向変調部と、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成部と、
得られた明るさ変調画像を所定の画像データで出力する出力部を備える集積回路。

（付記４８）
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定部と、
前記法線方向より所定の法線方向を得るための法線平滑化部と、
前記得られた所定の法線方向を変調する法線方向変調部と、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成部と、
前記得られた所定の法線方向情報を用いて、入力画像の明るさ情報を補正して陰影部分を強調する陰影強調画像生成部と、
前記対象画素における明るさ変調画像と陰影強調画像の合成を行う合成部と、
前記合成ステップで得られた処理済画像を所定の画像データで出力する出力部を
備える集積回路。

（付記４９）
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定部と、
前記法線方向より所定の法線方向を得るための法線平滑化部と、
前記得られた所定の法線方向を変調する法線方向変調部と、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成部と、
前記得られた所定の法線方向情報を用いて、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成部と、
前記対象画素における明るさ変調画像と光強調画像の合成を行う合成部と、
前記合成ステップで得られた処理済画像を所定の画像データで出力する出力部を
備える集積回路。

（付記５０）
入力された画像信号の明るさ情報を算出する明るさ情報算出部と、
画像上に奥行き感を与えるための法線方向を推定する法線方向推定部と、
前記法線方向より所定の法線方向を得るための法線平滑化部と、
前記得られた所定の法線方向を変調する法線方向変調部と、
前記変調された法線方向より明るさ情報の変調分を算出して入力画像の明るさ情報を補正する明るさ変調画像生成部と、
前記得られた所定の法線方向情報を用いて、入力画像の明るさ情報を補正して陰影部分を強調する陰影強調画像生成部と、
前記得られた所定の法線方向情報を用いて、入力画像に微小な光成分付加を行った光強調画像を生成する光強調画像生成部と、
前記対象画素における明るさ変調画像と陰影強調画像、光強調画像の合成を行う合成部と、
前記合成部で得られた処理済画像を所定の画像データで出力する出力部を
備える集積回路。

本発明に係る画像処理装置、画像処理方法、プログラム、記録媒体および集積回路は、陰影付加・光付加または明るさ変調を行うことで２Ｄ画像の奥行き感向上を簡易、かつ、３Ｄ画像表示のように特殊デバイスを必要としないで実現することができるので、映像機器関連産業分野において、有用であり、本発明に係る画像処理装置、画像処理方法、プログラム、記録媒体および集積回路は、当該分野において実施することができる。

本発明の第１実施形態に係る画像処理装置の構成を示すブロック図。 本発明の第１実施形態に係る画像処理装置における画像処理方法のフローチャート。 本発明の第１実施形態に係る画像処理装置の動作を説明するための説明図。 本発明における第１実施形態に係る画像処理装置の構成を示すブロック図。 本発明における第１実施形態に係る画像処理装置内の法線方向推定部の構成を示すブロック図。 本発明における第１実施形態に係る画像処理装置内の陰影強調画像生成部の構成を示すブロック図。 本発明における第１実施形態に係る画像処理方法の処理フローチャート図。 本発明における第１実施形態に係る画像処理方法内の法線方向推定処理のフローチャート図。 本発明における第１実施形態に係る画像処理方法内の陰影強調画像生成処理のフローチャート図。 本発明における第１実施形態に係る画像処理方法内の法線推定処理の概要を模式的に示す図。 本発明における第１実施形態に係る画像処理方法内の照明方向設定の概要を模式的に示す図。 本発明における第１実施形態に係る画像処理方法で使用される照明近似モデル全体の概要を示す図。 照明近似モデルにおける拡散反射成分を模式的に示す図。 照明近似モデルにおける鏡面反射成分を模式的に示す図。 照明近似モデルにおける環境光成分を模式的に示す図。 本発明における第２実施形態に係る画像処理方法の陰影強調効果の概要を示す図。 本発明における第２実施形態に係る画像処理方法の別の陰影強調効果の概要を示す図。 本発明における第２実施形態に係る画像処理装置内の色差成分算出部の制御例に関する模式図。 本発明における第３実施形態に係る画像処理装置の構成を示すブロック図。 本発明における第３実施形態に係る画像処理装置内の光強調画像生成部の構成を示すブロック図。 本発明における第３実施形態に係る画像処理方法の処理フローチャート図。 本発明における第３実施形態に係る画像処理方法内の光強調画像生成処理のフローチャート図。 本発明における第３実施形態に係る画像処理方法の光強調効果を模式的に示す図。 本発明における第３実施形態に係る画像処理方法の光強調効果を模式的に示す図。 本発明における第４実施形態に係る画像処理装置の構成を示すブロック図。 本発明における第４実施形態に係る画像処理装置内の合成部の構成を示すブロック図。 本発明における第４実施形態に係る画像処理装置内の明るさ対比算出部の構成を示すブロック図。 本発明における第４実施形態に係る画像処理方法の処理フローチャート図。 本発明における第４実施形態に係る画像処理方法内の明るさ対比量算出処理の処理フローチャート図。 本発明における第４実施形態に係る画像処理方法内の合成処理を示すフローチャート図。 本発明における第４実施形態に係る画像処理方法内の明るさ対比を模式的に示す図。 本発明における第４実施形態に係る画像処理方法内の明るさ対比を模式的に示す図。 本発明における第４実施形態に係る画像処理方法の効果を模式的に示す図。 本発明における第４実施形態に係る画像処理方法の効果を模式的に示す図。 本発明における第５実施形態に係る画像処理装置の構成を示すブロック図。 本発明における第６実施形態に係る画像処理装置の構成を示すブロック図。 本発明における第７実施形態に係る画像処理装置内の法線方向推定部の構成を示すブロック図。 本発明における第７実施形態に係る画像処理方法内の法線方向推定のフローチャート図。 本発明における第７実施形態に係る画像処理方法内の法線方向推定を模式的に示す概念図。 本発明における第８実施形態に係る画像処理装置内の法線方向推定部の構成を示すブロック図。 本発明における第８実施形態に係る画像処理方法内の法線方向推定のフローチャート図。 本発明における第８実施形態に係る画像処理方法内の法線方向推定を模式的に示す概念図。 本発明における第９実施形態に係る画像処理装置内の法線方向推定部の構成を示すブロック図。 本発明における第９実施形態に係る画像処理方法内の法線方向推定のフローチャート図。 本発明における第９実施形態に係る画像処理方法内の法線方向推定を模式的に示す図。 本発明における第１０実施形態に係る画像処理装置内の法線方向推定部の構成を示すブロック図。 本発明における第１０実施形態に係る画像処理方法内の法線方向推定のフローチャート図。 本発明における第１０実施形態に係る画像処理方法内の色対比の１例である彩度対比を模式的に示す図。 本発明における第１０実施形態に係る画像処理方法の色対比の１つである色相対比を模式的に示す図。 本発明における第１０実施形態に係る画像処理方法内の法線方向推定を模式的に示す図。 本発明における第１１実施形態に係る画像処理装置内の法線方向推定部の構成を示すブロック図。 本発明における第１１実施形態に係る画像処理方法内の法線方向推定のフローチャート図。 本発明における第１１実施形態に係る画像処理方法内の法線方向推定を模式的に示す概念図。 本発明における第１２実施形態に係る画像処理装置の構成を示すブロック図。 本発明における第１２実施形態に係る画像処理方法のフローチャート図。 本発明における第１２実施形態に係る画像処理方法内の明るさ変調処理のフローチャート図。 本発明における第１２実施形態に係る画像処理方法内の方法１による角度変調分算出を表す模式図。 本発明における第１２実施形態に係る画像処理方法内の方法１による角度変調分算出を表す模式図。 本発明における第１２実施形態に係る画像処理方法内の方法１による角度変調分算出を表す模式図。 本発明における第１２実施形態に係る画像処理方法内の方法２による角度変調分算出を表す模式図。 本発明における第１２実施形態に係る画像処理装置における制御係数ｗｄ１とｗｄ２の意味を示す図。 本発明における第１２実施形態に係る画像処理装置における制御係数例を示す図。 本発明における第１２実施形態に係る画像処理装置における角度変調分から明るさ変調分への変換を示す図。 本発明における第１２実施形態に係る画像処理方法の効果を模式的に示す図。 本発明における第１２実施形態に係る画像処理方法の効果を模式的に示す図。 本発明における第１２実施形態に係る画像処理装置における最適光源推定の評価関数例を示す図。 本発明における第１２実施形態に係る画像処理装置における光源方向を示す図。 本発明における第１３実施形態に係る画像処理装置の構成を示すブロック図。 本発明における第１３実施形態に係る画像処理方法のフローチャート図。 本発明における第１３実施形態に係る画像処理方法の効果を模式的に示す図。 本発明における第１３実施形態に係る画像処理方法の効果を模式的に示す図。 本発明における第１４実施形態に係る画像処理装置の構成を示すブロック図。 本発明における第１４実施形態に係る画像処理方法のフローチャート図。 本発明における第１４実施形態に係る画像処理方法の効果を模式的に示す図。 本発明における第１４実施形態に係る画像処理方法の効果を模式的に示す図。 本発明における第１５実施形態に係る画像処理装置の構成を示すブロック図。 本発明における第１５実施形態に係る画像処理方法のフローチャート図。 本発明における第１５実施形態に係る画像処理方法の効果を模式的に示す図。 本発明における第１５実施形態に係る画像処理方法の効果を模式的に示す図。 本発明における第１６実施形態に係る画像処理装置の構成を示すブロック図。 本発明における第１６実施形態に係る画像処理方法の動画に対する法線方向推定の変動を模式的に示す図。 本発明における第１７実施形態に係る画像処理装置の構成を示すブロック図。 本発明における第１７実施形態に係る画像処理方法で１つのバーにより異なる２つの処理を制御する概念図。 本発明における第１から第１７実施形態に係る発明による陰影付加方向の模式図。 従来の画像処理装置の構成を示すブロック図。

符号の説明

１００、２００、３００、４００、５００、６００、１２００、１３００、１４００、１５００ 画像処理装置
２０１ 補正階調導出部
１７００ 画像処理装置（表示装置）
１１ 明るさ算出部
１３ 法線方向推定部
１４ 陰影強調画像生成部
１５ 出力部
３０ 水平方向微分算出部
３１ 垂直方向微分算出部
３２ 法線方向ベクトル算出部
４１ 仮想光源設定部
４２ 拡散反射成分算出部
４３ 鏡面反射成分算出部
４４ 環境成分算出部
４５ 合成係数算出部
４６ 陰影成分画像生成部
４７ 陰影強調画像算出部
４８ 色差成分算出部
４９ 陰影強調画像
５０ 光強調画像生成部
６０ 仮想付加光源設定部
６１ 付加拡散反射成分算出部
６２ 付加鏡面反射成分算出部
６３ 付加環境成分算出部
６４ 第２合成係数算出部
６５ 光付加画像生成部
６６ 光強調画像算出部
７０ 合成部
７１ 明るさ対比算出部
７２ フィルタ処理部
７３ 差分明るさ算出部
７４ 補正分算出部
７５ 陰影による減少生成部
７６ 光による加算生成部
７７ 変化分合成部
８０ 第３合成係数算出部
８１ 明るさ合成部
９１ 周辺明るさ情報算出部
９２ 明るさ対比量算出部
１００ ＸＹ成分強調量算出部
１０１ 法線ベクトル調整部
１１０ Ｚ成分算出部
１２０ 視覚的奥行き量算出部
１３０ 色対比算出部
１３１ 色情報
１３２ 第２視覚的奥行き量算出部
１４０ 第３視覚的奥行き量算出部
１２２００ 法線平滑化部
１２２０１ 法線方向変調部
２０２ 輝度変調分算出部
２０３ 合成部
２１０ 第２合成部
２２０ 第３合成部
１５３００ 第４合成部
８０４００ 時間方向法線平滑化部
３０００ 表示部
３００１ ユーザモード選択部
３００２ 仮想光源方法パラメータ、強度パラメータ制御信号

Claims (36)

1. 画素からなる２次元画像を形成することができる入力された画像信号から、前記画像信号の明るさ情報を算出する明るさ情報算出部と、
   前記画像信号により形成される前記２次元画像上に奥行き感を与えるために、前記明るさ情報から、前記画素ごと又は複数の前記画素からなる領域ごとに法線方向を推定し、推定された法線方向に基づいて、前記画素ごと又は前記領域ごとに３次元ベクトルである法線方向ベクトルを取得する法線方向推定部と、
   前記法線方向推定部で取得された前記法線方向ベクトルに基づいて前記明るさ情報の補正量を求め、前記明るさ情報の前記補正量に基づいて前記画像信号の前記明るさ情報を補正する補正階調導出部とを備え、
   前記法線方向推定部は、前記２次元画像が形成する平面上には含まれない第３方向の成分の値である第３方向成分値を所定の値である第１の値に設定し、前記２次元画像上で前記画素の画素位置を決定するための２次元座標情報である、第１方向の成分の値である第１方向成分値および第２方向の成分の値である第２方向成分値と、設定した前記第３方向成分値と、の３つの方向成分の値により前記法線方向ベクトルを決定するものであり、複数の前記画素について、前記第３方向成分値を前記第１の値と同じ値にして、前記画素ごと又は前記領域ごとに前記法線ベクトルを決定する、
   る画像処理装置。
2. 前記補正階調導出部により前記明るさ情報が補正された前記画像信号を、所定の形式により出力させる出力部をさらに備える、
   請求項１に記載の画像処理装置。
3. 前記補正階調導出部は、少なくとも１つの仮想光源を設定し、前記仮想光源の光源位置を決定し、前記画素の画素位置と前記光源位置との位置関係および前記法線方向ベクトルに基づいて、前記画像信号の前記明るさ情報を補正する、
   請求項１又は２に記載の画像処理装置。
4. 前記補正階調導出部は、少なくとも１つの仮想光源を設定し、前記画素ごと又は前記領域ごとに前記仮想光源への方向を持つ３次元ベクトルである光源方向ベクトルを求め、前記法線方向ベクトルと前記光源方向ベクトルとに基づいて、前記画像信号の前記明るさ情報を補正する、
   請求項１から３のいずれかに記載の画像処理装置。
5. 前記補正階調導出部は、前記画素の画素値に対して陰影付加処理を行うことで、前記画像信号の前記明るさ情報を補正する、
   請求項４に記載の画像処理装置。
6. 前記補正階調導出部は、前記画素の画素値に対して光付加処理を行うことで、前記画像信号の前記明るさ情報を補正する、
   請求項４に記載の画像処理装置。
7. 前記法線方向推定部は、前記画素の画素値の前記第１方向についての微分値に基づいて、前記法線方向ベクトルの前記第１方向成分値を決定する、
   請求項1に記載の画像処理装置。
8. 前記法線方向推定部は、前記画素の画素値の前記第２方向についての微分値に基づいて、前記法線方向ベクトルの前記第２方向成分値を決定する、
   請求項1に記載の画像処理装置。
9. 前記法線方向推定部は、前記画素の画素値の前記第１方向についての微分値に基づいて、前記法線方向ベクトルの前記第１方向成分値を決定し、前記画素の画素値の前記第２方向についての微分値に基づいて、前記法線方向ベクトルの前記第２方向成分値を決定し、
   前記補正階調導出部は、前記変調法線方向ベクトルに基づいて、前記明るさ情報の補正量を求め、前記明るさ情報の前記補正量に基づいて前記画像信号の前記明るさ情報を補正する、
   請求項1に記載の画像処理装置。
10. 前記明るさ情報の前記補正量は、前記法線方向ベクトルの前記第１方向成分値または前記第２方向成分値の変化に伴い変化する、
    請求項１から９のいずれかに記載の画像処理装置。
11. 前記法線方向推定部は、前記法線方向ベクトルを変調することにより変調法線方向ベクトルを取得し、
    前記補正階調導出部は、前記変調法線方向ベクトルに基づいて、前記明るさ情報の補正量を求め、前記明るさ情報の前記補正量に基づいて前記画像信号の前記明るさ情報を補正する、
    請求項１から１０のいずれかに記載の画像処理装置。
12. 前記法線方向推定部は、前記画素の画素値の前記第１方向についての微分値に基づいて、前記法線方向ベクトルを変調することにより前記変調法線方向ベクトルを取得する、
    請求項１１に記載の画像処理装置。
13. 前記法線方向推定部は、前記画素の画素値の前記第２方向についての微分値に基づいて、前記法線方向ベクトルを変調することにより前記変調法線方向ベクトルを取得する、
    請求項１１に記載の画像処理装置。
14. 前記法線方向推定部は、前記画素の画素値の前記第１方向および前記第２方向についての微分値に基づいて、前記法線方向ベクトルを変調することにより前記変調法線方向ベクトルを取得する、
    請求項１１に記載の画像処理装置。
15. 前記法線方向推定部は、前記画像信号において処理対象とされている前記画素である注目画素についての前記明るさ情報と、前記注目画素の周辺画素の前記明るさ情報とに基づいて明るさ対比量を算出し、前記明るさ対比量に基づいて、前記法線方向ベクトルの前記第３方向成分値を変化させることにより前記変調法線方向ベクトルを取得する、
    請求項１１から１４のいずれかに記載の画像処理装置。
16. 前記法線方向推定部は、前記画像信号において処理対象とされている前記画素である注目画素についての前記明るさ情報と、前記注目画素の周辺画素の前記明るさ情報とに基づいて明るさ対比量を算出し、前記明るさ対比量に基づいて、視覚的奥行き感の程度を示す第１視覚的奥行き量を算出し、前記第１視覚的奥行き量に基づいて、前記法線方向ベクトルの前記第１方向成分値および前記第２方向成分値を変化させることにより前記変調法線方向ベクトルを取得する、
    請求項１１から１４のいずれかに記載の画像処理装置。
17. 前記法線方向推定部は、前記画像信号において処理対象とされている前記画素である注目画素についての色情報と、前記注目画素の周辺画素の前記色情報とに基づいて色対比量を算出し、前記色対比量に基づいて、視覚的奥行き感の程度を示す第２視覚的奥行き量を算出し、前記第２視覚的奥行き量に基づいて、前記法線方向ベクトルの前記第１方向成分値および前記第２方向成分値を変化させることにより前記変調法線方向ベクトルを取得する、
    請求項１１から１４のいずれかに記載の画像処理装置。
18. 前記法線方向推定部は、
    前記画像信号において処理対象とされている前記画素である注目画素についての前記明るさ情報と、前記注目画素の周辺画素の前記明るさ情報とに基づいて明るさ対比量を算出し、前記明るさ対比量に基づいて、視覚的奥行き感の程度を示す第１視覚的奥行き量を算出し、
    前記画像信号において処理対象とされている前記画素である注目画素についての色情報と、前記注目画素の周辺画素の前記色情報とに基づいて色対比量を算出し、前記色対比量に基づいて、視覚的奥行き感の程度を示す第２視覚的奥行き量を算出し、
    前記第１視覚的奥行き量および前記第２視覚的奥行き量に基づいて、前記法線方向ベクトルの前記第１方向成分値および前記第２方向成分値を変化させることにより前記変調法線方向ベクトルを取得する、
    請求項１１から１４のいずれかに記載の画像処理装置。
19. 前記法線方向推定部は、前記法線方向ベクトルを変調することにより変調法線方向ベクトルを取得し、
    前記補正階調導出部は、前記変調法線方向ベクトルおよび前記光源方向ベクトルに基づいて、前記明るさ情報の補正量を求め、前記明るさ情報の前記補正量に基づいて前記画像信号の前記明るさ情報を補正する、
    請求項４に記載の画像処理装置。
20. 前記法線方向推定部は、前記法線方向ベクトルと前記光源方向ベクトルとのなす角度αに基づいて、前記法線方向ベクトルを変調する、
    請求項１９に記載の画像処理装置。
21. 前記補正階調導出部は、前記角度αが大きくなるに従い、前記明るさ情報の前記補正量を増加させる、
    請求項２０に記載の画像処理装置。
22. 前記補正階調導出部は、前記角度αが、前記２次元画像の法線ベクトルと前記光源方向ベクトルとのなす角度であるα０より大きい場合であって、第１閾値角度α１以下の場合、前記角度αが大きくなるに従い、前記明るさ情報の前記補正量を増加させ、
    前記角度αが前記第１閾値角度α１より大きくなった場合、前記角度αが大きくなるに従い、前記補正量を減少させる、
    請求項２０に記載の画像処理装置。
23. 前記補正階調導出部は、前記補正量により、前記画素の画素値に対して陰影付加処理を行うことで、前記画像信号の前記明るさ情報を補正する、
    請求項２２に記載の画像処理装置。
24. 前記法線方向ベクトルを変調させる特性を決定させるための情報を入力することができる入力部をさらに備える、
    請求項１１に記載の画像処理装置。
25. 前記補正階調導出部は、前記光源方向ベクトルと前記法線方向ベクトルとの内積値に基づいて、前記画像信号の前記明るさ情報を補正する、
    請求項４に記載の画像処理装置。
26. 前記補正階調導出部は、前記光源方向ベクトルと前記法線方向ベクトルとを、数式モデルまたはルックアップテーブルに適用させることで、陰影強調画像信号を取得し、前記陰影強調画像信号を前記画像信号に合成することにより、前記画像信号の前記明るさ情報を補正する、
    請求項４又は２５に記載の画像処理装置。
27. 前記補正階調導出部は、前記光源方向ベクトルと前記法線方向ベクトルとを、数式モデルまたはルックアップテーブルに適用させることで、光強調画像信号を取得し、前記光強調画像信号を前記画像信号に合成することにより、前記画像信号の前記明るさ情報を補正する、
    請求項４又は２５に記載の画像処理装置。
28. 前記補正階調導出部は、前記光源方向ベクトルと前記法線方向ベクトルとを、数式モデルまたはルックアップテーブルに適用させることで、陰影強調画像信号および光強調画像信号を取得し、前記陰影強調画像信号および前記光強調画像信号を前記画像信号に合成することにより、前記画像信号の前記明るさ情報を補正する、
    請求項４又は２５に記載の画像処理装置。
29. 前記法線方向推定部は、前記法線方向ベクトルを空間方向に平滑化した平滑化法線方向ベクトルを求め、
    前記補正階調導出部は、前記平滑化法線方向ベクトルに基づいて前記画像信号の前記明るさ情報を補正する、
    請求項１から２８のいずれかに記載の画像処理装置。
30. 前記法線方向推定部は、前記法線方向ベクトルを時間方向に平滑化した平滑化法線方向ベクトルを求め、
    前記補正階調導出部は、前記平滑化法線方向ベクトルに基づいて前記画像信号の前記明るさ情報を補正する、
    請求項１から２８のいずれかに記載の画像処理装置。
31. 画素からなる２次元画像を形成することができる入力された画像信号から、前記画像信号の明るさ情報を算出する明るさ情報算出ステップと、
    前記画像信号により形成される前記２次元画像上に奥行き感を与えるために、前記明るさ情報から、前記画素ごと又は複数の前記画素からなる領域ごとに法線方向を推定し、推定された法線方向に基づいて、前記画素ごと又は前記領域ごとに３次元ベクトルである法線方向ベクトルを取得する法線方向推定ステップと、
    前記法線方向推定ステップで取得された前記法線方向ベクトルに基づいて前記明るさ情報の補正量を求め、前記明るさ情報の前記補正量に基づいて前記画像信号の前記明るさ情報を補正する補正階調導出ステップと、
    を備え、
    前記法線方向推定ステップでは、前記２次元画像が形成する平面上には含まれない第３方向の成分の値である第３方向成分値が所定の値である第１の値に設定され、前記２次元画像上で前記画素の画素位置を決定するための２次元座標情報である、第１方向の成分の値である第１方向成分値および第２方向の成分の値である第２方向成分値と、設定した前記第３方向成分値と、の３つの方向成分の値により前記法線方向ベクトルが決定され、複数の前記画素について、前記第３方向成分値を前記第１の値と同じ値にして、前記画素ごと又は前記領域ごとに前記法線ベクトルが決定される、
    画像処理方法。
32. コンピュータを
    画素からなる２次元画像を形成することができる入力された画像信号から、前記画像信号の明るさ情報を算出する明るさ情報算出部、
    前記画像信号により形成される前記２次元画像上に奥行き感を与えるために、前記明るさ情報から、前記画素ごと又は複数の前記画素からなる領域ごとに法線方向を推定し、推定された法線方向に基づいて、前記画素ごと又は前記領域ごとに３次元ベクトルである法線方向ベクトルを取得する法線方向推定部、
    前記法線方向推定部で取得された前記法線方向ベクトルに基づいて前記明るさ情報の補正量を求め、前記明るさ情報の前記補正量に基づいて前記画像信号の前記明るさ情報を補正する補正階調導出部、
    として機能させ、
    前記法線方向推定部は、前記２次元画像が形成する平面上には含まれない第３方向の成分の値である第３方向成分値を所定の値である第１の値に設定し、前記２次元画像上で前記画素の画素位置を決定するための２次元座標情報である、第１方向の成分の値である第１方向成分値および第２方向の成分の値である第２方向成分値と、設定した前記第３方向成分値と、の３つの方向成分の値により前記法線方向ベクトルを決定するものであり、複数の前記画素について、前記第３方向成分値を前記第１の値と同じ値にして、前記画素ごと又は前記領域ごとに前記法線ベクトルを決定するように機能させる
    ためのプログラム。
33. コンピュータを
    画素からなる２次元画像を形成することができる入力された画像信号から、前記画像信号の明るさ情報を算出する明るさ情報算出部、
    前記画像信号により形成される前記２次元画像上に奥行き感を与えるために、前記明るさ情報から、前記画素ごと又は複数の前記画素からなる領域ごとに法線方向を推定し、推定された法線方向に基づいて、前記画素ごと又は前記領域ごとに３次元ベクトルである法線方向ベクトルを取得する法線方向推定部、
    前記法線方向推定部で取得された前記法線方向ベクトルに基づいて前記明るさ情報の補正量を求め、前記明るさ情報の前記補正量に基づいて前記画像信号の前記明るさ情報を補正する補正階調導出部、
    として機能させ、
    前記法線方向推定部は、前記２次元画像が形成する平面上には含まれない第３方向の成分の値である第３方向成分値を所定の値である第１の値に設定し、前記２次元画像上で前記画素の画素位置を決定するための２次元座標情報である、第１方向の成分の値である第１方向成分値および第２方向の成分の値である第２方向成分値と、設定した前記第３方向成分値と、の３つの方向成分の値により前記法線方向ベクトルを決定するものであり、複数の前記画素について、前記第３方向成分値を前記第１の値と同じ値にして、前記画素ごと又は前記領域ごとに前記法線ベクトルを決定するように機能させる
    るためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
34. 画素からなる２次元画像を形成することができる入力された画像信号から、前記画像信号の明るさ情報を算出する明るさ情報算出部と、
    前記画像信号により形成される前記２次元画像上に奥行き感を与えるために、前記明るさ情報から、前記画素ごと又は複数の前記画素からなる領域ごとに法線方向を推定し、推定された法線方向に基づいて、前記画素ごと又は前記領域ごとに３次元ベクトルである法線方向ベクトルを取得する法線方向推定部と、
    前記法線方向推定部で取得された前記法線方向ベクトルに基づいて前記明るさ情報の補正量を求め、前記明るさ情報の前記補正量に基づいて前記画像信号の前記明るさ情報を補正する補正階調導出部と、
    を備え、
    前記法線方向推定部は、前記２次元画像が形成する平面上には含まれない第３方向の成分の値である第３方向成分値を所定の値である第１の値に設定し、前記２次元画像上で前記画素の画素位置を決定するための２次元座標情報である、第１方向の成分の値である第１方向成分値および第２方向の成分の値である第２方向成分値と、設定した前記第３方向成分値と、の３つの方向成分の値により前記法線方向ベクトルを決定するものであり、複数の前記画素について、前記第３方向成分値を前記第１の値と同じ値にして、前記画素ごと又は前記領域ごとに前記法線ベクトルを決定する、
    集積回路。
35. ユーザの指示により処理モードを選択させるユーザモード選択部と、
    前記出力部からの出力を画像として表示させる表示部と、
    請求項１から３０のいずれかに記載の画像処理装置と、
    を備える表示装置。
36. 前記ユーザモード選択部は、少なくとも、前記明るさ情報の補正の強度に関する情報を含む前記処理モードを選択させる、
    請求項３５に記載の表示装置。

Images