JP6869652B2 - 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 - Google Patents

Description

本発明は、被写体の仮想光源画像のノイズを低減する画像処理装置に関する。

従来から、光源情報および物体の形状や反射特性などの物理的な情報に基づいて、物体の見えを再現する画像処理技術（例えばコンピュータグラフィックス：ＣＧ）が知られている。特に、実在する被写体をある光源環境下で撮像し、後から仮想的に設定した光源環境下での見えを画像処理により再現する技術をリライティングと呼ぶ。写真撮影の技術としてストロボやレフ板を用いたライティングがあるが、機材や撮影者のスキルが要求されるため、意図通りの写真を撮ることは難しく、撮影後の修正も不可能である。リライティングは、これらの課題を解決することができる。

一般に、被写体の物理的な情報は未知であるため、様々な方法によって取得される。例えば形状情報は、レーザ光を用いた三角測量や２眼ステレオなどの方法で距離情報から取得する。一方、照度差ステレオ法などにより、３次元形状ではなく被写体の面法線情報を取得する場合もある。反射特性は、光源環境や視線方向を変えながら被写体を撮像した画像から取得する方法が知られている。反射特性は、面法線情報と合わせて、双方向反射率分布関数（ＢＲＤＦ）などのモデルとして表現されることもある。特許文献１には、種々の方法により取得された深度マップと画像認識により推定した反射特性とに基づいてリライティングする画像作成装置が開示されている。

特開２０１３−２３５５３７号公報

取得された形状や反射特性には、取得誤差が含まれる。これらの誤差を含んだ情報に基づいてリライティングを行うと、被写体の見えを再現した仮想光源画像（リライティング画像）にも輝度ノイズが生じる。輝度ノイズの大きさは、形状や反射特性の取得誤差からは一意に決まらず、再現する光源情報、被写体の形状、および、反射特性に応じて、領域ごとに変化する。したがって、この変化を考慮せずにノイズ低減処理を行うと、残留ノイズやぼけが発生し、好ましい画質の再現画像が得られない。しかしながら、特許文献１には、ノイズ低減処理について開示されていない。

そこで本発明は、被写体の仮想光源画像に含まれるノイズを効果的に低減することが可能な画像処理装置、撮像装置、画像処理装置、画像処理プログラム、および、記憶媒体を提供する。

本発明の一側面としての画像処理装置は、被写体の仮想光源画像を生成する画像処理装置であって、光源情報と前記被写体の法線情報とに基づいて、前記仮想光源画像を生成する生成手段と、ノイズ低減処理に用いられるノイズ低減情報を前記法線情報に基づいて決定する決定手段とを有する。

本発明の他の側面としての撮像装置は、被写体の仮想光源画像を生成する撮像装置であって、撮像光学系を介して形成された光学像を光電変換する撮像手段と、前記画像処理装置とを有する。

本発明の他の側面としての画像処理方法は、被写体の仮想光源画像を生成する画像処理方法であって、光源情報と前記被写体の法線情報とに基づいて、前記仮想光源画像を生成するステップと、ノイズ低減処理に用いられるノイズ低減情報を前記法線情報に基づいて決定するステップとを有する。

本発明の他の側面としての画像処理プログラムは、前記画像処理方法をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、被写体の仮想光源画像に含まれるノイズを効果的に低減することが可能な画像処理装置、撮像装置、画像処理装置、画像処理プログラム、および、記憶媒体を提供することができる。

実施例１〜３における画像処理装置のブロック図である。 実施例１におけるノイズ低減処理のフローチャートである。 各実施例におけるノイズ量データのテーブルである。 各実施例における反射特性の説明図である。 実施例２におけるノイズ低減処理のフローチャートである。 実施例３におけるノイズ低減処理のフローチャートである。 実施例４におけるノイズ低減処理のフローチャートである。 実施例４における画像処理装置のブロック図である。 各実施例における反射特性の変数の説明図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

本実施形態の画像処理装置は、被写体の仮想光源画像に含まれるノイズを効果的に低減することができる。以下、具体的な実施例を説明する前に、本実施形態の概要について述べる。本発明の各実施例は、仮想的に設定した光源環境下での被写体の見えを再現するリライティングに関する。被写体の見えは、物理的には、被写体の形状情報、被写体の反射特性情報、光源情報で決定される。

形状情報の一種として、例えば距離情報がある。距離情報は、レーザ光を用いた三角測量や２眼ステレオなどの公知の方法で取得可能である。また、被写体表面の法線情報を用いることも有効である。これは、光源からの光が被写体によって反射される際の反射光の物理的な振る舞いは、局所的な面法線に依存するためである。したがって、３Ｄ形状や距離情報として被写体の形状情報を取得した場合、これらの情報から法線情報を取得する必要がある。面法線情報を直接取得する方法としては、偏光を利用する方法や照度差ステレオなどの公知の方法がある。ここで、法線情報とは、法線方向ベクトルや、法線を表す各自由度を指す。

反射特性とは、一定の強度で被写体に光が入射した際に、その光源方向に関連付けて一意に反射光の強度を決定する特性である。一般には、反射特性は、被写体の面法線や観測する視線方向にも依存する。このため反射特性ｆは、以下の式（１）のように表される。

式（１）において、ｉは反射光の輝度、Ｅは入射光の輝度、ｓは物体から光源への方向を示す単位ベクトル（光源方向ベクトル）、ｎは物体の単位面法線ベクトル、ｖは物体から観測方向を示す単位ベクトル（視線ベクトル）である。これらの関係は、反射特性の変数の説明図としての図９に示されている。また、反射特性をパラメトリックモデルとして表す場合、反射特性モデルの係数ベクトルＸも変数として用いる。ここで、係数ベクトルＸは係数の数と等しい次元を有する。反射特性情報とは、反射特性ｆや反射特性モデルの係数を指す。パラメトリックモデルは、例えばランバート反射モデル、Ｏｒｅｎ−Ｎａｙｅｒモデル、Ｐｈｏｎｇモデル、Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデル、Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデルなどがあり、モデルによって適合する被写体が限られる。例えばランバート反射モデルでは、視線方向によらないため、均一拡散する被写体に適合し、視線方向によって見え方が変わる被写体では視線ベクトルに依存する他のモデルで表すことが適当である。またこれらのモデルは併用して用いる場合も多く、拡散反射成分と鏡面反射成分を別のモデルで表し、被写体の反射特性はその和として表現することも多い。鏡面反射光とは、物体表面での正反射であり、物体表面（界面）においてフレネルの式に従うフレネル反射を指す。拡散反射光とは、被写体の表面を透過した後に物体内部で散乱されて返ってくる光を指す。一般に、物体の反射光は、鏡面反射光と拡散反射光の各成分からなる。

光源情報とは、光源の強度、光源の位置、光源の方向、光源の波長、光源のサイズ、または、光源の周波数特性などに関する情報を含むが、これらに限定されるものではない。

本実施形態の画像処理装置は、被写体の仮想光源画像を生成する画像処理装置であって、生成手段（仮想光源画像生成部１０３ａ）および決定手段（ノイズ低減情報決定部１０３ｂ）を有する。生成手段は、光源情報と被写体の法線情報とに基づいて、仮想光源画像を生成する。決定手段は、法線情報に基づいて、ノイズ低減処理に用いられるノイズ低減情報を決定する。このように、光源情報と被写体の法線情報とを用いることにより、被写体の仮想光源画像を生成することができる。これらの情報が仮想的に設定されたものではなく実際の被写体から取得した情報を用いる場合、仮想光源画像にもノイズが含まれる。このノイズを低減するためのノイズ低減処理を、被写体の法線情報に基づいて行うことにより、被写体の仮想光源画像に含まれるノイズを効果的に低減することができる。

生成手段は、更に被写体の反射特性情報に基づいて仮想光源画像を生成してもよい。被写体の反射特性情報を用いることにより、被写体の反射率や光沢感、面粗さなど被写体の質感を再現した仮想光源画像を生成することができる。

決定手段は、更に光源情報に基づいてノイズ低減情報を決定してもよい。仮想光源画像を生成する際に光源条件を設定する場合、光源情報にも基づいてノイズ低減情報を決定することにより、被写体の仮想光源画像に含まれるノイズを効果的に低減することができる。

決定手段は、更に反射特性情報に基づいてノイズ低減情報を決定してもよい。仮想光源画像を生成する際に反射特性情報を設定する場合、反射特性情報にも基づいてノイズ低減情報を決定することで、被写体の仮想光源画像に含まれるノイズを効果的に低減することができる。

決定手段は、反射特性情報により決定される反射率に基づいて、ノイズ低減情報を決定してもよい。仮想光源画像を生成する際に、高反射率であるほど法線情報や反射特性情報に含まれる誤差が強く影響する。ここで、反射率とは光源の入射角度と反射角度を考慮した反射率であり、例えばＢＲＤＦである。したがって、反射率に基づいてノイズ低減情報を決定することにより、効果的にノイズを低減した仮想光源画像を得ることができる。

決定手段は、法線情報に対する反射特性情報の敏感度に基づいて、ノイズ低減情報を決定してもよい。仮想光源画像を生成する際に、法線情報が一定のノイズ量で取得されている場合でも、反射特性の法線情報に対する敏感度が高いほど、仮想光源画像の輝度値としてはノイズが大きくなる。したがって、反射特性の法線情報に対する敏感度に基づいてノイズ低減情報を決定することにより、効果的にノイズを低減した仮想光源画像を得ることができる。

反射特性情報はパラメトリックモデルにより表現されており、決定手段は、反射特性情報のパラメトリックモデルの係数に対する敏感度に基づいて、ノイズ低減情報を決定してもよい。仮想光源画像を生成する際に、反射特性モデルの係数が一定のノイズ量で取得されている場合でも、反射特性の係数に対する敏感度が高いほど、仮想光源画像の輝度値としてはノイズが大きくなる。したがって、反射特性の係数に対する敏感度に基づいてノイズ低減情報を決定することにより、効果的にノイズを低減した仮想光源画像を得ることができる。

決定手段は、光源情報のうち光源の強度に関する情報に基づいて、ノイズ低減情報を決定してもよい。仮想光源画像を生成する際に、入射光が高強度であるほど法線情報や反射特性情報に含まれる誤差が強く影響する。したがって、光源強度に基づいてノイズ低減情報を決定することにより、効果的にノイズを低減した仮想光源画像を得ることができる。

決定手段は、光源情報のうち光源の空間分布に関する情報に基づいて、ノイズ低減情報を決定してもよい。光源の空間分布とは、光源環境を点光源の集まりとして考えたときの点光源の強度分布である。光源分布を表現する際に、被写体上の点から見た全方位の光源を球面調和関数で展開することで周波数解析を行うことができる。このようにして得られる光源分布の空間周波数（周波数特性）は、物体の見えに大きく影響する。光源分布のある空間周波数成分が小さいほど、法線や反射特性のその空間周波数での変化は物体の見えに影響しなくなる。同様に、仮想光源画像を生成する際の光源分布が含む空間周波数成分の大きさに対応して、周波数の法線情報誤差や反射特性情報誤差に起因する仮想光源画像の輝度ノイズ量が変わる。したがって、光源の周波数特性に基づいてノイズ低減情報を決定することにより、効果的にノイズを低減した仮想光源画像を得ることができる。

決定手段は、仮想光源画像の輝度値（例えば、光源情報と反射特性情報により決定される）に基づいて、ノイズ低減情報を決定してもよい。仮想光源画像を生成する際に、光源情報と反射特性情報に応じて輝度が高いほど法線情報や反射特性情報に含まれる誤差が強く影響する。したがって、仮想光源画像の輝度値に基づいてノイズ低減情報を決定することにより、効果的にノイズを低減した仮想光源画像を得ることができる。

決定手段は、法線誤差情報に基づいてノイズ低減情報を決定してもよい。法線情報の取得条件に応じて、取得した法線情報の誤差量は異なることがある。例えば、偏光情報を用いて被写体の法線情報を取得する場合、被写体の法線の向きや材質によって偏光度が変わり、領域に応じて異なる誤差量となる。したがって、法線誤差情報に基づいてノイズ低減情報を決定することにより、効果的にノイズを低減した仮想光源画像を得ることができる。

決定手段は、反射特性誤差情報に基づいてノイズ低減情報を決定してもよい。反射特性情報の取得条件に応じて、取得した反射特性情報の誤差量は異なることがある。例えば、光源や撮像装置を移動させながら全周のＢＲＤＦを測定する場合、被写体の反射率に応じて輝度ノイズ量が変わり、領域に応じて異なる誤差量となる。したがって、反射特性誤差情報に基づいてノイズ低減情報を決定することにより、効果的にノイズを低減した仮想光源画像を得ることができる。

生成手段は、更に視線情報を用いて仮想光源画像を生成し、決定手段は、更に視線情報に基づいてノイズ低減情報を決定してもよい。仮想光源画像を生成する際に視線方向を制御する場合や視線方向に依存した反射モデルを扱う場合、被写体の仮想的な見えを再現する際に、視線方向や視点位置などの視線情報が必要である。被写体の反射特性が視線情報に依存するため、視線情報に基づいてノイズ低減情報を決定することにより、効果的にノイズを低減した仮想光源画像を得ることができる。

ノイズ低減手段（ノイズ低減処理部１０３ｃ）は、ノイズ低減情報を用いて法線情報に対してノイズ低減処理を行ってもよい。法線情報のノイズ低減は既存の方法で行えばよく、例えば、各自由度について画像の輝度値と同等にみなして、既存のノイズ低減処理を行うことができる。光源情報と法線情報と反射特性情報とを用いて法線情報のノイズ低減を行うことにより、仮想光源画像の生成まで考慮した適切なパラメータで、面法線のばらつきを低減することが可能である。法線情報（面法線情報）を用いて仮想光源画像を生成することにより、より残留ノイズやぼけを抑えた高画質の仮想光源画像を得ることができる。

ノイズ低減手段は、ノイズ低減情報を用いて反射特性情報に対してノイズ低減処理を行ってもよい。反射特性情報のノイズ低減は、例えば、反射モデルのパラメータを画像の輝度値と同等にみなして、既存のノイズ低減処理を行うことができる。光源情報と法線情報と反射特性情報を用いて反射特性情報のノイズ低減を行うことにより、仮想光源画像の生成まで考慮した適切なパラメータで、反射特性情報のばらつきを低減することが可能となる。反射特性情報を用いて仮想光源画像を生成することにより、より残留ノイズやぼけを抑えた高画質の仮想光源画像を得ることができる。

ノイズ低減手段は、ノイズ低減情報を用いて仮想光源画像に対してノイズ低減処理を行ってもよい。ここで仮想光源画像とは、光源の位置や強度、角度特性、波長、個数など各種光源条件を変更した際の被写体の見えを画像処理によって再現した画像のことを指す。仮想光源として用いる光源条件は、仮想的に作成してもよく、画像を視聴する環境の光源や、別途実環境から取得した光源条件などでもよい。

ノイズ低減手段は、ノイズ低減情報を用いて仮想光源画像に寄与する少なくとも１つの反射成分画像に対してノイズ低減処理を行ってもよい。仮想光源画像を生成する際の被写体の反射特性として、拡散反射成分と鏡面反射成分を個別のパラメトリックモデルとして用いる場合、各反射成分に対応した仮想光源画像（反射成分画像）を得ることができる。一般に、拡散反射成分と鏡面反射成分では、輝度や各変数に対する敏感度などが大きく異なるため、反射成分画像ごとにノイズ低減処理を行うことにより、より反射成分の性質を考慮して残留ノイズやぼけを抑えた高画質の仮想光源画像を得ることができる。また、仮想光源画像を生成する際に被写体の質感を変更する目的で、反射成分ごとに強度を調整する場合がある。反射成分ごとの操作を別途行う場合に反射成分画像ごとにノイズ低減処理を行うことにより、より効果的にノイズを低減した仮想光源画像を得ることができる。

ノイズ低減手段は、仮想光源画像に寄与する少なくとも１つの光源による仮想光源画像に対してノイズ低減処理を行ってもよい。仮想光源画像を生成する際の輝度値の線形性により、光源を複数に分割し、各分割光源による仮想光源画像の和として最終的な仮想光源画像を得ることができる。また、光源の位置、強度、または、周波数特性などに応じて法線情報や反射特性情報の誤差が仮想光源画像の輝度値に与える影響が異なる。したがって、各分割光源による仮想光源画像に対してノイズ低減処理を行うことにより、効果的にノイズを低減した仮想光源画像を得ることができる。

ノイズ低減情報は、被写体の領域ごとに異なってもよい。また決定手段は、仮想光源画像に対して行う輝度補正処理に基づいてノイズ低減情報を決定してもよい。法線情報、反射特性情報、およびこれらの誤差情報は、被写体の領域ごとに異なる。また、光源情報についても、見栄えをよくするため、被写体の領域ごとに異なる強度や向きの光源光を入射させた仮想光源画像を生成することがある。したがって、被写体の領域ごとにノイズ低減情報を決定することにより、効果的にノイズを低減した仮想光源画像を得ることができる。

以下、本実施形態の画像処理装置（撮像装置）に関して、各実施例において具体的に説明する。

まず、図１を参照して、本発明の実施例１における撮像装置（画像処理装置）について説明する。図１は、本実施例における撮像装置１００のブロック図である。

図１において、撮像部１０１は、撮像光学系１０１ａ（撮影レンズ）、撮像素子１０１ｂ、および、Ａ／Ｄコンバータ１０１ｃを有する。撮像光学系１０１ａは、被写体（不図示）からの光を撮像素子１０１ｂ上に結像（形成）する。撮像素子１０１ｂは、ＣＣＤセンサやＣＭＯＳセンサなどの光電変換素子を含み、撮像光学系１０１ａを介して形成された被写体像（光学像）を光電変換して画像データ（アナログ信号）を出力する。撮像素子１０１ｂの光電変換により生成されたアナログ信号は、Ａ／Ｄコンバータ１０１ｃでデジタル信号に変換され、画像処理装置１２０（画像処理部１０３）に出力される。なお本実施例において、撮像光学系１０１ａ（レンズ装置）は、撮像素子１０１ｂを備えた撮像装置本体に対して着脱可能に取り付けられている。ただし本実施例はこれに限定されるものではなく、撮像光学系１０１ａと撮像装置本体とが一体的に構成されていてもよい。

情報取得部１０２は、法線情報取得部１０２ａ、光源情報取得部１０２ｂ、視線情報取得部１０２ｃ、および、反射特性情報取得部１０２ｄを有する。法線情報取得部１０２ａ、光源情報取得部１０２ｂ、視線情報取得部１０２ｃ、および、反射特性情報取得部１０２ｄは、撮像部１０１から、仮想光源画像を生成するための法線情報、光源情報、視線情報、および、反射特性情報をそれぞれ取得する。

画像処理部１０３は、仮想光源画像生成部１０３ａ、ノイズ低減情報決定部１０３ｂ、および、ノイズ低減処理部１０３ｃを有する。仮想光源画像生成部１０３ａ（生成手段）は、情報取得部１０２から出力されるデータ（法線情報、光源情報、視線情報、および、反射特性情報）に基づいて、仮想光源画像を生成する。ノイズ低減情報決定部１０３ｂ（決定手段）は、情報取得部１０２から出力されるデータ（法線情報、光源情報、視線情報、および、反射特性情報）に基づいて、ノイズ低減情報を決定する。ノイズ低減処理部１０３ｃは、仮想光源画像に対してノイズ低減処理を行う。本実施例において、情報取得部１０２と画像処理部１０３とにより画像処理装置１２０が構成される。

また撮像装置１００は、画像記録媒体１０４、ＲＯＭ１０５、および、表示部１０６を有する。ノイズ低減処理された画像（ノイズ低減画像）は、半導体メモリや光ディスクなどの画像記録媒体１０４に出力して記録され、または、表示部１０６に出力して表示される。ＲＯＭ１０５は、画像処理部１０３による画像処理において用いられる各種データやプログラムが記憶された記憶手段である。例えば、ＲＯＭ１０５には、光源情報、法線情報、視線情報、および、反射特性情報などのデータに関する仮想光源画像のノイズデータ（予めシミュレーションにより算出された仮想光源画像ノイズ量）が記憶されている。

次に、図２を参照して、本実施例におけるノイズ低減処理（画像処理方法）について説明する。図２は、本実施例におけるノイズ低減処理のフローチャートである。図２の各ステップは、撮像装置１００（画像処理装置１２０）の各部により実行される。また、本実施例のノイズ低減処理は、画像処理装置１２０に含まれるＣＰＵなどのコンピュータにより、コンピュータプログラムとしての画像処理プログラムに従って実行される。また本実施例のノイズ低減処理を、ソフトウエア上で行う代わりに、ハードウエアとして回路上で実行するように構成してもよい。

まずステップＳ１０１において、法線情報取得部１０２ａは、仮想光源画像を生成するための法線情報を取得する。本実施例において、法線情報取得部１０２ａは、予め取得された２次元の奥行き情報である距離マップ（距離情報）を取得し、奥行き情報の微分（差分）を取ることにより、法線情報を算出する。距離マップは、例えば撮像部１０１により取得された視差画像や、Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓなどの公知の方法で取得された情報から取得することができる。法線情報マップを直接に取得する場合、後述の視線情報の算出のため、被写体の距離情報を別途取得してもよい。

続いてステップＳ１０２において、光源情報取得部１０２ｂは、仮想光源画像を生成するための光源情報を取得する。本実施例では、使用者が所望の光源情報を入力する。光源情報は、光源の強度、位置、光源方向、および、波長などを含むが、これらに限定されるものではない。また、予めスポット光源や面光源などの種類を用意しておき、その中から使用者が選択し、必要に応じて光源サイズや光の広がり角などのパラメータを設定する形式としてもよい。また、実環境から取得された光源データを光源情報として読み込むこともでき、画像の視聴環境における光源情報をリアルタイムで取り込んでもよい。また、画面内で領域ごとに異なる光源情報を設定することができ、複数の光源情報を取得してもよい。

続いてステップＳ１０３において、視線情報取得部１０２ｃは、仮想光源画像を生成するための視線情報を取得する。例えば、仮想光源画像の中心に対してステップＳ１０１にて取得した距離情報だけ離れた位置に視点を設定することにより、距離情報と画像上の位置とに基づいて、画素ごとの視線方向を取得することができる。

続いてステップＳ１０４において、反射特性情報取得部１０２ｄは、仮想光源画像を生成するための反射特性情報を取得する。反射特性情報は、例えばパラメトリックモデルの係数組を各画素に対して割り当てればよく、事前に被写体を計測して取得した値を用い、または使用者が任意に設定することができる。また、拡散反射成分と鏡面反射成分とを別々に取得するなど、複数の反射特性情報を取得してもよい。なお、ステップＳ１０１〜Ｓ１０４に関しては、仮想光源画像を生成するために必要な情報が取得できればよく、図２のフローチャートに示される順序でなくてもよい。すなわち、ステップＳ１０１〜Ｓ１０４の順序は任意に変更可能であり、必要に応じてこれらのステップの少なくとも一部を並行して実行してもよい。

続いてステップＳ１０５において、情報取得部１０２は、ステップＳ１０１〜Ｓ１０４にて取得した法線情報、光源情報、視線情報、および、反射特性情報を画像処理部１０３に通信（送信）する。そして仮想光源画像生成部１０３ａは、これらの情報に基づいて仮想光源画像を生成する。被写体上の各点に入射する光の強度と方向は、光源情報に基づいて決定される。このため、反射特性情報に基づいて、法線情報および視線情報の関数として仮想光源画像の輝度値を一意に定めることができる。ステップＳ１０２にて複数の光源情報を取得した場合や、ステップＳ１０４にて複数の反射特性情報を取得した場合、仮想光源画像は、複数の光源情報や反射特性情報に対応して各々の仮想光源画像を別々に生成してもよい。このように生成された複数の仮想光源画像を、最終的な露出が適正となるように補正して任意の比率で加算することにより、最終的な仮想光源画像を生成することができる。加算対象となる複数の画像は、仮想光源画像だけでなく実際に撮影した画像を含んでもよい。なおステップＳ１０５は、後述のステップＳ１０６の後に実行してもよい。

続いてステップＳ１０６において、ノイズ低減情報決定部１０３ｂは、ステップＳ１０１〜Ｓ１０４にて取得された法線情報、光源情報、視線情報、および、反射特性情報に基づいて、後述の方法を用いてノイズ低減情報を決定する。本実施例では、ノイズ低減情報として仮想光源画像ノイズ量σｒを用いる。ノイズ量とは、ノイズ分布の標準偏差である。仮想光源画像は輝度情報からなるため、仮想光源画像ノイズ量σｒとは仮想光源画像上の輝度ノイズ量である。

仮想光源画像ノイズ量σｒは、光源情報、法線情報、視線情報、および、反射特性情報の各種データに対する仮想光源画像のノイズ量データであり、このノイズ量データを予めシミュレーションにより算出してＲＯＭ１０５に記憶しておけばよい。本実施例では、各種データの全ての組み合わせに対するノイズ量データを離散的に算出すればよい。または、各種データのそれぞれに起因するノイズ量を算出しておき、後述するように多変数関数における誤差の伝播則を用いて全体としてのノイズ量を求めてもよい。そして、ノイズ低減情報を決定する際、実際の各種データに合致するときのノイズ量をＲＯＭ１０５から取得すればよい。仮想光源画像ノイズ量σｒは、距離情報を取得した際の撮像部１０１のＩＳＯ感度や撮像画像の輝度レベルなどの撮影条件ごとに記憶してもよい。

図３を参照して、具体的なノイズ量データのテーブルについて説明する。図３は、ノイズ量データのテーブルである。図３に示されるように、各種データに対して仮想光源画像ノイズ量σｒをＲＯＭ１０５などに記憶しておくことにより、ノイズ低減情報を決定することができる。

ここで、各種データに対して仮想光源画像ノイズ量σｒが変化する原理を説明する。本実施例では、反射特性を表す式（１）が、以下の式（２）で表されるようにランバート反射モデルに従う拡散反射成分と簡易なＴｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデルに従う鏡面反射成分との和によって表される場合について説明する。

式（２）において、αは光源方向ｓと視線方向ｖとの２等分線方向と面法線方向ｎのなす角である（図９参照）。また、式（１）の反射特性モデルの係数ベクトルＸを、拡散反射率ｃ_ｄ、鏡面反射率ｃ_ｓ、表面粗さＱからなるものとする。

図４は、式（２）の反射特性の説明図である。図４に示されるように、反射特性は、法線情報、光源情報、視線情報、および、反射特性情報（反射特性モデルのパラメータ）などによる多変数関数である。本実施例において、反射特性は、法線情報のうち面法線方向ｎの天頂角成分θによる反射率の変化を表すが、天頂角θの値やその他の情報に応じて反射率の値や傾きは異なる。したがって、法線情報が天頂角θに対して一定の精度（ノイズ量）で取得できても、仮想光源画像を生成する際に、輝度ノイズの大きさがばらつく。この変化に応じてノイズ低減情報を決定することにより、仮想光源画像生成の際におけるノイズの影響を効果的に低減することができる。本実施例では天頂角θに対する反射率の変化を説明したが、他の変数に対しても同様に考えられる。また、複数の変数が誤差を含む場合、前述の誤差の伝播則を用いて全体としてのノイズ量を求めてもよい。例えば、ノイズ量データを決定するための情報として、法線方向ｎの天頂角θ、方位角φ、および拡散反射率ｃ_ｄを用いる場合、仮想光源画像ノイズ量σｒは、以下の式（３）のように表される。

式（３）において、σ_θ、σ_φ、σ_ｃｄはそれぞれ、法線方向ｎの天頂角θ、方位角φ、および、拡散反射率ｃ_ｄのノイズ量である。∂ｉ／∂θ、∂ｉ／∂φ、∂ｉ／∂ｃ_ｄは、入射光の輝度Ｅを考慮した反射特性の各変数に対する敏感度に相当する。２つ以上の変数のノイズ量に相関がある場合、共分散も考慮すればよい。σ_θ、σ_φ、σ_ｃｄが未知である場合には正確なノイズ量を求めることはできないが、例えば法線方向の誤差がある一定値と仮定した条件下で仮想光源画像ノイズ量σｒを取得すればよい。

データテーブルのフォーマットは、図３に示されるとおりである必要はなく、各変数の誤差情報を含むことや、含まない変数があってもよい。例えば反射特性情報が視線情報に依存しない場合、視線情報を保持する必要はない。また、法線情報が高精度に取得することができ、かつ反射特性情報の影響が支配的であるような場合、法線情報の誤差量を考慮しなくてもよい。仮想光源画像ノイズ量σｒは、仮想光源画像における一定の範囲の領域ごとに取得してもよく、または画素ごとに取得してもよい。

ステップＳ１０２にて複数の光源情報を取得した場合、ステップＳ１０４にて複数の反射特性情報を取得した場合、または、ステップＳ１０５にて複数の仮想光源画像を生成した場合、各仮想光源画像に対してノイズ低減情報を決定すればよい。

複数の光源が存在する場合、式（２）は以下の式（４）のように表される。

仮想光源の光源サイズが有限の大きさを持つ場合も同様に考えることができる。高周波成分を含まない光源分布の場合、高周波ノイズが抑制されるため、それに対応してノイズ低減情報を弱めてもよい。

続いて、図２のステップＳ１０７において、ノイズ低減処理部１０３ｃは、後述の方法によりノイズ低減処理を実行する。ノイズ低減処理された画像は、半導体メモリや光ディスクなどの画像記録媒体１０４に出力され記録され、または、表示部１０６に出力され表示される。ノイズ低減処理として、画像における既存のノイズ低減処理手法を用いることができ、例えば以下の式（５）のように表されるバイラテラルフィルタを用いてもよい。

式（５）において、ｉ，ｊは注目画素の位置、ｆ（ｉ，ｊ）はステップＳ１０５にて生成された仮想光源画像、ｇ（ｉ，ｊ）はノイズ低減処理後の仮想光源画像、ｗはフィルタサイズ、σ_１は空間方向分散値、σ_２は輝度値方向分散値である。輝度値方向分散値σ_２として、仮想光源画像ノイズ量σｒを用いることにより、結果として生じる仮想光源画像のノイズ量に応じたノイズ低減処理を行うことができる。

ノイズ低減処理の対象となる仮想光源画像は、ステップＳ１０５にて生成された画像そのものでなくともよい。例えば、デコンボリューション処理、エッジ強調、Ｒｉｃｈａｒｄｓｏｎ‐Ｌｕｃｙ法のような超解像処理などの高解像度化処理、デモザイキング処理、レベル補正やガンマ補正などの輝度補正処理など、ノイズ低減処理以外の画像処理がなされた画像であってもよい。この場合、画像処理による輝度の変化や空間周波数特性の変化などに伴ってノイズ量が変化するため、画像処理の情報に基づいてノイズ低減情報を決定してもよい。

以上、本実施例ではノイズ低減処理手法としてバイラテラルフィルタを用いる例を説明したが、これに限定されるものではない。光源情報に依存する法線情報ノイズ量σｎや仮想光源画像ノイズ量σｒに応じてノイズ低減処理を行えばよく、他のノイズ低減手法を用いてもよい。

次に、図５を参照して、本発明の実施例２におけるノイズ低減処理について説明する。図５は、本実施例におけるノイズ低減処理のフローチャートである。図５の各ステップは、撮像装置１００（画像処理装置１２０）の各部により実行される。

本実施例の撮像装置（画像処理装置）の基本構成は、実施例１と同様である。本実施例のノイズ低減処理は、ノイズ低減情報決定部１０３ｂが更に法線情報の誤差量（法線誤差情報）に基づいてノイズ低減情報を決定する点で、実施例１とは異なる。なお、図５のステップＳ２０２〜Ｓ２０５は、図２を参照して説明した実施例１のステップＳ１０２〜Ｓ１０５とそれぞれ同様であるため、それらの説明を省略する。

本実施例において、ステップＳ２０１にて法線情報取得部１０２ａが法線情報を取得する際に、法線誤差情報も取得する。法線誤差情報は、法線の各自由度の値の誤差量（ノイズ量）であり、法線情報を取得した際の情報を記録しておけばよい。例えば、実施例１と同様に、撮像部１０１により取得された視差画像から法線情報を算出する場合、撮像した視点間の基線長や奥行きに依存した奥行き情報のばらつき（取得ばらつき）を算出し、そこから法線情報のばらつきを算出すればよい。このばらつきが法線誤差情報である。法線情報の誤差（取得誤差）があると、法線情報を用いて生成する仮想光源画像に誤差量に対応して輝度ノイズが生じる。したがって、誤差量に応じてノイズ低減情報を決定することにより、仮想光源画像に生じるノイズを効果的に低減することができる。

また、取得時の法線誤差情報が記録されていない場合、法線情報から直接に法線ノイズ量を算出してもよい。法線ノイズ量を算出する手法として、ＭＡＤ（Ｍｅｄｉａｎ Ａｂｓｏｌｕｔｅ Ｄｅｖｉａｔｉｏｎ）を用いることができる。ＭＡＤは、撮影画像をウェーブレット変換し、取得した最も高周波なサブバンド画像ＨＨ１のウェーブレット係数ｗ_ＨＨ１において、以下の式（６）で表されるように算出される。

法線情報に含まれる法線ノイズ量σｎは、ＭＡＤと標準偏差が以下の式（７）の関係を満たすことから推定することができる。

ステップＳ２０６において、ノイズ低減情報決定部１０３ｂは、ステップＳ２０１〜Ｓ２０４にて取得された法線情報、光源情報、視線情報、反射特性情報、および、法線誤差情報に基づいて、ノイズ低減情報を決定する。

続いてステップＳ２０７において、ステップＳ１０７と同様に、ノイズ低減処理部１０３ｃはノイズ低減処理を実行する。また、ノイズ低減処理を仮想光源画像に対して行うのではなく、法線情報に対して行ってもよい。例えば法線方向ｎの天頂角θに対してノイズ低減処理を行う場合、天頂角θ自体のノイズ量は仮想光源画像ノイズ量σｒではなく、天頂角θのノイズ量σ_θであるため、式（５）のσ_２としてσ_θを用いる。しかし、天頂角θのノイズ量σ_θに対して、仮想光源画像ノイズ量σｒは、法線情報、光源情報、視線情報、および、反射特性情報などの各種データに応じて異なる。したがって、各種データに応じてσ_１を変えることにより、仮想光源画像ノイズ量σｒに応じたノイズ低減処理を法線情報に対して行うことができる。この場合、天頂角θのノイズ量σ_θおよび各種取得情報に対して、ノイズ低減処理後に所望のノイズ量となるようなσ_１もノイズ低減情報として保持しておくとよい。

次に、図６を参照して、本発明の実施例３におけるノイズ低減処理について説明する。図６は、本実施例におけるノイズ低減処理のフローチャートである。図６の各ステップは、撮像装置１００（画像処理装置１２０）の各部により実行される。

本実施例の撮像装置（画像処理装置）の基本構成は、実施例１と同様である。本実施例のノイズ低減処理は、ノイズ低減情報決定部１０３ｂが更に反射特性情報の誤差量（反射特性誤差情報）に基づいてノイズ低減情報を決定する点で、実施例１とは異なる。なお、図６のステップＳ３０１〜Ｓ３０３、Ｓ３０５は、図２を参照して説明した実施例１のステップＳ１０１〜Ｓ１０３、Ｓ１０５とそれぞれ同様であるため、それらの説明を省略する。

本実施例において、ステップＳ３０４にて反射特性情報取得部１０２ｄが反射特性情報を取得する際に、反射特性誤差情報も取得する。反射特性誤差情報は、反射特性をパラメトリックモデルとして表した際の各変数値の誤差量（ノイズ量）やパラメトリックモデルを用いて算出した反射率の誤差情報であり、反射特性情報を取得した際の情報を記録しておけばよい。例えば、光源方向や観測方向を変えながらＢＲＤＦを測定した際の測定誤差を記録する。反射特性情報の取得誤差があると、誤差量に対応して反射特性情報を用いて生成した仮想光源画像に輝度ノイズが生じる。したがって、誤差量に応じてノイズ低減情報を決定することにより、仮想光源画像に生じるノイズを効果的に低減することができる。なお、取得時の反射特性誤差情報が記録されていない場合、法線誤差情報の場合と同様に、反射特性情報から直接に反射特性情報のノイズ量を算出してもよい。

ステップＳ３０６において、ノイズ低減情報決定部１０３ｂは、ステップＳ３０１〜Ｓ３０４にて取得された法線情報、光源情報、視線情報、反射特性情報、および、反射特性誤差情報に基づいて、ノイズ低減情報を決定する。続いてステップＳ３０７において、ステップＳ１０７と同様に、ノイズ低減処理部１０３ｃはノイズ低減処理を実行する。また、ノイズ低減処理を仮想光源画像に対して行うのではなく、法線情報の場合と同様に、反射特性情報に対して行ってもよい。

次に、図７を参照して、本発明の実施例４における撮像装置（画像処理装置）について説明する。図７は、本実施例における撮像装置１００ａのブロック図である。

本実施例の撮像装置１００ａは、情報取得部１０２（画像処理装置１２０）に代えて、視線情報取得部１０２ｃおよび反射特性情報取得部１０２ｄがない情報取得部１１０２（画像処理装置１２０ａ）を有する点で、実施例１〜３の撮像装置１００とは異なる。本実施例において、視線情報および反射特性情報は予め決定されており、撮像装置１００ａ（画像処理装置１２０ａ）は所定の視線情報および反射特性情報を用いてノイズ低減処理を行う。

次に、図８を参照して、本実施例におけるノイズ低減処理について説明する。図８は、本実施例におけるノイズ低減処理のフローチャートである。図８の各ステップは、撮像装置１００ａ（画像処理装置１２０ａ）の各部により実行される。なお、図８のステップＳ４０１、Ｓ４０２、Ｓ４０５は、図１を参照して説明した実施例１のステップＳ１０１、Ｓ１０２、Ｓ１０７とそれぞれ同様であるため、それらの説明を省略する。

本実施例では、視線情報に依存しない反射特性を用いるため、視線情報を用いない。また、被写体が十分遠方にあるなどのために画面内で視線方向を一律とする場合、その視線方向を前提とした反射特性情報を用いることとなり、視線情報を取得する必要はない。このような場合、視線情報が反射特性情報に織り込まれているが、視線情報を用いているといえる。

本実施例では、反射特性としてランバート反射を前提としている。ランバート反射の反射率に関しては、入射光の強度との積で仮想光源画像の輝度に影響するため、一定値としてもよい。この場合、仮想光源画像の輝度値は、入射光の強度を含む光源情報および法線情報のみの関数として決定することができるため、反射モデルのパラメータを取得する必要はない。ただし、光源情報に基づいて仮想光源画像の輝度値を算出することは、反射特性を暗に仮定していると考えられるため、反射特性情報を用いているものといえる。

ステップＳ４０３において、ステップＳ１０５とは異なり、情報取得部１１０２は、法線情報および光源情報のみを画像処理部１０３に通信（送信）する。仮想光源画像生成部１０３ａは、法線情報および光源情報に基づいて、仮想光源画像の輝度値を算出する。すなわち、仮想光源画像生成部１０３ａが反射特性を暗に仮定した算出方法を適用することにより、法線情報および光源情報に基づいて仮想光源画像の輝度値を算出する。

続いてステップＳ４０４において、ステップＳ１０６と同様に、仮想光源画像ノイズ量σｒのデータを法線情報および光源情報に関連付けたデータテーブルとしてＲＯＭ１０５に記憶しておき、仮想光源画像ノイズ量σｒをノイズ低減情報として用いる。ステップＳ１０６と異なり、視線方向や反射特性情報を直接用いるものではないが、ノイズ量データを算出する際に、法線情報および光源情報に基づいて輝度値を算出する方法を用いる。したがって、光源情報、法線情報、および、（間接的な）反射特性情報に基づいて、ノイズ低減情報を決定することができる。なお本実施例では、視線情報および反射特性情報を取得しない例を説明したが、逆光条件下での見えを再現し、または擬似的なストロボ効果を出したりするなど、光源条件を既定の一条件しか用いない場合、光源情報を取得しなくてもよい。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、被写体の仮想光源画像に含まれるノイズを効果的に低減することが可能な画像処理装置、撮像装置、画像処理装置、画像処理プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０３ａ 仮想光源画像生成部（生成手段）
１０３ｂ ノイズ低減情報決定部（決定手段）
１２０ 画像処理装置

Claims (25)

1. 被写体の仮想光源画像を生成する画像処理装置であって、
   光源情報と前記被写体の法線情報とに基づいて、前記仮想光源画像を生成する生成手段と、
   ノイズ低減処理に用いられるノイズ低減情報を前記法線情報に基づいて決定する決定手段と、を有することを特徴とする画像処理装置。
2. 前記決定手段は、更に前記光源情報に基づいて前記ノイズ低減情報を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記光源情報は、光源の強度に関する情報を含むことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記光源情報は、光源の空間分布に関する情報を含むことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記生成手段は、更に前記被写体の反射特性情報に基づいて前記仮想光源画像を生成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記決定手段は、更に前記反射特性情報に基づいて前記ノイズ低減情報を決定することを特徴とする請求項５に記載の画像処理装置。
7. 前記決定手段は、前記反射特性情報により決定される反射率に基づいて、前記ノイズ低減情報を決定することを特徴とする請求項６に記載の画像処理装置。
8. 前記決定手段は、前記法線情報に対する前記反射特性情報の敏感度に基づいて、前記ノイズ低減情報を決定することを特徴とする請求項６に記載の画像処理装置。
9. 前記反射特性情報は、パラメトリックモデルにより表現されており、
   前記決定手段は、前記パラメトリックモデルの係数に対する前記反射特性情報の前記敏感度に基づいて、前記ノイズ低減情報を決定することを特徴とする請求項８に記載の画像処理装置。
10. 前記決定手段は、前記反射特性情報を用いて決定される前記仮想光源画像の輝度値に基づいて、前記ノイズ低減情報を決定することを特徴とする請求項６乃至９のいずれか１項に記載の画像処理装置。
11. 前記決定手段は、更に反射特性誤差情報に基づいて前記ノイズ低減情報を決定することを特徴とする請求項６乃至１０のいずれか１項に記載の画像処理装置。
12. 前記決定手段は、更に法線誤差情報に基づいて前記ノイズ低減情報を決定することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記生成手段は、更に視線情報に基づいて前記仮想光源画像を生成し、
    前記決定手段は、更に前記視線情報に基づいて前記ノイズ低減情報を決定することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記ノイズ低減情報を用いて、前記仮想光源画像に対して前記ノイズ低減処理を行うノイズ低減手段を更に有することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 前記ノイズ低減情報を用いて、前記法線情報に対して前記ノイズ低減処理を行うノイズ低減手段を更に有することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
16. 前記ノイズ低減情報を用いて、前記反射特性情報に対して前記ノイズ低減処理を行うノイズ低減手段を更に有することを特徴とする請求項５乃至１１のいずれか１項に記載の画像処理装置。
17. 前記ノイズ低減情報を用いて、前記仮想光源画像に寄与する少なくとも１つの反射成分画像に対して前記ノイズ低減処理を行うノイズ低減手段を更に有することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
18. 前記ノイズ低減情報を用いて、前記仮想光源画像に寄与する少なくとも１つの光源による仮想光源画像に対して前記ノイズ低減処理を行うノイズ低減手段を更に有することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
19. 前記ノイズ低減情報は、前記被写体の領域ごとに異なることを特徴とする請求項１乃至１８のいずれか１項に記載の画像処理装置。
20. 前記決定手段は、前記仮想光源画像に対する輝度補正処理に基づいて前記ノイズ低減情報を決定することを特徴とする請求項１乃至１９のいずれか１項に記載の画像処理装置。
21. 前記ノイズ低減情報は前記ノイズ低減処理の強度に関する情報を含むことを特徴とする請求項１乃至２０のいずれか１項に記載の画像処理装置。
22. 被写体の仮想光源画像を生成する撮像装置であって、
    撮像光学系を介して形成された光学像を光電変換する撮像手段と、
    前記撮像手段から取得された光源情報と前記被写体の法線情報とに基づいて、前記仮想光源画像を生成する生成手段と、
    ノイズ低減処理に用いられるノイズ低減情報を前記法線情報に基づいて決定する決定手段と、を有することを特徴とする撮像装置。
23. 被写体の仮想光源画像を生成する画像処理方法であって、
    光源情報と前記被写体の法線情報とに基づいて、前記仮想光源画像を生成するステップと、
    ノイズ低減処理に用いられるノイズ低減情報を前記法線情報に基づいて決定するステップと、を有することを特徴とする画像処理方法。
24. 被写体の仮想光源画像を生成する画像処理プログラムであって、
    光源情報と前記被写体の法線情報とに基づいて、前記仮想光源画像を生成するステップと、
    ノイズ低減処理に用いられるノイズ低減情報を前記法線情報に基づいて決定するステップと、をコンピュータに実行させることを特徴とする画像処理プログラム。
25. 請求項２４に記載の画像処理プログラムを記憶していることを特徴とするコンピュータが読み取り可能な記憶媒体。

Images