JP4324238B2 - 画像処理システム、方法及び装置 - Google Patents

Description

本発明は、偏光画像に基づいて被写体の表面形状を推定するための画像処理方法および装置に関し、特に、被写体の形状や撮影シーンにおける光源情報を取得できる画像処理技術に関する。

将来のカメラ付き携帯電話やデジタルカメラ、デジタルムービーカメラなどはＨＤＴＶ並みに高精細化することが期待されている。また、付加価値を求めて小型化も進行中であるが、光学系や撮像素子が小型化すると、感度やレンズ回折限界などの基本的な画像撮像の限界の問題が発生する。このため、将来的には高精細化も限界に到達すると考えられる。

高精細化が限界に到達した場合、コンピュータグラフィックスで画像生成に利用される各種物理特性に関係する情報を被写体の画像情報に付加することにより、画質を向上することが有効になる。そのためには、従来の２次元画像処理の枠を超え、被写体の３次元形状情報や、被写体を照明する光源など、画像生成過程における物理情報を取得しなくてはならない。

従来、被写体の形状情報を得るには、レーザ光やＬＥＤ光源を被写体に投光するアクティブセンサや、２眼ステレオなどの距離計測システムが必要である。しかし、このようなセンサやシステムは大掛かりな上、例えば、カメラと被写体との距離がせいぜい数ｍ程度までしかとれないという問題がある。また、対象被写体が固形物で明るい拡散物体に限られるなどの制約もある。これでは、運動会などの遠距離の屋外シーン撮影や髪の毛や衣服が重要な人物撮影には利用できない。

屋外シーンや一般の被写体のように完全にパッシブ（受動的）な被写体の形状情報を得るため、偏光を利用する技術がある。特許文献１は、カメラのレンズ前に装着した偏光板を回転させながら鏡面反射成分を観測する方法を開示している。この方法によれば、被写体照明には特別な仮定をせず（ランダム偏光：非偏光照明）、被写体の局所的な法線情報を取得することが可能になる。

被写体の表面法線は２つの自由度を有する。表面法線は、光の入射および反射の光線を包含する入射面に含まれる。以下、この点を説明する。

図３１（ａ）に示すように、光源から観測点位置に入射した光線は、観測点位置で反射され、カメラ焦点位置（撮像視点）に入射する。入射光線と観測点の表面法線との間に形成される角度θｓが入射角である。観測点で反射され、観測点から出射する光線（出射光線）と観測点の表面法線とが形成する角度（出射角）は、鏡面反射の場合、入射角θｓに等しい。一方、拡散反射の場合、図３１（ｂ）に示すように、光源の位置や入射角度によらず、出射光線と観測点の表面法線とが形成する角度が出射角として定義される。

図３１（ａ）に示す入射光線、表面法線、および出射光線は、１つの平面に含まれている。この平面を「入射面」と称する。一方、図３１（ｂ）に示す表面法線および出射光線も、１つの平面に含まれているが、この平面は「出射面」と称する。

図３２（ａ）および図３２（ｂ）は、それぞれ、表面法線１２の向きが異なる２つの入射面２０を模式的に示している。入射面２０には、入射光線１０ａ、出射光線１０ｂ、および表面法線１２が含まれている。図示されている２つの入射面２０は、観測点における表面法線の向きが、出射光線を中心軸として角度Ψだけ回転した関係にある。

入射面２０を規定する角度Ψが特定され、かつ、入射面２０における入射角θｓが特定されれば、表面法線１２を決定することができる。すなわち、表面法線１２を決定するには、２つの角度Ψ、θｓを求める必要がある（自由度＝２）。このことは、拡散反射の場合にも同様に成立し、出射面を規定する角度Ψが特定され、かつ、出射面内における出射角θｄが特定されれば、表面法線を決定することができる。

以下、鏡面反射が生じている領域について、その表面法線を決定する手順を説明する。まず、上記の２つの自由度のうち、入射面を特定する角度Ψは、偏光板の回転に従って変化する輝度の最小値となる角度から求めることができる。一方、入射角θｓは、被写体の材質が既知であれば、偏光板を回転させたときの輝度振幅に関係する量であるＰＦＲ（Ｐｏｌａｒｉｚａｔｉｏｎ Ｆｒｅｓｎｅｌ Ｒａｔｉｏ）値から推定が可能である。後述するように、ＰＦＲ値と入射角との間に一定の関係があるからである。

しかし、鏡面反射のＰＦＲ値を求めるには、被写体上の１点で拡散反射成分と鏡面反射成分とを正確に分離する必要がある。また、１個のカメラを使う限り、ＰＦＲ値からは光の入射角θｓについて、２個の解が出てきてしまい、入射角θｓを一意的には求められないという問題がある。

特許文献１は、輝度の最大値Ｉｍａｘおよび最小値Ｉｍｉｎの観測に基づいて、ＰＦＲ値と拡散反射輝度成分Ｉｄとを同時に推定する技術を開示している。しかし、この技術によると、同一鏡面反射特性を有する画素グループ内において大きな輝度階調差を有する多数の画素を集め、統計処理を行わない限り、誤差が非常に大きくなるという問題がある。このため、特許文献１に開示されている技術を、通常は局所的にしか存在しない鏡面反射領域に対し汎用的に使用することはできない。

特許文献２は、既知の屈折率を有する透明物体の正反射成分の偏光成分を測定することにより、表面法線を求めることを開示している。具体的には、正反射成分の偏光成分の最小値から入射面を確定し、次にＰＦＲ値に相当する（Ｉｍａｘ―Ｉｍｉｎ）／（Ｉｍａｘ＋Ｉｍｉｎ）を計算する。入射角Ψは、（Ｉｍａｘ―Ｉｍｉｎ）／（Ｉｍａｘ＋Ｉｍｉｎ）から求め、それによって表面法線を求めている。

しかし、特許文献２では、被写体を鏡面反射のみが発生する透明物体に制限している。また、被写体上で大域的に鏡面反射を発生させるため、特殊な拡散照明システムによって被写体をとり囲む必要がある。このため、特許文献２に開示されている方法は、一般の屋外シーンに適用できるものではない。

特許文献１の発明者等と同じ著者による非特許文献１は、鏡面反射のみならず拡散反射の偏光現象を考慮し、その理論的定式化を開示している。しかし、非特許文献１は、このことを画像エッジ分類に利用するのみであり、表面法線の決定に使用し得ることについては、教示も示唆もしていない。

非特許文献２は、偏光板を回転する方式ではなく、輝度および偏光情報を同時に取得するための特殊な画像センサを開示している。非特許文献２では、この画像センサを用いたリアルタイム処理により、４方向の偏光強度に基づいて屋外シーンにおける自動車のボディのふくらみなどの法線情報を取得する実証実験を行ったことが記載されている。このような画像センサをカメラに搭載すれば、動画で偏光情報を取得することも可能になる。ただし、非特許文献２には、偏光情報から法線計算を行う実際のアルゴリズムについては、詳細が明らかにされていない。
米国特許第５，０２８，１３８明細書 特開平１１−２１１４３３号公報 Ｌａｗｒｅｎｃｅ Ｂ．Ｗｏｌｆｆ ｅｔ．ａｌ："Ｃｏｎｓｔｒａｉｎｉｎｇ Ｏｂｊｅｃｔ Ｆｅａｔｕｒｅｓ Ｕｓｉｎｇ ａ Ｐｏｌａｒｉｚａｔｉｏｎ Ｒｅｆｌｅｃｔａｎｃｅ Ｍｏｄｅｌ"、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ、Ｖｏｌ．１３、Ｎｏ．７、Ｊｕｌｙ １９９１ 川島、佐藤、川上、長嶋、太田、青木：「パターン化偏光子を用いた偏光イメージングデバイスと利用技術の開発」電子情報通信学会２００６年総合全国大会、Ｎｏ．Ｄ−１１−５２、Ｐ５２、Ｍａｒｃｈ２００６

従来、偏光画像を用いて被写体の形状情報を取得できる汎用性の高い方法は無かった。具体的には、以下の課題が存在していた。

１）鏡面反射（正反射）における偏光情報を用いる従来技術では、一般の光源下では正反射を生ずる領域が局所的であるため、被写体の広い範囲で法線を決定できなかった。

２）被写体の法線を入射角から求める場合、輝度振幅に関連するＰＦＲ値を正確に求めるためには、鏡面反射と拡散反射との分離が必要であるが、この分離は困難であった。また、ＰＦＲ値と入射角との間に成立する理論的関係式から入射角を決定しようとすると、その角度が１個の解として求められないという問題もあった。

本発明は、上記課題を解決するためになされたものであり、その主たる目的は、偏光画像に基づいて実シーン内における被写体の形状情報を求めることが可能な画像処理方法および装置を提供することにある。

本発明の他の目的は、撮影画像にコンピュータグラフィックスの処理を施す際に必要となる情報、例えば、鏡面反射成分と拡散反射成分とに分離された輝度情報や、光源情報などを得ることのできる画像入力装置および方法を提供することにある。

本発明の画像処理システムは、偏光画像を取得するための撮像部と、前記撮像部により取得した複数の偏光画像を処理して、被写体の鏡面反射画像および拡散反射画像と、前記被写体の各画素位置における表面法線情報と、前記被写体の位置で観測される光源情報とをデータとして備える画像フォーマットを生成する画像処理部と、前記画像フォーマットを用いて、前記被写体の鏡面反射画像および拡散反射画像を処理し、鏡面反射画像および拡散反射画像を合成して再現する画像高解像度再現部とを備える。

好ましい実施形態において、前記画像処理部は、前記偏光画像を、鏡面反射領域および拡散反射領域を含む複数の反射特性領域に分割するステップと、前記被写体の屈折率に関する情報を取得するステップと、前記偏光画像から得られる前記拡散反射領域の偏光情報に基づいて、前記拡散反射領域の表面法線を推定する第１の法線推定ステップと、前記偏光画像から得られる前記鏡面反射領域の偏光情報に基づいて、前記鏡面反射領域の表面法線を推定する第２の法線推定ステップと、前記第１の法線推定ステップと前記第２の法線推定ステップで求められる表面法線の連続性を評価することにより表面法線の不確定性を排除するステップとを実行し、前記偏光画像に基づいて前記被写体の表面形状を推定する。

好ましい実施形態において、前記撮像部、前記偏光画像を取得する撮像ステップを実行し、前記撮像ステップは、撮像視点と前記被写体上の観察点とを結ぶ直線、および前記観察点における表面法線の両方を含む平面を規定する角度であって、前記直線に関する前記平面の回転角度をΨとし、かつ、前記平面内において前記表面法線と前記直線との間に形成される角度をθとする場合において、角度Ψによって規定される前記平面に対して平行に偏光した光の偏光強度を、異なる複数の角度Ψについて計測するステップを含む。

画像処理方法は、偏光画像に基づいて被写体の表面形状を推定するための画像処理方法であって、前記偏光画像を、鏡面反射領域および拡散反射領域を含む複数の反射特性領域に分割するステップと、前記被写体の屈折率に関する情報を取得するステップと、前記偏光画像から得られる前記拡散反射領域の偏光情報に基づいて、前記拡散反射領域の表面法線を推定する第１の法線推定ステップと、前記偏光画像から得られる前記鏡面反射領域の偏光情報に基づいて、前記鏡面反射領域の表面法線を推定する第２の法線推定ステップと、前記第１の法線推定ステップと前記第２の法線推定ステップで求められる表面法線の連続性を評価することにより表面法線の不確定性を排除するステップとを含み、偏光強度の角度Ψに対する依存性に基づいて、前記被写体上の観察点に対応する画素の偏光輝度を正弦波で近似し、Ｉ（Ψ）を決定するステップを更に含む。

好ましい実施形態において、前記被写体の或る画素に対応する偏光輝度Ｉ（Ψ）の平均輝度を求め、前記平均輝度がしきい値よりも高い場合、その画素を鏡面反射領域に割り当てる。

好ましい実施形態において、前記鏡面反射領域から得られる偏光輝度を、鏡面反射成分と拡散反射成分とに分離するステップを更に含む。

好ましい実施形態において、前記第１の法線推定ステップでは、前記拡散反射領域の拡散光の出射面における出射角が、フレネル反射係数の垂直成分および平行成分を用いた比率を計算して決定される。

好ましい実施形態において、前記第２の法線推定ステップでは、前記鏡面反射領域の光源光の入射面における入射角が、フレネル反射係数の垂直成分および平行成分を用いた比率を計算して決定される。

好ましい実施形態において、前記拡散反射領域に含まれる第１部分と前記鏡面反射領域に含まれる第２部分が近接する場合、前記第１部分における表面法線と前記２部分における表面法線との差異が縮小するように表面法線を更新するステップを含む。

好ましい実施形態において、前記偏光画像を撮像するときの撮像視点と前記鏡面反射領域の表面法線との間にある幾何学的関係に基づいて、光源の角度を推定するステップを含む。

好ましい実施形態において、前記鏡面反射領域から得られる撮像画像の輝度を、分離比の設定値に基づいて鏡面反射輝度成分と拡散反射輝度成分とに分離する。

好ましい実施形態において、前記分離比は、前記鏡面反射領域と前記拡散反射領域の境界付近において、前記鏡面反射領域内の拡散反射成分および前記拡散反射領域内の拡散反射成分について画像上で輝度の空間的連続性を高めるように決定される。

好ましい実施形態において、拡散反射成分はカラー画像上での色信号の空間的連続性を高めるように決定される。

好ましい実施形態において、前記偏光画像を前記複数の反射特性領域に分割するステップでは、前記被写体の偏光輝度の変動量と平均輝度値とを用いて分割する。

本発明の画像処理装置は、偏光画像に基づいて被写体の表面形状を示す情報を取得する画像処理装置であって、前記偏光画像を、鏡面反射領域および拡散反射領域を含む複数の反射特性領域に分割する反射領域分割部と、前記被写体の屈折率に関する情報を取得する屈折率情報取得部と、前記偏光画像から得られる前記拡散反射領域の偏光情報に基づいて、前記拡散反射領域の表面法線を推定する第１の法線推定部と、前記偏光画像から得られる前記鏡面反射領域の偏光情報に基づいて、前記鏡面反射領域の表面法線を推定する第２の法線推定部と、推定された前記拡散反射領域の表面法線に基づいて、前記鏡面反射領域の表面法線を補正する法線更新部とを備える。

好ましい実施形態において、前記偏光画像を生成するための撮像部を備え、前記撮像部は、偏光軸の向きが少なくとも３つの方向に異なる複数の偏光子単位が規則的に配列されたパターン化偏光子を備える。

好ましい実施形態において、前記パターン化偏光子は、相互に偏光軸の向きが異なる９つの偏光子単位を含んでいる。

好ましい実施形態において、前記撮像部は、前記パターン化偏光子における複数の偏光子単位に対応する複数のサブ画素を有しており、前記複数のサブ画素から選択されたサブ画素の組によって画素単位が形成される。

本発明の画像処理装置は、被写体の反射光のカラー情報と偏光情報の両方を取得する撮像部と、前記カラー情報を用いて画像上で鏡面反射領域および拡散反射領域を含む複数の反射特性領域に分割する反射領域分割部と、を備え、前記複数の反射特性領域の間において、各カラー情報から得られる形状情報の整合性を高めるように被写体の表面法線情報を決定する。

本発明の画像処理システムは、上記の画像処理装置と、前記画像処理装置における屈折率情報取得部に被写体の屈折率に関する情報を提供する手段と、前記画像処理装置によって決定された被写体の表面法線情報を前記画像処理装置から取得して記憶する記憶媒体とを備える。

好ましい実施形態において、前記画像処理装置はカメラに内蔵されている。

本発明の画像フォーマットは、撮像カメラから取得した画像を蓄積するためのフォーマットであって、被写体の鏡面反射画像と、拡散反射画像と、前記被写体の各画素位置における表面法線情報と、被写体位置で観測される光源情報とを備える。

本発明によれば、被写体の偏光情報を用いて一般の環境シーンにおける被写体形状を取得できる。さらに被写体の鏡面反射成分と拡散反射成分とを分離し、照明光源に関する情報を取得することもできる。

本発明では、被写体を鏡面反射領域（Ｓｐｅｃｕｌａｒ領域）と拡散反射領域（Ｄｉｆｆｕｓｅ領域）とに空間的に分離する。以下、鏡面反射領域を「Ｓ領域」、拡散反射領域を「Ｄ領域」と称する場合がある。本発明では、Ｓ領域およびＤ領域の表面法線に関する情報を、それぞれ、異なる手法によって取得する。好ましい実施形態においては、２つの領域の境界付近において表面法線の整合性が高くなるように、Ｓ領域の表面法線を決定する。言い換えると、Ｄ領域の表面法線に基づいてＳ領域の表面法線を決定するため、Ｓ領域からの鏡面反射（正反射）のみによって表面法線を決定する従来技術に比べて、被写体の広い範囲から表面法線を取得することができる。また、Ｓ領域における偏光情報を利用することにより、正反射の幾何拘束に基づいて照明光源の情報を取得することもできる。

以下、図面を参照しながら、本発明の実施形態を説明する。

（第１の実施形態）
まず、本発明による画像入力装置の第１の実施形態を説明する。

図１は、本実施形態に係る画像入力装置の構成を示すブロック図である。この画像入力装置は、偏光画像撮像部１０１、正弦関数近似部１０２、反射領域分割部１０３、法線推定部１１０、法線更新部１０８、および形状出力部１０９を備えている。法線推定部１１０は、鏡面拡散成分分離部１０４、Ｓ領域法線推定部１０６、およびＤ領域法線推定部１０７を有している。この画像入力装置は、被写体屈折率情報データベース１０５から屈折率情報を取得するが、この被写体屈折率情報データベース１０５は、画像入力装置の構成要素である必要はない。

偏光画像撮像部１０１は、被写体の偏光画像を複数枚撮像する装置であり、偏光画像撮像部１０１の一例は、図２に示すように、カメラ２０１と、カメラ２０１のレンズ前に回転可能に配置された偏光板２０２とを備えている。カメラ２０１は、公知の撮像装置であり、非偏光またはランダム偏光の光源２０３によって照明された被写体２０６を撮像することができる。被写体２０６、カメラ２０１、および光源２０３の幾何学的関係を維持したまま、偏光板２０２を適当な角度刻み（例えば５°）で０°から１８０°まで回転させながらＮ枚の画像を撮像する。これにより、被写体２０６上の観察点２０５の位置で、Ｎ種類の輝度画像が撮像される。

偏光画像撮像部１０１の構成は、図２に示すものに限定されない。偏光画像撮像部１０１は、図３に示すパターン化偏光子カメラ３０４を備えていても良い。リアルタイム動画を撮像する場合などは、パターン化偏光子カメラ３０４を使用することが好ましい。

パターン化偏光子カメラ３０４は、パターン化偏光子３０１を備える特殊な撮像センサを内蔵したカメラであり、通常の輝度画像と偏光画像とを同時にリアルタイムに取得できる。多数の画素３０２がマトリクス（行および列）状に配列されている。図３において、各画素３０２内に記載された直線は、その画素３０２上に設置された微小偏光板の偏光主軸方向を示している。すなわち、この撮像装置は、偏光軸の回転角Ψ＝０°、４５°、９０°、１３５°の４種類の偏光方向を有するサブ画素３０２を備えている。偏光軸の回転角Ψが異なる４つのサブ画素３０２は、図３に示すベイヤ配列の画素単位３０３を構成するように配置されており、個々の画素単位３０３が１画素として取り扱われる。このような撮像装置によれば、偏光方向が異なる４種類の画像を同時に並列的に撮像することができるので、偏光板を回転させることなく、４種類の偏光画像を取得し、その結果、輝度変動を正弦関数近似することができる。なお、偏光情報を取得するとき、輝度のダイナミックレンジおよびビット数は、大きいこと（例えば１６ｂｉｔ）が好ましく、また撮影ガンマ＝１とすることが望ましい。

再び図１を参照する。

正弦関数近似部１０２では、取得したＮ枚の偏光輝度画像の画素ごとに輝度を正弦関数で近似する。本実施形態では、偏光軸回転角Ψに対する反射光輝度Ｉを以下の（式１）で近似する。

図４は、式１で示される偏光輝度変動カーブの近似曲線を模式的に示すグラフである。式１および図４に示されるＡ、Ｂ、およびＣは、それぞれ、偏光輝度の変動カーブの振幅、位相、および平均値を示す定数である。

上記の（式１）は、以下の（式２）に示すよう展開できる。

ただし、ａおよびｂは、Ａ、Ｂ、およびＣとの間で下記の（式３）に示す関係を有している。

Ｎ枚の偏光輝度画像の各画素について、以下の（式４）に示す「評価式」を最小にするａ、ｂ、ｃを求めれば、式（３）によってＡ、Ｂ、Ｃが定まるため、（式１）の正弦関数による近似が達成される。

ただし、Ｉ_iは、偏光軸回転角Ψ＝Ψ_iのときの観測輝度を示している。

未知のパラメータａ、ｂ、Ｃが３個であるため、これらのパラメータを決定するためには、偏光軸回転角Ψが異なる３枚以上（Ｎ≧３）の偏光輝度画像を用意する必要がある。

図１の正弦関数近似部１０２により、画素ごとに正弦関数近似を行い、Ａ、Ｂ、およびＣを決定する。

反射領域分割部１０３は、図５に示すステップＳ４０２およびステップＳ４１１の処理を実行する。鏡面拡散成分分離部１０４は、図５のステップＳ４０４およびステップＳ４１０の処理を実行する。被写体屈折率情報データベース１０５は、図５のステップＳ４０５の処理を行う。

法線推定部１１０は、ステップＳ４０３、ステップＳ４０６、およびステップＳ４０７の処理を実行する。法線更新部１０８は、ステップＳ４０８の処理を実行し、形状出力部１０９は、ステップＳ４０９の処理を実行する。

以下、図５のフローチャートを参照しながら、図１の装置の動作を詳細に説明する。

まず、ステップＳ４００においてＮ枚の偏光画像を撮像した後、ステップＳ４００では、上述したように、（式１）のＡ、Ｂ、Ｃの数値を求めることにより、Ｎ枚の偏光画像間の輝度変動を正弦関数に近似する。この処理により、ノイズが除去されるため、少ない枚数の変更画像（例えばＮ＝４）でも、十分に高い精度を達成するが可能になる。ステップＳ４０１の処理は、図１の正弦関数近似部１０２で行う。

ステップＳ４０２では、この結果を用いて、画像を２つの領域に空間的に分離する。すなわち、各画素をＤ領域またはＳ領域に分離する。Ｄ領域は、被写体の拡散反射（Ｄｉｆｆｕｓｅ ｒｅｆｌｅｃｔｉｏｎ）が支配的な領域であり、Ｓ領域は、被写体の鏡面反射（Ｓｐｅｃｕｌａｒ ｒｅｆｌｅｃｔｉｏｎ）が支配的な領域である。より正確に言うと、Ｄ領域では、被写体の拡散反射成分のみが存在するのに対して、Ｓ領域では拡散反射成分に加えて鏡面反射成分が加算されている。

従来、偏光現象が鏡面反射領域のみならず拡散反射領域においても発生することは知られている。偏光度合いは、遮蔽エッジを除き、鏡面反射領域で拡散反射領域よりも大きくなる。鏡面反射領域および拡散反射領域の各々により、物理現象が異なり、また、偏光情報と入射面との関係や、偏光情報と入射角との関係がまったく異なるため、両領域は分離して取り扱わねばならない。

図６には、ボールのような被写体が示されている。この被写体の表面、Ｄ領域、Ｓ領域、および非偏光領域の３つの領域に分離される。

Ｄ領域の輝度は拡散反射成分のみである。この拡散反射成分が偏光しているため、偏光軸回転角Ψによる輝度変動が観測される。この変動度合い（偏光度）は、視線ベクトルと表面法線のなす角が大きいほど、大きくなる。このため、被写体の遮蔽エッジ部において、偏光度合いが相対的に大きくなる。図６では、被写体周辺部がＤ領域に分離されている。

一方、Ｓ領域の輝度は、非常に明るい鏡面反射成分と、相対的に暗い拡散反射成分とが合成されたものになると考えられる。Ｓ領域は遮蔽エッジから離れているため、拡散反射成分における偏光による輝度変動はあまり大きくない。このため、図６では、Ｓ領域の拡散反射成分を偏光軸回転角Ψに依存しないほぼ一定の値を示すものとして記載している。

なお、非偏光領域は、位相差が９０°のＤ領域とＳ領域とが重なって偏光を消す場合、あるいは、もともと光が偏光しない角度状態にある場合に発生する。実際の被写体を１６ｂｉｔのＨＤＲ（広ダイナミックレンジ）カメラで観測し、正弦関数による近似を行うことにより、Ｄ領域およびＳ領域の各々における偏光回転軸Ψを変えたときの輝度の最大（ＭＡＸ）、最小（ＭＩＮ）値を求めた。それらの結果を表１および表２に示す。

表１および表２の値は、それぞれ、照明光源の位置を換えて同一の物体（プラスチック製ボール）を撮影することによって得られた。表１の例では、Ｓ領域における平均輝度および偏光度が、それぞれ、Ｄ領域における平均輝度および偏光度よりも大きい。表２の例では、Ｓ領域の平均輝度はＤ領域の平均輝度より大きいが、偏光度はＳ領域がＤ領域よりも小さい。この現象は、照明方向がカメラ視点に近い場合、鏡面反射自身があまり偏光しないため、生ずる。

次に、図７を参照しながら、具体的な領域分離の方法を説明する。

まずステップＳ７０１で特定の画素に着目し、その輝度変動を正弦関数で近似したカーブを取得する。具体的には、図１に示す正弦関数近似部１０２によって決定したＡ、Ｂ、およびＣ（図４参照）の値を反射領域分割部１０３が正弦関数近似部１０２から取得する。

ステップＳ７０２では、平均輝度が一定のしきい値Ｔｈ１を超えているかどうかを判断する。平均輝度＞Ｔｈ１であれば、ステップＳ７０３に進み、その画素を「Ｓ領域」に分類する。一般に、鏡面反射領域の平均輝度は拡散反射領域の平均輝度よりも高いため、本実施形態では平均輝度に基づいて領域の判別を行っている。表１の例では、Ｔｈ１＝１００００と設定し、表２の例では、Ｔｈ２＝２０００と設定している。

ステップＳ７０２において、平均輝度＞Ｔｈ１の関係が成立しないと判定された場合は、ステップＳ７０４に進む。ステップＳ７０４では、偏光度を計算し、この偏光度がしきい値Ｔｈ２を超えていれば、ステップＳ７０５に進み、その画素を「Ｄ領域」に分類する。一方、偏光度がしきい値Ｔｈ２以下であれば、ステップＳ７０６に進み、その画素を「非偏光領域」に分類する。以上の判定を全画素が終了するまで繰り返す（ステップＳ７０７）。なお、表１および表２の例では、Ｔｈ２＝０．１と設定している。

以上の分類がすべての画素について完了するまで上記のステップを繰り返して実行する（ステップＳ７０７）。上記の処理は、反射領域分割部１０３によって実行される。

再び図５を参照する。上記の方法によりステップＳ４０２を実行した後、ステップＳ４０３に進む。ステップＳ４０３では、輝度変動カーブを用いて、Ｓ領域における入射面を表す角度Ψｄと、Ｄ領域における出射面を表す角度Ψｓを確定し、（Ψｄ、Ψｓ）を得る。

Ｓ領域では、偏光による輝度変動の原因は鏡面反射が支配的である。このため、Ψｓは、図８に示すように、輝度変動カーブの最小値（Ｍｉｎ）となる角度である。一方、Ｄ領域では拡散反射のみが発生するため、Ψｄは、最大値（Ｍａｘ）となる角度である。

このようにして、表面法線を特定する２つの角度のうち、入射面または出射面を規定する１つの角度を確定することができる。図８では、角度Ψｄ、Ψｓによって特定される平面（入射面または出射面）が、それぞれ、１本の直線によって示されている。言い換えると、Ｓ領域、すなわち鏡面反射が支配的な領域の場合は、図９に示すように、角度Ψｓは、カメラ焦点位置と観測点位置と光源とによって決定される「入射面」に対応している。一方、Ｄ領域、すなわち拡散反射が支配的な領域の場合、図１０に示すように、角度Ψｄは、カメラ焦点位置と観測点位置と表面法線とによって決定される「出射面」に対応している。図８において、角度Ψｓで特定される直線は、カメラ焦点位置から見た「入射面」を表し、角度Ψｄで特定される直線は、カメラ焦点位置から見た「出射面」を表している。カメラ焦点位置と被写体上の観測点位置とを結ぶ直線が「入射面」または「出射面」の面内に含まれているため、撮像によって得られる二次元画像上において、「入射面」および「出射面」は、それぞれ、直線によって表現されることになる。なお、観測点位置における表面法線は、「入射面」または「出射面」の面内に含まれている。表面法線を決定するためには、「入射面」または「出射面」を特定した後、各面内における表面法線の向きを決定する必要がある。

図５に戻る。上記の方法によりステップＳ４０３を実行した後、ステップＳ４０４に進む。ステップＳ４０４では、Ｓ領域における鏡面反射成分と拡散反射成分とを分離する。この分離は、ステップＳ４０２で行った画像空間上における画素単位での分離（空間的な分離）ではなく、輝度値自身を２つの成分に分割することを意味する。具体的には、まず、分離比Ｒ（０＜Ｒ＜１）を画素ごとに仮定する。そして、Ｓ領域のある画素に対して、（式５）に示すようにＩ（Ψ）を２つの項（成分）、すなわち角度Ψに依存するＩｓ（Ψ）の項と、角度Ψにほとんど依存しないＩｄの項とに分離する。Ｉｓ（Ψ）は、鏡面反射輝度成分であり、（式５）中のＩａｖｅは、観測される輝度変動カーブＩ（Ψ）の１周期の平均輝度である。ＩｄおよびＩｓ（Ψ）は、いずれも偏光フィルタ透過後の観測値であるため、偏光フィルタが無い場合の輝度の１／２に相当している。

ステップＳ４０４の処理は、図１の鏡面拡散成分分離部１０４で実行される。ステップＳ４０４の処理を行った後は、ステップＳ４０６、Ｓ４０７に進み、法線推定を実行する。ただし、これらのステップＳ４０６、Ｓ４０７の説明を行う前に、まず、ＰＦＲ値を用いた法線の推定方式の原理を説明する。

まず、ＰＦＲ（Ｐｏｌａｒｉｚａｔｉｏｎ Ｆｒｅｓｎｅｌ Ｒａｔｉｏ）値とは、特許文献１および非特許文献１に定義されているように、屈折率ηの誘電体の反射におけるフレネル反射係数のうち、入射面の異なる平行成分Ｆｐと垂直成分Ｆｓの比率である。ＦＰＲ値は、光が偏光している度合いを示す情報であり、被写体の屈折率が与えられると、ＰＥＲ値と角度との関係が理論式で与えられる。ただし、ＰＦＲ値は、鏡面反射と拡散反射で挙動が異なるため、両者を区別して扱う。

まずＳ領域のＰＥＲ値、すなわちＳｐｅｃｕｌａｒＰＦＲ値の理論式と、実測からの計算方法を説明する。

θｓを入射角、ηを屈折率とし、ηは真空の屈折率＝１と被写体表面の屈折率ｎとの比率で計算される相対屈折率を表現するものとすると、ＳｐｅｃｕｌａｒＰＦＲ値の理論式は、以下の（式６）によって表される。

ＳｐｅｃｕｌａｒＰＦＲ値の実測値が得られると、上記の（式６）に代入することにより、入射角θｓを求めることが可能である。入射角θｓが求められると、角度Ψｓが既にわかっているため、表面法線が決定されることになる。

図１１は、式６から計算されるＳｐｅｃｕｌａｒＰＦＲ値（Ｆｓ／Ｆｐ）と入射角θｓとの関係を示す。ここでは、被写体が屈折率η＝１．５のプラスチックから構成される場合を考えている。図１１に示されるように、入射角θｓが０度から９０度まで増加する場合、ＳｐｅｃｕｌａｒＰＦＲ値は、いったん∞まで増加してから再度減少するカーブを描く。このため、実測値を理論式で代入して、解となる角度θｓを求めようとすると、２通りの解が得られ、一意に解を決定できない。これは、屈折率ηを変えても同様である。本実施形態では、このような問題を解決するため、後述する方法を採用する。ここでは、まず、ＳｐｅｃｕｌａｒＰＦＲ値の実測方法を説明する。

ＳｐｅｃｕｌａｒＰＦＲ値は、鏡面反射成分から計算される値である。Ｓ領域の輝度は、図６に示すように、角度Ψに応じて変動する鏡面反射成分Ｉｓ（Ψ）と、角度Ψに依存しない拡散反射成分Ｉｄとが合成されて観測されると想定している。このため、ＳｐｅｃｕｌａｒＰＦＲ値を実測するには、測定される輝度から鏡面反射成分Ｉｓ（Ψ）だけを分離する必要がある。分離されたＩｓ（Ψ）は、正弦波状に変動しており、この最大値と最小値の比率が、ＳｐｅｃｕｌａｒＰＦＲ値に相当する。すなわち、ＳｐｅｃｕｌａｒＰＦＲ値は、下記の（式７）によっても表現される。

次に、図１０を参照して、ＤｉｆｆｕｓｅＰＦＲ値を説明する。ＤｉｆｆｕｓｅＰＦＲ値とは、光が拡散反射によって被写体から出て行く場合の出射面におけるフレネル反射係数であると定義される。図１０に示すように、光源からの入射光１１０１は、被写体媒質に入射した後、媒質内で方位１１０２に示されるように様々な方向に散乱し、非偏光の散乱光となる。この非偏光の散乱光の一部が被写体媒質から再度空中に出て、カメラに入る出射光１１０３となる。この出射光１１０３が拡散反射光である。

被写体媒質内の散乱光１１０４の一部は、被写体媒質の内部に反射する光１１０５と、屈折して出て行く出射光１１０３とに分離される。このため、出射光の偏光度合いは、媒質中から空中へ光が進む場合の屈折率として、１／ηを使って表現される。ここで、被写体媒質での入射角を角度φｄ、観測点における出射角をθｄとする。この場合、まず、フレネル反射の（式６）を角度φｄに適用すると、被写体媒質内へのフレネル反射係数Ｆｐ’、Ｆｓ’との関係は、以下の（式８）のように表される。ここで、φｄとθｄとの関係は、スネルの法則によって規定される。

被写体の表面で屈折し、空中に出て行く出射光１１０３は、総エネルギーを１とした場合に、総エネルギーから媒質内部への反射光１１０５を引いたものである。故に、ＤｉｆｆｕｓｅＰＦＲ値の理論式は、以下の（式９）によって表すことができる。

拡散光の偏光度合いを実際に観測する場合、Ｄ領域での反射光が全て拡散光であることを仮定しているため、ＤｉｆｆｕｓｅＰＦＲ値は、以下の（式１０）で規定されるように実測値で示すことができる。

図１２は、（式９）で表現されるＤｉｆｆｕｓｅＰＦＲ値と出射角θｄとの関係を示すグラフである。ここでは、被写体がη＝１．５のプラスチックから形成されている場合を想定している。図１２に示すように、ＤｉｆｆｕｓｅＰＦＲ値は出射角θｄに依存して単調に増加する。被写体の屈折率ηが異なると、図１２の曲線は変化するが、単調増加の傾向自体は、屈折率ηによらず、成立する。このため、被写体の屈折率ηが既知であれば、ＤｉｆｆｕｓｅＰＦＲ値から出射角θｄを一意的に求めることができる。

なお、図６に示すように、Ｄ領域では、反射光の全てが拡散反射成分であるとみなせるため、ＤｉｆｆｕｓｅＰＦＲの計算に不確定性はない。したがって、被写体の屈折率ηが与えられると、ＤｉｆｆｕｓｅＰＦＲ値の実測値（式１０）から、出射角θｄの値を高い信頼度で得ることが可能になる。

図５に戻る。ステップＳ４０５において、被写体の屈折率ηが入力されていると、（式９）の理論式が確定し、図１２の曲線が求められる。ここでは、被写体の屈折率ηがＤ領域およびＳ領域で同一の大きさを有しているものと仮定する。

ステップＳ４０６において、Ｄ領域法線推定ステップを実行する。Ｄ領域について得られるＩｍａｘおよびＩｍｉｎの実測値から、（式１０）に基づいてＤｉｆｆｕｓｅＰＦＲ値（実測値）を求める。ＤｉｆｆｕｓｅＰＦＲ値（実測値）が得られると、図１２の関係から、出射角θｄを求めることができる。図１０から明らかなように、この出射角θｄが定まると、出射面内における表面法線を決定することができる。出射面を特定する角度Ψｄは、既にステップＳ４０３で求めているため、Ｄ領域の表面法線を一意的に決定することができる。この処理は、図１のＤ領域法線推定部１０７で実行される。

次に、ステップＳ４０７（Ｓ領域法線推定ステップ）に進む。ここでは、Ｓ領域の表面法線を決定することになる。具体的には、Ｓ領域について、ＳｐｅｃｕｌａｒＰＦＲ値（実測値）から入射角θｓを求める。この処理は、図１のＳ領域法線推定部１０６で実行される。図１１を参照しながら説明したように、ＳｐｅｃｕｌａｒＰＦＲ値の実測値が得られると、上記の（式６）に代入することにより、入射角θｓを求めることが可能である。ただし、２つの解が存在するため、いずれか一方に限定する操作が必要になる。本発明では、この限定を行うため、既に得たＤ領域の表面法線に関する情報を利用する。

まず、屈折率ηを既知として、（式６）を用いて入射角θｓとＳｐｅｃｕｌａｒＰＦＲ値の理論式を得る。図１１に示すように、実測されたＳｐｅｃｕｌａｒＰＦＲ値に相当する入射角θｓを求めると、２つの解が得られる。ここでは、その２つの解を「θｓ候補」と呼ぶことにする。

θｓ候補が求められたならば、ステップＳ４０８に進む。ステップＳ４０８では、ステップＳ４０６で求めたθｄとステップＳ４０７で求めたθｓとの連続性を評価する。被写体の表面法線は、表面の位置に依存して変化するが、表面形状の変化が緩やかな場合、近傍に位置する複数の表面法線は、ほぼ等しい方向を向く。このため、Ｄ領域とＳ領域とが隣接する領域では、Ｄ領域の表面法線とＳ領域の表面法線と連続性を示す傾向がある。したがって、Ｓ領域の２つの「θｓ候補」によって特定される２つの表面法線の候補のうち、Ｄ領域の表面法線に近い法線がＳ領域の表面法線として選択されるべきである。Ｄ領域とＳ領域における表面法線の連続性の程度は、角度θｓと角度θｄとの差異によって評価することが可能である。ここでは、以下の（式１１）に示す評価式によって連続性を評価する。

ステップＳ４０７で求めた２個の解（θｓ候補）の中から、上記の（式１１）により、連続性を満たす１つの解を選択することになる。ここで、連続性が満足された場合には、ステップＳ４０９に進み、Ｓ領域で求められた入射面と入射角の対（Ψｓ、θｓ）を各画素で蓄積したテーブルと、Ｄ領域で求められた出射角と出射角の対（Ψｄ、θｄ）を各画素で蓄積したテーブルとを結合し、画像の各画素における表面法線（Ψ、θ）、すなわち２成分を有する表面法線画像を得る。

ステップＳ４０８において、連続性が満足されない場合、その理由は、以下のいずれかであると考えられる。
１）ステップＳ４０４で仮定した鏡面反射成分分離比Ｒが不適当であり、その結果、誤ったＳｐｅｃｕｌａｒＰＦＲ値を算出してしまった。
２）ステップＳ４０２で仮定したＤ／Ｓ領域分離が不適当であり、本来Ｓ領域、Ｄ領域であるべき法線を異なる方式で計算してしまった。

従って、ステップＳ４０８で連続性が満足されなかった場合は、再度、これらの値を更新して、法線更新の繰り返しのステップに入る。具体的には、ステップＳ４１０でＳｐｅｃｕｌａｒＰＦＲ値を更新する。すなわち、Ｒ値を＋方向と−方向に微小変動させ、その結果、境界線上でのθｓがθｄに近くなる方向にＲを微小量だけ更新する。この際、境界上でのＩｄの連続性を考慮することにより、収束を早めることができる。図１３（ａ）、（ｂ）は、この収束過程を模式的に表した図である。図１３（ａ）に示すように、初期状態では、Ｄ領域とＳ領域で全く異なる表面法線が得られている。収束後は、図１３（ｂ）に示すように、Ｓ領域の範囲が変化するとともに、Ｓ領域とＤ領域の法線が連続的に移行しており、被写体の表面法線が大域的に求められる。

図５を参照する。ステップＳ４１０での更新が終わると、ステップＳ４１１に進み、Ｄ／Ｓ領域境界を更新する。境界領域は、図７に示す２つのしきい値Ｔｈ１、Ｔｈ２によって決定される。しきい値Ｔｈ１を高めると、Ｓ領域の面積が減少する。しきい値Ｔｈ１を＋方向と−方向に微小変動させ、再度、境界上でのθｓがθｄに近くなる方向にしきい値Ｔｈ１を微小量だけ更新する。

図５に示すステップＳ４１１の更新処理が終わると、再度、ステップＳ４０３の処理に戻る。ステップＳ４０８で連続性が満たされるまで、ステップＳ４０３、Ｓ４０４、Ｓ４０６〜Ｓ４０８、Ｓ４１０、Ｓ４１１の処理を必要な回数繰り返す。

連続性が満たされた場合、ステップＳ４０９に進む。ステップＳ４０９では、Ｓ領域で求めた入射面と入射角の対（Ψｓ、θｓ）と、Ｄ領域で求めた出射角と出射角の対（Ψｄ、θｄ）の角度情報をカメラ座標系の平面上に投影した角度として表面法線（Ψ、θ）を計算する。この変換は、図１４（ａ）、（ｂ）に示すように、θの補正に相当する。法線と視線ベクトルの間の角度として定義されているθを、視線ベクトルを用いてカメラ座標系における角度に変換する。

図１４（ａ）における画像上の画素位置（ｘ、ｙ）（画素）と画像座標系と呼ばれる撮像素子上での実寸位置（ｘ_f'、ｙ_f'）（ｍｍ）の関係式は、画像上レンズ光軸位置 （Ｃ_x、Ｃ_y）（画素）、撮像素子１画素のサイズ（ｄｘ、ｄｙ） （ｍｍ）、レンズの歪みを示す歪みパラメータκ₁、κ₂を用いて次式で求められる。

ここで、（ｄｘ、ｄｙ）（ｍｍ）は、カタログ値などから計算でき、また、（Ｃ_x、Ｃ_y）、κ₁、κ₂、ｆはいわゆるカメラキャリブレーションを行うことで既知となる（例えば、Ｒｏｇｅｒ Ｙ．Ｔｓａｉ、 “Ａｎ Ｅｆｆｉｃｉｅｎｔ ａｎｄ Ａｃｃｕｒａｔｅ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ ３Ｄ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ”、 Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、 Ｍｉａｍｉ Ｂｅａｃｈ、 ＦＬ、 １９８６、 ｐｐ． ３６４−３７４）。これらのパラメータは、撮像装置の位置や姿勢が変化しても変化しない。このようなパラメータをカメラ内部パラメータと呼ぶ。

本実施形態では、撮像前にカメラキャリブレーションを行ない、カメラ内部パラメータ（Ｃ_x、Ｃ_y）、（ｄｘ、ｄｙ）、ｆ、κ₁、κ₂を特定する。これらの値は、撮像装置購入時に付属されているものを利用しても構わない。また、カメラが固定焦点ではなく、ズーム可能である場合、各ズーム時の焦点距離ｆを個別に求めておき、必要なときに選択できるようにしておけばよい。そして、焦点距離ｆを撮像した画像とともに保持しておけばよい。図１２に示した法線を求めたい画素位置（ｘ、ｙ）に対応するカメラ座標系における見込み角αは、撮像装置の焦点距離ｆを用いて以下の式１３によって表される。

従って、画素座標位置（ｘ、ｙ）における表面法線は、カメラ座標系上で球面座標系を用いて以下のように求められ、出力される。

式１４に示される情報が被写体表面法線情報、すなわち被写体形状出力に相当する。

図１５〜１７は、本実施形態で用いられた偏光画像群、および、最後に出力される被写体表面法線形状の実例を示す写真である。

被写体は、木製マスクである。この被写体を非偏光照明で偏光フィルタを回転させながら撮影し、４枚の偏光画像を得た。この例では、図１５に示す４枚の偏光画像を用いる。偏光画像の偏光軸回転角Ψは、Ψ＝０°、４５°、９０°、１３５°である。

上記の４枚の偏光画像は、図１の偏光画像撮像部１０１によって得られ、正弦関数近似部１０２に入力される。その後の処理は、図１および図５を参照して説明した通りである。こうして、最終的にはカメラ座標系における極座標に相当する２個の角度パラメータ（Ψ'、θ'）を有する表面法線画像が生成される。図１６に表面法線画像を示す。図１６における表面法線画像の形成に際して、Ψ'（−１８０°〜１８０°）を０から２５５に割り当て、θ'（０°〜１８０°）を０から１２８に割り当てている。

（実施形態２）
次に、本発明による画像入力装置の第２の実施形態を説明する。

まず、図１８を参照する。図１８は、本実施形態に係る画像入力装置のブロック図である。

本実施形態の画像入力装置が、実施形態１における画像入力装置と異なる点は、光源出力部１５０１と、鏡面拡散反射画像出力部１５０２とを備えている点にある。また、連続性評価部１５０３の動作も異なるが、他の構成要素は、基本的には共通している。

本実施形態によれば、被写体の形状情報を取得するだけではなく、被写体を照明する光源の角度を求めることができる。また、被写体の輝度成分を、鏡面反射成分と拡散成分とに分離した画像を出力することも可能になる。

照明光源の推定は、既に「インバース・ライティング」という一研究分野を形成しているが、特別のセンサが用いて実行される。これに対して、本実施形態では、別センサを使わず被写体形状および光源の両方を推定できるため、コンピュータグラフィクス的処理を応用することが可能になる。

図１９は、光源推定の模式図である。鏡面反射（正反射）を生じている被写体の観測点（Ｓ領域）では、光源１６０１からの平行光の方向ベクトルＬ、表面法線ベクトルＮ、およびカメラ２０１の視線ベクトルＶの間に、以下の式１５の関係が成立する。

ベクトルＮおよびベクトルＶは、同一のカメラ焦点を座標の原点とするカメラ座標系によって計算される。式１５を用いることにより、ベクトルＮ、Ｖから平行光源ベクトルＬを推定することができる。

Ｓ領域における法線は、前述したように、当初は２個の候補（解）があり、また繰り返し計算にて最適解に収束する。このため、図２０（ａ）に示すように、始めは複数の解に対応するベクトルＮが存在し、これに応じて複数の光源が推定されることになる。しかし、図２０（ｂ）に示すように、ベクトルＮの収束とともに、光源ベクトルも最適解に収束する。

本実施形態の光源出力部１５０１は、Ｓ領域法線推定部１０６によって求められたＳ領域のベクトルＮおよびベクトルＶの情報を得て、上述した正反射の幾何学的関係から平行光を仮定して光源方向を計算する。

次に図２１を参照して、鏡面拡散反射画像出力部１５０２の動作を説明する。

鏡面拡散反射画像出力部１５０２は、反射領域分離部１０３および鏡面反射成分分離部１０４の出力を利用し、撮影された被写体輝度画像を鏡面反射成分の画像と拡散反射成分の画像に分離する。この処理は、実被写体をコンピュータグラフィックスのモデルとする場合に必要であり、表面反射特性を得ることができる。

反射領域分離部１０３でＤ／Ｓ分離された領域分割結果１８０１は、基本的に、２値情報にすぎず、これを画像化しても、表面反射特性を得ることはできない。図２１に示すように、加算されている輝度を最適分離することにより、画像１８０１から鏡面反射画像１８０２と拡散反射画像１８０３とを生成する必要がある。この分離のため、本実施形態では、鏡面反射成分分離部１０４で推定した分離比Ｒの情報を用いる。

以下、図２２（ａ）〜（ｃ）を参照して、分離の方法を説明する。図２２（ａ）〜（ｃ）は、Ｓ領域とＤ領域において、拡散反射成分の連続性を維持しつつ、上記の最適分離を行う方法を示している。図２２（ｂ）、（ｃ）のグラフにおいて、縦軸は偏光画像で観測される輝度を偏光板角度にて平均化した平均輝度である。横軸は、画像上のＸ軸などの座標を示す。

前述の（式５）における分離比Ｒは、Ｓ領域において画素ごとに決定される。すなわち、Ｓ領域の各画素では、式５により、図２２（ｂ）に示す鏡面反射成分１９０１と拡散反射成分１９０２とを分離することができる。

図２２（ｂ）に示す例では、Ｓ領域内でも画素間で鏡面反射成分１９０１および拡散反射成分１９０２がそれぞれ連続していない。また、図２２（ｂ）では、Ｄ／Ｓ境界線１９０３、１９０４上で、拡散反射成分１９０２などの成分が不連続に変化している。

本実施形態では、表面法線以外にも、特に拡散反射成分１９０２のＤ／Ｓ境界線上での連続性を満たすため、連続性評価部１５０３での評価内容を追加している。すなわち、本実施形態の連続性評価部１５０３では、図１の法線更新部１０８での処理ステップＳ４０８に加え、Ｄ／Ｓ境界線上においてＳ領域内の拡散反射成分Ｉ_d#area(S)とＤ領域内の拡散反射成分（輝度自身）Ｉ_d#area(D)について以下の式１６に示す連続性評価を行う。

ここで、連続性が満足された場合、鏡面拡散反射画像出力部１５０２は、分離された輝度画像を出力する。拡散反射成分Ｉｄ（ｘ、ｙ）およびＩｓ（ｘ、ｙ）は、偏光画像撮像部１０１における画像座標（ｘ、ｙ）の観測輝度値の回転角Ψに関する平均値Ｉａｖｅ（ｘ、ｙ）を用いて、各々Ｄ、Ｓ領域において以下の式１７に示すように変換される。

連続性評価部１５０３において連続性が満足されない場合、以下の原因が考えられる。
１）仮定した鏡面反射成分分離比Ｒ（ｘ、ｙ）が不適当であり、その結果誤ったＳｐｅｃｕｌａｒＰＦＲ値を算出してしまった。
２）仮定したＤ／Ｓ領域分離が不適当であり、本来Ｓ領域、Ｄ領域であるべき法線を異なる方式で計算してしまった。

したがって、実施形態１で行ったように、これらの値を更新して繰り返しのループに入ればよい。本実施形態における出力画像の例は、実施形態１について示した画像に加え、図１７に示すような拡散反射画像Ｉｄ（ｘ、ｙ）および鏡面反射画像Ｉｓ（ｘ、ｙ）が鏡面拡散反射画像出力部１５０２から得られる。なお、光源出力部１５０１からは、光源の位置情報が出力される。

なお、図２２に示す例は、Ｄ／Ｓ境界線１９０３、１９０４上で鏡面反射成分１９０１および拡散反射成分１９０２がそれぞれ連続していることを評価関数として最適なＤ／Ｓ分離比Ｒを決定するものであるが、これをカラー画像に拡張することも可能であり、その場合には、より強力な拘束条件となり高精度な分離を実現することができる。この場合は、Ｓ領域内のカラー拡散反射成分とＤ領域内のカラー拡散反射成分が連続性を満たすように最適な分離比Ｒを決定すればよい。これも本実施の形態に含まれるものとする。その場合、評価式は以下の（式１８）に示すようになる。

（実施形態３）
図２３は、本発明による画像入力装置の第３の実施形態を示すブロック図である。

本実施形態の画像入力装置は、カラー画像に対応している。本実施形態では、実施形態２の装置と同様に、被写体の形状情報、被写体を照明する光源の角度、被写体の鏡面反射画像および拡散反射画像を出力することができる。

本実施形態の装置は、カラー偏光画像撮像部２００１、反射領域分割整合部２００２、Ｒｅｄ処理部２００３、Ｇｒｅｅｎ処理部２００４、Ｂｌｕｅ処理部２００５、Ｒｅｄ鏡面拡散反射画像出力部２００６、Ｇｒｅｅｎ鏡面拡散反射画像出力部２００７、Ｂｌｕｅ鏡面拡散反射画像出力部２００８、法線整合部２００９、被写体屈折率情報データベース１０５、光源出力部１５０１、形状画像出力部１５０２を備えている。

各色の処理部には、カラー偏光画像撮像部２００１から、Ｒｅｄ偏光画像データ２０１１、Ｇｒｅｅｎ偏光画像データ２０１２、Ｂｌｕｅ偏光画像データ２０１３が入力される。また、被写体屈折率情報データベース１０５からは、Ｒｅｄ屈折率データ２０１７、Ｇｒｅｅｎ屈折率データ２０１８、Ｂｌｕｅ屈折率データ２０１９が入力される。

本実施形態における法線整合部２００９は、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの色別に得られる法線を相互に一致させる拘束条件を与え、法線が相互に一致するまで必要な処理を繰り返すことになる。

カラー偏光画像撮像部２００１は、図２または図３に示されるカメラをカラー化したものであり、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの３原色画像の各々についてＮ枚の偏光画像を撮像する。

本実施形態では、Ｒｅｄ処理部２００３、Ｇｒｅｅｎ処理部２００４、Ｂｌｕｅ処理部２００５において、色毎に別個の処理が実行される。カラーに関する画像処理は、独立に行われ、Ｒｅｄ鏡面拡散反射画像出力部２００６、Ｇｒｅｅｎ鏡面拡散反射画像出力部２００７、Ｂｌｕｅ鏡面拡散反射画像出力部２００８は、色別の鏡面反射画像および拡散反射画像を分離して出力する。

被写体の形状に関する処理や光源に関する処理は、異なる色の間で共通しているため、色別で行われる処理結果の相互の整合性をとることが必要になる。この役割は、反射領域分割整合部２００２および法線整合部２００９によって実行される。

図２４は、Ｒｅｄ処理部２００３のブロック図である。図２４に示される構成は、図１８に示される構成とほぼ同一である。図２４の構成では、Ｒｅｄ偏光画像データ２０１１およびＲｅｄ屈折率データ２０１７が入力され、反射領域分割が行われる。反射領域整合信号２０１０は、反射領域分割部１０３にて設定されたＤ／Ｓ領域境界がＲｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの各色で同一であるという拘束条件を付加する。また、Ｒｅｄ法線整合信号２０１４は、得られた法線がＲｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅとも同一であるという拘束条件を付加するためのものである。他の構成要素の動作は、図１８を参照して説明したものと同一であるため、ここでは説明の繰り返しを省略する。本実施形態の画像入力装置から出力される画像の例は、実施形態２について説明した画像をカラー化したものであり、本質的には同一である。

図２５は、本実施形態に係る画像入力装置から出力される情報またはデータを、格納するときのデータの形式または画像フォーマットの一例を示す図である。

本実施形態における画像入力装置から出力されるデータの画像フォーマット２２０２は、静止画、動画いずれにおいても、以下の４種類の情報を含む。ここで、（ｘ、ｙ）は画像上の画素位置を示す。
１．光源情報Ｌ： Ｌ₁ （ｘ、ｙ）、Ｌ₂（ｘ、ｙ）
２．鏡面反射ピーク色度情報： （Ｒ_peak／Ｙ_peak、Ｂ_peak／Ｙ_peak）
３．モノクロ鏡面反射画像： Ｙｓ（ｘ、ｙ）
４．カラー拡散反射画像： Ｒｄ（ｘ、ｙ）、Ｇｄ（ｘ、ｙ）、Ｂｄ（ｘ、ｙ）
５．表面法線画像： Ψ'（ｘ、ｙ）、θ'（ｘ、ｙ）

ここで、鏡面反射ピーク色度画像とは、鏡面反射の最高輝度におけるカラーの比率である。以下の式１９による計算を行うことにより、モノクロ鏡面反射画像からカラー鏡面反射画像を生成できる。このように、上記１〜５の情報に分離して格納することにより、データ記憶量と処理計算量が減少する。なお、項目２、３において、輝度Ｙのかわりに輝度Ｇ（Ｇｒｅｅｎ）を使うことも可能である。

これらを含む画像フォーマットは各種デジタルスチルカメラ、デジタルムービーカメラ、監視カメラなどに適用可能な画像処理においてコンピュータグラフィクス処理を取り入れるために必要不可欠な情報でありきわめて有効である。

本実施形態では、３原色について同様の処理を実行しているが、一般に、青い色の偏光画像は相対的に暗くなるため、赤および緑で上記の処理を行う構成を採用しても良い。そのようにすることにより、装置の構成が簡単になるとともに、処理速度も向上する。

（実施形態４）
図２６を参照しながら、本発明によるカラー偏光ビジョンカメラシステムの実施形態を説明する。図２６は、本実施形態のシステム構成を示す図である。

図示されるカラー偏光ビジョンカメラ２３０１は、図２３に示すカラー偏光画像撮像部２００１とカラー偏光処理部２０００とを備える装置である。

カラー偏光画像撮像部２００１は、図２または図３に示すカメラをカラー化したものであり、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの３原色画像につき、偏光画像Ｎ枚を撮像する。カラー偏光処理部２０００は、３原色の偏光画像を処理し、光源情報２２０２、鏡面反射ピーク色度情報２２０３、モノクロ鏡面反射画像２２０４、カラー拡散反射画像２２０５、表面法線画像２２０６を出力する。この画像フォーマットは、図２５に示す情報を含むものであれば、動画、静止画のいずれに関するものであってもよい。

被写体の屈折率に関する情報２３０２は、例えば、カメラ２３０１による撮影時において、ネットワーク経由で被写体屈折率情報データベース１０５から取得することができる。あるいは、被写体の屈折率に関する情報２３０２を格納しているメモリカード２３０３により、カメラ２３０１に入力されてもよい。被写体の屈折率情報は、屈折率そのものである必要はない。被写体の材質を特定することにより、特定された材質からカメラ２３０１が適切な屈折率を決定するようにしてもよい。被写体材質の特定は、例えば、プラスチック製物体、ガラス製物体、陶器などの材質候補からカメラ２３０１のボタンによって行うようにしてもよい。このような材質特定は、カメラ撮影者が被写体にあわせて適宜実行することが可能である。

このように、本実施形態に係るカラー偏光ビジョンカメラでは、被写体表面の屈折率情報を入力するだけで、撮影シーンから被写体の形状情報だけではなく、カラー画像を鏡面反射と拡散反射に分離した画像や、光源方向情報を得ることができる。また、特殊な光源やセンサが必要ないため、様々なシーンにおける被写体を撮影することが容易である。

図２７は、カラー偏光画像撮像部２００１の１つの例を示す斜視図である。このカラー偏光画像撮像部２００１は、パターン化偏光子３０１と、カラー撮像素子２５０４とを備えている。カラー撮像素子２５０４は、Ｂｌｕｅ層２５０１、Ｇｒｅｅｎ層２５０２、Ｒｅｄ層２５０３が積層された層状構造を有している。

パターン化偏光子３０１は、偏光軸の回転角Ψ＝０°、４５°、９０°、１３５°の４種類の偏光方向を有する画素がベイヤ配列のように１画素として機能する。このため、偏光方向が４５°ずつ異なった４種の偏光画像を同時に撮像することができる。

このようなパターン化偏光子３０１は、例えばフォトニック結晶を用いた偏光板アレイなどを用いて作製することができる（例えば、佐藤尚他：「フォトニック結晶アレイを用いたエリプソメトリーと偏光イメージング」 光応用技術シンポジウム資料集 ＳｅｎＳｐｅｃ２００６ ―透明膜の形状・膜質計測の最近動向― ２００６年６月８日〜９日 精密工学会メカノフォトニクス専門委員会 ｐ．４５−５２）。また、モノクロ輝度画像を取得する場合と異なり、画素がカラー化されたため、パターン化偏光子３０１の偏光透過反射の動作主波長帯域を、前述のＢｌｕｅ層２５０１、Ｇｒｅｅｎ層２５０２、Ｒｅｄ層２５０３の波長帯域のいずれか１色に合致させるものとする。

層状構造を形成するカラー素子２５０１、２５０２、２５０３は、シリコンの波長依存吸収特性を用いる「Ｆｏｖｅｏｎ素子」などを用いて作成することができる（Ｒｉｃｈａｒｄ Ｆ．Ｌｙｏｎ ａｎｄ Ｐａｕｌ Ｍ．Ｈｕｂｅｌ:“Ｅｙｅｉｎｇ ｔｈｅ Ｃａｍｅｒａ:Ｉｎｔｏ ｔｈｅ Ｎｅｘｔ Ｃｅｎｔｕｒｙ”、ＩＳ＆Ｔ／ＳＩＤ Ｔｅｎｔｈ Ｃｏｌｏｒ Ｉｍａｇｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ ＰＰ．３４９−３５５、２００２）。

図２８は、図２７のカラー偏光画像撮像部２００１（図２６）のパターン化偏光子３０１におけるサブ画素Ａ、Ｂ、Ｃ、Ｄの配列例を示す平面図である。サブ画素Ａ、Ｂ、Ｃ、Ｄは、それぞれ、偏光軸方向Ψ＝０°、４５°、９０°、１３５°の偏光子部分に相当している。図２８には、正弦波のサンプリング位置を規定する角度とサブ画素Ａ、Ｂ、Ｃ、Ｄとの関係を示している。この正弦波の輝度値は、サブ画素Ａ〜Ｄにおける前述のＢｌｕｅ層２５０１、Ｇｒｅｅｎ層２５０２、Ｒｅｄ層２５０３の波長帯域のうち、パターン化偏光子３０１の動作波長域に合致した、いずれか１色の輝度を示しているものとする。

サブ画素Ａ、Ｂ、Ｃ、Ｄにおける偏光子は、図２８のパターン２６０１で配列されている場合、４つのサブ画素Ａ、Ｂ、Ｃ、Ｄからなる画素単位のそれぞれの位置から、４種類の異なる偏光情報を取得できる。このため、例えば位置２６０２でも、これに隣接する位置２６０３でも、異なる４種類の偏光情報を取得でき、それぞれの位置において、４つのサブ画素Ａ、Ｂ、Ｃ、Ｄから１個の画素を構成することができる。したがって、４つのサブ画素Ａ〜Ｄからなる画素単位をサブ画素単位でシフトした格子点で画像を形成できるため、偏光画像の解像度が低下しないという利点がある。またカラー輝度は、このサブ画素Ａ，Ｂ，Ｃ，Ｄにおける偏光観測された輝度を平均化することで決定されるが、これも同様にサブ画素単位でずらしながら処理できるため解像度が低下しない利点がある。

偏光軸が異なる４つのサブ画素の輝度は、それぞれ、正弦曲線２６０４上の４点におけるサンプリング値に相当するため、（式１）に示す近似が可能になる。しかし、本願発明者らの実験によると、サブ画素Ａ〜Ｄから得られる４点の情報に基づいて正弦関数を近似し、最小値角度Ψを決定した場合、ノイズを多く含むことがわかった。このため実際にはより多いサンプリングが望ましい。

図２９は、サンプリングのポイントを高めるように改良したカラー偏光画像撮像部２００１（図２６）におけるパターン化偏光子３０１の平面図と正弦波のサンプリング位置関係を示している。

図２９の例では、９種類の偏光軸方向Ψ＝０°、２０°、４０°、６０°、８０°、１００°、１２０°、１４０°、１６０°の各偏光子を、それぞれ、サブ画素Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉと対応付けている。この正弦波の輝度値は、サブ画素Ａ〜Ｉにおける前述のＢｌｕｅ層２５０１、Ｇｒｅｅｎ層２５０２、Ｒｅｄ層２５０３の波長帯域のうち、パターン化偏光子３０１の動作波長域に合致した、いずれか１色の輝度を示すものとする。

サブ画素Ａ〜Ｉの偏光子がパターン２７０１で配列されると、画素ユニットの位置２７０２から９種類の異なる偏光情報を取得でき、同様に画素ユニットの位置２７０３から９種類の異なる偏光情報を取得できる。図２８を参照して説明したように、９つのサブ画素からなる画素ユニットをサブ画素単位でシフトさせた画像を得ることができるため、偏光画像の解像度は低下しない。この例では、各画素ユニットについて、９つの異なる偏光軸に対応した輝度情報が得られるため、正弦曲線２６０４上のサンプリング点が９個に増加し、近似精度が向上する。またカラー輝度は、このサブ画像ＡからＩの偏光観測された輝度を平均化することで決定されるが、これも同様にサブ画素単位でずらしながら処理できるため解像度が低下しない利点がある。

（実施形態５）
図３０は、図２５で示した画像フォーマットを使ってカラー画像の高解像度化を行う実施形態を示すブロック図であり、カラー画像高解像度再現表示部３００１の詳細を示している。

撮像した画像を後で任意の大きさに拡大する処理（アフターズーミング）は、画像撮像後の各種編集処理において重要である。従来、アフターズーミング時における画像の高解像度化は、補間処理などによって行なわれてきた。しかし、このような従来の方法によれば、２ｘ２倍以上の拡大画像を合成する場合に、拡大画像がボケてしまい、画質が劣化する問題があった。本発明による画像フォーマットを利用すると、画質劣化の少ない、画像の高解像度化を実現することができる。

被写体情報は、モノクロ鏡面反射画像２２０４と、カラー拡散反射画像２２０５とに分離されて入力される。一般に、鏡面反射画像では、光源の反射に起因する細かな形状情報が鮮明に現れているが、表面のテクスチャ情報が失われている。一方、拡散反射画像では、テクスチャ情報が鮮明になっているが、光の反射による立体感が失われている。本実施形態では、モノクロ鏡面反射画像２２０４およびカラー拡散反射画像２２０５という異なる２種類の画像情報を別々に処理することにより、より精細な高解像度化処理が可能になる。

モノクロ鏡面反射画像２２０４は、パラメータ推定部２８０５に入力され、カラー拡散反射画像２２０５は、擬似アルベド画像推定部２８０１に入力される。

擬似アルベド画像推定部２８０１は、カラー拡散反射画像２２０５、光源情報２２０２、表面法線画像２２０６を利用し、被写体の擬似アルベド画像を推定する。擬似アルベド画像は、表面法線Ｎと光源方向ベクトルＬとが形成する角度を（Ｌ、Ｎ）とした場合、カラー拡散反射画像２２０５をｃｏｓ（Ｌ、Ｎ）で除算した値である。絶対照度が不明な場合、擬似アルベド画像は、被写体形状による照度差をキャンセルした被写体固有の反射率画像とみなせる。

擬似アルベド画像推定部２８０１で得られた擬似アルベド画像は、擬似アルベド画像高解像度化部２８０２に与えられる。擬似アルベド画像は、被写体固有の反射率特性を反映した画像である。したがって、擬似アルベド画像は、実シーンにおける照明などの変動に依存しない。このため、事前学習に基づく被写体のテキストン（画像のテクスチャ特徴量）に関するデータベース２８０３を用いて、高解像度化することができる。テキストンを用いた高解像度化については、上村他「Ｔｅｘｔｏｎ置換に基づく画像の高解像度化手法」映像情報メディア学界誌Ｖｏｌ．６０、Ｎｏ．１０、ｐｐ．１６５５−１６５７（２００６）に記載されている。

拡散反射画像高解像度化部２８０４は、擬似アルベド画像高解像度化部２８０２で得られた高解像度擬似アルベド画像から、高解像度カラー拡散画反射像に逆変換を行う。具体的には、擬似アルベド画像に上記のｃｏｓ（Ｌ、Ｎ）を乗算する。ｃｏｓ（Ｌ、Ｎ）は、光源情報２２０２と、後述する被写体の高密度法線の情報を用いて求めることができる。

次に、モノクロ鏡面反射画像２２０４の高解像度化処理を説明する。

パラメータ推定部２８０５は、被写体の法線情報、および鏡面反射画像を利用して、被写体を表現するパラメータを推定する。パラメータの推定に用いるモデルは、例えば、Ｃｏｏｋ−Ｔｏｒｒａｎｃｅモデル、Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデル、Ｐｈｏｎｇモデル、簡易Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデルが用いられる。これらのモデルは、例えば、「Ｋ． Ｉｋｅｕｃｈｉ ａｎｄ Ｋ． Ｓａｔｏ、 “Ｄｅｔｅｒｍｉｎｉｎｇ ｒｅｆｌｅｃｔａｎｃｅ ｐｒｏｐｅｒｔｉｅｓ ｏｆ ａｎ ｏｂｊｅｃｔ ｕｓｉｎｇ ｒａｎｇｅ ａｎｄ ｂｒｉｇｈｔｎｅｓｓ ｉｍａｇｅｓ”、 ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、 ｖｏｌ．１３、 ｎｏ．１１、 ｐｐ．１１３９−１１５３、 １９９１」に記載されている。なお、パラメータの推定方法は、上述したものに限定されず、例えば、勾配法や最小自乗法などのような一般的なパラメータ推定手法を用いても良い。

上述のＣｏｏｋ−Ｔｏｒｒａｎｃｅモデルを用いる場合、パラメータは、屈折率η、粗さ係数ｍ、照度と鏡面反射比率の積であるＥｉＫｓの３種になる。これらのパラメータは、カラーの場合、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ別々に求めることもできるが、ここではモノクロ鏡面反射画像２２０４を用いるため、基本的には１種類のパラメータを使う。

カラー化を行うためには、鏡面反射ピーク色度情報２２０３を用いて、モノクロ鏡面反射画像にカラー比率を乗ずることにより、Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ版を生成すればよい。

法線情報高密化部２８０６は、法線データベース２８０７から得られるΨ’画像およびθ’画像に基づいて高密度の法線情報を推定する。具体的には、上述の擬似アルベド画像高解像度化部２８０２で行った高解像度画化と同様の手法により、Ψ’画像およびθ’画像を高解像度化する。高密度度化処理を行う前に学習処理を行い、法線の（Ψ’、θ’）成分に対する学習結果を法線データベース２８０７に蓄積しておく。なお、この処理は、学習を使わずに、（Ψ’、θ’）空間内での補間を利用して行うことも可能である。このような補間は、滑らかな形状を有する被写体では特に有効である。

鏡面反射画像高解像度化部２８０８は、高密度化された法線画像に基づいて、レンダリングを行い、高解像度な鏡面反射画像を合成する。レンダリングには、上記のパラメータ推定に用いたモデル、すなわちＣｏｏｋ−Ｔｏｒｒａｎｃｅモデル、Ｔｏｒｒａｎｃｅ−ＳｐａｒｒｏｗモデルやＰｈｏｎｇモデル、簡易Ｔｏｒｒａｎｃｅ−Ｓｐａｒｒｏｗモデルを用いることができる。

レンダリング部２８０９は、高解像度化されたカラー拡散反射画像とカラー鏡面反射画像とを合成し、カラー高解像度化画像を生成する。

本実施形態では、表面法線画像に基づいて擬似アルベド画像と鏡面反射画像を合成する方法を用いているが、本発明はこのような場合に限定されない。一般的なコンピュータグラフィックス処理のように、表面法線画像にテクスチャマッピング処理を施すことによって画像を合成してもよい。その場合は、入力画像からカラー拡散反射画像または擬似アルベド画像を抽出した段階で、該当する高解像度テクスチャをデータベースから探索し、最適なものをマッピングすればよい。

また、本実施形態では、カラー再現を例に説明したが、本発明は、モノクロ画像再現の高解像度化をも包含するものとする。その場合、鏡面反射画像のカラー化に必要だった鏡面反射ピーク色度情報２２０３は不要になる。さらにカラー拡散反射画像２２０５はモノクロ拡散反射画像でよいことはもちろんである。

（実施形態６）
図３３は、本発明による画像処理システムの概念図である。

図示される画像処理システムは、偏光画像を取得するための撮像部、この撮像部により取得した複数の画像を処理するカラー偏光ビジョンカメラ２３０１、カラー偏光ビジョンカメラが出力する画像フォーマット２２０１を用いて、被写体の鏡面反射画像と、この被写体の拡散反射画像とを処理し、合成して再現するカラー画像高解像度再現部３００１、およびディスプレイ３３０１を備えている。

上記構成要素の各々の詳細については、既に述べてあるので、ここでは説明の繰り返しを省略する。このような発明の画像処理システムによれば、被写体の偏光画像に基づいて、高画質の合成画像を得ることができる。

本発明の画像入力方法および装置は、被写体の屈折率データが既知であれば、偏光情報を用いて完全にパッシブな方法にて一般の環境シーンにおける被写体の形状や撮影シーンにおける光源情報を取得できる。このため、各種デジタルスチルカメラ、デジタルムービーカメラ、監視カメラなどに適用可能である。

また、今後のカメラの小型化に際して画像輝度情報が不足すると予想されるが、本発明の画像入力方法および装置によれば、高解像度化処理によって情報量の付与を行うことが可能になる。

本発明の第１の実施形態における画像入力装置の構成を示すブロック図である。 偏光画像撮像部の１つの実施形態を説明する模式図である。 偏光画像撮像部の別の実施形態を説明する模式図である。 偏光輝度変動カーブの正弦関数近似を説明するための模式図である。 本発明の第１の実施形態における画像入力装置の動作を示すフローチャートである。 反射領域分離の概念を説明する模式図である。 反射領域分離部の動作を説明するフローチャートである。 Ｓ領域での入射面、Ｄ領域での出射面の角度Ψの決定方法を示す図である。 Ｓ領域における入射面と入射角を説明する図である。 Ｄ領域における出射面と出射角を説明する図である。 入射角θｓとＳｐｅｃｕｌａｒＰＦＲ値との理論的関係式を説明する図である。 出射角θｄとＤｉｆｆｕｓｅＰＦＲ値との理論的関係式を説明する図である。 （ａ）および（ｂ）は、法線更新部における繰り返し処理の効果の模式図である。 （ａ）および（ｂ）は、入射角、出射角と表面法線の角度との関係を示す模式図である。 ４枚の偏光画像（偏光軸回転角Ψは０°、４５°、９０°、１３５°）を示す図である。 表面法線形状画像を示す図である。 拡散反射画像および鏡面反射画像を示す図である。 本発明の第２の実施形態に係る画像入力装置のブロック図である。 光源出力部における光源の角度推定の模式図である。 （ａ）および（ｂ）は、連続性評価部における光源推定の収束の効果を示す模式図である。 鏡面反射画像と拡散反射画像の分離を示す模式図である。 （ａ）から（ｃ）は、拡散反射成分の連続性を維持して最適分離行う模式図である。 本発明の第３の実施形態に係るカラー画像向けの画像入力装置のブロック図である。 本発明の第３の実施形態に係るＲｅｄ処理部のブロック図である。 本発明の第３の実施形態に係るカラー画像フォーマットの模式図である。 本発明の第４の実施形態に係るカラー偏光ビジョンカメラの模式図である。 本発明の第４の実施形態に係るカラー偏光画像撮像部を示す図である。 本発明の第４の実施形態に係るカラー偏光画像撮像部のパターン化偏光子の構成図である。 本発明の第４の実施形態に係るカラー偏光画像撮像部のパターン化偏光子の別の構成図である。 本発明の第５の実施形態に係るカラー画像高解像度処理のブロック図である。 （ａ）は入射面を示し、（ｂ）は出射面を示す図である。 （ａ）および（ｂ）は、入射面の角度Ψを示す図である。 本発明による画像処理システムの概念図である。

符号の説明

１０１ 偏光画像撮像部
１０２ 正弦関数近似部
１０３ 反射領域分割部
１０４ 鏡面拡散成分分離部
１０５ 被写体屈折率情報データベース
１０６ Ｓ領域法線推定部
１０７ Ｄ領域法線推定部
１０８ 法線更新部
１０９ 形状出力部
１１０ 法線推定部

Claims (21)

1. 撮像視点と前記被写体上の観察点とを結ぶ直線、および前記観察点における表面法線の両方を含む平面を規定する角度であって、前記直線に関する前記平面の回転角度をΨとした場合、角度Ψによって規定される前記平面に対して平行に偏光した光の偏光強度を異なる複数の角度Ψについて計測して得られる偏光画像を取得するための撮像部と、
   前記撮像部により取得した偏光画像を処理して、前記偏光画像の複数の角度Ψにわたる平均輝度値である被写体の輝度画像を分離した鏡面反射画像および拡散反射画像と、前記被写体の各画素位置における表面法線情報と、前記被写体の位置で観測される光源情報とをデータとして備える画像フォーマットを生成する画像処理部と、
   前記画像フォーマットを用いて、前記被写体の輝度画像の鏡面反射画像および拡散反射画像を処理し、前記輝度画像の鏡面反射画像および拡散反射画像を合成して再現する画像高解像度再現部と、を備え、
   前記画像処理部は、
   前記偏光画像を構成する画素を、鏡面反射領域および拡散反射領域を含む複数の反射特性領域に分類する反射領域分割部と、
   前記鏡面反射領域に分類された画素の輝度を鏡面反射輝度成分と拡散反射輝度成分とに分離する鏡面拡散成分分離部と、
   前記鏡面反射成分から前記鏡面反射画像を形成し、前記拡散反射輝度成分と前記拡散反射領域に分類された画素の輝度から前記拡散反射画像を形成する鏡面拡散反射画像出力部と、
   を有している、画像処理システム。
2. 偏光画像に基づいて被写体の表面形状を推定するための画像処理方法であって、
   撮像視点と前記被写体上の観察点とを結ぶ直線、および前記観察点における表面法線の両方を含む平面を規定する角度であって、前記直線に関する前記平面の回転角度をΨとした場合に、角度Ψによって規定される前記平面に対して平行に偏光した光の偏光強度を異なる複数の角度Ψについて計測して得られる偏光画像を取得する撮像ステップと、
   前記偏光画像を構成する画素を、鏡面反射領域および拡散反射領域を含む複数の反射特性領域に分類するステップと、
   前記拡散反射領域の偏光情報に基づいて、前記拡散反射領域の表面法線を推定する第１の法線推定ステップと、
   前記鏡面反射領域の偏光情報に基づいて、前記鏡面反射領域の表面法線を推定する第２の法線推定ステップと、
   前記第１の法線推定ステップと前記第２の法線推定ステップで求められる表面法線の連続性を評価することにより表面法線の不確定性を排除するステップと、
   を含む、画像処理方法。
3. 前記画素の輝度の角度Ψに関する平均値がしきい値よりも高い場合、その画素を鏡面反射領域に分類する、請求項２に記載の画像処理方法。
4. 前記鏡面反射領域に分類された画素の輝度を、鏡面反射成分と拡散反射成分とに分離するステップを更に含む請求項２に記載の画像処理方法。
5. 前記第１の法線推定ステップでは、
   前記拡散反射領域の拡散光の出射面における出射角が、フレネル反射係数の垂直成分および平行成分を用いた比率の理論式と前記偏光画像から得られる実測値の比較によって決定される、請求項２に記載の画像処理方法。
6. 前記第２の法線推定ステップでは、
   前記鏡面反射領域の光源光の入射面における入射角が、フレネル反射係数の垂直成分および平行成分を用いた比率の理論式と前記偏光情報から得られる実測値の比較によって決定される、請求項２に記載の画像処理方法。
7. 前記第１、第２の法線推定ステップでは、フレネル反射係数の垂直成分および平行成分を用いた比率の理論式は被写体の屈折率情報を入力することによって決定される、請求項５または６に記載の画像処理方法。
8. 前記拡散反射領域に含まれる第１部分と前記鏡面反射領域に含まれる第２部分とが近接する場合、前記第１部分における表面法線と前記２部分における表面法線との差異が縮小するように表面法線を更新するステップを含む、請求項７に記載の画像処理方法。
9. 前記偏光画像を撮像するときの撮像視点と前記鏡面反射領域の表面法線との間にある幾何学的関係に基づいて、光源の角度を推定するステップを含む、請求項２に記載の画像処理方法。
10. 前記鏡面反射領域に分類された画素の輝度を、分離比の設定値に基づいて鏡面反射輝度成分と拡散反射輝度成分とに分離する、請求項４に記載の画像処理方法。
11. 前記分離比は、
    前記鏡面反射領域と前記拡散反射領域の境界付近において、前記鏡面反射領域内の拡散反射成分および前記拡散反射領域内の拡散反射成分について画像上で輝度の空間的連続性を高めるように決定される請求項４に記載の画像処理方法。
12. 拡散反射成分はカラー画像上での色信号の空間的連続性を高めるように決定される請求項１１に記載の画像処理方法。
13. 前記偏光画像を構成する画素を前記複数の反射特性領域に分類するステップでは、前記被写体の偏光輝度の変動量と平均輝度値とを用いて分割する、請求項２に記載の画像処理方法。
14. 偏光画像に基づいて被写体の表面形状を示す情報を取得する画像処理装置であって、
    撮像視点と前記被写体上の観察点とを結ぶ直線、および前記観察点における表面法線の両方を含む平面を規定する角度であって、前記直線に関する前記平面の回転角度をΨとした場合、角度Ψによって規定される前記平面に対して平行に偏光した光の偏光強度を異なる複数の角度Ψについて計測して得られる偏光画像を取得する撮像部と、
    前記偏光画像を構成する画素を、鏡面反射領域および拡散反射領域を含む複数の反射特性領域に分類する反射領域分割部と、
    前記拡散反射領域の偏光情報に基づいて、前記拡散反射領域の表面法線を推定する第１の法線推定部と、
    前記鏡面反射領域の偏光情報に基づいて、前記鏡面反射領域の表面法線を推定する第２の法線推定部と、
    推定された前記拡散反射領域の表面法線に基づいて、前記鏡面反射領域の表面法線を補正する法線更新部と、
    を備える画像処理装置。
15. 前記偏光画像を生成するための撮像部を備え、
    前記撮像部は、偏光軸の向きが少なくとも３つの方向に異なる複数の偏光子単位が規則的に配列されたパターン化偏光子を備える、請求項１４に記載の画像処理装置。
16. 前記パターン化偏光子は、相互に偏光軸の向きが異なる９つの偏光子単位を含んでいる、請求項１５に記載の画像処理装置。
17. 前記撮像部は、前記パターン化偏光子における複数の偏光子単位に対応する複数のサブ画素を有しており、前記複数のサブ画素から選択されたサブ画素の組によって画素単位が形成される、請求項１６に記載の画像処理装置。
18. 前記撮像部は、異なる複数の色の各々について、前記偏光画像を取得し、
    前記反射領域分割部、前記屈折率情報取得部、前記第１の法線推定部、および、前記第２の法線推定部は、前記複数の色の各々について処理を実行し、
    前記複数の色の各々について求められた表面法線を相互に一致させる法線整合部を更に備える、請求項１４に記載の画像処理装置。
19. 請求項１４に記載された画像処理装置と、
    前記画像処理装置における屈折率情報取得部に被写体の屈折率に関する情報を提供する手段と、
    前記画像処理装置によって決定された被写体の表面法線情報を前記画像処理装置から取得して記憶する記憶媒体と、
    を備える画像処理システム。
20. 前記画像処理装置はカメラに内蔵されている請求項１９に記載の画像処理システム。
21. 請求項１に記載の画像処理システムに使用される画像処理装置であって、
    前記画像フォーマットの入力部と、
    前記画像フォーマットを用いて、前記被写体の鏡面反射画像および拡散反射画像を処理し、鏡面反射画像および拡散反射画像を合成して再現する画像高解像度再現部と、
    を備える画像処理装置。

Images