JPWO2011070708A1 - 画像処理装置 - Google Patents

Abstract

本発明の実施形態に係る画像処理装置（１０１）は、偏光光源（１０２）、偏光カメラ（１０３）を備える。被写体（１０４）を撮影する際には、偏光面を回転させる偏光照明（１０５）が被写体に照射される。被写体表面で反射した偏光反射光（１０６）が偏光カメラ（１０３）に到達して画像が記録される。偏光カメラ（１０３）は、偏光撮像素子（２０１）、輝度・偏光情報処理部（２０２）、偏光面制御部（２０４）、撮像制御部（２０５）を備える。偏光面制御部（２０４）から偏光照明を変化させる度に画像を撮像することにより、輝度画像Ｙ、および偏光位相画像Ｐが各偏光状態に対応して複数得られる。ここから高解像度化処理部（２０３）により高解像度法線画像（２０８）、高解像度輝度画像（２０９）が生成される。

Description

本発明は、撮像素子によって取得可能な本来の１画素よりも高精細な高解像度画像を生成できる自在ズーミング機能を有する画像処理装置に関する。

デジタル映像機器の発達によって民生品デジタルスチルカメラの撮像素子の画素数は１０００万画素を超えた。その結果、静止画では、写真プリント用途に十分な高解像度化が達成された。しかし、以下の用途では、撮像限界を超える高解像度化が求められている。
（ｉ）ネットショッピング等において商品の一部にあたる興味領域を自在に大きく表示したいという用途。
（ｉｉ）医療用画像診断などで病巣を詳細に観察したいなどの用途。
（ｉｉｉ）監視カメラにおいて犯人の服装を詳細観察したいなどの用途。
（ｉｖ）バイオメトリクスで顔、虹彩、指紋画像の解析等の用途。

このような要求に対し、撮像素子の解像度を向上させて対応する試みは、近年、限界に達しつつある。その理由は、光学的な限界により、１画素を高精細にしても解像度が上がらないためである。この限界を超えるためには、必然的にレンズや撮像素子の１画素サイズが大きくなる。その結果、デジカメ、ムービー、小型監視カメラ、さらに医療用内視鏡のような小型カメラでの実現が困難になっていく。

小型カメラを使用しつつ、従来の輝度の１画素をさらに細分化分割して高解像度化を実現しようとする試みは、一般に「超解像技術」と称される画像の高解像度化技術である。この技術では、被写体を連写または動画撮影して得た、複数枚の画像を入力とする。そして、これらの複数枚の画像間において、被写体の同一部位を撮像した画素どうしの対応を求め、対応する画素群から高解像画像上のパターンを推定するものが一般的である。しかしながら、ネットショッピングの商品撮影や医用画像は通常静止画１枚である。また、監視カメラ映像では、動画といえども、離散的な静止画が得られることが多い。このため、これらの場合には、従来の「動き」を用いた高解像度化技術は使えない。

また、従来の技術では、時間的に異なる複数フレーム画像に含まれる被写体対応部分の移動量を、輝度をベースとした対応付けを用いて検出する。このため、光沢のある表面など表面の鏡面反射が多数発生する領域においては、移動量の検出が困難になる。

静止画を前提として光沢表面においても１画素内の分割を可能とする技術が非特許文献１に開示されている。この技術では、金属製の硬貨や石の彫刻など、鏡面反射主体でマイクロファセット物理反射モデルが成立する被写体が選定されている。固定したカメラから照明光源の方向を様々に変化させながら、多数の被写体画像が撮影されている。そして、マイクロファセットモデルに当てはめて、その多数の画像から１画素内の微細法線の空間分布を推定し、１画素内の微細形状に対して照明が当たった場合の輝度を計算する。この高解像度化手法の前半部分では、光源移動した多数の撮影から１画素内に分布する微細領域法線のヒストグラムが構築される。後半部分では、該当するヒストグラムを満たす微細領域法線の空間内配列の組み合わせが、主に法線の可積分性を基礎としたエネルギー最小化問題として解かれている。ここで、「法線の可積分性」とは、被写体の表面に閉じた経路を与えると、その経路上の法線の線積分値である表面高さ情報が経路を一周して元の位置に戻ると、その位置における元の表面高さと同一になることを意味する。

照明光源を移動させながら複数画像を撮像して画像の高解像度化を行う技術が非特許文献２に開示されている。この技術では、ぬいぐるみの人形やスニーカなど完全拡散反射モデルが成立する被写体が選定される。８枚から１６枚の画像を撮像して２ｘ２の画像高解像度化が実施されている。この技術によれば、法線画像、アルベド画像の解像度の劣化モデル、法線の積分可能性拘束条件、およびマルコフ・ランダム・フィールドの確率モデルを用いて、被写体の法線およびアルベド反射率の両方を同時に高解像度化する。

なお、特許文献１は、パターン化偏光子を開示している。特許文献２および非特許文献３は、偏光面を回転させることが可能なデバイスを開示している。これらの文献に開示されている素子は、後述する本発明の実施形態に利用可能である。

特開２００７−８６７２０号公報 特開平１１−３１３２４２号公報 特開２００７−３１６１６１号公報

Ｐｉｎｇ Ｔａｎ ｅｔ．ａｌ 、"Ｒｅｓｏｌｕｔｉｏｎ−Ｅｎｈａｎｃｅｄ ｐｈｏｔｏｍｅｔｒｉｃ Ｓｔｅｒｅｏ"、Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、 ３:５８−７１、 ２００６． Ｍａｎｊｕｎａｔｈ ｅｔ．ａｌ、"Ｓｉｍｕｌｔａｎｅｏｕｓ ｅｓｔｉｍａｔｉｏｎ ｏｆ ｓｕｐｅｒ−ｒｅｓｏｌｖｅｄ ｄｅｐｔｈ ｍａｐ ａｎｄ ｉｎｔｅｎｓｉｔｙ ｆｉｅｌｄ ｕｓｉｎｇ ｐｈｏｔｏｍｅｔｒｉｃ ｃｕｅ"、 Ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ ｕｎｄｅｒｓｔａｎｄｉｎｇ １０１（２００６） 、ｐｐ３１−４４． Ｌａｗｒｅｎｃｅ Ｂ．Ｗｏｌｆｆ、"Ｐｏｌａｒｉｚａｔｉｏｎ ｖｉｓｉｏｎ: ａ ｎｅw ｓｅｎｓｏｒｙ ａｐｐｒｏａｃｈ ｔｏ ｉｍａｇｅ ｕｎｄｅｒｓｔａｎｄｉｎｇ"、 Ｉｍａｇｅ ａｎｄ Ｃｏｍｐｕｔｉｎｇ １５（１９９７）８１−９３．

従来の技術には、以下の課題があった。

すなわち、様々な角度からの入射光を作るため、比較的大きな光源移動が必要である。このため、専用の照明装置を作り、実験室に設置する必要がある。したがって、フラッシュのような簡易光源を小型カメラに設置し、撮影することができない。

本発明は、上記課題を解決するためになされたものであり、その主な目的は、大きな光源移動を伴わない撮像により、１画素内の微小領域における法線を推定できる画像処理装置を提供することにある。

本発明の画像処理装置は、偏光面が順次変化する直線偏光である偏光照明を被写体表面に照射する偏光光源と、各々が１画素に相当するサイズを有する複数の光感知セルが配列された撮像面を備え、前記被写体表面の反射光から前記被写体表面の輝度画像を取得するカメラと、前記偏光面の変化に伴う前記輝度画像の輝度変動量を用いて、前記被写体表面における１画素よりも小さな複数のサブ画素領域の法線を推定し、推定した法線を用いて前記輝度画像を高解像度化する高解像度化処理部とを備え、前記カメラが前記被写体表面の輝度画像を取得するとき、前記偏光光源と前記カメラとの配置関係が固定された状態で前記直線偏光の偏光面が変化する。

ある実施形態において、前記偏光光源の光軸と前記カメラの光軸との間の角度は１０°以下である。

ある実施形態において、前記カメラは、特定の方位に偏光した直線偏光を透過する偏光フィルタを備える偏光カメラである。

ある実施形態において、前記偏光フィルタは、前記複数の光感知セルにそれぞれ対向する位置に配置された複数のパターン化偏光子を有している。

ある実施形態において、前記カメラは、モノクロ輝度画像またはカラー輝度画像を取得するカメラである。

ある実施形態において、前記偏光光源は、静止画撮影時において、偏光面を変化させながら偏光照明を被写体に照射し、動画撮影時において、偏光面がランダムである非偏光を照射し、静止画および動画の高解像度化を実行する。

ある実施形態において、前記偏光光源は、各々が独立して発光し得る複数の分割光源と、前記複数の分割光源に対向する位置に設けられた複数のパターン化偏光子とを有しており、前記直線偏光の偏光面の向きは、前記複数の分割光源のうちの一部の分割光源から放射された光が透過するパターン化偏光子の偏光透過軸の向きによって規定される。

ある実施形態において、前記高解像度化処理部は、前記偏光面の変化に伴う前記輝度変動量をカラー成分毎に利用して、前記被写体表面の多重反射成分から２回ともに鏡面反射を呈する成分と、少なくとも１回は拡散反射を呈する成分とを分離する。

ある実施形態において、前記高解像度化処理部は、前記被写体表面の反射状態に応じて前記輝度画像の１画素を複数の領域に分類し、各領域における輝度と法線と面積比とを推定することによって１画素内の法線ヒストグラムを決定する。

ある実施形態において、前記複数の領域は、各画素内で１つの方位に延びた少なくとも１つのグルーブを形成している。

ある実施形態において、前記高解像度化処理部は、前記被写体表面にほぼ直上から照射された偏光照明によって前記被写体表面で発生する光の多重反射現象を利用し、前記輝度画像の１画素内の法線ヒストグラムを推定する。

ある実施形態において、前記高解像度化処理部は、前記被写体表面における光の多重反射現象を利用して前記輝度画像の１画素内の法線ヒストグラムを推定する。

ある実施形態において、前記高解像度化処理部は、推定された１画素内の法線ヒストグラムから、前記１画素内における前記サブ画素領域の配置を決定して高解像度法線画像を生成する。

ある実施形態において、前記複数の領域は、前記偏光照明の１回の反射により、前記反射光を前記カメラに到達させるＳ領域、前記偏光照明の２回の多重反射により、前記反射光を前記カメラに到達させるＴ領域、および前記反射光を前記カメラに到達させないＤ領域によって構成される。

本発明の画像処理方法は、偏光面が順次変化する直線偏光である偏光照明を被写体表面に照射すること、前記被写体表面の反射光から前記被写体表面の輝度画像を取得すること、前記偏光面の変化に伴う前記輝度画像の輝度変動量を用いて、前記被写体表面における１画素よりも小さなサブ画素領域の法線を推定し、推定した法線を用いて前記輝度画像を高解像度化することを実行し、前記カメラが前記被写体表面の輝度画像を取得するとき、前記偏光光源と前記カメラとの配置関係が固定された状態で前記直線偏光の偏光面を変化させる。

本発明のプログラムは、偏光面が順次変化する直線偏光である偏光照明を被写体表面に照射する偏光光源と、各々が１画素に相当するサイズを有する複数の光感知セルが配列された撮像面を備え、前記被写体表面の反射光から前記被写体表面の輝度画像を取得するカメラとを備える装置のためのプログラムであって、偏光面が順次変化する直線偏光である偏光照明を被写体表面に照射するステップと、前記被写体表面の反射光から前記被写体表面の輝度画像を取得するステップと、前記偏光面の変化に伴う前記輝度画像の輝度変動量を用いて、前記被写体表面における１画素よりも小さなサブ画素領域の法線を推定し、推定した法線を用いて前記輝度画像を高解像度化するステップとを前記装置に実行させる。

本発明の画像処理装置では、被写体表面における１画素内の微細な領域が有する凹凸構造を反映した情報を、偏光状態が異なる偏光照明の照射によって得る。こうして得た情報に基づいて、１画素内の凹凸構造における法線の分布を推定する。この結果、本発明によれば、光源の大きな移動は不要になる。

高解像度化を説明するための図 本発明の実施形態１を示す図 実施形態１に係わる画像処理装置構成図 偏光光源の構成を示す図 偏光面角度の定義図 偏光カメラの撮像素子における光感知セルの配置例を示す図 偏光カメラによる偏光情報による輝度変化を示す図 偏光照明の偏光面回転による輝度パターン画像の変化を示す図 偏光照明の偏光面回転による輝度パターン画像の変化を示す模式図 偏光照明の偏光面回転による画素ごとの輝度変動を示すグラフ 図８Ａのグラフに示すデータの取得に用いたサンプルの表面形状を示す写真 図８Ｂの表面形状を模式的に現す図 （ａ）から（ｃ）は、偏光照明による輝度変動の意味を示す図 マイクロファセットモデルを説明する図 マイクロファセットの微細法線の向きを示す図 （ａ）および（ｂ）は、入射光がマイクロファセットに対して直接反射をする図 横軸を入射角とした際のＰ波とＳ波のフレネル反射率を示すグラフ （ａ）および（ｂ）は、入射光がマイクロファセットどうしの対のために多重反射を起こす図 対となるマイクロファセットの位置関係を示す図 被写体表面の「３領域モデル」を説明する図 （ａ）は３領域モデルの凹凸が１画素内に存在する状態を表現する図、（ｂ）は偏光照明の偏光面の角度と主軸１７０１の主方位角ΨＩｍａｘとの関係を示す図 （ａ）および（ｂ）は、法線ベクトルとカメラ座標系と勾配空間の関係を示す図 グルーブに対して偏光面がどのように変化するかを示す図 「３領域モデル」の各領域における法線、反射輝度、面積比率を示す図 勾配空間における法線の位置を示す図 勾配空間における１画素内法線のヒストグラムを示す図 （ａ）から（ｃ）は、法線配置の割り当て方を示す図（その１） （ａ）から（ｃ）は、法線配置の割り当て方を示す図（その２） （ａ）から（ｃ）は、法線配置の割り当て方を示す図（その３） （ａ）から（ｃ）は、法線配置の割り当て方を示す図（その４） （ａ）および（ｂ）は、１画素内のすべての領域がＳ領域になった場合の法線配置を示す図 （ａ）および（ｂ）は、８次元の配列空間（Ａｒｒａｎｇｅｍｅｎｔ Ｓｐａｃｅ）を示す図 （ａ）および（ｂ）は、法線の積分可能性の条件となる線積分の向きを示す図 （ａ）から（ｃ）は、１画素の法線及び輝度としての高解像度化の効果を示す図 実施形態１における処理手順を示すフローチャート 本発明の実施形態２を示す図 実施形態２に係わる画像処理装置構成図 （ａ）および（ｂ）は、実施形態２におけるカメラの撮像素子における光感知セルの配置例を示す図 実施形態２における処理手順を示すフローチャート 本発明の実施形態３を示す図 実施形態３における処理手順を示すフローチャート 実施形態４における偏光照明の構成図 実施形態４における照明の時間軸上での変化を示す図 本発明の実施形態５を示す図 （ａ）および（ｂ）は、多重反射の種類１）を示す図 （ａ）および（ｂ）は、多重反射の種類２）を示す図 （ａ）および（ｂ）は、多重反射の種類３）を示す図 実施形態５におけるカラー反射成分分離を示すベクトル図 実施形態５における処理手順を示すフローチャート

本発明の画像処理装置は、偏光面が順次変化する直線偏光を偏光照明として被写体表面に照射する偏光光源と、カメラ（撮像装置）とを備えている。このカメラは、各々が１画素に相当するサイズを有する複数の光感知セルを備え、被写体表面の反射光から被写体表面の輝度画像を取得する。本発明の画像処理装置は、更に、輝度画像を高解像度化する高解像度化処理部を備えている。この高解像度化処理部は、偏光面の変化に伴う輝度画像の輝度変動量を用いて、被写体表面における１画素よりも小さなサブ画素領域の法線を推定する。そして、推定した法線を用いて輝度画像を高解像度化する。本発明では、カメラが被写体表面の輝度画像を取得するとき、偏光光源とカメラとの配置関係が固定された状態で直線偏光の偏光面が変化する。照明光の偏光状態を利用することにより、光源の位置を大きく移動させることなく、１画素内の法線分布（法線ヒストグラム）を求めることが可能になる。

本明細書における「高解像度化」とは、図１Ａに示すように、本来的には輝度が平均化された１画素について、その１画素に含まれる複数のサブ画素領域の輝度を推定し、輝度画像の解像度を高めることである。１画素内に含まれる個々のサブ画素領域の輝度は、各々のサブ画素領域の法線を求めることにより、決定することができる。高解像度化処理部は、専用のハードウェアによって実現される場合に限られず、ソフトウェアとハードウェアとの組み合わせによっても好適に実現され得る。例えば、公知の構成を有するハードウェア（プロセッサ）に本発明の処理を実行するフトウェア（プログラム）を組み込むことにより、本発明の高解像度処理装部を構成することができる。このようなプログラムは、好適には記録媒体に記録された状態で画像処理装置に組み込まれるが、通信線を介して、あるいは無線により、画像処理装置に組み込まれることも可能である。

本発明では、後に詳しく説明するように、まず偏光照明が照射された被写体表面における多重反射を利用し、１画素内の法線ヒストグラムを求める。そして、その法線ヒストグラムを構成する個々の法線に対応したサブ画素領域の配置を決定する。

なお、「１画素」のサイズは、撮像素子の撮像面に配列された個々の光感知セル（フォトダイオード）のサイズに相当する。通常、１つの光感知セルが１つの画素に相当するが、隣接する４つの光感知セルの中心部が１画素として機能する場合もある。そのような場合でも、１画素のサイズは、光感知セルのサイズに相当する。

以下、図面を参照しながら、本発明による画像処理装置の実施形態を説明する。

（実施形態１）
図１Ｂは、本発明の実施形態１における画像処理装置の全体構成を模式的に示す図である。

自在ズーミング機能を有する本実施形態の画像処理装置１０１は、偏光光源１０２、偏光カメラ１０３を備えている。被写体１０４を撮影する際には、偏光光源１０２からの偏光照明１０５が被写体１０４に照射される。被写体１０４の表面で反射した偏光照明（偏光反射光１０６）が偏光カメラ１０３に到達して偏光情報が偏光カメラ１０３内に記録される。偏光カメラ１０４は、後述するように、被写体１０４の輝度画像と偏光情報の両方を取得できる。

偏光照明１０５と偏光反射光１０６のなす角度ＬＶ１０７は、１０°以下であることが望ましい。角度ＬＶ１０７を小さくすることにより、被写体１０４上の微細な凹凸構造で発生する光の多重反射（Ｉｎｔｅｒｒｅｆｌｅｃｔｉｏｎ）を利用して、凹凸構造に関する情報を取得することが可能になる。また、角度ＬＶ１０７を小さくすることにより、被写体１０４の表面での影の影響を少なくすることができる。角度ＬＶ１０７を１０°以下にすることにより、屈折率１．４〜２．０の自然物体において、光のＰ偏光とＳ偏光がほぼ等価な挙動を示すことがフレネル反射理論からわかる。これらの詳細については、後述する。

図２は、本実施形態における偏光カメラ１０３の構成例を示す図である。

この偏光カメラ１０３は、偏光撮像素子２０１、輝度・偏光情報処理部２０２、偏光面制御部２０４、撮像制御部２０５を備えている。

偏光面制御部２０４から偏光照明の偏光面を変化させる度に画像を撮像する。これにより、輝度画像Ｙ（２６０）、および偏光位相画像Ｐ（２７０）が、偏光面の異なる各偏光状態に対応して複数得られる。高解像度化処理部２０３からは、高解像度化法線画像２０８、および高解像度輝度画像２０９が生成される。

本実施形態における偏光カメラ１０３は、モノクロ画像と偏光画像を同時にリアルタイムで取得することができる。この偏光カメラ１０３は、輝度画像Ｙ、偏光度画像Ｄ、偏光位相画像Ｐの３種類の画像データを出力する。

偏光カメラ１０３に内蔵された偏光撮像素子２０１は、輝度画像と被写体の部分偏光の画像とを同時に取得する。このため、偏光撮像素子２０１では、複数の異なる偏光主軸を有する微細パターン化偏光子のアレイをＣＣＤやＭＯＳセンサなどの撮像素子上に配置している。微細パターン化偏光子としては、フォトニック結晶や構造複屈折波長板、ワイヤーグリッド等が利用できる。この構成は特許文献１に開示されている。

図３は、偏光光源１０２の構成例を示す図である。偏光光源１０２は、偏光フィルタ部３０１、非偏光を発生する光源３０２、可動ミラー３０８、ミラー３０９、可動ミラー制御部３１２、シャッター３１０、３１１を備えている。

偏光フィルタ部３０１は、ツイステッドネマィック液晶セルと偏光フィルムとを組み合わせた電圧印加型液晶デバイスなどで構成され得る。偏光フィルタ部３０１は、光源３０２から発生した非偏光の光を、任意の偏光角度に偏光面を有する直線偏光に変換する。偏光面を回転させることが可能なデバイスの構成例は、特許文献２、３、非特許文献３等に開示されている。

可動ミラー３０８は、図３の位置Ａから位置Ｂとを移動可能である。可動ミラー３０８が位置Ａにあるとき、光源３０２からの光は３０１、およびシャッター３１１を通過して偏光面を回転させながらその被写体を照射する。同時に画像が撮像され、これを複数回実施する。すなわち偏光面が０°状態（図の状態３０３）で第１の画像を撮像し、偏光面が４５°状態（図の状態３０４）で第２の画像を撮像し、偏光面が９０°状態（図の状態３０５）で第３の画像を撮像し、偏光面が１３５°状態（図の状態３０６）で第４の画像を撮像する。

偏光面の回転に要する時間は、上記文献によれば、２０（ｍｓ）程度である。これは、動画の１フレーム時間内に収まると考えて良い。このため、４方向の偏光回転を実施して撮影をすると、実質８（フレーム）時間程度＝約０．５（ｓｅｃ）で１セットの撮影が終了する。この時間内は、被写体とカメラの相対的運動はゼロであることが望ましい。

なお、偏光フィルタ部３０１の機能をＯＦＦにして、非偏光を被写体に照射することもできる。その場合は、可動ミラー３０８が図３の位置Ｂに移動する。そして、光は光源３０２からミラー３０９へ導かれ、シャッター３１０を通過して被写体に照射される。その場合、光の偏光面は参照符号３０７で示すように、あらゆる方向にランダムに存在する。このように、シャッター３１０、３１１は、互いに開閉の状態をとり、同時に偏光と非偏光が照射されることを防ぐ。

図４は、偏光面の角度Ψ_Iの定義を示す図である。被写体に向かってＸ−Ｙ座標系を設定し、偏光面の角度は、Ｘ軸負向きを０°としてＹ軸正向きを正向に回転角を定義するものとする。偏光入射角度Ψ_Iが反射において保存される場合には、反射光の偏光面角度と入射光の偏光面角度は同一となる。

図５は、偏光撮像素子２０１の撮像面を示す図である。撮像面には、複数の光感知セル（フォトダイオード）が行および列状に規則的に配列されている。個々の光感知セルは、光電変換により、入射したた光の量に応じて電気信号を生成する。本実施形態の偏光カメラ１０３では、撮像面がパターン化偏光子のアレイによって覆われている。偏光撮像素子２０１の各光感知セルに対してパターン偏光子の１個が対応する。隣接する４つの光感知セルに対応する４つのパターン偏光子は、それぞれ、偏光透過面が０°、４５°、９０°、１３５°となるように設定されている。図５の画素セット５０１、５０２は、それぞれ、２×２画素からなり、その中心位置が１画素だけシフトしている。この画素セット５０２の４個の画素からのデータを取得した後、画素セット２０３の４個の画素からのデータを取得することができる。このように、２×２画素のウインドウを１画素ずつずらしながら処理することによって、偏光情報と輝度情報を、解像度を実質的に落とさずに得ることができる。すなわち、撮像素子の解像度（画素数またはフォトダイオード数）が１１２０×８６８の場合には、１１１９×８６７画素のＹ、Ｄ、Ｐ画像を得ることができる。

図５の例では、隣接する４つの光感知セルの信号に基づいて、それらの中心部に位置する領域の偏光情報を得ることができる。例えば、画素セット５０１の中心領域（サイズは１つの光感知セルのサイズに相当）が、「１画素」として機能する。１画素のサイズは、１個の光感知セルのサイズに相当しているが、１画素の中心位置は、光感知セルの中心位置に拘束されない。

本発明によれば、１つの光感知セルのサイズよりも小さなサイズを有する領域の法線を推定し、そのような微細な領域の輝度を求めることができる。

次に、図６を参照して、輝度画像Ｙ、偏光位相画像Ｐの求め方を説明する。

最初に、振幅をＡｏ、パターン偏光子の偏光透過面角度をΨｏ、位相をΦｏとして、偏光情報を表す正弦関数の式を以下のように仮定する。

図２に示す輝度・偏光情報処理部２０２では、４５°の間隔で偏光角度が異なる４つの偏光画素の４個の輝度値から輝度画像Ｙが計算され、輝度画像Ｙ２０６が生成される。

輝度・偏光情報処理２０２では、サンプルされた４個の輝度値から余弦関数へのフィッティングを行う。まず偏光角度が０°、４５°（＝π／４）、９０°（＝π／２）、１３５°（＝３π／４）における輝度の２乗誤差Ｅを以下のように定義する。

この２乗誤差を最小化する余弦関数の位相φｏは、以下の式から求められる。

この式から、解は、次の式５、式６で与えられる。

ソフトウエアによる実装において、逆三角関数などの数学関数では、一般に以下のような制限が課されている。

この角度範囲を考慮すると、ａとｃの大小関係からの場合わけを行うことによって、最小値をとる角度と最大値をとる角度は以下のように計算できる。

この最大値をとるΨｍａｘの値を、そのまま、偏光位相画像Ｐ２０７とすればよい。

次に、振幅の最大値と最小値を求める。まず、振幅Ａｏを求めるため、以下の式を用いて２乗誤差の最小化を行う。

得られた振幅Ａｏを用いて、振幅の最大値と最小値は以下のようになる。

このように、本実施形態では、照明条件を固定して１回の撮影がされた際、撮像された偏光画像から輝度画像Ｙと、偏光画像Ｐという２種類の画像情報を得ることができる。

前述のように、撮像素子の画像解像度とほぼ等しい解像度が得られるため、輝度画像Ｙの解像度は、撮像素子にパターン化偏光子を設置しない状態の輝度画像の解像度とほぼ変わらないと考えられる。一方、本実施形態における撮像素子からは、輝度画像Ｙに加えて偏光画像Ｐを同時に獲得することもできる。したがって、本実施形態によれば、偏光情報として偏光位相と偏光度が増加したことになる。つまり偏光カメラを用いることで、従来の輝度画像情報よりも被写体の表面反射に関する、より多くの情報が得られる。

本実施形態では、さらに偏光照明の偏光面を変えながら偏光カメラでの撮影を行う。これにより、輝度の撮像だけでは不可能な１画素内の微細領域（サブ画素）の情報を含む画像の取得を実現する。

図７Ａおよび図７Ｂは、本発明者らが表面の滑らかな陶器製コップと表面に微細凹凸を有する木の板を被写体として偏光撮像をした画像を示す。図７Ａの左側に位置する２つの画像は、照明の偏光面の角度＝０°の偏光画像である。一方、図７Ａの右側に位置する２つの画像は、照明の偏光面の角度＝９０°の偏光画像である。図７Ｂの４つの画像は、それぞれ、図７ＡＢの４つの画像を模式的に描いた図である。これらの図に示す画像は、いずれも、図２に示す輝度画像Ｙに相当する。

図７Ａおよび図７Ｂの上段に位置する画像から明らかなように、表面が滑らかな陶器では、偏光照明の偏光を変化させても輝度パターンの変化はあまり観測されなかった。しかし、多くの凹凸が存在する木の板では、図７Ａおよび図７Ｂの下段に位置する画像から明らかなように、偏光照明の偏光面を変化させると、観測される輝度画像に大きな変化があることが判明した。

図８Ａは、木の板の表面に入射する光（偏光照明）の偏光面を変化させながら輝度画像を撮影した場合の同一画素値の輝度変動を示すグラフである。図８Ｂは、撮像対象となる木の板の輝度画像である。図８Ｃは図８Ｂの木の板の表面の凹凸を模式的に示した図である。

図８Ａは、偏光照明の偏光面の角度ΨＩが０°、４５°、９０°、１３５°のときに得られた輝度画像の特定の画素における輝度Ｙを示している。このグラフから、輝度Ｙは各偏光照明の偏光面の角度ΨＩに対して周期変動を示すことがわかる。このような輝度Ｙの角度ΨＩの依存性に関する情報は、照明の偏光状態を変化させずに撮像した普通の偏光撮像では観測できていない新しい情報である。

図９（ａ）から（ｃ）は、偏光照明の偏光面の角度をΨＩ＝０°、４５°、９０°、１３５°と４種類に変化させて偏光画像を取得した場合に得られる情報を説明している。図９（ａ）は、照明の偏光面の角度を示している。被写体で反射された偏光照明の光は、偏光透過軸の角度ΨＯ＝０°、４５°、９０°、１３５°というパターン偏光子のモザイクからなる偏光画素に入射する。各角度の偏光画素にて得られる輝度の空間的変化が９（ｃ）のグラフにおいて曲線９０１で示されている。曲線９０１の偏光位相は、図５で示す受光素子上の偏光子モザイクの４画素の位置の偏光透過軸の角度ΨＯに対して得られる空間的変動に相当する。輝度Ｙの変動は、照明の偏光面の変化に伴うΨＩの軸で得られる時間的な変動（図９（ｂ））になっていることに注意する。

今、この輝度Ｙの変化の関数を周期１８０°の余弦関数として近似することを考える。照明の偏光面の角度をΨＩとして以下のように表現する。

この関数には、振幅、位相、平均値の３種の情報が含まれている。振幅と平均値を用いる最大値Ｙｍａｘ、最小値Ｙｍｉｎ、および最大値および最小値を与える角度ΨＩｍａｘ、ΨＩｍｉｎの情報を取得する。４つの等間隔の角度サンプルから余弦関数をフィッティングして上記の値を推定する手法は、（式１）から（式１２）で説明した方法がそのまま使える。

偏光でない通常の入力輝度としての原画像となる理論輝度を以下の式で求める。

次に、被写体表面の１画素内の凹凸のモデルを説明する。

本実施形態で採用する微細凹凸モデルは、物理ベースコンピュータグラフィックス分野で広く使われている「マイクロファセットモデル」である。

図１０は、凹凸のある表面を観察した場合の１画素内の微細法線分布を示す斜視図である。カメラの１画素を示す領域１００１は、平均輝度を有するが、その内部の輝度分布は不明である。すなわち、１つの画素内の構造までは、撮影することができない。

微細凹凸モデルでは、表面が鏡面反射のみを示す仮想的な微細面（マイクロファセット）で構成されていると仮定し、その各マイクロファセットが微細法線を有していると考える。各マイクロファセットは鏡面反射のみを呈するため、照明方向Ｌ、および視点方向Ｖを決定すると、その角度関係において、光るマイクロファセット１００２の群と光らないマイクロファセット１００３の群とがある。１画素内に存在するすべての光るマイクロファセット１００２の輝度を合計したものが１画素の平均輝度に相当する。光らないマイクロファセットからの輝度はゼロ（真黒）となる。

図１１に示すように、光るマイクロファセット１００２の微細法線は照明ベクトルＬと視線ベクトルＶのちょうど２等分ベクトルＨに相当している。すなわち、１画素以内の凹凸構造を推定することは、このマイクロファセットの微細法線を推定することになる。

次に、マイクロファセットに偏光照明が入射した場合の作用を考える。ただし、入射する偏光照明と撮影するカメラの視線との間の角度は、図１の角度１０７で示されるように、ゼロ度に近いという特殊な幾何学的な関係を想定している。

図１２は、マイクロファセット１２０１に対して入射角がゼロに近い偏光が入射して直接反射をカメラで観測する様子を示している。図１２（ａ）、（ｂ）では、入射する偏光の偏光面が９０°異なっている。しかし、反射光の偏光情報は、光の進行方向が変わるだけで入射光とほぼ同一である。これは以下の理由による。

図１３は、フレネル反射率の入射角依存性を示すグラフである。横軸が入射角、縦軸がフレネル反射率をである。この依存性は、屈折率ｎ=１．８と想定して描いたものである。ほぼ垂直入射とみなせる０°〜１０°付近の入射角度は、範囲１３０１に相当する。グラフから読み取れるように、この範囲１３０１では、Ｐ偏光もＳ偏光も反射率がほぼ同一である。したがって、偏光がほぼ垂直に表面に入射した場合には、表面に対するＰ波とＳ波という偏光の区別がほとんど無くなる。なお、この事実は、屈折率ｎ=１．４〜２．０の自然物体において、広く成立する。

入射角度が１０°以下の場合、偏光照明を回転させても反射率がほとんど変らず反射光のエネルギーが変わらないため、観測される輝度は不変となる。つまり、入射偏光面の回転に伴う輝度変動は発生しない。このような場合、輝度Ｙの角度ΨＩ依存性は、図８Ａにで示したような実験結果にはならないことになる。

図１４（ａ）および（ｂ）は、同じく被写体に偏光照明が入射角ゼロ付近で入射され反射光をカメラで観察している状態を示す。この例では、２つのマイクロファセットが対になり、多重反射を起こしていると考える。具体的には、２つのマイクロファセットがグルーブ（Ｇｒｏｏｖｅ）：溝１４０１を形成し、その斜面で２回の反射が発生していると仮定する。

この種の多重反射は、表面の凹凸が多い被写体表面、例えば布、木材、人の肌、皮など様々な自然物で発生していると考えられる。１回目と２回目の反射の性質が重要となり、３回目以降の多重反射は輝度が小さくほぼ無視できる。一般に反射の性質を鏡面反射と拡散反射に分離した場合、
１）１回目：拡散反射 ２回目： 鏡面反射
２）１回目：拡散反射 ２回目： 拡散反射
３）１回目：鏡面反射 ２回目： 拡散反射
４）１回目：鏡面反射 ２回目： 鏡面反射
の４通りの現象が想定できる。

このうち、１）と２）は最初の反射によって拡散光として非偏光となり、あらゆる方向に光を反射する。しかし実験によると被写体が着色して輝度が暗い場合はこの1回目の拡散反射成分は比較的弱い。これは被写体の内部への光の浸透が少ないことを意味し、フレネル理論によればそれと相補的な３）４）の鏡面反射の現象が優位となる。また、３）のように２回目を拡散反射と考えた場合には、その入射と反射の幾何学的関係から、当然、４）も同時に発生していることがわかる。この場合には、偏光度、輝度のいずれの基準でも、鏡面反射の現象が主たる輝度成分となる。

以上から、４）の１回目も２回目も鏡面反射という現象を主要な現象として考えればよい。

図１５は、１回目、２回目とも鏡面反射を想定した場合の対となるマイクロファセットの位置関係を示している。グルーブ（Ｇｒｏｏｖｅ）を形成する斜面１５０１、１５０２の被写体のマクロな表面１５０３から測定した角度をαとβとする。また、１回目反射の入射角をθ１とし、２回目反射の入射角θ２とする。更に、入射光、反射光とグルーブ斜面とのなす角度をγとδとすると、以下の関係が成立する。

ただし、角度ＬＶは図１で定義した入射角と反射角であり、０°〜１０°程度と想定される。グルーブの斜面がおおよそ対称であると考えると、α=βが成立する。したがって、

と推定できる。

再び図１３を参照する。図１３のフレネル反射率のグラフには、上記の角度範囲に相当する範囲１３０２が記載されている。グラフから読み取れるように、この入射角の範囲１３０２では、Ｐ偏光の反射率が極めて弱くなる。

図１４（ａ）で示すように、グルーブの主軸方向１４０２に対して垂直に入射する偏光照明はＰ偏光である。上述の理由から、このＰ偏光は１回および２回反射を経由する間に極めて弱くなる。一方図１４（ｂ）で示すＳ偏光は、２回の反射を経てもそれほど弱まらない。その結果、グルーブに対してＰ偏光となる入射偏光面においては、反射光はエネルギー的にも極めて弱くなり、輝度が低下する。一方、Ｓ偏光となる入射偏光面においては、反射光はそれほどエネルギーが減衰せず輝度も高い。

以上のようにマイクロファセットが対となるグルーブを形成すると仮定すれば、実験にて得られた入射光の偏光面の回転による反射光の輝度変化が説明できる。このため、本発明の好ましい実施形態では、これを活用した以下の表面モデルを用いる。

図１６は、以上の考察から得られた被写体表面の「３領域モデル」を説明する図である。３領域モデルとは、１画素の表面凹凸の法線構造を多重反射と偏光現象の観点から簡略化したモデルである。３領域モデルでは、１画素において以下の３種類の２次元領域が各々一定の面積比率で混合されているとする。なお、このモデルでは、後述するようにグルーブはＴ領域とＤ領域に分離される。

１）直接反射領域：Ｓ（Ｓｐｅｃｕｌａｒ）領域：
入射光が直接反射し、入射光の偏光面回転に対して反射輝度が変動しないマイクロファセットで形成される領域。この領域のマイクロファセット法線は、入射光とカメラ視点ベクトルとの２等分線に相当する。

２）２回反射領域：Ｔ（Ｔwｉｃｅ Ｒｅｆｌｅｃｔｉｏｎ）：
入射光がグルーブにて２回反射を起こして２回目に反射する領域。入射の偏光面回転に対し反射輝度が変化するマイクロファセットで形成される。

３）暗領域：Ｄ（Ｄａｒｋ）領域：
入射光がカメラと無関係の方向に反射し輝度に寄与しないマイクロファセットで形成される領域。この領域はさらに２つに分類できる。第１はグルーブを形成する１回目反射の領域であり、グルーブの他の斜面を照明するが、カメラ撮影視点からは光っていない領域である。第２は全く異なる未知方向へ光を反射する領域である。ただしこの未知方向の場合は扱いが不便であるため、本発明の好ましい実施形態においては、Ｔ領域を作る１回目反射と同じ向きのマイクロファセット法線を有すると仮定する。この領域の反射輝度もまた入射光の偏光面回転に対して変動しない。

この３領域が１画素内を構成する凹凸に対応すると考える。各領域での法線、すなわちマイクロファセット法線および１画素内における各マイクロファセットの面積比率を求めることによって、法線ヒストグラムを推定することができる。なお、マイクロファセットの法線の向きは、２つの自由度を有している。具体的には、方位角度および天頂角によって法線の方向は特定される。

以下、法線の向き、輝度、面積比率の求め方を説明する。

図１７（ａ）は、３領域モデルの凹凸が被写体表面の１画素内において、ある方位角に整列して存在する状態を模式的に示す斜視図である。グルーブの主軸１７０１が主方位角ΨＩｍａｘに相当している。図１７(ｂ）は、偏光照明の偏光面の角度と主軸１７０１の主方位角ΨＩｍａｘとの関係を示す図である。

図１４における考察から、この主軸１７０１は偏光照明を回転させた際の最大輝度の向きに一致することがわかる。そこで、これ以降、主方位角はΨＩｍａｘに等しいとして取り扱う。

Ｓ、Ｔ、Ｄ各領域におけるマイクロファセット法線の向きは、この主方位角ΨＩｍａｘから９０°ずれた角度ΨＩｍｉｎを共通して有し、個別に天頂角を有する２自由度の角度にて表現される。

まず、Ｓ領域における法線の天頂角は、入射光と反射光の２等分角に等しくなる。法線は、これ以降はカメラ座標系でカメラ投影面上での点として表現する。これは後の勾配空間（ｐ、ｑ）とほぼ同じ意味になる。

図１８（ａ）および（ｂ）は、入射光Ｌと反射光Ｖとカメラ座標系ＸＹＺの関係を表している。カメラ座標系で照明ベクトルが

となる。

そこで、このベクトルとカメラの視点ベクトルとの２等分線としてＳ領域での法線は

となり、ほぼカメラ視点に向かってくる法線となる。なお、ここでΨＩは照明の偏光面角度である。

次に、Ｔ領域を考察する。Ｓ領域での法線のように、幾何学的に概略値を求めることも可能である。しかし、ここでは、偏光カメラで取得される偏光位相画像Ｐから求めるものとする。Ｐ画像を観察すると、入射偏光角ΨＩＮと観測される位相角Ψｏｕｔとの間に、ある回転角のずれがあることがわかる。たとえば、ΨＩ＝４５°の場合に、この回転角のズレ量ΔΨを観測したとすると、フレネル反射の理論からθが求められる。

図１９は、グルーブの主軸に平行なＳ軸と垂直なＰ軸の座標系に対して、偏光のエネルギーＥｐおよびＥｓと偏光面がどのように変化するかを示す図である。入射角をθ、屈折率をｎとするとＰ波とＳ波に対するエネルギーのフレネル反射率はＦｐ（θ、ｎ）、Ｆｓ（θ、ｎ）を用いて以下のようになる。簡単のためθ１=θ２としている。

ここで、偏光照明の偏光面角度ΨＩとグルーブのなす角度ΨＩＮは、偏光面回転から観測される値ΨＩｍａｘがグルーブの主軸角度に等しいことから、以下のように決定できる。

屈折率ｎは被写体に係わる量のため本質的には未知である。ここでは、近似値としてｎ=１．５〜１．８を用いればよい。なお、この値はプラスチック、樹脂、ガラスなど自然界に存在する典型的な誘電体の屈折率である。

こうして式２１を満たすθ１を決定すればよい。

したがって、Ｔ領域における法線の天頂角はカメラ座標系では、

となる。

Ｄ領域の法線は３領域モデルにおける仮定より

とすればよい。

次に、各領域の輝度につき考察する。絶対的な輝度は実際の実験条件における偏光照明照度やカメラ設定により変動するため、基準値は観測された輝度画像Ｙの観測から求める必要がある。この基準値として、画像内の鏡面反射領域の最大輝度ＭＡＸ＿Ｙを用いる。この最大輝度は、３領域モデルのＳ領域が１画素の全体（１００％）を占める場合に得られる。大輝度ＭＡＸ＿ＹをＳ領域の輝度Ｉｓとする。

Ｓ領域の輝度は、照明光を１回反射した際の反射輝度である。これは、図１３のフレネル反射率のカーブにおいて、入射角度が範囲１３０１の領域内にあるときの反射による輝度に相当する。そこで、この式から、屈折率ｎ＝１．５〜１．８を仮定して、入射角θ１で１回反射し、さらに入射角θ１で２回目の反射をするＴ領域のＰ波とＳ波の反射輝度が、以下のように推定できる。

Ｄ領域の輝度は、画像内の鏡面反射領域の最小輝度ＭＩＮ＿Ｙを用いる。この最小輝度は３反射モデルの１画素の全体（１００％）を占める場合に得られる。

図２０は、３領域モデルの各領域におけるマイクロファセット法線、反射輝度、および面積比率を示す図である。まず、３領域の反射輝度を以下のようにＩｓ、ＩＰ_T、ＩＳ_T、Ｉｄと仮定する。Ｔ領域では、Ｐ波とＳ波の入射によって反射輝度が異なることに注意する。
１）Ｓ領域・・・Ｉｓ
２）Ｔ領域・・・Ｐ波入射の際 ＩＰ_T、Ｓ波入射の際ＩＳ_T
３）Ｄ領域・・・Ｉｄ

これら輝度値は、上述のように、観測値から推定できる。このため、１画素の単位面積に対する面積比のみを未知数とする。これらの未知数を、以下のように、Ａｓ、Ａ_T、（１−Ａｓ−Ａ_T）とする。
１）Ｓ領域・・・Ａｓ
２）Ｔ領域・・・Ａ_T
３）Ｄ領域・・・（１−Ａｓ−Ａ_T）

入射偏光がＰ波のときに観測される１画素の輝度、およびＳ波のときに観測される１画素の輝度が、それぞれ、輝度最小値Ｙｍｉｎ、最大値Ｙｍａｘに対応していることが明らかである。このため、輝度の最大値Ｙｍｉｎと最小値Ｙｍａｘについて、以下の重み付け平均の式が成立する。

すなわち未知数Ａｓ、Ａ_T、Ａ_Dは以下の式で推定できる。

以上で、１画素内を３領域モデルでモデル化したときの各領域の法線、輝度、面積比率のすべてが推定できたことになる。ただし、法線の表現形式がカメラ座標系での方位角と天頂角による角度表現では以降の解析に不便である。このため、法線を勾配空間（ｐ、ｑ）に変換する。

勾配空間（ｐ、ｑ）は、実質的に図１８で示したカメラ投影面平面と考えてよい。

図２１は、２次元勾配空間において求められたマイクロファセット法線の位置を示す図である。Ｓ領域の法線は、ほぼ原点上に位置する。被写体表面のグルーブの主軸方向に直交する線２１０２上にＴ領域とＤ領域の法線が位置する。図２２は、３領域モデルから得られるマイクロファセット法線のヒストグラムである。主方位角の線上に３個の分布が各々の面積比の高さを有して整列した形になる。

以上で１画素内法線ヒストグラムが推定できたので、以降は法線の最適配置を決定する。ここでは、１画素内を２×２の４画素に分割して法線を求める場合を例に説明する。高解像度への自在ズームは、再度２×２を繰り返すことで実現できる。

まずヒストグラムから得られる各領域に属する画素は、

となる。ただし［］はガウス記号である。

図２３から図２６は、初期法線配列として１画素を４分割したサブ画素に上記の３種の領域に対応する法線配置を割り当てる方法を示す。この割り当て方法は、グルーブの主方位角ΨＩｍａｘの角度に依存するため、４５°範囲ごとに区切って図２３から図２６で説明している。

図２３（ａ）が３領域のヒストグラムの一例を示してものとする。この例では、Ｔ領域が２画素、Ｄ領域が１画素、Ｓ領域が１画素となる。主方位角の範囲は、Ｘ軸に近い水平方向である。Ｔ領域とＤ領域の法線をなるべく対にしつつ、主方位角に直交させる。このとき、図２３（ｂ）のように、主方位角の線２３０１に対して、谷を形成する凹（Ｃｏｎｖｃａｖｅ）タイプと図２３（ｃ）のように、山を形成する凸（Ｃｏｎｖｅｘ）タイプとの２種類の配列が考えられ、各々で２通りの配列の組み合わせがある。この図では、Ｓ領域の法線は紙面に垂直に近く手前に向いていることを示す。

図２４、図２５、図２６では、おなじ法線ヒストグラムで主方位角だけが異なる場合を描いている。いずれも主方位角の線に対して、これを谷とする凹の場合と稜とする凸の場合とで配列の候補が合計４通りある。なお、配列の組み合わせ数はヒストグラムにより変動することに注意する。

図２７（ａ）および（ｂ）は、すべてがＳ領域になったヒストグラムの場合であり、配列の可能性は図２７（ｂ）のように１通りである。

以上のように図２２に示される１つの法線の分布関数（３領域モデルから得られるマイクロファセット法線のヒストグラム）と、図１７（ａ）、（ｂ）に表される主方位角ΨＩｍａｘの情報とから、複数の空間配列の可能性が生まれる。このため、この４種類の候補から最適配列を決定すればよい。このような決定方法は、非特許文献１に記載されている方法と同様である。ただし、３領域モデルと主方位角の情報があるため、候補数が本来の４！＝２４通りから大幅に減少しており、最適化は容易になる。

法線の最適化は、基本的には非特許文献１に記載されている、エネルギー評価関数を最大化する繰りかえし法にて実施すればよい。以下に簡単に処理の流れを説明する。

図２８（ａ）および（ｂ）は、法線ヒストグラムから得られる法線配列が、８次元の配列空間（Ａｒｒａｎｇｅｍｅｎｔ Ｓｐａｃｅ）内の１点として表現される様子を示している。この８次元での密度分布関数は混合ガウス分布モデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）にて表現されている。この確率密度分布関数をテクストンＧＭＭモデルと称する。同一の法線ヒストグラム分布から生成される等価クラス（Ｅｑｕｉｖａｌｅｎｃｅｒ Ｃｌａｓｓ）内には、それを代表する４画素の法線配列が存在し、この８次元の結合ベクトルを３Ｄテクストン（３Ｄｔｅｘｔｏｎ）、あるいは単にテクストンと称する。この解テクストン（Ｓｏｌｕｔｉｏｎ ｔｅｘｔｏｎ）を求めることが目的である。解テクストンの最適選択は、法線から表面を計算する際の積分可能性の拘束条件から実現される。各画素Ｓ=（ｘ、ｙ）におけるテクストンをＬ（Ｓ）とすると積分可能性は、線積分がゼロになる条件から計算される。

図２９（ａ）は法線の積分可能性を用いた最適化を説明する図である。非特許文献１にあるように２×２画素のセルにおいて線積分を考え、この線積分をゼロにすることが条件である。

ただし、各画素での法線は勾配空間での表現を使って

である。そこで各画素における積分可能性のエネルギー関数は、

とおき、このエネルギー関数を最大化することによって上記線積分を最小とできる。

隣接する画素対をｓ、ｔとする場合、そのオーバーラップ画素領域での積分可能性も考慮する必要がある。図２９（ｂ）はこのシフト画素（Ｓｈｉｆｔｅｄ ｐｉｘｅｌ）２９０１での条件を表現している。積分値の条件は、

このオーバーラップ画素領域でのテクストンも解テクストンから得られるはずである。しかし、本来の画素からは出現しない配列パターンであるため、図２８においては、画素からははずれた位置２８０２にある。しかし出現確率はテクストンＧＭＭモデルのガウス関数成分の最大値で表現できるので、この確率にて重みづけする。すなわち、この画素対における条件は、以下を最大化することとなる。

解テクストンは２つのエネルギー関数の積を画像全体において最大化するものとして得られる。

ここでｓは画像の全画素を示し、Ｎｅｉｇｈｂｏｒ（ｓ、ｔ）はすべての４近傍の画素の対を示す。また｛｝内が求める解テクストンである。

この最適化処理は複雑なため、効率的に実行するためには、１）積分可能性を拘束条件とする初期解を確率伝搬法（Ｂｅｌｉｅｆ Ｐｒｏｐａｇａｔｉｏｎ）にて求め、２）その初期解からマルコフ連鎖モンテカルロ（ＭＣＭＣ：Ｍａｒｋｏｖ Ｃｈａｉｎ Ｍｏｎｔｅ Ｃａｒｌｏ）法を用いた最適化にて収束させる、という２段階のステップを踏む。詳細については、非特許文献１に従う。以上の最適化処理の結果、最適な法線空間配置が決定できる。

図３０（ａ）から（ｃ）は、以上の処理をまとめて１画素の高解像度化の効果を示す図である。以上の処理により、原画像の１画素を２×２に高解像度化した４画素における法線は図３０（ｂ）のように最適配置されたものとする。すると図１９で示したように３領域モデルにおいてはＳ、Ｄ、Ｉの各領域法線向きが輝度に一意的に対応するため結果として１画素内を２×２画素に輝度として高解像度化できる。ただし画素輝度はあくまで非偏光照明下での撮影を基準にすべきである。したがって、図３０（ａ）に示すように原画像の輝度は図９における平均輝度Ｙｍａｘとなり、高解像度化された輝度は、
１）Ｓ領域・・・Ｉｓ
２）Ｔ領域・・・（ＩＰ_T＋ＩＳ_T）／２
３）Ｄ領域・・・Ｉｄ
となる（図３０（ｃ）参照）。

図３１は、本発明における被写体撮影から画像処理を経て１画素以内の法線分布ヒストグラム、法線配列を推定し、さらに１画素内輝度の配列までを推定するすべての手順を示すフローチャートである。図３１において、点線で囲まれた部分が高解像度化処理部の処理に相当している。高解像度化処理部は、図３１において、点線で囲まれた部分の処理ステップを、例えば公知のハードウェアに実行させるプログラムを内蔵している。

ステップＳ３１０１で実験環境として偏光照明とカメラ視点とのなす角度∠ＬＶを測定する。これはカメラに付属したフラッシュ装置の場合には既知である。また被写体のフレネル反射率の基礎となる屈折率ｎの値をたとえばｎ＝１．８などと仮定する。

ステップＳ３１０２で偏光面の角度ΨＩを回転させながら偏光照明を被写体に照射して被写体の偏光撮影を実施する。そして各ΨＩの角度におけるＹ画像とＰ画像を取得する。

ステップＳ３１０３で輝度変動するＹ画像の各画素で（式１４）にて関数フィッティングを行う。この方法は（式１）から（式１２）で用いた方法をそのまま用いればよい。ここから輝度が最大、最小となる位相角ΨＩｍａｘ、ΨＩｍｉｎ、そのときの輝度ＹＩｍａｘ、Ｙｍｉｎを求める。

ステップＳ３１０４にて３領域モデルにおけるＳ、Ｔ、Ｄの各領域の法線の方位（Ａｚｉｍｕｔｈ）角および天頂（ＡＺｅｎｉｔｈ）角を求める。この角度２自由度が法線を表現する。方法は、（式１７）から（式２１）を用いる。ここで用いる図１３のフレネル反射の理論カーブは屈折率を仮定したｎ＝１．８として描いたものである。

ステップＳ３１０５では、３領域モデルにおけるＳ、Ｔ、Ｄ各領域の輝度を求める。（式２２）から（式２４）に従う。

ステップＳ３１０６では、３領域モデルにおけるＳ、Ｔ、Ｄ各領域の面積比を（式２６）を用いて求める。

ステップＳ３１０７では、法線の表現方式を角度からカメラ座標系での勾配空間（ｐ、ｑ）に変換した後、図２１、図２２で示す１画素内の法線ヒストグラムを求める。

ステップＳ３１０８では、図２３から図２８で示すように法線のヒストグラム分布から１画素内の法線の最適配列を求める。

ステップＳ３１０９では図３０で示すように１画素内にて最適配置された法線から輝度を求める。

（実施形態２）
第１の実施形態では、偏光照明と偏光カメラを用いて高解像度化を実施していた。しかし、偏光カメラはパターン偏光子を作りこむ特殊な形態であるために高価である。さらに、偏光板による光量低下で感度が低くなり、画質低下の可能性がある。本実施形態では、実施形態１と同じく偏光面が回転する偏光照明を用いながら、画像撮影には通常の輝度を観測するカメラを利用して自在ズーミングを可能とする。

図３２は、第２の実施形態を示す図である。本実施形態の構成が、図１に示す構成と異なる点は、カメラ３２０１が偏光カメラではなく、通常の輝度を観測するカメラであることだけである。

図３３は、このカメラ３２０１を説明する図である。このカメラ３２０１は、輝度撮像素子３３０１、偏光面制御部２０４、撮像制御部２０５を備えている。偏光面制御部２０４から偏光照明を変化させる度に画像を撮像する。こうすることにより、輝度画像Ｙ（２０６）が各偏光状態に対応して複数得られる。さらに高解像度化処理部３３０３から高解像度化法線画像２０８、および高解像度輝度画像２０９が生成される。

図３４は、輝度撮像素子３３０１を示す図である。この輝度撮像素子３３０１には、図５のようなパターン偏光子が存在しない。このため、元の撮像素子の解像度が１１２０×８６８の場合には、同じ解像度である１１２０×８６８画素のＹ画像を得ることができる。また図３４（a）の輝度撮像素子ではモノクロ撮像素子を書いているが、図３４（b）のように既知のベイヤーモザイクを搭載したカラー撮像素子を利用してもよい。ただし、カメラ３２０１から出力される画像は、輝度画像Ｙのみであり、偏光情報であるＰ画像を取得できない。このため、（式２１）で示した３領域モデルのグルーブの斜面における入射角θ１が求められない。そこで

と仮定する。そして、（式１５）を用いて、

という幾何学的関係のみから、Ｔ領域の法線の角度αを確定し、法線の天頂角θ１を確定するものとする。こうして式３９が得られる。

Ｄ領域の法線は３領域モデルにおける仮定より、以下の式４０で示される。

図３５は、本発明の実施形態２に係わる処理の流れを示すフローチャートである。

図３１のフローチャートと異なる部分は、ステップＳ３５０１において照明の偏光面ΨＩを変化させた撮影を実施して各ΨＩにつきＹ画像を取得する部分、およびステップＳ３５０２におけるＳ、Ｔ、Ｄ領域での方位角と天頂角を求める部分のみである。なお点線で囲まれた部分が高解像度化処理部の処理に相当している。

なお、本実施形態２において、画像をカラー輝度画像とする構成は、ここに含まれるものとする。その手法は、輝度カメラとしてカラーカメラを用いる方法、および偏光照明をカラー化する方法のいずれでも構わないがいずれも公知技術であるから詳細な説明は省略する。

また、本実施形態２において医療用用途に画像をマルチバンドカラー輝度画像とする構成もここに含まれるものとする。その手法は輝度カメラとしてマルチバンドカラーカメラを用いる方法であり、公知技術であるから詳細な説明は省略する。

また、本実施形態２において監視カメラ用途に画像を赤外画像、偏光光源を赤外光源とするなどの構成もここに含まれるが、公知の技術であるため説明は省略する。

（実施形態３）
以下、動画と静止画を切り替えながら撮影可能な画像処理装置の実施形態を説明する。本実施形態は、基本的な構成として、実施形態１および２のいずれの構成を採用することも可能である。ここでは、実施形態２の構成を有する場合を例に説明する。

一般に動画の撮像、再現では、人間の解像度に関する感覚がやや低下し、高解像度化の効果がみえづらい。しかし、静止画の撮像、再現においては、高解像度が効果的になる。例えば、医療用内視鏡カメラなどの分野では、通常、医師が動画として撮像、観察を行うが、病巣部分では静止画撮影が実施される。

そこで、動画撮影時には非偏光光源にて通常の動画撮像を行ない、従来型の動画高解像化処理を実施することとする。一方、コマンド指示により、静止画を撮影するときには、自在ズーミングが可能な偏光光源を照射して画像を撮像する。

従来型の動画高解像度化処理は、後述する。まず、静止画を撮影する場合を説明する。

図３6は、本実施形態のムービーカメラ３５００の構成を示す図である。本実施形態では、動画・静止画コマンド入力部３６０１がカメラに搭載されている。動画撮影時には、非偏光照明の照射が偏光面制御部２０４、撮像制御部２０５を経由して行われる。同時に撮像素子３３０１からの画像信号は動画静止画選択部３６０２を経由して輝度動画列メモリバッファ３６０３内に時間的に連続して取得される。輝度動画列メモリバッファ３６０３内から読み出された画像信号は、「動き」ベースの既存の動画高解像度化処理部３６０４で処理され、高解像度動画３６０５として蓄積される。

一方、静止画撮影時には、偏光照明の照射が偏光面制御部２０４、撮像制御部２０５を経由して行われる。同時に撮像素子３３０１からの画像信号が３６０２を経由して輝度画像としてメモリに蓄積され、実施形態２で説明した高解像度化処理が高解像度化処理部３３０３で実施される。

図３７は制御方法を示すフローチャートである。

最初にステップＳ３７００にて静止画撮影コマンドの入力の有無を判断する。ステップＳ３７００で静止画撮影コマンドが入力が無（ＮＯ）場合、動画撮影を行う。具体的にはステップＳ３７０１にて非偏光照明がＯＮとなり、ステップＳ３７０２で動画が録画されて、ステップＳ３７０３にて既存の動画高解像度化処理が行われる。この動画高解像度化処理には例えば、特許文献３に開示されているような従来技術が使われる。

この動画像高解像度化技術は、動画複数フレーム間の動きを用いる一般的な技術であり、以下の処理が実行される。

補間を行って最初の高解像度推定画像を生成する。位置合わせを行って位置合わせ画像を生成する。高解像度推定画像を不鮮明化し、不鮮明化画像と位置合わせ画像とを減算して残差画像を生成する。欠損していない周辺画素の残差値を用いて欠損残差を補間する。点拡がり逆関数を用いて残差画像から逆投影画像を生成し、平滑化画像と逆投影画像とを組み合わせて強調係数を生成する。強調係数を高解像度推定画像に更新して新たな高解像度推定画像を生成することにより、欠損画素の残差値を欠損していない周辺画素の残差値から補間する。

ステップＳ３７００で静止画撮影コマンドが入力が有（ＹＥＳ）の場合、静止画撮影を行う。具体的には、ステップＳ３７０４にて偏光照明がＯＮになる。そしてステップＳ３５０１で偏光照明の偏光面を替えながら静止画撮像が行われる。そして本実施形態２で説明した高解像度化処理がステップＳ３５００で行われる。

以上の処理により、動画、静止画ともに高解像度化処理が行われ、かつ静止画部分では高解像度法線画像も得られる。

（実施形態４）
本実施形態では、実施形態１および２における偏光光源１０２を、より高速に偏光面を回転することが可能な光源３８００に替えている。こうすることにより、本実施形態では、動画撮影においても、静止画における技術をそのまま用いて高解像度化を実現する。偏光光源１０２以外の構成は、図１および図２、図３２および図３３に示す構成と同一である。

図３８は、高速に偏光面を４５°ずつ回転させるための偏光光源の構成を示している。この偏光光源は、パターン化偏光子フィルタ３８０１とＬＥＤ面光源３８０２とを備えている。

パターン化偏光子フィルタ３８０１としては、フィルム型の偏光板のほか、フォトニック結晶や構造複屈折波長板、ワイヤーグリッド等が利用できる。ＬＥＤ面光源３８０２は、４５°ずつ異なる偏光面を有するパターン偏光子３７０１の各々に対して独立に点灯するように分割されている。そして０°、４５°、９０°、１３５°のパターン化偏光子にそれぞれ相当するＬＥＤ面光源の３８０２における４つの分割発光領域Ａ、Ｂ、Ｃ、Ｄが順次点灯する。例えば、分割発光領域Ａが点灯しているとき、他の分割発光領域Ｂ、Ｃ、Ｄは点灯していない。このとき、分割発光領域Ａからでた光は、偏光していないが、パターン化偏光子フィルタ３８０１における角度０°のパターン化偏光子に入射する。そのパターン化偏光子の偏光透過軸の方向に偏光した光のみがパターン化偏光子フィルタ３８０１を透過することができる。こうして、分割発光領域Ａ、Ｂ、Ｃ、Ｄを順次点灯させることにより、図３８の参照符号３０３から３０６に示すように、出射光の偏光面が回転する。分割発光領域Ａ、Ｂ、Ｃ、Ｄの各々は、少なくとも１つのＬＥＤ素子を含んでいる。

なお、簡単のため、図３８に示す構成では、パターン偏光子フィルタ３８０１は４分割構成を有しているが、例えば、偏光面の方位が異なる４つのパターン化偏光子と、各パターン化偏光子に割り当てられた発光領域とが、より細かく分割された構成を採用しても良い。

また、すべての分割発光領域を点灯させれば、非偏光光源３０７として機能させることもできる。この構成により、偏光面の回転に要する時間をＬＥＤの点灯応答速度である１０（μＳ）程度まで短縮することができ、フレーム切り替え時間内に偏光面の変化を完了させられる。これにより動画撮影時に偏光面を変える時間が問題にならないほど短くなる。

図３９は、この偏光光源を用いて動画を撮影する場合のタイムチャートを示している。時間ｔ１（３９０１）は、偏光面切り替え時間を示し、時間ｔ２（３９０２）は１フレームの撮像露光時間を示す。この場合、１枚の偏光画像撮影には、ｔ１＋ｔ２＝Ｔ（ｓｅｃ）を要する。したがって、高解像度のためには、４Ｔ（ｓｅｃ）を１セットとする４枚の異なる偏光面照明での画像が必要となる。動画を高解像度するためには、この４Ｔ（ｓｅｃ）の時間内は被写体が動かないことが必要である。したがって、通常の被写体を撮影する動画においては

を満たさねばならない。このため

となる高速度撮影が必要になる。このような高速度撮影も、撮像素子をより高速化し、かつ本実施形態における照明の照度を向上して露光時間を短縮すれば可能となる。結果的に動画においても、自在に高解像度化を実現できる。

（実施形態５）
本実施形態は、実施形態２と同じく偏光面が回転する偏光照明を用いながら、画像撮影には通常のカラー輝度カメラを利用して自在ズーミングを可能とする。

図４０は、実施形態５を示す図である。実施形態２の図３３と異なる点は、カメラ３２０１が通常のカラーカメラであることのみである。カラーカメラは、カラー撮像素子４００１により、Ｒ、Ｇ、Ｂの波長帯別にＲ画像４００２、Ｇ画像４００３、Ｂ画像４００４を取得する。

偏光面制御部２０４から偏光照明を変化させる度にカラー画像を撮像することにより、カラー輝度画像である４００２、４００３、４００４が各偏光状態に対応して複数得られる。そしてカラー高解像度化処理部４００５の処理により高解像度法線画像２０８、および高解像度カラー画像４００６が生成される。本実施形態の主たる効果は、実施形態２の画像の単なるカラー化ではなく、カラー情報を使うことによって各種の不要な多重反射成分を正確に分離して物理的に必要な多重反射成分を利用できる点にある。

図１４を参照しながら行った説明において、マイクロファセットがグルーブ：溝１４０１を形成し、その斜面で２回の反射が発生していると仮定した。この場合の１回目と２回目の反射の性質を鏡面反射と拡散反射に分離した場合、
１）１回目：拡散反射 ２回目： 鏡面反射
２）１回目：拡散反射 ２回目： 拡散反射
３）１回目：鏡面反射 ２回目： 拡散反射
４）１回目：鏡面反射 ２回目： 鏡面反射
の４通りの現象が想定でき、実施形態２においては、被写体の着色が暗い場合には、４）の１回目も２回目も鏡面反射という現象を主要な現象として考えて解析した。しかし一般には１）から３）の多重反射の成分を観測輝度から成分として分離する前処理が必要になる。実施形態２においてはモノクロ処理を想定していたため、この分離を正確に実施することは困難であった。

本実施形態においては、ＲＧＢのカラー成分を用いてこの問題を解決する。以下、各多重反射の物理的な性質を説明する。

なお、以下の説明においては、反射現象によって、光の色と偏光の属性が変わる点がポイントである。（ｉ）拡散光は媒質の内部に一旦浸透した光が射出するため、照明光が白色の場合に物体の媒質の色で着色されること、および（ｉｉ）出射時の偏光は出射角に依存し、本実施形態においては４５−５０°となるために、きわめて低くほとんど非偏光である点に注意する。

図４１は、上記１）に相当する２回反射を描いたものである。１回目の反射で非偏光の拡散光となった光は物体の媒質固有の色を有するため、２回目の鏡面反射では着色した反射成分となるとともに鏡面反射として部分偏光を呈する。図では、これを楕円４１０１、４１０２で表現している。なお楕円は正確に部分偏光の形状を表現するわけではなく模式的に表現している。ここで入射光の偏光方向を変えると媒質内に屈折・浸透する光量が変化するため２回目反射への入射光量が変動し、結果的に２回目の反射成分の光量は変動するため、４１０１、４１０２のような楕円の大きさが変動し、輝度が変動する。

図４２は、上記２）に相当する２回反射の様子を描いたものである。１回目の反射で着色した拡散光は２回目に再度着色した拡散光として射出する。また入射光の偏光方向を変えると媒質内に屈折・浸透する光量が変化するため２回目反射への入射光量が変動し、結果的に２回目の反射成分の光量も変動するが、反射光は非偏光である。

図４３は、上記３）に相当する２回反射を描いたものである。１回目の反射で鏡面反射した光は色は白色光のまま鏡面反射の偏光となる。そして２回目には着色した非偏光の拡散光として反射するが、入射光の偏光方向を変えると１回目に反射する光量が変化するため結果的に２回目の反射成分の光量は変動する。

以上、最終的に観測される２回反射後の光の性質をまとめると表１のようになる。

本実施形態で主に利用する４）の１、２回とも鏡面反射の反射光のみが白色光を維持するのに対して、１）から３）の反射光は、すべて物体色に着色しているカラー光である。両輝度成分ともに照明の偏光方向を変えると個別に変動するためこれを分離するためには、モノクロ輝度のみでは不可能である。

そこで、カラーカメラを用いて偏光照明の偏光面を順次変えながら撮影し、カラー輝度Ｒ、Ｇ、Ｂの変化の関数を周期１８０°の余弦関数として近似する。照明の偏光面の角度をΨＩとして以下のようになる。ここで輝度Ｉと振幅Ａはいずれも（Ｒ、Ｇ、Ｂ）の３成分を有するベクトルとしている。この輝度変動における位相φＩは一般に各色とも共通である。

ここで得られた最小値を物体色と仮定し、

また光源色を既知として

とすると以下のベクトル方程式が成立する。

図４４はこのベクトルの関係の概念図をＲＧＢ色空間内にて表したものである。

この方程式は２未知数に対してＲＧＢの３成分を有するため最小２乗法にて説くことができる。結果として得られた重み係数を用いて変動する輝度を成分分離することができ、表１における４）の反射成分は、

となる。

図４５は、以上の動作を表したフローチャートである。実施形態２で説明した図３４と異なるのはＳ４５０１でカラーＲＧＢ画像を取得する部分、およびＳ４５０２でカラーＲＧＢ成分から表１４）の１、２回とも鏡面反射の成分を分離する部分のみである。分離された輝度成分は照明の白色を有するため輝度のみの取り扱いが可能であり、フローチャートの他の部分は同一である。ここで得られる高解像度画像は、鏡面反射成分だけになるためこれを再度、式４６を用いて合成することにより、最終的な高解像度カラー画像を得ることができる。

なお、実施形態１から５を通じて、偏光照明の偏光面回転角は４５°きざみを例として説明してきたが、この角度は任意である。

本発明は、民生用デジタルカメラ、ムービーカメラ、医療用画像診断装置、医療用内視鏡カメラ、監視カメラ、ロボット視覚、表面検査装置などに広く適用可能である。

１０１ 自在ズーミングカメラ装置
１０２ 偏光光源
１０３ 偏光カメラ
１０４ 被写体
１０５ 偏光照明光
１０６ 偏光反射光
１０７ 角度∠ＬＶ
２０１ 偏光撮像素子
２０２ 輝度・偏光情報処理部
２０３ 高解像度化処理部
２０４ 偏光面制御部
２０５ 撮像制御部
２０６ 輝度画像Ｙ
２０７ 偏光位相画像Ｐ
２０８ 高解像度化法線画像
２０９ 高解像度輝度画像

本発明は、撮像素子によって取得可能な本来の１画素よりも高精細な高解像度画像を生成できる自在ズーミング機能を有する画像処理装置に関する。

デジタル映像機器の発達によって民生品デジタルスチルカメラの撮像素子の画素数は１０００万画素を超えた。その結果、静止画では、写真プリント用途に十分な高解像度化が達成された。しかし、以下の用途では、撮像限界を超える高解像度化が求められている。
（ｉ）ネットショッピング等において商品の一部にあたる興味領域を自在に大きく表示したいという用途。
（ｉｉ）医療用画像診断などで病巣を詳細に観察したいなどの用途。
（ｉｉｉ）監視カメラにおいて犯人の服装を詳細観察したいなどの用途。
（ｉｖ）バイオメトリクスで顔、虹彩、指紋画像の解析等の用途。

このような要求に対し、撮像素子の解像度を向上させて対応する試みは、近年、限界に達しつつある。その理由は、光学的な限界により、１画素を高精細にしても解像度が上がらないためである。この限界を超えるためには、必然的にレンズや撮像素子の１画素サイズが大きくなる。その結果、デジカメ、ムービー、小型監視カメラ、さらに医療用内視鏡のような小型カメラでの実現が困難になっていく。

小型カメラを使用しつつ、従来の輝度の１画素をさらに細分化分割して高解像度化を実現しようとする試みは、一般に「超解像技術」と称される画像の高解像度化技術である。この技術では、被写体を連写または動画撮影して得た、複数枚の画像を入力とする。そして、これらの複数枚の画像間において、被写体の同一部位を撮像した画素どうしの対応を求め、対応する画素群から高解像画像上のパターンを推定するものが一般的である。しかしながら、ネットショッピングの商品撮影や医用画像は通常静止画１枚である。また、監視カメラ映像では、動画といえども、離散的な静止画が得られることが多い。このため、これらの場合には、従来の「動き」を用いた高解像度化技術は使えない。

また、従来の技術では、時間的に異なる複数フレーム画像に含まれる被写体対応部分の移動量を、輝度をベースとした対応付けを用いて検出する。このため、光沢のある表面など表面の鏡面反射が多数発生する領域においては、移動量の検出が困難になる。

静止画を前提として光沢表面においても１画素内の分割を可能とする技術が非特許文献１に開示されている。この技術では、金属製の硬貨や石の彫刻など、鏡面反射主体でマイクロファセット物理反射モデルが成立する被写体が選定されている。固定したカメラから照明光源の方向を様々に変化させながら、多数の被写体画像が撮影されている。そして、マイクロファセットモデルに当てはめて、その多数の画像から１画素内の微細法線の空間分布を推定し、１画素内の微細形状に対して照明が当たった場合の輝度を計算する。この高解像度化手法の前半部分では、光源移動した多数の撮影から１画素内に分布する微細領域法線のヒストグラムが構築される。後半部分では、該当するヒストグラムを満たす微細領域法線の空間内配列の組み合わせが、主に法線の可積分性を基礎としたエネルギー最小化問題として解かれている。ここで、「法線の可積分性」とは、被写体の表面に閉じた経路を与えると、その経路上の法線の線積分値である表面高さ情報が経路を一周して元の位置に戻ると、その位置における元の表面高さと同一になることを意味する。

照明光源を移動させながら複数画像を撮像して画像の高解像度化を行う技術が非特許文献２に開示されている。この技術では、ぬいぐるみの人形やスニーカなど完全拡散反射モデルが成立する被写体が選定される。８枚から１６枚の画像を撮像して２ｘ２の画像高解像度化が実施されている。この技術によれば、法線画像、アルベド画像の解像度の劣化モデル、法線の積分可能性拘束条件、およびマルコフ・ランダム・フィールドの確率モデルを用いて、被写体の法線およびアルベド反射率の両方を同時に高解像度化する。

なお、特許文献１は、パターン化偏光子を開示している。特許文献２および非特許文献３は、偏光面を回転させることが可能なデバイスを開示している。これらの文献に開示されている素子は、後述する本発明の実施形態に利用可能である。

特開２００７−８６７２０号公報 特開平１１−３１３２４２号公報 特開２００７−３１６１６１号公報

Ｐｉｎｇ Ｔａｎ ｅｔ．ａｌ 、"Ｒｅｓｏｌｕｔｉｏｎ−Ｅｎｈａｎｃｅｄ ｐｈｏｔｏｍｅｔｒｉｃ Ｓｔｅｒｅｏ"、Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、 ３:５８−７１、 ２００６． Ｍａｎｊｕｎａｔｈ ｅｔ．ａｌ、"Ｓｉｍｕｌｔａｎｅｏｕｓ ｅｓｔｉｍａｔｉｏｎ ｏｆ ｓｕｐｅｒ−ｒｅｓｏｌｖｅｄ ｄｅｐｔｈ ｍａｐ ａｎｄ ｉｎｔｅｎｓｉｔｙ ｆｉｅｌｄ ｕｓｉｎｇ ｐｈｏｔｏｍｅｔｒｉｃ ｃｕｅ"、 Ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ ｕｎｄｅｒｓｔａｎｄｉｎｇ １０１（２００６） 、ｐｐ３１−４４． Ｌａｗｒｅｎｃｅ Ｂ．Ｗｏｌｆｆ、"Ｐｏｌａｒｉｚａｔｉｏｎ ｖｉｓｉｏｎ: ａ ｎｅw ｓｅｎｓｏｒｙ ａｐｐｒｏａｃｈ ｔｏ ｉｍａｇｅ ｕｎｄｅｒｓｔａｎｄｉｎｇ"、 Ｉｍａｇｅ ａｎｄ Ｃｏｍｐｕｔｉｎｇ １５（１９９７）８１−９３．

従来の技術には、以下の課題があった。

すなわち、様々な角度からの入射光を作るため、比較的大きな光源移動が必要である。このため、専用の照明装置を作り、実験室に設置する必要がある。したがって、フラッシュのような簡易光源を小型カメラに設置し、撮影することができない。

本発明は、上記課題を解決するためになされたものであり、その主な目的は、大きな光源移動を伴わない撮像により、１画素内の微小領域における法線を推定できる画像処理装置を提供することにある。

本発明の画像処理装置は、偏光面が順次変化する直線偏光である偏光照明を被写体表面に照射する偏光光源と、各々が１画素に相当するサイズを有する複数の光感知セルが配列された撮像面を備え、前記被写体表面の反射光から前記被写体表面の輝度画像を取得するカメラと、前記偏光面の変化に伴う前記輝度画像の輝度変動量を用いて、前記被写体表面における１画素よりも小さな複数のサブ画素領域の法線を推定し、推定した法線を用いて前記輝度画像を高解像度化する高解像度化処理部とを備え、前記カメラが前記被写体表面の輝度画像を取得するとき、前記偏光光源と前記カメラとの配置関係が固定された状態で前記直線偏光の偏光面が変化する。

ある実施形態において、前記偏光光源の光軸と前記カメラの光軸との間の角度は１０°以下である。

ある実施形態において、前記カメラは、特定の方位に偏光した直線偏光を透過する偏光フィルタを備える偏光カメラである。

ある実施形態において、前記偏光フィルタは、前記複数の光感知セルにそれぞれ対向する位置に配置された複数のパターン化偏光子を有している。

ある実施形態において、前記カメラは、モノクロ輝度画像またはカラー輝度画像を取得するカメラである。

ある実施形態において、前記偏光光源は、静止画撮影時において、偏光面を変化させながら偏光照明を被写体に照射し、動画撮影時において、偏光面がランダムである非偏光を照射し、静止画および動画の高解像度化を実行する。

ある実施形態において、前記偏光光源は、各々が独立して発光し得る複数の分割光源と、前記複数の分割光源に対向する位置に設けられた複数のパターン化偏光子とを有しており、前記直線偏光の偏光面の向きは、前記複数の分割光源のうちの一部の分割光源から放射された光が透過するパターン化偏光子の偏光透過軸の向きによって規定される。

ある実施形態において、前記高解像度化処理部は、前記偏光面の変化に伴う前記輝度変動量をカラー成分毎に利用して、前記被写体表面の多重反射成分から２回ともに鏡面反射を呈する成分と、少なくとも１回は拡散反射を呈する成分とを分離する。

ある実施形態において、前記高解像度化処理部は、前記被写体表面の反射状態に応じて前記輝度画像の１画素を複数の領域に分類し、各領域における輝度と法線と面積比とを推定することによって１画素内の法線ヒストグラムを決定する。

ある実施形態において、前記複数の領域は、各画素内で１つの方位に延びた少なくとも１つのグルーブを形成している。

ある実施形態において、前記高解像度化処理部は、前記被写体表面にほぼ直上から照射された偏光照明によって前記被写体表面で発生する光の多重反射現象を利用し、前記輝度画像の１画素内の法線ヒストグラムを推定する。

ある実施形態において、前記高解像度化処理部は、前記被写体表面における光の多重反射現象を利用して前記輝度画像の１画素内の法線ヒストグラムを推定する。

ある実施形態において、前記高解像度化処理部は、推定された１画素内の法線ヒストグラムから、前記１画素内における前記サブ画素領域の配置を決定して高解像度法線画像を生成する。

ある実施形態において、前記複数の領域は、前記偏光照明の１回の反射により、前記反射光を前記カメラに到達させるＳ領域、前記偏光照明の２回の多重反射により、前記反射光を前記カメラに到達させるＴ領域、および前記反射光を前記カメラに到達させないＤ領域によって構成される。

本発明の画像処理方法は、偏光面が順次変化する直線偏光である偏光照明を被写体表面に照射すること、前記被写体表面の反射光から前記被写体表面の輝度画像を取得すること、前記偏光面の変化に伴う前記輝度画像の輝度変動量を用いて、前記被写体表面における１画素よりも小さなサブ画素領域の法線を推定し、推定した法線を用いて前記輝度画像を高解像度化することを実行し、前記カメラが前記被写体表面の輝度画像を取得するとき、前記偏光光源と前記カメラとの配置関係が固定された状態で前記直線偏光の偏光面を変化させる。

本発明のプログラムは、偏光面が順次変化する直線偏光である偏光照明を被写体表面に照射する偏光光源と、各々が１画素に相当するサイズを有する複数の光感知セルが配列された撮像面を備え、前記被写体表面の反射光から前記被写体表面の輝度画像を取得するカメラとを備える装置のためのプログラムであって、偏光面が順次変化する直線偏光である偏光照明を被写体表面に照射するステップと、前記被写体表面の反射光から前記被写体表面の輝度画像を取得するステップと、前記偏光面の変化に伴う前記輝度画像の輝度変動量を用いて、前記被写体表面における１画素よりも小さなサブ画素領域の法線を推定し、推定した法線を用いて前記輝度画像を高解像度化するステップとを前記装置に実行させる。

本発明の画像処理装置では、被写体表面における１画素内の微細な領域が有する凹凸構造を反映した情報を、偏光状態が異なる偏光照明の照射によって得る。こうして得た情報に基づいて、１画素内の凹凸構造における法線の分布を推定する。この結果、本発明によれば、光源の大きな移動は不要になる。

高解像度化を説明するための図 本発明の実施形態１を示す図 実施形態１に係わる画像処理装置構成図 偏光光源の構成を示す図 偏光面角度の定義図 偏光カメラの撮像素子における光感知セルの配置例を示す図 偏光カメラによる偏光情報による輝度変化を示す図 偏光照明の偏光面回転による輝度パターン画像の変化を示す図 偏光照明の偏光面回転による輝度パターン画像の変化を示す模式図 偏光照明の偏光面回転による画素ごとの輝度変動を示すグラフ 図８Ａのグラフに示すデータの取得に用いたサンプルの表面形状を示す写真 図８Ｂの表面形状を模式的に現す図 （ａ）から（ｃ）は、偏光照明による輝度変動の意味を示す図 マイクロファセットモデルを説明する図 マイクロファセットの微細法線の向きを示す図 （ａ）および（ｂ）は、入射光がマイクロファセットに対して直接反射をする図 横軸を入射角とした際のＰ波とＳ波のフレネル反射率を示すグラフ （ａ）および（ｂ）は、入射光がマイクロファセットどうしの対のために多重反射を起こす図 対となるマイクロファセットの位置関係を示す図 被写体表面の「３領域モデル」を説明する図 （ａ）は３領域モデルの凹凸が１画素内に存在する状態を表現する図、（ｂ）は偏光照明の偏光面の角度と主軸１７０１の主方位角ΨＩｍａｘとの関係を示す図 （ａ）および（ｂ）は、法線ベクトルとカメラ座標系と勾配空間の関係を示す図 グルーブに対して偏光面がどのように変化するかを示す図 「３領域モデル」の各領域における法線、反射輝度、面積比率を示す図 勾配空間における法線の位置を示す図 勾配空間における１画素内法線のヒストグラムを示す図 （ａ）から（ｃ）は、法線配置の割り当て方を示す図（その１） （ａ）から（ｃ）は、法線配置の割り当て方を示す図（その２） （ａ）から（ｃ）は、法線配置の割り当て方を示す図（その３） （ａ）から（ｃ）は、法線配置の割り当て方を示す図（その４） （ａ）および（ｂ）は、１画素内のすべての領域がＳ領域になった場合の法線配置を示す図 （ａ）および（ｂ）は、８次元の配列空間（Ａｒｒａｎｇｅｍｅｎｔ Ｓｐａｃｅ）を示す図 （ａ）および（ｂ）は、法線の積分可能性の条件となる線積分の向きを示す図 （ａ）から（ｃ）は、１画素の法線及び輝度としての高解像度化の効果を示す図 実施形態１における処理手順を示すフローチャート 本発明の実施形態２を示す図 実施形態２に係わる画像処理装置構成図 （ａ）および（ｂ）は、実施形態２におけるカメラの撮像素子における光感知セルの配置例を示す図 実施形態２における処理手順を示すフローチャート 本発明の実施形態３を示す図 実施形態３における処理手順を示すフローチャート 実施形態４における偏光照明の構成図 実施形態４における照明の時間軸上での変化を示す図 本発明の実施形態５を示す図 （ａ）および（ｂ）は、多重反射の種類１）を示す図 （ａ）および（ｂ）は、多重反射の種類２）を示す図 （ａ）および（ｂ）は、多重反射の種類３）を示す図 実施形態５におけるカラー反射成分分離を示すベクトル図 実施形態５における処理手順を示すフローチャート

本発明の画像処理装置は、偏光面が順次変化する直線偏光を偏光照明として被写体表面に照射する偏光光源と、カメラ（撮像装置）とを備えている。このカメラは、各々が１画素に相当するサイズを有する複数の光感知セルを備え、被写体表面の反射光から被写体表面の輝度画像を取得する。本発明の画像処理装置は、更に、輝度画像を高解像度化する高解像度化処理部を備えている。この高解像度化処理部は、偏光面の変化に伴う輝度画像の輝度変動量を用いて、被写体表面における１画素よりも小さなサブ画素領域の法線を推定する。そして、推定した法線を用いて輝度画像を高解像度化する。本発明では、カメラが被写体表面の輝度画像を取得するとき、偏光光源とカメラとの配置関係が固定された状態で直線偏光の偏光面が変化する。照明光の偏光状態を利用することにより、光源の位置を大きく移動させることなく、１画素内の法線分布（法線ヒストグラム）を求めることが可能になる。

本明細書における「高解像度化」とは、図１Ａに示すように、本来的には輝度が平均化された１画素について、その１画素に含まれる複数のサブ画素領域の輝度を推定し、輝度画像の解像度を高めることである。１画素内に含まれる個々のサブ画素領域の輝度は、各々のサブ画素領域の法線を求めることにより、決定することができる。高解像度化処理部は、専用のハードウェアによって実現される場合に限られず、ソフトウェアとハードウェアとの組み合わせによっても好適に実現され得る。例えば、公知の構成を有するハードウェア（プロセッサ）に本発明の処理を実行するフトウェア（プログラム）を組み込むことにより、本発明の高解像度処理装部を構成することができる。このようなプログラムは、好適には記録媒体に記録された状態で画像処理装置に組み込まれるが、通信線を介して、あるいは無線により、画像処理装置に組み込まれることも可能である。

本発明では、後に詳しく説明するように、まず偏光照明が照射された被写体表面における多重反射を利用し、１画素内の法線ヒストグラムを求める。そして、その法線ヒストグラムを構成する個々の法線に対応したサブ画素領域の配置を決定する。

なお、「１画素」のサイズは、撮像素子の撮像面に配列された個々の光感知セル（フォトダイオード）のサイズに相当する。通常、１つの光感知セルが１つの画素に相当するが、隣接する４つの光感知セルの中心部が１画素として機能する場合もある。そのような場合でも、１画素のサイズは、光感知セルのサイズに相当する。

以下、図面を参照しながら、本発明による画像処理装置の実施形態を説明する。

（実施形態１）
図１Ｂは、本発明の実施形態１における画像処理装置の全体構成を模式的に示す図である。

自在ズーミング機能を有する本実施形態の画像処理装置１０１は、偏光光源１０２、偏光カメラ１０３を備えている。被写体１０４を撮影する際には、偏光光源１０２からの偏光照明１０５が被写体１０４に照射される。被写体１０４の表面で反射した偏光照明（偏光反射光１０６）が偏光カメラ１０３に到達して偏光情報が偏光カメラ１０３内に記録される。偏光カメラ１０４は、後述するように、被写体１０４の輝度画像と偏光情報の両方を取得できる。

偏光照明１０５と偏光反射光１０６のなす角度ＬＶ１０７は、１０°以下であることが望ましい。角度ＬＶ１０７を小さくすることにより、被写体１０４上の微細な凹凸構造で発生する光の多重反射（Ｉｎｔｅｒｒｅｆｌｅｃｔｉｏｎ）を利用して、凹凸構造に関する情報を取得することが可能になる。また、角度ＬＶ１０７を小さくすることにより、被写体１０４の表面での影の影響を少なくすることができる。角度ＬＶ１０７を１０°以下にすることにより、屈折率１．４〜２．０の自然物体において、光のＰ偏光とＳ偏光がほぼ等価な挙動を示すことがフレネル反射理論からわかる。これらの詳細については、後述する。

図２は、本実施形態における偏光カメラ１０３の構成例を示す図である。

この偏光カメラ１０３は、偏光撮像素子２０１、輝度・偏光情報処理部２０２、偏光面制御部２０４、撮像制御部２０５を備えている。

偏光面制御部２０４から偏光照明の偏光面を変化させる度に画像を撮像する。これにより、輝度画像Ｙ（２６０）、および偏光位相画像Ｐ（２７０）が、偏光面の異なる各偏光状態に対応して複数得られる。高解像度化処理部２０３からは、高解像度化法線画像２０８、および高解像度輝度画像２０９が生成される。

本実施形態における偏光カメラ１０３は、モノクロ画像と偏光画像を同時にリアルタイムで取得することができる。この偏光カメラ１０３は、輝度画像Ｙ、偏光度画像Ｄ、偏光位相画像Ｐの３種類の画像データを出力する。

偏光カメラ１０３に内蔵された偏光撮像素子２０１は、輝度画像と被写体の部分偏光の画像とを同時に取得する。このため、偏光撮像素子２０１では、複数の異なる偏光主軸を有する微細パターン化偏光子のアレイをＣＣＤやＭＯＳセンサなどの撮像素子上に配置している。微細パターン化偏光子としては、フォトニック結晶や構造複屈折波長板、ワイヤーグリッド等が利用できる。この構成は特許文献１に開示されている。

図３は、偏光光源１０２の構成例を示す図である。偏光光源１０２は、偏光フィルタ部３０１、非偏光を発生する光源３０２、可動ミラー３０８、ミラー３０９、可動ミラー制御部３１２、シャッター３１０、３１１を備えている。

偏光フィルタ部３０１は、ツイステッドネマィック液晶セルと偏光フィルムとを組み合わせた電圧印加型液晶デバイスなどで構成され得る。偏光フィルタ部３０１は、光源３０２から発生した非偏光の光を、任意の偏光角度に偏光面を有する直線偏光に変換する。偏光面を回転させることが可能なデバイスの構成例は、特許文献２、３、非特許文献３等に開示されている。

可動ミラー３０８は、図３の位置Ａから位置Ｂとを移動可能である。可動ミラー３０８が位置Ａにあるとき、光源３０２からの光は３０１、およびシャッター３１１を通過して偏光面を回転させながらその被写体を照射する。同時に画像が撮像され、これを複数回実施する。すなわち偏光面が０°状態（図の状態３０３）で第１の画像を撮像し、偏光面が４５°状態（図の状態３０４）で第２の画像を撮像し、偏光面が９０°状態（図の状態３０５）で第３の画像を撮像し、偏光面が１３５°状態（図の状態３０６）で第４の画像を撮像する。

偏光面の回転に要する時間は、上記文献によれば、２０（ｍｓ）程度である。これは、動画の１フレーム時間内に収まると考えて良い。このため、４方向の偏光回転を実施して撮影をすると、実質８（フレーム）時間程度＝約０．５（ｓｅｃ）で１セットの撮影が終了する。この時間内は、被写体とカメラの相対的運動はゼロであることが望ましい。

なお、偏光フィルタ部３０１の機能をＯＦＦにして、非偏光を被写体に照射することもできる。その場合は、可動ミラー３０８が図３の位置Ｂに移動する。そして、光は光源３０２からミラー３０９へ導かれ、シャッター３１０を通過して被写体に照射される。その場合、光の偏光面は参照符号３０７で示すように、あらゆる方向にランダムに存在する。このように、シャッター３１０、３１１は、互いに開閉の状態をとり、同時に偏光と非偏光が照射されることを防ぐ。

図４は、偏光面の角度Ψ_Iの定義を示す図である。被写体に向かってＸ−Ｙ座標系を設定し、偏光面の角度は、Ｘ軸負向きを０°としてＹ軸正向きを正向に回転角を定義するものとする。偏光入射角度Ψ_Iが反射において保存される場合には、反射光の偏光面角度と入射光の偏光面角度は同一となる。

図５は、偏光撮像素子２０１の撮像面を示す図である。撮像面には、複数の光感知セル（フォトダイオード）が行および列状に規則的に配列されている。個々の光感知セルは、光電変換により、入射したた光の量に応じて電気信号を生成する。本実施形態の偏光カメラ１０３では、撮像面がパターン化偏光子のアレイによって覆われている。偏光撮像素子２０１の各光感知セルに対してパターン偏光子の１個が対応する。隣接する４つの光感知セルに対応する４つのパターン偏光子は、それぞれ、偏光透過面が０°、４５°、９０°、１３５°となるように設定されている。図５の画素セット５０１、５０２は、それぞれ、２×２画素からなり、その中心位置が１画素だけシフトしている。この画素セット５０２の４個の画素からのデータを取得した後、画素セット２０３の４個の画素からのデータを取得することができる。このように、２×２画素のウインドウを１画素ずつずらしながら処理することによって、偏光情報と輝度情報を、解像度を実質的に落とさずに得ることができる。すなわち、撮像素子の解像度（画素数またはフォトダイオード数）が１１２０×８６８の場合には、１１１９×８６７画素のＹ、Ｄ、Ｐ画像を得ることができる。

図５の例では、隣接する４つの光感知セルの信号に基づいて、それらの中心部に位置する領域の偏光情報を得ることができる。例えば、画素セット５０１の中心領域（サイズは１つの光感知セルのサイズに相当）が、「１画素」として機能する。１画素のサイズは、１個の光感知セルのサイズに相当しているが、１画素の中心位置は、光感知セルの中心位置に拘束されない。

本発明によれば、１つの光感知セルのサイズよりも小さなサイズを有する領域の法線を推定し、そのような微細な領域の輝度を求めることができる。

次に、図６を参照して、輝度画像Ｙ、偏光位相画像Ｐの求め方を説明する。

最初に、振幅をＡｏ、パターン偏光子の偏光透過面角度をΨｏ、位相をΦｏとして、偏光情報を表す正弦関数の式を以下のように仮定する。

図２に示す輝度・偏光情報処理部２０２では、４５°の間隔で偏光角度が異なる４つの偏光画素の４個の輝度値から輝度画像Ｙが計算され、輝度画像Ｙ２０６が生成される。

輝度・偏光情報処理２０２では、サンプルされた４個の輝度値から余弦関数へのフィッティングを行う。まず偏光角度が０°、４５°（＝π／４）、９０°（＝π／２）、１３５°（＝３π／４）における輝度の２乗誤差Ｅを以下のように定義する。

この２乗誤差を最小化する余弦関数の位相φｏは、以下の式から求められる。

この式から、解は、次の式５、式６で与えられる。

ソフトウエアによる実装において、逆三角関数などの数学関数では、一般に以下のような制限が課されている。

この角度範囲を考慮すると、ａとｃの大小関係からの場合わけを行うことによって、最小値をとる角度と最大値をとる角度は以下のように計算できる。

この最大値をとるΨｍａｘの値を、そのまま、偏光位相画像Ｐ２０７とすればよい。

次に、振幅の最大値と最小値を求める。まず、振幅Ａｏを求めるため、以下の式を用いて２乗誤差の最小化を行う。

得られた振幅Ａｏを用いて、振幅の最大値と最小値は以下のようになる。

このように、本実施形態では、照明条件を固定して１回の撮影がされた際、撮像された偏光画像から輝度画像Ｙと、偏光画像Ｐという２種類の画像情報を得ることができる。

前述のように、撮像素子の画像解像度とほぼ等しい解像度が得られるため、輝度画像Ｙの解像度は、撮像素子にパターン化偏光子を設置しない状態の輝度画像の解像度とほぼ変わらないと考えられる。一方、本実施形態における撮像素子からは、輝度画像Ｙに加えて偏光画像Ｐを同時に獲得することもできる。したがって、本実施形態によれば、偏光情報として偏光位相と偏光度が増加したことになる。つまり偏光カメラを用いることで、従来の輝度画像情報よりも被写体の表面反射に関する、より多くの情報が得られる。

本実施形態では、さらに偏光照明の偏光面を変えながら偏光カメラでの撮影を行う。これにより、輝度の撮像だけでは不可能な１画素内の微細領域（サブ画素）の情報を含む画像の取得を実現する。

図７Ａおよび図７Ｂは、本発明者らが表面の滑らかな陶器製コップと表面に微細凹凸を有する木の板を被写体として偏光撮像をした画像を示す。図７Ａの左側に位置する２つの画像は、照明の偏光面の角度＝０°の偏光画像である。一方、図７Ａの右側に位置する２つの画像は、照明の偏光面の角度＝９０°の偏光画像である。図７Ｂの４つの画像は、それぞれ、図７ＡＢの４つの画像を模式的に描いた図である。これらの図に示す画像は、いずれも、図２に示す輝度画像Ｙに相当する。

図７Ａおよび図７Ｂの上段に位置する画像から明らかなように、表面が滑らかな陶器では、偏光照明の偏光を変化させても輝度パターンの変化はあまり観測されなかった。しかし、多くの凹凸が存在する木の板では、図７Ａおよび図７Ｂの下段に位置する画像から明らかなように、偏光照明の偏光面を変化させると、観測される輝度画像に大きな変化があることが判明した。

図８Ａは、木の板の表面に入射する光（偏光照明）の偏光面を変化させながら輝度画像を撮影した場合の同一画素値の輝度変動を示すグラフである。図８Ｂは、撮像対象となる木の板の輝度画像である。図８Ｃは図８Ｂの木の板の表面の凹凸を模式的に示した図である。

図８Ａは、偏光照明の偏光面の角度ΨＩが０°、４５°、９０°、１３５°のときに得られた輝度画像の特定の画素における輝度Ｙを示している。このグラフから、輝度Ｙは各偏光照明の偏光面の角度ΨＩに対して周期変動を示すことがわかる。このような輝度Ｙの角度ΨＩの依存性に関する情報は、照明の偏光状態を変化させずに撮像した普通の偏光撮像では観測できていない新しい情報である。

図９（ａ）から（ｃ）は、偏光照明の偏光面の角度をΨＩ＝０°、４５°、９０°、１３５°と４種類に変化させて偏光画像を取得した場合に得られる情報を説明している。図９（ａ）は、照明の偏光面の角度を示している。被写体で反射された偏光照明の光は、偏光透過軸の角度ΨＯ＝０°、４５°、９０°、１３５°というパターン偏光子のモザイクからなる偏光画素に入射する。各角度の偏光画素にて得られる輝度の空間的変化が９（ｃ）のグラフにおいて曲線９０１で示されている。曲線９０１の偏光位相は、図５で示す受光素子上の偏光子モザイクの４画素の位置の偏光透過軸の角度ΨＯに対して得られる空間的変動に相当する。輝度Ｙの変動は、照明の偏光面の変化に伴うΨＩの軸で得られる時間的な変動（図９（ｂ））になっていることに注意する。

今、この輝度Ｙの変化の関数を周期１８０°の余弦関数として近似することを考える。照明の偏光面の角度をΨＩとして以下のように表現する。

この関数には、振幅、位相、平均値の３種の情報が含まれている。振幅と平均値を用いる最大値Ｙｍａｘ、最小値Ｙｍｉｎ、および最大値および最小値を与える角度ΨＩｍａｘ、ΨＩｍｉｎの情報を取得する。４つの等間隔の角度サンプルから余弦関数をフィッティングして上記の値を推定する手法は、（式１）から（式１２）で説明した方法がそのまま使える。

偏光でない通常の入力輝度としての原画像となる理論輝度を以下の式で求める。

次に、被写体表面の１画素内の凹凸のモデルを説明する。

本実施形態で採用する微細凹凸モデルは、物理ベースコンピュータグラフィックス分野で広く使われている「マイクロファセットモデル」である。

図１０は、凹凸のある表面を観察した場合の１画素内の微細法線分布を示す斜視図である。カメラの１画素を示す領域１００１は、平均輝度を有するが、その内部の輝度分布は不明である。すなわち、１つの画素内の構造までは、撮影することができない。

微細凹凸モデルでは、表面が鏡面反射のみを示す仮想的な微細面（マイクロファセット）で構成されていると仮定し、その各マイクロファセットが微細法線を有していると考える。各マイクロファセットは鏡面反射のみを呈するため、照明方向Ｌ、および視点方向Ｖを決定すると、その角度関係において、光るマイクロファセット１００２の群と光らないマイクロファセット１００３の群とがある。１画素内に存在するすべての光るマイクロファセット１００２の輝度を合計したものが１画素の平均輝度に相当する。光らないマイクロファセットからの輝度はゼロ（真黒）となる。

図１１に示すように、光るマイクロファセット１００２の微細法線は照明ベクトルＬと視線ベクトルＶのちょうど２等分ベクトルＨに相当している。すなわち、１画素以内の凹凸構造を推定することは、このマイクロファセットの微細法線を推定することになる。

次に、マイクロファセットに偏光照明が入射した場合の作用を考える。ただし、入射する偏光照明と撮影するカメラの視線との間の角度は、図１の角度１０７で示されるように、ゼロ度に近いという特殊な幾何学的な関係を想定している。

図１２は、マイクロファセット１２０１に対して入射角がゼロに近い偏光が入射して直接反射をカメラで観測する様子を示している。図１２（ａ）、（ｂ）では、入射する偏光の偏光面が９０°異なっている。しかし、反射光の偏光情報は、光の進行方向が変わるだけで入射光とほぼ同一である。これは以下の理由による。

図１３は、フレネル反射率の入射角依存性を示すグラフである。横軸が入射角、縦軸がフレネル反射率をである。この依存性は、屈折率ｎ=１．８と想定して描いたものである。ほぼ垂直入射とみなせる０°〜１０°付近の入射角度は、範囲１３０１に相当する。グラフから読み取れるように、この範囲１３０１では、Ｐ偏光もＳ偏光も反射率がほぼ同一である。したがって、偏光がほぼ垂直に表面に入射した場合には、表面に対するＰ波とＳ波という偏光の区別がほとんど無くなる。なお、この事実は、屈折率ｎ=１．４〜２．０の自然物体において、広く成立する。

入射角度が１０°以下の場合、偏光照明を回転させても反射率がほとんど変らず反射光のエネルギーが変わらないため、観測される輝度は不変となる。つまり、入射偏光面の回転に伴う輝度変動は発生しない。このような場合、輝度Ｙの角度ΨＩ依存性は、図８Ａにで示したような実験結果にはならないことになる。

図１４（ａ）および（ｂ）は、同じく被写体に偏光照明が入射角ゼロ付近で入射され反射光をカメラで観察している状態を示す。この例では、２つのマイクロファセットが対になり、多重反射を起こしていると考える。具体的には、２つのマイクロファセットがグルーブ（Ｇｒｏｏｖｅ）：溝１４０１を形成し、その斜面で２回の反射が発生していると仮定する。

この種の多重反射は、表面の凹凸が多い被写体表面、例えば布、木材、人の肌、皮など様々な自然物で発生していると考えられる。１回目と２回目の反射の性質が重要となり、３回目以降の多重反射は輝度が小さくほぼ無視できる。一般に反射の性質を鏡面反射と拡散反射に分離した場合、
１）１回目：拡散反射 ２回目： 鏡面反射
２）１回目：拡散反射 ２回目： 拡散反射
３）１回目：鏡面反射 ２回目： 拡散反射
４）１回目：鏡面反射 ２回目： 鏡面反射
の４通りの現象が想定できる。

このうち、１）と２）は最初の反射によって拡散光として非偏光となり、あらゆる方向に光を反射する。しかし実験によると被写体が着色して輝度が暗い場合はこの1回目の拡散反射成分は比較的弱い。これは被写体の内部への光の浸透が少ないことを意味し、フレネル理論によればそれと相補的な３）４）の鏡面反射の現象が優位となる。また、３）のように２回目を拡散反射と考えた場合には、その入射と反射の幾何学的関係から、当然、４）も同時に発生していることがわかる。この場合には、偏光度、輝度のいずれの基準でも、鏡面反射の現象が主たる輝度成分となる。

以上から、４）の１回目も２回目も鏡面反射という現象を主要な現象として考えればよい。

図１５は、１回目、２回目とも鏡面反射を想定した場合の対となるマイクロファセットの位置関係を示している。グルーブ（Ｇｒｏｏｖｅ）を形成する斜面１５０１、１５０２の被写体のマクロな表面１５０３から測定した角度をαとβとする。また、１回目反射の入射角をθ１とし、２回目反射の入射角θ２とする。更に、入射光、反射光とグルーブ斜面とのなす角度をγとδとすると、以下の関係が成立する。

ただし、角度ＬＶは図１で定義した入射角と反射角であり、０°〜１０°程度と想定される。グルーブの斜面がおおよそ対称であると考えると、α=βが成立する。したがって、

と推定できる。

再び図１３を参照する。図１３のフレネル反射率のグラフには、上記の角度範囲に相当する範囲１３０２が記載されている。グラフから読み取れるように、この入射角の範囲１３０２では、Ｐ偏光の反射率が極めて弱くなる。

図１４（ａ）で示すように、グルーブの主軸方向１４０２に対して垂直に入射する偏光照明はＰ偏光である。上述の理由から、このＰ偏光は１回および２回反射を経由する間に極めて弱くなる。一方図１４（ｂ）で示すＳ偏光は、２回の反射を経てもそれほど弱まらない。その結果、グルーブに対してＰ偏光となる入射偏光面においては、反射光はエネルギー的にも極めて弱くなり、輝度が低下する。一方、Ｓ偏光となる入射偏光面においては、反射光はそれほどエネルギーが減衰せず輝度も高い。

以上のようにマイクロファセットが対となるグルーブを形成すると仮定すれば、実験にて得られた入射光の偏光面の回転による反射光の輝度変化が説明できる。このため、本発明の好ましい実施形態では、これを活用した以下の表面モデルを用いる。

図１６は、以上の考察から得られた被写体表面の「３領域モデル」を説明する図である。３領域モデルとは、１画素の表面凹凸の法線構造を多重反射と偏光現象の観点から簡略化したモデルである。３領域モデルでは、１画素において以下の３種類の２次元領域が各々一定の面積比率で混合されているとする。なお、このモデルでは、後述するようにグルーブはＴ領域とＤ領域に分離される。

１）直接反射領域：Ｓ（Ｓｐｅｃｕｌａｒ）領域：
入射光が直接反射し、入射光の偏光面回転に対して反射輝度が変動しないマイクロファセットで形成される領域。この領域のマイクロファセット法線は、入射光とカメラ視点ベクトルとの２等分線に相当する。

２）２回反射領域：Ｔ（Ｔwｉｃｅ Ｒｅｆｌｅｃｔｉｏｎ）：
入射光がグルーブにて２回反射を起こして２回目に反射する領域。入射の偏光面回転に対し反射輝度が変化するマイクロファセットで形成される。

３）暗領域：Ｄ（Ｄａｒｋ）領域：
入射光がカメラと無関係の方向に反射し輝度に寄与しないマイクロファセットで形成される領域。この領域はさらに２つに分類できる。第１はグルーブを形成する１回目反射の領域であり、グルーブの他の斜面を照明するが、カメラ撮影視点からは光っていない領域である。第２は全く異なる未知方向へ光を反射する領域である。ただしこの未知方向の場合は扱いが不便であるため、本発明の好ましい実施形態においては、Ｔ領域を作る１回目反射と同じ向きのマイクロファセット法線を有すると仮定する。この領域の反射輝度もまた入射光の偏光面回転に対して変動しない。

この３領域が１画素内を構成する凹凸に対応すると考える。各領域での法線、すなわちマイクロファセット法線および１画素内における各マイクロファセットの面積比率を求めることによって、法線ヒストグラムを推定することができる。なお、マイクロファセットの法線の向きは、２つの自由度を有している。具体的には、方位角度および天頂角によって法線の方向は特定される。

以下、法線の向き、輝度、面積比率の求め方を説明する。

図１７（ａ）は、３領域モデルの凹凸が被写体表面の１画素内において、ある方位角に整列して存在する状態を模式的に示す斜視図である。グルーブの主軸１７０１が主方位角ΨＩｍａｘに相当している。図１７(ｂ）は、偏光照明の偏光面の角度と主軸１７０１の主方位角ΨＩｍａｘとの関係を示す図である。

図１４における考察から、この主軸１７０１は偏光照明を回転させた際の最大輝度の向きに一致することがわかる。そこで、これ以降、主方位角はΨＩｍａｘに等しいとして取り扱う。

Ｓ、Ｔ、Ｄ各領域におけるマイクロファセット法線の向きは、この主方位角ΨＩｍａｘから９０°ずれた角度ΨＩｍｉｎを共通して有し、個別に天頂角を有する２自由度の角度にて表現される。

まず、Ｓ領域における法線の天頂角は、入射光と反射光の２等分角に等しくなる。法線は、これ以降はカメラ座標系でカメラ投影面上での点として表現する。これは後の勾配空間（ｐ、ｑ）とほぼ同じ意味になる。

図１８（ａ）および（ｂ）は、入射光Ｌと反射光Ｖとカメラ座標系ＸＹＺの関係を表している。カメラ座標系で照明ベクトルが

となる。

そこで、このベクトルとカメラの視点ベクトルとの２等分線としてＳ領域での法線は

となり、ほぼカメラ視点に向かってくる法線となる。なお、ここでΨＩは照明の偏光面角度である。

次に、Ｔ領域を考察する。Ｓ領域での法線のように、幾何学的に概略値を求めることも可能である。しかし、ここでは、偏光カメラで取得される偏光位相画像Ｐから求めるものとする。Ｐ画像を観察すると、入射偏光角ΨＩＮと観測される位相角Ψｏｕｔとの間に、ある回転角のずれがあることがわかる。たとえば、ΨＩ＝４５°の場合に、この回転角のズレ量ΔΨを観測したとすると、フレネル反射の理論からθが求められる。

図１９は、グルーブの主軸に平行なＳ軸と垂直なＰ軸の座標系に対して、偏光のエネルギーＥｐおよびＥｓと偏光面がどのように変化するかを示す図である。入射角をθ、屈折率をｎとするとＰ波とＳ波に対するエネルギーのフレネル反射率はＦｐ（θ、ｎ）、Ｆｓ（θ、ｎ）を用いて以下のようになる。簡単のためθ１=θ２としている。

ここで、偏光照明の偏光面角度ΨＩとグルーブのなす角度ΨＩＮは、偏光面回転から観測される値ΨＩｍａｘがグルーブの主軸角度に等しいことから、以下のように決定できる。

屈折率ｎは被写体に係わる量のため本質的には未知である。ここでは、近似値としてｎ=１．５〜１．８を用いればよい。なお、この値はプラスチック、樹脂、ガラスなど自然界に存在する典型的な誘電体の屈折率である。

こうして式２１を満たすθ１を決定すればよい。

したがって、Ｔ領域における法線の天頂角はカメラ座標系では、

となる。

Ｄ領域の法線は３領域モデルにおける仮定より

とすればよい。

次に、各領域の輝度につき考察する。絶対的な輝度は実際の実験条件における偏光照明照度やカメラ設定により変動するため、基準値は観測された輝度画像Ｙの観測から求める必要がある。この基準値として、画像内の鏡面反射領域の最大輝度ＭＡＸ＿Ｙを用いる。この最大輝度は、３領域モデルのＳ領域が１画素の全体（１００％）を占める場合に得られる。大輝度ＭＡＸ＿ＹをＳ領域の輝度Ｉｓとする。

Ｓ領域の輝度は、照明光を１回反射した際の反射輝度である。これは、図１３のフレネル反射率のカーブにおいて、入射角度が範囲１３０１の領域内にあるときの反射による輝度に相当する。そこで、この式から、屈折率ｎ＝１．５〜１．８を仮定して、入射角θ１で１回反射し、さらに入射角θ１で２回目の反射をするＴ領域のＰ波とＳ波の反射輝度が、以下のように推定できる。

Ｄ領域の輝度は、画像内の鏡面反射領域の最小輝度ＭＩＮ＿Ｙを用いる。この最小輝度は３反射モデルの１画素の全体（１００％）を占める場合に得られる。

図２０は、３領域モデルの各領域におけるマイクロファセット法線、反射輝度、および面積比率を示す図である。まず、３領域の反射輝度を以下のようにＩｓ、ＩＰ_T、ＩＳ_T、Ｉｄと仮定する。Ｔ領域では、Ｐ波とＳ波の入射によって反射輝度が異なることに注意する。
１）Ｓ領域・・・Ｉｓ
２）Ｔ領域・・・Ｐ波入射の際 ＩＰ_T、Ｓ波入射の際ＩＳ_T
３）Ｄ領域・・・Ｉｄ

これら輝度値は、上述のように、観測値から推定できる。このため、１画素の単位面積に対する面積比のみを未知数とする。これらの未知数を、以下のように、Ａｓ、Ａ_T、（１−Ａｓ−Ａ_T）とする。
１）Ｓ領域・・・Ａｓ
２）Ｔ領域・・・Ａ_T
３）Ｄ領域・・・（１−Ａｓ−Ａ_T）

入射偏光がＰ波のときに観測される１画素の輝度、およびＳ波のときに観測される１画素の輝度が、それぞれ、輝度最小値Ｙｍｉｎ、最大値Ｙｍａｘに対応していることが明らかである。このため、輝度の最大値Ｙｍｉｎと最小値Ｙｍａｘについて、以下の重み付け平均の式が成立する。

すなわち未知数Ａｓ、Ａ_T、Ａ_Dは以下の式で推定できる。

以上で、１画素内を３領域モデルでモデル化したときの各領域の法線、輝度、面積比率のすべてが推定できたことになる。ただし、法線の表現形式がカメラ座標系での方位角と天頂角による角度表現では以降の解析に不便である。このため、法線を勾配空間（ｐ、ｑ）に変換する。

勾配空間（ｐ、ｑ）は、実質的に図１８で示したカメラ投影面平面と考えてよい。

図２１は、２次元勾配空間において求められたマイクロファセット法線の位置を示す図である。Ｓ領域の法線は、ほぼ原点上に位置する。被写体表面のグルーブの主軸方向に直交する線２１０２上にＴ領域とＤ領域の法線が位置する。図２２は、３領域モデルから得られるマイクロファセット法線のヒストグラムである。主方位角の線上に３個の分布が各々の面積比の高さを有して整列した形になる。

以上で１画素内法線ヒストグラムが推定できたので、以降は法線の最適配置を決定する。ここでは、１画素内を２×２の４画素に分割して法線を求める場合を例に説明する。高解像度への自在ズームは、再度２×２を繰り返すことで実現できる。

まずヒストグラムから得られる各領域に属する画素は、

となる。ただし［］はガウス記号である。

図２３から図２６は、初期法線配列として１画素を４分割したサブ画素に上記の３種の領域に対応する法線配置を割り当てる方法を示す。この割り当て方法は、グルーブの主方位角ΨＩｍａｘの角度に依存するため、４５°範囲ごとに区切って図２３から図２６で説明している。

図２３（ａ）が３領域のヒストグラムの一例を示してものとする。この例では、Ｔ領域が２画素、Ｄ領域が１画素、Ｓ領域が１画素となる。主方位角の範囲は、Ｘ軸に近い水平方向である。Ｔ領域とＤ領域の法線をなるべく対にしつつ、主方位角に直交させる。このとき、図２３（ｂ）のように、主方位角の線２３０１に対して、谷を形成する凹（Ｃｏｎｖｃａｖｅ）タイプと図２３（ｃ）のように、山を形成する凸（Ｃｏｎｖｅｘ）タイプとの２種類の配列が考えられ、各々で２通りの配列の組み合わせがある。この図では、Ｓ領域の法線は紙面に垂直に近く手前に向いていることを示す。

図２４、図２５、図２６では、おなじ法線ヒストグラムで主方位角だけが異なる場合を描いている。いずれも主方位角の線に対して、これを谷とする凹の場合と稜とする凸の場合とで配列の候補が合計４通りある。なお、配列の組み合わせ数はヒストグラムにより変動することに注意する。

図２７（ａ）および（ｂ）は、すべてがＳ領域になったヒストグラムの場合であり、配列の可能性は図２７（ｂ）のように１通りである。

以上のように図２２に示される１つの法線の分布関数（３領域モデルから得られるマイクロファセット法線のヒストグラム）と、図１７（ａ）、（ｂ）に表される主方位角ΨＩｍａｘの情報とから、複数の空間配列の可能性が生まれる。このため、この４種類の候補から最適配列を決定すればよい。このような決定方法は、非特許文献１に記載されている方法と同様である。ただし、３領域モデルと主方位角の情報があるため、候補数が本来の４！＝２４通りから大幅に減少しており、最適化は容易になる。

法線の最適化は、基本的には非特許文献１に記載されている、エネルギー評価関数を最大化する繰りかえし法にて実施すればよい。以下に簡単に処理の流れを説明する。

図２８（ａ）および（ｂ）は、法線ヒストグラムから得られる法線配列が、８次元の配列空間（Ａｒｒａｎｇｅｍｅｎｔ Ｓｐａｃｅ）内の１点として表現される様子を示している。この８次元での密度分布関数は混合ガウス分布モデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）にて表現されている。この確率密度分布関数をテクストンＧＭＭモデルと称する。同一の法線ヒストグラム分布から生成される等価クラス（Ｅｑｕｉｖａｌｅｎｃｅｒ Ｃｌａｓｓ）内には、それを代表する４画素の法線配列が存在し、この８次元の結合ベクトルを３Ｄテクストン（３Ｄｔｅｘｔｏｎ）、あるいは単にテクストンと称する。この解テクストン（Ｓｏｌｕｔｉｏｎ ｔｅｘｔｏｎ）を求めることが目的である。解テクストンの最適選択は、法線から表面を計算する際の積分可能性の拘束条件から実現される。各画素Ｓ=（ｘ、ｙ）におけるテクストンをＬ（Ｓ）とすると積分可能性は、線積分がゼロになる条件から計算される。

図２９（ａ）は法線の積分可能性を用いた最適化を説明する図である。非特許文献１にあるように２×２画素のセルにおいて線積分を考え、この線積分をゼロにすることが条件である。

ただし、各画素での法線は勾配空間での表現を使って

である。そこで各画素における積分可能性のエネルギー関数は、

とおき、このエネルギー関数を最大化することによって上記線積分を最小とできる。

隣接する画素対をｓ、ｔとする場合、そのオーバーラップ画素領域での積分可能性も考慮する必要がある。図２９（ｂ）はこのシフト画素（Ｓｈｉｆｔｅｄ ｐｉｘｅｌ）２９０１での条件を表現している。積分値の条件は、

このオーバーラップ画素領域でのテクストンも解テクストンから得られるはずである。しかし、本来の画素からは出現しない配列パターンであるため、図２８においては、画素からははずれた位置２８０２にある。しかし出現確率はテクストンＧＭＭモデルのガウス関数成分の最大値で表現できるので、この確率にて重みづけする。すなわち、この画素対における条件は、以下を最大化することとなる。

解テクストンは２つのエネルギー関数の積を画像全体において最大化するものとして得られる。

ここでｓは画像の全画素を示し、Ｎｅｉｇｈｂｏｒ（ｓ、ｔ）はすべての４近傍の画素の対を示す。また｛｝内が求める解テクストンである。

この最適化処理は複雑なため、効率的に実行するためには、１）積分可能性を拘束条件とする初期解を確率伝搬法（Ｂｅｌｉｅｆ Ｐｒｏｐａｇａｔｉｏｎ）にて求め、２）その初期解からマルコフ連鎖モンテカルロ（ＭＣＭＣ：Ｍａｒｋｏｖ Ｃｈａｉｎ Ｍｏｎｔｅ Ｃａｒｌｏ）法を用いた最適化にて収束させる、という２段階のステップを踏む。詳細については、非特許文献１に従う。以上の最適化処理の結果、最適な法線空間配置が決定できる。

図３０（ａ）から（ｃ）は、以上の処理をまとめて１画素の高解像度化の効果を示す図である。以上の処理により、原画像の１画素を２×２に高解像度化した４画素における法線は図３０（ｂ）のように最適配置されたものとする。すると図１９で示したように３領域モデルにおいてはＳ、Ｄ、Ｉの各領域法線向きが輝度に一意的に対応するため結果として１画素内を２×２画素に輝度として高解像度化できる。ただし画素輝度はあくまで非偏光照明下での撮影を基準にすべきである。したがって、図３０（ａ）に示すように原画像の輝度は図９における平均輝度Ｙｍａｘとなり、高解像度化された輝度は、
１）Ｓ領域・・・Ｉｓ
２）Ｔ領域・・・（ＩＰ_T＋ＩＳ_T）／２
３）Ｄ領域・・・Ｉｄ
となる（図３０（ｃ）参照）。

図３１は、本発明における被写体撮影から画像処理を経て１画素以内の法線分布ヒストグラム、法線配列を推定し、さらに１画素内輝度の配列までを推定するすべての手順を示すフローチャートである。図３１において、点線で囲まれた部分が高解像度化処理部の処理に相当している。高解像度化処理部は、図３１において、点線で囲まれた部分の処理ステップを、例えば公知のハードウェアに実行させるプログラムを内蔵している。

ステップＳ３１０１で実験環境として偏光照明とカメラ視点とのなす角度∠ＬＶを測定する。これはカメラに付属したフラッシュ装置の場合には既知である。また被写体のフレネル反射率の基礎となる屈折率ｎの値をたとえばｎ＝１．８などと仮定する。

ステップＳ３１０２で偏光面の角度ΨＩを回転させながら偏光照明を被写体に照射して被写体の偏光撮影を実施する。そして各ΨＩの角度におけるＹ画像とＰ画像を取得する。

ステップＳ３１０３で輝度変動するＹ画像の各画素で（式１４）にて関数フィッティングを行う。この方法は（式１）から（式１２）で用いた方法をそのまま用いればよい。ここから輝度が最大、最小となる位相角ΨＩｍａｘ、ΨＩｍｉｎ、そのときの輝度ＹＩｍａｘ、Ｙｍｉｎを求める。

ステップＳ３１０４にて３領域モデルにおけるＳ、Ｔ、Ｄの各領域の法線の方位（Ａｚｉｍｕｔｈ）角および天頂（ＡＺｅｎｉｔｈ）角を求める。この角度２自由度が法線を表現する。方法は、（式１７）から（式２１）を用いる。ここで用いる図１３のフレネル反射の理論カーブは屈折率を仮定したｎ＝１．８として描いたものである。

ステップＳ３１０５では、３領域モデルにおけるＳ、Ｔ、Ｄ各領域の輝度を求める。（式２２）から（式２４）に従う。

ステップＳ３１０６では、３領域モデルにおけるＳ、Ｔ、Ｄ各領域の面積比を（式２６）を用いて求める。

ステップＳ３１０７では、法線の表現方式を角度からカメラ座標系での勾配空間（ｐ、ｑ）に変換した後、図２１、図２２で示す１画素内の法線ヒストグラムを求める。

ステップＳ３１０８では、図２３から図２８で示すように法線のヒストグラム分布から１画素内の法線の最適配列を求める。

ステップＳ３１０９では図３０で示すように１画素内にて最適配置された法線から輝度を求める。

（実施形態２）
第１の実施形態では、偏光照明と偏光カメラを用いて高解像度化を実施していた。しかし、偏光カメラはパターン偏光子を作りこむ特殊な形態であるために高価である。さらに、偏光板による光量低下で感度が低くなり、画質低下の可能性がある。本実施形態では、実施形態１と同じく偏光面が回転する偏光照明を用いながら、画像撮影には通常の輝度を観測するカメラを利用して自在ズーミングを可能とする。

図３２は、第２の実施形態を示す図である。本実施形態の構成が、図１に示す構成と異なる点は、カメラ３２０１が偏光カメラではなく、通常の輝度を観測するカメラであることだけである。

図３３は、このカメラ３２０１を説明する図である。このカメラ３２０１は、輝度撮像素子３３０１、偏光面制御部２０４、撮像制御部２０５を備えている。偏光面制御部２０４から偏光照明を変化させる度に画像を撮像する。こうすることにより、輝度画像Ｙ（２０６）が各偏光状態に対応して複数得られる。さらに高解像度化処理部３３０３から高解像度化法線画像２０８、および高解像度輝度画像２０９が生成される。

図３４は、輝度撮像素子３３０１を示す図である。この輝度撮像素子３３０１には、図５のようなパターン偏光子が存在しない。このため、元の撮像素子の解像度が１１２０×８６８の場合には、同じ解像度である１１２０×８６８画素のＹ画像を得ることができる。また図３４（a）の輝度撮像素子ではモノクロ撮像素子を書いているが、図３４（b）のように既知のベイヤーモザイクを搭載したカラー撮像素子を利用してもよい。ただし、カメラ３２０１から出力される画像は、輝度画像Ｙのみであり、偏光情報であるＰ画像を取得できない。このため、（式２１）で示した３領域モデルのグルーブの斜面における入射角θ１が求められない。そこで

と仮定する。そして、（式１５）を用いて、

という幾何学的関係のみから、Ｔ領域の法線の角度αを確定し、法線の天頂角θ１を確定するものとする。こうして式３９が得られる。

Ｄ領域の法線は３領域モデルにおける仮定より、以下の式４０で示される。

図３５は、本発明の実施形態２に係わる処理の流れを示すフローチャートである。

図３１のフローチャートと異なる部分は、ステップＳ３５０１において照明の偏光面ΨＩを変化させた撮影を実施して各ΨＩにつきＹ画像を取得する部分、およびステップＳ３５０２におけるＳ、Ｔ、Ｄ領域での方位角と天頂角を求める部分のみである。なお点線で囲まれた部分が高解像度化処理部の処理に相当している。

なお、本実施形態２において、画像をカラー輝度画像とする構成は、ここに含まれるものとする。その手法は、輝度カメラとしてカラーカメラを用いる方法、および偏光照明をカラー化する方法のいずれでも構わないがいずれも公知技術であるから詳細な説明は省略する。

また、本実施形態２において医療用用途に画像をマルチバンドカラー輝度画像とする構成もここに含まれるものとする。その手法は輝度カメラとしてマルチバンドカラーカメラを用いる方法であり、公知技術であるから詳細な説明は省略する。

また、本実施形態２において監視カメラ用途に画像を赤外画像、偏光光源を赤外光源とするなどの構成もここに含まれるが、公知の技術であるため説明は省略する。

（実施形態３）
以下、動画と静止画を切り替えながら撮影可能な画像処理装置の実施形態を説明する。本実施形態は、基本的な構成として、実施形態１および２のいずれの構成を採用することも可能である。ここでは、実施形態２の構成を有する場合を例に説明する。

一般に動画の撮像、再現では、人間の解像度に関する感覚がやや低下し、高解像度化の効果がみえづらい。しかし、静止画の撮像、再現においては、高解像度が効果的になる。例えば、医療用内視鏡カメラなどの分野では、通常、医師が動画として撮像、観察を行うが、病巣部分では静止画撮影が実施される。

そこで、動画撮影時には非偏光光源にて通常の動画撮像を行ない、従来型の動画高解像化処理を実施することとする。一方、コマンド指示により、静止画を撮影するときには、自在ズーミングが可能な偏光光源を照射して画像を撮像する。

従来型の動画高解像度化処理は、後述する。まず、静止画を撮影する場合を説明する。

図３6は、本実施形態のムービーカメラ３５００の構成を示す図である。本実施形態では、動画・静止画コマンド入力部３６０１がカメラに搭載されている。動画撮影時には、非偏光照明の照射が偏光面制御部２０４、撮像制御部２０５を経由して行われる。同時に撮像素子３３０１からの画像信号は動画静止画選択部３６０２を経由して輝度動画列メモリバッファ３６０３内に時間的に連続して取得される。輝度動画列メモリバッファ３６０３内から読み出された画像信号は、「動き」ベースの既存の動画高解像度化処理部３６０４で処理され、高解像度動画３６０５として蓄積される。

一方、静止画撮影時には、偏光照明の照射が偏光面制御部２０４、撮像制御部２０５を経由して行われる。同時に撮像素子３３０１からの画像信号が３６０２を経由して輝度画像としてメモリに蓄積され、実施形態２で説明した高解像度化処理が高解像度化処理部３３０３で実施される。

図３７は制御方法を示すフローチャートである。

最初にステップＳ３７００にて静止画撮影コマンドの入力の有無を判断する。ステップＳ３７００で静止画撮影コマンドが入力が無（ＮＯ）場合、動画撮影を行う。具体的にはステップＳ３７０１にて非偏光照明がＯＮとなり、ステップＳ３７０２で動画が録画されて、ステップＳ３７０３にて既存の動画高解像度化処理が行われる。この動画高解像度化処理には例えば、特許文献３に開示されているような従来技術が使われる。

この動画像高解像度化技術は、動画複数フレーム間の動きを用いる一般的な技術であり、以下の処理が実行される。

補間を行って最初の高解像度推定画像を生成する。位置合わせを行って位置合わせ画像を生成する。高解像度推定画像を不鮮明化し、不鮮明化画像と位置合わせ画像とを減算して残差画像を生成する。欠損していない周辺画素の残差値を用いて欠損残差を補間する。点拡がり逆関数を用いて残差画像から逆投影画像を生成し、平滑化画像と逆投影画像とを組み合わせて強調係数を生成する。強調係数を高解像度推定画像に更新して新たな高解像度推定画像を生成することにより、欠損画素の残差値を欠損していない周辺画素の残差値から補間する。

ステップＳ３７００で静止画撮影コマンドが入力が有（ＹＥＳ）の場合、静止画撮影を行う。具体的には、ステップＳ３７０４にて偏光照明がＯＮになる。そしてステップＳ３５０１で偏光照明の偏光面を替えながら静止画撮像が行われる。そして本実施形態２で説明した高解像度化処理がステップＳ３５００で行われる。

以上の処理により、動画、静止画ともに高解像度化処理が行われ、かつ静止画部分では高解像度法線画像も得られる。

（実施形態４）
本実施形態では、実施形態１および２における偏光光源１０２を、より高速に偏光面を回転することが可能な光源３８００に替えている。こうすることにより、本実施形態では、動画撮影においても、静止画における技術をそのまま用いて高解像度化を実現する。偏光光源１０２以外の構成は、図１および図２、図３２および図３３に示す構成と同一である。

図３８は、高速に偏光面を４５°ずつ回転させるための偏光光源の構成を示している。この偏光光源は、パターン化偏光子フィルタ３８０１とＬＥＤ面光源３８０２とを備えている。

パターン化偏光子フィルタ３８０１としては、フィルム型の偏光板のほか、フォトニック結晶や構造複屈折波長板、ワイヤーグリッド等が利用できる。ＬＥＤ面光源３８０２は、４５°ずつ異なる偏光面を有するパターン偏光子３７０１の各々に対して独立に点灯するように分割されている。そして０°、４５°、９０°、１３５°のパターン化偏光子にそれぞれ相当するＬＥＤ面光源の３８０２における４つの分割発光領域Ａ、Ｂ、Ｃ、Ｄが順次点灯する。例えば、分割発光領域Ａが点灯しているとき、他の分割発光領域Ｂ、Ｃ、Ｄは点灯していない。このとき、分割発光領域Ａからでた光は、偏光していないが、パターン化偏光子フィルタ３８０１における角度０°のパターン化偏光子に入射する。そのパターン化偏光子の偏光透過軸の方向に偏光した光のみがパターン化偏光子フィルタ３８０１を透過することができる。こうして、分割発光領域Ａ、Ｂ、Ｃ、Ｄを順次点灯させることにより、図３８の参照符号３０３から３０６に示すように、出射光の偏光面が回転する。分割発光領域Ａ、Ｂ、Ｃ、Ｄの各々は、少なくとも１つのＬＥＤ素子を含んでいる。

なお、簡単のため、図３８に示す構成では、パターン偏光子フィルタ３８０１は４分割構成を有しているが、例えば、偏光面の方位が異なる４つのパターン化偏光子と、各パターン化偏光子に割り当てられた発光領域とが、より細かく分割された構成を採用しても良い。

また、すべての分割発光領域を点灯させれば、非偏光光源３０７として機能させることもできる。この構成により、偏光面の回転に要する時間をＬＥＤの点灯応答速度である１０（μＳ）程度まで短縮することができ、フレーム切り替え時間内に偏光面の変化を完了させられる。これにより動画撮影時に偏光面を変える時間が問題にならないほど短くなる。

図３９は、この偏光光源を用いて動画を撮影する場合のタイムチャートを示している。時間ｔ１（３９０１）は、偏光面切り替え時間を示し、時間ｔ２（３９０２）は１フレームの撮像露光時間を示す。この場合、１枚の偏光画像撮影には、ｔ１＋ｔ２＝Ｔ（ｓｅｃ）を要する。したがって、高解像度のためには、４Ｔ（ｓｅｃ）を１セットとする４枚の異なる偏光面照明での画像が必要となる。動画を高解像度するためには、この４Ｔ（ｓｅｃ）の時間内は被写体が動かないことが必要である。したがって、通常の被写体を撮影する動画においては

を満たさねばならない。このため

となる高速度撮影が必要になる。このような高速度撮影も、撮像素子をより高速化し、かつ本実施形態における照明の照度を向上して露光時間を短縮すれば可能となる。結果的に動画においても、自在に高解像度化を実現できる。

（実施形態５）
本実施形態は、実施形態２と同じく偏光面が回転する偏光照明を用いながら、画像撮影には通常のカラー輝度カメラを利用して自在ズーミングを可能とする。

図４０は、実施形態５を示す図である。実施形態２の図３３と異なる点は、カメラ３２０１が通常のカラーカメラであることのみである。カラーカメラは、カラー撮像素子４００１により、Ｒ、Ｇ、Ｂの波長帯別にＲ画像４００２、Ｇ画像４００３、Ｂ画像４００４を取得する。

偏光面制御部２０４から偏光照明を変化させる度にカラー画像を撮像することにより、カラー輝度画像である４００２、４００３、４００４が各偏光状態に対応して複数得られる。そしてカラー高解像度化処理部４００５の処理により高解像度法線画像２０８、および高解像度カラー画像４００６が生成される。本実施形態の主たる効果は、実施形態２の画像の単なるカラー化ではなく、カラー情報を使うことによって各種の不要な多重反射成分を正確に分離して物理的に必要な多重反射成分を利用できる点にある。

図１４を参照しながら行った説明において、マイクロファセットがグルーブ：溝１４０１を形成し、その斜面で２回の反射が発生していると仮定した。この場合の１回目と２回目の反射の性質を鏡面反射と拡散反射に分離した場合、
１）１回目：拡散反射 ２回目： 鏡面反射
２）１回目：拡散反射 ２回目： 拡散反射
３）１回目：鏡面反射 ２回目： 拡散反射
４）１回目：鏡面反射 ２回目： 鏡面反射
の４通りの現象が想定でき、実施形態２においては、被写体の着色が暗い場合には、４）の１回目も２回目も鏡面反射という現象を主要な現象として考えて解析した。しかし一般には１）から３）の多重反射の成分を観測輝度から成分として分離する前処理が必要になる。実施形態２においてはモノクロ処理を想定していたため、この分離を正確に実施することは困難であった。

本実施形態においては、ＲＧＢのカラー成分を用いてこの問題を解決する。以下、各多重反射の物理的な性質を説明する。

なお、以下の説明においては、反射現象によって、光の色と偏光の属性が変わる点がポイントである。（ｉ）拡散光は媒質の内部に一旦浸透した光が射出するため、照明光が白色の場合に物体の媒質の色で着色されること、および（ｉｉ）出射時の偏光は出射角に依存し、本実施形態においては４５−５０°となるために、きわめて低くほとんど非偏光である点に注意する。

図４１は、上記１）に相当する２回反射を描いたものである。１回目の反射で非偏光の拡散光となった光は物体の媒質固有の色を有するため、２回目の鏡面反射では着色した反射成分となるとともに鏡面反射として部分偏光を呈する。図では、これを楕円４１０１、４１０２で表現している。なお楕円は正確に部分偏光の形状を表現するわけではなく模式的に表現している。ここで入射光の偏光方向を変えると媒質内に屈折・浸透する光量が変化するため２回目反射への入射光量が変動し、結果的に２回目の反射成分の光量は変動するため、４１０１、４１０２のような楕円の大きさが変動し、輝度が変動する。

図４２は、上記２）に相当する２回反射の様子を描いたものである。１回目の反射で着色した拡散光は２回目に再度着色した拡散光として射出する。また入射光の偏光方向を変えると媒質内に屈折・浸透する光量が変化するため２回目反射への入射光量が変動し、結果的に２回目の反射成分の光量も変動するが、反射光は非偏光である。

図４３は、上記３）に相当する２回反射を描いたものである。１回目の反射で鏡面反射した光は色は白色光のまま鏡面反射の偏光となる。そして２回目には着色した非偏光の拡散光として反射するが、入射光の偏光方向を変えると１回目に反射する光量が変化するため結果的に２回目の反射成分の光量は変動する。

以上、最終的に観測される２回反射後の光の性質をまとめると表１のようになる。

本実施形態で主に利用する４）の１、２回とも鏡面反射の反射光のみが白色光を維持するのに対して、１）から３）の反射光は、すべて物体色に着色しているカラー光である。両輝度成分ともに照明の偏光方向を変えると個別に変動するためこれを分離するためには、モノクロ輝度のみでは不可能である。

そこで、カラーカメラを用いて偏光照明の偏光面を順次変えながら撮影し、カラー輝度Ｒ、Ｇ、Ｂの変化の関数を周期１８０°の余弦関数として近似する。照明の偏光面の角度をΨＩとして以下のようになる。ここで輝度Ｉと振幅Ａはいずれも（Ｒ、Ｇ、Ｂ）の３成分を有するベクトルとしている。この輝度変動における位相φＩは一般に各色とも共通である。

ここで得られた最小値を物体色と仮定し、

また光源色を既知として

とすると以下のベクトル方程式が成立する。

図４４はこのベクトルの関係の概念図をＲＧＢ色空間内にて表したものである。

この方程式は２未知数に対してＲＧＢの３成分を有するため最小２乗法にて説くことができる。結果として得られた重み係数を用いて変動する輝度を成分分離することができ、表１における４）の反射成分は、

となる。

図４５は、以上の動作を表したフローチャートである。実施形態２で説明した図３４と異なるのはＳ４５０１でカラーＲＧＢ画像を取得する部分、およびＳ４５０２でカラーＲＧＢ成分から表１４）の１、２回とも鏡面反射の成分を分離する部分のみである。分離された輝度成分は照明の白色を有するため輝度のみの取り扱いが可能であり、フローチャートの他の部分は同一である。ここで得られる高解像度画像は、鏡面反射成分だけになるためこれを再度、式４６を用いて合成することにより、最終的な高解像度カラー画像を得ることができる。

なお、実施形態１から５を通じて、偏光照明の偏光面回転角は４５°きざみを例として説明してきたが、この角度は任意である。

本発明は、民生用デジタルカメラ、ムービーカメラ、医療用画像診断装置、医療用内視鏡カメラ、監視カメラ、ロボット視覚、表面検査装置などに広く適用可能である。

１０１ 自在ズーミングカメラ装置
１０２ 偏光光源
１０３ 偏光カメラ
１０４ 被写体
１０５ 偏光照明光
１０６ 偏光反射光
１０７ 角度∠ＬＶ
２０１ 偏光撮像素子
２０２ 輝度・偏光情報処理部
２０３ 高解像度化処理部
２０４ 偏光面制御部
２０５ 撮像制御部
２０６ 輝度画像Ｙ
２０７ 偏光位相画像Ｐ
２０８ 高解像度化法線画像
２０９ 高解像度輝度画像

Claims (16)

1. 偏光面が順次変化する直線偏光である偏光照明を被写体表面に照射する偏光光源と、
   各々が１画素に相当するサイズを有する複数の光感知セルが配列された撮像面を備え、前記被写体表面の反射光から前記被写体表面の輝度画像を取得するカメラと、
   前記偏光面の変化に伴う前記輝度画像の輝度変動量を用いて、前記被写体表面における１画素よりも小さな複数のサブ画素領域の法線を推定し、推定した法線を用いて前記輝度画像を高解像度化する高解像度化処理部と、
   を備え、
   前記カメラが前記被写体表面の輝度画像を取得するとき、前記偏光光源と前記カメラとの配置関係が固定された状態で前記直線偏光の偏光面が変化する、画像処理装置。
2. 前記偏光光源の光軸と前記カメラの光軸との間の角度は１０°以下である請求項１に記載の画像処理装置。
3. 前記カメラは、特定の方位に偏光した直線偏光を透過する偏光フィルタを備える偏光カメラである請求項１に記載の画像処理装置。
4. 前記偏光フィルタは、前記複数の光感知セルにそれぞれ対向する位置に配置された複数のパターン化偏光子を有している請求項３に記載の画像処理装置。
5. 前記カメラは、モノクロ輝度画像またはカラー輝度画像を取得するカメラである請求項１に記載の画像処理装置。
6. 前記偏光光源は、
   静止画撮影時において、偏光面を変化させながら偏光照明を被写体に照射し、
   動画撮影時において、偏光面がランダムである非偏光を照射し、
   静止画および動画の高解像度化を実行する請求項１から５のいずれかに記載の画像処理装置。
7. 前記偏光光源は、
   各々が独立して発光し得る複数の分割光源と、
   前記複数の分割光源に対向する位置に設けられた複数のパターン化偏光子と、
   を有しており、
   前記直線偏光の偏光面の向きは、前記複数の分割光源のうちの一部の分割光源から放射された光が透過するパターン化偏光子の偏光透過軸の向きによって規定される、請求項１から６のいずれかに記載の画像処理装置。
8. 前記高解像度化処理部は、
   前記偏光面の変化に伴う前記輝度変動量をカラー成分毎に利用して、前記被写体表面の多重反射成分から２回ともに鏡面反射を呈する成分と、少なくとも１回は拡散反射を呈する成分とを分離する請求項１から７のいずれかに記載の画像処理装置。
9. 前記高解像度化処理部は、
   前記被写体表面の反射状態に応じて前記輝度画像の１画素を複数の領域に分類し、各領域における輝度と法線と面積比とを推定することによって１画素内の法線ヒストグラムを決定する請求項１から８のいずれかに記載の画像処理装置。
10. 前記複数の領域は、各画素内で１つの方位に延びた少なくとも１つのグルーブを形成している、請求項９に記載の画像処理装置。
11. 前記高解像度化処理部は、
    前記被写体表面にほぼ直上から照射された偏光照明によって前記被写体表面で発生する光の多重反射現象を利用し、前記輝度画像の１画素内の法線ヒストグラムを推定する請求項１から８のいずれかに記載の画像処理装置。
12. 前記高解像度化処理部は、
    前記被写体表面における光の多重反射現象を利用して前記輝度画像の１画素内の法線ヒストグラムを推定する請求項１から８のいずれかに記載の画像処理装置。
13. 前記高解像度化処理部は、
    推定された１画素内の法線ヒストグラムから、前記１画素内における前記サブ画素領域の配置を決定して高解像度法線画像を生成する９から１２のいずれかに記載の画像処理装置。
14. 前記複数の領域は、
    前記偏光照明の１回の反射により、前記反射光を前記カメラに到達させるＳ領域、
    前記偏光照明の２回の多重反射により、前記反射光を前記カメラに到達させるＴ領域、および
    前記反射光を前記カメラに到達させないＤ領域によって構成される請求項８に記載の画像処理装置。
15. 偏光面が順次変化する直線偏光である偏光照明を被写体表面に照射すること、
    前記被写体表面の反射光から前記被写体表面の輝度画像を取得すること、
    前記偏光面の変化に伴う前記輝度画像の輝度変動量を用いて、前記被写体表面における１画素よりも小さなサブ画素領域の法線を推定し、推定した法線を用いて前記輝度画像を高解像度化すること、
    を実行し、
    前記カメラが前記被写体表面の輝度画像を取得するとき、前記偏光光源と前記カメラとの配置関係が固定された状態で前記直線偏光の偏光面を変化させる、画像処理方法。
16. 偏光面が順次変化する直線偏光である偏光照明を被写体表面に照射する偏光光源と、
    各々が１画素に相当するサイズを有する複数の光感知セルが配列された撮像面を備え、前記被写体表面の反射光から前記被写体表面の輝度画像を取得するカメラと
    を備える装置のためのプログラムであって、
    偏光面が順次変化する直線偏光である偏光照明を被写体表面に照射するステップと
    前記被写体表面の反射光から前記被写体表面の輝度画像を取得するステップと、
    前記偏光面の変化に伴う前記輝度画像の輝度変動量を用いて、前記被写体表面における１画素よりも小さなサブ画素領域の法線を推定し、推定した法線を用いて前記輝度画像を高解像度化するステップと、
    を前記装置に実行させる、プログラム。

Images