WO2022259466A1 - 画像処理装置およびマテリアル情報取得方法 - Google Patents

Abstract

画像処理装置１０において撮影画像取得部５０は、撮影状態を異ならせて撮影された複数セットの偏光画像を取得する。偏光度取得部５４は、各偏光画像について、対象物の像の偏光度を取得する。マテリアル情報推定部５６の画像選択部６２は、偏光度や付加情報に基づき、入力画像やその種類を選択する。アルゴリズム切り替え部６４は、偏光度や付加情報に基づき、マテリアル情報推定に用いるアルゴリズムを切り替える。推定部６６は入力画像を用いて、切り替えられたアルゴリズムによりマテリアル情報を推定する。出力データ生成部６０は、マテリアル情報を利用した画像を生成し表示装置１６に出力する。

Description

画像処理装置およびマテリアル情報取得方法

　本発明は、撮影画像を利用して対象物のマテリアル情報を取得する画像処理装置およびマテリアル情報取得方法に関する。

　実世界に存在する物を表示上の仮想世界にオブジェクトとして登場させたり、ユーザとのインタラクションを仮想世界に反映させたりして、実世界と仮想世界を融合する技術が知られている。撮影画像を利用して対象物の状態を検知したり、それに基づく情報処理を実施したりする技術は、このような電子コンテンツのみならず、監視カメラ、自動運転システム、製造ラインにおける検品装置、自動制御ロボットなど幅広い分野で導入されている。近年では人工知能の進歩により、撮影画像から被写体を認識したり、その材質を特定したりすることが、機械学習や深層学習（ディープラーニング）で精度よく行えるようになってきた（例えば非特許文献１参照）。

Abhimitra Meka、外６名、 「LIME: Live Intrinsic Material Estimation」、 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)、 （米国）、 ２０１８年、 第１巻、 p. 6315-6324

　撮影画像における被写体の像の様子は、周囲の明るさや物の有無などによる光の状態によって変わり得る。例えば同じ被写体でも、その像の色や輝度分布が大きく変化したり、輪郭が明確に得られないことにより形状も認識しづらかったりすることがある。同様の原理で、ある対象物の像が本来の色や形を表しているのか、光の加減で偶然、得られた姿なのかを撮影画像のみから区別するのが難しい場合がある。その結果、対象物に関する正しい情報が得られず、後段の情報処理の精度を悪化させることもある。これらのことから、撮影画像を用いて対象物の情報をより正確に認識できる技術が求められている。

　本発明はこうした課題に鑑みてなされたものであり、その目的は、撮影画像を用いて対象物の情報を精度よく取得できる技術を提供することにある。

　本発明のある態様は画像処理装置に関する。この画像処理装置は、対象物および光源の少なくともいずれかの、撮像面に対する角度、または光源の状態を異ならせて、対象物を偏光カメラにより撮影した複数の撮影画像を取得する撮影画像取得部と、撮影画像のそれぞれにおける対象物の像の偏光度を取得する偏光度取得部と、偏光度に基づき選択した撮影画像またはそれから得られる画像を用いて、対象物のマテリアル情報を推定するマテリアル情報推定部と、を備えたことを特徴とする。

　ここで「マテリアル情報」とは、対象物の表面における光学現象に影響を与える、対象物の特性を表すパラメータであればよく、例えば対象物自体の色、金属度、表面粗さなどのいずれか、または組み合わせでよい。

　本発明のさらに別の態様はマテリアル情報取得方法に関する。このマテリアル情報取得方法は、対象物および光源の少なくともいずれかの、撮像面に対する角度、または光源の状態を異ならせて、対象物を偏光カメラにより撮影した複数の撮影画像を取得するステップと、撮影画像のそれぞれにおける対象物の像の偏光度を取得するステップと、偏光度に基づき選択した撮影画像またはそれから得られる画像を用いて、対象物のマテリアル情報を推定するステップと、を含むことを特徴とする。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置などの間で変換したものもまた、本発明の態様として有効である。

　本発明によると、撮影画像を用いて対象物の状態を精度よく取得できる。

本実施の形態における情報処理システムの構成例を示す図である。 マテリアル情報を変化させて球体を描画した結果を例示する図である。 図２と同じマテリアル情報を用いてウサギのオブジェクトを描画した結果を示す図である。 本実施の形態において画像処理装置が撮影画像からマテリアル情報を取得して利用する処理手順の概要を示す図である。 同じ対象物を異なる条件で撮影した画像から推定したマテリアル情報を用いて、オブジェクトを描画した結果を比較した図である。 本実施の形態の撮像装置が備える撮像素子の構造例を示す図である。 入射角に対する偏光度の変化を、鏡面反射した光と拡散反射した光で比較した図である。 本実施の形態における画像処理装置の内部回路構成を示す図である。 本実施の形態における画像処理装置の機能ブロックの構成を示す図である。 本実施の形態で得られる撮影画像について説明するための図である。 本実施の形態において、ユーザに対象物の角度を変化させるための指示画面を例示する図である。 本実施の形態において偏光度取得部が生成する偏光度テーブルを例示する図である。 本実施の形態において、マテリアル情報推定部が偏光度に依存して処理内容を切り替えるための設定情報を例示する図である。 本実施の形態において、マテリアル情報推定部の推定部が、マテリアル情報を推定する際に用いるディープラーニングのネットワークを例示する図である。 図１４の（ａ）、（ｂ）のネットワークを用いてマテリアル情報を推定した結果を比較した図である。 図１４の（ａ）、（ｂ）のネットワークを用いてマテリアル情報を推定した結果を比較した図である。 本実施の形態においてマテリアル情報推定部の推定部が、演算によりマテリアル情報を推定する手法の例を説明するための図である。 本実施の形態においてマテリアル情報が複数セット推定された場合に、推定部がそれらを統合して最終的なマテリアル情報を得るための設定情報を例示する図である。 本実施の形態においてマテリアル情報が複数セット推定された場合に、推定部がそれらを統合して最終的なマテリアル情報を得るために表示させる、ユーザによる評価画面を例示する図である。 本実施の形態において画像処理装置のマテリアル情報推定部が、マテリアル情報を推定、出力する処理手順を示すフローチャートである。

　図１は、本実施の形態における画像処理システムの構成例を示している。この情報処理システムは、対象物８を撮影する撮像装置１２、その撮影画像を処理して所定の情報を取得したりそれを用いた情報処理を行ったりする画像処理装置１０、および画像処理の結果を出力する表示装置１６を含む。画像処理システムにはさらに、画像処理装置１０に対する操作をユーザから受け付ける入力装置が含まれていてもよい。画像処理装置１０はさらに、インターネットなどのネットワークに接続することでサーバなど外部の装置と通信可能としてもよい。

　画像処理装置１０と撮像装置１２および表示装置１６とは、有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。また画像処理装置１０、撮像装置１２、表示装置１６のいずれか２つ以上を組み合わせて一体的な装置としてもよい。例えばそれらを装備したカメラや携帯端末などで画像処理システムを実現してもよい。あるいは表示装置１６を、ユーザが頭部に装着することで眼前に画像を表示させるヘッドマウントディスプレイとし、当該ヘッドマウントディスプレイに、ユーザの視線に対応する画像を撮影するように撮像装置１２を設けてもよい。いずれにしろ画像処理装置１０、撮像装置１２、表示装置１６の外観形状は図示するものに限らない。

　このようなシステムにおいて画像処理装置１０は少なくとも、撮像装置１２が撮影した画像のデータを順次取得し、対象物８のマテリアル情報を取得する。ここで「マテリアル情報」とは、対象物表面の特徴を表す情報であり、例えば対象物そのものの色（アルベドカラー）、表面粗さ（ラフネス）、金属度（メタルネス）などの少なくともいずれかである。マテリアル情報は、それを用いて光の反射、散乱、屈折、吸収などの光学現象を計算したうえで描画することにより、コンピュータグラフィクス上での写実的な表現が可能となる情報であり、その範疇にあれば種類や厳密な定義は特に限定されない。

　画像処理装置１０は、取得したマテリアル情報自体を、表示装置１６や図示しない記録装置に出力してもよいし、当該マテリアル情報に基づきさらに情報処理を行い、表示画像や音声のデータを生成して表示装置１６に出力してもよい。ここで画像処理装置１０がマテリアル情報に基づき実施する情報処理の内容は特に限定されない。例えば対象物８を模したオブジェクトが登場する電子ゲームを実現してもよい。この場合、ゲームのプレイヤは、自身の所有物をゲーム世界に取り込み、キャラクタとして動かしたりコントローラに利用したりできる。

　あるいは対象物８のマテリアル情報を、仮想オブジェクトのモデルデータの一部として利用することも考えられる。この場合、クリエイターがコンテンツを作成する段階で、所望の実物体の色や材質をオブジェクトのデザインとして取り込むことができ、作成作業を効率化できる。このようにマテリアル情報は、一旦コンテンツのデータとして落とし込んだうえで、後の任意のタイミングで利用してもよいし、即時に表示画像に反映させてもよい。

　なおマテリアル情報の利用目的は、画像表示を伴うコンテンツの実現に限らない、例えば物体形状に加えマテリアル情報を利用することにより、対象物の認識精度を高めることができる。したがって画像処理装置１０は、監視システム、車載カメラシステム、検品装置、自律ロボットなどにおける、対象物の認識装置であってもよい。マテリアル情報の利用目的によって、画像処理システムの構成が様々に変化し得ることは当業者には理解されるところである。

　図２は、マテリアル情報を変化させて球体を描画した結果を例示している。図では横軸に表面粗さ、縦軸に金属度を表し、それぞれ１．０を最大値として４通りに変化させた１６個の画像を示している。ここで「表面粗さ」とは、物体表面におけるマイクロメートル程度の凹凸による高さや面方位のばらつきを指し、ばらつきが大きいほど粗さが大きいとする。また金属度とは光の反射率（Reflectivity)を指し、拡散反射と鏡面反射のうち鏡面反射の割合が大きいほど金属度が高いとする。

　ここで鏡面反射は、光源から照射され物体表面で正反射した光であり、拡散反射は、物体内部に到達し色素粒子により散乱されて表面に表れた光である。二色性反射モデルによれば、撮像装置１２で観測される光は、それらの反射光のうち撮像面方向の成分の和で表される。表面粗さや金属度は、コンピュータグラフィクスの分野で一般的に用いられるパラメータである。なお表面粗さを指す「ラフネス」（Roughness)は定義によって、グロッシネス(Glossiness）やシャイニネス（Shininess)といったパラメータとして用いられることがある。

　図示するように、マテリアル情報の変化により、同じ球体でも質感が大きく変化する。例えば金属度が増加すると、物体そのものの色（図ではグレー）を表す拡散反射が少なくなり、１．０では照明の反射のみが表される。一方、表面粗さが増加すると、鏡面反射が表れる領域が広がるとともに最大輝度が下がり、１．０では照明の反射の境界が判別しにくくなる。実際にはさらに、球体そのものの色によっても当然、像の様相が変化する。

　図３は、図２と同じマテリアル情報を用いてウサギのオブジェクトを描画した結果を示している。例えば図２で示したような球体の実物体を撮影し、そのマテリアル情報を、ウサギのモデルに適用することにより、図示するような様々な表面状態を有するウサギをオブジェクトとして表現できる。

　図４は、画像処理装置１０が撮影画像からマテリアル情報を取得して利用する処理手順の概要を示している。まず画像処理装置１０は、撮像装置１２が対象物を含む空間を撮影してなる画像１３２を取得する（Ｓ１０）。そして画像処理装置１０は、取得した画像１３２のうち対象物が写っている矩形領域１３４を切り出してなる部分画像１３６を取得する（Ｓ１２）。この処理は、パターンマッチングなど一般的な画像処理技術により画像処理装置１０のみで行ってもよいし、人手による矩形領域１３４の指定を受け付けることにより行ってもよい。

　次に画像処理装置１０は、部分画像１３６のうち、対象物以外の領域をマスクすることにより、対象物の領域のみ画素値が有効な画像１３８を生成する（Ｓ１４）。この処理も、パターンマッチングや前景抽出などの一般的な画像処理技術により画像処理装置１０のみで行ってもよいし、人手による像の指定を受け付けることにより行ってもよい。そして画像処理装置１０は、対象物の像の領域について解析を行うことにより、マテリアル情報を推定する（Ｓ１６）。

　例えば画像処理装置１０は、マテリアル情報の推定のために構築されたディープラーニングのネットワークを利用したり、所定の計算式を用いたりすることによりマテリアル情報を推定する。画像処理装置１０が取得するマテリアル情報は上述のとおり限定されないが、以後、代表的な例として、物体そのものの色（物体色と呼ぶ）、金属度、表面粗さを推定するものとする。そして画像処理装置１０は、推定したマテリアル情報を用いて所定の情報処理を実施する（Ｓ１８）。例えば画像処理装置１０は、撮影された対象物と同じ表面状態を有するウサギの画像１４０、あるいはそれを含む表示画像を描画する。

　上述のとおり、画像処理装置１０はマテリアル情報の取得とともに画像１４０を描画してもよいし、ウサギなど描画対象のオブジェクトのモデルデータにマテリアル情報を含めておき、後の任意のタイミングで画像１４０を描画してもよい。Ｓ１８で行う処理の内容によっては、Ｓ１０～Ｓ１６における撮影画像の取得からマテリアル情報の推定までの処理を継続しつつ、当該マテリアル情報を利用した情報処理を並行して実施してもよい。例えば対象物の実際の色や表面状態の変化に応じて、表示中のオブジェクトも同様に変化するようにしてもよい。なおＳ１８におけるマテリアル情報の利用は、画像処理装置１０以外の装置で実施してもよい。

　いずれにしろ図示するような処理態様においては、撮影画像からマテリアル情報をいかに精度よく推定するかが課題となる。一方、撮影画像は、対象物表面において発生する光学現象の一部を表しているに過ぎない。すなわち撮像面に対する対象物や照明の角度、照明の有無や種類などに依存して、撮影画像が表す情報には大きな差が生じ、マテリアル情報の精度にも多大な影響を及ぼし得る。図５は、同じ対象物を異なる条件で撮影した画像から推定したマテリアル情報を用いて、オブジェクトを描画した結果を比較している。上段は四角い板を対象物として撮影した画像、下段は、各撮影画像から推定したマテリアル情報を用いて描画したウサギの画像である。

　表面に光沢のある対象物であっても、（ａ）に示すように、照明が直接当たらない状態での撮影画像では、対象物全体で拡散反射が支配的となり輝きのない像が得られる。その結果、光沢の少ないマテリアル情報（金属度が低い、あるいは表面粗さが大きい）が推定され、それを反映させたウサギの表面は、全体的に光沢が少ない状態で描画される。一方、対象物に照明を当て、その反射を捉えるように撮影すれば、（ｂ）に示すように、対象物の像の一部に鏡面反射が支配的な領域が発生する。その結果、本来の光沢を示すマテリアル情報が推定され、それを反映させたウサギの表面は、光沢のあるものとして正確に描画される。

　すなわち対象物の光沢をマテリアル情報として正確に推定するには、照明が鏡面反射している像が撮影されている必要がある。一方、（ｂ）に示す撮影画像において、対象物の像の一部が白い原因は、鏡面反射以外に対象物自体の色が白い場合があり、マテリアル情報の正確性にはその区別も必要になる。そこで本実施の形態では、撮像装置１２を偏光カメラとし、偏光画像が持つ情報を用いて推定処理の内容を適応的に変化させる。例えば偏光情報を用いて鏡面反射成分の大きい画像を特定し、それをマテリアル情報の推定に用いる。図の例では（ｂ）の撮影画像を選択することにより、画像が持つ、より多くの情報に基づき、金属度や表面粗さなどのマテリアル情報を精度よく推定できる。

　偏光画像を用いることにより、鏡面反射が支配的な領域と拡散反射が支配的な領域を区別できるため、後者に基づき物体色も正確に得られるようになる。また鏡面反射の強さなど、撮影画像が表す反射特性に応じて、マテリアル情報の推定に用いるディープラーニングなどのアルゴリズムを適切に選択したり、推定に用いる画像の種類、数、選択のポリシーを切り替えたりすることもできる。このように、偏光に係る情報を導入して処理内容を切り替えれば、切り替えの根拠をもたない自然光の撮影画像を用いるケースと比較し、マテリアル情報の推定精度を格段に向上させることができる。

　図６は、本実施の形態の撮像装置１２が備える撮像素子の構造例を示している。なお同図は素子断面の機能的な構造を模式的に示しており、層間絶縁膜や配線などの詳細な構造は省略している。撮像素子１１０はマイクロレンズ層１１２、ワイヤグリッド型偏光子層１１４、カラーフィルター層１１６、および光検出層１１８を含む。ワイヤグリッド型偏光子層１１４は、複数の線状の導体部材を入射光の波長より小さい間隔でストライプ状に配列させた偏光子を含む。マイクロレンズ層１１２により集光された光がワイヤグリッド型偏光子層１１４に入射すると、偏光子のラインと平行な方位の偏光成分は反射され、垂直な偏光成分のみが透過する。

　透過した偏光成分を光検出層１１８で検出することにより偏光画像が取得される。光検出層１１８は一般的なＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの半導体素子構造を有する。ワイヤグリッド型偏光子層１１４は、光検出層１１８における電荷の読み取り単位、すなわち画素単位、あるいはそれより大きな単位で主軸角度が異なるような偏光子の配列を含む。同図右側には、ワイヤグリッド型偏光子層１１４を上面から見たときの偏光子配列１２０を例示している。

　同図において網掛けされたラインが偏光子を構成する導体（ワイヤ）である。なお点線の矩形はそれぞれ一主軸角度の偏光子の領域を表しており、点線自体は実際に形成されるものではない。図示する例では、４通りの主軸角度の偏光子が２行２列の４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに配置されている。図中、対角線上にある偏光子はその主軸角度が直交しており、隣り合う偏光子は４５°の差を有する。すなわち４５°おきの４つの主軸角度の偏光子を設けている。

　各偏光子はワイヤの方向に直交する方向の偏光成分を透過する。これにより、下に設けた光検出層１１８においては、４つの領域１２２ａ、１２２ｂ、１２２ｃ、１２２ｄに対応する各領域で、４５°おきの４方位の偏光情報を得ることができる。このような４つの主軸角度の偏光子配列をさらに、撮像面の縦方向、横方向に所定数、配列させ、電荷読み出しのタイミングを制御する周辺回路を接続することにより、４種類の偏光情報を２次元データとして同時に取得するイメージセンサを実現できる。

　同図に示す撮像素子１１０では、ワイヤグリッド型偏光子層１１４と光検出層１１８の間にカラーフィルター層１１６を設けている。カラーフィルター層１１６は、例えば各画素に対応させて赤、緑、青の光をそれぞれ透過するフィルタの配列を含む。これにより、上下に位置するワイヤグリッド型偏光子層１１４における偏光子の主軸角度とカラーフィルター層１１６におけるフィルタの色の組み合わせに応じて、偏光情報が色別に得られる。すなわち同一方位かつ同一色の偏光情報が画像平面上で離散的に得られるため、それを適宜補間することにより、方位ごとおよび色ごとの偏光画像が得られる。

　また同一色の偏光画像同士を演算することにより、自然光（無偏光）のカラー画像を再現することもできる。ワイヤグリッド型偏光子を用いた画像取得技術については、例えば特開２０１２－８００６５号公報などにも開示されている。ただし本実施の形態における撮像装置１２の素子構造は図示するものに限らない。また偏光子はワイヤグリッド型に限らず、線二色性偏光子など実用化されているもののいずれでもよい。あるいは一般的なカメラの前面に偏光板を配置した構造とし、主軸角度が変化するように偏光板を回転させながら撮影することで、複数方位の偏光画像を得てもよい。

　偏光輝度の方位に対する振る舞いは、撮像面に対する被写体表面の姿勢と材質に依存して変化することが知られている。偏光子を介して観察される光の輝度は、偏光子の主軸角度θ_ｐｏｌに対し次の式のように変化する。

　ここでＩ_ｍａｘ、Ｉ_ｍｉｎはそれぞれ、観測される輝度の最大値、最小値であり、φは偏光位相である。上述のとおり４通りの主軸角度θ_ｐｏｌに対し偏光画像を取得した場合、同じ位置にある画素の輝度Ｉは、各主軸角度θ_ｐｏｌに対し式１を満たすことになる。したがって、それらの座標（Ｉ，θ_ｐｏｌ）を通る曲線を、最小二乗法等を用いて余弦関数に近似することにより、Ｉ_ｍａｘ、Ｉ_ｍｉｎ、φを求めることができる。そのように求めたＩ_ｍａｘ、Ｉ_ｍｉｎを用いて、次の式により偏光度ρが求められる。

　なお図６に示した撮像素子などにより、主軸角度θ_ｐｏｌが０°、４５°、９０°、１３５°のときの偏光画像が得られている場合、その輝度をｙ_０、ｙ_４５、ｙ_９０、ｙ_１３５とすると、式１は、主軸角度ｘを変数とする輝度ｙの関数として次のように表せる。

　式３を利用すると、偏光度ρは次のように求められる。

　偏光度ρが１のとき、観測される光は完全偏光（直線偏光）、すなわちある１方向に振動している。偏光度ρが０のときは、非偏光であり光は等方的に振動している。その他、振動の偏り具合によって、偏光度ρが０から１の間で変化する。上述のとおり二色性反射モデルによれば、反射光のスペクトルは、鏡面反射と拡散反射のスペクトルの線形和で表される。反射した光に含まれる鏡面反射成分と拡散反射成分の割合は、反射する物体の材質にも依存する。

　図７は、入射角に対する偏光度の変化を、鏡面反射した光と拡散反射した光で比較している。なお反射する物体の屈折率ｎは１．４および１．６としている。屈折率によらず、（ａ）に示す鏡面反射光は、（ｂ）に示す拡散反射光と比較し、入射角の大部分の範囲において偏光度が格段に大きい。すなわち偏光度は、鏡面反射の強さを表す指標になる。そこで本実施の形態において画像処理装置１０は、撮像装置１２から取得した複数方位の偏光画像から対象物の像の偏光度、または偏光度の分布を取得し、それに基づき鏡面反射の強さを推定したうえで、マテリアル情報の推定に係る処理の内容を変化させる。なお式２によれば、偏光度ρの代わりとして、偏光輝度の最大値と最小値の差（Ｉ_ｍａｘ－Ｉ_ｍｉｎ）を、鏡面反射の強さを表す指標として用いてもよい。

　図８は、画像処理装置１０の内部回路構成を示している。画像処理装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、表示装置１６へデータを出力する出力部３６、撮像装置１２や図示しない入力装置からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。

　ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより画像処理装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、図示しないフレームバッファに表示画像のデータを格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

　図９は、本実施の形態の画像処理装置１０の機能ブロックの構成を示している。同図に示す各機能ブロックは、ハードウェア的には、図８で示した各種回路で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、演算機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

　画像処理装置１０は、撮像装置１２から撮影画像のデータを取得する撮影画像取得部５０、取得した画像のデータを格納する画像データ記憶部５２、対象物の像の偏光度を取得する偏光度取得部５４、対象物のマテリアル情報を推定するマテリアル情報推定部５６、推定されたマテリアル情報を格納するマテリアル情報記憶部５８、および、マテリアル情報に基づき出力すべきデータを生成する出力データ生成部６０を含む。

　なお図示する画像処理装置１０の構成は、その全てが一体的に備えられていなくてもよい。例えば偏光度取得部５４は撮像装置１２の一部であってもよい。また上述のように、撮影画像からマテリアル情報を推定する機能と、当該マテリアル情報を利用して表示画像を生成する機能は、別の装置で実現してもよく、それらの機能を動作させるタイミングは独立していてもよい。この場合、表示装置１６に表示させる画像を生成する機能としての出力データ生成部６０は別の装置で構成してもよい。さらに、マテリアル情報推定部５６の一部の機能を、画像処理装置１０とネットワークを介して接続したサーバなどで実現してもよい。例えばクラウドコンピューティングにより提供されるディープラーニングの機能を利用してマテリアル情報を推定してもよい。

　撮影画像取得部５０は、対象物を含む空間を撮影した偏光画像のデータを、撮像装置１２から取得する。この処理は、図４のＳ１０に対応する。あるいは撮影画像取得部５０は、記録媒体や記憶装置などに一旦格納された偏光画像のデータを取得してもよい。いずれにしろ撮影画像取得部５０は、１つまたは複数の視点から対象物を撮影した、複数方位の偏光画像のデータを取得する。マテリアル情報として対象物自体の色を推定する場合、偏光画像はカラー画像とする。

　撮影画像取得部５０は好適には、対象物および光源の少なくともいずれかの、撮像面に対する角度、および光源の状態、の少なくともいずれかが異なる複数の状態（以後、撮影状態と呼ぶ）で撮影した偏光画像のデータを取得する。これにより、鏡面反射成分がより多い画像、拡散反射成分がより多い画像など、所定の条件に適う画像を選択でき、マテリアル情報の推定精度を向上させることができる。撮影状態の変化は、撮像装置１２の位置や姿勢の変化、対象物の位置や姿勢の変化、光源の位置、向き、オン／オフを含む輝度の変化、の少なくともいずれかによって実現できる。

　この際、撮影画像取得部５０は、異なる撮影状態の画像が撮影されるように、図示しない制御装置を介して撮像装置１２、対象物、光源の少なくともいずれかの位置、姿勢、向き、状態を制御してよい。撮影画像取得部５０はそれらを所定の撮影状態としたうえで、静止画像を撮影するように撮像装置１２を制御してもよいし、撮像装置１２が動画像を撮影するのと並行して撮影状態を変化させてもよい。後者の場合、撮影画像取得部５０は、そのように撮影された動画像のデータを取得したうえ、撮影状態の差などが所定の条件を満たす複数のフレームを抽出する。

　あるいは撮影画像取得部５０は、撮影状態を好適に変化させるように、表示装置１６などを介してユーザに指示を与えてもよい。以後、一つの撮影状態で撮影された、複数方位の偏光画像を「偏光画像セット」と呼ぶ場合がある。画像データ記憶部５２は、撮影画像取得部５０が取得した偏光画像のデータを順次格納する。このとき撮影画像取得部５０は必要に応じて、自然光のカラー画像など、後段の処理に必要なデータも生成し格納してよい。ここで自然光のカラー画像は例えば、複数方位の偏光画像における画素値を平均することによって得られる。主軸角度θ_ｐｏｌが０°、４５°、９０°、１３５°の偏光画像を取得する場合、式３の変数ｃをＲＧＢ成分のそれぞれで計算すればよい。

　偏光度取得部５４は、画像データ記憶部５２に格納された複数方位の偏光画像を用いて、式２または式４の演算により、対象物の像の偏光度を取得する。偏光度は画素ごとに算出できるため、偏光度取得部５４により、画像平面における偏光度の分布が取得されることになる。前段の処理として偏光度取得部５４は、図４のＳ１２、Ｓ１４のとおり、各偏光画像から対象領域の切り出しおよびマスク処理を実施して、対象物の像の領域に対し偏光度の分布を取得してよい。あるいはＳ１２のように対象領域を切り出したうえ、偏光度の分布を取得してから対象物の像以外の領域をマスクしてもよい。

　偏光度取得部５４は、対象物の像の領域における偏光度の分布、またはその平均値を、元の偏光画像のデータに対応づけて画像データ記憶部５２に格納する。異なる撮影状態で撮影した複数の偏光画像セットが得られている場合、偏光度取得部５４は、偏光画像セットの識別情報と、偏光度の分布または平均値とを対応づけたテーブルを作成し、画像データ記憶部５２に格納してもよい。

　マテリアル情報推定部５６は、対処物の像の偏光度に応じた処理内容で、対象物のマテリアル情報を推定する。すなわち偏光度取得部５４との協働により、図４のＳ１６の処理を実施する。偏光度によって異ならせる処理の内容として、例えば次のものが挙げられる。
１．推定に用いる画像
２．推定に用いる画像内の領域
３．推定に用いる画像の種類
４．推定に用いるアルゴリズム

　マテリアル情報推定部５６は偏光度に応じて、上記の１つまたは複数の内容を適正化したうえでマテリアル情報を推定する。マテリアル情報推定部５６がどの内容を適正化するかによって、マテリアル情報推定部５６に含まれる、図示する機能のうちの一部は適宜省くことができる。マテリアル情報推定部５６は、推定に用いる画像を選択する画像選択部６２、推定に用いるアルゴリズムを切り替えるアルゴリズム切り替え部６４、およびマテリアル情報を推定する推定部６６を含む。画像選択部６２は上記１～３の少なくともいずれかを選択する。

　推定に用いる画像（以後、「入力画像」と呼ぶ場合がある）自体を選択する場合、画像選択部６２は、最終的に取得したいマテリアル情報を多く反映している画像を、偏光度に基づき選択する。定性的には、金属度や表面粗さを取得するとき、画像選択部６２は、鏡面反射成分が多く含まれる、偏光度が高い画像を選択する。物体色を取得するとき、画像選択部６２は、拡散反射成分が多く含まれる、偏光度が低い画像を選択する。ただし１つの撮影状態で撮影された画像を用いてそれらのマテリアル情報を同時に得る場合は、鏡面反射成分の多く含まれる、偏光度の高い画像を選択することにより、金属度や表面粗さの情報を取りこぼすことなく、領域によって物体色も特定できる可能性が高い。

　したがって、画像選択部６２はマテリアル情報の推定に用いる画像の数に応じて、選択条件を適宜変化させてよい。例えば３つ以上の撮影状態で撮影された画像を用いることができる状況においては、偏光度が最大、最小、その中間、の画像を選択する。偏光度を分散させて画像を選択することにより、マテリアル情報の推定精度を上げることができる。逆に画像選択部６２は、得られた偏光度の大きさによって、マテリアル情報の推定に用いる画像の数を変化させてもよい。例えばどの撮影状態においても偏光度が所定値以下の場合、対象物は鏡面反射しづらい光沢のない材質と考えられる。

　この場合、画像選択部６２は、そのうち任意の１つ入力画像として選択してもよい。一方、偏光度の変化の幅が大きくなるほど、入力画像の数を増やすようにしてもよい。なお上記１において選択する入力画像は、選択に用いた偏光画像セットそのものでなくてもよい。つまり偏光画像セットから得られる自然光のカラー画像、偏光画像を用いて分離した鏡面反射成分のみの画像、拡散反射成分のみの画像など、偏光画像セットから得られる様々な種類の画像のうち所定種類の画像でよい。つまり上記１は換言すると、偏光度を用いて入力画像の撮影状態を選択しているともいえる。

　一方、画像選択部６２は、上記２のように、選択した撮影状態における画像のうち、マテリアル情報の推定に用いる領域をさらに選択してもよい。この場合、画像選択部６２は、対象物の像における偏光度の分布を参照し、例えば偏光度の高い領域と低い領域を所定の基準により選択する。この際の選択原理は上記１と同様である。画像選択部６２は、領域によって偏光度に差のある画像をまず選択したうえで、偏光度の高い領域と低い領域をさらに選択してもよい。

　あるいは画像選択部６２は、上記１のように撮影状態を選択したうえ、上記３のように入力画像の種類を、偏光度に基づきさらに選択してもよい。例えば画像選択部６２は、偏光画像、自然光の画像、鏡面反射画像、拡散反射画像などから、マテリアル情報の推定に適した種類の画像を、１つまたは複数、選択する。一例として、本発明者の実験によれば、偏光度が高く鏡面反射成分の多い画像が得られている場合、鏡面反射成分のみを分離してなる鏡面反射画像を用いることで、金属度や表面粗さを精度よく推定できることが判明している。鏡面反射画像は、上述した偏光輝度の最大値と最小値の差（Ｉ_ｍａｘ－Ｉ_ｍｉｎ）で近似してもよいし、偏光画像から鏡面反射成分と拡散反射成分を分離するための計算モデルのいずれかを採用してもよい（例えば国際公開第２００７／０２９４４６号参照）。

　画像選択部６２は、偏光度に応じて入力画像の種類を選択したら、必要に応じて当該種類の画像（例えば鏡面反射画像）を生成する。鏡面反射成分の多い領域と拡散反射成分の多い領域など、１つの撮影状態の画像のうちの領域によって異なる種類の画像を選択してもよい。なお偏光度以外に得られる対象物の情報がある場合、画像選択部６２は、当該情報を入力画像の選択や、その選択ポリシーの決定に利用してもよい。例えば木材、金属、陶器、プラスチック、紙、布など、対象物の大まかな材質があらかじめ判明している場合、それを入力画像の選択に利用する。

　具体的には金属やプラスチックなど表面に光沢がある可能性の高い材質の場合、偏光度が高い画像と低い画像、ひいては鏡面反射成分の多い画像と少ない画像を選択する。前者は入力画像として鏡面反射画像を利用してもよい。これにより、金属度・表面粗さと物体色とを精度よく推定できる。一方、木材や布など光沢が乏しい可能性が高い材質の場合は、撮影状態によらず偏光度が低くなるため、任意の撮影状態の自然光の画像を選択する。偏光度と大まかな材質とを組み合わせて金属度や表面粗さを見積もったうえで入力画像を選択してもよい。

　あるいは画像選択部６２は、光源の種類や状態を加味して入力画像を選択してもよい。例えば晴天時の太陽光が直接当たる環境や、指向性の高いＬＥＤ（light emitting diode）などの照明下では、鏡面反射が強い画像が得られる可能性が高いため、そのような画像を精度よく絞り込むため偏光度のしきい値を増加させる。また鏡面反射成分の分離精度が上がるため、鏡面反射画像を生成して入力画像とすることで、マテリアル情報の推定精度が向上する。また画像選択部６２は、撮像面に対する対象物や光源の角度を特定し、それを加味して入力画像を選択してもよい。以後、偏光度以外に得られる、対象物や照明に係る情報を「付加情報」と呼ぶ。

　画像選択部６２は、付加情報の登録画面を、出力データ生成部６０を介して表示装置１６に表示させることにより、ユーザからの登録を受け付けてもよい。あるいは画像選択部６２は、各種センサの計測値や別途取得した撮影画像などに基づき、付加情報を自ら取得してもよい。上記４のとおりマテリアル情報の推定に用いるアルゴリズムを切り替える場合、アルゴリズム切り替え部６４は、撮影画像取得部５０が取得した画像、あるいは画像選択部６２が選択した画像を用いて精度よくマテリアル情報が得られるアルゴリズムを、偏光度に基づき選択する。

　そのためアルゴリズム切り替え部６４には、例えば、偏光度の範囲と、当該範囲の画像に対し精度が出やすい推定アルゴリズムとを対応づけたテーブルをあらかじめ設定しておく。ここで推定アルゴリズムとは、ディープラーニングの場合、それを構成するネットワーク、学習結果であるデータベースのいずれか、またはそれらの組み合わせである。あるいは推定アルゴリズムとして、マテリアル情報を算出するための計算式を準備してもよい。

　ディープラーニングとしては、非特許文献１に開示されるネットワークのほか、画像認識などの分野で広く知られるＶＧＧ１６モデル（K. Simonyan、外１名、「Very Deep Convolutional Networks for Large-Scale Image Recognition」、[online]、２０１５年、International Conference on Learning Representations、[令和３年６月３日検索]、インターネット<URL: https://arxiv.org/abs/1409.1556> 参照 ）といったＣＮＮ（Convolutional Neural Network）など、様々なモデルが開発されているため、そのいずれを採用してもよい。

　ディープラーニングを用いる場合、ネットワークの構成や学習させる画像、ひいては用いるデータベースによって、マテリアル情報の推定精度の傾向が様々になる。最も単純には、鏡面反射成分の多い画像について精度が高くなりやすいネットワークやデータベースと、拡散反射成分の多い画像について精度が高くなりやすいネットワークやデータベースを準備した場合、偏光度が高い画像が得られていれば前者を用い、偏光度が低い画像が得られていれば後者を選択する。

　また偏光度に差がある２つの画像が得られたとき、それらを別々のネットワークに入力してもよいし、両者を網羅して精度が得られる１つのネットワークに入力してもよい。３つ以上の入力画像が選択されていれば、それぞれを別のネットワークに入力してもよいし、一部または全部を同じネットワークに入力してもよい。場合によっては、１つの入力画像を複数のネットワークに入力してもよい。アルゴリズム切り替え部６４は画像選択部６２が選択した画像の特性、選択ポリシー、画像の種類などに応じてアルゴリズムを切り替えてもよい。

　またアルゴリズム切り替え部６４は画像選択部６２と同様、偏光度以外に得られている付加情報をアルゴリズムの選択に利用してもよい。すなわちアルゴリズム切り替え部６４は、付加情報の内容や範囲に対し高い精度でマテリアル情報を推定できるアルゴリズムを選択してもよい。この場合、偏光度と付加情報の組み合わせに対し、高い精度が得られる推定アルゴリズムを設定しておく。

　いずれにしろマテリアル情報推定に用いるアルゴリズムを複数準備しておき、偏光度などに基づき適応的に用いることにより、マテリアル情報の精度を可能な限り高めることができる。また、ディープラーニングを用いる場合、入力する画像の特性によってモデルを使い分けることにより、各特性に特化したデータベースを準備すればよくなる。結果として、汎化性のために膨大なデータを学習させる必要がなくなり、データベースや推定処理を簡素化できる。

　推定部６６は、画像選択部６２が選択した入力画像を、アルゴリズム切り替え部６４が指定したアルゴリズムで解析することにより、マテリアル情報を推定する。複数の入力画像やアルゴリズムを用いることにより複数の結果が導出された場合、推定部６６はそれらを統合して最終的なマテリアル情報を決定する。例えば複数の入力画像によってそれぞれの推定結果が出た場合、推定部６６は、推定アルゴリズムによらず、入力画像の偏光度が高いほど、その結果に与える重み係数を大きくして、複数の結果を重みづけ平均する。上述のとおり偏光度が高いほど鏡面反射成分が多くなり、より多くの情報を得られやすいためである。

　あるいは推定部６６は、推定に用いた画像の偏光度と推定アルゴリズムとの組み合わせに基づき決定した重み係数により、複数の結果を重みづけ平均してもよい。例えば偏光度が高いほど、鏡面反射に対し高い推定精度が得られるアルゴリズムによる推定結果の重みを増やす。逆に偏光度が低いほど、拡散反射に対し高い推定精度が得られるアルゴリズムによる推定結果の重みを増やす。対象物の大まかな材質が判明している場合は、アルゴリズムとの相性により結果を取捨選択する。あるいは付加情報によって各アルゴリズムに割り当てる重みを調整したうえで、推定結果の重みづけ平均を算出する。これらの場合、推定部６６には、偏光度の範囲や付加情報の範囲・内容と、各アルゴリズムに対する精度の出やすさなどを対応づけて設定しておき、重み係数の算出に利用する。

　あるいは推定部６６は、複数の推定結果を可視化し、ユーザに最適なものを選択させてもよい。例えば推定部６６は、推定結果である複数のマテリアル情報で対象物を描画した結果を、出力データ生成部６０を介して表示装置１６に表示させ、そのうち実際の対象物に近い画像を選択するユーザ操作を受け付ける。あるいは各画像がどの程度実際の対象物に近いかを、５段階などでユーザに評価させることにより、結果に対する重みを決定したうえ重みづけ平均を算出してもよい。この際、全てのマテリアル情報に対する包括的な評価を受け付けてもよいし、物体色、金属度、表面粗さなどのパラメータごとに評価を受け付けてもよい。

　推定部６６は、最終的に決定したマテリアル情報を、マテリアル情報記憶部５８に格納する。出力データ生成部６０は、マテリアル情報記憶部５８から読み出したマテリアル情報を用いて、それを反映させたオブジェクトや、それを含む表示画像を描画し、表示装置１６に表示させる。上述のとおり当該オブジェクトは様々に考えられ、マテリアル情報以外のモデルデータは、出力データ生成部６０に格納しておく。また出力データ生成部６０は、撮影の開始要求、画像処理のための各種指定、付加情報の登録、マテリアル情報の評価などをユーザから受け付けるための画像や、撮影状態変更のための指示をユーザに与える画像を適宜生成し、表示装置１６に表示させてよい。

　図１０は、本実施の形態で得られる撮影画像について説明するための図である。撮像装置１２は、画像処理装置１０による制御などにより、矢印で示すように位置や姿勢を変化させつつ、時刻ｔ１、ｔ２、ｔ３、ｔ４のタイミングで対象物１５０の偏光画像を撮影する。各時刻で撮影される画像、ひいては撮影状態に、識別番号＃１、＃２、＃３、＃４を与える。撮像面に対し、対象物１５０および光源１５４の少なくともいずれかの角度が異なることにより、撮影画像における鏡面反射成分の大きさが変化する。図の例では、＃２の画像１５２ａでは鏡面反射が少ないが、＃３の画像１５２ｂでは強い鏡面反射が得られている。

　この例では撮像装置１２の位置および姿勢を変化させているが、撮像装置１２以外に対象物１５０の位置や姿勢、光源１５４の状態などを変化させても同様の撮影画像が得られる。画像処理装置１０またはユーザは、撮像装置１２、対象物１５０、光源１５４の少なくともいずれかを、異なる撮影状態が得られるように変化させる。画像処理装置１０が制御する場合、遠隔操作のためのロボットなどの機構を、対象となる装置や物に取り付ける。または光源１５４としての照明を点灯させた状態と消灯させた状態で撮影するように制御してもよい。

　図１１は、ユーザに対象物の角度を変化させるための指示画面を例示している。この場合、画像処理装置１０の撮影画像取得部５０は、出力データ生成部６０を介して指示画面１６０を表示させる。図示する指示画面１６０では、撮像装置１２が撮影している対象物の像１６２を含むリアルタイムでの画像とともに、「対象物の角度を変えて下さい」などの指示文１６４を表示している。ユーザが、指示画面１６０内の対象物の像１６２を見ながら撮像面に対し対象物の角度を変化させることにより、撮像装置１２は、図１０で示したような様々な角度から対象物を撮影できる。

　なお撮影画像取得部５０は同様に、撮像装置１２や照明の位置、姿勢、角度を変化させるような指示画面を表示させてもよい。例えば、ユーザが装着するヘッドマウントディスプレイに撮像装置１２を搭載する態様においては、ユーザ自身が動くことにより、撮像面に対する対象物の角度を変化させることができる。光源を変化させる場合、ユーザに照明を移動させたり、照明のオン／オフを指示したりしてよい。撮像装置１２にフラッシュ撮影の機能がある場合、ユーザまたは画像処理装置１０の制御により、フラッシュをオン／オフさせた状態で撮影してもよい。

　さらに撮影画像取得部５０は、１日の異なる時間帯で同じ対象物を撮影した画像を取得してもよい。屋外での撮影や、日中は窓からの太陽光が主な光源となるような環境においては、朝昼夜などの時間帯で光の強度や光源の種類が変化する。これを利用し、異なる時間帯での撮影により、反射特性に差のある画像を取得できる。以上述べた撮像装置１２、対象物、光源の状態変化は、いずれか１つのみ実施してもよいし、複数のものを組み合わせて実施してもよい。

　図１２は、偏光度取得部５４が生成する偏光度テーブルを例示している。偏光度テーブル１７０は、取得した偏光画像セットの識別情報を、それぞれの偏光度と対応づけたデータである。ここで偏光度は上述のとおり、対象物の像の領域において画素ごとに取得した偏光度を平均した値でもよいし、当該像の領域における偏光度の２次元分布やヒストグラムなどであってもよい。対象物の像の領域に偏光度が高い領域と低い領域が含まれている場合、各領域の位置情報と、それぞれにおける偏光度の平均値などを対応づけてもよい。

　マテリアル情報推定部５６の画像選択部６２は、偏光度テーブル１７０を参照して、マテリアル情報の推定に用いる入力画像や領域を決定する。画像選択部６２は例えば高偏光度の画像として、偏光度の平均値が最大の画像を１つ選択する。この場合、図示する例では、＃３の画像が選択される。あるいは画像選択部６２は、高偏光度の画像を選択するために設定したしきい値ｔ＿ｈより高い偏光度の画像を、枚数を問わず選択してもよい。高偏光度の画像を優先して選択することにより、拡散反射部分と鏡面反射部分の双方が含まれる画像を入力しやすくなり、特に金属度や表面粗さの推定精度を向上させやすい。

　一方、低偏光度の画像をさらに選択することにより、拡散反射による物体色の推定精度をより向上させることができる。この場合、画像選択部６２は例えば、偏光度の平均値が最小の画像をさらに選択する。図示する例では、＃１の画像が選択される。あるいは画像選択部６２は、低偏光度の画像を選択するために設定したしきい値ｔ＿ｌ（ただしｔ＿ｌ＜ｔ＿ｈ）より低い偏光度の画像を、枚数を問わず選択してもよい。

　または画像選択部６２は、偏光度テーブル１７０に表された全ての偏光度の平均値や中央値など、基準の偏光度、あるいは基準となる画像が有する偏光度に対し、所定値Ｄ以上高い偏光度を有する画像と所定値Ｄ’以上低い偏光度を有する画像を選択してもよい。基準値に対する差分Ｄ、Ｄ’は同一でもよいし異なっていてもよい。あるいは画像選択部６２は、偏光度に所定値Ｄ”以上の差がある２つの画像を選択してもよい。

　なおこれまでの説明で述べている「偏光度の高い画像」とはこのように、得られた画像のうち最大の偏光度を有する画像、しきい値ｔ＿ｈより高い偏光度を有する画像、基準となる偏光度より所定値Ｄ以上高い偏光度を有する画像、偏光度に所定値Ｄ”以上差のある画像対のうち偏光度が高い方など、選択基準は様々であってよい。同様に「偏光度の低い画像」とは、得られた撮影画像のうち最小の偏光度を有する画像、しきい値ｔ＿ｌより低い偏光度を有する画像、基準となる偏光度より所定値Ｄ’以上低い偏光度を有する画像、偏光度に所定値Ｄ”以上差のある画像対のうち偏光度が低い方など、選択基準は様々であってよい。以後の説明における「高偏光度画像」、「低偏光度画像」も同じ意味で使用する。

　図１３は、マテリアル情報推定部５６が偏光度に依存して処理内容を切り替えるための設定情報を例示している。図の例で処理内容切り替え設定テーブル１８０は、得られた撮影画像の偏光度の高低と対象物の大まかな材質の組み合わせに、入力すべき画像の種類、および、マテリアル情報推定に用いるべきアルゴリズムを対応づけたデータである。ここで偏光度の高低は、上述のとおり様々な条件が考えられ、実際の撮影画像で満たした条件によって、さらに設定を分岐させてもよい。

　図の例では、偏光度が「高」の画像で大まかな材質が「不明」の場合、入力画像は「鏡面反射画像」とし、推定アルゴリズムとして「ディープラーニング（モデルＡ）」を用いることが設定されている。一方、同じ「高」の偏光度でも、材質が「プラスチック」であることが登録されている場合は、推定アルゴリズムとして「ディープラーニング（モデルＢ）」を用いることが設定されている。材質が「ビニール」の場合は、マテリアル情報に用いるデータを「自然光カラー画像」とし、推定アルゴリズムとして「演算プログラムａ」を用いることが設定されている。ここで「演算プログラム」とは、各マテリアル情報を推定するための計算式を規定したプログラムである。

　偏光度が「低」の画像も同様に設定する。ただし低偏光度画像は拡散反射成分が支配的と推定されるため、入力画像として「自然光カラー画像」を用いることにより、物体色を高精度に推定できる。図の例では、材質が「不明」の場合、偏光度の高低によらず「ディープラーニング（モデルＡ）」を推定アルゴリズムに用いる設定としている。このように、得られた反射特性が異なっていても、場合によって同じアルゴリズムを用いてもよい。一方、偏光度や付加情報によって、それに最適な入力画像の種類やアルゴリズムを設定しておくことにより、ディープラーニングのデータベースを巨大化せずとも、幅広い環境で高精度にマテリアル情報を推定できる可能性が高くなる。

　図１４は、マテリアル情報推定部５６の推定部６６が、マテリアル情報を推定する際に用いるディープラーニングのネットワークを例示している。上段の（ａ）は、自然光のカラー画像を入力画像としてマテリアル情報を推定するネットワークであり、非特許文献１に開示の技術を応用している。具体的には、まずマスクネット（Mask Net）２０２を用いて、カラー画像（RGB Image）２００における対象物の像以外の領域をマスクするマスク画像２０４を生成する。そしてマスク画像２０４を元のカラー画像２００に適用することにより、対象物の像のみを有効化した画像２０６を生成する。

　次にスペキュラネット（Specular Net）２０８を用いて、画像２０６から対象物の鏡面反射画像（Specular Image）２１０を取得する。そして元のカラー画像のうち対象物の像のみを有効化した画像２０６と、対象物の鏡面反射画像２１０を入力データとして、アルベドネット（Albedo Net）２１２により、物体色、金属度、表目粗さなど所定のマテリアル情報を出力する。

　（ｂ）は自然光のカラー画像とともに鏡面反射画像も入力データとして、マテリアル情報を得るネットワークである。マスクネット（Mask Net）２０２を用いてカラー画像（RGB Image）２００からマスク画像２０４を生成し、それにより元のカラー画像２００のうち対象物の像のみを有効化した画像２０６を生成する点は（ａ）と同様である。一方、この場合、偏光画像セットから鏡面反射画像２１４を演算により生成しておくことで、それを推定するスペキュラネット２０８を利用しない。そして（ａ）と同様、元のカラー画像のうち対象物の像のみを有効化した画像２０６と、鏡面反射画像２１４を入力データとして、アルベドネット（Albedo Net）２１２により、物体色、金属性、表目粗さなど所定のマテリアル情報を出力する。

　本実施の形態のマテリアル情報推定部５６は、実際に得られた撮影画像の偏光度や付加情報に基づき、例えば（ａ）、（ｂ）のネットワークのうち、より精度が出やすいネットワークを切り替えて用いる。このため、例えば様々な表面特性の対象物について実験を行い、精度の出やすさの傾向を取得したうえ、図１３に示したような処理内容切り替え設定テーブル１８０において適切なネットワークを設定しておく。なお図示するディープラーニングのネットワークは一例であり、本実施の形態をこれに限る主旨ではない。

　図１５は、図１４の（ａ）、（ｂ）のネットワークを用いてマテリアル情報を推定した結果を比較している。この例では、光沢のないスポンジを対象物とし、その撮影画像２２０から、（ａ）、（ｂ）のネットワークでマテリアル情報を推定している。画像２２２ａおよび画像２２２ｂは、それぞれ（ａ）および（ｂ）のネットワークでの推定結果を用いてウサギのオブジェクトを描画した結果である。両者には見た目にも格段の差があり、対象物がスポンジであることを踏まえれば、画像２２２ａの結果が得られる、（ａ）のネットワークの精度が高いことがわかる。

　図１６は、図１４の（ａ）、（ｂ）のネットワークを用いてマテリアル情報を推定した別の結果を比較している。この例では、光沢のあるプラスチックの板を対象物とし、その撮影画像２２４から、（ａ）、（ｂ）のネットワークでマテリアル情報を推定している。画像２２６ａおよび画像２２６ｂは、それぞれ（ａ）および（ｂ）のネットワークでの推定結果を用いてウサギのオブジェクトを描画した結果である。対象物が光沢のあるプラスチック板であることを踏まえれば、画像２２６ｂの結果が得られる、（ｂ）のネットワークの精度が高いことがわかる。

　図１５、１６に示した実験結果によれば、鏡面反射が得られにくいマットな材質の対象物であれば、鏡面反射画像もディープラーニングで推定する（ａ）のネットワークが有利であることがわかる。一方、鏡面反射が得られやすい光沢のある材質の対象物であれば、あらかじめ偏光画像から鏡面反射画像を生成しておく（ｂ）のネットワークが有利であることがわかる。このような実験に基づき処理内容切り替え設定テーブル１８０を作成し、実際の偏光度に基づき（ａ）、（ｂ）などのネットワークを使い分けることにより、安定して高い精度でマテリアル情報を推定できる。

　図１７は、マテリアル情報推定部５６の推定部６６が、演算によりマテリアル情報を推定する手法の例を説明するための図である。この例では低偏光度画像２３０ａと高偏光度画像２３０ｂを用いるとする。低偏光度画像２３０ａにおいて、対象物の像２３２ａの領域を構成する画素の数をｐ_ｌ、それらの画素値を（Ｃ_ｌ［１］，Ｃ_ｌ［２］，・・・，Ｃ_ｌ［ｐ_ｌ］）とする。また高偏光度画像２３０ｂにおいて、対象物の像２３２ｂのうち偏光度がしきい値より高い領域２３４を構成する画素の数をｐ_ｈ、それらの画素値を（Ｃ_ｈ［１］，Ｃ_ｈ［２］，・・・，Ｃ_ｈ［ｐ_ｈ）とする。このとき物体色Ｃ、金属度Ｍを算出するため、例えば次の計算式を準備する。

　なお物体色Ｃの算出に用いる画素値Ｃ_ｌ［ｐ１］は（Ｒ，Ｇ，Ｂ）の要素を有するカラー値であり、例えば４方向の偏光画像セットにおける対応する画素の値の、要素ごとの平均値である。金属度Ｍの算出に用いる画素値Ｃ_ｌ［ｐ１］、Ｃ_ｈ［ｐ２］は、カラー値でもよいし、ＲＧＢの各値から一般的な変換式で導出できる輝度値Ｙでもよい。すなわち式５は、低偏光度の画素のカラー値の平均を対象物自体のカラー値とし、高偏光度の画素と低画素の画素のカラー値（または輝度値）の差を正規化した値を、金属度とする式である。

　なお低偏光度の画素は、高偏光度画像２３０ｂにおける対象物の像２３２ｂのうち、偏光度がしきい値より高い領域２３４以外の領域にも存在する可能性があるため、高偏光度画像２３０ｂのみから上記計算を行ってもよい。一方、表面粗さＲは、鏡面反射の広がり度合いを意味するため、高偏光度画像２３０ｂにおける、偏光度がしきい値より高い領域２３４の面積、ひいてはそれを構成する画素の数ｐ_ｈを指標として利用できる。例えば画素の数ｐ_ｈと表面粗さＲとを対応づけたテーブルや計算式をあらかじめ作成しておくことで、実際の画素の数ｐ_ｈから直接、表面粗さＲを取得する。

　画素の数ｐ_ｈの代わりに、対象物の像２３２ｂを構成する全画素数に対する、高偏光度の領域２３４の画素の数ｐ_ｈの割合、あるいは面積割合を用いて、表面粗さＲを取得できるようにしてもよい。なおマテリアル情報を導出するための上記計算式は一例であり、本実施の形態をこれに限る主旨ではない。

　図１８は、マテリアル情報が複数セット推定された場合に、推定部６６がそれらを統合して最終的なマテリアル情報を得るための設定情報を例示している。ここでマテリアル情報が複数セット推定される場合とは、複数のアルゴリズムを推定に用いた場合、複数の画像を推定に用いた場合、の少なくともいずれかで発生し得る。この例でアルゴリズムスコアテーブル２４０は、入力画像の偏光度の高低と付加情報の組み合わせに対し、各アルゴリズムがどの程度の精度で推定し得るかをスコアで表したデータである。図においてｋ１、ｋ２、ｋ３、・・・は、実際にはスコアを表す数値である。

　図では一例として、入力画像が「高偏光度」か「低偏光度」か、および、付加情報として得られる対象物の大まかな材質（不明の場合も含む）の組み合わせに対しスコアを設定している。スコアを設定する単位はこれに限らず、入力画像の種類や光源の種類、状態などを導入してもよい。推定部６６は、推定に用いた各アルゴリズムのスコアを、偏光度など該当する条件に基づき抽出し、その和が１となるように正規化することにより、複数の推定結果の重み係数を決定する。たとえば対象物が「プラスチック」の高偏光度画像から「ディープラーニング（モデルＡ）」を用いてマテリアル情報を推定した結果と、同じ対象物の低偏光度の画像から「ディープラーニング（モデルＢ）」を用いてマテリアル情報を推定した結果が存在するとする。

　それぞれのスコアは楕円で示すようにｋ４、ｋ１４である。したがって推定部６６は、前者の結果に対する重み係数をｋ４／（ｋ４＋ｋ１４）、後者の結果に対する重み係数をｋ１４／（ｋ４＋ｋ１４）とする。推定部６６は、そのように決定した重み係数により重みづけ平均を算出することで、最終的なマテリアル情報を導出する。なお重み係数はマテリアル情報の種類によらず共通でもよいし、物体色、金属度、表面粗さなど、種類ごとに異なっていてもよい。後者の場合、図示するようなアルゴリズムスコアテーブル２４０をマテリアル情報の種類ごとに準備する。

　図１９は、マテリアル情報が複数セット推定された場合に、推定部６６がそれらを統合して最終的なマテリアル情報を得るために表示させる、ユーザによる評価画面を例示している。この例で評価画面２５０は、結果画像表示欄２５２とスコア入力ボックス欄２５４を含む。結果画像表示欄２５２は、推定結果の各マテリアル情報を用いて推定部６６が所定のオブジェクトを描画した結果を示す。図の例では３セットのマテリアル情報を用いて３つの結果画像が示されている。

　スコア入力ボックス欄２５４は、ユーザが、各結果画像の見た目の正確性を評価した結果をスコアで入力する欄である。図の例では、画面上部に表した指示文２５６が示すように、５段階のスコアで評価する設定としている。したがってスコア入力ボックス欄２５４には、プルダウン操作などにより１から５までの数値を選択できるスコア入力ボックスを、各結果画像に対応づけて表示する。ユーザは基本的に、対象物の実際の見た目に対し結果画像がどの程度合致しているかを評価し、スコアで示す。ただし評価基準はこれに限らず、マテリアル情報としての好ましさをユーザが主観で評価してもよい。

　推定部６６は、ユーザが入力したスコアを、その和が１となるように正規化することにより推定結果の重み係数を決定し、それを用いて重みづけ平均することで、最終的なマテリアル情報を導出する。なお図示した評価画面２５０は一例であり、表示する結果画像や評価の手段は限定されない。例えばスコア入力ボックス欄２５４は、物体色、金属度、表面粗さなど、マテリアル情報の種類ごとに設けてもよい。また結果画像表示欄２５２として、図３で示したように複数種類のマテリアル情報の値を軸とする座標空間において、対応する位置に結果画像を配置し、ユーザが適切と考える位置座標、すなわちマテリアル情報の値を選択できるようにしてもよい。

　次に、これまで述べた構成で実現できる、画像処理装置１０の動作について述べる。図２０は、本実施の形態において画像処理装置１０のマテリアル情報推定部５６が、マテリアル情報を推定、出力する処理手順を示す。なおこの処理は、主に図４のＳ１６の処理に対応する。ただし図１４に示すように、ディープラーニングを用いてマスク処理を実施する場合、図４のＳ１４の処理を含めてよい。まず撮影画像取得部５０が複数の撮影状態での偏光画像セットを取得し、偏光度取得部５４がそれぞれの偏光度を取得した場合（Ｓ３０のＹ）、画像選択部６２は、所定の基準に従い入力画像を選択する（Ｓ３２）。

　最もシンプルには画像選択部６２は、偏光度取得部５４が順次、偏光画像セットの偏光度を取得していくのと並行してしきい値との比較を行い、高偏光度画像を検出するためのしきい値ｔ＿ｈより高い偏光度の画像が得られた時点で、その画像のみを入力データとする。あるいは画像選択部６２はそれに加え、低偏光度画像を検出するためのしきい値ｔ＿ｌより低い偏光度の画像が得られた時点で、その画像も入力データとする。

　一方、偏光度取得部５４が、全ての撮影状態における画像とその偏光度を対応づけたテーブルを作成する場合、画像選択部６２は、テーブル作成後に入力画像を選択してよい。このとき画像選択部６２は高偏光度画像として、最も高い偏光度の画像、または高偏光度画像を検出するためのしきい値ｔ＿ｈより高い偏光度の画像を選択する。画像選択部６２はそれに加え低偏光度画像として、最も低い偏光度の画像、または低偏光度画像を検出するためのしきい値ｔ＿ｌより低い偏光度の画像を選択してもよい。あるいは画像選択部６２は、基準値より所定値Ｄ以上高い偏光度の画像と所定値Ｄ’以上低い偏光度を有する画像を選択したり、偏光度の差が所定値Ｄ”以上ある２つの画像を選択したりしてもよい。

　なお画像選択の基準は上述のとおり、付加情報や偏光度自体に応じて適応的に切り替えてもよい。画像選択部６２が画像を選択した場合（Ｓ３２）、あるいは元から１つの偏光画像セットのみが得られている場合（Ｓ３０のＮ）、アルゴリズム切り替え部６４は、入力された画像の偏光度に基づき、マテリアル情報の推定に用いるアルゴリズムを選択する（Ｓ３４）。すなわち偏光度から推定される、鏡面反射成分の多さなどに基づき、最も高い精度が得られると予想されるアルゴリズムを選択する。

　画像選択部６２はこの段階で、アルゴリズム切り替え部６４との協働により、偏光度から推定される、鏡面反射成分の多さなどに基づき、入力画像の種類を選択してもよい。ここでの選択肢は上述のとおり、自然光のカラー画像や、偏光画像から生成できる鏡面反射画像、拡散反射画像などである。なお入力画像の種類やアルゴリズムの選択基準には、図１３で示したように、偏光度の大きさに加え、対象物の大まかな材質などの付加情報を利用してもよい。

　複数の画像をマテリアル情報推定に用いる場合、画像ごとに適切なアルゴリズムを選択する（Ｓ３６のＮ、Ｓ３４）。全ての入力画像について推定アルゴリズムを決定したら（Ｓ３６のＹ）、推定部６６は、選択されたアルゴリズムを用いてマテリアル情報を推定する（Ｓ３８）。複数のアルゴリズムや複数の入力画像により、複数セットのマテリアル情報が得られた場合（Ｓ４０のＹ）、推定部６６は、アルゴリズムの確からしさに応じた重みづけ平均などによりそれらを統合し、最終結果を導出する（Ｓ４２）。

　この際、推定部６６は、入力画像の偏光度や、対象物の大まかな材質などの付加情報に基づき、各結果に与える重みを適切に調整する。あるいは推定部６６は、各結果に基づき所定のオブジェクトを描画した結果をユーザに示し、ユーザによる評価結果に基づき重みを調整してもよい。推定部６６は、そのようにして統合した最終的なマテリアル情報をマテリアル情報記憶部５８に出力する（Ｓ４４）。あるいは推定部６６は、Ｓ３８において１セットのみ得られたマテリアル情報を最終結果として、マテリアル情報記憶部５８に出力する（Ｓ４０のＮ、Ｓ４４）。推定部６６は、最終結果自体、あるいはそれを用いて描画したオブジェクトを表す画像を、出力データ生成部６０を介して表示装置１６に表示させてもよい。

　以上述べた本実施の形態によれば、撮影により対象物のマテリアル情報を推定する技術において偏光画像を利用する。具体的には、偏光画像が有する対象物の像の反射特性に基づき、マテリアル情報を推定する処理の内容を適応的に変化させる。例えば偏光度に基づき鏡面反射の強い像を特定し、マテリアル情報の推定に用いる。これにより、金属度や表面粗さなど表面の光沢を表すマテリアル情報を正確に推定できる。また鏡面反射と拡散反射を分離できるため、鏡面反射による像の色を対象物自体の色と混同する可能性が低くなる。

　また偏光度に基づき、マテリアル情報の推定に用いる画像の種類やアルゴリズムを適切に切り替える。これにより、様々な対象物やその像の状態によって推定処理の手段を最適化でき、いかなる環境においても安定した精度でマテリアル情報を推定できる。特にディープラーニングを用いた推定において、異なる特性を有するネットワークやデータベースを適応的に利用できるようにすることで、それぞれが簡素な構成であっても、幅広い環境において高精度にマテリアル情報を推定できる。

　以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　１０　画像処理装置、　１２　撮像装置、　１６　表示装置、　２３　ＣＰＵ、　２４　ＧＰＵ、　２６　メインメモリ、　５０　撮影画像取得部、　５２　画像データ記憶部、　５４　偏光度取得部、　５６　マテリアル情報推定部、　５８　マテリアル情報記憶部、　６０　出力データ生成部、　６２　画像選択部、　６４　アルゴリズム切り替え部、　６６　推定部。

　以上のように本発明は、ゲーム装置、コンテンツ生成装置、携帯端末、監視システム、車載カメラシステム、検品装置、自律ロボットなど各種情報処理装置に利用可能である。

Claims (16)

1. 　対象物および光源の少なくともいずれかの、撮像面に対する角度、または光源の状態を異ならせて、前記対象物を偏光カメラにより撮影した複数の撮影画像を取得する撮影画像取得部と、
   　前記撮影画像のそれぞれにおける前記対象物の像の偏光度を取得する偏光度取得部と、
   　前記偏光度に基づき選択した撮影画像またはそれから得られる画像を用いて、前記対象物のマテリアル情報を推定するマテリアル情報推定部と、
   　を備えたことを特徴とする画像処理装置。
2. 　前記マテリアル情報推定部は、前記偏光度に基づき、推定に用いるアルゴリズムを選択したうえでマテリアル情報を推定することを特徴とする請求項１に記載の画像処理装置。
3. 　前記マテリアル情報推定部は、異なるネットワークまたはデータベースを有する複数のディープラーニングモデル、および計算式のいずれかから、前記アルゴリズムを選択することを特徴とする請求項２に記載の画像処理装置。
4. 　前記マテリアル情報推定部は、前記対象物または光源に係る付加情報に応じて、マテリアル情報の推定に用いる画像の選択ポリシー、および、前記推定に用いるアルゴリズムの少なくともいずれかを変化させることを特徴とする請求項２または３に記載の画像処理装置。
5. 　前記マテリアル情報推定部は、前記偏光度に基づき、推定に用いる画像の種類を切り替えることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
6. 　前記マテリアル情報推定部は、前記偏光度が高いことを示す所定の条件を満たす撮影画像がえられたとき、当該撮影画像から鏡面反射成分を分離してなる鏡面反射画像を推定に用いることを特徴とする請求項５に記載の画像処理装置。
7. 　前記マテリアル情報推定部は、複数の画像を用いてそれぞれにマテリアル情報を推定したとき、推定に用いた画像の前記偏光度に基づき決定した重みで重みづけ平均することにより、最終的なマテリアル情報を算出することを特徴とする請求項１から６のいずれかに記載の画像処理装置。
8. 　前記マテリアル情報推定部は、複数のアルゴリズムを用いてそれぞれにマテリアル情報を推定したとき、推定に用いた画像の前記偏光度と、推定に用いたアルゴリズムとの組み合わせに基づき決定した重みで重みづけ平均することにより、最終的なマテリアル情報を算出することを特徴とする請求項１から７のいずれかに記載の画像処理装置。
9. 　前記マテリアル情報推定部は、複数のマテリアル情報を推定したとき、各マテリアル情報を反映させたオブジェクトを描画したうえ表示装置に表示させ、ユーザからの評価を受け付けることにより決定した重みで重みづけ平均することにより、最終的なマテリアル情報を算出することを特徴とする請求項１から６のいずれかに記載の画像処理装置。
10. 　前記マテリアル情報推定部は、前記偏光度が高いことを示す所定の条件を満たす撮影画像またはそれから得られる画像を優先して、前記マテリアル情報の推定に用いることを特徴とする請求項１から９のいずれかに記載の画像処理装置。
11. 　前記マテリアル情報推定部は、前記偏光度に差があることを示す所定の条件を満たす複数の撮影画像またはそれらから得られる画像を、前記マテリアル情報の推定に用いることを特徴とする請求項１から１０のいずれかに記載の画像処理装置。
12. 　前記マテリアル情報推定部は、前記偏光度に基づき、前記マテリアル情報の推定に用いる画像の数を変化させることを特徴とする請求項１から１１のいずれかに記載の画像処理装置。
13. 　前記撮影画像取得部は、前記角度を変化させながら撮影した動画像のデータからフレームを抽出することにより、前記撮影画像を取得することを特徴とする請求項１から１２のいずれかに記載の画像処理装置。
14. 　前記撮影画像取得部は、ヘッドマウントディスプレイが搭載する前記偏光カメラから、前記複数の撮影画像を取得することを特徴とする請求項１から１３のいずれかに記載の画像処理装置。
15. 　対象物および光源の少なくともいずれかの、撮像面に対する角度、または光源の状態を異ならせて、前記対象物を偏光カメラにより撮影した複数の撮影画像を取得するステップと、
    　前記撮影画像のそれぞれにおける前記対象物の像の偏光度を取得するステップと、
    　前記偏光度に基づき選択した撮影画像またはそれから得られる画像を用いて、前記対象物のマテリアル情報を推定するステップと、
    　を含むことを特徴とするマテリアル情報取得方法。
16. 　対象物および光源の少なくともいずれかの、撮像面に対する角度、または光源の状態を異ならせて、前記対象物を偏光カメラにより撮影した複数の撮影画像を取得する機能と、
    　前記撮影画像のそれぞれにおける前記対象物の像の偏光度を取得する機能と、
    　前記偏光度に基づき選択した撮影画像またはそれから得られる画像を用いて、前記対象物のマテリアル情報を推定する機能と、
    　をコンピュータに実現させることを特徴とするコンピュータプログラム。

Images