JP6319329B2

JP6319329B2 - プレノプティック・カメラを使った表面属性の推定

Info

Publication number: JP6319329B2
Application number: JP2016001845A
Authority: JP
Inventors: モンリンフェイ; ルゥリヤン; バークナーキャサリン; トシッチイヴァナ
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2015-01-09
Filing date: 2016-01-07
Publication date: 2018-05-09
Anticipated expiration: 2036-01-07
Also published as: US9797716B2; CN105790836B; CN105790836A; US20160202048A1; JP2016128816A

Description

本技術は概括的にはオブジェクトのプレノプティック画像からオブジェクトの表面属性を推定することに関する。

フォトメトリック・ステレオ（photometric stereo）は、種々の照明角度のもとで反射光を観察することによりオブジェクトの表面法線および三次元構造を推定するための、コンピュータ・ビジョンにおける技法である。通常のフォトメトリック・ステレオでは、オブジェクトの複数の画像が、種々の照明条件を使って時間的に逐次的に捕捉される。オブジェクトの表面は一般に、ランベルト的（すなわち、完璧な拡散反射体）であると想定される。現実には、多くのオブジェクトはランベルト的ではなく、何らかの鏡面反射をもつ。鏡面反射する表面または何のテクスチャーもない表面についての表面属性を推定することは、フォトメトリック・ステレオの分野においていまだ困難な課題である。いくつかの近年の技法は鏡面反射の問題に取り組もうとしているが、多数の画像取得が必要となる。これは時間がかかり、より複雑なハードウェアを必要とし、（たとえば動いているオブジェクトについて）ビデオに適用するのが難しい。

よって、オブジェクトの表面属性を推定するためによりよい手法が必要とされている。

さまざまな実施形態は、プレノプティック・カメラを使って点源（好ましくはコリメートされた照明）によって照明されるオブジェクトのプレノプティック画像を捕捉することによって従来技術の限界を克服する。プレノプティック画像は、オブジェクトから反射される四次元ライトフィールドのサンプリングである。プレノプティック画像はスーパーピクセルからなり、各スーパーピクセルはサブピクセルからなる。各スーパーピクセルはオブジェクトのある領域（すなわち、x、y空間座標のある範囲）からの光を捕捉し、スーパーピクセル内のサブピクセルはある方向範囲（すなわち、u、v空間方向の範囲）内において伝搬する光を捕捉する。よって、光学的属性推定、表面法線再構成、奥行き／高さ推定および三次元レンダリングが、単一のプレノプティック画像のみを処理することによって提供できる。ある手法では、プレノプティック画像は、オブジェクト表面の双方向反射率分布関数（BRDF: bidirectional reflectance distribution function）を推定するために使われる。

さらに、前記推定を改善するために、異なる照明を使って複数のプレノプティック画像が捕捉されることができる。あるいはまた、表面属性が単一のプレノプティック画像から推定されることができるので、これらの技法は、プレノプティック画像のフレームをもつビデオに適用されることもできる。

他の側面は、上記に関係するコンポーネント、デバイス、システム、改善、方法、プロセス、アプリケーションおよび他の技術を含む。

開示される技術の他の利点や特徴は、以下の詳細な説明および付属の請求項を付属の図面とともに参酌することからより容易に明白となるであろう。
（従来技術）プレノプティック・イメージング・システムを示す図である。Ａ〜Ｃは、コリメートされた源による軸上または軸外れの照明を示す図である。Ａは、室内灯によって照明されるオブジェクトの生のプレノプティック画像であり、ｂはコリメートされた源によって照明される同じオブジェクトの生のプレノプティック画像である。Ａ〜Ｃは、異なる表面配向についてのシミュレートされたスーパーピクセルを示す図である。Ａ〜Ｂは、異なる素材についてのスーパーピクセルを示す図である。ワードBRDFモデルを示す図である。定規カードについての生のプレノプティック画像を示す図である。Ａ〜Ｅは定規カードの種々の属性の擬似色画像である。Ａは定規カードの擬似色の高さマップであり、Ｂは定規カードの三次元レンダリングである。Ａは25セント硬貨の画像であり、Ｂは対応する擬似色の高さマップである。凹面鏡の擬似色の高さマップである。図面は単に例解のための実施形態を描いている。当業者は、以下の議論から、本稿に記載される原理から外れることなく本稿に例解される構造および方法の代替的な実施形態が用いられてもよいことを、容易に認識するであろう。

図面および以下の記述は、単に例としての好ましい実施形態に関する。以下の議論から、本稿に開示される構造および方法の代替的な実施形態が、特許請求されるものの原理から外れることなく用いられうる有望な代替として容易に認識されるであろうことを注意しておくべきである。

図１（従来技術）は、プレノプティック・イメージング・システムの例を示す図である。プレノプティック・イメージング・システム１１０は、主結像光学系１１２（図１では単一のレンズによって表わされている）、副次結像アレイ１１４（像形成要素のアレイ１１５）およびセンサー・アレイ１８０を含む。副次結像アレイ１１４は、マイクロイメージング・アレイと称されることもある。副次結像アレイ１１４およびセンサー・アレイ１８０はまとめてプレノプティック・センサー・モジュールと称されることもある。これらのコンポーネントは、図１ではサブシステム１およびサブシステム２として示されている二つの重なり合う結像サブシステムをなす。

便宜上、結像光学系１１２は図１では単一の対物レンズとして描かれているが、複数の要素を含むこともできることは理解しておくべきである。対物レンズ１１２は像平面IPのところにオブジェクト１５０の光学像１５５を形成する。マイクロイメージング・アレイ１１４が像平面IPのところに位置されており、各マイクロレンズが結像サブシステム１の開口をセンサー・アレイ１８０上に結像する。すなわち、開口とセンサー・アレイは共役面SPおよびSP'に位置されている。マイクロイメージング・アレイ１１４の例は、マイクロレンズ・アレイ、ピンホールのアレイ、マイクロミラー・アレイ、チェッカーボード格子および導波路／チャネル・アレイを含む。マイクロイメージング・アレイ１１４は長方形のアレイ、六角形のアレイまたは他の型のアレイであることができる。センサー・アレイ１８０も図１に示されている。

図１の下部はさらなる詳細を与えている。この例では、マイクロイメージング・アレイ１１５は正方形のマイクロレンズの3×3のアレイである。オブジェクト１５０は、１〜９とラベル付けされている領域の対応する3×3のアレイに分割されている。領域１〜９のそれぞれは、対物レンズ１１２によってマイクロレンズ１１４の一つに結像される。図１の破線の光線は、領域５の対応する中央マイクロレンズへの結像を示している。

各マイクロレンズはこれらの光線をセンサー・アレイ１８０の対応するセクションに結像する。センサー・アレイ１８０は、12×12の長方形アレイとして示されている。センサー・アレイ１８０はA〜Iとラベル付けされたスーパーピクセルに細分されることができ、各スーパーピクセルはマイクロレンズの一つに対応し、よってオブジェクト１５０のある領域にも対応する。図１では、スーパーピクセルEは中央マイクロレンズに対応し、中央マイクロレンズはオブジェクトの領域５に対応する。すなわち、スーパーピクセルE内の諸センサーはオブジェクトの領域５からの光を捕捉する。

各スーパーピクセルはサブピクセルに細分されている。この例では、各スーパーピクセルはサブピクセルの4×4のアレイをもつ。スーパーピクセル内の各サブピクセルは、オブジェクトの同じ領域からの、ただし異なる伝搬角度での光を捕捉する。たとえば、スーパーピクセルE内の左上のサブピクセルE1は領域５からの光を捕捉し、スーパーピクセルE内の右下のサブピクセルE16もそうである。しかしながら、これら二つのサブピクセルはオブジェクトから異なる方向に伝搬する光を捕捉する。このことは、図１において実線の光線から見て取ることができる。三つの実線の光線はみな同じオブジェクト点から発するが、異なるサブピクセルによって捕捉される。これは、各実線の光線はオブジェクトからの異なる方向に沿って伝搬するからである。

換言すれば、オブジェクト１５０は四次元ライトフィールドL(x,y,u,v)を生成する。ここで、Lは空間位置(x,y)から発し、方向(u,v)に伝搬する光線の振幅、強度または他の測度である。センサー・アレイ内の各サブピクセルは、四次元ライトフィールドのある体積からの光を捕捉する。サブピクセルはこの四次元ライトフィールドをサンプリングする。

ある種のプレノプティック・イメージング・システムの設計では、サンプル体積は超立方体である。すなわち、スーパーピクセル内のすべてのセンサーは同じ長方形(x,y)領域からの光を捕捉し、スーパーピクセル内の各サブピクセルは長方形(u,v)領域からの光を捕捉する。しかしながら、これが常に成り立つわけではない。便宜上、スーパーピクセルはオブジェクトのある領域からの光を捕捉するとして記述され（そのスーパーピクセル内のサブピクセルはやや異なる領域からの光を捕捉することがあるが）、サブピクセルはある範囲の伝搬方向からの光を捕捉するものとして記述される（該範囲は異なるサブピクセルについて、あるいはさらには同じサブピクセルによって捕捉される異なる(x,y)点について異なることがあるが）。こうした詳細にかかわらず、プレノプティック・イメージング・システムは、(x,y)空間位置および(u,v)伝搬方向をアレイ１８０内のセンサーにマッピングしてプレノプティック画像１７０を作り出す。これは、(x,y)空間位置をセンサーにマッピングするが(u,v)伝搬方向についての情報を失う通常の像とは対照的である。

プレノプティック像１７０はある種の照明条件のもとでオブジェクトによって作り出される四次元ライトフィールドについての情報を含むので、表面法線、鏡面反射、拡散反射および表面粗さといったオブジェクトの表面属性１９５を推定するために処理モジュール１９０によって処理されることができる。

図２のＡ〜Ｃは、特殊な照明の例を示している。これらの例では、オブジェクトはコリメートされた源によって照明される。図２のＡでは、照明が軸上すなわちオブジェクトに垂直であるよう、ビームスプリッター２１０が使われる。図２のＢ〜Ｃでは、コリメートされた照明は軸外れである。コリメートされた源（すなわち無限遠にある点源）はほんの一例である。他の点源が使用されてもよい。

図３のＡ〜Ｂは、点源照明から帰結する相違を示す写真である。図３のＡは、通常の室内光によって照明されるオブジェクトの生のプレノプティック画像を示している。下の画像は、上の画像における長方形内の領域の拡大である。下の画像内の各円は別個のスーパーピクセルである。これらのスーパーピクセルは、メイン対物レンズが丸い開口をもっているために丸くなっている。これらのスーパーピクセルがかなり一様に照明されていることを注意しておく。対照的に、図３のＢは、コリメートされた源によって照明されるオブジェクトの生のプレノプティック画像を示している。ここでもまた、下の画像は、上の画像における長方形内の領域の拡大である。各スーパーピクセルは、コリメートされた照明の鏡面反射によって引き起こされる明るいスポットをもつ。これは、後述するように、表面法線および三次元再構成のために重要な手がかりとなる。

コリメートされた照明の一つの利点は、オブジェクトの各点が単一の既知の方向からの光によって照明されるということである。こうして、反射光は、オブジェクトの表面属性の良好なインジケーターになる。これは、異なる角度で入射する照明光によって引き起こされる異なる応答によって「ぼかされる」ことがない。図３のＢでは、各スーパーピクセルにおける明るいスポットが、そのスーパーピクセルの鏡面反射の指標であり、該指標が、表面法線、鏡面反射の強さなどを推定するために使用されることができる。図３のＡは、それぞれ異なる角度で入射する光によって作り出される多数の明るいスポットと考えることができる。結果として、明るいスポットは互いに対してシフトしている。個々の明るいスポットは見えず、どの明るいスポットがどの入射光線によって生成されたかも明らかではない。

プレノプティック・カメラは、オブジェクト表面から反射された光の角度情報を捕捉するために使われる。オブジェクト表面は、ある双方向反射率分布関数（BRDF）属性を呈する。つまり、オブジェクトの表面から反射された光は、異なる伝搬方向に沿っては異なる強度を示す。通常のカメラでは、伝搬方向についての情報は失われる。しかしながら、プレノプティック・カメラでは、反射されたビームの伝搬方向についての情報が保存される。点源照明では、各サブピクセルは、特定の伝搬方向に沿ってのオブジェクト表面のBRDF特性をサンプルする。

図４〜図５はこれをさらに説明する。スーパーピクセル内の異なるサブピクセルによって捕捉される光は、オブジェクトの表面の配向に依存する。図４のＡ〜Ｃは、種々の表面配向（すなわち、異なる表面法線）についてのシミュレートされたスーパーピクセルを示す。表面法線が異なる方向に回転させられるとき、鏡面反射の方向が変わるので、スーパーピクセルの応答も変化する。この例では、スーパーピクセル内の明るいスポットの位置が鏡面反射の指標であり、該指標が表面法線の指標である。

スーパーピクセルの応答は、他のパラメータにも依存する。図５のＡ〜Ｂは、いずれもコリメートされた照明のもとでの、二つの異なる材料に対するスーパーピクセル応答を示す。図５のＡはプラスチック・カードである。図５のＢは銅ニッケル（copper-nickel）である。銅ニッケル・オブジェクトはプラスチック・カードより広い応答を引き起こす。

ある手法では、システム応答は材料の表面法線と光学属性の両方を考慮することによってモデル化される。ワード（Ward）BRDFモデルが使われるが、他のBRDFモデルを使うこともできる。ワードBRDFモデルは次のように定義される。

図６に示されるように、ベクトルnおよびlは表面法線および照明方向の単位ベクトルであり、r_i,mはm番目のスーパーピクセルにおけるi番目のサブピクセルのライトフィールド観察方向の単位ベクトルであり、ρ_dおよびρ_sは拡散反射係数および鏡面反射係数であり、βは表面粗さであり、θ_iおよびθ_rは照明およびカメラ観察天頂角であり、δはnと、照明方向と観察方向の間の中間ベクトルhとの間の角度である。式(1)では、n、l、r_i,mベクトルは明示的に呈示されていない。むしろ、θ_i、θ_rおよびδが下記に与えるようにこれらのベクトルに基づいて計算される。

ワード・モデルでは、l、r_i,mベクトルは、システム構成に基づいて既知である。ρ_d、ρ_s、βおよびnは未知パラメータである。表面ベクトルn内の三つの成分n_x、n_yおよびn_zの間には二つの自由度があり、解くべき未知パラメータは合計五つとなる。

r_i,mベクトルはm番目のスーパーピクセルにおけるi番目のサブピクセルによって捕捉されるライトフィールドの方向情報をエンコードする。これは先に述べたように、ライトフィールドの検出器へのマッピングである。ある種の設計では、r_i,mベクトルはすべてのスーパーピクセルについて同じである。しかしながら、これは常に成り立つわけではない。ある手法では、ライトフィールドの検出器へのマッピングは較正によって決定され、これは種々の型の収差を考慮に入れることができる。別の手法では、マッピングはシステム・シミュレーションによって決定できる。

オブジェクト表面またはオブジェクト表面の一部が焦点から外れている場合、これは異なるビューからのサブピクセルの間の視差を導入し、ライトフィールドとサブピクセルとの間のマッピングに影響する。したがって、式(6)で後述する最適化を実行する前に前処理ステップとして、まずこの視差を解消するために光学的またはデジタル的にカメラの焦点を直すことが望ましいことがある。カメラの焦点を直すには、オブジェクトの視差または奥行きを決定することによって始める。オブジェクトの視差または奥行きは、手動で測定される、コンピュータ化された計算に基づいて推定されるまたはイメージ表面（たとえばCADモデル）の先験的な知識として与えられることができる。視差または奥行きを自動的に計算するために、異なるビューの間の視差に基づいて、イメージの鋭さに基づいてなど、種々の方法が使用できる。ひとたびオブジェクトについての視差または奥行きを得たら、それを使って、各スーパーピクセルが同じオブジェクト領域からの光線を集めることを保証するよう光学的またはデジタル的にイメージの焦点を直すことができる。焦点を直す先の面は、基準面と称される。これはのちに後述する高さマップ推定のために使われる。平面状オブジェクトの場合、このプロセスに基づいて基準平面を得る。カメラがある歪み、像面の歪みまたは他の収差をもつ場合、上記較正を使って、所与の光学系について対応する基準面を見出すことができる。したがって、基準面はオブジェクト依存、光学系依存または両者の組み合わせであることができる。

各スーパーピクセルは多数のサブピクセルを含み、各サブピクセルは異なるr_i,mベクトルをもつ。したがって、サブピクセルを処理することは、BRDFを決定するための多数のデータ点があるアプローチである。あるアプローチでは、力づくの方法を使って式(1)の未知数について解く。非線形最適化を使うこともできる。一つの可能な目的関数は

である。ここで、I_i,mはm番目のスーパーピクセルにおけるi番目のサブピクセルの測定値である。この最適化プロセスはすべてのスーパーピクセルについて繰り返され、表面法線、拡散反射係数、鏡面反射係数および表面粗さを与える。もう一つのアプローチは、セグメンテーションまたは材料分類をまず実施し、次いで各クラスについて表面パラメータを推定するというものである。

推定された表面法線に基づいて、オブジェクトの表面の高さマップが復元されることができる。高さマップは典型的には、基準面に対する、オブジェクトの表面上の諸点からの距離として定義される。高さマップを再構成するために、一つのアプローチは

を最小化して、推定された表面法線n_x、n_yおよびn_zに基づいて各ピクセルでの高さマップz(x,y)を得る。フーリエ変換に基づく諸アプローチなど、表面法線から高さマップを再構成する他の方法が使用されることができる。奥行きマップは、基準面の奥行きと推定された高さマップとを組み合わせることによって計算されることもできる。

図７〜図１１はいくつかの例を示している。図７〜図９は、マイクロメーターによって測定されたところによりほぼ5〜10ミクロンの厚さであるインクを使った印刷された定規カード（ruler card）についての例である。定規カードは軸上で照明されている。図７は定規カードについての生のプレノプティック画像を示している。上の画像はプレノプティック画像全体を示し、下の画像は上の画像における長方形内の領域の拡大である。下の画像において、各スーパーピクセルは明確のために丸で囲まれている。鏡面反射によって引き起こされる明るいスポットが見られる。

図８のＡ〜Ｅは、図７のプレノプティック画像から再構成された種々の属性を示している。図８における各画像は、ほぼ12mm×8mmである。図８のＡ〜Ｃはそれぞれ、拡散反射係数ρ_d、鏡面反射係数ρ_sおよび表面粗さβを示している。表面法線ベクトル[n_x,n_y,n_z]は極座標に変換され、それぞれ図８のＤ〜Ｅに示されるように、天頂角および方位角θ_nおよびφ_nを使って表わされる。これらの量から、図９のＡに示されるように、カードの高さマップが再構成されることができる。図９のＢに示されるように、三次元レンダリングが生成されることもできる。高さおよび表面BRDF特性の両方が既知なので、現実的な三次元レンダリングを達成することが可能である。たとえば、三次元空間において表面配向または照明方向を変えることによって、表面の反射も変えられることができる。

図１０のＡは、メリーランド州の25セント硬貨の例を示しており、図１０のＢは対応する再構成された高さマップを示している。表面の傷１０１０が図１０のＢの高さマップにおいて見て取れる。このアプローチは、表面検査用途のために使用できる。

図１１は、フィーチャーのない凹面鏡の再構成された高さマップを示している。図示された長方形の領域は約6mm×4mmである。これはこのアプローチが、オブジェクトがテクスチャーやフィーチャーをもたない、あるいは鏡面反射によって支配されるときでも使用できることを示している。再構成は約0.11度の平均表面法線誤差および約0.3ミクロンの平均奥行き誤差をもつ。

上記の例はさまざまな表面属性を再構成するために単一のプレノプティック画像を使う。このアプローチの一つの利点は、ビデオの各フレームが上記のように処理されうる単一の画像であることから、ビデオが処理できるということである。この技法を用いれば、動いているオブジェクトの表面属性を推定することができる。

複数のプレノプティック画像を使うこともできる。再構成問題を解くために、より多くのプレノプティック画像はより多くのデータ点を与える。あるアプローチでは、複数のプレノプティック画像が時間的に逐次的に捕捉される。各プレノプティック画像は異なる照明条件、たとえば異なる角度から入射するコリメートされた源に対応してもよい。別のアプローチでは、異なるプレノプティック画像は分光的にコーディングされ、または他の仕方でエンコードされる。たとえば、異なる位置における赤、緑および青のコリメートされた源がオブジェクトを同時に照明してもよい。センサー・アレイは異なるセンサー上の諸色フィルター、たとえばベイヤー（Bayer）・パターンを有していてもよい。このようにして、異なる照明条件が同時に捕捉されることができる。あるいはまた、プレノプティック・イメージング・システムにおいて、分光的にコーディングされた開口が使われてもよい。センサー・アレイに対して共役なところに位置されるからである。

本詳細な説明は多くの個別的事項を含むが、これらは本発明の範囲を限定するものではなく、単に種々の例および側面を例解するものとして解釈されるべきである。本発明の範囲は上記で詳細に論じられていない他の実施形態を含むことは理解されるべきである。たとえば、上記の技法は、奥行きを推定するための他の方法と組み合わされることもできる。プレノプティック・イメージング・システムは、たとえば視差から奥行きを抽出することができる。あるアプローチでは、オブジェクトは、フラットフィールド／部屋照明を使って照明されてもよく、オブジェクトのプレノプティック画像が処理されて、奥行きに基づく粗い奥行き推定値を得てもよい。次いでこれが、オブジェクトの点源／コリメートされた照明を使う上記のBRDFベースの方法を使ってより細かい分解能に洗練されることができる。これら二つの方法は、何らかの奥行き分解能基準を与えられて逐次反復的に使われることができる。たとえば、まずBRDF法を使う。奥行きにおける変化が抽出されない場合には、視差法に切り換える。次いで、ある奥行き平面に焦点を合わせ直し、BRDFにより奥行き推定を実行する。あるいはまた、視差法が先に使われてもよい。さらに、他の型の焦点合わせ直しがBRDF法と組み合わされることができる。当業者には明白であろうさまざまな他の修正、変更および変形が、付属の請求項において定義される本発明の精神および範囲から外れることなく、本稿に開示される本発明の方法および装置の構成、動作および詳細になされてもよい。したがって、本発明の範囲は付属の請求項およびその法的な等価物によって定義されるべきである。

代替的な諸実施形態において、本発明の諸側面はコンピュータ・ハードウェア、ファームウェア、ソフトウェアおよび／またはそれらの組み合わせにおいて実装される。装置は、プログラム可能なプロセッサによる実行のために非一時的な機械可読記憶デバイスにおいて有体に具現されたコンピュータ・プログラム・プロダクトにおいて実装されることができ；方法段階は、入力データに対して作用して出力を生成することによって機能を実行するための命令のプログラムを実行するプログラム可能なプロセッサによって実行されることができる。諸実施形態は、データ記憶システム、少なくとも一つの入力装置および少なくとも一つの出力装置からデータおよび命令を受領し、データ記憶システム、少なくとも一つの入力装置および少なくとも一つの出力装置にデータおよび命令を送信するよう結合された少なくとも一つのプログラム可能プロセッサを含むプログラム可能システム上で実行可能な一つまたは複数のコンピュータ・プログラムにおいて有利に実装されることができる。各コンピュータ・プログラムは、高レベル手続き型またはオブジェクト指向プログラミング言語においてまたは望むならアセンブリ言語または機械語において実装されることができる。いずれにせよ、言語はコンパイルされる言語またはインタープリットされる言語であることができる。好適なプロセッサはたとえば、汎用および特殊目的マイクロプロセッサ両方を含む。一般に、プロセッサは読み出し専用メモリおよび／またはランダム・アクセス・メモリから命令およびデータを受領する。一般に、コンピュータは、データ・ファイルを記憶するための一つまたは複数の大容量記憶デバイスを含む。そのようなデバイスは内蔵ハードディスクおよびリムーバブル・ディスクのような磁気ディスク；光磁気ディスクおよび光ディスクを含む。コンピュータ・プログラム命令およびデータを有体に具現するために好適な記憶デバイスは、たとえばEPROM、EEPROMおよびフラッシュ・メモリ・デバイスのような半導体メモリ・デバイス；内蔵ハードディスクおよびリムーバブル・ディスクのような磁気ディスク；光磁気ディスクおよびCD-ROMディスクを含む不揮発性メモリのあらゆる形を含む。上記のいずれも、ASIC（特定用途向け集積回路）および他の形のハードウェアによって捕捉されたり、それに組み込まれたりすることができる。
いくつかの態様を記載しておく。
〔態様１〕
オブジェクトの表面属性を推定するためのコンピュータ・システム上で実装される方法であって：
点源によって照明されるオブジェクトのプレノプティック画像にアクセスする段階であって、前記プレノプティック画像は複数のスーパーピクセルを含み、各スーパーピクセルは前記オブジェクトのある領域から反射された光を捕捉し、各スーパーピクセルは複数のサブピクセルを含み、各サブピクセルはある範囲の伝搬方向にわたって反射された光を捕捉する、段階と；
前記サブピクセルを処理して前記オブジェクトの表面属性を推定する段階とを含む、
コンピュータ実装される方法。
〔態様２〕
前記表面属性は、前記オブジェクトの種々の領域についての表面法線、前記オブジェクトの種々の領域についての鏡面反射、前記オブジェクトの種々の領域についての表面粗さのうちの少なくとも一つを含む、態様１記載のコンピュータ実装される方法。
〔態様３〕
前記サブピクセルを処理することが、前記サブピクセルを処理して前記オブジェクトの双方向反射率分布関数（BRDF）を推定することを含む、態様１記載のコンピュータ実装される方法。
〔態様４〕
前記サブピクセルを処理することが、前記オブジェクトから対応するサブピクセルへの諸領域および伝搬方向のマッピングを使って前記サブピクセルを処理することを含む、態様１記載のコンピュータ実装される方法。
〔態様５〕
前記オブジェクトから対応するサブピクセルへの諸領域および伝搬方向の前記マッピングが前記点源による照明の幾何学的構成に依存し、前記照明の前記幾何学的構成および前記オブジェクトから前記サブピクセルへの前記マッピングの両方が前記サブピクセルを処理する前に既知である、態様４記載のコンピュータ実装される方法。
〔態様６〕
前記プレノプティック画像を捕捉するプレノプティック・イメージング・システムを較正して前記オブジェクトから前記サブピクセルへの前記マッピングを決定する段階をさらに含む、
態様４記載のコンピュータ実装される方法。
〔態様７〕
前記点源がコリメートされた源である、態様１記載のコンピュータ実装される方法。
〔態様８〕
前記オブジェクトの基準面への奥行きを推定する段階をさらに含み、前記オブジェクトの前記表面属性を推定することが、前記基準面に対する前記オブジェクトの前記表面属性を推定することを含む、態様１記載のコンピュータ実装される方法。
〔態様９〕
前記オブジェクトの基準面への奥行きを推定することが、前記プレノプティック画像を捕捉する前記プレノプティック・イメージング・システムの光学的設計に基づく、態様８記載のコンピュータ実装される方法。
〔態様１０〕
前記オブジェクトの基準面への奥行きを推定することが、捕捉された前記プレノプティック画像を処理することに基づく、態様８記載のコンピュータ実装される方法。
〔態様１１〕
前記プレノプティック画像を捕捉する前記プレノプティック・イメージング・システムの焦点を、前記の推定された奥行きに合わせ直し；
前記プレノプティック画像を、前記の推定された奥行きに焦点を合わせ直された前記プレノプティック・イメージング・システムを用いて捕捉することをさらに含む、
態様８記載のコンピュータ実装される方法。
〔態様１２〕
前記サブピクセルを処理することが、単一のプレノプティック画像からの前記サブピクセルを処理して前記オブジェクトの前記表面属性を推定することを含む、態様１記載のコンピュータ実装される方法。
〔態様１３〕
プレノプティック画像にアクセスする段階が、異なる点源幾何構成によって照明される前記オブジェクトの複数のプレノプティック画像にアクセスすることを含み；
前記サブピクセルを処理することが、前記複数のプレノプティック画像からの前記サブピクセルを処理して前記オブジェクトの前記表面属性を推定することを含む、
態様１記載のコンピュータ実装される方法。
〔態様１４〕
前記複数のプレノプティック画像が少なくとも三つのプレノプティック画像を含み、前記表面属性が前記オブジェクトの種々の領域についての表面法線、鏡面反射、表面粗さおよび拡散反射を含む、態様１３記載のコンピュータ実装される方法。
〔態様１５〕
前記複数のプレノプティック画像が分光的にコーディングされ、前記複数のプレノプティック画像が同時に捕捉される、態様１３記載のコンピュータ実装される方法。
〔態様１６〕
前記プレノプティック画像および／または推定された表面属性から前記オブジェクトの高さマップを生成する段階をさらに含む、態様１記載のコンピュータ実装される方法。
〔態様１７〕
前記プレノプティック画像および／または推定された表面属性から前記オブジェクトの三次元レンダリングを生成する段階をさらに含む、態様１記載のコンピュータ実装される方法。
〔態様１８〕
プレノプティック画像にアクセスする段階が、時間的に逐次的に捕捉されたプレノプティック画像のフレームをもつビデオにアクセスすることを含み、
前記サブピクセルを処理することが、前記サブピクセルを処理して前記ビデオの各フレームについて表面属性を推定することを含む、
態様１記載のコンピュータ実装される方法。
〔態様１９〕
オブジェクトの表面属性を推定するためのシステムであって：
点源によって照明されるオブジェクトのプレノプティック画像を捕捉するプレノプティック・イメージング・システムであって、前記プレノプティック画像は複数のスーパーピクセルを含み、各スーパーピクセルは前記オブジェクトのある領域から反射された光を捕捉し、各スーパーピクセルは複数のサブピクセルを含み、各サブピクセルはある範囲の伝搬方向にわたって反射された光を捕捉する、プレノプティック・イメージング・システムと；
前記サブピクセルを処理して前記オブジェクトの表面属性を推定するプロセッサとを有する、
システム。
〔態様２０〕
コンピュータに、
点源によって照明されるオブジェクトのプレノプティック画像にアクセスする段階であって、前記プレノプティック画像は複数のスーパーピクセルを含み、各スーパーピクセルは前記オブジェクトのある領域から反射された光を捕捉し、各スーパーピクセルは複数のサブピクセルを含み、各サブピクセルはある範囲の伝搬方向にわたって反射された光を捕捉する、段階と；
前記サブピクセルを処理して前記オブジェクトの表面属性を推定する段階とを含む方法を実行させるためのコンピュータ・プログラム。

１１０プレノプティック・イメージング・システム
１１２主結像光学系
１１５像形成要素のアレイ
１１４副次結像アレイ
１５０オブジェクト
１５５光学像
１７０プレノプティック像
１８０センサー・アレイ
１９０処理モジュール
１９５表面属性

Claims

オブジェクトの表面属性を推定するためのコンピュータ・システム上で実装される方法であって：
点源によって照明されるオブジェクトのプレノプティック画像にアクセスする段階であって、前記プレノプティック画像は複数のスーパーピクセルを含み、各スーパーピクセルは前記オブジェクトのある領域から反射された光を捕捉し、各スーパーピクセルは複数のサブピクセルを含み、各サブピクセルはある範囲の伝搬方向にわたって反射された光を捕捉する、段階と；
前記複数のスーパーピクセルのそれぞれについて、該スーパーピクセル内のサブピクセルを処理して、該スーパーピクセルに対応する前記オブジェクトの領域についての、少なくとも表面法線を含む表面属性を推定する段階であって、該推定は、該スーパーピクセル内のサブピクセルの値を該スーパーピクセルに対応する領域のモデル化された双方向反射率分布関数（BRDF）に適用することに基づく、段階とを含む、
コンピュータ実装される方法。
前記表面属性はさらに、前記対応する領域についての鏡面反射、前記対応する領域についての表面粗さのうちの少なくとも一つを含む、請求項１記載のコンピュータ実装される方法。
前記サブピクセルを処理することが、前記サブピクセルを処理して前記オブジェクトの双方向反射率分布関数（BRDF）を推定することを含む、請求項１記載のコンピュータ実装される方法。
前記サブピクセルを処理することが、前記オブジェクトから対応するサブピクセルへの諸領域および伝搬方向のマッピングを使って前記サブピクセルを処理することを含む、請求項１記載のコンピュータ実装される方法。
前記オブジェクトから対応するサブピクセルへの諸領域および伝搬方向の前記マッピングが前記点源による照明の幾何学的構成に依存し、前記照明の前記幾何学的構成および前記オブジェクトから前記サブピクセルへの前記マッピングの両方が前記サブピクセルを処理する前に既知である、請求項４記載のコンピュータ実装される方法。
前記プレノプティック画像を捕捉するプレノプティック・イメージング・システムを較正して前記オブジェクトから前記サブピクセルへの前記マッピングを決定する段階をさらに含む、
請求項４記載のコンピュータ実装される方法。
前記点源がコリメートされた源である、請求項１記載のコンピュータ実装される方法。
前記オブジェクトの基準面への奥行きを推定する段階をさらに含み、前記オブジェクトの前記表面属性を推定することが、前記基準面に対する前記オブジェクトの高さを推定することを含む、請求項１記載のコンピュータ実装される方法。
前記オブジェクトの基準面への奥行きを推定することが、前記プレノプティック画像を捕捉する前記プレノプティック・イメージング・システムの光学的設計に基づく、請求項８記載のコンピュータ実装される方法。
前記オブジェクトの基準面への奥行きを推定することが、捕捉された前記プレノプティック画像を処理することに基づく、請求項８記載のコンピュータ実装される方法。
前記プレノプティック画像を捕捉する前記プレノプティック・イメージング・システムの焦点を、前記の推定された奥行きに合わせ直し；
前記プレノプティック画像を、前記の推定された奥行きに焦点を合わせ直された前記プレノプティック・イメージング・システムを用いて捕捉することをさらに含む、
請求項８記載のコンピュータ実装される方法。
前記サブピクセルを処理することが、単一のプレノプティック画像からの前記サブピクセルを処理して前記オブジェクトの前記表面属性を推定することを含む、請求項１記載のコンピュータ実装される方法。
プレノプティック画像にアクセスする段階が、異なる点源幾何構成によって照明される前記オブジェクトの複数のプレノプティック画像にアクセスすることを含み；
前記サブピクセルを処理することが、前記複数のプレノプティック画像からの前記サブピクセルを処理して前記オブジェクトの前記表面属性を推定することを含み、前記複数のプレノプティック画像のそれぞれが、そのサブピクセルを処理して前記オブジェクトの前記表面属性を推定するために十分なデータを含むものである、
請求項１記載のコンピュータ実装される方法。
前記複数のプレノプティック画像が少なくとも三つのプレノプティック画像を含み、前記表面属性が前記オブジェクトの種々の領域についての表面法線、鏡面反射、表面粗さおよび拡散反射を含む、請求項１３記載のコンピュータ実装される方法。
前記複数のプレノプティック画像が分光的にコーディングされ、前記複数のプレノプティック画像が同時に捕捉される、請求項１３記載のコンピュータ実装される方法。
推定された表面法線から前記オブジェクトの高さマップを生成する段階をさらに含む、請求項１記載のコンピュータ実装される方法。
前記プレノプティック画像および／または推定された表面属性から前記オブジェクトの三次元レンダリングを生成する段階をさらに含む、請求項１記載のコンピュータ実装される方法。
プレノプティック画像にアクセスする段階が、時間的に逐次的に捕捉されたプレノプティック画像のフレームをもつビデオにアクセスすることを含み、
前記サブピクセルを処理することが、前記サブピクセルを処理して前記ビデオの各フレームについて表面属性を推定することを含む、
請求項１記載のコンピュータ実装される方法。
オブジェクトの表面属性を推定するためのシステムであって：
点源によって照明されるオブジェクトのプレノプティック画像を捕捉するプレノプティック・イメージング・システムであって、前記プレノプティック画像は複数のスーパーピクセルを含み、各スーパーピクセルは前記オブジェクトのある領域から反射された光を捕捉し、各スーパーピクセルは複数のサブピクセルを含み、各サブピクセルはある範囲の伝搬方向にわたって反射された光を捕捉する、プレノプティック・イメージング・システムと；
複数のスーパーピクセルのそれぞれについて、該スーパーピクセル内のサブピクセルを処理して、該スーパーピクセルに対応する前記オブジェクトの領域についての、少なくとも表面法線を含む表面属性を推定するプロセッサとを有しており、該推定は、該スーパーピクセル内のサブピクセルの値を該スーパーピクセルに対応する領域のモデル化された双方向反射率分布関数（BRDF）に適用することに基づく、
システム。
コンピュータに、
点源によって照明されるオブジェクトのプレノプティック画像にアクセスする段階であって、前記プレノプティック画像は複数のスーパーピクセルを含み、各スーパーピクセルは前記オブジェクトのある領域から反射された光を捕捉し、各スーパーピクセルは複数のサブピクセルを含み、各サブピクセルはある範囲の伝搬方向にわたって反射された光を捕捉する、段階と；
複数のスーパーピクセルのそれぞれについて、該スーパーピクセル内のサブピクセルを処理して、該スーパーピクセルに対応する前記オブジェクトの領域についての、少なくとも表面法線を含む表面属性を推定する段階であって、該推定は、該スーパーピクセル内のサブピクセルの値を該スーパーピクセルに対応する領域のモデル化された双方向反射率分布関数（BRDF）に適用することに基づく、段階とを含む方法を実行させるためのコンピュータ・プログラム。