WO2024106468A1

WO2024106468A1 - 三次元再構成方法、及び三次元再構成システム

Info

Publication number: WO2024106468A1
Application number: PCT/JP2023/041096
Authority: WO
Inventors: 淳雨李; 泰輔橋本; 叡一松元
Original assignee: 株式会社Preferred Networks
Priority date: 2022-11-18
Filing date: 2023-11-15
Publication date: 2024-05-23

Abstract

オブジェクトの再構成精度を高くすることができる三次元再構成方法を提供する。三次元再構成方法は、構造化光が投影された実際のオブジェクトを少なくとも第１視点と第２視点から撮影することで得られる、それぞれの視点の画像を取得し、前記構造化光の投影パターンに基づいて、前記構造化光が投影された前記実際のオブジェクト表面上の同一点に対応する、前記第１視点の画像中の画素、及び、前記第２視点の画像中の画素、を、それぞれ、第１画素及び第２画素として特定し、前記オブジェクトの三次元形状を再構成するオブジェクト形状ニューラルネットワークにおける現在のパラメータに基づき、前記オブジェクト形状ニューラルネットワークで再構成された前記オブジェクトの表面上の、前記第１画素に対応する第１座標及び前記第２画素に対応する第２座標を計算し、前記第１座標及び前記第２座標を少なくとも用いて、前記オブジェクト形状ニューラルネットワークのパラメータを更新する。

Description

三次元再構成方法、及び三次元再構成システム

　本開示は、三次元再構成方法、及び三次元再構成システムに関する。

　従来、カメラにより異なる方向からオブジェクトを撮影して得られる複数の画像に基づき、オブジェクトの三次元モデルを生成する三次元再構成方法が知られている。このような三次元再構成方法は、３ＤＣＧ（3 Dimensional Computer Graphics）等において使用される。

　また、ニューラルネットワークを用いたボリュームレンダリングにより、三次元再構成を行う技術が存在している。

Peng Wang他、「35th Conference on Neural Information Processing Systems」,16,December,2021、インターネット＜URL：https://arxiv.org/pdf/2106.10689.pdf＞、インターネット＜URL：https://lingjie0206.github.io/papers/NeuS/index.htm＞

　しかしながら、従来の三次元再構成方法では、オブジェクトが単色テクスチャレスのものである場合等に、オブジェクトの再構成精度が低い場合がある。

　本開示は、オブジェクトの再構成精度を高くすることができる三次元再構成方法及び三次元再構成システムを提供することを目的とする。

　本開示の実施形態の一観点に係る三次元再構成方法は、構造化光が投影された実際のオブジェクトを少なくとも第１視点と第２視点から撮影することで得られる、それぞれの視点の画像を取得し、前記構造化光の投影パターンに基づいて、前記構造化光が投影された前記実際のオブジェクト表面上の同一点に対応する、前記第１視点の画像中の画素、及び、前記第２視点の画像中の画素、を、それぞれ、第１画素及び第２画素として特定し、前記オブジェクトの三次元形状を再構成するオブジェクト形状ニューラルネットワークにおける現在のパラメータに基づき、前記オブジェクト形状ニューラルネットワークで再構成された前記オブジェクトの表面上の、前記第１画素に対応する第１座標及び前記第２画素に対応する第２座標を計算し、前記第１座標及び前記第２座標を少なくとも用いて、前記オブジェクト形状ニューラルネットワークのパラメータを更新する。

　本開示によれば、オブジェクトの再構成精度を高くすることができる三次元再構成方法及び三次元再構成システムを提供できる。

実施形態に係る三次元再構成システムの全体構成例の図である。第１実施形態に係る制御装置の機能構成例の図である。図２の制御装置におけるモデル生成部の機能構成例の図である。構造化光の投影パターン例の図である。第１カメラ及び第２カメラによる撮影画像例の図である。構造化光が投影されていないオブジェクトの撮影画像例の図である。三次元シーンの一例を説明する図である。第１画像及び第２画像における対応画素の特定結果例の図である。対応画素と対応座標との関係の一例を説明する図である。図２の制御装置による処理例のフローチャートである。図２の制御装置のレンダリング部による処理例のフローチャートである。図２の制御装置のモデル出力部による処理例のフローチャートである。第２実施形態に係る制御装置の機能構成例の図である。図１３の制御装置におけるモデル生成部の機能構成例の図である。第２実施形態に係る第１損失の一例を説明する図である。第２実施形態に係る第２損失の一例を説明する図である。図１３の制御装置による処理例のフローチャートである。実施形態に係る制御装置のハードウェア構成例のブロック図である。

　以下、添付図面を参照しながら実施形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は適宜省略する。

　［実施形態］
　＜三次元再構成システム１００の全体構成例＞
　図１を参照して、本実施形態に係る三次元再構成システム１００の構成を説明する。図１は、三次元再構成システム１００の全体構成の一例を示す図である。図１において、Ｘ方向、Ｙ方向及びＺ方向は互いに垂直な方向である。Ｚ方向は載置面の法線方向であり、典型的には鉛直方向である。Ｚ正方向側を上側、Ｚ負方向側を下側と表記する。Ｘ方向及びＹ方向は載置面の延在方向であり、典型的には水平方向である。

　図１に示すように、三次元再構成システム１００は、支持台２と、第１カメラ３と、第２カメラ４と、回転部５と、投影部６と、制御装置７０と、を有する。なお、支持台２及び回転部５は必須の構成部ではなく、三次元再構成システム１００が必ずしも有さなくてよい。

　三次元再構成システム１００は、第１カメラ３及び第２カメラ４により、異なる方向からオブジェクト１０を撮影した複数の画像に基づき、オブジェクト１０の三次元モデルを生成する。オブジェクト１０としては、例えば図１に例示されるテクスチャレスな円筒オブジェクトの他、上面視において支持台２の外縁の内側に載置可能なサイズを有する任意の形状のもの等が挙げられる。

　本明細書及び特許請求の範囲において、「オブジェクト」には、現実に存在して三次元再構成の対象となる物体、すなわち被写体と、この被写体を撮影した複数の画像に基づき再構成されたものと、の両方が含まれる。「オブジェクト」が現実に存在する被写体を指すか、或いは再構成されたものを指すかは、文脈に応じて適宜区別できる。例えば、「オブジェクトを支持台に載置する」等の現実空間におけるオブジェクトの取り扱いを示す場合には、「オブジェクト」は現実に存在する被写体を意味する。一方、「オブジェクトを記憶する」又は「オブジェクトを再構成する」等の仮想空間におけるオブジェクトの取り扱いを示す場合には、「オブジェクト」は現実に存在する被写体を再構成したものを意味する。「実際のオブジェクト」は、現実に存在して三次元再構成の対象となる被写体に対応する。

　支持台２は、オブジェクト１０を上面２Ａに載置し、回転させる台座である。支持台２は、アクリル板等の透明板である。支持台２は透明板であるので、図２に示すように上面２Ａの裏側となる下面２Ｂからも、上面２Ａに載置されたオブジェクト１０を撮影可能である。三次元再構成システム１００は、支持台２に透明板を用いることにより、オブジェクト１０を全方位から撮影できるため、情報の欠落がないオブジェクト１０の三次元再構成情報を得ることができる。

　第１カメラ３及び第２カメラ４のそれぞれは、上面２Ａに載置されたオブジェクト１０を異なる方向から撮影可能なカメラの一例である。第１カメラ３は、支持台２の上面２Ａ側の方向に設置され、上面２Ａに対する斜め上方向からオブジェクト１０に向けられてオブジェクト１０を撮影可能である。第１カメラ３は、異なる傾斜角度でそれぞれ設置される。なお、カメラの個数は、１以上であればよい。

　第２カメラ４は、第１カメラ３の下方に設置され、第１カメラ３よりも下方からオブジェクト１０に向けられてオブジェクト１０を撮影可能である。第２カメラ４は、異なる傾斜角度でそれぞれ設置される。

　第１カメラ３及び第２カメラ４のそれぞれは、オブジェクト１０のＲ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の各色を含むＲＧＢ画像を撮影できる、いわゆるＲＧＢカメラであってもよいが、これに限定されない。例えば赤外線カメラであってもよい。

　図１において、第１カメラ３から延びる破線の矢印は、第１カメラ３からのある１つの視線の方向である第１視線方向ベクトルｖ１を表している。第１視線方向ベクトルｖ１は、第１視点に対応する。第２カメラ４から延びる破線の矢印は、第２カメラ４からのある１つの視線の方向である第２視線方向ベクトルｖ２を表している。第２視線方向ベクトルｖ２は、第２視点に対応する。本明細書では、第１視線方向ベクトルｖ１と第２視線方向ベクトルｖ２を区別しない場合は、視線方向ベクトルｖとして総称表記する場合がある。

　本実施形態では、「カメラ」は、オブジェクト１０のＲＧＢ画像を撮像できる要素を意味する。この「カメラ」は、カメラ装置全体や、カメラ装置に内蔵されるＣＭＯＳセンサや深度センサなどのセンサ類や、単体で用いられるセンサを包含している。この「カメラ」は、オブジェクト１０に投影された構造化光６０を撮影できるように、構造化光６０に含まれる投影パターンの空間周波数に応じた空間分解能を有することが好ましい。例えば本実施形態では、空間周波数が高い構造化光６０を撮影できるように、４Ｋカメラ等の高空間分解能のカメラを使用することが好ましい。

　第１カメラ３及び第２カメラ４のそれぞれは、内部パラメータと、外部パラメータと、を有する。内部パラメータは各カメラが備えるレンズの歪曲に関連する情報等を含む。本実施形態では、内部パラメータは、シミュレーション結果等に基づき既知である。外部パラメータは、各カメラの姿勢（ポーズ）に関する情報等を含む。カメラの姿勢は、所定の基準に対するカメラの相対姿勢と、世界座標系における絶対姿勢と、を含む。なお姿勢とは、位置と向きを含む。またカメラの姿勢は、各カメラに含まれるレンズ等の光学系の光軸の傾きに対応する。外部パラメータは、シミュレーション結果等に基づき既知であるか、或いは三次元再構成システム１００による再構成動作ごとに任意の方法によって計算可能である。本実施形態では、外部パラメータはシミュレーション結果等に基づき既知である場合を例示する。

　回転部５は、支持台２を回転させることにより、オブジェクト１０を回転させる。回転部５は、例えば支持台２を矢印２０方向に回転させる。第１カメラ３及び第２カメラ４のそれぞれは、回転部５による複数の回転角度ごとにオブジェクト１０を撮影することにより、異なる方向からオブジェクト１０の画像を撮影できる。

　回転部５の機構には公知の動力伝達系を使用できる。例えば、回転部５はモータとギヤ機構とを有する。回転部５は、モータの駆動力がギヤ機構を介して支持台２の回転軸に伝達されるように構成されてもよい。或いは回転部５は、支持台２の外縁部に駆動力を付与して支持台２を回転させるように構成されてもよい。

　投影部６は、実際のオブジェクト１０に構造化光６０を投影する。構造化光６０は、所定のパターンを有する光である。図１に示した例では、構造化光６０は、それぞれがＺ方向、換言すると縦方向、に延伸する線状パターンであって、Ｚ方向に直交する方向、換言すると横方向、に並んで配置される複数の線状パターンを含んでいる。構造化光６０に含まれる線状パターンの延伸方向と直交する方向における断面光強度分布の形状は、ここでは略矩形状であるが、略正弦波状等の他の形状であってもよい。縦方向は第１の方向の一例であり、横方向は第２の方向の一例である。ここでの構造化光６０の投影パターンは、横方向において所定の空間周波数を有する。投影部６が構造化光６０を投影することにより、実際のオブジェクト１０の表面上には、構造化光６０が有する所定のパターンが投影される。

　本実施形態では、構造化光６０は、所定の複数の投影パターンを有してもよい。複数の投影パターンは、例えば複数の画像から構成される。構造化光６０は、線状パターンの空間周波数が互いに異なる複数の投影パターンを有してもよい。或いは、構造化光６０は、線状パターンが延伸する向きが互いに異なる複数の投影パターンを有してもよい。投影パターンの画像の各画素（各画素の位置）は、複数の投影パターンに符号化（エンコード）でき、構造化光６０の各投影パターンが投影された状態で撮影された各画像に含まれる投影パターンを復号化（デコード）することで、撮影された画像の各画素が投影パターンの画像のどの画素に対応するかが計算できる。本実施形態では、構造化光６０の所定の複数の投影パターンに基づいて、第１カメラ３及び第２カメラ４のそれぞれにより撮影された画像の各画素が投影パターンの画像のどの画素に対応するかが計算できるので、これら複数の投影パターンを手掛かりに、互いにオブジェクト表面上の同一点に対応する、第１カメラ３により撮影された第１画像における第１画素と、第２カメラ４により撮影された第２画像における第２画素と、を対応付けることができる。但し、構造化光６０は、上記の第１画素と第２画素とを対応付けることができれば、必ずしも複数の画像で構成される複数の投影パターンを有さなくてもよく、１つの画像で構成される複数の投影パターンを有してもよい。

　本実施形態では、構造化光６０は、それぞれが横方向に延伸する線状パターンであって、縦方向に並んで配置される複数の線状パターンを含んでもよい。この場合の構造化光６０の投影パターンは、縦方向において所定の空間周波数を有する。

　また、本実施形態では、構造化光６０が、それぞれが縦方向に延伸し、横方向に並んで配置される複数の線状パターンと、それぞれが横方向に延伸し、縦方向に並んで配置される複数の線状パターンの、それぞれを含んでもよい。これにより、カメラの姿勢が正確であれば前者の複数の線状パターンとエピポーラ線が求まれば対応点を確定できるところ、カメラの姿勢がそれほど正確ではなくとも前者の複数の線状パターンと後者の複数の線状パターンの両方を用いることで、上記の第１画素と第２画素との対応付け精度を高くすることができる。なお、構造化光６０は、縦方向及び横方向のそれぞれに延伸する線状パターンに代えて、あるいはこれらに加えて、斜め方向に延伸する線状パターンを含んでもよいし、円状パターン、曲線状パターン等の線状パターン以外のパターンを含んでもよい。また、構造化光６０によって投影されるパターンは、所定の幾何学模様が繰り返されるパターンに限られず、上記エンコードが可能なパターンであればよい。

　なお、構造化光６０については、別途、図４も参照して詳述する。

　投影部６は、第１カメラ３及び第２カメラ４のそれぞれが、実際のオブジェクト１０に投影された構造化光６０を撮影できるように、実際のオブジェクト１０に構造化光６０を投影する。例えば、図１に示すように、投影部６は、第１カメラ３と第２カメラ４との間に配置され、この位置から実際のオブジェクト１０に構造化光６０を投影する。投影部６は、特に第１カメラ３及び第２カメラ４による撮影画像内においてオブジェクト１０表面に投影された構造化光６０の陰影が無くなるように、第１カメラ３及び第２カメラ４の設置位置に応じて配置されることが好ましい。

　投影部６は、第１カメラ３及び第２カメラ４それぞれによる撮影に同期して構造化光６０を実際のオブジェクト１０に投影する。例えば、投影部６は、第１カメラ３及び第２カメラ４それぞれによる撮影における露光に同期して構造化光６０を実際のオブジェクト１０に投影する。投影部６による投影と、第１カメラ３及び第２カメラ４それぞれによる撮影と、が同期することで、三次元再構成システム１００は、所望のパターンが投影された実際のオブジェクト１０の撮影画像を取得できる。なお、構造化光６０の投影と各カメラによる撮影とを厳密に同期することを不要とするべく、各カメラによる撮影を静止画撮影ではなく動画撮影で行ってもよい。

　投影部６は、例えば、所定のパターンを含む画像を投影可能なプロジェクタである。或いは、投影部６は、所定のパターンを表示する液晶パネルや有機ＥＬ（Electro Luminescence）パネル等の表示部と、表示部に光を照射する光源と、を組み合わせて構成されてもよい。また、投影部６は、１以上のプロジェクタ、表示部及び光源の１以上の組合せ等を含んで構成されてもよい。複数のパターンを有する構造化光６０を投影する観点では、投影部６は、投影パターンを容易に変更可能なものであることが好ましい。

　制御装置７０は、三次元再構成システム１００の動作を制御する。具体的には、制御装置７０は、投影部６による投影動作、第１カメラ３及び第２カメラ４によるオブジェクト１０の撮影動作等を制御する。また、制御装置７０は、オブジェクト１０の撮影画像に基づき、オブジェクト１０の三次元モデルを生成することにより、オブジェクト１０を再構成する。本実施形態では、制御装置７０は、第１カメラ３及び第２カメラ４により撮影された複数のＲＧＢ画像に基づき、オブジェクト１０の再構成情報を出力するように構成されている。

　三次元再構成システム１００は、上記の構成部の他、オブジェクト１０に光を照明する照明部等、他の構成部をさらに有してもよい。照明部は、特に第１カメラ３及び第２カメラ４による撮影画像内においてオブジェクト１０の表面の陰影が無くなるように、第１カメラ３及び第２カメラ４の設置位置に応じて配置されることが好ましい。

　［第１実施形態］
　＜制御装置７０の機能構成例＞
　図２は、第１実施形態に係る制御装置７０の機能構成の一例を示すブロック図である。制御装置７０は、投影制御部７０１と、撮影制御部７０２と、姿勢取得部７０３と、モデル生成部７０４と、を有する。これら各機能は、ＣＰＵ（Central Processing Unit）等のプロセッサ又は電気回路によって実現される他、１以上の電気回路又は１以上のプロセッサによって実現されてもよい。また上記各機能は、制御装置７０と、制御装置７０以外の構成部と、の分散処理によって実現されてもよい。

　投影制御部７０１は、投影部６の動作を制御する。例えば、投影制御部７０１は、第１カメラ３及び第２カメラ４のそれぞれによる撮影に同期して、オブジェクト１０に所定のパターンを有する構造化光を投影するように投影部６の動作を制御する。

　撮影制御部７０２は、回転部５による回転中に、第１カメラ３及び第２カメラ４によりオブジェクト１０を撮影して複数の画像を取得するように、回転部５、第１カメラ３、第２カメラ４の各動作を制御する。なお、撮影制御部７０２は、照明の制御を行ってもよい。

　姿勢取得部７０３は、予め取得され、メモリに記憶された第１カメラ３及び第２カメラ４それぞれの姿勢情報を取得する。

　モデル生成部７０４は、第１カメラ３及び第２カメラ４によるオブジェクト１０の複数の撮影画像と、姿勢取得部７０３により取得された第１カメラ３及び第２カメラ４それぞれの姿勢に関する情報と、に基づき、オブジェクト１０の三次元モデルを生成することにより、オブジェクト１０を再構成する。モデル生成部７０４は、生成したオブジェクト１０の三次元モデルをオブジェクト１０の再構成情報として出力する。三次元モデルは、オブジェクト１０だけを表現したものでも、オブジェクト１０を含むシーンそのものを表現したものでもよい。本実施形態では、モデル生成部７０４は、三次元情報をレンダリングして得られた画像と、撮影画像と、の誤差（すなわち損失）に基づく機械学習による方法で、オブジェクト１０を再構成する。

　また、本実施形態では、モデル生成部７０４は、構造化光６０が投影された実際のオブジェクト１０の画像を、少なくとも第１視点（例えば、図１の第１視線方向ベクトルｖ１を含む視点）と第２視点（例えば、図１の第２視線方向ベクトルｖ２を含む視点）とを含む２視点分、取得する。モデル生成部７０４は、構造化光６０の投影パターンに基づいて、構造化光６０が投影された実際のオブジェクト１０表面上の同一点に対応する、第１視点の画像中の第１画素、及び、第２視点の画像中の第２画素、を特定する。モデル生成部７０４は、オブジェクト１０の三次元形状を再構成するオブジェクト形状ニューラルネットワーク（以下、オブジェクト形状ＮＮ（Neural Network）という）における現在のパラメータθに基づき、オブジェクト形状ＮＮで再構成されたオブジェクト１０の表面上において、第１画素に対応する第１座標、及び、第２画素に対応する第２座標を計算する。第１座標及び第２座標は、三次元座標である。モデル生成部７０４は、第１座標及び第２座標を少なくとも用いて、オブジェクト形状ＮＮのパラメータを更新する。すなわち、モデル生成部７０４は、後述されるように、オブジェクト形状ＮＮによって再構成されるオブジェクト１０の三次元形状に関し、第1画素に対応するオブジェクト１０の表面上の点と、第２画素に対応するオブジェクト１０の表面上の点と、が一致するように、オブジェクト形状ＮＮのパラメータを更新する。なお、第１座標及び第２座標を用いてオブジェクト形状ＮＮのパラメータを更新する、とは、第１座標及び第２座標の三次元座標の情報をオブジェクト形状ＮＮのパラメータ更新に関する損失関数に直接的に組み込むこと、および、第１座標及び第２座標の三次元座標に基づいて得られる別の情報をオブジェクト形状ＮＮのパラメータ更新に関する損失関数に組み込むことを概念的に含む。例えば、第１座標及び第２座標の三次元座標を二次元平面に投影して得られる二次元座標の情報をオブジェクト形状ＮＮのパラメータ更新に関する損失関数に組み込むことがこの概念に含まれる。

　また、本実施形態では、モデル生成部７０４は、構造化光６０が投影されていない実際のオブジェクト１０の画像を、少なくとも２視点分、さらに取得してもよい。モデル生成部７０４は、オブジェクト形状ＮＮにおける現在のパラメータθ、及び、オブジェクト１０の色を表現するオブジェクト色ニューラルネットワーク（以下、オブジェクト色ＮＮという）における現在のパラメータφに基づき、オブジェクト形状ＮＮ及びオブジェクト色ＮＮで表現されたオブジェクト１０の色をさらに計算する。モデル生成部７０４は、計算されたオブジェクト１０の色に関する情報を用いてオブジェクト形状ＮＮ及びオブジェクト色ＮＮのパラメータをさらに更新する。構造化光６０が投影されていない実際のオブジェクト１０の画像をオブジェクト形状ＮＮの更新に用いることで、構造化光６０がうまく投影されにくい透明や金属の材質のオブジェクト１０の形状を学習することができる。

　＜モデル生成部７０４の機能構成例＞
　次に、図３～図９を参照して、モデル生成部７０４の機能構成について説明する。図３は、モデル生成部７０４の機能構成の一例を示すブロック図である。図４は、構造化光６０の投影パターンの一例を示す図である。図５は、第１カメラ３及び第２カメラ４それぞれによる撮影画像の一例を示す図である。図６は、構造化光６０が投影されていないオブジェクトの撮影画像の一例を示す図である。図７は、三次元シーン５５の一例を説明する図である。図８は、第１画像３０及び第２画像４０における対応画素の特定結果の一例を説明する図である。図９は、対応画素と対応座標との関係の一例を説明する図である。

　図３に示すように、モデル生成部７０４は、取得部４１と、オブジェクトデータ記憶部４２と、レンダリング部４３と、対応画素特定部４４と、対応座標計算部４５と、モデル更新部４６と、モデル出力部４７と、を有する。

　取得部４１は、構造化光６０が投影された実際のオブジェクト１０の画像を、少なくとも第１視点と第２視点とを含む２視点分、取得する。具体的には、取得部４１は、図２に示した撮影制御部７０２を介して、第１カメラ３より撮影された第１画像３０を第１視点の画像として取得する。また、取得部４１は、撮影制御部７０２を介して、第２カメラ４により撮影された第２画像４０を第２視点の画像として取得する。

　図４に示す例では、構造化光６０は、構造化光６０－１、構造化光６０－２、・・・、及び構造化光６０－ＮからなるＮ通りの投影パターンを含む。構造化光６０－１、構造化光６０－２、・・・、及び構造化光６０－Ｎは、それぞれ縦方向に延伸する線状パターンを含み、各線状パターンの空間周波数が相互に異なっている。各線状パターンの空間周波数は、構造化光６０－１、構造化光６０－２、・・・、構造化光６０－Ｎの順に高くなっている。

　投影部６は、第１カメラ３及び第２カメラ４による撮影に同期させ、構造化光６０－１、構造化光６０－２、・・・、及び構造化光６０－Ｎを順次、オブジェクト１０に投影する。第１カメラ３は、異なる投影パターンの構造化光６０（６０－１、６０－２、・・・、６０－Ｎ）が投影されたオブジェクト１０の第１画像３０（３０－１、３０－２、・・・、３０－Ｎ）を撮影する。第２カメラ４は、異なる投影パターンの構造化光６０（６０－１、６０－２、・・・、６０－Ｎ）が投影されたオブジェクト１０の第２画像４０（４０－１、４０－２、・・・、４０－Ｎ）を撮影する。

　図５において、第１画像３０は、第１画像３０－１、第１画像３０－２、・・・、及び第１画像３０－Ｎを含む。第１画像３０－１は、構造化光６０－１が投影された状態のオブジェクト１０を撮影した撮影画像である。第１画像３０－２は、構造化光６０－２が投影された状態のオブジェクト１０を撮影した撮影画像である。第１画像３０－Ｎは、構造化光６０－Ｎが投影された状態のオブジェクト１０を撮影した撮影画像である。他の第１画像３０についても同様である。

　第２画像４０は、第２画像４０－１、第２画像４０－２、・・・、及び第２画像４０－Ｎを含む。第２画像４０－１は、構造化光６０－１が投影された状態のオブジェクト１０を撮影した撮影画像である。第２画像４０－２は、構造化光６０－２が投影された状態のオブジェクト１０を撮影した撮影画像である。第２画像４０－Ｎは、構造化光６０－Ｎが投影された状態のオブジェクト１０を撮影した撮影画像である。他の第２画像４０についても同様である。

　なお、本明細書では、第１画像３０及び第２画像４０のそれぞれがＲＧＢ画像である例を示すが、これに限定されず、第１画像３０及び第２画像４０のそれぞれはモノクロ画像やグレースケール画像であってもよい。第１画像３０及び第２画像４０のそれぞれは１画素あたり３階調以上の階調を持つ画像であってよい。

　本明細書に示す例では、三次元再構成システム１００は、図１に示した支持台２を所定角度刻みで間欠的に回転させる（例えば３０°刻みで１周３６０°回転させる）ことにより、支持台２上のオブジェクト１０を所定角度刻みで間欠的に回転させる。三次元再構成システム１００は、所定角度ごとにオブジェクト１０の回転を停止させた各状態において、Ｎ通りのパターンの構造化光６０が投影されたオブジェクト１０を、第１カメラ３及び第２カメラ４により撮影する。取得部４１は、上記の所定角度ごとで、Ｎ個の第１画像３０とＮ個の第２画像４０とを取得する。

　三次元再構成システム１００は、オブジェクト１０を回転させ、所定角度ごとで撮影を行うことにより、複数の撮影方向からオブジェクト１０を撮影することができる。つまり、三次元再構成システム１００は、第１カメラ３及び第２カメラ４の２視点に対し、オブジェクト１０に対する視点数をさらに増やして撮影画像を取得できる。視点数が増えることで、三次元再構成の精度を高くすることができる。但し、三次元再構成システム１００は、オブジェクト１０を回転させず、カメラの数を増やす、あるいは、カメラをオブジェクト１０の周りに間欠的に回転させることでオブジェクト１０に対する視点の数を増やしてもよい。また、三次元再構成システム１００は、間欠的な回転に限らず、連続的にオブジェクト１０を回転させて撮影を行ってもよい。

　また、本実施形態では、取得部４１は、構造化光が投影されていない実際のオブジェクト１０の画像を、少なくとも１視点分、さらに取得してもよい。図６において、第３画像５０は、構造化光が投影されていない実際のオブジェクト１０の撮影画像である。第３画像５０は、撮影制御部７０２を介して、第１カメラ３及び第２カメラ４の少なくとも一方により取得される、「少なくとも１視点分の画像」である。第３画像５０は、カラー画像（例えばＲＧＢ画像）である。本明細書に示す例では、三次元再構成システム１００は、支持台２を連続的に回転させることで、支持台２上のオブジェクト１０を連続的に回転させる。三次元再構成システム１００は、構造化光が投影されていないオブジェクト１０を、連続回転中に、所定角度ごとで第１カメラ３及び第２カメラ４の少なくとも一方によって撮影する。取得部４１は、上記の所定角度ごとで第３画像５０を取得する。

　三次元再構成システム１００は、第１画像３０及び第２画像４０に加えて第３画像５０をさらに取得することで、オブジェクト１０の形状だけでなく、オブジェクト１０の色を再構成できる。また、三次元再構成システム１００は、第１画像３０及び第２画像４０に加えて第３画像５０を取得することで、構造化光６０が投影されたオブジェクト１０の画像のみに基づいて再構成する場合と比較して、オブジェクト１０の形状の再構成精度を高くすることができる。

　取得部４１は、上記の他、図２の姿勢取得部７０３により取得された第１カメラ３及び第２カメラ４の姿勢情報を取得する。

　取得部４１は、第１画像３０、第２画像４０及び第３画像５０と、第１カメラ３及び第２カメラ４それぞれの姿勢に関する情報と、をレンダリング部４３及び対応画素特定部４４のそれぞれに出力する。

　図３におけるオブジェクトデータ記憶部４２は、オブジェクト１０の形状と色を表すデータを記憶する。図７を参照して、オブジェクト１０の形状を表すデータの一例を説明する。図７は、第１カメラ３、オブジェクト１０、視線方向ベクトルｖ、カメラビュー５１等を含む三次元シーン５５を示している。なお、ここでは第１カメラ３を例示するが、第２カメラ４に置換可能である。

　オブジェクト１０の形状を表すデータの一例は、三次元シーン中の各点（location）に対応して形成される場を意味するＳＤＦ（Signed Distance Field）である。ＳＤＦに含まれる各点は、その点から最も近いオブジェクト１０の表面までの符号付き距離の情報を含む。図７における距離ｄは、この符号付距離を表している。符号付き距離は、オブジェクト１０の内側の点については負（－）の値をとり、オブジェクト１０の外側の点については正（＋）の値をとる。ＳＤＦのゼロ等値面がオブジェクト１０の表面を表す。

　視線方向ベクトルｖは、カメラからの視線に対応し、光線又はレイ（Ｒａｙ）とも呼ばれる。カメラビュー５１は、第１カメラ３から見た画像として生成（レンダリング）された画像である。カメラビュー５１における位置Ｐでの画素の色は、その画素を通るカメラからの視線方向ベクトルｖ上の三次元シーンの各点から発する光の色（点の色）により決定される。この光の色は、視線方向ベクトルｖ上の各三次元座標における色情報の累積である重み付け和により算出できる。

　サンプリング点Ｓｍは、視線方向ベクトルｖ上での画素の色のサンプリング点を表している。各サンプリング点Ｓｍには重みが付与される。重みは、オブジェクト１０の表面に近づくにつれ大きくなる。サンプリング点Ｓｍに付与される重みは、そのサンプリング点Ｓｍに対して計算されるＳＤＦの関数として表現されてもよい。領域Ａｒは、重みが他の領域に対して相対的に大きくなる領域を示している。

　ＳＤＦは、ニューラルネットワークによってニューラル場として近似的に表現されてもよい。このニューラルネットワークは、例えば、三次元シーン５５中の点ｘ（三次元座標：ｘ=（ｘ，ｙ，ｚ））を入力すると、その点ｘからオブジェクト１０の表面までの符号付き距離ｄを出力するものである。このニューラルネットワークは、オブジェクト形状ＮＮに対応する。オブジェクト形状ＮＮは、ＳＤＦのゼロ等値面すなわちオブジェクト表面を表現できるので、オブジェクト１０の形状を表現するデータに対応する。

　オブジェクト１０の色を表すデータの一例は、三次元シーン５５中の点ｘそれぞれについて、視線方向によって条件付けされたその点ｘの色（例えばＲＧＢ値）を表すベクトル場（Color Field）である。このベクトル場は、ニューラルネットワークによってニューラル場として近似的に表現されてよい。このニューラルネットワークは、例えば、三次元シーン中の点ｘと、その点ｘに対する視線方向ベクトルｖと、を入力すると、その点ｘに対応する画素の色ｃを出力するものである。このニューラルネットワークは、オブジェクト色ＮＮに対応する。オブジェクト色ＮＮは、オブジェクト１０の色を表現するデータに対応する。

　図３におけるレンダリング部４３は、オブジェクト１０の形状と色を表すデータとしてオブジェクトデータ記憶部４２に記憶されているオブジェクト形状ＮＮ及びオブジェクト色ＮＮを用いて、図７におけるカメラビュー５１を生成する。カメラビュー５１の生成は、本実施形態ではボリュームレンダリング法に従い、例えばＮｅｕＳ（Neural Surface reconstruction method）論文の手法（例えば、非特許文献１を参照）を用いて、画素ごとに行ってよい。

　対応画素特定部４４は、構造化光６０の複数の投影パターンに基づいて、構造化光６０が投影された実際のオブジェクト１０表面上の同一点に対応する、第１視点の第１画像３０中の第１画素、及び、前記第２視点の画像中の第２画素、を特定する。

　例えば、第１画像３０における第１画素Ｐａ０と第２画像４０における第２画素Ｐｂ０は、実際のオブジェクト１０表面状の同一点（同じ位置）を撮影した画素である場合を、図５を用いて説明する。第１画像３０における第１画素Ｐａ０は、構造化光６０の投影パターンに応じてその輝度が変化する。すなわち第１画素Ｐａ０は、第１画像３０－１では暗輝度、第１画像３０－２では暗輝度、・・・、第１画像３０－Ｎでは明輝度になる。一方、第２画像４０における第２画素Ｐｂ０は、第１画素Ｐａ０と同様に、第２画像４０－１では暗輝度、第２画像４０－２では暗輝度、・・・、第２画像４０－Ｎでは明輝度になる。対応画素特定部４４は、複数の撮影画像（例えば第１画像３０と第２画像４０）において実際のオブジェクト１０上で同一点（同じ位置）を表す複数の画素（例えば第１画素Ｐａ０と第２画素Ｐｂ０）を、対応画素として特定する。

　なお、上記の暗輝度は、撮影画像において、構造化光６０における暗いパターンが投影されたオブジェクト１０上での位置に対応する画素の輝度を意味する。明輝度は、撮影画像において、構造化光６０における明るいパターンが投影されたオブジェクト１０上での位置に対応する画素の輝度を意味する。暗輝度の画素、明輝度の画素はそれぞれ、暗画素、明画素と呼んでもよい。

　三次元再構成システム１００において、上述した符号化処理は、構造化光６０－１、構造化光６０－２、・・・、構造化光６０－Ｎにより、各画素について、画素の位置を暗輝度および明輝度の組合せで表す処理に対応する。一方、上述した復号化処理は、撮影画像に含まれる各画素について、複数の投影パターンによる暗輝度および明輝度の組み合わせに基づいて画素の位置を取得する処理に対応する。

　図８に示すように、対応画素特定部４４は、第１画素Ｐａ及び第２画素Ｐｂ等の対応画素を、第１画像３０および第２画像４０における、実際のオブジェクト１０に投影された構造化光６０が映っている全画素で特定できる。図８における対応線Ｐ０は、第１画素Ｐａ０と第２画素Ｐｂ０等の対応画素同士を結ぶ線であり、説明のために対応画素同士を可視化したものである。

　図３における対応座標計算部４５について、図９を参照して説明する。図９において、三次元シーン５５中に点ｘを与えると、その点ｘと、その点ｘに最も近いオブジェクト１０の表面と、の符号付き距離を返す関数Ｓ（ｘ）は、パラメータθを有するオブジェクト形状ＮＮによって表現される関数Ｓ（ｘ；θ）により近似できる。関数Ｓ（ｘ）は、上述したＳＤＦに対応し、関数Ｓ（ｘ；θ）は、ＳＤＦを近似したものに対応する。Ｓ（ｘ）＝０となる時の点ｘの座標は、オブジェクト１０表面の座標に対応する。

　第１画素Ｐａは、第１カメラ３による第１画像３０内での画素を表している。第２画素Ｐｂは、第２カメラ４による第２画像４０内での画素を表している。第１画素Ｐａと第２画素Ｐｂは、対応画素特定部４４によって、対応付けられた画素である。

　第１画素Ｐａ及び第２画素Ｐｂは、オブジェクト１０表面に投影された構造化光６０上の同じ点を撮影したものである。このため、Ｓ（ｘ；θ）＝０によって表現されたオブジェクト１０表面と第１画素Ｐａを通る視線方向ベクトルとの交点の第１座標ｘａと、オブジェクト１０表面と画素Ｐｂを通る視線方向ベクトルとの交点の第２座標ｘｂと、は同じ座標になるべきである。従って、距離｜ｘａ－ｘｂ｜、すなわち、第１座標ｘａと第２座標ｘｂとが近づくと値が小さくなる指標（項）を距離損失Ｌ_Ｄとして含む損失関数を用いて、オブジェクト形状ＮＮの関数Ｓ（ｘ；θ）におけるパラメータθを最適化すると、第１座標ｘａと第２座標ｘｂとが一致する方向にＳ（ｘ；θ）のゼロ等値面が移動し、オブジェクト１０表面の形状を精確に表現する関数Ｓ（ｘ；θ）を得ることができる。なお、距離損失Ｌ_Ｄは、全ての対応画素についての距離の和でよい。ここで、損失関数とは、上述の指標で表された損失の他に、オブジェクト形状ＮＮ及びオブジェクト色ＮＮによってあらわされる三次元情報（オブジェクトの形状および色）を基にしたレンダリングによって得られた画像（カメラビュー）と、撮影画像と、の誤差（すなわち損失）を含みうる関数をいう。なお、図９において、第１座標ｘａ’は、第１座標ｘａと第２座標ｘｂを同じ座標にするためにＳ（ｘ；θ）のゼロ等値面を移動させた後の第１座標ｘａを表している。同様に、第２座標ｘｂ’は、第１座標ｘａと第２座標ｘｂを同じ座標にするためにＳ（ｘ；θ）のゼロ等値面を移動させた後の第２座標ｘｂを表している。

　関数Ｓ（ｘ；θ）＝０を満たす点ｘの集合がオブジェクトの表面を表すので、姿勢οを持つカメラからの光線（レイ）と、オブジェクトの表面との交点ｘは、次の式（１）によって求められる（例えば、インターネット＜URL：https://arxiv.org/pdf/2003.09852.pdf＞を参照）。光線は、カメラの中心からカメラビューにおける画素Ｐを通る光線であり、その視線方向ベクトルはνであるとする。この式（１）は、現在のパラメータθ_０とカメラの姿勢の情報であるカメラパラメータτ_０（本実施形態においてτ_０は既知）おいて、ο_０＝ο_０(τ_０)、ｔ_０＝ｔ(θ_０、τ_０)、ν_０＝ν（τ_０）、ｘ_０＝ο_０＋ｔ_０・ν_０tとし、式Ｓ（ｘ；θ）＝０の陰関数微分を利用して求められる。なお、式（１）を用いずに、光線上に複数のサンプル点ｘを設定して各サンプル点ｘについてＳ（ｘ；θ）を計算し、Ｓ（ｘ；θ）≒０とみなせるサンプル点ｘを、光線とオブジェクトの表面との交点として求めてもよい。

　図３における対応座標計算部４５は、オブジェクト１０の三次元形状を再構成するオブジェクト形状ＮＮにおける現在のパラメータθに基づき、該オブジェクト形状ＮＮで再構成されたオブジェクト１０の表面上において、第１画素Ｐａに対応する第１座標ｘａ及び第２画素Ｐｂに対応する第２座標ｘｂを計算する。対応座標計算部４５は、計算した第１座標ｘａ及び第２座標ｘｂを、モデル更新部４６に出力する。

　モデル更新部４６は、第１座標ｘａ及び第２座標ｘｂを少なくとも用いて、オブジェクト形状ＮＮのパラメータθを更新する。また、モデル更新部４６は、計算されたオブジェクト１０の色に関する情報を用いて、オブジェクトデータ記憶部４２に記憶されているオブジェクト形状ＮＮ及びオブジェクト色ＮＮのパラメータをさらに更新する。例えば、モデル更新部４６は、レンダリング部４３によって生成された図７における複数のカメラビュー５１それぞれについて、カメラビュー５１と、実際に撮影された第３画像５０との損失Ｌ_Ｒ（θ、φ、τ）を計算する。この損失Ｌ_Ｒは、例えばカメラビュー５１と第３画像５０との間において、対応する画素同士の色の差を全画素について累積することにより計算できる。但し、損失Ｌ_Ｒの定義は、上記の画素同士の色の差を全画素について累積したものに限定されず、他の定義であってもよい。また損失Ｌ_Ｒの計算方法は、上記の画素同士の色の差を全画素について累積計算する方法に限定されず、他の方法であってもよい。オブジェクト１０の色を再構成せず、オブジェクト１０の形状のみを再構成する場合には、モデル更新部４６は、カメラビュー５１と、実際に撮影された第１画像３０又は第２画像４０のどちらか一方との損失Ｌ_Ｒを計算してもよい。

　本実施形態では、モデル更新部４６は、上記の損失Ｌ_Ｒに上記の距離損失Ｌ_Ｄを、重みλ_Ｄを付して加えて、次式から損失関数Ｌ（θ、φ、τ）を計算する。
Ｌ（θ、φ、τ）＝Ｌ_Ｒ＋λ_ＤＬ_Ｄ

　損失関数Ｌ（θ、φ、τ）に、ＳＤＦの正則化拘束Ｅ（||∇Ｓ（ｘ；θ）||－１）^２を所定の係数λ_Ｅで重みを付して加えてもよい。なお、Ｅは、ｘに関しての期待値を取ることを意味し、∇は、ｘに関して勾配を取ることを意味する。

　モデル更新部４６は、上記の損失関数Ｌ（θ、φ、τ）に基づく誤差逆伝播法により、オブジェクト形状ＮＮ及びオブジェクト色ＮＮの各パラメータを更新する。モデル更新部４６は、所定の基準を満たすまで各ＮＮの更新を繰り返す。モデル更新部４６による更新の結果、最終的に得られるオブジェクト形状ＮＮ及びオブジェクト色ＮＮは、実際のオブジェクト１０の三次元形状と色、すなわち三次元モデルを表現するものとなる。所定の基準には、例えば損失Ｌ（θ、φ、τ）が所定値未満になるまで等といった基準を適用できる。或いは、所定の基準には、予め定められた回数分の更新が行われるまで等といった基準が適用されてもよい。

　ここで、例えばＮｅｕＳ論文の手法では、複数視点の撮影画像に基づき、オブジェクト形状ＮＮのパラメータθを最適化することで、オブジェクトの三次元形状を再構成する。しかしながら、ＮｅｕＳ論文の手法では、オブジェクトが単色テクスチャレスの領域を少なくとも一部に含むと、解が一意に定まらない（不良設定問題）等で三次元再構成の精度が低くなる場合がある。

　本実施形態では、構造化光６０が投影されたオブジェクト１０の第１画像３０及び第２画像４０を用いて、第１画像３０と第２画像４０との位置の対応関係に関する距離損失Ｌ_Ｄを損失関数Ｌ（θ、φ、τ）に含めて、パラメータθを最適化する。これにより、オブジェクトが単色テクスチャレスの領域を少なくとも一部に含む場合にも、望ましい解に近づく制約条件が加わり、三次元再構成の精度を高くすることができる。この結果、本実施形態では、オブジェクト１０の再構成精度を高くすることができる三次元再構成方法及び三次元再構成システム１００を提供できる。

　モデル更新部４６は、更新の結果、得られる三次元モデルを再構成情報としてオブジェクトデータ記憶部４２に格納する。また、モデル生成部７０４は、外部装置である表示装置又はＰＣ（Personal Computer）等に再構成情報を出力することもできる。

　モデル出力部４７は、オブジェクトデータ記憶部４２に記憶されたデータを用いて、オブジェクト１０の三次元モデルの形状を表す三次元メッシュデータと、この三次元メッシュデータに貼られるテクスチャマップと、を生成する。モデル出力部４７は、これらを三次元ビューアにより閲覧可能なデータフォーマットに変換して出力する。

　本実施形態では、最終的に得られるオブジェクト形状ＮＮは、ＳＤＦを表現するので、モデル出力部４７は、このＳＤＦのゼロ等値面を近似するメッシュを生成する。モデル出力部４７は、例えば、マーチングキューブ法、或いは他の公知の方法を用いてＳＤＦのゼロ等値面をメッシュデータに変換できる。またモデル出力部４７は、例えば、メッシュを構成する各ポリゴンについて、ポリゴンの三次元座標と、この三次元座標におけるＳＤＦのゼロ等値面の法線ベクトルの逆ベクトルと、をオブジェクト色ＮＮに入力する。モデル出力部４７は、オブジェクト色ＮＮからの出力としてポリゴンの色を取得する。モデル出力部４７は、取得したポリゴンの色によりメッシュのテクスチャマップを生成できる。

　ポリゴンの色を取得する方法は、１つのポリゴンにつき１つの色を取得するものに限定されない。例えば、ポリゴンの色を取得する方法は、１つのポリゴンをさらに細分化した複数の単位領域ごとに１つの色を取得するものであってもよい。この場合には、１つのポリゴンにつき１つの色を取得する場合と比較して、空間分解能を向上させることができる。単位領域は、例えば、再構成したオブジェクト１０を画像として表示する場合には、１つの画素に対応する。

　なお、本実施形態では、モデル更新部４６は、オブジェクト色ＮＮを更新せず、オブジェクト形状ＮＮのみを更新してもよい。また、三次元再構成システム１００は、オブジェクト色を再構成せず、オブジェクト形状のみを再構成してもよい。これらによっても、オブジェクト１０の再構成精度を高くすることができる三次元再構成方法及び三次元再構成システム１００を提供できるという効果が得られる。

　＜制御装置７０による処理例＞
　図１０は、制御装置７０による処理の一例を示すフローチャートである。例えば制御装置７０は、その操作部を介してユーザから再構成開始指示の操作入力を受け付けた際に、図１０の処理を開始する。図１０の処理が開始される前に、図１における支持台２の上面２Ａ上には、オブジェクト１０が載置されている。オブジェクト１０の載置位置は、支持台２の回転中心であるのが好ましい。また、本実施形態では、オブジェクト１０に対する第１カメラ３及び第２カメラ４の各カメラの姿勢情報等の外部パラメータは予め取得されているものとする。

　まず、ステップＳ９１において、制御装置７０は、投影制御部７０１で投影部６の動作を制御することにより、投影部６からオブジェクト１０に構造化光６０を投影する。なお、この際には、支持台２は回転しておらず、支持台２の上面２Ａ上に載置されたオブジェクト１０は静止している。また、投影部６は、投影制御部７０１によって停止されるまで構造化光６０の投影を続ける。

　続いて、ステップＳ９２（第１画像及び第２画像の撮影ステップ）において、制御装置７０は、撮影制御部７０２で第１カメラ３及び第２カメラ４のそれぞれの動作を制御することにより、静止しているオブジェクト１０を第１カメラ３及び第２カメラ４のそれぞれで撮影し、オブジェクト１０の第１画像３０及び第２画像４０を取得する。

　続いて、ステップＳ９３において、制御装置７０は、構造化光６０に含まれる所定の全ての投影パターンでオブジェクト１０を撮影したか否かを判定する。つまり、制御装置７０は、Ｎ通りの投影パターンにおける全てのパターンを投影してオブジェクト１０を撮影したか否かを判定する。

　ステップＳ９３において、撮影していないと判定された場合には（ステップＳ９３、ＮＯ）、ステップＳ９４において、制御装置７０は、投影制御部７０１で投影部６の動作を制御することにより、投影部６からの構造化光６０の投影パターンを変更する。投影パターンを変更後、制御装置７０は、ステップＳ９１以降の処理を再度行う。

　一方、ステップＳ９３において、撮影したと判定された場合には（ステップＳ９３、ＹＥＳ）、ステップＳ９５において、制御装置７０は、撮影制御部７０２で回転部５の動作を制御することにより、支持台２を所定角度（例えば３０°）回転させ、上面２Ａ上のオブジェクト１０を回転させる。支持台２が所定角度回転した後、制御装置７０は、撮影制御部７０２で回転部５の動作を制御することにより、回転部５を停止させて支持台２の回転を停止させる。

　続いて、ステップＳ９６において、制御装置７０は、全ての撮影方向（例えば１周３６０°を３０°刻みで分けた１２視点）からオブジェクト１０を撮影したか否かを判定する。

　ステップＳ９６において、撮影していないと判定された場合には（ステップＳ９６、ＮＯ）、制御装置７０は、ステップＳ９１以降の処理を再度行う。一方、ステップＳ９６において、撮影したと判定された場合には（ステップＳ９６、ＹＥＳ）、ステップＳ９７において、制御装置７０は、投影制御部７０１で投影部６の動作を制御することにより、投影部６からオブジェクト１０への構造化光６０の投影を停止する。

　続いて、ステップＳ９８において、制御装置７０は、撮影制御部７０２により回転部５の動作を制御することにより、支持台２の連続回転（例えば１周３６０°の連続回転）を開始させる。支持台２の連続回転により、支持台２の上面２Ａ上に載置されたオブジェクト１０が連続回転する。回転部５は、撮影制御部７０２によって停止されるまで支持台２の回転を続ける。

　続いて、ステップＳ９９（第３画像の撮影ステップ）において、制御装置７０は、撮影制御部７０２で第１カメラ３及び第２カメラ４の少なくとも一方の動作を制御することにより、回転中のオブジェクト１０を撮影し、第３画像５０を取得する。第１カメラ３は、回転中の支持台２が所定角度（例えば３０°）回転するごとにオブジェクト１０を撮影し、所定数（例えば１周３６０°を３０°刻みで分けた１２個）の第３画像５０、すなわち構造化光６０が投影されていないオブジェクト１０の画像を取得する。

　第１カメラ３及び第２カメラ４のそれぞれにより第３画像５０を撮影する場合には、撮影制御部７０２は、オブジェクト１０が回転しているときに第１カメラ３及び第２カメラ４の撮影をほぼ同一タイミングで実行させる。これにより、撮影制御部７０２は、オブジェクト１０が任意の回転角度の位置にあるときの各カメラのＲＧＢ画像を並行して取得できる。但し、第１カメラ３及と第２カメラ４の撮影は、必ずしもほぼ同一タイミングでなくてもよく、意図的にずらされてもよい。

　撮影制御部７０２は、ステップＳ９９では回転部５がオブジェクト１０を１回転させる間、撮影動作を継続させて画像を取得する。これにより、第１カメラ３及び第２カメラ４の少なくとも一方は、上面２Ａに対してそれぞれ別の角度で傾斜した方向から、また回転方向に沿った複数の方向からオブジェクト１０を撮影できる。各カメラは、各撮影方向においてＲＧＢ画像を取得できる。つまり、撮影制御部７０２は、複数のカメラを用いて異なる方向から同時にオブジェクト１０を撮影できる。撮影制御部７０２は、第３画像５０をモデル生成部７０４に出力する。

　続いて、ステップＳ１００において、制御装置７０は、撮影制御部７０２により回転部５の動作を制御することにより、回転部５を停止させて支持台２の連続回転を停止させる。

　続いて、ステップＳ１０１（カメラビュー生成ステップ）において、制御装置７０は、モデル生成部７０４により、撮影方向ごとでのカメラビュー５１を生成する。

　続いて、ステップＳ１０２（対応画素特定ステップ）において、制御装置７０は、モデル生成部７０４の対応画素特定部４４により、撮影方向ごとにおいて対応画素を特定する。

　続いて、ステップＳ１０３（対応座標計算ステップ）において、制御装置７０は、モデル生成部７０４の対応座標計算部４５により、撮影方向ごとにおいて対応座標を計算する。

　続いて、ステップＳ１０４において、制御装置７０は、モデル生成部７０４のモデル更新部４６により、損失関数Ｌ（θ、φ、τ）を計算する。計算終了後、モデル更新部４６は、損失関数Ｌ（θ、φ、τ）が所定値未満であるか否かを判定する。

　ステップＳ１０４において、所定値未満ではないと判定された場合には（ステップＳ１０４、ＮＯ）、ステップＳ１０５（更新ステップ）において、制御装置７０は、モデル生成部７０４のモデル更新部４６により、撮影方向ごとでの損失関数Ｌ（θ、φ、τ）を計算する。モデル更新部４６は、この損失関数Ｌ（θ、φ、τ）に基づく誤差逆伝播法によって、オブジェクト形状ＮＮ及びオブジェクト色ＮＮの各パラメータを更新する。その後、制御装置７０は、ステップＳ１０１以降の処理を再度行う。制御装置７０は、所定の基準を満たすまでモデル更新部４６による各ＮＮの更新を繰り返す。

　一方、ステップＳ１０４において、所定値未満であると判定された場合には（ステップＳ１０４、ＹＥＳ）、ステップＳ１０６（出力ステップ）において、制御装置７０は、更新の結果、最終的に得られたオブジェクト形状ＮＮ及びオブジェクト色ＮＮに基づき、モデル生成部７０４のモデル出力部４７により、三次元モデル（三次元メッシュとテクスチャマップ）を生成し、再構成情報として出力する。ステップＳ１０６の処理が完了すると、本処理フローは終了する。なお、対応画素はステップＳ１０１～Ｓ１０５の繰り返し処理の間で変わらないため、対応画素を特定するステップＳ１０２の処理は、ステップＳ１０１～Ｓ１０５の繰り返し処理の外で１回だけ実行してもよい。例えばステップＳ１００、Ｓ１０２を実行した後に、ステップＳ１０１、Ｓ１０３、Ｓ１０４、Ｓ１０５の処理を繰り返してもよい。

　制御装置７０による処理は、図１０に示したものの他、構造化光６０を投影して撮影する処理を複数回行った後、構造化光６０を投影することなく撮影する、という処理を所定回転角ごとに繰り返すものであってもよい。つまり、制御装置７０による処理では、図１０におけるステップＳ９３とステップＳ９５の間にステップＳ９７とステップＳ９９の撮影処理が入る代わりに、ステップＳ９７～ステップＳ１００の処理が省略されてもよい。

　＜レンダリング部４３によるカメラビュー５１の生成処理例＞
　図１１は、モデル生成部７０４のレンダリング部４３による図１０のステップＳ１０１に示したカメラビュー５１の生成処理の一例を示すフローチャートである。例えばレンダリング部４３は、モデル生成部７０４におけるカメラビュー５１の生成処理において、カメラビュー５１における位置Ｐが選択された際に図１１の処理を開始する。

　まず、ステップＳ１１１において、レンダリング部４３は、選択された位置Ｐの画素を通る視線方向ベクトルｖを決定する。

　続いて、ステップＳ１１２において、レンダリング部４３は、決定された視線方向ベクトルｖ上の各サンプル点ｘ_ｉの三次元座標を取得する。

　続いて、ステップＳ１１３において、レンダリング部４３は、視線方向ベクトルｖと、各サンプル点ｘ_ｉの三次元座標と、オブジェクト色ＮＮと、に基づいて、各サンプル点ｘ_ｉの色ｃ_ｏｂｊを取得する。

　続いて、ステップＳ１１４において、レンダリング部４３は、各サンプル点ｘ_ｉの三次元座標と、オブジェクト形状ＮＮと、に基づいて、各サンプル点ｘ_ｉからオブジェクト１０表面までの符号付き距離ｄ_ｉの情報を取得する。

　続いて、ステップＳ１１５において、レンダリング部４３は、各サンプル点ｘ_ｉの符号付き距離ｄ_ｉに基づいて、各サンプル点ｘ_ｉの色の重みｗ_ｉを計算する。

　続いて、ステップＳ１１６において、レンダリング部４３は、各サンプル点ｘ_ｉの色ｃ_ｏｂｊと、各サンプル点ｘ_ｉの色の重みｗ_ｉと、に基づいて、各サンプル点の色の重み付け和を、画素の最終的な色ｃ_ｏｂｊとして計算により取得する。この場合、重みの合計が１となるように正規化される。また、符号付き距離ｄ_ｉが０に近い、つまりオブジェクト１０の表面に近いと、重みが大きくなるよう予め設計されている。

　続いて、ステップＳ１１７において、レンダリング部４３は、カメラビュー５１における位置Ｐの画素の色ｃ_ｏｂｊを出力する。ステップＳ１１７の処理が完了すると、カメラビュー５１における位置Ｐの１つの画素の色ｃ_ｏｂｊを取得する処理が終了する。

　以上の処理を、カメラビュー５１の全画素に対して行うことにより、レンダリング部４３はカメラビュー５１を生成することができる。

　＜モデル出力部４７による三次元モデルの生成処理例＞
　図１２は、モデル出力部４７による三次元モデル（三次元メッシュとテクスチャマップ）の生成処理の一例を示すフローチャートである。モデル出力部４７は、図１０のステップＳ１０４において、所定値未満であると判定された場合に（ステップＳ１０４、ＹＥＳ）、図１２の処理を開始する。なお、このフローチャートでは１つのポリゴンについて１つの色を計算する例を説明するが、上述の通り、１つのポリゴン内の複数箇所それぞれについて色を計算するようにしてもよい。

　まず、ステップＳ１２１において、モデル出力部４７は、オブジェクト形状ＮＮに基づき、オブジェクト１０の形状を近似する三次元メッシュを生成する。

　続いて、ステップＳ１２２において、モデル出力部４７は、三次元メッシュを構成する各ポリゴンについて、該ポリゴンの位置を表す三次元座標ｑにおける該ポリゴンの法線ベクトルの逆ベクトルuを計算する。なお、モデル出力部４７は、例えば、該ポリゴンの重心の位置に相当する三次元座標を計算し、その座標をポリゴンの三次元座標ｑとして取得してもよいし、ポリゴンの三次元空間中の位置に関する別の座標値をポリゴンの三次元座標として取得してもよい。

　続いて、ステップＳ１２３において、モデル出力部４７は、各ポリゴンの三次元座標ｑを例えば上述の計算により取得する。なお、ステップＳ１２２とステップＳ１２３の実行順序は逆でもよい。ステップＳ１２２とステップＳ１２３が並行に実行されてもよい。

　続いて、ステップＳ１２４において、モデル出力部４７は、各ポリゴンについて、ポリゴンの三次元座標ｑと、上記の逆ベクトルuと、オブジェクト色ＮＮと、に基づいて、ポリゴンの色ｃ_ｐを計算により取得する。

　続いて、ステップＳ１２５において、モデル出力部４７は、各ポリゴンについてステップＳ１２４において取得されたポリゴンの色ｃ_ｐを出力する。すなわち、このステップにおいて、モデル出力部４７は、ステップＳ１２１において生成された三次元メッシュに貼られるテクスチャマップを生成する。ステップＳ１２５の処理が完了すると、本処理フローは終了する。

　［第２実施形態］　
　次に、第２実施形態に係る三次元再構成システムについて説明する。なお、既に説明した実施形態と同一の名称、符号については、同一もしくは同質の部材又は構成部を示しており、詳細説明を適宜省略する。

　本実施形態では、オブジェクト形状ＮＮと、オブジェクト色ＮＮと、三次元再構成システムにおける第１カメラ及び第２カメラの姿勢に関する情報と、を同時に最適化する点が、第１実施形態とは異なる。より詳しくは、本実施形態では、第１カメラ３により、第１視点における実際のオブジェクト１０の画像を取得し、第２カメラ４により、第２視点における実際のオブジェクト１０の画像を取得し、第２座標を第１カメラ３に投影した第１の点と、第１座標を第２カメラ４に投影した第２の点と、を計算し、第１の点及び第２の点を少なくとも用いて、オブジェクト形状ＮＮとオブジェクト色ＮＮのパラメータ、及び、カメラパラメータ、をさらに更新する点が、第１実施形態とは主に異なる。

　＜制御装置７０ａの機能構成例＞
　図１３は、本実施形態に係る三次元再構成システム１００ａが備える制御装置７０ａの機能構成の一例を示すブロック図である。三次元再構成システム１００ａは、制御装置７０ａを有する点以外は、第１実施形態に係る三次元再構成システム１００とほぼ同じ構成を有する。制御装置７０ａは、姿勢取得部７０３（図２参照）を有さない点、及びモデル生成部７０４ａを有する点以外は、第１実施形態における制御装置７０とほぼ同じ構成を有する。

　＜モデル生成部７０４ａの機能構成例＞
　図１４～図１６を参照して、モデル生成部７０４ａの機能構成について説明する。図１４は、モデル生成部７０４ａの機能構成の一例を示すブロック図である。図１５は、本実施形態に係る第１損失の一例を説明する図である。図１６は、本実施形態に係る第２損失の一例を説明する図である。

　図１４に示すように、モデル生成部７０４ａは、取得部４１ａと、幾何損失計算部４８と、モデル更新部４６ａと、を有する。この点以外では、モデル生成部７０４ａは、第１実施形態に係るモデル生成部７０４とほぼ同じ機能構成を有する。

　取得部４１ａは、図１３の撮影制御部７０２を介して第１カメラ３及び第２カメラ４から取得した第１画像３０、第２画像４０及び第３画像５０を、レンダリング部４３、対応画素特定部４４及び幾何損失計算部４８のそれぞれに出力する。この点以外では、取得部４１ａは、図２に示した取得部４１の機能とほぼ同じ機能を有する。

　幾何損失計算部４８は、オブジェクト形状ＮＮ及びオブジェクト色ＮＮのパラメータ、第１カメラ３及び第２カメラ４それぞれの姿勢に関する情報を最適化するための幾何損失（例えば第１損失Ｌ_ＳＲ（θ、τ）又は第２損失Ｌ_ＳＴ（θ、τ））を計算する。

　図１５及び図１６は、図９と同様に、三次元シーン５５中における点ｘ、パラメータθを有するオブジェクト形状ＮＮの関数Ｓ（ｘ；θ）、第１画像３０内での第１画素Ｐａ、第２画像４０内での第２画素Ｐｂ等を示している。

　関数Ｓ（ｘ；θ）＝０を満たす点ｘの集合がオブジェクトの表面を表すので、姿勢οを持つカメラからの光線（レイ）と、オブジェクトの表面との交点ｘは、前述の通り、式（１）によって求められる。光線は、カメラの中心からカメラビューにおける画素Ｐを通る光線であり、その視線方向ベクトルはνであるとする。式（１）は、現在のパラメータθ_０と現在のカメラの姿勢の情報であるカメラパラメータτ_０（本実施形態においてτ_０は最適化対象）おいて、ο_０＝ο_０(τ_０)、ｔ_０＝ｔ(θ_０、τ_０)、ν_０＝ν（τ_０）、ｘ_０＝ο_０＋ｔ_０・ν_０tとし、式Ｓ（ｘ；θ）＝０の陰関数微分を利用して求められる。なお、式（１）を用いずに、光線上に複数のサンプル点ｘを設定して各サンプル点ｘについてＳ（ｘ；θ）を計算し、Ｓ（ｘ；θ）≒０とみなせるサンプル点ｘを、光線とオブジェクトの表面との交点として求めてもよい。

　第１損失Ｌ_ＳＲは、ある撮影画像における対応画素のオブジェクトの表面（関数Ｓ（ｘ；θ）＝０）上での点ｘを別の撮影画像上に投影した点（すなわち別の撮影画像における対応画素）を用いて得られる損失に関する情報である。このため、第１損失Ｌ_ＳＲを再投影損失ということもできる。図１５において、第１座標ｘａ及び第２座標ｘｂは、図９を用いて説明した方法と同じ方法で、対応画素特定部４４及び対応座標計算部４５によって得られる。

　幾何損失計算部４８は、第２座標ｘｂを第１カメラ３に投影した第１の点Ｑ（ｘｂ，τa）と、第１座標ｘａを第２カメラ４に投影した第２の点Ｑ（ｘａ，τb)と、を計算する。なお、τa、τbは、それぞれ、第１カメラ３、第２カメラ４のカメラパラメータである。幾何損失計算部４８は、距離|Ｐａ－Ｑ（ｘｂ，τa）| と距離|Ｐｂ－Ｑ（ｘａ,τb）|との和を第１損失Ｌ_ＳＲとして算出する。なお、第１損失Ｌ_ＳＲは、全ての対応画素についての距離の和でよい。

　第２損失Ｌ_ＳＴは、第１画像３０及び第２画像４０から三角測量方式により計算されるオブジェクトの形状を用いて得られる損失に関する情報である。このため、第２損失Ｌ_ＳＴを三角測量損失ということもできる。図１６において、第１座標ｘａ及び第２座標ｘｂは、図９を用いて説明した方法と同じ方法で、対応画素特定部４４及び対応座標計算部４５によって得られる。

　幾何損失計算部４８は、第１カメラ３及び第２カメラ４の撮影画像における対応画素ｐａ及びｐｂそれぞれを通る光線Ｒａ（τ)及び光線Ｒｂ（τ)の交点を、三角測量方式により計算する。ここで、対応画素ｐａ及びｐｂのそれぞれを通る光線は、第１カメラ３及び第２カメラ４それぞれの姿勢誤差があるために、交差しない可能性がある。このため、幾何損失計算部４８は、光線Ｒａ(τ)上で光線Ｒｂ（τ）に最も近い点ｙａと、光線Ｒｂ（τ) 上で光線Ｒａ（τ)に最も近い点ｙｂと、を計算する。最後に、幾何損失計算部４８は、４点（ｘａ，ｘｂ，ｙａ，ｙｂ）が同じ位置に配置されるように、４点間の距離（例えば、距離｜ｘａ－ｙａ｜と距離｜ｙａ－ｙｂ｜と距離｜ｙｂ－ｘｂ｜との和）を評価する第２損失Ｌ_ＳＴを算出する。なお、第２損失Ｌ_ＳＴは、全ての対応画素についての距離の和でよい。

　図１４において、幾何損失計算部４８は、算出した第１損失Ｌ_ＳＲ及び第２損失Ｌ_ＳＴのそれぞれをモデル更新部４６ａに出力する。

　モデル更新部４６ａは、少なくとも第１の点Ｑ（ｘｂ，τa）及び第２の点Ｑ（ｘａ，τb）を用いて、オブジェクト形状ＮＮ及びオブジェクト色ＮＮそれぞれのパラメータθ及びφ、カメラパラメータτa及びτｂをさらに更新する。なお、カメラパラメータの初期値は、公知の方法（例えば、撮影された画像に含まれる所定のマーカーの見え方に基づいて算出する方法や、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ　ｆｒｏｍ　Ｍｏｔｉｏｎ）等の撮影された画像からの特徴点抽出に基づいて算出する方法）によって取得してよい。本明細書に示す例では、モデル更新部４６ａは、損失Ｌ_Ｒ（θ）と、第１損失Ｌ_ＳＲと、第２損失Ｌ_ＳＴと、を用いて、次式により損失関数Ｌａ（θ、φ、τ）を計算する。
Ｌａ（θ、φ、τ）＝Ｌ_Ｒ＋λ_ＳＲＬ_ＳＲ＋λ_ＳＴＬ_ＳＴ
　λ_ＳＲ、λ_ＳＴは、所定の係数である。なお、本実施形態においても、損失関数Ｌａ（θ、φ、τ）に第１実施形態のようにＳＤＦの正則化拘束を加えてもよい。

　モデル更新部４６ａは、損失関数Ｌａ（θ、φ、τ）に基づく誤差逆伝播法により、オブジェクト形状ＮＮ及びオブジェクト色ＮＮの各パラメータ、カメラパラメータτa及びτｂを更新する。モデル更新部４６ａの機能は、損失関数Ｌ（θ、φ、τ）に代えて損失関数Ｌａ（θ、φ、τ）を用いる点を除き、第１実施形態におけるモデル生成部７０４の機能とほぼ同じである。

　＜制御装置７０ａによる処理例＞
　図１７は、制御装置７０ａによる処理の一例を示すフローチャートである。例えば制御装置７０ａは、その操作部を介してユーザから再構成開始指示の操作入力を受け付けた際に、図１７の処理を開始する。図１７の処理が開始される前に、図１における支持台２の上面２Ａ上には、オブジェクト１０が載置されている。オブジェクト１０の載置位置は、支持台２の回転中心であるのが好ましい。

　本実施形態では、オブジェクト１０に対する第１カメラ３及び第２カメラ４の各カメラの姿勢情報等の外部パラメータは予め取得されていない点が、図１０における第１実施形態とは異なる。一方、ステップＳ１７１～Ｓ１８３の処理は、図１０におけるステップＳ９１～Ｓ１０３の処理と同じであるため、ここでは重複する説明を省略する。

　ステップＳ１８４において、制御装置７０ａは、モデル生成部７０４ａの幾何損失計算部４８により、第１カメラ３及び第２カメラ４それぞれの姿勢に関する情報を最適化するための第１損失Ｌ_ＳＲ及び第２損失Ｌ_ＳＴを計算する。幾何損失計算部４８は、計算終了後、計算結果をモデル生成部７０４ａのモデル更新部４６ａに出力する。

　続いて、ステップＳ１８５において、制御装置７０ａは、モデル生成部７０４ａのモデル更新部４６ａにより、損失関数Ｌａ（θ、φ、τ）を計算する。モデル更新部４６ａは、計算終了後、損失関数Ｌａ（θ、φ、τ）が所定値未満であるか否かを判定する。

　ステップＳ１８５において、所定値未満ではないと判定された場合には（ステップＳ１８５、ＮＯ）、ステップＳ１８６（更新ステップ）において、制御装置７０ａは、モデル生成部７０４ａのモデル更新部４６ａにより、撮影方向ごとでの損失関数Ｌａ（θ、φ、τ）を計算する。モデル更新部４６ａは、この損失関数Ｌａ（θ、φ、τ）に基づく誤差逆伝播法によって、オブジェクト形状ＮＮ及びオブジェクト色ＮＮの各パラメータを更新する。その後、制御装置７０ａは、ステップＳ１８１以降の処理を再度行う。制御装置７０ａは、所定の基準を満たすまでモデル更新部４６ａによる各ＮＮの更新を繰り返す。

　一方、ステップＳ１８５において、所定値未満であると判定された場合には（ステップＳ１８５、ＹＥＳ）、ステップＳ１８７（出力ステップ）において、制御装置７０ａは、更新の結果、最終的に得られたオブジェクト形状ＮＮ及びオブジェクト色ＮＮに基づき、モデル生成部７０４ａのモデル出力部４７により、三次元モデル（三次元メッシュとテクスチャマップ）を生成し、再構成情報として出力する。ステップＳ１８７の処理が完了すると、本処理フローは終了する。

　以上のようにして、三次元再構成システム１００ａは、オブジェクト形状ＮＮと、第１カメラ３及び第２カメラ４それぞれの姿勢に関する情報と、を同時に最適化し、三次元再構成を行う。これにより、本実施形態では、第１カメラ３及び第２カメラ４それぞれの姿勢に関する既知の情報がない場合でも、第１カメラ３及び第２カメラ４それぞれの姿勢に関する情報を最適化できる。この結果、本実施形態では、オブジェクトの再構成精度を高くすることができる三次元再構成システム及び三次元再構成方法を提供できる。

　本実施形態では、幾何損失計算部４８は、第２損失Ｌ_ＳＴを算出せず、第１損失Ｌ_ＳＲ（θ）のみを算出してモデル更新部４６ａに出力してもよい。且つモデル更新部４６ａは、損失Ｌ_Ｒと、距離損失Ｌ_Ｄと、第１損失Ｌ_ＳＲを用いて損失関数Ｌａ（θ、φ、τ）を計算してもよい。また、モデル更新部４６ａは、オブジェクト色ＮＮを更新せず、オブジェクト形状ＮＮのみを更新してもよい。且つ三次元再構成システム１００ａは、オブジェクト色を再構成せず、オブジェクト形状のみを再構成してもよい。これらによっても、第１カメラ３及び第２カメラ４それぞれの姿勢に関する既知の情報がない場合でも、オブジェクト１０の再構成精度を高くすることができる三次元再構成方法及び三次元再構成システム１００を提供できるという効果が得られる。

　＜上述した実施形態におけるハードウェア構成例＞
　前述した実施形態における各装置（三次元再構成システム１００及び１００ａ）の一部又は全部は、ハードウェアで構成されていてもよいし、ＣＰＵ、ＧＰＵ（Graphics Processing Unit）等が実行するソフトウェア（プログラム）の情報処理で構成されてもよい。ソフトウェアの情報処理で構成される場合には、前述した実施形態における各装置の少なくとも一部の機能を実現するソフトウェアを、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリ等の非一時的な記憶媒体（非一時的なコンピュータ可読媒体）に収納し、コンピュータに読み込ませることにより、ソフトウェアの情報処理を実行してもよい。また、通信ネットワークを介して当該ソフトウェアがダウンロードされてもよい。さらに、ソフトウェアの処理の全部又は一部がＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の回路に実装されることにより、当該ソフトウェアによる情報処理がハードウェアにより実行されてもよい。

　ソフトウェアを収納する記憶媒体は、光ディスク等の着脱可能なものでもよいし、ハードディスク、メモリ等の固定型の記憶媒体であってもよい。また、記憶媒体は、コンピュータ内部に備えられてもよいし（主記憶装置、補助記憶装置等）、コンピュータ外部に備えられてもよい。

　図１８は、前述した実施形態における各装置（三次元再構成システム１００及び１００ａ）のハードウェア構成の一例を示すブロック図である。各装置は、一例として、プロセッサ７１と、主記憶装置７２（メモリ）と、補助記憶装置７３（メモリ）と、ネットワークインタフェース７４と、デバイスインタフェース７５と、を備え、これらがバス７６を介して接続されたコンピュータ７として実現されてもよい。

　図１８のコンピュータ７は、各構成要素を一つ備えているが、同じ構成要素を複数備えていてもよい。また、図１８では、１台のコンピュータ７が示されているが、ソフトウェアが複数台のコンピュータにインストールされて、当該複数台のコンピュータそれぞれがソフトウェアの同一の又は異なる一部の処理を実行してもよい。この場合、コンピュータそれぞれがネットワークインタフェース７４等を介して通信して処理を実行する分散コンピューティングの形態であってもよい。つまり、前述した実施形態における各装置（三次元再構成システム１００及び１００ａ）は、１又は複数の記憶装置に記憶された命令を１台又は複数台のコンピュータが実行することで機能を実現するシステムとして構成されてもよい。また、端末から送信された情報をクラウド上に設けられた１台又は複数台のコンピュータで処理し、この処理結果を端末に送信するような構成であってもよい。

　前述した実施形態における各装置（三次元再構成システム１００及び１００ａ）の各種演算は、１又は複数のプロセッサを用いて、又はネットワークを介した複数台のコンピュータを用いて、並列処理で実行されてもよい。また、各種演算が、プロセッサ内に複数ある演算コアに振り分けられて、並列処理で実行されてもよい。また、本開示の処理、手段等の一部又は全部は、ネットワークを介してコンピュータ７と通信可能なクラウド上に設けられたプロセッサ及び記憶装置の少なくとも一方により実現されてもよい。このように、前述した実施形態における各装置は、１台又は複数台のコンピュータによる並列コンピューティングの形態であってもよい。

　プロセッサ７１は、少なくともコンピュータの制御又は演算のいずれかを行う電子回路（処理回路、Processing circuit、Processing circuitry、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、ＡＳＩＣ等）であってもよい。また、プロセッサ７１は、汎用プロセッサ、特定の演算を実行するために設計された専用の処理回路又は汎用プロセッサと専用の処理回路との両方を含む半導体装置のいずれであってもよい。また、プロセッサ７１は、光回路を含むものであってもよいし、量子コンピューティングに基づく演算機能を含むものであってもよい。

　プロセッサ７１は、コンピュータ７の内部構成の各装置等から入力されたデータやソフトウェアに基づいて演算処理を行ってもよく、演算結果や制御信号を各装置等に出力してもよい。プロセッサ７１は、コンピュータ７のＯＳ（Operating System）や、アプリケーション等を実行することにより、コンピュータ７を構成する各構成要素を制御してもよい。

　前述した実施形態における各装置（三次元再構成システム１００及び１００ａ）は、１又は複数のプロセッサ７１により実現されてもよい。ここで、プロセッサ７１は、１チップ上に配置された１又は複数の電子回路を指してもよいし、２つ以上のチップ或いは２つ以上のデバイス上に配置された１又は複数の電子回路を指してもよい。複数の電子回路を用いる場合、各電子回路は有線又は無線により通信してもよい。

　主記憶装置７２は、プロセッサ７１が実行する命令及び各種データ等を記憶してもよく、主記憶装置７２に記憶された情報がプロセッサ７１により読み出されてもよい。補助記憶装置７３は、主記憶装置７２以外の記憶装置である。なお、これらの記憶装置は、電子情報を格納可能な任意の電子部品を意味するものとし、半導体のメモリでもよい。半導体のメモリは、揮発性メモリ又は不揮発性メモリのいずれでもよい。前述した実施形態における各装置（三次元再構成システム１００及び１００ａ）において各種データ等を保存するための記憶装置は、主記憶装置７２又は補助記憶装置７３により実現されてもよく、プロセッサ７１に内蔵される内蔵メモリにより実現されてもよい。

　前述した実施形態における各装置（三次元再構成システム１００及び１００ａ）が、少なくとも１つの記憶装置（メモリ）と、この少なくとも１つの記憶装置に接続（結合）される少なくとも１つのプロセッサで構成される場合、記憶装置１つに対して、少なくとも１つのプロセッサが接続されてもよい。また、プロセッサ１つに対して、少なくとも１つの記憶装置が接続されてもよい。また、複数のプロセッサのうち少なくとも１つのプロセッサが、複数の記憶装置のうち少なくとも１つの記憶装置に接続される構成を含んでもよい。また、複数台のコンピュータに含まれる記憶装置とプロセッサによって、この構成が実現されてもよい。さらに、記憶装置がプロセッサと一体になっている構成（例えば、Ｌ１キャッシュ、Ｌ２キャッシュを含むキャッシュメモリ）を含んでもよい。

　ネットワークインタフェース７４は、無線又は有線により、通信ネットワーク８に接続するためのインタフェースである。ネットワークインタフェース７４は、既存の通信規格に適合したもの等、適切なインタフェースを用いればよい。ネットワークインタフェース７４により、通信ネットワーク８を介して接続された外部装置９Ａと情報のやり取りが行われてもよい。なお、通信ネットワーク８は、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、ＰＡＮ（Personal Area Network）等の何れか又はそれらの組み合わせであってよく、コンピュータ７と外部装置９Ａとの間で情報のやり取りが行われるものであればよい。ＷＡＮの一例としてインターネット等があり、ＬＡＮの一例としてＩＥＥＥ８０２．１１やイーサネット（登録商標）等があり、ＰＡＮの一例としてＢｌｕｅｔｏｏｔｈ（登録商標）やＮＦＣ（Near Field Communication）等がある。

　デバイスインタフェース７５は、外部装置９Ｂと直接接続するＵＳＢ等のインタフェースである。

　外部装置９Ａはコンピュータ７とネットワークを介して接続されている装置である。外部装置９Ｂはコンピュータ７と直接接続されている装置である。

　外部装置９Ａ又は外部装置９Ｂは、一例として、入力装置であってもよい。入力装置は、例えば、カメラ、マイクロフォン、モーションキャプチャ、各種センサ、キーボード、マウス、タッチパネル等のデバイスであり、取得した情報をコンピュータ７に与える。また、パーソナルコンピュータ、タブレット端末、スマートフォン等の入力部とメモリとプロセッサを備えるデバイスであってもよい。

　また、外部装置９Ａ又は外部装置９Ｂは、一例として、出力装置でもよい。出力装置は、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）パネル等の表示装置であってもよいし、音声等を出力するスピーカ等であってもよい。また、パーソナルコンピュータ、タブレット端末又はスマートフォン等の出力部とメモリとプロセッサを備えるデバイスであってもよい。

　また、外部装置９Ａまた外部装置９Ｂは、記憶装置（メモリ）であってもよい。例えば、外部装置９Ａはネットワークストレージ等であってもよく、外部装置９ＢはＨＤＤ等のストレージであってもよい。

　また、外部装置９Ａ又は外部装置９Ｂは、前述した実施形態における各装置（三次元再構成システム１００及び１００ａ）の構成要素の一部の機能を有する装置でもよい。つまり、コンピュータ７は、外部装置９Ａ又は外部装置９Ｂに処理結果の一部又は全部を送信してもよいし、外部装置９Ａ又は外部装置９Ｂから処理結果の一部又は全部を受信してもよい。

　本明細書（請求項を含む）において、「a、b及びcの少なくとも1つ（一方）」又は「a、b又はcの少なくとも1つ（一方）」の表現（同様な表現を含む）が用いられる場合は、a、b、c、a-b、a-c、b-c又はa-b-cのいずれかを含む。また、a-a、a-b-b、a-a-b-b-c-c等のように、いずれかの要素について複数のインスタンスを含んでもよい。さらに、a-b-c-dのようにdを有する等、列挙された要素（a、b及びc）以外の他の要素を加えることも含む。

　本明細書（請求項を含む）において、「データを入力として／を用いて／データに基づいて／に従って／に応じて」等の表現（同様な表現を含む）が用いられる場合は、特に断りがない場合、データそのものを用いる場合や、データに何らかの処理を行ったもの（例えば、ノイズ加算したもの、正規化したもの、データから抽出した特徴量、データの中間表現等）を用いる場合を含む。また、「データを入力として／を用いて／データに基づいて／に従って／に応じて」何らかの結果が得られる旨が記載されている場合（同様な表現を含む）、特に断りがない場合、当該データのみに基づいて当該結果が得られる場合や、当該データ以外の他のデータ、要因、条件及び／又は状態にも影響を受けて当該結果が得られる場合を含む。また、「データを出力する」旨が記載されている場合（同様な表現を含む）、特に断りがない場合、データそのものを出力として用いる場合や、データに何らかの処理を行ったもの（例えば、ノイズ加算したもの、正規化したもの、データから抽出した特徴量、各種データの中間表現等）を出力として用いる場合を含む。

　本明細書（請求項を含む）において、「接続される（connected）」及び「結合される（coupled）」との用語が用いられる場合は、直接的な接続／結合、間接的な接続／結合、電気的（electrically）な接続／結合、通信的（communicatively）な接続／結合、機能的（operatively）な接続／結合、物理的（physically）な接続／結合等のいずれをも含む非限定的な用語として意図される。当該用語は、当該用語が用いられた文脈に応じて適宜解釈されるべきであるが、意図的に或いは当然に排除されるのではない接続／結合形態は、当該用語に含まれるものして非限定的に解釈されるべきである。

　本明細書（請求項を含む）において、「ＡがＢするよう構成される（A configured to B）」との表現が用いられる場合は、要素Ａの物理的構造が、動作Ｂを実行可能な構成を有するとともに、要素Ａの恒常的（permanent）又は一時的（temporary）な設定（setting/configuration）が、動作Ｂを実際に実行するように設定（configured/set）されていることを含んでよい。例えば、要素Ａが汎用プロセッサである場合、当該プロセッサが動作Ｂを実行可能なハードウェア構成を有するとともに、恒常的（permanent）又は一時的（temporary）なプログラム（命令）の設定により、動作Ｂを実際に実行するように設定（configured）されていればよい。また、要素Ａが専用プロセッサ、専用演算回路等である場合、制御用命令及びデータが実際に付属しているか否かとは無関係に、当該プロセッサの回路的構造等が動作Ｂを実際に実行するように構築（implemented）されていればよい。

　本明細書（請求項を含む）において、含有又は所有を意味する用語（例えば、「含む（comprising/including）」、「有する（having）」等）が用いられる場合は、当該用語の目的語により示される対象物以外の物を含有又は所有する場合を含む、open-endedな用語として意図される。これらの含有又は所有を意味する用語の目的語が数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）である場合は、当該表現は特定の数に限定されないものとして解釈されるべきである。

　本明細書（請求項を含む）において、ある箇所において「１つ又は複数（one or more）」、「少なくとも１つ（at least one）」等の表現が用いられ、他の箇所において数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）が用いられているとしても、後者の表現が「１つ」を意味することを意図しない。一般に、数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）は、必ずしも特定の数に限定されないものとして解釈されるべきである。

　本明細書において、ある実施形態の有する特定の構成について特定の効果（advantage/result）が得られる旨が記載されている場合、別段の理由がない限り、当該構成を有する他の１つ又は複数の実施形態についても当該効果が得られると理解されるべきである。但し、当該効果の有無は、一般に種々の要因、条件及び／又は状態に依存し、当該構成により必ず当該効果が得られるものではないと理解されるべきである。当該効果は、種々の要因、条件及び／又は状態が満たされたときに実施形態に記載の当該構成により得られるものに過ぎず、当該構成又は類似の構成を規定したクレームに係る発明において、当該効果が必ずしも得られるものではない。

　本明細書（請求項を含む）において、複数のハードウェアが所定の処理を行う場合、各ハードウェアが協働して所定の処理を行ってもよいし、一部のハードウェアが所定の処理の全てを行ってもよい。また、一部のハードウェアが所定の処理の一部を行い、別のハードウェアが所定の処理の残りを行ってもよい。本明細書（請求項を含む）において、「１又は複数のハードウェアが第１の処理を行い、前記１又は複数のハードウェアが第２の処理を行う」等の表現（同様な表現を含む）が用いられている場合、第１の処理を行うハードウェアと第２の処理を行うハードウェアは同じものであってもよいし、異なるものであってもよい。つまり、第１の処理を行うハードウェア及び第２の処理を行うハードウェアが、前記１又は複数のハードウェアに含まれていればよい。なお、ハードウェアは、電子回路、電子回路を含む装置等を含んでよい。

　本明細書（請求項を含む）において、複数の記憶装置（メモリ）がデータの記憶を行う場合、複数の記憶装置のうち個々の記憶装置は、データの一部のみを記憶してもよいし、データの全体を記憶してもよい。また、複数の記憶装置のうち一部の記憶装置がデータを記憶する構成を含んでもよい。

　以上、本開示の実施形態について詳述したが、本開示は上記した個々の実施形態に限定されるものではない。特許請求の範囲に規定された内容及びその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲において、種々の追加、変更、置き換え、部分的削除等が可能である。例えば、前述した実施形態において、数値又は数式を説明に用いている場合、これらは例示的な目的で示されたものであり、本開示の範囲を限定するものではない。また、実施形態で示した各動作の順序も例示的なものであり、本開示の範囲を限定するものではない。

　損失関数は、上述した各実施形態で説明した損失を含むものに限定されず、構造化光が投影された実際のオブジェクト表面上の同一点に対応する、第１視点の画像中の第１画素、及び、第２視点の画像中の第２画素のそれぞれに対応する第１座標及び第２座標を用いて計算される損失を含むものであってよい。例えば、上述した第１実施形態に係る距離損失Ｌ_Ｄ、及び、第２実施形態に係る第１損失Ｌ_ＳＲ及び第２損失Ｌ_ＳＴは、交点のＳＤＦを０にする損失Ｌ_ｓｄｆ（θ）に置き換えられてもよい。損失Ｌ_ｓｄｆ（θ）は次式により表される。
Ｌ_ｓｄｆ（θ）=｜ｙａ－ｙｂ｜＋｜Ｓ（ｙａ；θ）｜＋｜Ｓ（ｙｂ；θ）｜
なお、損失Ｌ_ｓｄｆは、全ての対応画素についての距離の和でよい。

　上記の損失Ｌ_ｓｄｆ（θ）を用いる場合には、実施形態に係る三次元再構成システムは、図１６において、光線Ｒａ（τ）上で光線Ｒｂ（τ）に最も近い点ｙａと、光線Ｒｂ（τ）上で光線Ｒａ（τ)に最も近い点ｙｂと、を計算する。実施形態に係る三次元再構成システムは、最後に、２点（ｙａ，ｙｂ）が同じ位置に配置されるように、２点間の距離を評価しつつ、点ｙａと点ｙｂにおけるＳＤＦが０になるように、それらのＳＤＦの絶対値を損失として算出してもよい。

　上述した各実施形態において、オブジェクト１０の形状を表すデータ（オブジェクトの三次元形状を再構成するデータ）の一例として、ＳＤＦ（Signed Distance Field）を説明したが、オブジェクト１０の形状を表すデータの別の例としてＮｅＲＦ（Neural Radiance Fields）を採用してもよい。ＮｅＲＦは、三次元空間中の点ｘの座標、及び、その点ｘを見る視点（光線）の視線方向ベクトルｖ、が入力されると、その視点から見た点ｘの色（放射輝度）及び不透明度（体積密度）を出力するニューラルネットワークで近似的に表現でき、上述した各実施形態におけるオブジェクト形状ＮＮとオブジェクト色ＮＮに対応する。この性質を利用して、第１視点から第１の対応画素を通る光線上の複数のサンプリング点ｘの不透明度が、隣接のサンプリング点に対して大きく変化（ほぼゼロから、オブジェクトの存在を示す所定閾値以上に変化）するサンプリング点ｘａをオブジェクト表面上の点（第１の対応画素に対応する第１座標）と見なし、第２視点から第２の対応画素を通る光線についても同様に点ｘｂ（第２の対応画素に対応する第２座標）を計算してよい。そして、それら第１座標及び第２座標を用いて距離損失あるいは幾何損失を計算し、計算された距離損失あるいは幾何損失、及び、損失Ｌ_Ｒに基づいてニューラルネットワーク（オブジェクト形状ＮＮ及びオブジェクト色ＮＮ）のパラメータを更新してよい。

　本発明の態様は、例えば、以下のとおりである。
＜１＞　構造化光が投影された実際のオブジェクトを少なくとも第１視点と第２視点から撮影することで得られる、それぞれの視点の画像を取得し、前記構造化光の投影パターンに基づいて、前記構造化光が投影された前記実際のオブジェクト表面上の同一点に対応する、前記第１視点の画像中の画素、及び、前記第２視点の画像中の画素、を、それぞれ、第１画素及び第２画素として特定し、前記オブジェクトの三次元形状を再構成するオブジェクト形状ニューラルネットワークにおける現在のパラメータに基づき、前記オブジェクト形状ニューラルネットワークで再構成された前記オブジェクトの表面上の、前記第１画素に対応する第１座標及び前記第２画素に対応する第２座標を計算し、前記第１座標及び前記第２座標を少なくとも用いて、前記オブジェクト形状ニューラルネットワークのパラメータを更新する、三次元再構成方法である。
＜２＞　前記パラメータの更新では、前記オブジェクト形状ニューラルネットワークの前記パラメータを、前記第１座標及び前記第２座標が一致する方向に更新する、前記＜１＞に記載の三次元再構成方法である。
＜３＞　前記構造化光が投影されていない前記実際のオブジェクトの画像を、少なくとも１視点分、さらに取得し、前記オブジェクトの色を表現するオブジェクト色ニューラルネットワークにおける現在のパラメータ、及び、前記オブジェクト形状ニューラルネットワークにおける現在のパラメータに基づき、前記オブジェクトの色をさらに計算し、前記第１座標及び前記第２座標、及び、計算された前記オブジェクトの色に関する情報を少なくとも用いて、前記オブジェクト形状ニューラルネットワークのパラメータを更新する、前記＜１＞または前記＜２＞に記載の三次元再構成方法である。
＜４＞　前記構造化光が投影されていない前記実際のオブジェクトの画像を、少なくとも１視点分、さらに取得し、前記オブジェクトの色を表現するオブジェクト色ニューラルネットワークにおける現在のパラメータに基づき、前記オブジェクト色ニューラルネットワークで表現された前記オブジェクトの色をさらに計算し、計算された前記オブジェクトの色に関する情報を用いて前記オブジェクト色ニューラルネットワークのパラメータをさらに更新する、前記＜１＞から前記＜３＞のいずれか１つに記載の三次元再構成方法である。
＜５＞　前記構造化光が投影されていない前記実際のオブジェクトの画像を、少なくとも１視点分、さらに取得し、前記オブジェクトの色を表現するオブジェクト色ニューラルネットワークにおける現在のパラメータ、及び、前記オブジェクト形状ニューラルネットワークにおける現在のパラメータに基づき、前記オブジェクトの色をさらに計算し、前記第１座標及び前記第２座標、及び、計算された前記オブジェクトの色に関する情報を少なくとも用いて、前記オブジェクト形状ニューラルネットワーク及び前記オブジェクト色ニューラルネットワークのパラメータを更新する、前記＜１＞乃至前記＜４＞のいずれか１つに記載の三次元再構成方法である。
＜６＞　前記構造化光は、複数の投影パターンを含む、前記＜１＞乃至前記＜５＞のいずれか１つに記載の三次元再構成方法である。
＜７＞　前記構造化光は、それぞれが第１の方向に延伸し、前記第１の方向とは直交する第２の方向に並んで配置される複数の線状パターンと、それぞれが前記第２の方向に延伸し、前記第１の方向に並んで配置される複数の線状パターンと、を含む、前記＜１＞乃至前記＜５＞のいずれか１つに記載の三次元再構成方法である。
＜８＞　第１カメラにより、前記第１視点における前記実際のオブジェクトの画像を取得し、第２カメラにより、前記第２視点における前記実際のオブジェクトの画像を取得し、前記第２座標を前記第１カメラに投影した第１の点と、前記第１座標を前記第２カメラに投影した第２の点と、を計算し、前記第１の点及び前記第２の点を少なくとも用いて、前記オブジェクト形状ニューラルネットワークのパラメータをさらに更新する、前記＜１＞に記載の三次元再構成方法である。
＜９＞　第１カメラにより、前記第１視点における前記実際のオブジェクトの画像を取得し、第２カメラにより、前記第２視点における前記実際のオブジェクトの画像を取得し、前記第２座標を前記第１カメラに投影した第１の点と、前記第１座標を前記第２カメラに投影した第２の点と、を計算し、前記第１の点及び前記第２の点を少なくとも用いて、前記オブジェクト色ニューラルネットワークのパラメータをさらに更新する、前記＜４＞に記載の三次元再構成方法である。
＜１０＞　構造化光が投影された実際のオブジェクトを少なくとも第１視点と第２視点から撮影することで得られる、それぞれの視点の画像を取得し、前記構造化光の投影パターンに基づいて、前記構造化光が投影された前記実際のオブジェクト表面上の同一点に対応する、前記第１視点の画像中の画素、及び、前記第２視点の画像中の画素、を、それぞれ、第１画素及び第２画素として特定し、オブジェクト形状ニューラルネットワークによって再構成される前記オブジェクトの三次元形状に関し、前記第1画素に対応する前記オブジェクトの表面上の点と、前記第２画素に対応する前記オブジェクトの表面上の点と、が一致するように、前記オブジェクト形状ニューラルネットワークのパラメータを更新する、三次元再構成方法である。
＜１１＞　構造化光を投影する投影部と、前記構造化光が投影された実際のオブジェクトを少なくとも第１視点と第２視点から撮影することで得られる、それぞれの視点の画像を取得するカメラと、前記構造化光の投影パターンに基づいて、前記構造化光が投影された前記実際のオブジェクト表面上の同一点に対応する、前記第１視点の画像中の画素、及び、前記第２視点の画像中の画素、を、それぞれ、第１画素及び第２画素として特定する対応画素特定部と、前記オブジェクトの三次元形状を再構成するオブジェクト形状ニューラルネットワークにおける現在のパラメータに基づき、前記オブジェクト形状ニューラルネットワークで再構成された前記オブジェクトの表面上の、前記第１画素に対応する第１座標及び前記第２画素に対応する第２座標を計算する対応座標算出部と、前記第１座標及び前記第２座標を少なくとも用いて、前記オブジェクト形状ニューラルネットワークのパラメータを更新するモデル更新部と、を有する三次元再構成システムである。

　この出願は、２０２２年１１月１８日に日本国特許庁に出願された日本国特許出願第２０２２－１８４９５５号に基づいて、その優先権を主張するものであり、この日本国特許出願の全内容を含む。

Claims

　構造化光が投影された実際のオブジェクトを少なくとも第１視点と第２視点から撮影することで得られる、それぞれの視点の画像を取得し、
　前記構造化光の投影パターンに基づいて、前記構造化光が投影された前記実際のオブジェクト表面上の同一点に対応する、前記第１視点の画像中の画素、及び、前記第２視点の画像中の画素、を、それぞれ、第１画素及び第２画素として特定し、
　前記オブジェクトの三次元形状を再構成するオブジェクト形状ニューラルネットワークにおける現在のパラメータに基づき、前記オブジェクト形状ニューラルネットワークで再構成された前記オブジェクトの表面上の、前記第１画素に対応する第１座標及び前記第２画素に対応する第２座標を計算し、
　前記第１座標及び前記第２座標を少なくとも用いて、前記オブジェクト形状ニューラルネットワークのパラメータを更新する、三次元再構成方法。
　前記パラメータの更新では、前記オブジェクト形状ニューラルネットワークの前記パラメータを、前記第１座標及び前記第２座標が一致する方向に更新する、請求項１に記載の三次元再構成方法。
　前記構造化光が投影されていない前記実際のオブジェクトの画像を、少なくとも１視点分、さらに取得し、
　前記オブジェクトの色を表現するオブジェクト色ニューラルネットワークにおける現在のパラメータ、及び、前記オブジェクト形状ニューラルネットワークにおける現在のパラメータに基づき、前記オブジェクトの色をさらに計算し、
　前記第１座標及び前記第２座標、及び、計算された前記オブジェクトの色に関する情報を少なくとも用いて、前記オブジェクト形状ニューラルネットワークのパラメータを更新する、請求項１に記載の三次元再構成方法。
　前記構造化光が投影されていない前記実際のオブジェクトの画像を、少なくとも１視点分、さらに取得し、
　前記オブジェクトの色を表現するオブジェクト色ニューラルネットワークにおける現在のパラメータに基づき、前記オブジェクト色ニューラルネットワークで表現された前記オブジェクトの色をさらに計算し、
　計算された前記オブジェクトの色に関する情報を用いて前記オブジェクト色ニューラルネットワークのパラメータをさらに更新する、請求項１に記載の三次元再構成方法。
　前記構造化光が投影されていない前記実際のオブジェクトの画像を、少なくとも１視点分、さらに取得し、
　前記オブジェクトの色を表現するオブジェクト色ニューラルネットワークにおける現在のパラメータ、及び、前記オブジェクト形状ニューラルネットワークにおける現在のパラメータに基づき、前記オブジェクトの色をさらに計算し、
　前記第１座標及び前記第２座標、及び、計算された前記オブジェクトの色に関する情報を少なくとも用いて、前記オブジェクト形状ニューラルネットワーク及び前記オブジェクト色ニューラルネットワークのパラメータを更新する、請求項１に記載の三次元再構成方法。
　前記構造化光は、複数の投影パターンを含む、請求項１乃至請求項５のいずれか１項に記載の三次元再構成方法。
　前記構造化光は、
　それぞれが第１の方向に延伸し、前記第１の方向とは直交する第２の方向に並んで配置される複数の線状パターンと、
　それぞれが前記第２の方向に延伸し、前記第１の方向に並んで配置される複数の線状パターンと、を含む、請求項１乃至請求項５のいずれか１項に記載の三次元再構成方法。
　第１カメラにより、前記第１視点における前記実際のオブジェクトの画像を取得し、
　第２カメラにより、前記第２視点における前記実際のオブジェクトの画像を取得し、
　前記第２座標を前記第１カメラに投影した第１の点と、前記第１座標を前記第２カメラに投影した第２の点と、を計算し、
　前記第１の点及び前記第２の点を少なくとも用いて、前記オブジェクト形状ニューラルネットワークのパラメータをさらに更新する、請求項１に記載の三次元再構成方法。
　第１カメラにより、前記第１視点における前記実際のオブジェクトの画像を取得し、
　第２カメラにより、前記第２視点における前記実際のオブジェクトの画像を取得し、
　前記第２座標を前記第１カメラに投影した第１の点と、前記第１座標を前記第２カメラに投影した第２の点と、を計算し、
　前記第１の点及び前記第２の点を少なくとも用いて、前記オブジェクト色ニューラルネットワークのパラメータをさらに更新する、請求項４に記載の三次元再構成方法。
　構造化光が投影された実際のオブジェクトを少なくとも第１視点と第２視点から撮影することで得られる、それぞれの視点の画像を取得し、
　前記構造化光の投影パターンに基づいて、前記構造化光が投影された前記実際のオブジェクト表面上の同一点に対応する、前記第１視点の画像中の画素、及び、前記第２視点の画像中の画素、を、それぞれ、第１画素及び第２画素として特定し、
　オブジェクト形状ニューラルネットワークによって再構成される前記オブジェクトの三次元形状に関し、前記第1画素に対応する前記オブジェクトの表面上の点と、前記第２画素に対応する前記オブジェクトの表面上の点と、が一致するように、前記オブジェクト形状ニューラルネットワークのパラメータを更新する、三次元再構成方法。
　構造化光を投影する投影部と、
　前記構造化光が投影された実際のオブジェクトを少なくとも第１視点と第２視点から撮影することで得られる、それぞれの視点の画像を取得するカメラと、
　前記構造化光の投影パターンに基づいて、前記構造化光が投影された前記実際のオブジェクト表面上の同一点に対応する、前記第１視点の画像中の画素、及び、前記第２視点の画像中の画素、を、それぞれ、第１画素及び第２画素として特定する対応画素特定部と、
　前記オブジェクトの三次元形状を再構成するオブジェクト形状ニューラルネットワークにおける現在のパラメータに基づき、前記オブジェクト形状ニューラルネットワークで再構成された前記オブジェクトの表面上の、前記第１画素に対応する第１座標及び前記第２画素に対応する第２座標を計算する対応座標算出部と、
　前記第１座標及び前記第２座標を少なくとも用いて、前記オブジェクト形状ニューラルネットワークのパラメータを更新するモデル更新部と、を有する三次元再構成システム。