JP7334509B2 - 三次元形状モデル生成システム、三次元形状モデル生成方法及びプログラム - Google Patents
三次元形状モデル生成システム、三次元形状モデル生成方法及びプログラム Download PDFInfo
- Publication number
- JP7334509B2 JP7334509B2 JP2019126019A JP2019126019A JP7334509B2 JP 7334509 B2 JP7334509 B2 JP 7334509B2 JP 2019126019 A JP2019126019 A JP 2019126019A JP 2019126019 A JP2019126019 A JP 2019126019A JP 7334509 B2 JP7334509 B2 JP 7334509B2
- Authority
- JP
- Japan
- Prior art keywords
- spectral
- viewpoint
- dimensional shape
- spectral reflectance
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、対象物体が異なる視点から撮像された二枚以上の複数の視点画像（以下、多視点画像）から対象物体の三次元形状モデルを生成する三次元形状モデル生成システム、三次元形状モデル生成方法及びプログラムに関する。
多視点画像に基づく、対象物体の三次元形状モデルを生成する三次元形状復元技術は、コンピュータビジョンの研究コミュニティだけでなく、文化財のデジタルアーカイブやエンターテイメント産業など、幅広い分野で注目されている。
多視点画像における撮像画像の各々において撮像された対象物体のシルエットや表面テクスチャの写り方の相違により、対象物体の三次元形状を復元する（例えば、特許文献１及び特許文献２参照）。
一般的に、このような多視点画像からの対象物体の三次元形状の復元では、復元された三次元形状モデルの色を、多視点画像における視点画像中の対応する画素におけるＲＧＢ値（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅのそれぞれのチャンネルの画素値）や、多視点画像における対応する複数枚の視点画像の各々におけるＲＧＢ値の平均値などを与える。
一般的に、このような多視点画像からの対象物体の三次元形状の復元では、復元された三次元形状モデルの色を、多視点画像における視点画像中の対応する画素におけるＲＧＢ値（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅのそれぞれのチャンネルの画素値）や、多視点画像における対応する複数枚の視点画像の各々におけるＲＧＢ値の平均値などを与える。
しかしながら、市場に流通して市販される一般的なデジタルカメラのＲＧＢ値は、対象物体を撮像する際における撮像環境の光源の分光分布や、撮像に利用するデジタルカメラの分光感度の特性の影響を受ける。
そのため、同一の対象物体を異なる光源下で撮像した視点画像を用いて三次元形状の復元を行った場合、実物とは異なる色で対象物体の三次元形状モデルが復元される。
同様に、同一の対象物体を異なる機種のデジタルカメラで撮像し、撮像した視点画像を用いて三次元形状の復元を行った場合も、異なる色で三次元形状モデルが復元される。
そのため、同一の対象物体を異なる光源下で撮像した視点画像を用いて三次元形状の復元を行った場合、実物とは異なる色で対象物体の三次元形状モデルが復元される。
同様に、同一の対象物体を異なる機種のデジタルカメラで撮像し、撮像した視点画像を用いて三次元形状の復元を行った場合も、異なる色で三次元形状モデルが復元される。
一方で、多視点画像における視点画像間における撮像環境の光源の分光分布や、撮像における分光感度の違いの影響を受けずに、三次元形状復元を行う対象物体の色情報を取得するため、ハイパースペクトルカメラを用いる方法がある。
ハイパースペクトルカメラは、数十～数百バンドに細かく波長を分光して各々の強度を示すスペクトル情報をピクセル毎に保持する画像であるハイパースペクトル画像を撮像することができる。
上述したハイパースペクトルカメラを用いて、対象物体の分光反射率（波長ごとの光の反射率）を取得することで、多視点画像の視点画像間における撮像環境の光源の分光分布や、撮像に用いデジタルカメラの分光感度の違いに依存しない色の表現が可能である。
ハイパースペクトルカメラは、数十～数百バンドに細かく波長を分光して各々の強度を示すスペクトル情報をピクセル毎に保持する画像であるハイパースペクトル画像を撮像することができる。
上述したハイパースペクトルカメラを用いて、対象物体の分光反射率（波長ごとの光の反射率）を取得することで、多視点画像の視点画像間における撮像環境の光源の分光分布や、撮像に用いデジタルカメラの分光感度の違いに依存しない色の表現が可能である。
しかしながら、ハイパースペクトルカメラは、ＲＧＢ画像を撮像する一般的なデジタルカメラと比較して、価格が高価であるという問題がある。
また、ハイパースペクトルカメラは、ＲＧＢ画像を撮像する一般的なデジタルカメラと比較して、撮像される撮像画像の解像度が低いと言う問題がある。すなわち、ハイパースペクトルカメラで撮像した多視点画像から三次元形状モデルの生成を行う際、多視点画像における視点画像の解像度が三次元形状復元の精度に大きく影響する。
このため、対象物体の三次元形状モデルの高い精度による復元を行うためには、解像度の低いハイパースペクトル画像は適していない。
また、ハイパースペクトルカメラは、ＲＧＢ画像を撮像する一般的なデジタルカメラと比較して、撮像される撮像画像の解像度が低いと言う問題がある。すなわち、ハイパースペクトルカメラで撮像した多視点画像から三次元形状モデルの生成を行う際、多視点画像における視点画像の解像度が三次元形状復元の精度に大きく影響する。
このため、対象物体の三次元形状モデルの高い精度による復元を行うためには、解像度の低いハイパースペクトル画像は適していない。
また、ハイパースペクトルカメラは、ハイパースペクトル画像を一枚撮像するために数十秒の時間を要し、三次元形状モデルの復元に用いる多視点画像は撮像画像を多く必要とし、復元に必要な枚数の撮像画像を撮像するために、対象物体を撮像する際に、多くの作業時間を要する。
例えば、対象物体の百枚以上の多視点画像を撮像するためには、数時間の作業時間が必要となる。
例えば、対象物体の百枚以上の多視点画像を撮像するためには、数時間の作業時間が必要となる。
上述した理由から、対象物体の三次元形状モデルを復元する多視点画像として、ハイパースペクトルカメラにより撮像するハイパースペクトル画像を用いることは難しい。このため、ハイパースペクトルカメラに対して価格がより安価であり、かつ短時間に多くの多視点画像を撮像する撮像装置により、簡易に対象物体の形状と分光反射率とを取得する技術が望まれている。
本発明は、このような状況に鑑みてなされたもので、一般的なユーザが取得可能な市場に流通している、高価なハイパースペクトルカメラよりも安価な撮像装置により、対象物体の形状と分光反射率とを簡易に取得することができる三次元形状モデル生成システム、三次元形状モデル生成方法及びプログラムを提供する。
上述した課題を解決するために、本発明の三次元形状モデル生成システムは、多視点画像から対象物体の分光反射率を含む三次元形状モデルを生成する三次元形状モデル生成システムであり、前記多視点画像における視点画像から前記対象物体の三次元形状と、当該多視点画像における視点画像の各々のカメラパラメータとを推定する三次元形状復元部と、前記多視点画像における前記視点画像の各々を、それぞれの撮像に用いた撮像装置の分光感度それぞれのグループに分類する多視点画像分類部と、前記三次元形状モデルの各部分に対応する視点の前記視点画像の各々を、少なくとも２つの前記グループからそれぞれ一枚以上選択し、分光反射率推定用視点群とする視点選択部と、前記分光反射率推定用視点群における前記視点画像の各々の前記分光感度と、撮像環境における光源の分光分布と、前記視点画像それぞれの対応する画素値とから、前記三次元形状モデルの各部分の分光反射率を推定する分光反射率推定部と、前記光源の環境下において、分光感度の異なる前記撮像装置の各々で撮像した撮像画像から、当該光源の分光分布を推定する光源分光分布推定部と、を備え、前記分光反射率推定部が、複数の分光反射率基底ベクトルの重み付け和を前記分光反射率として算出する際、光源の分光分布と視点画像の色成分チャンネルの分光感度の積に対する前記重み付け和との内積と、前記視点画像の色成分チャンネルの画素値のとの差分が最小化されるように前記複数の分光反射率基底ベクトルに対する重み係数を定める処理と、前記光源分光分布推定部が、複数の分光分布基底ベクトルの重み付け和を光源の分光分布として算出する際、当該重み付け和と前記視点画像の色成分チャンネルの分光感度の積に対する前記分光反射率との内積と、前記視点画像の画素値との差分が最小化されるように前記複数の分光分布基底ベクトルに対する重み係数を定める処理とを、繰り返すことを特徴とする三次元形状モデル生成システム。
本発明の三次元形状モデル生成システムは、前記視点選択部が、前記視点画像を前記グループの各々から選択する際、前記視点からの前記三次元形状モデルの前記部分の可視性を判定し、当該部分の可視性を有する前記視点の前記視点画像を選択することを特徴とする。
本発明の三次元形状モデル生成システムは、前記視点選択部が、前記三次元形状モデルの前記部分の三次元座標値及び法線ベクトルと、前記視点の三次元座標値及び視線ベクトルとの各々から、前記三次元形状モデルの前記部分に対する前記視点からの可視性の度合いを示す適性スコアを算出し、当該適性スコアに対応して前記視点画像を選択することを特徴とする。
本発明の三次元形状モデル生成システムは、前記分光反射率推定部が、前記分光反射率推定用視点群の前記視点画像の各々が選択された前記グループの種類の数に応じて、前記分光反射率を表現するために用いる分光反射率基底ベクトルの数を決定することを特徴とする。
本発明の三次元形状モデル生成システムは、前記光源分光分布推定部が、前記分光反射率が既知の参照物体を前記分光感度が異なる撮像装置で撮像した前記撮像画像の各々の対応する画素値と、前記分光反射率と、前記分光感度とから前記光源の前記分光分布を推定することを特徴とする。
本発明の三次元形状モデル生成システムは、前記多視点画像における前記視点画像の各々の画素値をグレースケール値に変換し、グレースケール画像を生成するグレースケール画像生成部をさらに備え、前記三次元形状復元部が、前記グレースケール画像の各々を用いて、前記対象物体の三次元形状と前記視点のカメラパラメータとを推定することを特徴とする。
本発明の三次元形状モデル生成システムは、前記グレースケール画像生成部が、前記視点画像を撮像した前記撮像装置の各々の前記分光感度と、前記三次元形状モデルの前記部分の分光反射率と、前記光源の分光分布とから、前記視点画像における前記画素値のグレースケール化を行う際に用いる調整パラメータを前記分光感度毎に生成することを特徴とする。
本発明の三次元形状モデル生成システムは、前記三次元形状モデルの前記部分の分光反射率と、所定の光源の分光分布とから、当該光源の環境下で視認される色を算出する色算出部をさらに備えることを特徴とする。
本発明の三次元形状モデル生成方法は、多視点画像から対象物体の分光反射率を含む三次元形状モデルを生成する三次元形状モデル生成装置における三次元形状モデル生成方法であり、前記三次元形状モデル生成装置が、前記多視点画像における視点画像から前記対象物体の三次元形状と、当該多視点画像における視点画像の各々のカメラパラメータとを推定する三次元形状復元過程と、前記多視点画像における前記視点画像の各々を、それぞれの撮像に用いた撮像装置の分光感度それぞれのグループに分類する多視点画像分類過程と、前記三次元形状モデルの各部分に対応する視点の前記視点画像の各々を、少なくとも２つの前記グループからそれぞれ一枚以上選択し、分光反射率推定用視点群とする視点選択過程と、前記分光反射率推定用視点群における前記視点画像の各々の前記分光感度と、撮像環境における光源の分光分布と、前記視点画像それぞれの対応する画素値とから、前記三次元形状モデルの各部分の分光反射率を推定する分光反射率推定過程と、前記光源の環境下において、分光感度の異なる前記撮像装置の各々で撮像した撮像画像から、当該光源の分光分布を推定する光源分光分布推定過程と、を実行し、前記分光反射率推定過程において、複数の分光反射率基底ベクトルの重み付け和を前記分光反射率として算出する際、光源の分光分布と視点画像の色成分チャンネルの分光感度の積に対する前記重み付け和との内積と、前記視点画像の色成分チャンネルの画素値のとの差分が最小化されるように前記複数の分光反射率基底ベクトルに対する重み係数を定める処理と、前記光源分光分布推定過程において、複数の分光分布基底ベクトルの重み付け和を光源の分光分布として算出する際、当該重み付け和と前記視点画像の色成分チャンネルの分光感度の積に対する前記分光反射率との内積と、前記視点画像の画素値との差分が最小化されるように前記複数の分光分布基底ベクトルに対する重み係数を定める処理とを、繰り返すことを特徴とする。
本発明のプログラムは、多視点画像から対象物体の分光反射率を含む三次元形状モデルを生成する三次元形状モデル生成システムとしてコンピュータを機能させるためのプログラムであり、前記コンピュータを、前記多視点画像における視点画像から前記対象物体の三次元形状と、当該多視点画像における視点画像の各々のカメラパラメータとを推定する三次元形状復元手段、前記多視点画像における前記視点画像の各々を、それぞれの撮像に用いた撮像装置の分光感度それぞれのグループに分類する多視点画像分類手段、前記三次元形状モデルの各部分に対応する視点の前記視点画像の各々を、少なくとも２つの前記グループからそれぞれ一枚以上選択し、分光反射率推定用視点群とする視点選択手段、前記分光反射率推定用視点群における前記視点画像の各々の前記分光感度と、撮像環境における光源の分光分布と、前記視点画像それぞれの対応する画素値とから、前記三次元形状モデルの各部分の分光反射率を推定する分光反射率推定手段、光源の環境下において、分光感度の異なる前記撮像装置の各々で撮像した撮像画像から、当該光源の分光分布を推定する光源分光分布推定手段、として機能させるためのプログラムであって、前記分光反射率推定手段が、複数の分光反射率基底ベクトルの重み付け和を前記分光反射率として算出する際、光源の分光分布と視点画像の色成分チャンネルの分光感度の積に対する前記重み付け和との内積と、前記視点画像の色成分チャンネルの画素値のとの差分が最小化されるように前記複数の分光反射率基底ベクトルに対する重み係数を定める処理と、前記光源分光分布推定手段が、複数の分光分布基底ベクトルの重み付け和を光源の分光分布として算出する際、当該重み付け和と前記視点画像の色成分チャンネルの分光感度の積に対する前記分光反射率との内積と、前記視点画像の画素値との差分が最小化されるように前記複数の分光分布基底ベクトルに対する重み係数を定める処理とを、繰り返すことを特徴とするプログラムである。
以上説明したように、本発明によれば、高価なハイパースペクトルカメラよりも安価な撮像装置により、対象物体の形状と分光反射率とを簡易に取得することができる三次元形状モデル生成システム、三次元形状モデル生成方法及びプログラムを提供することができる。
＜第１の実施形態＞
以下、本発明の第１の実施形態について、図面を参照して説明する。
図１は、本発明の第１の実施形態による三次元形状モデル生成システムの構成例を示すブロック図である。本実施形態においては、図示しない外部装置から、三次元形状モデルとして復元する対象の対象物体を撮像した撮像画像が視点画像のデータとして供給される。この視点画像の各々は、異なる視点から撮像された多視点画像である。また、視点画像の各々は、複数の異なる分光感度の撮像装置のそれぞれで撮像された、同一及び異なる視点の撮像画像データが含まれている。また、本実施形態において用いる撮像装置は、ハイパースペクトルカメラではなく、例えば、一般のユーザが利用するデジタルカメラなどである。本実施形態においては、多視点画像を複数の視点画像（異なる視点、異なる分光感度を有する撮像装置で撮像された撮像画像）の集合体として説明する。
以下、本発明の第１の実施形態について、図面を参照して説明する。
図１は、本発明の第１の実施形態による三次元形状モデル生成システムの構成例を示すブロック図である。本実施形態においては、図示しない外部装置から、三次元形状モデルとして復元する対象の対象物体を撮像した撮像画像が視点画像のデータとして供給される。この視点画像の各々は、異なる視点から撮像された多視点画像である。また、視点画像の各々は、複数の異なる分光感度の撮像装置のそれぞれで撮像された、同一及び異なる視点の撮像画像データが含まれている。また、本実施形態において用いる撮像装置は、ハイパースペクトルカメラではなく、例えば、一般のユーザが利用するデジタルカメラなどである。本実施形態においては、多視点画像を複数の視点画像（異なる視点、異なる分光感度を有する撮像装置で撮像された撮像画像）の集合体として説明する。
図１において、三次元形状モデル生成システム１００は、データ取得部１０１、視点画像分類部１０２、三次元形状復元部１０３、視点選択部１０４、分光反射率推定部１０５、色算出部１０６、画像表示部１０７、視点画像記憶部１０８、光源分光分布記憶部１０９、分光反射率基底ベクトル記憶部１１０及び三次元形状モデル記憶部１１１の各々を備えている。
データ取得部１０１は、外部装置から供給される視点画像のデータの各々を視点画像記憶部１０８に多視点画像として書き込んで記憶させる。この視点画像のデータには、撮像した撮像装置の分光感度のデータが添付されている。また、分光感度のデータではなく撮像装置の機種を示す情報であれば、データ取得部１０１は、撮像装置のメーカのウェブページなどから、機種に対応した予め校正されている分光感度のデータを読み込む。
また、データ取得部１０１は、外部装置から供給される対象物体の多視点画像を撮像した光源の分光分布（光源分光分布）のデータを、光源分光分布記憶部１０９に書き込んで記憶させる。
また、データ取得部１０１は、外部装置から供給される対象物体の多視点画像を撮像した光源の分光分布（光源分光分布）のデータを、光源分光分布記憶部１０９に書き込んで記憶させる。
多視点画像における視点画像の各々は、分光感度の異なる複数の機種の撮像装置により撮像されている。また、多視点画像の視点画像の各々は、一台の撮像装置に分光感度の異なる色彩変化フィルタの各々を装着して、一台の撮像装置により異なる分光感度の撮像装置を実現して撮像してもよい。この色彩変化フィルタの各々は、可視域において分光透過率が「０」となる波長を有しておらず、分光感度を所定の割合で調整するレンズフィルタである。すなわち、色彩変化フィルタは、可視光の波長帯域において、それぞれの波長の光を減衰させて分光感度を調整するが、減衰させた際に光を完全に遮断しない特性を有しているレンズフィルタが望ましい。
視点画像分類部１０２は、視点画像記憶部１０８に記憶されている視点画像の各々を、異なる分光感度毎に設けられた分光感度グループそれぞれに分類する。そして、視点画像分類部１０２は、視点画像記憶部１０８における分光感度グループ毎の分光感度グループデータテーブルに、それぞれの分光感度グループに分類された視点画像の各々を書き込んで記憶させる。
図２は、視点画像記憶部１０８における分光感度グループデータテーブルの構成例を示す図である。分光感度グループデータテーブルは、分光感度グループ毎に設けられ、分光感度グループの分光感度のデータが示されている。また、分光感度グループデータテーブルは、レコード毎に、視点画像識別情報、視点画像インデックス及びカメラパラメータの欄を備えている。例えば、分光感度がそれぞれ異なる３台の撮像装置で撮像した場合、視点画像の各々は、異なる分光感度が３種類であるため、３個の分光感度グループに分類される。３個の分光感度グループの各々は、それぞれが同一数の視点画像であっても、異なった数の視点画像を有してもよい。
図２は、視点画像記憶部１０８における分光感度グループデータテーブルの構成例を示す図である。分光感度グループデータテーブルは、分光感度グループ毎に設けられ、分光感度グループの分光感度のデータが示されている。また、分光感度グループデータテーブルは、レコード毎に、視点画像識別情報、視点画像インデックス及びカメラパラメータの欄を備えている。例えば、分光感度がそれぞれ異なる３台の撮像装置で撮像した場合、視点画像の各々は、異なる分光感度が３種類であるため、３個の分光感度グループに分類される。３個の分光感度グループの各々は、それぞれが同一数の視点画像であっても、異なった数の視点画像を有してもよい。
視点画像識別情報は、個々の視点画像を識別する識別情報（例えば、供給された際の順番を示す番号など）である。視点画像インデックスは、視点画像記憶部１０８において視点画像のデータが書き込まれた領域を示すアドレスである。カメラパラメータは、撮像装置の内部パラメータと外部パラメータとを含んでいる。内部パラメータは、視点画像を撮像した際の撮像装置の焦点距離、画像中心、画像の分解能（画素数）及び歪収差係数などである。外部パラメータは、世界座標系における撮像装置のレンズの中心座標（以下、視点位置）、レンズの光軸方向（光軸のベクトル、以下、光軸ベクトル）である。
三次元形状復元部１０３は、例えば、視点画像記憶部１０８に記憶されている、対象物体が撮像されている視点画像の各々を読み込み、この対象物体の三次元形状を推定し、三次元形状モデルを生成する。そして、三次元形状復元部１０３は、対象物体の三次元形状モデルのデータを三次元形状モデル記憶部１１１に書き込んで記憶させる。
ここで、三次元形状モデルの生成の手法に関しては、例えば、視点画像からデプスマップを生成し、このデプスマップから三次元形状モデルを三次元点群として生成する（特許文献１を参照）。
ここで、三次元形状モデルの生成の手法に関しては、例えば、視点画像からデプスマップを生成し、このデプスマップから三次元形状モデルを三次元点群として生成する（特許文献１を参照）。
また、三次元形状モデルは、三次元点群ではなく、多角形メッシュで表現される三次元メッシュモデル（例えば、三角形メッシュモデル）として生成してもよい（例えば、酒井修二、渡邉隆史、増田智仁、伊藤康一、青木孝文：位相限定相関法に基づく高精度多視点三次元復元アルゴリズムの提案、第２０回 画像の認識・理解シンポジウム（２０１７）を参照）。以下の説明において、三次元点群の各点と、三次元メッシュモデルの頂点あるいは面（ポリゴンの面）との各々は、区別する必要の無い場合、三次元形状モデルの部分と示す。
また、三次元形状復元部１０３は、三次元点群またはメッシュとして再現する際、視点画像の各々を撮像したときの撮像装置のカメラパラメータの推定も行う。
そして、三次元形状復元部１０３は、推定したカメラパラメータを、視点画像記憶部１０８の分光感度グループデータテーブルにおける対応するカメラパラメータの欄に書き込んで記憶させる。
そして、三次元形状復元部１０３は、推定したカメラパラメータを、視点画像記憶部１０８の分光感度グループデータテーブルにおける対応するカメラパラメータの欄に書き込んで記憶させる。
視点選択部１０４は、三次元形状モデルの部分毎に、当該部分の分光反射率を推定するために用いる視点画像の各々を分光反射率推定用視点群として、視点画像記憶部１０８の分光感度グループのそれぞれから選択（抽出）する。三次元形状モデルの部分は、三次元形状モデルが三次元点群の場合に各点であり、三次元形状モデルが三次元メッシュモデルの場合にメッシュの各頂点あるいはポリゴン面である。
ここで、三次元メッシュモデルにおける多角形（三角形以上）メッシュにおけるポリゴン面の分光反射率が推定される。ポリゴン面全体で１つの分光反射率でもよいし、またポリゴン面をテクスチャ画像として持っていて、このテクスチャ画像の分光反射率としてもよい。テクスチャ画像の分光反射率とする場合、テクスチャマップのピクセルに対して分光反射率を割り当てる構成とする。
また、視点選択部１０４は、少なくとも２個以上の分光感度グループの各々から、少なくとも１個以上の視点画像を選択する。分光感度グループが２個未満の場合（１個あるいはゼロの場合）、分光反射率の推定を行うことができない（後述）。
また、視点選択部１０４は、少なくとも２個以上の分光感度グループの各々から、少なくとも１個以上の視点画像を選択する。分光感度グループが２個未満の場合（１個あるいはゼロの場合）、分光反射率の推定を行うことができない（後述）。
図３は、三次元形状モデルにおける部分の分光反射率を推定するために用いる視点画像の選択処理を説明する図である。視点選択部１０４は、三次元形状モデル２００における部分２０１の分光反射率を求める視点画像を選択する際、分光感度グループ毎に視点画像の各々の視点位置における部分２０１の可視性の判定を行う。
視点選択部１０４は、以下の第１条件から第３条件までの３個の条件の全てを満たした場合、三次元形状モデルの部分が、それぞれの視点画像の視点位置からの可視性を有すると判定する。
視点選択部１０４は、以下の第１条件から第３条件までの３個の条件の全てを満たした場合、三次元形状モデルの部分が、それぞれの視点画像の視点位置からの可視性を有すると判定する。
ここで、三次元形状モデルの部分が視点画像に投影され（第１条件）、当該部分の法線ベクトル及び視点画像の視線ベクトルの内積が負であり（第２条件）、かつ部分が他の部分に遮られない視点位置の視点画像である（第３の条件）場合、視点位置が上記３個の条件を満たす場合に可視性を有すると判定され、この条件を満たす視点位置の視点画像が選択される。ここで、第２条件は、法線ベクトルと視線ベクトルとが向かい合う、すなわち法線ベクトルが三次元形状モデルの部分から外部に向き、視線ベクトルが視点から三次元形状モデルの部分に向くことで、視点から三次元形状モデルの部分が視認できるか否かの条件の一つとなる。
一方、視点選択部１０４は、視点位置が第１条件、第２条件、第３条件のいずれか一つでも満たされない場合、その視点位置の視点画像を選択しない。
一方、視点選択部１０４は、視点位置が第１条件、第２条件、第３条件のいずれか一つでも満たされない場合、その視点位置の視点画像を選択しない。
図３において、視点位置３０１が第２条件及び第３条件を満たさず、視点位置３０２が第２条件を満たすが第３条件を満たしていない。視点位置３０３から３０６までは第１条件、第２条件及び第３条件を満たしているが、ここで、第２条件が部分の法線ベクトル及び視点画像の視線ベクトルの内積が負である条件である。このため、第１条件、第２条件及び第３条件の全てを満たした可視性ありとして全てを選択してもよいし、第１条件、第２条件及び第３条件の全てを満たした視点位置から、第２条件において所定の内積の範囲内の視点位置の視点画像を選択するようにしてもよい。
一方、視点位置３０７は、第２条件及び第３条件を満たすが、視点位置において部分２０１が視点画像に投影されないため、第１条件を満たしていない。
一方、視点位置３０７は、第２条件及び第３条件を満たすが、視点位置において部分２０１が視点画像に投影されないため、第１条件を満たしていない。
また、視点選択部１０４は、可視性が有りと判定された各視点位置に対して、三次元形状モデルの部分のデータと、視点位置のカメラパラメータ（外部パラメータ）とを用いて、各視点の可視性に対応する適性スコアを求める構成としてもよい。この構成の場合、視点選択部１０４は、適性スコアの高い順に所定の数の視点位置の視点画像を選択（可視性ありの視点位置のなかの一部の視点位置の視点画像を選択）する。
視点選択部１０４は、例えば、以下に示す（１）式により、適性スコアｘｊを求める。（１）式における「・」はベクトルの内積を示している。「×」は単に乗算を示している。
ｘｊ＝（Ｏｊ・ｖｊ）×（－ｎ・ｖｊ） …（１）
上記（１）式においては、Ｏｊは、視点位置ｊの光軸ベクトルを示している。ｎは、三次元形状モデルの部分の法線ベクトルを示している。ｖｊは、視点位置ｊから、三次元形状モデルの部分へ向かう視線ベクトルである。ここで、三次元形状モデルの部分が三次元メッシュモデルの面である場合、ｖｊは、例えば、視点位置ｊからこの面の重心位置に向かうベクトルを用いる。
ｘｊ＝（Ｏｊ・ｖｊ）×（－ｎ・ｖｊ） …（１）
上記（１）式においては、Ｏｊは、視点位置ｊの光軸ベクトルを示している。ｎは、三次元形状モデルの部分の法線ベクトルを示している。ｖｊは、視点位置ｊから、三次元形状モデルの部分へ向かう視線ベクトルである。ここで、三次元形状モデルの部分が三次元メッシュモデルの面である場合、ｖｊは、例えば、視点位置ｊからこの面の重心位置に向かうベクトルを用いる。
これにより、（１）式における第１項の「Ｏｊ・ｖｊ」は、三次元形状モデルの部分に対応するピクセルが、より中央近傍にある視点画像に対応する視点位置ｊの適性コストｘｊが高くなる。
また、（１）式における第２項の「－ｎ・ｖｊ」は、三次元形状モデルの部分に対して、より正面にある視点画像に対応する視点位置のコストが高くなる。
したがって、上記（１）式により求められる適正コストｘｊを用いることで、三次元形状モデルの部分に対してより正面にある視点画像に対応する視点位置であり、かつ、この部分に対応するピクセルがより中央近傍にある視点画像に対応する視点位置を選択することができる。
また、（１）式における第２項の「－ｎ・ｖｊ」は、三次元形状モデルの部分に対して、より正面にある視点画像に対応する視点位置のコストが高くなる。
したがって、上記（１）式により求められる適正コストｘｊを用いることで、三次元形状モデルの部分に対してより正面にある視点画像に対応する視点位置であり、かつ、この部分に対応するピクセルがより中央近傍にある視点画像に対応する視点位置を選択することができる。
図３においては、例えば、視点位置３０３の適性スコアｘｊ（３０３Ｓ）が０．９であり、視点位置３０４の適性スコアｘｊ（３０４Ｓ）が０．８であり、視点位置３０５の適性スコアｘｊ（３０５Ｓ）が０．６であり、視点位置３０６の適性スコアｘｊ（３０６Ｓ）が０．７である。そして、適性スコアの高い順に視点位置が２個選択されるルールが設定されている視点選択部１０４に対して設定されている場合、視点選択部１０４は、視点位置３０３及び３０４を選択する。
図１に戻り、分光反射率推定部１０５は、光源分光分布記憶部１０９から、多視点画像における視点画像の各々を撮像した際の光源の分光分布を読み込む。
そして、分光反射率推定部１０５は、三次元形状モデルの部分毎に、分光反射率推定用視点群における各視点画像の分光感度と、光源の分光分布と、三次元形状モデルの部分に対応する視点画像における画素値とから、三次元形状モデルの部分の各々の分光反射率を推定する。
そして、分光反射率推定部１０５は、三次元形状モデルの部分毎に、分光反射率推定用視点群における各視点画像の分光感度と、光源の分光分布と、三次元形状モデルの部分に対応する視点画像における画素値とから、三次元形状モデルの部分の各々の分光反射率を推定する。
本実施形態において、分光反射率推定部１０５は、例えば、分光反射率基底ベクトル記憶部１１０から、複数の分光反射率基底ベクトルを読み込む。そして、分光反射率推定部１０５は、三次元形状モデルの部分の分光反射率を、読み込んだ複数の分光反射率基底ベクトルの各々の重み付け和で表現する。分光反射率推定部１０５は、各分光反射率基底ベクトルの重み付けを行う重み係数を推定することにより、三次元形状モデルの部分の分光反射率を推定する。
ここで、分光反射率基底ベクトルは、主成分分析を用いて複数の分光反射率データの集合である分光反射率データ群から、当該分光反射率データ群を表現するための分光反射率基底ベクトルとして、予め導出されている。
この主成分分析においては、分光反射率の実際の次元よりも、少ない数の分光反射率基底ベクトルの組み合わせで、分光反射率を表現できるようになる。すなわち、分光反射率基底ベクトルを用いることにより、推定する対象である分光反射率の次元を圧縮し、計算負荷を低減させる。
この主成分分析においては、分光反射率の実際の次元よりも、少ない数の分光反射率基底ベクトルの組み合わせで、分光反射率を表現できるようになる。すなわち、分光反射率基底ベクトルを用いることにより、推定する対象である分光反射率の次元を圧縮し、計算負荷を低減させる。
すなわち、分光反射率推定部１０５は、以下の（２）式示すように、複数の分光反射率基底ベクトルＢ＝［ｂ１，ｂ２，…］Ｔの重み付け和で表し、この重み付けを行うため、分光反射率基底ベクトルの各々の重み係数ｒ＝［ｒ１，ｒ２，…］Ｔを求めることにより、分光反射率ｓを推定している。ここで、分光反射率基底ベクトルは、例えば、セットとして分光反射率基底ベクトル記憶部１１０に予め記憶されている。また、分光反射率基底ベクトル記憶部１１０において、主成分分析における主成分得点の高い順に、分光反射率基底ベクトルが複数配列して記憶されており、所定の順までの分光反射率基底ベクトルを必要に応じた数を読み込んで用いる構成としても良い。
図４は、分光反射率基底ベクトルを合成して分光反射率を表現することを示す概念図である。図４に示すように、分光反射率ｓは、所定の物体の各々の分光反射率を用いた主成分分析で得られた分光反射率基底ベクトルｂ１からｂＮｒの各々に対して、それぞれ重み係数を乗算して、乗算結果を合成することで得られる。
すなわち、分光反射率推定部１０５は、必要な数の分光反射率基底ベクトルｂ１からｂＮｒを分光反射率基底ベクトル記憶部１１０から抽出する。
そして、分光反射率推定部１０５は、抽出した分光反射率基底ベクトルｂ１からｂＮｒの各々の重み係数ｒ１からｒＮｒのそれぞれを、視点画像の画素値となる分光反射率ｓが得られるように推定し、推定結果から分光反射率ベクトルｓを求める（後述）。
すなわち、分光反射率推定部１０５は、必要な数の分光反射率基底ベクトルｂ１からｂＮｒを分光反射率基底ベクトル記憶部１１０から抽出する。
そして、分光反射率推定部１０５は、抽出した分光反射率基底ベクトルｂ１からｂＮｒの各々の重み係数ｒ１からｒＮｒのそれぞれを、視点画像の画素値となる分光反射率ｓが得られるように推定し、推定結果から分光反射率ベクトルｓを求める（後述）。
図１に戻り、分光反射率推定部１０５は、上記（２）式で表した分光反射率に対し、以下の（３）式を解くことにより、各重み係数ｒを推定する。そして、分光反射率推定部１０５は、推定した重み係数により、（２）式により分光反射率ｓの推定を行う。ここで、分光反射率ｓｉは、例えば、４００ｎｍから７００ｎｍの波長範囲を１０ｎｍ刻みでサンプリングした３１次元ベクトルとして表している。
上記（３）式において、ｐｍ，ｋは、ｍ番目の視点画像のｋ番目のチャンネルの画素値である。すなわち、ｐｍ，ｋにおいて、ｍは、分光反射率推定用視点群における視点画像を示す番号である。また、ｋは、視点画像における部分における色成分のチャンネルを示している。例えば、部分が色成分Ｒ、Ｇ及びＢの画素値で示されていれば、例えばチャンネル１が色成分Ｒであり、チャンネル２が色成分Ｇであり、チャンネル３が色成分Ｂである。また、各視点画像から画素値を読み出す画素は、三次元形状モデルの部分の三次元座標を、画像に投影することにより決定することができる。
また、（３）式において、行列Ｃｍ、ｋは、ｍ番目の視点画像のｋ番目のチャンネル（色成分の波長帯域）の分光感度を示している。このＣｍ、ｋにおける要素ｃｍ，ｋ（λ）は、ｍ番目の視点画像のｋ番目のチャンネルにおける波長λの分光感度を示している。
また、光源の分光分布ｌは、すでに計測された分光分布データとして、光源分光分布記憶部１０９に書き込まれている。分光反射率推定部１０５は、多視点画像が撮像された環境における光源の分光分布を光源分光分布記憶部１０９から読み出す。
また、光源の分光分布ｌは、すでに計測された分光分布データとして、光源分光分布記憶部１０９に書き込まれている。分光反射率推定部１０５は、多視点画像が撮像された環境における光源の分光分布を光源分光分布記憶部１０９から読み出す。
ここで、分光反射率推定部１０５は、分光反射率推定用視点群における分光感度グループの数に対応して、分光反射率基底ベクトル記憶部１１０から分光反射率基底ベクトルのセットを選択して読み出す構成としてもよい。
また、（３）式を解く際、分光反射率データを表すために用いる分光反射率基底ベクトル（主成分）の数（以下、分光反射率基底ベクトル数）Ｎｒの上限は、例えば、多視点画像を撮像する分光感度グループの数（撮像装置の数、あるいは色彩変化フィルタによる分光感度の調整数など）に基づいて決定される。
また、（３）式を解く際、分光反射率データを表すために用いる分光反射率基底ベクトル（主成分）の数（以下、分光反射率基底ベクトル数）Ｎｒの上限は、例えば、多視点画像を撮像する分光感度グループの数（撮像装置の数、あるいは色彩変化フィルタによる分光感度の調整数など）に基づいて決定される。
ｑ個の分光感度グループにおける視点画像を用いる場合、「Ｎｒ（分光反射率基底ベクトル数）＝ｑ（分光感度の種類の数、分光感度グループ数）×ｋ（チャンネルの数、以下チャンネル数）」の関係式で決定される。すなわち、分光反射率データを示す分光反射率基底ベクトル数Ｎｒが分光感度グループ数ｑのチャンネル数ｋ倍以下であれば、（３）式を解くことが可能である。
一例としては、３台の分光感度の異なる撮像装置を用い、チャンネルがＲ、Ｇ及びＢの３個である場合、基底ベクトルの上限は、９（＝３×３）となる。
一例としては、３台の分光感度の異なる撮像装置を用い、チャンネルがＲ、Ｇ及びＢの３個である場合、基底ベクトルの上限は、９（＝３×３）となる。
しかし、（３）式を解く際にノイズの影響を抑制するためには、分光反射率基底ベクトル数Ｎｒが、分光感度グループ数ｑのチャンネル数ｋ倍未満、例えば「Ｎｒ＝ｑ×ｋ－１」として運用することが望ましい。この場合、３台の分光感度の異なる撮像装置を用い、チャンネルがＲ、Ｇ及びＢの３個である場合、分光反射率基底ベクトルの上限は、８（＝３×３－１）となる。
また、分光反射率推定用視点群が三次元形状モデルの部分毎に求められ、部分の各々における分光感度グループ数ｑが異なる。このため、三次元形状モデルの部分それぞれにおいて、分光反射率推定部１０５が分光反射率基底ベクトル記憶部１１０から読み出す分光反射率基底ベクトルのセット（分光反射率基底ベクトル数Ｎｒ）が異なる。
また、分光反射率推定用視点群が三次元形状モデルの部分毎に求められ、部分の各々における分光感度グループ数ｑが異なる。このため、三次元形状モデルの部分それぞれにおいて、分光反射率推定部１０５が分光反射率基底ベクトル記憶部１１０から読み出す分光反射率基底ベクトルのセット（分光反射率基底ベクトル数Ｎｒ）が異なる。
図５は、本実施形態における三次元形状モデルの部分の分光反射率の推定結果を示す図である。図５（ａ）は、多視点画像により対象物体の三次元形状を推定して生成した三次元形状モデル６００の所定の視点からの画像を示している。
図５（ｂ）は、分光反射率のグラフであり、縦軸が分光反射率を示し、横軸が波長（可視光の４００ｎｍから７００ｎｍまでの波長帯域）を示している。
図５（ｂ）は、分光反射率のグラフであり、縦軸が分光反射率を示し、横軸が波長（可視光の４００ｎｍから７００ｎｍまでの波長帯域）を示している。
ここで、三次元形状モデル６００における部分６０１における推定値としての分光反射率の曲線（実線）と、部分６０１に対する対象物体の同一部分の実測値（真値）としての分光反射率の曲線（破線）とが示されている。この実測値は、接触式の分光濃度・測色計により、対象物体を計測して得た分光反射率である。
この図５（ｂ）から判るように、本実施形態において推定される分光反射率は、真値に対して良く近似している。
この図５（ｂ）から判るように、本実施形態において推定される分光反射率は、真値に対して良く近似している。
色算出部１０６は、データ取得部１０１を介して供給される種類の光源に対応した分光分布のデータを、光源分光分布記憶部１０９の分光分布データテーブルから読み込む。
そして、色算出部１０６は、読み込んだ分光分布と、三次元形状モデルの部分の各々の推定された分光反射率と、予め設定された等色関数とを用い、三次元形状モデルの部分それぞれの画素値（ＲＧＢ値）を算出する。ここで、上記等色関数には、ＣＩＥ（国際照明委員会）測色基準観察者等色関数などが用いられる。
そして、色算出部１０６は、読み込んだ分光分布と、三次元形状モデルの部分の各々の推定された分光反射率と、予め設定された等色関数とを用い、三次元形状モデルの部分それぞれの画素値（ＲＧＢ値）を算出する。ここで、上記等色関数には、ＣＩＥ（国際照明委員会）測色基準観察者等色関数などが用いられる。
画像表示部１０７は、例えば、液晶表示画面を有し、三次元形状モデル記憶部１１１の三次元形状モデルの所定の視点位置から観察される画像を、図７に示すような形態で液晶表示画面に表示させる。
図６は、光源分光分布記憶部１０９における分光分布データテーブルの構成例を示す図である。分光分布データテーブルは、各種光源の分光分布のデータが示され、レコード毎に光源識別情報と、この光源識別情報の示す光源名及分光分布との欄を備えている。光源識別情報は、光源の各々を識別するための識別情報である。光源名は、光源の名称であり、例えば、日光、ＬＥＤ（light emitting diode）、蛍光灯、白熱灯などの名称が記載されている。分光分布は、分光分布のデータが記載されている。
図７は、色算出部１０６による各種光源下における三次元形状モデルの各部の色の算出結果を示す図である。
図７（ａ）は各部が分光反射率データで示された三次元形状モデルの所定の視点からの画像を示している。図７（ｂ）は、推定した分光反射率と、日光の分光分布と、等色関数とを用いて、部分毎に算出したＲＧＢ値の色の三次元形状モデルの所定の視点からの画像を示している。図７（ｃ）は、推定した分光反射率と、蛍光灯の分光分布と、等色関数とを用いて、部分毎に算出したＲＧＢ値の色の三次元形状モデルの所定の視点からの画像を示している。図７（ｄ）は、推定した分光反射率と、白熱灯の分光分布と、等色関数とを用いて、部分毎に算出したＲＧＢ値の色の三次元形状モデルの所定の視点からの画像を示している。
上述したように、色算出部１０６は、分光反射率推定部１０５により推定された分光反射率を用いて、光源分光分布記憶部１０９の光源分光分布データテーブルから、指定される光源の分光分布のデータを読出し、それぞれの光源下で視認される対象物体の色と同様に観察される三次元形状モデルを生成することができる。
図７（ａ）は各部が分光反射率データで示された三次元形状モデルの所定の視点からの画像を示している。図７（ｂ）は、推定した分光反射率と、日光の分光分布と、等色関数とを用いて、部分毎に算出したＲＧＢ値の色の三次元形状モデルの所定の視点からの画像を示している。図７（ｃ）は、推定した分光反射率と、蛍光灯の分光分布と、等色関数とを用いて、部分毎に算出したＲＧＢ値の色の三次元形状モデルの所定の視点からの画像を示している。図７（ｄ）は、推定した分光反射率と、白熱灯の分光分布と、等色関数とを用いて、部分毎に算出したＲＧＢ値の色の三次元形状モデルの所定の視点からの画像を示している。
上述したように、色算出部１０６は、分光反射率推定部１０５により推定された分光反射率を用いて、光源分光分布記憶部１０９の光源分光分布データテーブルから、指定される光源の分光分布のデータを読出し、それぞれの光源下で視認される対象物体の色と同様に観察される三次元形状モデルを生成することができる。
図８は、本実施形態による三次元形状モデル生成システムによる三次元形状モデルの各部の分光反射率を推定する処理の動作例を示すフローチャートである。
ステップＳ１０１：
データ取得部１０１は、外部装置から供給される多視点画像における視点画像の各々に対し、それぞれが撮像された際の分光感度の情報を付加して、視点画像記憶部１０８に書き込んで記憶させる。
ステップＳ１０１：
データ取得部１０１は、外部装置から供給される多視点画像における視点画像の各々に対し、それぞれが撮像された際の分光感度の情報を付加して、視点画像記憶部１０８に書き込んで記憶させる。
ステップＳ１０２：
視点画像分類部１０２は、視点画像記憶部１０８を参照して、視点画像毎に付加された分光感度により、視点画像の各々を分光感度グループに分類する。
そして、視点画像分類部１０２は、分類した視点画像それぞれを、対応する分光感度グループデータテーブルに書き込んで記憶させる。
視点画像分類部１０２は、視点画像記憶部１０８を参照して、視点画像毎に付加された分光感度により、視点画像の各々を分光感度グループに分類する。
そして、視点画像分類部１０２は、分類した視点画像それぞれを、対応する分光感度グループデータテーブルに書き込んで記憶させる。
ステップＳ１０３：
三次元形状復元部１０３は、視点画像記憶部１０８の多視点画像における視点画像を用いて、多視点画像から対象物体の三次元形状を推定し、三次元形状モデルを生成する。
そして、三次元形状復元部１０３は、生成した三次元形状モデルのデータ（三次元座標における三次元点群の各点の座標値、あるいは三次元メッシュモデルの頂点の座標値）を、三次元形状モデル記憶部１１１に書き込んで記憶させる。
三次元形状復元部１０３は、視点画像記憶部１０８の多視点画像における視点画像を用いて、多視点画像から対象物体の三次元形状を推定し、三次元形状モデルを生成する。
そして、三次元形状復元部１０３は、生成した三次元形状モデルのデータ（三次元座標における三次元点群の各点の座標値、あるいは三次元メッシュモデルの頂点の座標値）を、三次元形状モデル記憶部１１１に書き込んで記憶させる。
ステップＳ１０４：
視点選択部１０４は、三次元形状モデル記憶部１１１における三次元形状モデルから、分光反射率が推定されていない部分を抽出する。
そして、視点選択部１０４は、視点画像記憶部１０８における分光感度グループデータテーブルのカメラパラメータを参照し、抽出した部分に対して第１条件から第３条件を満たす可視性を有する視点画像を、各分光感度グループの各々から抽出する。
視点選択部１０４は、三次元形状モデル記憶部１１１における三次元形状モデルから、分光反射率が推定されていない部分を抽出する。
そして、視点選択部１０４は、視点画像記憶部１０８における分光感度グループデータテーブルのカメラパラメータを参照し、抽出した部分に対して第１条件から第３条件を満たす可視性を有する視点画像を、各分光感度グループの各々から抽出する。
ステップＳ１０５：
分光反射率推定部１０５は、画素値のチャンネル数と分光感度グループ数とに対応した数の分光反射率基底ベクトルを、分光反射率基底ベクトル記憶部１１０から読み出す。
分光反射率推定部１０５は、視点画像記憶部１０８を参照して、選択された視点画像の各々における三次元形状モデルの部分に対応する画素値（ＲＧＢ値）を読み込む。
また、分光反射率推定部１０５は、視点画像記憶部１０８の分光感度グループデータテーブルを参照し、選択された視点画像の各々の分光感度を読み込む。
また、分光反射率推定部１０５は、光源分光分布記憶部１０９から、多視点画像を撮像した環境の光源の分光分布を読み出す。
分光反射率推定部１０５は、画素値のチャンネル数と分光感度グループ数とに対応した数の分光反射率基底ベクトルを、分光反射率基底ベクトル記憶部１１０から読み出す。
分光反射率推定部１０５は、視点画像記憶部１０８を参照して、選択された視点画像の各々における三次元形状モデルの部分に対応する画素値（ＲＧＢ値）を読み込む。
また、分光反射率推定部１０５は、視点画像記憶部１０８の分光感度グループデータテーブルを参照し、選択された視点画像の各々の分光感度を読み込む。
また、分光反射率推定部１０５は、光源分光分布記憶部１０９から、多視点画像を撮像した環境の光源の分光分布を読み出す。
ステップＳ１０６：
分光反射率推定部１０５は、視点画像の各々の三次元形状モデルの部分の画素値と、視点画像それぞれを撮像した撮像装置の分光感度と、光源の分光分布とを用い、（２）式及び（３）式の各々により、三次元形状モデルにおける対象としている部分の分光反射率を推定する。
分光反射率推定部１０５は、視点画像の各々の三次元形状モデルの部分の画素値と、視点画像それぞれを撮像した撮像装置の分光感度と、光源の分光分布とを用い、（２）式及び（３）式の各々により、三次元形状モデルにおける対象としている部分の分光反射率を推定する。
ステップＳ１０７：
分光反射率推定部１０５は、推定した分光反射率を、三次元形状モデルの対象としている部分に対応させて、三次元形状モデル記憶部１１１に書き込んで記憶させる。
分光反射率推定部１０５は、推定した分光反射率を、三次元形状モデルの対象としている部分に対応させて、三次元形状モデル記憶部１１１に書き込んで記憶させる。
ステップＳ１０８：
視点選択部１０４は、三次元形状モデル記憶部１１１を参照して、三次元形状モデルにおいて分光反射率が推定されていない部分の有無を確認し、処理が終了したか否かの判定を行う。
このとき、視点選択部１０４は、分光反射率が推定されていない部分がある場合、分光反射率の推定処理が終了していないため、処理をステップＳ１０４へ進める。
一方、視点選択部１０４は、分光反射率が推定されていない部分がない場合、三次元形状モデルの全ての部分の分光反射率の推定処理が終了しているため、処理を終了する。
視点選択部１０４は、三次元形状モデル記憶部１１１を参照して、三次元形状モデルにおいて分光反射率が推定されていない部分の有無を確認し、処理が終了したか否かの判定を行う。
このとき、視点選択部１０４は、分光反射率が推定されていない部分がある場合、分光反射率の推定処理が終了していないため、処理をステップＳ１０４へ進める。
一方、視点選択部１０４は、分光反射率が推定されていない部分がない場合、三次元形状モデルの全ての部分の分光反射率の推定処理が終了しているため、処理を終了する。
上述したように、本実施形態によれば、多視点画像から対象物体の三次元形状を推定して、この対象物体の三次元形状モデルを生成するとともに、ハイパースペクトルカメラを使用することなく、かつ分光感度の異なるデジタルカメラなどの撮像装置を複数台用いて撮像した上記多視点画像から、三次元形状モデルの部分（三次元点群の点、あるいは三次元メッシュモデルのポリゴンの面）の各々の分光反射率を精度良く、容易に推定することができる。
また、対象物体の分光反射率を求めるのではなく、複数の分光感度の異なる撮像装置を用いて撮像した多視点画像から三次元形状モデルの生成及びこの三次元形状モデルの部分の各々における、光源の分光分布と対象物体の分光反射率とが乗算された分光放射輝度を推定する構成としてもよい。この場合、分光反射率推定部１０５が分光情報推定部とされ、（２）式及び（３）式において、分光反射率基底ベクトルＢ＝［ｂ１，ｂ２，ｂＮｒ］が分光放射輝度基底ベクトルとされ、（３）式における光源の分光分布ｌが省かれて、分光放射輝度の算出を行う。
このように、本実施形態は、対象物体の分光反射率、あるいは対象物体の分光反射率及び多視点画像を撮像した環境における光源の分光分布とが乗算された分光放射輝度として、対象物体の分光情報の推定値を、対象物体の三次元形状の推定とともに容易に得ることができる。
＜第２の実施形態＞
以下、本発明の第２の実施形態について、図面を参照して説明する。
図９は、本発明の第２の実施形態による三次元形状モデル生成システムの構成例を示すブロック図である。本実施形態においても、図示しない外部装置から、三次元形状モデルとして復元する対象の対象物体を撮像した撮像画像データが視点画像として供給される。この視点画像の各々は、異なる分光感度の撮像装置を複数用い、異なる視点から撮像された多視点画像である。以下、第１の実施形態と異なる構成及び動作のみ説明する。
以下、本発明の第２の実施形態について、図面を参照して説明する。
図９は、本発明の第２の実施形態による三次元形状モデル生成システムの構成例を示すブロック図である。本実施形態においても、図示しない外部装置から、三次元形状モデルとして復元する対象の対象物体を撮像した撮像画像データが視点画像として供給される。この視点画像の各々は、異なる分光感度の撮像装置を複数用い、異なる視点から撮像された多視点画像である。以下、第１の実施形態と異なる構成及び動作のみ説明する。
図９において、三次元形状モデル生成システム１００Ａは、データ取得部１０１、視点画像分類部１０２、三次元形状復元部１０３、視点選択部１０４、分光反射率推定部１０５、色算出部１０６、画像表示部１０７、視点画像記憶部１０８、光源分光分布記憶部１０９、分光反射率基底ベクトル記憶部１１０、三次元形状モデル記憶部１１１、光源分光分布推定部１１３及び分光分布基底ベクトル記憶部１１４の各々を備えている。
光源分光分布推定部１１３は、複数の異なる分光感度の撮像装置で撮像した視点画像からなる多視点画像により、この多視点画像を撮像した環境における光源の分光分布を推定する。
光源分光分布推定部１１３は、例えば、分光分布基底ベクトル記憶部１１４から、複数の分光分布基底ベクトルを読み込む。そして、光源分光分布推定部１１３は、分光反射率の場合と同様に、多視点画像を撮像した環境における光源の分光分布を、読み込んだ複数の分光分布基底ベクトルの重み付け和で表現する。光源分光分布推定部１１３は、各分光分布基底ベクトルの重み付けを行う重み係数を推定することにより、光源の分光分布を推定する。
光源分光分布推定部１１３は、例えば、分光分布基底ベクトル記憶部１１４から、複数の分光分布基底ベクトルを読み込む。そして、光源分光分布推定部１１３は、分光反射率の場合と同様に、多視点画像を撮像した環境における光源の分光分布を、読み込んだ複数の分光分布基底ベクトルの重み付け和で表現する。光源分光分布推定部１１３は、各分光分布基底ベクトルの重み付けを行う重み係数を推定することにより、光源の分光分布を推定する。
ここで、分光分布基底ベクトルは、主成分分析を用いて複数の光源の分光分布の集合である分光分布データ群から、当該分光反射率データ群を表現するための分光分布基底ベクトルとして導出されている。
この主成分分析においては、分光反射率の場合と同様に、分光分布の実際の次元よりも、少ない数の分光分布基底ベクトルの組み合わせで、分光分布を表現できるようになる。すなわち、分光分布基底ベクトルを用いることにより、推定する対象である光源の分光分布の次元を圧縮し、計算負荷を低減させる。
この主成分分析においては、分光反射率の場合と同様に、分光分布の実際の次元よりも、少ない数の分光分布基底ベクトルの組み合わせで、分光分布を表現できるようになる。すなわち、分光分布基底ベクトルを用いることにより、推定する対象である光源の分光分布の次元を圧縮し、計算負荷を低減させる。
すなわち、光源分光分布推定部１１３は、以下の（４）式示すように、複数の分光分布基底ベクトルｅｊ＝［ｅｊ（λ１），ｅｊ（λ２），…］Ｔの重み付け和で表し、分光分布基底ベクトルの各々の重み係数ａ＝［ａ１，ａ２，…］Ｔを求めることにより、分光分布ｌを推定している。ここで、分光分布基底ベクトルは、例えば、セットとして分光分布基底ベクトル記憶部１１４に予め記憶されている。また、分光分布基底ベクトル記憶部１１４において、主成分分析における主成分得点の高い順に複数配列して記憶されており、所定の順までの分光分布基底ベクトルを必要に応じて読み込んで用いる構成としても良い（後述）。
この分光分布基底ベクトルの合成も、図４に示す分光反射率基底ベクトルを合成して分光反射率を表現する場合と同様である。
この分光分布基底ベクトルの合成も、図４に示す分光反射率基底ベクトルを合成して分光反射率を表現する場合と同様である。
そして、光源分光分布推定部１１３は、上記（４）式で表した分光分布に対し、以下の（５）式を解くことにより、各重み係数ａを推定する。そして、光源分光分布推定部１１３は、推定した重み係数により、（４）式により分光分布ｌの推定を行う。ここで、分光分布ｌは、例えば、分光反射率の場合と同様に、４００ｎｍから７００ｎｍの波長範囲を１０ｎｍ刻みでサンプリングした３１次元ベクトルとして表している。
上記（５）式において、ｐｍ，ｋは、ｍ番目の視点画像のｋ番目のチャンネルの画素値である。すなわち、ｐｍ，ｋにおいて、ｍは、分光反射率推定用視点群における視点画像を示す番号である。また、ｋは、視点画像における部分における色成分のチャンネルを示している。例えば、部分が色成分Ｒ、Ｇ及びＢの画素値で示されていれば、例えばチャンネル１が色成分Ｒであり、チャンネル２が色成分Ｇであり、チャンネル３が色成分Ｂである。
また、（５）式において、行列Ｃｍ、ｋは、ｍ番目の視点画像のｋ番目のチャンネル（色成分の波長帯域）の分光感度を示している。このＣｍ、ｋにおける要素ｃｍ，ｋ（λ）は、ｍ番目の視点画像のｋ番目のチャンネルにおける波長λの分光感度を示している。
（５）式で用いる視点画像は、三次元形状モデルの部分をいくつかサンプリングし、そのサンプリングした部分の分光反射率推定用視点群の視点画像である。
そして、光源分光分布推定部１１３は、サンプリングした部分の分光反射率と、各視点画像における部分に対応する画素値と、視点画像を撮像した撮像装置の分光感度とを用いて、（５）式を解いて重み係数ａを推定することにより、光源の分光分布の推定を行う。このサンプリングする部分は、三次元形状モデルから選択しても良いし、視点画像における画素から選択しても良い。
（５）式で用いる視点画像は、三次元形状モデルの部分をいくつかサンプリングし、そのサンプリングした部分の分光反射率推定用視点群の視点画像である。
そして、光源分光分布推定部１１３は、サンプリングした部分の分光反射率と、各視点画像における部分に対応する画素値と、視点画像を撮像した撮像装置の分光感度とを用いて、（５）式を解いて重み係数ａを推定することにより、光源の分光分布の推定を行う。このサンプリングする部分は、三次元形状モデルから選択しても良いし、視点画像における画素から選択しても良い。
ここで、光源分光分布推定部１１３は、分光反射率の推定の場合と同様に、分光反射率推定用視点群における分光感度グループの数に対応して、分光分布基底ベクトル記憶部１１４から分光分布基底ベクトルのセットを選択して読み出す構成としてもよい。
また、（５）式を解く際、分光分布データを表すために用いる分光分布基底ベクトル（主成分）の数（以下、分光分布基底ベクトル数）Ｎχの上限は、例えば、多視点画像を撮像する分光感度グループの数（撮像装置の数、あるいは色彩変化フィルタによる分光感度の調整数など）に基づいて決定される。
また、（５）式を解く際、分光分布データを表すために用いる分光分布基底ベクトル（主成分）の数（以下、分光分布基底ベクトル数）Ｎχの上限は、例えば、多視点画像を撮像する分光感度グループの数（撮像装置の数、あるいは色彩変化フィルタによる分光感度の調整数など）に基づいて決定される。
また、分光反射率推定用視点群が三次元形状モデルの部分毎に求められ、部分の各々における分光感度グループ数ｍが異なる。このため、三次元形状モデルの部分それぞれにおいて、光源分光分布推定部１１３が分光分布基底ベクトル記憶部１１４から読み出す分光分布基底ベクトルのセット（分光分布基底ベクトル数Ｎχ）が異なる。
三次元形状モデルの各部分の分光反射率と、光源の分光分布との各々の推定を行う場合、分光反射率及び分光分布の推定を交互に複数回繰返して行う。
分光反射率の推定から行う場合、分光反射率推定部１０５は、光源分光分布記憶部１０９から、予め設定されているデフォルトの光源の分光分布を読み込み、分光反射率の推定を（２）式及び（３）式を用いて行う。
次に、分光分布の推定を行う場合、光源分光分布推定部１１３は、上記デフォルトの光源の分光分布により求められた分光反射率を用い、分光分布の推定を（４）式及び（５）式を用いて行う。
分光反射率の推定から行う場合、分光反射率推定部１０５は、光源分光分布記憶部１０９から、予め設定されているデフォルトの光源の分光分布を読み込み、分光反射率の推定を（２）式及び（３）式を用いて行う。
次に、分光分布の推定を行う場合、光源分光分布推定部１１３は、上記デフォルトの光源の分光分布により求められた分光反射率を用い、分光分布の推定を（４）式及び（５）式を用いて行う。
一方、分光分布の推定から行う場合、光源分光分布推定部１１３は、三次元形状モデルからサンプリングされる部分の分光反射率を、予め設定されているデフォルトの分光反射率を用いて、分光分布の推定を（４）式及び（５）式を用いて行う。
次に、分光反射率の推定を行う場合、分光反射率推定部１０５は、上記デフォルトの分光反射率により求められた分光分布を用い、分光反射率の推定を（２）式及び（３）式を用いて行う。
次に、分光反射率の推定を行う場合、分光反射率推定部１０５は、上記デフォルトの分光反射率により求められた分光分布を用い、分光反射率の推定を（２）式及び（３）式を用いて行う。
上述したように、本実施形態によれば、三次元形状モデルの各部分の分光反射率の推定と、当該部分からサンプリングした部分を用いた分光分布の推定とを繰り返して行うことにより、三次元形状モデルの部分の各々の分光反射率と、多視点画像を撮像した環境における光源の分光分布との推定精度を高めつつ求めることができる。
また、このとき、分光分布の推定及び分光反射率の推定を繰り返す回数を予め設定して、繰り返し回数がこの設定した回数になった場合に処理を終了してもよいし、得られた数値と直前の計算結果の数値との差が所定の値になった場合に処理を終了する構成としてもよい。
また、このとき、分光分布の推定及び分光反射率の推定を繰り返す回数を予め設定して、繰り返し回数がこの設定した回数になった場合に処理を終了してもよいし、得られた数値と直前の計算結果の数値との差が所定の値になった場合に処理を終了する構成としてもよい。
また、分光反射率を推定する場合、分光反射率が既知の参照物体（例えば、カラーチャート）を対象物体と同一画像で撮像した視点画像、あるいは対象物体を撮像した光源下で上記参照物体を撮像した参照画像のいずれかを用いて光源の分光分布を推定する構成としてもよい。
このとき、光源分光分布推定部１１３は、参照物体と対象物体とを同一画像として撮像された視点画像を用いる場合、分光感度グループの少なくとも２個以上から、上記参照物体が撮像されている視点画像を選択し、光源推定用視点群を生成する。
そして、光源分光分布推定部１１３は、光源推定用視点群における視点画像に対応した分光感度と、参照物体の所定の部分の既知の分光反射率と、光源推定用視点群における視点画像の上記所定の部分に対応する位置の画素値とを用いて、（４）式及び（５）式により、多視点画像を撮像した光源の分光分布を算出する。
このとき、光源分光分布推定部１１３は、参照物体と対象物体とを同一画像として撮像された視点画像を用いる場合、分光感度グループの少なくとも２個以上から、上記参照物体が撮像されている視点画像を選択し、光源推定用視点群を生成する。
そして、光源分光分布推定部１１３は、光源推定用視点群における視点画像に対応した分光感度と、参照物体の所定の部分の既知の分光反射率と、光源推定用視点群における視点画像の上記所定の部分に対応する位置の画素値とを用いて、（４）式及び（５）式により、多視点画像を撮像した光源の分光分布を算出する。
＜第３の実施形態＞
以下、本発明の第３の実施形態について、図面を参照して説明する。
図１０は、本発明の第３の実施形態による三次元形状モデル生成システムの構成例を示すブロック図である。本実施形態においても、図示しない外部装置から、三次元形状モデルとして復元する対象の対象物体を撮像した撮像画像データが視点画像として供給される。この視点画像の各々は、異なる分光感度の撮像装置を複数用い、異なる視点から撮像された多視点画像である。以下、第１の実施形態と異なる構成及び動作のみ説明する。
以下、本発明の第３の実施形態について、図面を参照して説明する。
図１０は、本発明の第３の実施形態による三次元形状モデル生成システムの構成例を示すブロック図である。本実施形態においても、図示しない外部装置から、三次元形状モデルとして復元する対象の対象物体を撮像した撮像画像データが視点画像として供給される。この視点画像の各々は、異なる分光感度の撮像装置を複数用い、異なる視点から撮像された多視点画像である。以下、第１の実施形態と異なる構成及び動作のみ説明する。
図１０において、三次元形状モデル生成システム１００Ｂは、データ取得部１０１、視点画像分類部１０２、三次元形状復元部１０３、視点選択部１０４、分光反射率推定部１０５、色算出部１０６、画像表示部１０７、視点画像記憶部１０８、光源分光分布記憶部１０９、分光反射率基底ベクトル記憶部１１０、三次元形状モデル記憶部１１１、グレースケール画像生成部１１５及びグレースケール画像記憶部１１６の各々を備えている。
グレースケール画像生成部１１５は、多視点画像における視点画像の各々において、各画素の画素値（例えば、ＲＧＢ値）を輝度値Ｙに、以下の（６）式あるいは（７）式のいずれかを用いて変換し、カラー画像からグレースケール画像を生成する。
そして、グレースケール画像生成部１１５は、グレースケール画像に変換した視点画像の各々を、グレースケール画像記憶部１１６に書き込んで記憶させる。
また、第３の実施形態の場合、三次元形状復元部１０３は、グレースケール画像が生成された以降における三次元形状モデルの生成を、グレースケール画像記憶部１１６に記憶されているグレースケールの視点画像を用いて行う。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１４４×Ｂ …（６）
Ｙ＝０．２１２６×Ｒ＋０．７１５２×Ｇ＋０．０７２２×Ｂ …（７）
そして、グレースケール画像生成部１１５は、グレースケール画像に変換した視点画像の各々を、グレースケール画像記憶部１１６に書き込んで記憶させる。
また、第３の実施形態の場合、三次元形状復元部１０３は、グレースケール画像が生成された以降における三次元形状モデルの生成を、グレースケール画像記憶部１１６に記憶されているグレースケールの視点画像を用いて行う。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１４４×Ｂ …（６）
Ｙ＝０．２１２６×Ｒ＋０．７１５２×Ｇ＋０．０７２２×Ｂ …（７）
そして、撮像装置の分光感度が異なる場合、同一の対象物体を撮像した視点画像における画素値が異なる。すなわち、（６）式あるいは（７）式に示す重み係数をＲＧＢ値に同様に乗算して輝度値Ｙを求めた場合、分光感度の異なる撮像装置の各々により、同一の対象物体を撮像した視点画像それぞれの対応する画素における濃淡を示す輝度値Ｙが異なる。視点画像間における対応する画素の濃淡が異なる場合、対象物体の三次元形状を推定の精度が低下し、三次元形状物体モデルの復元精度が低下する。ここで、重み係数は、（６）式であれば、Ｒに対して乗算している「０．２９９」、Ｇに対して乗算している「０．５８７」、及びＢに対して乗算している「０．１４４」である。
さらに、三次元形状モデルの復元精度が低下した場合、この三次元形状モデルの部分を用いる分光反射率の推定の精度も低下する。
このため、グレースケール画像生成部１１５は、視点画像をグレースケール画像に変換する際、それぞれの対応する部分が同様のグレースケールとなるように、視点画像のＲＧＢ値の各々に対して分光感度に対応した調整パラメータを求め、上記（６）式あるいは（７）式において、求めた調整パラメータを重み係数とともにＲＧＢ値のそれぞれに乗算して、輝度値Ｙを求めてグレースケール画像を生成する。
このため、グレースケール画像生成部１１５は、視点画像をグレースケール画像に変換する際、それぞれの対応する部分が同様のグレースケールとなるように、視点画像のＲＧＢ値の各々に対して分光感度に対応した調整パラメータを求め、上記（６）式あるいは（７）式において、求めた調整パラメータを重み係数とともにＲＧＢ値のそれぞれに乗算して、輝度値Ｙを求めてグレースケール画像を生成する。
この調整パラメータは、三次元形状物体モデルの部分の分光反射率と、多視点画像を撮像した光源の分光分布とにより、撮像装置の各々の分光感度に対応してＲＧＢ値の各々に対して求められる。
すなわち、グレースケール画像生成部１１５は、分光反射率及び分光分布の各々を乗算して求めた分光放射輝度が、それぞれの分光感度の異なる撮像装置で同一となるように調整パラメータを求める。
そして、グレースケール画像生成部１１５は、分光感度の異なる撮像装置で撮像した視点画像の各々の画素のＲＧＢ値それぞれに対して、（６）式あるいは（７）式において、重み係数とともに調整パラメータを乗算して、グレースケール画像を生成する。
すなわち、グレースケール画像生成部１１５は、分光反射率及び分光分布の各々を乗算して求めた分光放射輝度が、それぞれの分光感度の異なる撮像装置で同一となるように調整パラメータを求める。
そして、グレースケール画像生成部１１５は、分光感度の異なる撮像装置で撮像した視点画像の各々の画素のＲＧＢ値それぞれに対して、（６）式あるいは（７）式において、重み係数とともに調整パラメータを乗算して、グレースケール画像を生成する。
上述したグレースケール画像が生成された後、三次元形状復元部１０３は、グレースケール画像記憶部１１６から、グレースケール画像とされた多視点画像における視点画像を順次読出し、対象物体の三次元形状を推定し、三次元形状モデルを新たに生成する。
そして、三次元形状復元部１０３は、新たに生成された三次元形状モデルを、三次元形状モデル記憶部１１１に記憶されている三次元形状モデルに上書きする（変更する）。
そして、三次元形状復元部１０３は、新たに生成された三次元形状モデルを、三次元形状モデル記憶部１１１に記憶されている三次元形状モデルに上書きする（変更する）。
視点選択部１０４は、新たに生成された三次元形状モデルを、三次元形状モデル記憶部１１１から読出し、この３次元形状モデルの部分の各々に対応した視点画像を分光反射率推定用視点群として抽出する。
これにより、分光反射率推定部１０５は、分光反射率推定用視点群の視点画像を用いて、三次元形状モデルの部分の各々の分光反射率を推定する。
そして、グレースケール画像生成部１１５は、新たに求められた三次元形状モデルの部分からサンプリングした部分の分光反射から上述した調整パラメータを求めて、新たなグレースケール画像を生成する。
これにより、分光反射率推定部１０５は、分光反射率推定用視点群の視点画像を用いて、三次元形状モデルの部分の各々の分光反射率を推定する。
そして、グレースケール画像生成部１１５は、新たに求められた三次元形状モデルの部分からサンプリングした部分の分光反射から上述した調整パラメータを求めて、新たなグレースケール画像を生成する。
上述したように、本実施形態によれば、対象物体の三次元形状及び分光反射率を推定する処理と、この対象物体の分光反射率、光源の分光分布視点画像及び分光感度に対応して視点画像からグレースケール画像を生成する処理とを繰返すことにより、対象物体の三次元形状の推定の精度とともに、分光反射率の推定の精度を向上させることができる。
なお、本発明における図１、図９及び図１０の三次元形状モデル生成システムの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて実行することにより、対象物体の三次元形状及び分光反射率を推定する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷ（World Wide Web）システムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc - Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ（Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
１００，１００Ａ，１００Ｂ…三次元形状モデル生成システム
１０１…データ取得部
１０２…視点画像分類部
１０３…三次元形状復元部
１０４…視点選択部
１０５…分光反射率推定部
１０６…色算出部
１０７…画像表示部
１０８…視点画像記憶部
１０９…光源分光分布記憶部
１１０…分光反射率基底ベクトル記憶部
１１１…三次元形状モデル記憶部
１１３…光源分光分布推定部
１１４…分光分布基底ベクトル記憶部
１１５…グレースケール画像生成部
１１６…グレースケール画像記憶部
１０１…データ取得部
１０２…視点画像分類部
１０３…三次元形状復元部
１０４…視点選択部
１０５…分光反射率推定部
１０６…色算出部
１０７…画像表示部
１０８…視点画像記憶部
１０９…光源分光分布記憶部
１１０…分光反射率基底ベクトル記憶部
１１１…三次元形状モデル記憶部
１１３…光源分光分布推定部
１１４…分光分布基底ベクトル記憶部
１１５…グレースケール画像生成部
１１６…グレースケール画像記憶部
Claims (10)
- 多視点画像から対象物体の分光反射率を含む三次元形状モデルを生成する三次元形状モデル生成システムであり、
前記多視点画像における視点画像から前記対象物体の三次元形状と、当該多視点画像における視点画像の各々のカメラパラメータとを推定する三次元形状復元部と、
前記多視点画像における前記視点画像の各々を、それぞれの撮像に用いた撮像装置の分光感度毎のグループに分類する多視点画像分類部と、
前記三次元形状モデルの各部分に対応する視点の前記視点画像の各々を、少なくとも２つの前記グループからそれぞれ一枚以上選択し、分光反射率推定用視点群とする視点選択部と、
前記分光反射率推定用視点群における前記視点画像の各々の前記分光感度と、撮像環境における光源の分光分布と、前記視点画像それぞれの対応する画素値とから、前記三次元形状モデルの各部分の分光反射率を推定する分光反射率推定部と、
前記光源の環境下において、分光感度の異なる前記撮像装置の各々で撮像した撮像画像から、当該光源の分光分布を推定する光源分光分布推定部と、
を備え、
前記分光反射率推定部が、複数の分光反射率基底ベクトルの重み付け和を前記分光反射率として算出する際、光源の分光分布と視点画像の色成分チャンネルの分光感度の積に対する前記重み付け和との内積と、前記視点画像の色成分チャンネルの画素値のとの差分が最小化されるように前記複数の分光反射率基底ベクトルに対する重み係数を定める処理と、
前記光源分光分布推定部が、複数の分光分布基底ベクトルの重み付け和を光源の分光分布として算出する際、当該重み付け和と前記視点画像の色成分チャンネルの分光感度の積に対する前記分光反射率との内積と、前記視点画像の画素値との差分が最小化されるように前記複数の分光分布基底ベクトルに対する重み係数を定める処理とを、
繰り返す
ことを特徴とする三次元形状モデル生成システム。 - 前記視点選択部が、
前記視点画像を前記グループの各々から選択する際、前記視点からの前記三次元形状モデルの前記部分の可視性を判定し、当該部分の可視性を有する前記視点の前記視点画像を選択する
ことを特徴とする請求項１に記載の三次元形状モデル生成システム。 - 前記視点選択部が、
前記三次元形状モデルの前記部分の三次元座標値及び法線ベクトルと、前記視点の三次元座標値及び視線ベクトルとの各々から、前記三次元形状モデルの前記部分に対する前記視点からの可視性の度合いを示す適性スコアを算出し、当該適性スコアに対応して前記視点画像を選択する
ことを特徴とする請求項１または請求項２に記載の三次元形状モデル生成システム。 - 前記分光反射率推定部が、
前記分光反射率推定用視点群の前記視点画像の各々が選択された前記グループの種類の数に応じて、前記分光反射率を表現するために用いる分光反射率基底ベクトルの数を決定する
ことを特徴とする請求項１から請求項３のいずれか一項に記載の三次元形状モデル生成システム。 - 前記光源分光分布推定部が、
前記分光反射率が既知の参照物体を前記分光感度が異なる撮像装置で撮像した前記撮像画像の各々の対応する画素値と、前記分光反射率と、前記分光感度とから前記光源の前記分光分布を推定する
ことを特徴とする請求項１から請求項３のいずれか一項に記載の三次元形状モデル生成システム。 - 前記多視点画像における前記視点画像の各々の画素値をグレースケール値に変換し、グレースケール画像を生成するグレースケール画像生成部
をさらに備え、
前記三次元形状復元部が、
前記グレースケール画像の各々を用いて、前記対象物体の三次元形状と前記視点のカメラパラメータとを推定する
ことを特徴とする請求項１から請求項５のいずれか一項に記載の三次元形状モデル生成システム。 - 前記グレースケール画像生成部が、
前記視点画像を撮像した前記撮像装置の各々の前記分光感度と、前記三次元形状モデルの前記部分の分光反射率と、前記光源の分光分布とから、前記視点画像における前記画素値のグレースケール化を行う際に用いる調整パラメータを前記分光感度毎に生成する
ことを特徴とする請求項６に記載の三次元形状モデル生成システム。 - 前記三次元形状モデルの前記部分の分光反射率と、所定の光源の分光分布とから、当該光源の環境下で視認される色を算出する色算出部を
さらに備える
ことを特徴とする請求項１から請求項７のいずれか一項に記載の三次元形状モデル生成システム。 - 多視点画像から対象物体の分光反射率を含む三次元形状モデルを生成する三次元形状モデル生成装置における三次元形状モデル生成方法であり、
前記三次元形状モデル生成装置が、
前記多視点画像における視点画像から前記対象物体の三次元形状と、当該多視点画像における視点画像の各々のカメラパラメータとを推定する三次元形状復元過程と、
前記多視点画像における前記視点画像の各々を、それぞれの撮像に用いた撮像装置の分光感度それぞれのグループに分類する多視点画像分類過程と、
前記三次元形状モデルの各部分に対応する視点の前記視点画像の各々を、少なくとも２つの前記グループからそれぞれ一枚以上選択し、分光反射率推定用視点群とする視点選択過程と、
前記分光反射率推定用視点群における前記視点画像の各々の前記分光感度と、撮像環境における光源の分光分布と、前記視点画像それぞれの対応する画素値とから、前記三次元形状モデルの各部分の分光反射率を推定する分光反射率推定過程と、
前記光源の環境下において、分光感度の異なる前記撮像装置の各々で撮像した撮像画像から、当該光源の分光分布を推定する光源分光分布推定過程と、
を実行し、
前記分光反射率推定過程において、複数の分光反射率基底ベクトルの重み付け和を前記分光反射率として算出する際、光源の分光分布と視点画像の色成分チャンネルの分光感度の積に対する前記重み付け和との内積と、前記視点画像の色成分チャンネルの画素値のとの差分が最小化されるように前記複数の分光反射率基底ベクトルに対する重み係数を定める処理と、
前記光源分光分布推定過程において、複数の分光分布基底ベクトルの重み付け和を光源の分光分布として算出する際、当該重み付け和と前記視点画像の色成分チャンネルの分光感度の積に対する前記分光反射率との内積と、前記視点画像の画素値との差分が最小化されるように前記複数の分光分布基底ベクトルに対する重み係数を定める処理とを、
繰り返す
ことを特徴とする三次元形状モデル生成方法。 - 多視点画像から対象物体の分光反射率を含む三次元形状モデルを生成する三次元形状モデル生成システムとしてコンピュータを機能させるためのプログラムであり、
前記コンピュータを、
前記多視点画像における視点画像から前記対象物体の三次元形状と、当該多視点画像における視点画像の各々のカメラパラメータとを推定する三次元形状復元手段、
前記多視点画像における前記視点画像の各々を、それぞれの撮像に用いた撮像装置の分光感度それぞれのグループに分類する多視点画像分類手段、
前記三次元形状モデルの各部分に対応する視点の前記視点画像の各々を、少なくとも２つの前記グループからそれぞれ一枚以上選択し、分光反射率推定用視点群とする視点選択手段、
前記分光反射率推定用視点群における前記視点画像の各々の前記分光感度と、撮像環境における光源の分光分布と、前記視点画像それぞれの対応する画素値とから、前記三次元形状モデルの各部分の分光反射率を推定する分光反射率推定手段、
前記光源の環境下において、分光感度の異なる前記撮像装置の各々で撮像した撮像画像から、当該光源の分光分布を推定する光源分光分布推定手段、
として機能させるためのプログラムであって、
前記分光反射率推定手段が、複数の分光反射率基底ベクトルの重み付け和を前記分光反射率として算出する際、光源の分光分布と視点画像の色成分チャンネルの分光感度の積に対する前記重み付け和との内積と、前記視点画像の色成分チャンネルの画素値のとの差分が最小化されるように前記複数の分光反射率基底ベクトルに対する重み係数を定める処理と、
前記光源分光分布推定手段が、複数の分光分布基底ベクトルの重み付け和を光源の分光分布として算出する際、当該重み付け和と前記視点画像の色成分チャンネルの分光感度の積に対する前記分光反射率との内積と、前記視点画像の画素値との差分が最小化されるように前記複数の分光分布基底ベクトルに対する重み係数を定める処理とを、
繰り返す
ことを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019126019A JP7334509B2 (ja) | 2019-07-05 | 2019-07-05 | 三次元形状モデル生成システム、三次元形状モデル生成方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019126019A JP7334509B2 (ja) | 2019-07-05 | 2019-07-05 | 三次元形状モデル生成システム、三次元形状モデル生成方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021012514A JP2021012514A (ja) | 2021-02-04 |
| JP7334509B2 true JP7334509B2 (ja) | 2023-08-29 |
Family
ID=74226596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019126019A Active JP7334509B2 (ja) | 2019-07-05 | 2019-07-05 | 三次元形状モデル生成システム、三次元形状モデル生成方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7334509B2 (ja) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003235059A (ja) | 2002-02-08 | 2003-08-22 | Kanai Systems Kk | 色キャリブレーションシステム |
| JP2008128771A (ja) | 2006-11-20 | 2008-06-05 | Toppan Printing Co Ltd | 分光情報および形状情報同時取得装置及び情報取得方法 |
| JP2010130157A (ja) | 2008-11-26 | 2010-06-10 | Olympus Corp | マルチスペクトル画像処理装置、マルチスペクトル画像処理方法、および、マルチスペクトル画像処理プログラム |
| JP2019020952A (ja) | 2017-07-14 | 2019-02-07 | 日本電信電話株式会社 | 画像処理装置、方法、及びプログラム |
| JP2019020951A (ja) | 2017-07-14 | 2019-02-07 | 日本電信電話株式会社 | 画像処理装置、方法、及びプログラム |
-
2019
- 2019-07-05 JP JP2019126019A patent/JP7334509B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003235059A (ja) | 2002-02-08 | 2003-08-22 | Kanai Systems Kk | 色キャリブレーションシステム |
| JP2008128771A (ja) | 2006-11-20 | 2008-06-05 | Toppan Printing Co Ltd | 分光情報および形状情報同時取得装置及び情報取得方法 |
| JP2010130157A (ja) | 2008-11-26 | 2010-06-10 | Olympus Corp | マルチスペクトル画像処理装置、マルチスペクトル画像処理方法、および、マルチスペクトル画像処理プログラム |
| JP2019020952A (ja) | 2017-07-14 | 2019-02-07 | 日本電信電話株式会社 | 画像処理装置、方法、及びプログラム |
| JP2019020951A (ja) | 2017-07-14 | 2019-02-07 | 日本電信電話株式会社 | 画像処理装置、方法、及びプログラム |
Non-Patent Citations (7)
| Title |
|---|
| Ali Zia et al.，"3D Reconstruction from Hyperspectral Images"，2015 IEEE Winter Conference on Applications of Computer Vision，米国，IEEE，2015年01月05日，pp.318-325 |
| 伊藤 秀哉、外３名，"多視点マルチバンド画像からの３次元復元と色再現に関する検討"，第２９回 回路とシステムワークショップ 論文集，日本，電子情報通信学会 基礎・境界ソサイエティ システムと信号処理サブソサイエティ，2016年05月12日，pp.324-329 |
| 合津 正史、外３名，"ＲＧＢカラーカメラを用いた分光ベース全方位画像計測法"，情報処理学会研究報告，日本，社団法人情報処理学会，2009年02月09日，Vol.2009, No.12，pp.95-100 |
| 土田 勝、外６名，"ステレオ式ワンショット型６バンド画像撮影システムによる３D物体の正確な色再現"，画像の認識・理解シンポジウム(MIRU2011)論文集，日本，情報処理学会，2011年07月20日，pp.1066-1071 |
| 富永 昌治，"マルチバンドイメージング技術とビジョン応用"，情報処理学会論文誌，日本，社団法人情報処理学会，2006年03月15日，Vol.47, No.SIG 5(CVIM 13)，pp.20-34 |
| 杉浦 博明、外３名，"ディジタルカメラの分光応答度特性測定方法"，画像電子学会誌，日本，画像電子学会，2001年03月25日，Vol.30, No.2，pp.76-84 |
| 梶 光雄，"画像入出力装置の進歩と課題"，画像電子学会誌，日本，画像電子学会，2000年01月25日，Vol.29, No.1，pp.44-54 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021012514A (ja) | 2021-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4324238B2 (ja) | 画像処理システム、方法及び装置 | |
| KR101991766B1 (ko) | 적응적인 다중-차원 데이터 분해 | |
| JP5727109B2 (ja) | スペクトル画像処理 | |
| Phillips et al. | Camera image quality benchmarking | |
| EP1583371A1 (en) | Light source estimating device, light source estimating method, and imaging device and image processing method | |
| CN102685511B (zh) | 图像处理设备和图像处理方法 | |
| JP2014515587A (ja) | デジタル画像装置用の画像処理パイプラインの学習 | |
| JP6540885B2 (ja) | 色校正装置、色校正システム、色校正用ホログラム、色校正方法及びプログラム | |
| CN112651945A (zh) | 一种基于多特征的多曝光图像感知质量评价方法 | |
| JP4917959B2 (ja) | 知覚的な鏡面・拡散反射画像推定方法とその装置、及びプログラムと記憶媒体 | |
| Li et al. | Deep hyperspectral-depth reconstruction using single color-dot projection | |
| JP2017208642A (ja) | 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム | |
| CN117671159A (zh) | 三维模型的生成方法及装置、设备、存储介质 | |
| JP7334509B2 (ja) | 三次元形状モデル生成システム、三次元形状モデル生成方法及びプログラム | |
| Patuano | Measuring naturalness and complexity using the fractal dimensions of landscape photographs | |
| JP7286268B2 (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
| JPWO2019171691A1 (ja) | 画像処理装置、および撮像装置、並びに画像処理方法 | |
| JP7291389B2 (ja) | 対象識別方法、情報処理装置、情報処理プログラム、および照明装置 | |
| KR20220040025A (ko) | 딥러닝 기반 열 영상 재구성 장치 및 방법 | |
| Anitha et al. | Quality assessment of resultant images after processing | |
| JP2023034128A (ja) | 分光テクスチャ画像生成システム、分光テクスチャ画像生成方法及びプログラム | |
| JP2022035153A (ja) | 分光テクスチャ画像生成システム、分光テクスチャ画像生成方法及びプログラム | |
| JP2007165995A (ja) | 画像生成装置、画像生成方法および画像生成プログラム | |
| JP2008160210A (ja) | 情報処理方法および撮像装置 | |
| Kaur et al. | Enriched image demosaicing using illuminate normalization and content based color filter array |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220627 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230512 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230516 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230703 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230718 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230731 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7334509 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |