JP5248992B2

JP5248992B2 - ３次元物体モデル情報生成装置及びプログラム

Info

Publication number: JP5248992B2
Application number: JP2008293251A
Authority: JP
Inventors: パナヒプルテヘラニメヒルダド; 彰夫石川; 茂之酒澤
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2008-11-17
Filing date: 2008-11-17
Publication date: 2013-07-31
Anticipated expiration: 2028-11-17
Also published as: JP2010122725A

Description

本発明は、カメラにて撮影した複数の画像に基づき被写体の３次元物体モデル情報を生成する技術に関する。

例えば、非特許文献１には、複数のカメラで撮影した画像から被写体を抽出して３次元物体モデル情報を生成する技術が記載されており、非特許文献２には、センサを利用して３次元物体モデル情報を生成する技術が記載されている。ここで、３次元物体モデル情報とは、３次元空間における被写体の表面位置を示す情報である。

複数のカメラで撮影した動画像に基づき、任意の位置から見た映像を再現する自由視点映像システムのためには、各画像に表されている被写体の位置、つまり、３次元モデル情報を、可能な限り正確に生成することが必要である。また、自由視点映像システムでは、例えば、スポーツの試合等、常に動き続ける被写体をも対象とするため、非特許文献２に記載のセンサ等を利用することなく３次元物体モデル情報を生成することが求められる。

Ｔ．Ｍａｔｓｕｙａｍａ、ｅｔａｌ．、"Ｒｅａｌ−ＴｉｍｅＤｙｎａｍｉｃ３ＤＯｂｊｅｃｔＳｈａｐｅＲｅｃｏｎｓｔｒｕｃｔｉｏｎａｎｄＨｉｇｈ−ＦｉｄｅｌｉｔｙＴｅｘｔｕｒｅＭａｐｐｉｎｇｆｏｒ３ＤＶｉｄｅｏ"、ＩＥＥＥＴｒａｎｓ．ｏｎＣｉｒｃｕｉｔｓａｎｄＳｙｓｔｅｍｓｆｏｒＶｉｄｅｏＴｅｃｈｎｏｌｏｇｙ、Ｖｏｌ．ＣＳＶＴ-１４、Ｎｏ．３、ｐｐ．３５７−３６９、２００４年Ａ．Ｂａｎｎｏ、ｅｔａｌ．、"ＦｌｙｉｎｇＬａｓｅｒＲａｎｇｅＳｅｎｓｏｒｆｏｒＬａｒｇｅ−ＳｃａｌｅＳｉｔｅＭｏｄｅｌｉｎｇａｎｄＩｔｓＡｐｐｌｉｃａｔｉｏｎｓｉｎＢａｙｏｎＤｉｇｉｔａｌＡｒｃｈｉｖａｌＰｒｏｊｅｃｔ"、Ｉｎｔ．ＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ、Ｖｏｌ．７８、Ｎｏ．２−３、ｐｐ．２０７−２２２、２００８年７月

したがって、本発明は、センサ等を使用することなく、可能な限り正確な３次元物体モデル情報を生成する装置及び該装置としてコンピュータを機能させるプログラムを提供することを目的とする。

本発明による３次元物体モデル情報生成装置は、
入力される画像の集合から、任意の２つの画像の組を複数生成し、生成した画像の組に関連付けられ、関連する組の画像の対応する画素を示す視差マップを生成する視差マップ生成手段と、各画像の組及び各組に関連付けられた視差マップに基づき、３次元空間の位置を複数示す奥行き候補位置情報を出力する奥行き候補位置情報生成手段と、奥行き候補位置情報に基づき、被写体表面の３次元空間位置を示す３次元物体モデル情報を生成する調整手段と、調整手段が生成した３次元物体モデル情報の合否を閾値により判定する判定手段とを備えていることを特徴とする。

また、３次元物体モデル情報生成装置において、
奥行き候補位置情報が示す３次元空間の各位置は、画像の組に含まれる２つの画像の視点及び該２つの画像の対応する画素の位置により決定されたものであることも好ましい。

さらに、上記調整手段は、
奥行き候補位置情報に基づき、３次元空間の領域を外側の面と内側の面により特定する絞込み手段と、被写体表面の３次元空間位置を前記外側の面と内側の面の間から求めて３次元物体モデル情報とする決定手段とを備えていることも好ましい。

さらに、絞込み手段は、奥行き候補位置情報が示す３次元空間の位置それぞれに対応する確率分布を生成し、生成した確率分布を積算してカーネル分布を生成し、カーネル分布に３次元空間の位置を代入して、当該位置における分布値を求め、分布値が閾値より大きい又は以上となる領域から前記外側の面と内側の面を決定することも好ましい。なお、この場合、前記３次元空間の位置に対応する確率分布は、平均値を該３次元空間の位置とし、分散を所定値とする。

また、絞込み手段は、奥行き候補位置情報が示す３次元空間の位置それぞれに対応する関数を生成し、生成した関数を積算してカーネル分布を生成し、カーネル分布に３次元空間の位置を代入して、当該位置における分布値を求め、分布値が閾値より大きい又は以上となる領域から前記外側の面と内側の面を決定することも好ましい。なお、この場合、前記生成した関数は当該位置について点対称であり、該関数において当該位置より所定値以上離れた位置における値は０であるものを使用する。

さらに、決定手段は、絞込み手段が決定した外側の面と内側の面により挟まれた３次元空間の領域において、外側の面から内側の面の方向に所定密度の線を設定し、設定した各線上において２つの画像によるブロックマッチングにより１つの点を選択することにより３次元物体モデル情報を決定することも好ましい。

さらに、３次元物体モデル情報生成装置において、
判定手段は、第１の３次元物体モデル情報が不合格である場合、第１の３次元物体モデル情報を画像生成手段に出力し、画像生成手段は、第１の３次元物体モデル情報及び撮影した画像に基づき補間処理により画像を生成し、補間処理により生成した画像、あるいは、前記撮影した画像及び補間処理により生成した画像を視差マップ生成手段に出力し、判定手段は、第１の３次元物体モデル情報が不合格である場合、第１の３次元物体モデル情報を画像生成手段に出力し、第１の３次元物体モデル情報を画像生成手段に出力することにより調整手段が生成した第２の３次元物体モデル情報と第１の３次元物体モデル情報を比較し、第１の３次元物体モデル情報と第２の３次元物体モデル情報が示す被写体の位置のずれが閾値未満又は以下となった場合に、第２の３次元物体モデル情報を合格とすることも好ましい。

また、決定手段は、外側の面と内側の面との間の位置におけるエネルギー値を、当該位置における分布値が大きく成る程小さくなる様に定め、３次元物体モデル情報をエネルギー値の合計が最小となる様に決定することも好ましい。このとき、分布値が大きい程小さくなる様に分布値を変換した値に補正値を加えた値をエネルギー値とし、補正値は、外側の面と内側の面の中間に近づく程、小さくなる値とすることも好ましい。また、補正値は、隣接する水平面において既に決定した被写体表面の位置からのずれが小さくなる程、小さくなる値であることも好ましい。

本発明によるプログラムは、上記３次元物体モデル情報生成装置として、コンピュータを機能させるものである。

３次元物体モデル情報を生成し、生成した３次元物体モデル情報を使用して撮影した画像から補間処理により画像を生成し、生成した画像等から再度３次元物体モデル情報を生成することを、生成した３次元物体モデル情報の変動が収束するまで繰り返すことにより、精度の高い３次元物体モデル情報を得ることができる。

本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。なお、以下の説明において“視点”とは、位置及び方向できまる値であり、“視点での画像”又は“視点における画像”とは、視点が示す位置において、視点が示す方向を中心とした所定範囲、つまり視野内の画像を意味するものとする。

図１は、本発明による３次元物体モデル情報生成装置の機能ブロック図である。図１によると、３次元物体モデル情報生成装置は、保存部１と、画像生成部２と、視差マップ生成部３と、奥行き候補生成部４と、調整部５と、判定部６とを備えている。なお図１は、本発明の説明に必要な部分のみを表示するものである。

３次元物体モデル情報生成装置は、まず、複数のカメラ１００が撮影した動画像を構成する撮影画像と、これら複数のカメラ１００のカメラパラメータを取り込んで保存部１に保存する。画像生成部２は、これら撮影画像及びカメラパラメータから、あらかじめ定めた視点での画像である補間画像を補間処理により生成する。補間画像の生成には、ステレオマッチング法等、公知の種々の方法を利用可能であり、補間画像の生成に使用する３次元物体モデル情報の生成方法は、１回目の処理においては任意である。なお、後述する様に２回目以降の処理においては、判定部６が出力する３次元物体モデル情報を使用する。また、生成する補間画像数及びその視点は、アプリケーションやハードウェア、例えば、保存部１の容量等に応じてあらかじめ決定しておく。

視差マップ生成部３は、補間画像のみ、あるいは、撮影画像及び補間画像（以後、撮影画像及び補間画像を区別する必要がない場合には単に画像との表現を用いる。）から２つの画像の組を複数生成し、生成した２つの画像の組に対する視差マップを生成する。なお、組の２つの画像は、複数ある画像の内、視点位置が隣接し、ほぼ同じ方向を向く画像を選択することが好ましい。視差マップとは、画像の組に含まれる２つの画像のうち、一方の画像のある画素が表している被写体の点と同じ点を表している他方の画像の画素を示す情報である。つまり、２つの画像において３次元空間の同一位置を示している画素の対応関係を示すものである。視差マップ生成部３は、例えば、視点位置及び方向並びに画像の範囲、つまり視野に基づき、２つの画像のほぼ同じ領域を示している範囲を絞り込み、ブロックマッチング等の手法により対応する画素を判定して視差マップを生成する。しかしながら、視差マップの生成には、２つの画像の画素の対応関係を決定する種々の方法を使用することができる。

奥行き候補生成部４は、画像の組と、その組の視差マップに基づき、被写体表面の３次元空間位置の候補となる奥行き候補位置情報を生成する。図４は、奥行き候補位置情報の生成を説明する図である。なお、以下の説明にて用いる、視点、画像、画像の画素及び該画素の画素値を決定する光線の表現方法を、図３を用いて説明する。図３において、面２０が画像を、点３０が視点の位置を、視点３０から画像２０に引いた法線の方向が視点の方向を表している。この表現方法において、画像２０にある画素１０の画素値は、画素１０を通過し、視点３０に到達する光線５０により決定されることになる。

図４において、例えば、視差マップが画素１１と画素１２が対応すると示していたとする。この場合、視点３１と画素１１を通る直線と、視点３２と画素１２を通る直線の交点４１は、被写体４０の表面のある位置に対応することになる。なお、図４において被写体４０は、例えば、円柱状であり、図４は、説明を簡単にするため、ある水平面における断面を表したものである。奥行き候補生成部４は、図４に示す処理を、総ての画像の組の総ての対応する画素に対して行う。仮に、カメラパラメータ、補間画像、視差マップに誤差がないとすると、このようにして求めた点は被写体４０の表面と完全に一致する。つまり、図４の符号４０で表す円状に分布することになる。しかしながら、上記値、特に、補間画像生成に使用した３次元物体モデル情報には誤差が多く含まれているため、奥行き候補生成部４が出力する奥行き候補位置情報が示す総ての点を空間にプロットすると、図５に示す様に、ある範囲に広がった点の集合となってしまう。

調整部５は、奥行き候補位置情報が示す点の集合に基づき被写体４０の輪郭を決定、つまり、３次元物体モデル情報を決定して判定部６に出力する。判定部６は、１回目の処理においては、この３次元物体モデル情報を不合格とし、この３次元物体モデル情報を記録すると共に、画像生成部２に出力する。画像生成部２は、調整部５が決定した３次元物体モデル情報を使用して、再度、補間画像を生成する。その後、上述したのと同じく、視差マップ生成部３が、再度、視差マップを生成し、奥行き生成部４が、再度、奥行き候補位置情報を生成し、調整部５が、再度、３次元物体モデル情報を生成する。

判定部６は、記録しておいた３次元物体モデル情報と、調整部５が新しく生成した３次元物体モデル情報を比較し、その差が閾値以下又は未満であるか否かを判定する。ここで、３次元物体モデル情報の差とは、２つの３次元物体モデル情報から得られる被写体４０の２つの表面のずれを示す指標であり、得られた両表面の各点の対応関係を適当な方法で求め、対応する点の距離又は距離の２乗を総ての点に渡り積算する等、表面のずれが大きくなるほど大きくなる値を使用する。

判定部６は、記録しておいた３次元物体モデル情報と、新しく生成した３次元物体モデル情報の差が閾値以下又は未満である場合には、この新しく生成した３次元物体モデル情報を最終結果として保存部１に保存し、そうでない場合には、この新しく生成した３次元物体モデル情報を記録すると共に、再度、画像生成部２に出力する。以後、本発明による３次元物体モデル情報生成装置は、生成した３次元物体モデル情報の前回からの変化が所定値以下又は未満となるまで上述した処理を繰り返す。以下に、調整部５における処理を説明する。

図２は、調整部５のブロック図である。図２に示す様に、調整部５は、絞込み部５１と、決定部５２とを備えている。絞込み部５１は、奥行き候補位置情報が示す点の集合から誤りと思われる点を削除し、被写体４０の表面の位置をある範囲に絞込みを行う。より詳しくは、被写体４０の表面が存在する可能性の高い３次元空間の領域を決定し、決定した領域をその外側の閉曲面と、内側の閉曲面により特定する。具体的には、例えば、図５の点の集合を示す奥行き候補位置情報を入力して、図６に示す様に、被写体４０の表面が存在すると考えられる最も外側の面と、最も内側の面を決定する。なお、図５及び図６もある水平面内での断面を表したものであり、例えば、被写体４０が円柱状である場合、絞込み部５１は、円柱を崩した様な最外面と、この最外面より小さい円柱を崩した様な最内面を出力することになる。

絞込み部５１は、この絞込みのために、まず、奥行き候補位置情報が示す各点それぞれに対し、位置を変数とするガウス分布を生成する。このガウス分布の平均値はその位置であり、分散はあらかじめ決めた値である。続いて、生成した各点に対するガウス分布を総て足し合わせ、これを、カーネル分布とする。絞込み部５１は、生成したカーネル分布に、空間の位置を代入して、その位置における分布値を求め、求めた分布値が閾値未満又は以下となる位置を削除することにより領域の最外周と最内周を決定する。

なお、ガウス分布以外にも、ラプラス分布等の他の分布を用いることができ、さらには、方形関数や三角波状の関数等、形状が点対称で、その対称軸から所定値より大きい範囲では零となる関数も使用することができる。なお、関数を使用する場合、奥行き候補位置情報が示す点が、対称軸の位置となる様にする。なお、これら処理及び以下に説明する処理は、例えば、３次元空間を複数の水平面に分割して、２次元の水平面毎に行っても良い。

また、絞込み部５１は、上述した方法以外にも、例えば、最短距離法や、ある微小な領域にある奥行き候補位置情報が示す点の数を求めてヒストグラムを生成し、所定数以下又は未満の領域を削除することにより絞り込みを行っても良い。さらには、複数の方法の組み合わせて用いても良い。

決定部５２は、絞込み部５１が決定した３次元空間の領域内から被写体４０の表面を決定して３次元物体モデル情報を出力する。図７は、決定部５２による３次元物体モデル情報の決定を説明する図である。図７において、点４２、４３、４４は深さ方向、つまり、絞込み部５１が決定する外側の面から内側の面への方向、の線上にある点である。決定部５２は、画像の集合のうち、この線上の点を視野内に含む画像を２つ選択する。ここでは、画像２３及び２４が選択されている。続いて、決定部５２は、前記線上の点に対応する画像２３及び画像２４の画素を求める。例えば、図７において、点４２から視点３３に向かう光線は画素１３を通り、点４２から視点３４に向かう光線は画素１４を通るため、画素１３と画素１４が共に点４２に対応する画素となる。その後、決定部５２は、求めた画素を中心とする所定サイズブロックの相関を、つまり、図７においては画素１３を中心とするブロックと、画素１４を中心とするブロックの相関を求める。具体的には、ブロックの対応する画素の画素値の差の絶対値又は差の２乗を積算し、値が小さい程相関が高いと判定する。決定部５２は、前記線上の所定密度の点、それぞれについて、対応する画像２３及び２４の画素を求め、求めた画素を中心とするブロックの相関を計算し、ブロックの相関が最も高くなる画素を与える前記線上の点をこの線上における被写体４０の表面位置と決定する。

決定部５２は、絞込み部５１が決定した領域において、外側の面から内側の面に向かう線を所定の密度で設定し、各線に対して上述した方法により１つの点を決定することで、３次元物体モデル情報を生成する。なお、線上の点は、奥行き候補位置情報が示す点のみとすることも可能であるが、奥行き候補位置情報が示す点とは異なるものであっても良い。以上、決定部５２は、ブロックマッチングにより３次元物体モデル情報を生成する。

また、決定部５２は、生成したカーネル分布を利用し、ダイナミックプログラミング法により３次元物体モデル情報を決定しても良い。図８は、決定部５２による３次元物体モデル情報決定の他の形態を説明する図である。図８において、符号６０及び６１は、それぞれ、絞込み部５１が出力したある水平面内の外側の面と内側の面であり、符号６２は、この水平面内において決定部５２が決定した物体表面の位置、つまり、３次元モデル情報を示している。また、符号７０及び７１は、符号６０及び６１の１つ下の水平面内の外側の面と内側の面である。決定部５２は、外側の面７０及び内側の面７１からの距離がそれぞれｄ_ｊとｄ_ｉである点４５の分布値Ｄに基づきエネルギー値Ｅを以下の様に求める。なお、点４５から垂直に上方に延ばした線と１つ上の水平面の交点４６と線６２の最小距離をΔとする。
Ｅ＝−Ｄ＋λ_１（ｄ_ｉ―ｄ_ｊ）^２＋λ_２Δ^２（１）
ここで、λ_１及びλ_２は所定の係数である。決定部５２は、外側の面と内側の面の間を通る閉曲面のうち、この曲面上の点におけるエネルギー値Ｅの総和ができるだけ小さくなる閉曲面をダイナミックプログラミング法による求める。なお、式（１）の第２項は絞込み部５１が決定した領域の中心に被写体の表面が存在する可能性が高いことから、この中心が選択される確率を高くするためのものでありλ_１は０であっても良い。また、Δは、１つ上の水平面内において既に決定した表面位置からのずれを示す値であり、式（２）の第３項は垂直方向において、同じ位置が選択される確率を高くするためのものであるが、λ_２は０であっても良い。なお、一番上の水平面の表面位置の決定は、Δを総て０として行う。

また、ダイナミックプログラミング法によりある水平面内の表面位置を決定する場合、ある点から開始して一周する線を求めることになるが、開始点に戻らない場合も生じ、この場合には、この点において不連続となってしまう。このため、ダイナミックプログラミング法による他の形態として、ある点から時計回りで求めた領域内の各点のエネルギー値と、同じ点から反時計周りで求めた領域内の各点のエネルギー値の和を取り、外側の面から内側の面に向かう線上から一番エネルギー値の小さい点を選択することで、ある水平面内の表面位置を決定する形態であっても良い。さらに、ダイナミックプログラミング法によらない実施形態として、決定部５２は、平均化により３次元物体モデル情報を決定しても良い。

以上、本発明においては、求めた３次元物体モデル情報が収束するまで、生成した３次元物体モデル情報に基づく補間画像の生成、生成した補間画像に基づく視差マップの生成、生成した視差マップに基づく３次元物体モデル情報の生成を繰り返し、これにより、精度の高い３次元物体モデル情報の生成を可能としている。なお、上述した実施形態において、水平及び垂直との表現を使用したが、実際の水平面と一致させる必要はなく、任意の面を水平面とし、この面と直角に交わる方向を垂直方向とすることができる。また、複数の被写体が存在する場合においても、総ての被写体を一括して処理する形態にて説明したが、奥行き候補生成部４又は絞込み部５１の出力から個々の被写体が認識できるため、一旦、被写体を認識した後には、個々の被写体単位で独立して処理する形態であっても良い。

さらに、上述した実施形態において、保存部１に保存されているカメラ１００が撮影した画像を画像生成部２に出力して処理を開始しているが、最初の処理においては、補間処理による画像生成は必須ではなく、保存部１から視差マップ生成部３に画像を出力する形態であっても良い。さらに、カメラ１００で撮影した画像を一旦保存部１に保存しているが、カメラ１００から画像生成部２又は視差マップ生成部３に直接出力する形態であっても良い。

なお、本発明による３次元物体モデル情報生成装置は、コンピュータを図１及び図２に示す各部として機能させるプログラムにより実現することができる。コンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。さらに、本発明の各機能ブロックのうち一部のみをハードウェアで実現し、他の部分をコンピュータプログラムにより実現する、つまり、ハードウェア及びソフトウェアの組合せによっても実現可能である。

本発明による３次元物体モデル情報生成装置の機能ブロック図である調整部のブロック図である。画像、視点、画像の画素及び該画素の画素値を決定する光線の表現方法を説明する図である。奥行き候補位置情報の生成を説明する図である。奥行き候補位置情報が示す総ての点を空間にプロットした状態を示す図である。絞込み部による絞込みを示す図である。決定部による３次元物体モデル情報の決定を説明する図である。決定部による３次元物体モデル情報決定の他の形態を説明する図である。

符号の説明

１保存部
２画像生成部
３視差マップ生成部
４奥行き候補生成部
５調整部
６判定部
１０、１１、１２、１３、１４画素
２０、２３、２４画像
３０、３１、３２、３３、３４視点
４０被写体
４１被写体上の点
４２、４３、４４、４５、４６点
５０光線
５１絞り込み部
５２決定部
６０、７０外側の面
６１、７１内側の面
６２被写体表面位置
１００カメラ

Claims

入力される画像の集合から、任意の２つの画像の組を複数生成し、生成した画像の組に関連付けられ、関連する組の画像の対応する画素を示す視差マップを生成する視差マップ生成手段と、
各画像の組及び各組に関連付けられた視差マップに基づき、３次元空間の位置を複数示す奥行き候補位置情報を出力する奥行き候補位置情報生成手段と、
奥行き候補位置情報に基づき、被写体表面の３次元空間位置を示す３次元物体モデル情報を生成する調整手段と、
調整手段が生成した３次元物体モデル情報の合否を閾値により判定する判定手段と、
を備え、
調整手段は、奥行き候補位置情報に基づき、３次元空間の領域を外側の面と内側の面により特定する絞込み手段と、
被写体表面の３次元空間位置を前記外側の面と内側の面の間から求めて３次元物体モデル情報とする決定手段と、
を備えている３次元物体モデル情報生成装置。
奥行き候補位置情報が示す３次元空間の各位置は、画像の組に含まれる２つの画像の視点及び該２つの画像の対応する画素の位置により決定されたものである、
請求項１に記載の３次元物体モデル情報生成装置。
絞込み手段は、奥行き候補位置情報が示す３次元空間の位置それぞれに対応する確率分布を生成し、生成した確率分布を積算してカーネル分布を生成し、カーネル分布に３次元空間の位置を代入して、当該位置における分布値を求め、分布値が閾値より大きい又は以上となる領域から前記外側の面と内側の面を決定し、
前記３次元空間の位置に対応する確率分布は、平均値が該３次元空間の位置であり、分散が所定値である、
請求項１または２に記載の３次元物体モデル情報生成装置。
絞込み手段は、奥行き候補位置情報が示す３次元空間の位置それぞれに対応する関数を生成し、生成した関数を積算してカーネル分布を生成し、カーネル分布に３次元空間の位置を代入して、当該位置における分布値を求め、分布値が閾値より大きい又は以上となる領域から前記外側の面と内側の面を決定し、
前記生成した関数は、当該位置について点対称であり、該関数において当該位置より所定値以上離れた位置における値は０である、
請求項１または２に記載の３次元物体モデル情報生成装置。
決定手段は、絞込み手段が決定した外側の面と内側の面により挟まれた３次元空間の領域において、外側の面から内側の面の方向に所定密度の線を設定し、設定した各線上において２つの画像によるブロックマッチングにより１つの点を選択することにより３次元物体モデル情報を決定する、
請求項１から４のいずれか１項に記載の３次元物体モデル情報生成装置。
決定手段は、前記外側の面と内側の面との間の位置におけるエネルギー値を、当該位置における分布値が大きく成る程小さくなる様に定め、３次元物体モデル情報をエネルギー値の合計が最小となる様に決定する、
請求項１から４のいずれか１項に記載の３次元物体モデル情報生成装置。
決定手段は、分布値が大きい程小さくなる様に分布値を変換した値に補正値を加えた値をエネルギー値とし、補正値は、外側の面と内側の面の中間に近づく程、小さくなる値である、
請求項６に記載の３次元物体モデル情報生成装置。
決定手段は、分布値が大きい程小さくなる様に分布値を変換した値に補正値を加えた値をエネルギー値とし、補正値は、隣接する水平面において既に決定した被写体表面の位置からのずれが小さくなる程、小さくなる値である、
請求項６又は７に記載の３次元物体モデル情報生成装置。
判定手段は、第１の３次元物体モデル情報が不合格である場合、第１の３次元物体モデル情報を画像生成手段に出力し、
画像生成手段は、第１の３次元物体モデル情報及び撮影した画像に基づき補間処理により画像を生成し、補間処理により生成した画像、あるいは、前記撮影した画像及び補間処理により生成した画像を視差マップ生成手段に出力し、
判定手段は、第１の３次元物体モデル情報を画像生成手段に出力することにより調整手段が生成した第２の３次元物体モデル情報と第１の３次元物体モデル情報を比較し、第１の３次元物体モデル情報と第２の３次元物体モデル情報が示す被写体の位置のずれが閾値未満又は以下となった場合に、第２の３次元物体モデル情報を合格とする、
請求項１から８のいずれか１項に記載の３次元物体モデル情報生成装置。
請求項１から９のいずれか１項に記載の３次元物体モデル情報生成装置として、コンピュータを機能させるプログラム。