JP6220486B1 - ３次元モデル生成システム、３次元モデル生成方法、及びプログラム - Google Patents

Abstract

複数の面で囲われた空間全体の形状を正確に推定する。３次元モデル生成システム（１）の画像取得手段（１０１）は、複数の面で囲われた空間において、互いに異なる方向が撮影された複数の画像を取得する。部分モデル生成手段（１０２）は、画像ごとに、当該画像に撮影された複数の面の一部を示す部分モデルを生成する。全体モデル生成手段（１０３）は、部分モデル生成手段（１０２）により生成された複数の部分モデルに基づいて、複数の面全体を示す全体モデルを生成する。

Description

本発明は、３次元モデル生成システム、３次元モデル生成方法、及びプログラムに関する。

従来、複数の面で囲われた空間において撮影された画像に基づいて、当該空間全体の形状を推定する技術が知られている。例えば、非特許文献１には、水平方向の３６０°を撮影可能な魚眼レンズを装着したカメラで部屋の内部を撮影し、撮影で得られた１枚のパノラマ画像に基づいて、直方体の部屋の形状を示す３次元モデルを生成する技術が記載されている。

https://courses.cs.washington.edu/courses/cse590v/14au/cse590v_wk3_panocontext.pdf

しかしながら、実際には、例えば部屋には柱などがあり、推定対象となる空間は直方体のようにシンプルな形状ではなく、複雑な形状であることが多い。この点、非特許文献１の技術では、直方体の３次元モデルを生成することしかできないので、推定対象の空間の形状を正確に推定できないことがあった。

本発明は上記課題に鑑みてなされたものであって、その目的は、複数の面で囲われた空間全体の形状を正確に推定することである。

上記課題を解決するために、本発明に係る３次元モデル生成システムは、複数の面で囲われた空間において、互いに異なる方向が撮影された複数の画像を取得する画像取得手段と、前記画像ごとに、当該画像に撮影された前記複数の面の一部を示す部分モデルを生成する部分モデル生成手段と、前記部分モデル生成手段により生成された複数の部分モデルに基づいて、前記複数の面全体を示す全体モデルを生成する全体モデル生成手段と、を含むことを特徴とする。

本発明に係る３次元モデル生成方法は、複数の面で囲われた空間において、互いに異なる方向が撮影された複数の画像を取得する画像取得ステップと、前記画像ごとに、当該画像に撮影された前記複数の面の一部を示す部分モデルを生成する部分モデル生成ステップと、前記部分モデル生成ステップにより生成された複数の部分モデルに基づいて、前記複数の面全体を示す全体モデルを生成する全体モデル生成ステップと、を含むことを特徴とする。

本発明に係るプログラムは、複数の面で囲われた空間において、互いに異なる方向が撮影された複数の画像を取得する画像取得手段、前記画像ごとに、当該画像に撮影された前記複数の面の一部を示す部分モデルを生成する部分モデル生成手段、前記部分モデル生成手段により生成された複数の部分モデルに基づいて、前記複数の面全体を示す全体モデルを生成する全体モデル生成手段、としてコンピュータを機能させる。

また、本発明に係る情報記憶媒体は、上記のプログラムが記憶されたコンピュータ読み取り可能な情報記憶媒体である。

また、本発明の一態様では、各画像は、少なくとも１つの他の前記画像と撮影範囲の一部が重複し、前記部分モデル生成手段は、少なくとも１つの他の前記部分モデルと表面の一部が重複する前記部分モデルを生成し、前記全体モデル生成手段は、各部分モデルの重複部分の位置を合わせて前記全体モデルを生成する、ことを特徴とする。

また、本発明の一態様では、前記全体モデル生成手段は、各画像の撮影方向に関する画像情報を取得し、各画像の前記画像情報に基づいて、当該画像に対応する部分モデルを配置する位置及び向きを決定し、前記全体モデルを生成する、ことを特徴とする。

また、本発明の一態様では、前記画像取得手段は、前記空間が撮影された１枚の画像に基づいて、前記複数の画像を取得し、前記画像情報は、前記１枚の画像における各画像の位置であり、前記全体モデル生成手段は、前記１枚の画像における各画像の位置に基づいて、当該画像に対応する部分モデルを配置する位置及び向きを決定する、ことを特徴とする。

また、本発明の一態様では、前記画像取得手段は、水平方向の３６０°が撮影された１枚の画像に基づいて、前記複数の画像を取得する、ことを特徴とする。

また、本発明の一態様では、前記画像取得手段は、前記空間内の１点から互いに異なる方向が撮影された前記複数の画像を取得する、ことを特徴とする。

また、本発明の一態様では、前記画像取得手段は、部屋の内部で撮影された前記複数の画像を取得し、前記部分モデル生成手段は、前記部屋の一部を示す前記部分モデルを生成し、前記全体モデル生成手段は、前記部屋全体を示す前記全体モデルを生成する、ことを特徴とする。

また、本発明の一態様では、前記画像取得手段は、同じフロアにおける複数の部屋の各々で撮影された前記複数の画像を取得し、前記部分モデル生成手段は、各部屋に対応する前記部分モデルを生成し、前記全体モデル生成手段は、各部屋に対応する前記全体モデルを生成し、前記３次元モデル生成システムは、前記全体モデル生成手段が生成した複数の全体モデルに基づいて、フロアの全体的な３次元モデルを生成するフロアモデル生成手段を更に含む、ことを特徴とする。

また、本発明の一態様では、前記画像取得手段は、互いに略直交する６つ以上の側面を有する前記部屋の前記複数の画像を取得し、前記部分モデル生成手段は、前記６つ以上の側面の一部を示す前記部分モデルを生成し、前記全体モデル生成手段は、前記６つ以上の側面全体を示す前記全体モデルを生成する。

本発明によれば、複数の面で囲われた空間全体の形状を正確に推定することが可能になる。

３次元モデル生成システムのハードウェア構成を示す図である。 実施形態１の３次元モデル生成システムで実現される機能の一例を示す機能ブロック図である。 撮影対象の部屋を上から見た様子を示す図である。 部屋の撮影画像を示す図である。 画像取得部による画像の取得方法を示す図である。 画像取得部による画像の取得方法を示す図である。 部分モデルを生成する手順を示す図である。 各画像から生成された部分モデルを示す図である。 全体モデルの一例を示す図である。 ３次元モデル生成システムにおいて実行される処理の一例を示すフロー図である。 サイズパラメータと全体モデルとの関係を示す図である。 実施形態２の３次元モデル生成システムで実現される機能の一例を示す機能ブロック図である。 オブジェクトモデルデータベースのデータ格納例を示す図である。 全体モデルとオブジェクトモデルが配置された仮想空間の一例を示す図である。 仮想画像の一例を示す図である。 オブジェクトの部分がマスクされた撮影画像の方向マップを示す図であり、 オブジェクトモデルの部分がマスクされた仮想画像の方向マップを示す図である。 仮想空間を上から見た様子を示す図である。 モデルパラメータが調整された場合の仮想空間の様子を示す図である。 モデルパラメータが調整された場合の仮想空間の様子を示す図である。 ３次元モデル生成システムにおいて実行される処理の一例を示すフロー図である。 実施形態１に関する変形例の機能ブロック図である。

［１．実施形態１］
以下、本発明に関わる３次元モデル生成システムの実施形態の例を説明する。

［１−１．３次元モデル生成システムのハードウェア構成］
図１は、３次元モデル生成システムのハードウェア構成を示す図である。図１に示すように、３次元モデル生成システム１は、３次元モデル生成装置１０とカメラ２０とを含む。

３次元モデル生成装置１０は、３次元モデルを生成するコンピュータであり、例えば、パーソナルコンピュータ、携帯情報端末（タブレット型コンピュータを含む）、又は携帯電話機（スマートフォンを含む）等である。３次元モデル生成装置１０は、制御部１１、記憶部１２、通信部１３、操作部１４、表示部１５、及び入出力部１６を含む。

制御部１１は、例えば、一又は複数のマイクロプロセッサを含む。制御部１１は、記憶部１２に記憶されたプログラムやデータに従って処理を実行する。記憶部１２は、主記憶部及び補助記憶部を含む。例えば、主記憶部はＲＡＭなどの揮発性メモリであり、補助記憶部は、ハードディスクやフラッシュメモリなどの不揮発性メモリである。通信部１３は、有線通信又は無線通信用の通信インタフェースであり、ネットワークを介してデータ通信を行う。

操作部１４は、ユーザが操作を行うための入力デバイスであり、例えば、タッチパネルやマウス等のポインティングデバイスやキーボード等である。操作部１４は、ユーザによる操作内容を制御部１１に伝達する。表示部１５は、例えば、液晶表示部又は有機ＥＬ表示部等である。表示部１５は、制御部１１の指示に従って画面を表示する。入出力部１６は、入出力インタフェースであり、例えば、ＵＳＢポートである。入出力部１６は、外部機器とデータ通信を行うために用いられる。

なお、記憶部１２に記憶されるものとして説明するプログラム及びデータは、ネットワークを介して供給されるようにしてもよい。また、３次元モデル生成装置１０のハードウェア構成は、上記の例に限られず、種々のハードウェアを適用可能である。例えば、３次元モデル生成装置１０は、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部（例えば、光ディスクドライブやメモリカードスロット）を含んでもよい。例えば、情報記憶媒体に記憶されたプログラムやデータが当該読取部や入出力部１６を介して、３次元モデル生成装置１０に供給されるようにしてもよい。

カメラ２０は、静止画や動画を撮影可能な一般的な撮像装置であり、例えば、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサなどの撮像素子を含む。カメラ２０は、撮像素子で撮影した画像を示す画像データを生成してメモリに記録する。このメモリは、カメラ２０に備えられたメモリであってもよいし、取り外し可能なフラッシュメモリなどであってもよい。

カメラ２０は、広角レンズ又は魚眼レンズを備えていてもよく、画角や焦点距離は任意であってよい。例えば、カメラ２０は、全天球カメラであってもよいし、複数のレンズを備えることで水平方向及び垂直方向の少なくとも一方の全方向を撮影可能なカメラであってもよい。本実施形態では、カメラ２０は、水平方向３６０°及び垂直方向１８０°を撮影可能な広角レンズを使用するものとする。即ち、カメラ２０は、１回の撮影で水平方向の全てを撮影した撮影画像を生成可能である。

実施形態１の３次元モデル生成システム１は、室内をカメラ２０で撮影した１枚のパノラマ画像を複数の画像に分割し、画像ごとに部屋の一部を示す３次元モデルを生成して仮想空間に並べることによって、部屋全体の３次元モデルを生成し、部屋の形状が複雑であったとしても３次元モデルを生成できるようになっている。以降、この技術の詳細を説明する。

［１−２．実施形態１において実現される機能］
図２は、実施形態１の３次元モデル生成システム１で実現される機能の一例を示す機能ブロック図である。図２に示すように、本実施形態では、データ記憶部１００、画像取得部１０１、部分モデル生成部１０２、及び全体モデル生成部１０３が、３次元モデル生成装置１０で実現される場合を説明する。

［１−２−１．データ記憶部］
データ記憶部１００は、記憶部１２を主として実現される。データ記憶部１００は、カメラ２０により撮影された撮影画像（写真）を示す撮影画像データを記憶する。撮影画像の縦横比、サイズ、及び解像度などは、任意であってよい。撮影画像データのデータ形式も任意であってよい。

本実施形態では、撮影画像として、水平方向の３６０°が撮影されたパノラマ画像を例に挙げる。撮影画像には、現実空間の一定範囲が撮影されていればよく、必ずしも水平方向の３６０°が撮影されていなくてもよい。例えば、撮影画像には、水平方向の１８０°以上３６０°未満の範囲が撮影されていてもよい。

なお、本実施形態では、３次元モデル生成装置１０のデータ記憶部１００に撮影画像データが記憶される場合を説明するが、撮影画像データは、他の機器又はコンピュータに記憶されているようにしてもよい。例えば、撮影画像データは、カメラ２０内のメモリに記憶されていてもよいし、サーバコンピュータに記憶されていてもよい。

［１−２−２．画像取得部］
画像取得部１０１は、制御部１１を主として実現される。画像取得部１０１は、複数の面で囲われた空間において、互いに異なる方向が撮影された複数の画像を取得する。

面は、現実空間を区切る物体の表面であり、例えば、壁、柱、扉、窓、パーテーション、フェンス、床、地面、天井、又は屋根である。空間を囲う面の数は、２つ以上の任意の数であればよい。即ち、カメラ２０から見て前後・左右・上下のうちの少なくとも２つの方向に、面が配置されていればよい。また、各面は、他の面と接触していてもよいし、他の面と接触せずに離れていてもよい。本実施形態では、各面は、少なくとも１つの他の面と略直交している場合を説明する。略直交とは、直交すること、又は、直交とみなせる程度の角度（例えば、８０°以上）で交わることを意味する。例えば、２つ以上の面が略直交に交わることで、コーナーが形成される。

空間は、前後・左右・上下にわたって一定の広がりのある領域であり、地上にあってもよいし、地下にあってもよい。例えば、空間は、少なくとも下面と複数の側面で囲まれていればよく、前後、左右、及び上下の全てが面で囲まれている屋内であってもよいし、上面のない屋外であってもよい。他にも例えば、空間は、屋内であったとしても、水平方向の全てが面に囲まれている必要はなく、前・後・上・下のうちの少なくとも２つの方向に側面が配置された空間（例えば、前方と左右にだけ側面があり、後方には側面のない空間）であればよい。

本実施形態では、前後・左右・上下の全方向が面で囲まれた屋内の空間を例に挙げて説明する。このため、画像取得部１０１は、部屋の内部で撮影された複数の画像を取得することになる。また、部屋の一例として、隣接する面と略直交する６つ以上の側面により囲まれた部屋を説明する。このため、画像取得部１０１は、互いに略直交する６つ以上の側面を有する部屋の複数の画像を取得することになる。

図３は、撮影対象の部屋を上から見た様子を示す図である。なお、図３では、天井は省略している。図３に示すように、部屋Ｓは、互いに略直交する壁ｗ_１〜ｗ_６と、オブジェクトｏ_１〜ｏ_８と、を含む。

以降、壁ｗ_１〜ｗ_６を、まとめて壁Ｗとも記載する。即ち、壁Ｗ＝｛ｗ_ｉ｝^Ｎｗ _ｉ＝１と記載することができる。Ｎ_ｗは壁の総数であり、ここではＮ_ｗ＝６である。また、オブジェクトｏ_１〜ｏ_８を、まとめてオブジェクトＯとも記載する。即ち、オブジェクトＯ＝｛ｏ_ｊ｝^Ｎｏ _ｊ＝１と記載することができる。Ｎ_ｏはオブジェクトの総数であり、ここではＮ_ｏ＝８である。

なお、オブジェクトは、カメラ２０の被写体となりうる物体である。図３のオブジェクトＯは、カメラ２０から見て壁Ｗの手前に配置された物体である。別の言い方をすれば、オブジェクトＯは、壁Ｗ以外の被写体である。例えば、室内であれば、家具や家電などがオブジェクトＯに相当し、屋外であれば、車や自転車などがオブジェクトＯに相当する。図３に示す例では、オブジェクトｏ_１はベッドであり、オブジェクトｏ_２，ｏ_３はサイドボードである。また、オブジェクトｏ_４〜ｏ_６は椅子であり、オブジェクトｏ_７は机であり、オブジェクトｏ_８はテレビである。

カメラ２０の撮影位置は、部屋Ｓ内の任意の位置であってよいが、ここでは、オブジェクトＯをまんべんなく撮影可能な撮影位置Ｐから部屋Ｓが撮影される場合を説明する。

図４は、部屋Ｓの撮影画像を示す図である。先述したように、カメラ２０は水平方向の３６０°を撮影可能なので、図４に示すように、撮影画像Ｉには、撮影位置Ｐから見て水平方向の全てが撮影される。別の言い方をすれば、撮影画像Ｉは、撮影位置Ｐから撮影された水平方向３６０°のパノラマ画像である。

撮影画像Ｉには、２次元の座標軸（スクリーン座標系の座標軸）が設定される。例えば、左上を原点Ｏ_Ｓとし、水平方向をＸ_Ｓ軸とし、垂直方向をＹ_Ｓ軸とする。撮影画像Ｉの各画素の位置は、Ｘ_Ｓ座標とＹ_Ｓ座標で示される。例えば、撮影画像Ｉの右端のＸ_Ｓ座標をＸ_ＳＭＡＸとし、下端のＹ_Ｓ座標をＹ_ＳＭＡＸとする。

本実施形態では、画像取得部１０１は、複数の壁Ｗで囲われた空間が撮影された１枚の撮影画像Ｉに基づいて、複数の画像を取得する場合を説明する。ここでは、画像取得部１０１は、水平方向の３６０°が撮影された１枚の撮影画像Ｉに基づいて、複数の画像を取得することになる。

図５及び図６は、画像取得部１０１による画像の取得方法を示す図である。図５では、撮影位置Ｐから見て、Ｘ_Ｓ座標が０の画素に撮影された被写体の方向の点をＰ_０とする。撮影画像ＩのＸ_Ｓ座標が大きくなるにつれて、撮影位置Ｐを中心にして点Ｐ_０から時計回り（右回り）に撮影方向が変化している。なお、ここでは、撮影位置Ｐを中心とし、線分Ｐ−Ｐ_０を半径とした円を３０°ずつ１２等分したときの円上の点をＰ_１〜Ｐ_１１とする。

図６に示すように、画像取得部１０１は、１枚の撮影画像Ｉを分割することによって、互いに撮影範囲が重複する６つの画像Ｉ_１〜Ｉ_６を生成する。以降では、画像Ｉ_１〜Ｉ_６を、まとめて画像Ｉ_ｋとも記載する。即ち、撮影画像Ｉ＝｛Ｉ_ｋ｝^Ｋ _ｋ＝１と記載することができる。Ｋは画像の総数であり、ここではＫ＝６である。なお、図６では、Ｘ_Ｓ座標値が「０」から「Ｘ_ＳＭＡＸ」までを１２等分し、それぞれのＸ_Ｓ座標値を「Ｘ_Ｓ１」〜「Ｘ_Ｓ１１」としている。

例えば、画像Ｉ_１は、Ｘ_Ｓ座標値が「０」から「Ｘ_Ｓ３」までの部分である。画像Ｉ_１の撮影範囲は、画像Ｉ_１の中心点に対応する点Ｑ_１（図５）を注視点とし、画角は∠Ｐ_０ＰＰ_３＝９０°である。画像Ｉ_２は、Ｘ_Ｓ座標値が「Ｘ_Ｓ２」から「Ｘ_Ｓ５」までの部分である。画像Ｉ_２の撮影範囲は、画像Ｉ_２の中心点に対応する点Ｑ_２（図５）を注視点とし、画角は∠Ｐ_２ＰＰ_５＝９０°である。画像Ｉ_１と画像Ｉ_２は、Ｘ_Ｓ座標値が「Ｘ_Ｓ２」から「Ｘ_Ｓ３」までの撮影範囲（画角が∠Ｐ_２ＰＰ_３＝３０°の撮影範囲）が重複している。

画像Ｉ_３は、Ｘ_Ｓ座標値が「Ｘ_Ｓ４」から「Ｘ_Ｓ７」までの部分である。画像Ｉ_３の撮影範囲は、画像Ｉ_３の中心点に対応する点Ｑ_３（図５）を注視点とし、画角は∠Ｐ_４ＰＰ_７＝９０°である。画像Ｉ_２と画像Ｉ_３は、Ｘ_Ｓ座標値が「Ｘ_Ｓ４」から「Ｘ_Ｓ５」までの撮影範囲（画角が∠Ｐ_４ＰＰ_５＝３０°の撮影範囲）が重複している。画像Ｉ_４は、Ｘ_Ｓ座標値が「Ｘ_Ｓ６」から「Ｘ_Ｓ９」までの部分である。画像Ｉ_４の撮影範囲は、画像Ｉ_４の中心点に対応する点Ｑ_４（図５）を注視点とし、画角は∠Ｐ_６ＰＰ_９＝９０°である。画像Ｉ_３と画像Ｉ_４は、Ｘ_Ｓ座標値が「Ｘ_Ｓ６」から「Ｘ_Ｓ７」までの撮影範囲（画角が∠Ｐ_６ＰＰ_７＝３０°分の撮影範囲）が重複している。

画像Ｉ_５は、Ｘ_Ｓ座標値が「Ｘ_Ｓ８」から「Ｘ_Ｓ１１」までの部分である。画像Ｉ_５の撮影範囲は、画像Ｉ_５の中心点に対応する点Ｑ_５（図５）を注視点とし、画角は∠Ｐ_８ＰＰ_１１＝９０°である。画像Ｉ_４と画像Ｉ_５は、Ｘ_Ｓ座標値が「Ｘ_Ｓ８」から「Ｘ_Ｓ９」までの撮影範囲（画角が∠Ｐ_８ＰＰ_９＝３０°分の撮影範囲）が重複している。画像Ｉ_６は、Ｘ_Ｓ座標値が「Ｘ_Ｓ１０」から「Ｘ_ＳＭＡＸ」までの部分と、「０」から「Ｘ_Ｓ１」までの部分と、を結合したものである。画像Ｉ_６の撮影範囲は、画像Ｉ_６の中心点に対応する点Ｑ_６（図５）を注視点とし、画角は∠Ｐ_１０ＰＰ_１＝９０°である。画像Ｉ_６と画像Ｉ_１は、Ｘ_Ｓ座標値が「０」から「Ｘ_Ｓ１」までの撮影範囲（画角が∠Ｐ_０ＰＰ_１＝３０°分の撮影範囲）が重複している。

上記のように、本実施形態では、各画像Ｉ_ｋは、少なくとも１つの他の画像Ｉ_ｋと撮影範囲の一部が重複している。なお、重複部分は、３０°分の画角に限られず、任意の広さであってよい。また、全ての重複部分が同じ広さである場合を説明したが、画像Ｉ_ｋごとに重複部分の広さが異なっていてもよい。更に、画像Ｉ_ｋのサイズが同じである場合を説明したが、互いにサイズが異なっていてもよい。

また、本実施形態の撮影画像Ｉには、部屋Ｓの複数の方向が撮影されているので、画像取得部１０１は、部屋Ｓの複数の方向がそれぞれ撮影された複数の画像Ｉ_ｋを取得することになる。また、画像取得部１０１は、部屋Ｓ内の１点から互いに異なる方向が撮影された複数の画像Ｉ_ｋを取得する。別の言い方をすれば、画像取得部１０１は、画像Ｉ_ｋごとに、撮影委位置Ｐからの撮影方向が互いに異なる複数の画像Ｉ_ｋを取得することになる。

なお、本実施形態では、１枚の撮影画像Ｉから複数の画像Ｉ_ｋが生成される場合を説明したが、カメラ２０で複数回撮影することにより複数の画像Ｉ_ｋが生成されるようにしてもよい。この場合、例えば、撮影位置Ｐから所定の撮影方向を撮影したら、その場所で所定角度回転して次の撮影が行われるようにしてもよい。以降、続けて回転と撮影を繰り返し、撮影位置Ｐから水平方向のある一定角度（例えば、３６０°）分が撮影された複数の画像Ｉ_ｋが生成されるようにしてもよい。

［１−２−３．部分モデル生成部］
部分モデル生成部１０２は、制御部１１を主として実現される。部分モデル生成部１０２は、画像Ｉ_ｋごとに、当該画像Ｉ_ｋに撮影された複数の壁Ｗの一部を示す部分モデルを生成する。部分モデルは、１つ以上の壁を示す３次元モデルである。３次元モデルは、多角形のポリゴンから構成される平面又は立体である。

部分モデル生成部１０２は、画像Ｉ_ｋのうち平面部分を特定し、当該部分の形状及び向きに基づいて部分モデルを生成する。当該平面部分は、ある一定の広さを有する所定形状の平面であればよい。例えば、壁Ｗは４角形なので、部分モデル生成部１０２は、画像Ｉ_ｋのうち４角形の平面を特定することになる。例えば、部分モデル生成部１０２は、画像Ｉ_ｋに撮影された被写体の輪郭を示す線分を抽出し、当該線分の位置的な関係及び方向的な関係に基づいて部分モデルを生成するようにしてよい。

画像Ｉ_ｋに撮影された被写体の３次元モデルを生成する方法自体は、公知の種々の手法を適用可能であるが、ここでは、その一例として、学術論文「Lee, D.C., Hebert, M., Kanade, T.: Geometric reasoning for single image structure recovery. In: CVPR. (2009)」に示されるように、方向マップを用いた方法を説明する。

図７は、部分モデルを生成する手順を示す図である。ここでは、画像Ｉ_１から、当該画像Ｉ_１に撮影された壁ｗ_１，ｗ_２，ｗ_３，ｗ_６を示す部分モデルｍ_１が生成される場合を例に挙げて説明する。図７に示すように、部分モデル生成部１０２は、（手順１）画像Ｉ_１内の線分と消滅点とを抽出し、（手順２）画像Ｉ_１に対応する方向マップから壁Ｗの領域を特定し、（手順３）特定した壁Ｗの領域に基づいて部分モデルｍ_１を生成する。以降、これらの手順１〜３の詳細を説明する。

［手順１］
まず、部分モデル生成部１０２は、画像Ｉ_１に対してエッジ検出処理を施すことによって、画像Ｉ_１内の線分を特定する。現実空間では直線であっても魚眼レンズを使用すると湾曲するので、ここで検出する線分は、直線状であってもよいし曲線状であってもよい。エッジ検出処理自体は、公知の種々の処理を適用可能である。例えば、部分モデル生成部１０２は、ある注目画素の画素値と、周囲の画素の画素値と、の差が閾値以上である場合に、当該注目画素をエッジ画素として特定するようにしてよい。部分モデル生成部１０２は、画像Ｉ_１からエッジ画素を検出し、隣り合うエッジ画素同士をつなげた画素を、線分として抽出する。

本実施形態では、壁Ｗは、互いに略９０°で交差しているので、撮影位置Ｐから見ると、壁Ｗの表面は、前後・左右・上下の何れかを向き、壁Ｗの輪郭も、前後・左右・上下の何れかを向く。このため、部分モデル生成部１０２は、抽出した各線分の方向（傾き）に基づいて、当該線分を、前後・左右・上下の何れかに分類する。

例えば、部分モデル生成部１０２は、ある線分の傾きの絶対値が、０（Ｘ_Ｓ軸方向）以上であり、第１閾値（例えば、２０°程度）未満である場合、その線分は左右方向として分類する。即ち、画像Ｉ_１において線分が横方向を向いていれば、その線分は、撮影位置Ｐから見て左右方向の輪郭を示すので、左右方向として分類することになる。

また、部分モデル生成部１０２は、ある線分の傾きの絶対値が、第１閾値以上であり、第２閾値未満（例えば、７０°程度）である場合、その線分は、前後方向として分類する。即ち、画像Ｉ_１において線分が斜め方向を向いていれば、その線分は、撮影位置Ｐから見て前後方向の輪郭を示すので、前後方向として分類する。なお、第１閾値や第２閾値は、カメラ２０に装着されるレンズによる画像の歪み具合を考慮して定めてよい。

また、部分モデル生成部１０２は、ある線分の傾きの絶対値が第２閾値以上である場合、その線分は、上下方向として分類する。即ち、画像Ｉ_１において線分が縦方向を向いていれば、その線分は、撮影位置Ｐから見て上下方向の輪郭を示すので、前後方向として分類する。

上記のように線分の方向が分類されると、部分モデル生成部１０２は、各線分を伸長させる。部分モデル生成部１０２は、各線分を、画像Ｉ_１の縁まで伸ばしてもよいし、他の線分と交差するまで伸ばしてもよい。伸ばした線分の交点は、コーナーの候補である。このため、部分モデル生成部１０２は、当該伸ばした線で囲まれた領域を、壁Ｗの候補とする。別の言い方をすれば、部分モデル生成部１０２は、伸ばした線の交点を抽出し、複数の交点で囲まれた領域を壁Ｗの候補とする。壁Ｗの候補には、本当は壁Ｗではないものが含まれているが、そのような候補は、後述するように、方向マップとの一致度が低くなる。そこで、方向マップを利用することで、本当の壁Ｗの領域を絞り込むようにしている。

本実施形態では、部分モデル生成部１０２は、消滅点を利用して方向マップを取得する。部分モデル生成部１０２は、抽出した線分に基づいて、画像Ｉ_１から消滅点を取得する。消滅点は、現実空間で同じ方向を向いている物体が画像上で交わる点であり、無限遠を示す地点といえる。例えば、平行する２本の線路上に立って線路を撮影すると、実際には２本の線路が交わることはないが、画像上では、２本の線路はお互いに向き合うように撮影される。この２本の線路を延長したときに交わる点が消滅点である。

図７に示す例では、部分モデル生成部１０２は、前後方向として分類した線分ｌ_１，ｌ_２同士を延長したときに交わる点を、前後方向の消滅点ｖ_１として取得する。また、部分モデル生成部１０２は、左右方向として分類した線分ｌ_３，ｌ_４を延長したときに交わる点ｖ_２を、左右方向の消滅点ｖ_２として取得する。なお、画像Ｉ_１では、上下方向の線分は、互いに平行であり交わらないので、上下方向の消滅点は検出されなかったものとする。

部分モデル生成部１０２は、線分と消滅点との位置関係に基づいて、方向マップを生成する。画像Ｉ_１の方向マップは、画素ごとに、その画素の被写体の表面の向きを示す。本実施形態では、各画素は、前後・左右・上下の何れかを向いているかが方向マップに示される。方向マップの生成方法自体は、公知の種々の手法を適用可能であるが、本実施形態では、その一例として、線分を消滅点に向けて移動させる方法を説明する。

例えば、部屋Ｓの床や天井の表面は、上下方向を向くので、その輪郭は、前後方向の線分と、左右方向の線分と、により示される。このため、部分モデル生成部１０２は、左右方向の線分により挟まれた位置にある前後方向の線分を、水平方向の消滅点ｖ_２に向けて、他の線分とぶつかるまで移動させたときに通過した画素に、上下方向を関連付ける。

また例えば、壁ｗ_１，ｗ_３の表面は、前後方向を向くので、その輪郭は、左右方向の線分と、上下方向の線分と、により示される。このため、部分モデル生成部１０２は、左右方向の線分により挟まれた位置にある上下方向の線分を、水平方向の消滅点ｖ_２に向けて、他の線分とぶつかるまで移動させたときに通過した画素に、前後方向を関連付ける。

また例えば、壁ｗ_２，ｗ_６の表面は、左右方向を向くので、その輪郭は、前後方向の線分と、上下方向の線分と、により示される。このため、部分モデル生成部１０２は、前後方向の線分により挟まれた位置にある上下方向の線分を、水平方向の消滅点ｖ_２に向けて、他の線分とぶつかるまで移動させたときに通過した画素に、左右方向を関連付ける。

［手順２］
部分モデル生成部１０２は、上記のようにして、画像Ｉ_１の各画素の方向を特定し、方向マップを生成する。そして、部分モデル生成部１０２は、方向マップを生成したときと同様の方法により、壁Ｗの候補を構成する線分の方向に基づいて、当該候補の表面が向く方向を特定する。部分モデル生成部１０２は、壁Ｗの候補の方向と、当該候補内の方向マップが示す方向と、を比較して算出した一致度に基づいて、本当の壁Ｗの領域として特定する。一致度は、方向が一致する画素数又はその割合に基づいて算出されるようにすればよい。

図７に示す場合では、部分モデル生成部１０２は、画像Ｉ_１内の点Ｒ_１Ｓ，Ｒ_２Ｓ，Ｒ_３Ｓ，Ｒ_４Ｓで囲われた候補を、壁ｗ_１として特定する。部分モデル生成部１０２は、画像Ｉ_１内の点Ｒ_２Ｓ，Ｒ_５Ｓ，Ｒ_６Ｓ，Ｒ_４Ｓで囲われた候補を、壁ｗ_２として特定する。部分モデル生成部１０２は、画像Ｉ_１内の点Ｒ_５Ｓ，Ｒ_６Ｓ，Ｒ_７Ｓ，Ｒ_８Ｓで囲われた候補を、壁ｗ_３として特定する。部分モデル生成部１０２は、画像Ｉ_１内の点Ｒ_１Ｓ，Ｒ_３Ｓ，Ｒ_９Ｓ，Ｒ_１０Ｓで囲われた候補を、壁ｗ_６として特定する。

［手順３］
部分モデル生成部１０２は、画像Ｉ_１から抽出した各領域に所定の座標変換処理を施すことにより、部分モデルｍ_１を生成する。座標変換処理は、２次元座標を３次元座標に変換する行列変換処理である。例えば、部分モデル生成部１０２は、画像Ｉ_１において特定した壁の頂点を示す点Ｒ_１Ｓ〜Ｒ_１０Ｓの２次元座標を、仮想空間内の３次元座標に変換して点Ｒ_１Ｗ〜Ｒ_１０Ｗとする。なお、３次元座標に変換する場合には、部分モデルｍ_１の高さが所定の高さとなるようにしてもよい。即ち、部分モデルｍ_１のサイズは、実施形態１では、予め決められたサイズであってよい。

本実施形態では、図７に示すように、仮想空間には、３次元の座標軸（ワールド座標系の座標軸）が設定される。例えば、任意の位置を原点Ｏ_Ｗとし、互いに直交する３つの座標軸であるＸ_Ｗ軸−Ｙ_Ｗ軸−Ｚ_Ｗ軸が設定される。仮想空間の各位置は、３次元座標により定まる。部分モデル生成部１０２は、上記３次元座標に変換した点Ｒ_１Ｗ〜Ｒ_１０Ｗどうしを結合することにより、部分モデルｍ_１を生成する。即ち、点Ｒ_１Ｗ〜Ｒ_１０Ｗは、部分モデルｍ_１の頂点となる。

上記の手順１〜３により、画像Ｉ_１から部分モデルｍ_１が生成される。なお、先述したように、手順１〜３はあくまで部分モデルｍ_１を生成する処理の一例なので、画像Ｉ_１から部分モデルｍ_１を生成する処理自体は、公知の手法を適用可能である。部分モデル生成部１０２は、画像Ｉ_２〜Ｉ_６に対し、同様の処理を実行することにより、画像Ｉ_２〜Ｉ_６の各々に対応する部分モデルを生成する。

図８は、各画像Ｉ_ｋから生成された部分モデルを示す図である。図８に示すように、部分モデル生成部１０２は、各画像Ｉ_ｋに撮影された壁Ｗを部分的に示す部分モデルｍ_１〜ｍ_６（以降、これらをまとめて単に部分モデルｍ_ｋともいう。）を生成する。本実施形態では、壁Ｗは互いに略直交に交わっているので、図８に示すように、各部分モデルｍ_ｋのうちコーナーの部分も略直交となる。

また、本実施形態では、各画像Ｉ_ｋは、少なくとも１つの他の画像Ｉ_ｋと撮影範囲の一部が重複しているので、図８に示すように、部分モデル生成部１０２は、少なくとも１つの他の部分モデルｍ_ｋと表面の一部が重複する部分モデルｍ_ｋを生成することになる。また、部屋Ｓを空間の一例として説明するので、部分モデル生成部１０２は、部屋Ｓの一部を示す部分モデルを生成することになる。また、部屋Ｓは、６つ以上の側面を有する場合を説明するので、部分モデル生成部１０２は、６つ以上の側面の一部を示す部分モデルを生成する。

［１−２−４．全体モデル生成部］
全体モデル生成部１０３は、制御部１１を主として実現される。全体モデル生成部１０３は、部分モデル生成部１０２により生成された複数の部分モデルｍ_ｋに基づいて、複数の壁Ｗ全体を示す全体モデルを生成する。全体モデル生成部１０３は、実際の壁Ｗの配置と対応するように、部分モデルｍ_ｋを仮想空間に並べて全体モデルを生成する。部分モデルｍ_ｋは、ユーザにより指定された位置及び向きで並べてもよいが、ここでは、全体モデル生成部１０３は、実際の壁Ｗの位置関係と、部分モデルｍ_ｋの位置関係と、が対応するように、部分モデルｍ_ｋの位置及び向きを決定する。位置関係が対応するとは、位置関係が一致すること、又は、位置関係のずれが閾値未満であることを意味する。

本実施形態では、各部分モデルｍ_ｋをどこにどの向きで配置するかを決定するために、全体モデル生成部１０３は、各画像Ｉ_ｋの撮影方向に関する画像情報を取得する。画像情報は、撮影方向を特定可能な情報であればよく、ベクトル情報のように撮影方向を直接的に示すものであってもよいし、後述するように撮影方向を間接的に示すものであってもよい。

例えば、撮影画像Ｉを分割して画像Ｉ_ｋを取得する場合には、撮影画像Ｉにおける画像Ｉ_ｋの位置（即ち、画像Ｉ_ｋが撮影画像Ｉ内のどこにあるか）によって、各画像Ｉ_ｋの撮影方向を特定可能なので、本実施形態では、１枚の撮影画像Ｉにおける各画像Ｉ_ｋの位置が画像情報に相当する場合を説明する。具体的には、撮影画像Ｉの左端にある画像Ｉ_１の撮影方向（図５の撮影位置Ｐから点Ｑ_１に対する方向）を基準にして考えると、その右隣に位置する画像Ｉ_２の撮影方向（図５の撮影位置Ｐから点Ｑ_２に対する方向）は、画像Ｉ_１の撮影方向よりも右を向く。同様に、画像Ｉ_１，Ｉ_２よりも右側にある画像Ｉ_３〜Ｉ_６の各々の撮影方向は、画像Ｉ_１，Ｉ_２の撮影方向を更に右回転させた方向となる。このように、撮影画像Ｉ内における各画像Ｉ_ｋの位置により相対的な撮影方向を特定可能なので、ここでは、全体モデル生成部１０３は、各画像Ｉ_ｋの撮影画像Ｉにおける位置（例えば、Ｘｓ座標値）を参照することによって、画像情報を取得する。

全体モデル生成部１０３は、各画像Ｉ_ｋの画像情報に基づいて、当該画像Ｉ_ｋに対応する部分モデルｍ_ｋを配置する位置及び向きを決定し、全体モデルを生成する。即ち、ここでは、全体モデル生成部１０３は、１枚の撮影画像Ｉにおける各画像Ｉ_ｋの位置に基づいて、当該画像Ｉ_ｋに対応する部分モデルｍ_ｋを配置する位置及び向きを決定する。

例えば、全体モデル生成部１０３は、仮想空間内の基準点から各部分モデルｍ_ｋに対する方向と、当該部分モデルｍ_ｋに対応する画像Ｉ_ｋの撮影方向と、が対応するように、当該部分モデルｍ_ｋの位置及び向きを決定する。方向が対応するとは、方向が一致すること、又は、方向的なずれが閾値未満であることを意味する。基準点は、仮想空間内の任意の位置であってよく、ここでは、カメラ２０の撮影位置Ｐに対応する仮想カメラＶＰの位置とする。仮想カメラＶＰは、仮想空間の様子を描いた仮想画像を生成するための仮想的な視点である。

画像Ｉ_ｋの位置と、部分モデルｍ_ｋの位置及び向きと、の関係は、予めプログラムコードに記述されていてもよいし、数式形式又はテーブル形式のデータとしてデータ記憶部１００に記憶されていてもよい。この関係には、撮影画像Ｉにおける各画像Ｉ_ｋの並び順と、仮想カメラＶＰから見たときの部分モデルｍ_ｋの並び順と、が一致するように、部分モデルｍ_ｋを配置する位置及び向きが定義されている。全体モデル生成部１０３は、各画像Ｉ_ｋの位置に関連付けられた位置及び向きに基づいて、当該画像Ｉ_ｋに対応する部分モデルｍ_ｋを配置する。

図８に示すように、ここでは、全体モデル生成部１０３は、撮影画像Ｉにおける各画像Ｉ_ｋの並び順に基づいて、基準点である仮想カメラＶＰを囲むように部分モデルｍ_ｋを順番に配置する。より具体的には、まず、全体モデル生成部１０３は、仮想カメラＶＰから見て所定方向に所定距離だけ離れた位置に、画像Ｉ_１に対応する部分モデルｍ_１を仮想カメラＶＰの方を向くように配置する。そして、全体モデル生成部１０３は、画像Ｉ_１の隣の画像Ｉ_２に対応する部分モデルｍ_２を、部分モデルｍ_１の隣に仮想カメラＶＰの方を向くように配置する。以降同様にして、全体モデル生成部１０３は、部分モデルｍ_３〜ｍ_６が仮想カメラＶＰの方を向くように、右回りに部分モデルｍ_３〜ｍ_６を順番に並べて配置する。このように、全体モデル生成部１０３は、仮想カメラＶＰを囲むようにして並べた部分モデルｍ_ｋに基づいて、全体モデルを生成する。

図９は、全体モデルの一例を示す図である。図９に示すにように、全体モデル生成部１０３は、整列した部分モデルｍ_ｋの表面を合成してプレーンフィッティング処理を施し、１つの全体モデルＭ_Ｗを生成する。プレーンフィッティング処理は、平面の平滑化処理であり、２つ平面上の位置を平均した位置を新たな１つの平面とすることで行われるようにすればよい。このため、全体モデルＭ_Ｗは、壁Ｗの全体的な形状を再現した１つの３次元モデルとなる。

本実施形態では、各部分モデルｍ_ｋは少なくとも１つの他の部分モデルｍ_ｋと重複しているので、全体モデル生成部１０３は、各部分モデルｍ_ｋの重複部分の位置を合わせて、全体モデルＭ_Ｗを生成することになる。また、全体モデル生成部１０３は、部屋Ｓが６つ以上の側面を有しているので、全体モデル生成部１０３は、６つ以上の側面全体を示す全体モデルＭ_Ｗを生成することになる。

［４．本実施形態において実行される処理］
図１０は、３次元モデル生成システムにおいて実行される処理の一例を示すフロー図である。図１０に示す処理は、制御部１１が、記憶部１２に記憶されたプログラムに従って動作することによって実行される。下記に説明する処理は、図２に示す機能ブロックにより実行される処理の一例である。

図１０に示すように、まず、制御部１１は、部屋Ｓの撮影画像データを取得する（Ｓ１）。撮影画像データは、記憶部１２に記憶されていてもよいし、カメラ２０内のメモリに記憶されていてもよい。あるいは、３次元モデル生成装置１０に接続された情報記憶媒体に記憶されていてもよいし、サーバコンピュータなどに記憶されていてもよい。

制御部１１は、Ｓ１で取得した撮影画像データが示す撮影画像Ｉに基づいて、複数の画像Ｉ_ｋを取得する（Ｓ２）。Ｓ２においては、制御部１１は、撮影画像Ｉを所定の位置で分割することにより、複数の画像Ｉ_ｋを取得する。分割位置は、予め定められており、その位置を示す情報は記憶部１２に記憶させておけばよい。

制御部１１は、Ｓ２で取得した画像Ｉ_ｋごとに、部分モデルｍ_ｋを生成する（Ｓ３）。Ｓ３においては、制御部１１は、先述したように方向マップなどを利用して、各画像Ｉ_ｋに撮影された壁Ｗ部分を示す部分モデルｍ_ｋを生成すればよい。

制御部１１は、Ｓ３で生成した部分モデルｍ_ｋを仮想空間に並べて配置する（Ｓ４）。Ｓ４においては、制御部１１は、各画像Ｉ_ｋに対応する部分モデルｍ_ｋを、撮影画像Ｉにおける当該画像Ｉ_ｋの位置に対応する仮想空間内の位置及び向きに配置する。

制御部１１は、Ｓ４で並べた部分モデルｍ_ｋに基づいて全体モデルＭ_Ｗを生成し（Ｓ５）、本処理は終了する。Ｓ５においては、制御部１１は、並べた部分モデルｍ_ｋの重複部分を合成して表面をプレーンフィッティングすることによって全体モデルＭ_Ｗを生成することになる。

実施形態１の３次元モデル生成システム１によれば、画像Ｉ_ｋごとに部分モデルｍ_ｋを生成し、複数の部分モデルｍ_ｋに基づいて全体モデルＭ_Ｗを生成するので、直方体のようなシンプルな形状ではなく、複雑な形状の空間であったとしても正確に推定することができる。また、１枚の撮影画像Ｉではなく、複数の画像Ｉ_ｋから全体モデルＭ_Ｗを生成することで、個々の部分モデルｍ_ｋを生成する方法は従来の手法を利用したとしても、複雑な形状の空間を推定することができる。その結果、簡易的な処理で全体モデルＭ_Ｗを生成できるので、コンピュータの処理負荷を軽減することができる。

また、部分モデルｍ_ｋの重複部分の位置を合わせて全体モデルＭ_Ｗを生成することで、隙間なく部分モデルｍ_ｋを並べることができるため、全体モデルＭ_Ｗの精度を向上させることができる。

また、画像Ｉ_ｋの撮影方向に関する画像情報に基づいて部分モデルｍ_ｋを配置する位置及び向きを決定することで、現実の空間における壁Ｗなどの配置や向きと対応するように部分モデルｍ_ｋを配置することができるので、全体モデルＭ_Ｗの精度をより向上させることができる。また、ユーザが部分モデルｍ_ｋの位置や向きを指定する必要がなくなるので、ユーザの負担を軽減するとともに、全体モデルＭ_Ｗを迅速に生成することができる。

また、１枚の撮影画像Ｉ内での各画像Ｉ_ｋの位置に基づいて部分モデルｍ_ｋを配置する位置や向きを決定するので、部分モデルｍ_ｋを配置すべき位置や向きをより簡単に決定することができる。その結果、複雑な処理を実行する必要がなくなり、全体モデルＭ_Ｗを迅速に生成するとともに、３次元モデル生成装置１０の処理負荷を軽減することができる。

また、水平方向の３６０°が撮影された１枚の撮影画像Ｉに基づいて全体モデルＭ_Ｗを生成することで、撮影画像Ｉを一度の撮影で取得することができ、全体モデルＭ_Ｗを生成する場合の撮影の手間を軽減することができる。

また、画像Ｉ_ｋは、現実空間における互いに異なる方向が撮影されたものなので、壁Ｗが広範囲に渡ったものであったとしても、その形状を再現した全体モデルＭ_Ｗを生成することができる。

また、部屋Ｓの一部を示す部分モデルｍ_ｋを組み合わせて全体モデルＭ_Ｗを生成するので、部屋Ｓ全体が複雑な形状であったとしても、その形状を再現した３次元モデルを生成することができる。

また、部屋Ｓの壁Ｗが略直交する６つ以上の壁Ｗを有する複雑な形状であったとしても、部分モデルｍ_ｋを組み合わせて全体モデルＭ_Ｗを生成するので、多数の壁Ｗからなる複雑な形状の部屋Ｓを再現した全体モデルＭ_Ｗを生成することができる。

［２．実施形態２］
次に、３次元モデル生成システム１の別実施形態を説明する。以降説明する実施形態２では、３次元モデル生成システム１のハードウェア構成は、実施形態１と同様であってよい。

［２−１．実施形態２の概要］
部屋Ｓは、形状が同じであったとしてもサイズは種々のものがあり、標準的なサイズというものは特に存在しない。このため、実施形態１のように全体モデルＭ_Ｗを生成しても、部屋Ｓのサイズは再現できていないことがある。この点、ベッドなどのオブジェクトＯは、サイズの個体差が少なく、大体のサイズが決まっている。即ち、オブジェクトＯは、標準的なサイズがおおよそ決まっているので、実施形態２では、この事実に着目して実際の部屋Ｓのサイズを推定し、全体モデルＭ_Ｗのサイズを調整するようにしている。

実施形態２では、全体モデルＭ_Ｗは、サイズパラメータλが設定されている。全体モデルＭ_Ｗのサイズは、サイズパラメータλにより変更可能である。サイズパラメータλは、標準的なサイズからの拡大率又は縮小率を示してもよいし、縦・横・高さの少なくとも１つの長さを示してもよい。

図１１は、サイズパラメータλと全体モデルＭ_Ｗとの関係を示す図である。サイズパラメータλと全体モデルＭ_Ｗのサイズとの関係は、プログラムに記述された数式で定義しておけばよい。図１１に示すように、全体モデルＭ_Ｗは、サイズパラメータλに関連付けられたサイズとなる。例えば、サイズパラメータλが小さいほど全体モデルＭ_Ｗは小さくなり、サイズパラメータλが大きいほど全体モデルＭ_Ｗは大きくなる。全体モデルＭ_Ｗが生成された時点では、サイズパラメータλは初期値（例えば、１．０）となるようにしてよい。

図１１の例では、サイズパラメータλは、全体モデルＭ_Ｗの高さを示している。例えば、λ＝１のときの標準的な高さをＬとすると、全体モデルＭ_Ｗの高さは、λ＊Ｌとなる。例えば、Ｌ＝２．５ｍとすると、λ＝０．８のときは全体モデルＭ_Ｗの高さは２．０ｍとなり、λ＝１．２のときは全体モデルＭ_Ｗの高さは２．５ｍとなる。

なお、本実施形態では、水平方向（縦・横）及び垂直方向（高さ）の全ての比率を維持したまま、サイズが変わる場合を説明するが、水平方向の比率だけを維持してサイズが変わってもよい。水平方向の比率だけが維持される場合、全体モデルＭ_Ｗの高さは、固定値であってもよいし、ある一定範囲の中で変化してもよい。別の言い方をすれば、全体モデルＭ_Ｗは、少なくとも、上から見たときの形状が維持されていればよい。

実施形態２では、上記のようにサイズを変更可能な全体モデルＭ_Ｗの上に、オブジェクトＯを示すオブジェクトモデルが配置される。以降、オブジェクトモデルは、Ｍ_ｏｊの符号を付与する。オブジェクトモデルＭ_ｏｊは、全体モデルＭ_Ｗのように画像Ｉ_ｋから生成するのではなく、予め用意された３次元モデルである。オブジェクトモデルＭ_ｏｊは、後述するオブジェクトモデルデータベースに登録されている。

先述したように、オブジェクトＯのサイズは個体差が少ないので、オブジェクトモデルＭ_ｏｊは、オブジェクトＯの一般的なサイズ（例えば、ベッドであればダブルベッドのサイズなど）となっている。このため、仮想空間における全体モデルＭ_ＷとオブジェクトモデルＭ_ｏｊとの相対的なサイズと、撮影画像Ｉにおける壁ＷとオブジェクトＯとの相対的なサイズと、が似るようにサイズパラメータλを調整すれば、全体モデルＭ_Ｗを実際の部屋Ｓのサイズに似せることができる。

更に、実施形態２では、部屋ＳにおけるオブジェクトＯの位置及び向きと似るように、仮想空間におけるオブジェクトモデルＭ_ｏｊの位置及び向きが調整される。以降、位置を示すパラメータにｐ_ｊの符号を付与し、向きを示すパラメータにθ_ｊの符号を付与する。また、仮想空間の状態は、サイズパラメータλ、位置パラメータｐ_ｊ、及び向きパラメータθ_ｊに基づいて定まるので、以降、これらをまとめてモデルパラメータΦと記載する。

上記のように、実施形態２では、実際の部屋Ｓの状態を再現するように、モデルパラメータΦが調整される。ここでは、ベイズ推定理論を利用して、部屋Ｓの再現度の高さを評価するようにしている。ベイズ推定理論は、現実世界の計測結果をもとに、推定したい事柄を確率的な意味で推定する手法である。ベイズ推定理論の確率が高いほど、推定したい事柄が実際に起こる蓋然性が高い。即ち、ベイズ推定理論の確率が高ければ、推定した仮想空間が実際の部屋Ｓの様子に似ていることになる。

３次元モデル生成システム１は、ベイズ推定理論の確率が高くなるように、モデルパラメータΦを決める。実施形態２では、この確率を高めるために、現実空間と仮想空間との全体的なずれ具合を示す評価値Ｅ_Ｓと、現実空間と仮想空間との局所的なずれ具合を示す評価値Ｅ_０と、の２つの評価値を利用して、再現度の高い仮想空間を効率よく生成するようにしている。以降、この技術の詳細を説明する。

［２−２．実施形態２において実現される機能］
図１２は、実施形態２の３次元モデル生成システム１で実現される機能の一例を示す機能ブロック図である。図１２に示すように、実施形態２では、データ記憶部１００、画像取得部１０１、モデル配置部１０４、仮想画像生成部１０５、及びパラメータ決定部１０６が３次元モデル生成装置１０で実現される場合を説明する。

［２−２−１．データ記憶部］
実施形態２のデータ記憶部１００は、実施形態１で説明したデータに加えて、モデルパラメータΦと、オブジェクトモデルデータベースと、を記憶する。モデルパラメータΦは、パラメータ決定部１０６により値が変わる。なお、位置パラメータｐ_ｊは、仮想空間における３次元座標が格納され、向きパラメータθ_ｊは、３次元ベクトルが格納されてもよいし、ヨー角、ピッチ角、及びロール角により示されてもよい。

図１３は、オブジェクトモデルデータベースのデータ格納例を示す図である。図１３に示すように、オブジェクトモデルデータベースには、オブジェクトＯのカテゴリと、当該カテゴリのオブジェクトＯの３次元モデルを示すオブジェクトモデルＭ_ｏｊと、オブジェクトＯの向きと、が関連付けられている。なお、オブジェクトモデルデータベースには、オブジェクトモデルＭ_ｏｊの実寸法を示すサイズ情報が含まれていてもよい。

カテゴリは、オブジェクトＯの種類であり、被写体を分類する名称である。カテゴリは、家具や家電のような比較的大きなものであってもよいし、ベッドや椅子のような細かなものであってもよい。

オブジェクトモデルＭ_ｏｊは、標準的な形状及びサイズのオブジェクトＯの３次元モデルである。オブジェクトモデルデータベースには、オブジェクトモデルＭ_ｏｊを示すデータが含まれていればよく、例えば、オブジェクトモデルＭ_ｏｊの頂点の３次元座標、色情報、及びテクスチャ情報を含む。なお、実施形態２では、オブジェクトモデルＭ_ｏｊが奥行きを有する立体的なものである場合を説明するが、オブジェクトモデルＭ_ｏｊは、平面的なものであってもよい。平面的なものである場合、オブジェクトモデルＭ_ｏｊは、１枚のポリゴンであってもよいし、複数枚のポリゴンを平面状につなげたものであってもよい。この場合、オブジェクトモデルＭ_ｏｊ上に、オブジェクトＯのテクスチャ画像が張り付けられているものとする。

図１３に示すように、オブジェクトモデルデータベースには、カテゴリごとに、複数の向き（姿勢）のオブジェクトモデルＭ_ｏｊが登録されている。向きは、ヨー角、ピッチ角、及びロール角の全てにより示されてもよいが、水平面又は垂直面上の物体のロール角は一定なので、図１３のように、ヨー角及びピッチ角のみが示されてもよい。なお、水平面上に置かれるベッドなどのオブジェクトＯであれば、ピッチ角も一定なのでヨー角だけが示されてもよいし、垂直面上に置かれる壁掛け時計などのオブジェクトＯであれば、ヨー角は一定なのでピッチ角のみが示されてもよい。

なお、本実施形態では、撮影画像ＩからオブジェクトＯを検出する処理を簡易化するために、オブジェクトモデルデータベースに、オブジェクトモデルＭ_ｏｊの向きごとに、テンプレート画像が格納されているものとする。テンプレート画像は、オブジェクトの標準的な形状を示す画像であり、例えば、オブジェクトモデルＭ_ｏｊが向いている方向から当該オブジェクトモデルＭ_ｏｊを見た様子を示す画像であってよい。テンプレート画像は、他のデータベースに登録されていてもよいし、オブジェクトモデルＭ_ｏｊから生成してもよい。

［２−２−２．画像取得部］
画像取得部１０１は、実施形態１と同様であってよいが、現実空間に配置された第１オブジェクトと第２オブジェクトとが撮影された撮影画像Ｉを取得する。

第１オブジェクトは、サイズが既知のオブジェクトであり、オブジェクトデータベースに３次元モデルが登録されているオブジェクトである。別の言い方をすれば、第１オブジェクトは、第２オブジェクトのサイズを推定する際に基準とするオブジェクトである。本実施形態では、壁Ｗ以外のオブジェクトＯが第１オブジェクトに相当する。即ち、第１オブジェクトは、部屋Ｓの中に配置された家具などである場合を説明する。このため、オブジェクトモデルＭ_ｏｊが、第１オブジェクトを示す第１モデルの一例に相当する。

第２オブジェクトは、サイズが未知のオブジェクトであり、サイズの推定対象となるオブジェクトである。本実施形態では、部屋Ｓの壁Ｗが第２オブジェクトに相当する。このため、全体モデルＭ_Ｗが、第２オブジェクトを示す第２モデルの一例に相当する。

［２−２−３．モデル配置部］
モデル配置部１０４は、制御部１１を主として実現される。モデル配置部１０４は、オブジェクトモデルＭ_ｏｊと、全体モデルＭ_Ｗと、を仮想空間に配置する。全体モデルＭ_Ｗは、実施形態１と同様の方法で生成されてもよいし、実施形態１とは異なる方法で生成されてもよい。例えば、ユーザが予めＣＡＤを利用してサイズが不明な全体モデルＭ_Ｗを描画しておいてもよい。なお、モデルパラメータλの初期値は、予め定められた値であればよく、ここではλ＝１とする。

例えば、モデル配置部１０４は、撮影画像Ｉに基づいて定まる向きのオブジェクトＯを仮想空間に配置する。本実施形態では、オブジェクトモデルデータベースにテンプレート画像が登録されているので、モデル配置部１０４は、撮影画像Ｉと、所定の向きのオブジェクトＯを示すテンプレート画像と、の比較結果に基づいて定まる向きのオブジェクトモデルＭ_ｏｊを仮想空間に配置する。この時点では、モデルパラメータΦは初期値となる。即ち、モデル配置部１０４は、撮影画像Ｉに撮影されたオブジェクトＯを検出し、当該検出したオブジェクトＯを示すオブジェクトモデルＭ_ｏｊを初期位置に初期方向で、初期サイズの全体モデルＭ_Ｗ上に配置する。

より具体的には、まず、モデル配置部１０４は、物体検出アルゴリズムに基づいて、撮影画像Ｉの中からオブジェクトＯを検出する。物体検出アルゴリズム自体は、公知の種々の手法を適用可能であり、例えば、テンプレート画像に基づくテンプレートマッチングを用いてもよいし、物体の形状的な特徴を示す特徴量の類否を用いてもよい。

ここでは、物体検出アルゴリズムの一例として、テンプレートマッチングを説明する。例えば、モデル配置部１０４は、撮影画像Ｉ内の任意の領域に対して、テンプレート画像との類似度を計算する。類似度は、領域内の被写体の輪郭と、テンプレート画像が示す物体の輪郭と、の類似具合を示す。被写体の輪郭は、エッジ検出処理により検出されるようにすればよい。モデル配置部１０４は、類似度が閾値以上である領域内に、テンプレート画像が示す物体が撮影されていると判定することになる。

モデル配置部１０４は、物体検出アルゴリズムによる検出結果に基づいて、オブジェクトモデルＭ_ｏｊの位置パラメータｐ_ｊと向きパラメータθ_ｊの初期値を決定する。

例えば、モデル配置部１０４は、撮影画像ＩにおいてオブジェクトＯが撮影された位置に基づいて、当該オブジェクトＯを示すオブジェクトモデルＭ_ｏｊの位置パラメータｐ_ｊの初期値を決定する。モデル配置部１０４は、オブジェクトＯが撮影された位置の２次元座標を３次元座標に変換し、当該３次元座標を位置パラメータｐ_ｊの初期値とする。別の言い方をすれば、モデル配置部１０４は、カメラ２０及びオブジェクトＯの位置関係と、仮想カメラＶＰ及びオブジェクトモデルＭ_ｏｊの位置関係と、が対応するように、位置パラメータｐ_ｊの初期値を決定する。「対応する」とは、カメラ２０及びオブジェクトＯを結ぶベクトルと、仮想カメラＶＰ及びオブジェクトモデルＭ_ｏｊを結ぶベクトルと、が同じこと又は違いが閾値未満であることを意味する。

また例えば、モデル配置部１０４は、テンプレート画像に関連付けられた向きに基づいて、向きパラメータθ_ｊの初期値を決定する。本実施形態では、複数の向きのテンプレート画像が用意されているので、モデル配置部１０４は、撮影画像Ｉ内の領域との類似度が閾値以上となったテンプレート画像に関連付けられた向きを取得することになる。

上記のように、モデル配置部１０４は、初期値のモデルパラメータλが示すサイズの全体モデルＭ_ｏｊを仮想空間に配置し、その上に、初期値の位置パラメータｐｊが示す初期位置に、初期値の向きパラメータθ_ｊが示す初期方向を向くオブジェクトモデルＭ_ｏｊを配置することになる。

図１４は、全体モデルＭ_ＷとオブジェクトモデルＭ_ｏｊが配置された仮想空間の一例を示す図である。ここでは、撮影画像Ｉからオブジェクトｏ_１，ｏ_４，ｏ_５，ｏ_６，ｏ_８が検出され、オブジェクトｏ_２，ｏ_３，ｏ_７は検出されたかった場合を説明する。このように、部屋Ｓ内の全てのオブジェクトＯが検出されなければならない訳ではなく、検出された範囲でオブジェクトモデルＭ_ｏｊが配置されるようにすればよい。図１４に示すように、モデル配置部１０４は、全体モデルＭ_Ｗの床面上に、オブジェクトモデルＭ_ｏ１，Ｍ_ｏ４，Ｍ_ｏ５，Ｍ_ｏ６，Ｍ_ｏ８を配置する。即ち、本実施形態では、撮影画像Ｉには、複数のオブジェクトＯが撮影されているので、仮想空間には、複数のオブジェクトＯにそれぞれ対応する複数のオブジェクトモデルＭ_ｏｊが配置されることになる。

なお、実際のオブジェクトＯは、テンプレート画像が示す物体の形状と似ているが完全に一致しているわけではないので、オブジェクトモデルＭ_ｏｊの位置や向きは、大まかに合っているだけであり、細かくは合わないことがある。また、サイズパラメータλがまだ調整されていないので、オブジェクトモデルＭ_ｏｊに比べて全体モデルＭ_Ｗが大きかったり小さかったりすることがある。このため、後述するパラメータ決定部１０６により、モデルパラメータΦが調整されることになる。

［２−２−４．仮想画像生成部］
仮想画像生成部１０５は、制御部１１を主として実現される。仮想画像生成部１０５は、標準的なサイズのオブジェクトＯを示すオブジェクトモデルＭ_ｏｊと、サイズが標準的ではない壁Ｗを示す全体モデルＭ_Ｗと、が配置された仮想空間の様子を示す仮想画像を生成する。先述したように、壁Ｗはサイズの個体差が大きく、標準的なサイズが特に決まっていないので、全体モデルＭ_Ｗが生成された時点では、そのサイズは現実の壁Ｗとはまだ合っていない可能性がある。仮想画像生成部１０５は、仮想空間における全体モデルＭ_ＷやオブジェクトモデルＭ_ｏｊの頂点を所定の行列式により座標変換することによって、仮想画像を生成する。仮想空間に配置された３次元モデルを２次元的な画像として表す方法自体は、公知の種々の方法を適用可能である。

図１５は、仮想画像の一例を示す図である。図１５に示すように、仮想画像生成部１０５は、仮想カメラから仮想空間を見た様子を示す仮想画像Ｄを生成する。撮影画像Ｉと同様に、ここでは、仮想画像Ｄの左上を原点Ｏ_Ｓとし、Ｘ_Ｓ軸及びＹ_Ｓ軸が設定されるものとする。図１５の撮影画像Ｉでは、壁Ｗの一部がオブジェクトＯで隠れているので、仮想画像Ｄでも、全体モデルＭ_Ｗの一部がオブジェクトモデルＭ_ｏｊで隠れている。別の言い方をすれば、撮影画像Ｉでは、壁ＷはオブジェクトＯの奥に撮影されているので、仮想画像Ｄでは、全体モデルＭ_ＷはオブジェクトモデルＯ_Ｗの奥に描かれることになる。

なお、仮想画像Ｄの縦横比、サイズ、及び解像度と、撮影画像Ｉの縦横比、サイズ、及び解像度と、は同じであるものとする。このため、仮想画像ＤのＸ_Ｓ座標値の最大値は、撮影画像Ｉと同じＸ_ＳＭＡＸとなり、仮想画像ＤのＹ_Ｓ座標値の最大値は、撮影画像Ｉと同じＹ_ＳＭＡＸとなる。また、仮想カメラの画角は、カメラ２０の画角に合わせて設定すればよい。本実施形態では、カメラ２０は水平方向の画角が３６０°であり、垂直方向の画角が１８０°であるので、仮想カメラにも同じ条件の画角を設定すればよい。このため、仮想画像生成部１０５は、撮影画像Ｉと同様に、仮想空間において水平方向の全ての方向が表れた仮想画像Ｄを生成することになる。

［２−２−５．パラメータ決定部］
パラメータ決定部１０６は、制御部１１を主として実現される。パラメータ決定部１０６は、モデルパラメータΦを決定する。即ち、パラメータ決定部１０６は、サイズパラメータλ、位置パラメータｐ_ｊ、及び向きパラメータθ_ｊの少なくとも１つを初期値から変更する。

例えば、パラメータ決定部１０６がサイズパラメータλを変更すると、変更後のサイズパラメータλが示すサイズとなるように全体モデルＭ_Ｗの頂点座標が変化する。また例えば、パラメータ決定部１０６が位置パラメータｐ_ｊを変更すると、変更後の位置パラメータｐ_ｊが示す位置にオブジェクトモデルＭ_ｏｊが移動する。また例えば、パラメータ決定部１０６が向きパラメータθ_ｊを変更すると、変更後の向きパラメータθ_ｊが示す向きにオブジェクトモデルＭ_ｏｊの向きが変わる。

パラメータ決定部１０６は、撮影画像Ｉと仮想画像Ｄとに基づいてモデルパラメータΦを決定すればよいが、ここでは、その一例として、評価値Ｅ_Ｓを利用して大まかにモデルパラメータΦを決定するレイアウト推定処理と、評価値Ｅ_０を利用して詳細にモデルパラメータΦを決定する詳細決定処理と、を説明する。

［レイアウト推定処理］
まず、レイアウト推定処理を説明する。レイアウト推定処理では、仮想画像Ｄの方向マップが撮影画像Ｉの方向マップと似るように、モデルパラメータΦが決定される。ここでは、モデルパラメータΦのうち、サイズパラメータλと位置パラメータｐ_ｊとがレイアウト推定処理で決定される場合を説明する。このため、レイアウト推定処理では、向きパラメータθ_ｊは、初期値のままでよい。

まず、パラメータ決定部１０６は、撮影画像Ｉと仮想画像Ｄのそれぞれの方向マップを生成する。方向マップの生成方法は、実施形態１で説明した方法と同様であってよく、物体の輪郭を示す線分の位置関係に基づいて方向マップが生成されるようにすればよい。本実施形態では、パラメータ決定部１０６は、撮影画像Ｉの方向マップのうち、オブジェクトＯが撮影された部分をマスクし、仮想画像Ｄの方向マップのうち、オブジェクトモデルＭ_ｏｊが描かれた部分をマスクする。別の言い方をすれば、パラメータ決定部１０６は、撮影画像Ｉの方向マップのうち、オブジェクトＯに隠れていない壁Ｗの部分を比較対象とし、仮想画像Ｄの方向マップのうち、オブジェクトモデルＭ_ｏｊに隠れていない全体モデルＭ_Ｗの部分を比較対象とする。

図１６は、オブジェクトＯの部分がマスクされた撮影画像Ｉの方向マップを示す図であり、図１７は、オブジェクトモデルＭ_ｏｊの部分がマスクされた仮想画像Ｄの方向マップを示す図である。パラメータ決定部１０６は、図１６に示す撮影画像Ｉの方向マップと、図１７に示す仮想画像Ｄの方向マップと、に基づいて、下記の数式１により評価値Ｅ_Ｓを計算する。

数式１のＮ_ｐｉｘは、撮影画像Ｉ及び仮想画像Ｄの総画素数である。このため、Ｎ_ｐｉｘ＝Ｘ_ＳＭＡＸ＊Ｙ_ＳＭＡＸとなる。数式１のＮ_Ｃは、撮影画像Ｉと仮想画像Ｄとで方向マップの方向が一致した画素数であり、具体的には、下記の数式２により算出する。

数式２のｍは、任意の画素を示し、ｌ（Ｉ_ｍ）は、撮影画像Ｉの方向マップが示す画素ｍの方向である。数式２のｌ（Ｄ_ｍ）は、仮想画像Ｄの方向マップが示す画素ｍの方向である。このため、数式２の右辺は、撮影画像Ｉの方向マップが示す方向と、仮想画像Ｄの方向マップが示す方向と、が一致する画素の総数を意味する。

数式１に示すように、評価値Ｅ_Ｓは、撮影画像Ｉの方向マップと仮想画像Ｄの方向マップとの一致度を示す。ここでは、評価値Ｅ_Ｓが低いことは、方向的な一致度が高いことを示し、評価値Ｅ_Ｓが高いことは、方向的な一致度が低いことを示す。方向マップの一致度は、全体モデルＭ_ＷのサイズとオブジェクトモデルＭ_ｏｊの位置に依存するため、パラメータ決定部１０６は、評価値Ｅ_Ｓが低くなるように、サイズパラメータλと位置パラメータｐ_ｊとを調整する。

例えば、サイズパラメータλが小さすぎると、全体モデルＭ_ＷがオブジェクトモデルＭ_ｏｊに隠れる部分が実際よりも多くなる。この場合、サイズパラメータλを大きくすると、一致度が上がり評価値Ｅ_Ｓが小さくなる。また例えば、サイズパラメータλが大きすぎると、全体モデルＭ_ＷがオブジェクトモデルＭ_ｏｊに隠れる部分が実際よりも少なくなる。この場合、サイズパラメータλを小さくすると、一致度が上がり評価値Ｅ_Ｓが小さくなる。また例えば、全体モデルＭ_ＷとオブジェクトモデルＭ_ｏｊとの相対的な位置関係が実際と異なっていると、方向が一致する画素数が少なくなる。この場合、実際のオブジェクトＯの位置に近づくように位置パラメータｐｉを変化させると、一致度が上がり評価値Ｅ_Ｓが小さくなる。

パラメータ決定部１０６は、評価値Ｅ_Ｓが閾値未満となるまで、サイズパラメータλと位置パラメータｐ_ｊを調整する。例えば、パラメータ決定部１０６は、サイズパラメータλの初期値と位置パラメータｐ_ｊの初期値とに基づいて、サイズパラメータλの候補値と位置パラメータｐ_ｊの候補値を選出する。候補値は、初期値との差が閾値未満となるものであればよく、複数個の候補値が選出されてよい。

パラメータ決定部１０６は、サイズパラメータλの候補値及び位置パラメータｐ_ｊの候補値の組み合わせごとに、仮想画像Ｄを生成して評価値Ｅ_Ｓを算出する。パラメータ決定部１０６は、当該組み合わせの中から、評価値Ｅ_Ｓが最小又は閾値未満となる候補値の組み合わせを特定する。パラメータ決定部１０６は、当該特定した候補値に基づいて、サイズパラメータλと位置パラメータｐ_ｊとを更新する。本実施形態では、上記説明したレイアウト推定処理により、サイズパラメータλと位置パラメータｐ_ｊが大まかに調整される。

［詳細決定処理］
次に、詳細決定処理を説明する。現実空間では、オブジェクトＯはランダムに配置されるのではなく、ある一定の規則に沿って配置されることが多い。例えば、本実施形態のような部屋Ｓであれば、家具などのオブジェクトＯは、人間が使いやすいように、所定法則のもとで配置される。例えば、ベッドや椅子は、壁と平行に配置され、各オブジェクトＯは互いに重ならないように配置されることが多い。

この点に着目し、詳細決定処理では、現実空間の壁Ｗ及びオブジェクトＯの相対的な関係と、仮想空間の全体モデルＭ_Ｗ及びオブジェクトモデルＭ_ｏｊの相対的な関係と、が似るように、モデルパラメータΦが調整される。ここでは、モデルパラメータΦのうち、サイズパラメータλ、位置パラメータｐ_ｊ、及び向きパラメータθ_ｊの全てが詳細決定処理で決定される場合を説明する。

なお、評価値Ｅ_０は、全体モデルＭ_Ｗ及びとオブジェクトモデルＭ_ｏｊの相対的な関係を評価するための評価値Ｅ_ｏ，ωと、オブジェクトモデルＭ_ｏｊどうしの相対的な関係を評価するための評価値Ｅ_ｏ，ｏと、の２種類が用意されている。また、ここでは、処理を簡略化するために、全体モデルＭ_Ｗの床面にオブジェクトモデルＭ_ｏｊを投影した形状を用いて、評価値Ｅ_ｏ，ω，Ｅ_ｏ，ｏを評価する。

図１８は、仮想空間を上から見た様子を示す図である。図１８に示すように、パラメータ決定部１０６は、オブジェクトモデルＭ_ｏｊを上方向から全体モデルＭ_Ｗの床面に正射影する。そして、パラメータ決定部１０６は、下記の数式３により評価値Ｅ_ｏ，ωを計算する。

数式３のｐ（ｏ_ｊ）は、正射影におけるオブジェクトモデルＭ_ｏｊの位置である。ｐ（ω_{ｉ＊（ｊ）}）は、全体モデルＭ_Ｗのうち、オブジェクトモデルＭ_ｏｊに最も近い壁の位置である。このため、数式３の右辺第１項は、仮想空間における全体モデルＭ_Ｗと、オブジェクトモデルＭ_ｏｊと、の距離を示す。この距離が短いほど評価値Ｅ_ｏ，ω（Φ）が小さくなる。即ち、オブジェクトモデルＭ_ｏｊが全体モデルＭ_Ｗに近いほど、部屋Ｓの再現度が高くなる。

数式３のν_ｎは、重み付け係数である。重み付け係数は、任意の値であってよく、例えば、０．５程度であってよい。ｎ（ｏ_ｊ）は、オブジェクトモデルＭ_ｏｊの方向である。ｎ（ω_{ｉ＊（ｊ）}）は、全体モデルＭ_Ｗのうち、オブジェクトモデルＭ_ｏｊに最も近い壁の方向である。このため、数式３の右辺第２項は、仮想空間における全体モデルＭ_Ｗと、オブジェクトモデルＭ_ｏｊと、の方向的なずれ具合を示すことになる。方向的なずれ具合が小さいほど評価値Ｅ_ｏ，ω（Φ）が小さくなる。即ち、オブジェクトモデルＭ_ｏｊが近くの全体モデルＭ_Ｗと同じ方向を向いているほど、再現度が高くなる。

また、パラメータ決定部１０６は、下記の数式４により評価値Ｅ_ｏ，ｏを計算する。

数式４のＡは、あるオブジェクトモデルＭ_ｏｊを全体モデルＭ_Ｗの床面に正射影したときの領域ｂ（ｏ_ｊ）と、他の任意のオブジェクトモデルＭ_ｏｊを全体モデルＭ_Ｗの床面に正射影したときの領域ｂ（ｏ_ｋ）と、の重なり具合を示すものである。このため、数式４の右辺は、オブジェクトモデルＭ_ｏｊ同士の重なり部分が大きいほど高くなり、重なり部分が小さいほど小さくなる。即ち、オブジェクトモデルＭ_ｏｊが近くのオブジェクトモデルＭ_ｏｊと重なっていない場合に再現度が高くなる。

パラメータ決定部１０６は、評価値Ｅ_ｏ，ωと評価値Ｅ_ｏ，ｏとに基づいて、モデルパラメータΦを決定する。例えば、パラメータ決定部１０６は、評価値Ｅ_ｏ，ω及び評価値Ｅ_ｏ，ｏがともに閾値未満となるように、モデルパラメータΦを決定する。

例えば、レイアウト推定処理と同様に、パラメータ決定部１０６は、サイズパラメータλの候補値、位置パラメータｐ_ｊの候補値、及び向きパラメータθ_ｊの候補値を選出する。パラメータ決定部１０６は、これら候補値の中から、評価値Ｅ_ｏ，ω及び評価値Ｅ_ｏ，ｏが最小となる候補値の組み合わせを特定する。パラメータ決定部１０６は、当該特定した候補値に基づいて、サイズパラメータλ、位置パラメータｐ_ｊ、及び向きパラメータθ_ｊを更新する。

図１９及び図２０は、モデルパラメータΦが調整された場合の仮想空間の様子を示す図である。図１９に示すように、モデルパラメータΦが調整されると、仮想空間の状態が現実空間の状態に近づく。例えば、図２０に示すように、オブジェクトモデルＭ_ｏｊに対して全体モデルＭ_Ｗが小さすぎる場合には、サイズパラメータλを大きくすることで評価値Ｅ_Ｓや評価値Ｅ_Ｏが小さくなり、実際の部屋Ｓのサイズに近づく。即ち、全体モデルＭ_Ｗ及びオブジェクトモデルＭ_ｏｊの相対的なサイズの関係と、部屋Ｓ及びオブジェクトＯの相対的なサイズの関係と、が似るように、サイズパラメータλが決定されることになる。

また、オブジェクトモデルＭ_ｏｊが全体モデルＭ_Ｗから遠かったり壁と平行でなかったりした場合やオブジェクトモデルＭ_ｏｊどうしが重なっていたりすると評価値Ｅ_Ｏが大きくなってしまうが、全体モデルＭ_Ｗの近くに移動するように位置パラメータｐ_ｊを変更したり、全体モデルＭ_Ｗと平行になるように向きパラメータθ_ｊを変更したり、オブジェクトモデルＭ_ｏｊが互いに重ならないように位置パラメータｐ_ｊ及び向きパラメータθ_ｊを調整したりすることで、実際の部屋Ｓ内のオブジェクトＯの配置に近づく。即ち、全体モデルＭ_Ｗ及びオブジェクトモデルＭ_ｏｊの相対的な位置及び向きと、部屋Ｓ及びオブジェクトＯの相対的な位置及び向きと、が似るように、位置パラメータｐ_ｊ及び向きパラメータθ_ｊが決定されることになる。

上記のように、パラメータ決定部１０６は、撮影画像Ｉと仮想画像Ｄとの比較結果に基づいて、全体モデルＭ_Ｗのサイズを示すサイズパラメータλを決定する。例えば、サイズ決定部１０５は、撮影画像Ｉにおいて壁Ｗが撮影された画素と、仮想画像Ｄにおいて全体モデルＭ_Ｗが描かれた画素と、の比較結果に基づいて、サイズパラメータλを決定する。例えば、パラメータ決定部１０６は、撮影画像Ｉにおいて壁Ｗが撮影された画素と、仮想画像Ｄにおいて全体モデルＭ_Ｗが描かれた画素と、の一致度が閾値以上となるように、サイズパラメータλを決定する。ここでの一致度とは、上記説明した方向マップの一致度であってもよいし、画像の中での大きさの一致度であってもよい。

なお、パラメータ決定部１０６は、撮影画像ＩにおいてオブジェクトＯが撮影された画素と、仮想画像ＤにおいてオブジェクトモデルＭ_ｏｊが描かれた画素と、の比較結果に基づいて、サイズパラメータλを決定するようにしてもよい。この場合、パラメータ決定部１０６は、撮影画像ＩにおいてオブジェクトＯが撮影された画素と、仮想画像ＤにおいてオブジェクトモデルＭ_ｏｊが描かれた画素と、の一致度が閾値以上となるように、サイズパラメータλを決定する。

また、パラメータ決定部１０６は、壁ＷのうちオブジェクトＯで隠れた部分以外の部分（即ち、壁ＷのうちオブジェクトＯに隠れずに撮影画像Ｉに撮影された部分）と、全体モデルＭ_ＷのうちオブジェクトモデルＭ_ｏｊで隠れた部分以外の部分（即ち、全体モデルＭ_ＷのうちオブジェクトモデルＭ_ｏｊに隠れずに仮想画像Ｄに描かれた領域）と、の比較結果に基づいて、サイズパラメータλを決定する。即ち、パラメータ決定部１０６は、撮影画像ＩにおいてオブジェクトＯが撮影された領域と、仮想画像ＤにおいてオブジェクトモデルＭ_ｏｊが描かれた領域と、はサイズパラメータλを決定するにあたり比較対象から外して参照しないことになる。

また、パラメータ決定部１０６は、撮影画像Ｉと仮想画像Ｄとの比較結果に基づいて、オブジェクトモデルＭ_ｏｊの位置を示す位置パラメータｐ_ｊを決定する。例えば、パラメータ決定部１０６は、撮影画像ＩにおいてオブジェクトＯが撮影された画素と、仮想画像ＤにおいてオブジェクトモデルＭ_ｏｊが描かれた画素と、の比較結果に基づいて、位置パラメータｐ_ｊを決定する。

また、パラメータ決定部１０６は、撮影画像Ｉの各画素に撮影されたオブジェクト（ここでは、壁ＷとオブジェクトＯの両方を意味する。）の向きと、仮想画像Ｄの各画素に描かれたモデル（ここでは、全体モデルＭ_ＷとオブジェクトモデルＭ_ｏｊの両方を意味する。）の向きと、の比較結果に基づいて、サイズパラメータλを決定する。即ち、パラメータ決定部１０６は、これらの向きの一致度が閾値以上となるように、サイズパラメータλを決定する。

なお、上記では、評価値Ｅ_Ｓに基づいてサイズパラメータλと位置パラメータｐ_ｊが決定される場合を説明したが、評価値Ｅ_Ｓに基づいて向きパラメータθ_ｊが決定されてもよい。即ち、パラメータ決定部１０６は、撮影画像Ｉと仮想画像Ｄとの比較結果に基づいて、オブジェクトモデルＭ_ｏｊの向きを示す向きパラメータθ_ｊを決定するようにしてもよい。例えば、パラメータ決定部１０６は、撮影画像ＩにおいてオブジェクトＯが撮影された画素と、仮想画像ＤにおいてオブジェクトモデルＭ_ｏｊが描かれた画素と、の比較結果に基づいて、向きパラメータθ_ｊを決定する。

また、パラメータ決定部１０６は、オブジェクトモデルＭ_ｏｊと全体モデルＭ_Ｗとの仮想空間における相対的な関係に基づいて、サイズパラメータλを決定する。即ち、パラメータ決定部１０６は、オブジェクトモデルＭ_ｏｊと全体モデルＭ_Ｗとの仮想空間における相対的な関係と、オブジェクトＯと壁Ｗとの現実空間における相対的な関係と、の一致度が閾値以上となるように、サイズパラメータλを決定する。

また、パラメータ決定部１０６は、オブジェクトモデルＭ_ｏｊと全体モデルＭ_Ｗとの仮想空間における相対的な関係に基づいて、オブジェクトモデルＭ_ｏｊの位置を示す位置パラメータｐ_ｊを決定する。即ち、パラメータ決定部１０６は、オブジェクトモデルＭ_ｏｊと全体モデルＭ_Ｗとの仮想空間における相対的な関係と、オブジェクトＯと壁Ｗとの現実空間における相対的な関係と、の一致度が閾値以上となるように、位置パラメータｐ_ｊを決定する。ここでの一致度とは、上記説明した方向マップの一致度であってもよいし、画像の中での大きさの一致度であってもよい。

また、パラメータ決定部１０６は、オブジェクトモデルＭ_ｏｊと全体モデルＭ_Ｗとの仮想空間における相対的な関係に基づいて、オブジェクトモデルＭ_ｏｊの向きを示す向きパラメータθ_ｊを決定する。即ち、パラメータ決定部１０６は、オブジェクトモデルＭ_ｏｊと全体モデルＭ_Ｗとの仮想空間における相対的な関係と、オブジェクトＯと壁Ｗとの現実空間における相対的な関係と、の一致度が閾値以上となるように、向きパラメータθ_ｊを決定する。ここでの一致度とは、上記説明した方向マップの一致度であってもよいし、画像の中での大きさの一致度であってもよい。

また、パラメータ決定部１０６は、複数のオブジェクトＯの各々の仮想空間における相対的な関係に基づいて、サイズパラメータλを決定する。例えば、パラメータ決定部１０６は、複数のオブジェクトＯの各々の仮想空間における相対的な関係が所定の関係を見たすように、サイズパラメータλを決定する。所定の関係とは、オブジェクトモデルＭ_ｏｊどうしが重ならない関係であり、サイズパラメータλが小さすぎると、オブジェクトモデルＭ_ｏｊを配置する場所がなくなり、オブジェクトモデルＭ_ｏｊが重なってしまうので、オブジェクトモデルＭ_ｏｊが重ならない程度に十分な大きさのサイズパラメータλが決定される。

また、パラメータ決定部１０６は、複数の全体モデルＭ_Ｗの各々の仮想空間における相対的な関係に基づいて、複数の全体モデルＭ_Ｗの各々の位置を示す位置パラメータｐ_ｊを決定する。例えば、パラメータ決定部１０６は、複数のオブジェクトＯの各々の仮想空間における相対的な関係が所定の関係を見たすように、位置パラメータｐ_ｊを決定する。所定の関係とは、オブジェクトモデルＭ_ｏｊどうしが重ならない関係であり、オブジェクトモデルＭ_ｏｊが重ならない位置又は向きとなるように、位置パラメータｐ_ｊが決定される。

また、パラメータ決定部１０６は、複数の全体モデルＭ_Ｗの各々の仮想空間における相対的な関係に基づいて、複数の全体モデルＭ_Ｗの各々の向きを示す向きパラメータθ_ｊを決定する。例えば、パラメータ決定部１０６は、複数のオブジェクトＯの各々の仮想空間における相対的な関係が所定の関係を見たすように、向きパラメータθ_ｊを決定する。所定の関係とは、オブジェクトモデルＭ_ｏｊどうしが重ならない関係であり、オブジェクトモデルＭ_ｏｊが重ならない位置又は向きとなるように、向きパラメータθ_ｊが決定される。

［２−３．本実施形態において実行される処理］
図２１は、３次元モデル生成システム１において実行される処理の一例を示すフロー図である。図２１に示す処理は、制御部１１が、記憶部１２に記憶されたプログラムに従って動作することによって実行される。下記に説明する処理は、図１２に示す機能ブロックにより実行される処理の一例である。なお、実施形態１と同様の方法により全体モデルＭ_Ｗが生成される場合には、図１０の処理の後に図２１に示す処理が実行されるようにしてよい。

図２１に示すように、まず、制御部１１は、オブジェクトモデルデータベースに基づいて、撮影画像Ｉに撮影されたオブジェクトＯを検出する（Ｓ１０）。Ｓ１０においては、先述したように、制御部１１は、テンプレート画像とのテンプレートマッチングにより、撮影画像ＩにおけるオブジェクトＯの有無を検出することになる。

制御部１１は、初期値のサイズパラメータλに基づいて、全体モデルＭ_Ｗを仮想空間に配置し（Ｓ１１）、当該全体モデルＭ_Ｗの上に、初期値の位置パラメータｐ_ｊ及び向きパラメータθ_ｊに基づいて、Ｓ１０で検出したオブジェクトのオブジェクトモデルＭ_ｏｊを配置する（Ｓ１２）。Ｓ１１においては、制御部１１は、初期値のサイズパラメータλが示すサイズの全体モデルＭ_Ｗを仮想空間に配置し、撮影画像Ｉに基づいて仮想視点ＶＰを配置する。Ｓ１２においては、制御部１１は、撮影画像ＩにおいてオブジェクトＯが撮影された位置を示す２次元座標を３次元座標に変換して位置パラメータｐ_ｊの初期値とし、テンプレート画像に関連付けられた向きを向きパラメータθ_ｊの初期値とする。

制御部１１は、仮想カメラＶＰから仮想空間を見た様子を示す仮想画像Ｄを生成する（Ｓ１３）。なお、仮想カメラＶＰの画角などのパラメータは、カメラ２０に対応する値を示すように、予め記憶部１２に記憶されているものとする。Ｓ１３においては、制御部１１は、全体モデルＭ_Ｗ及びオブジェクトモデルＭ_ｏｊの頂点の３次元座標を２次元座標に変換することにより、仮想画像を生成する。

制御部１１は、撮影画像Ｉの方向マップと、仮想画像Ｄの方向マップと、に基づいてレイアウト推定処理を実行し、サイズパラメータλと位置パラメータｐ_ｊとを決定する（Ｓ１４）。Ｓ１４においては、制御部１１は、数式１及び２に基づいて評価値Ｅ_Ｓを計算し、評価値Ｅ_Ｓが最小となるサイズパラメータλと位置パラメータｐ_ｊを決定する。

制御部１１は、仮想空間の相対的な関係に基づいて、詳細決定処理を実行し、サイズパラメータλ、位置パラメータｐ_ｊ、及び向きパラメータθ_ｊを決定する（Ｓ１５）。Ｓ１５においては、制御部１１は、評価値Ｅ_Ｏを計算し、評価値Ｅ_Ｏが最小となるサイズパラメータλ、位置パラメータｐ_ｊ、及び向きパラメータθ_ｊを決定する。なお、評価値Ｅ_Ｓ，Ｅ_Ｏが十分に小さくなるまで、Ｓ１４とＳ１５の処理を繰り返してもよい。

実施形態２の３次元モデル生成システム１によれば、サイズの個体差の少ないオブジェクトＯに着目して、全体モデルＭ_ＷとオブジェクトモデルＭ_ｏｊとの相対的な関係からサイズパラメータλを調整するため、比較的簡易な処理によりサイズパラメータλを推定でき、部屋Ｓのサイズを推定する場合の撮影の手間を省きつつ、コンピュータの処理負荷を軽減することができる。

また、オブジェクトＯをマスクした撮影画像Ｉと、オブジェクトモデルＭ_ｏｊをマスクした仮想画像Ｄと、の比較結果に基づいてサイズパラメータλを推定することで、現実空間を推定するうえで信頼性の低い部分を排除したうえでサイズパラメータλを調整するので、サイズパラメータλの精度を上げることができる。更に、信頼性の低い部分に対する無駄な処理を実行しないので、コンピュータの処理負荷を軽減することができる。

また、撮影画像Ｉに基づいて定まる向きのオブジェクトモデルＭ_ｏｊを配置することによって、仮想空間にオブジェクトモデルＭ_ｏｊを配置したときの向きの精度が向上する部屋Ｓ内の様子の再現度を高めることができる。例えば、オブジェクトモデルＭ_ｏｊの初期の向きを、実際のオブジェクトＯの向きに大まかに合わせることによって、その後のサイズパラメータλや位置パラメータｐ_ｊの調整を簡単にすることができるので、その後の処理におけるコンピュータの処理負荷を軽減することもできる。

また、撮影画像Ｉの方向マップと、仮想画像Ｄの方向マップと、を利用して位置パラメータｐ_ｊやサイズパラメータλを推定することで、位置パラメータｐ_ｊやサイズパラメータλの精度を上げることができる。また、先述したように、これら方向マップを利用して向きパラメータθ_ｊを推定してもよく、この場合は、向きパラメータθ_ｊの精度を上げることができる。

また、サイズの個体差の少ないオブジェクトＯに着目して、全体モデルＭ_ＷとオブジェクトモデルＭ_ｏｊとの相対的な関係からサイズパラメータλ、位置パラメータｐ_ｊ、及び向きパラメータθ_ｊを調整するため、比較的簡易な処理によりこれらを推定でき、部屋ＳのサイズやオブジェクトＯの位置及び向きを推定する場合の撮影の手間を省きつつ、コンピュータの処理負荷を軽減することができる。

また、評価値Ｅ_ｏ，ωに基づいてサイズパラメータλ、位置パラメータｐ_ｊ、及び向きパラメータθ_ｊを調整することで、現実世界における壁ＷとオブジェクトＯとの関係の経験則を反映することができるので、サイズパラメータλ、位置パラメータｐ_ｊ、及び向きパラメータθ_ｊの精度を高めることができる。

また、評価値Ｅ_ｏ，ｏに基づいてサイズパラメータλ、位置パラメータｐ_ｊ、及び向きパラメータθ_ｊを調整することで、現実世界におけるオブジェクトＯどうしの関係の経験則を反映することができるので、サイズパラメータλ、位置パラメータｐ_ｊ、及び向きパラメータθ_ｊの精度を高めることができる。

また、オブジェクトモデルＭ_ｏｊは、奥行きを有する立体形状であるので、より再現度の高い仮想空間を生成することができる。

また、部屋Ｓの中に配置された家具であるオブジェクトＯをもとにサイズパラメータλを決定するので、現実世界の部屋Ｓを再現することができる。

［３．変形例］
なお、本発明は、以上に説明した実施の形態に限定されるものではない。本発明の趣旨を逸脱しない範囲で、適宜変更可能である。

［３−１．実施形態１に関する変形例］
例えば、実施形態１では、ある１つの部屋Ｓの全体モデルＭ_Ｗを生成する場合を説明したが、あるフロアに複数の部屋Ｓが配置されている場合、部屋Ｓごとに全体モデルＭ_Ｗが生成し、これら複数の全体モデルＭ_Ｗが並べられることにより、仮想空間においてフロア全体を再現するようにしてもよい。

図２２は、実施形態１に関する変形例の機能ブロック図である。図２２に示すように、本変形例では、実施形態１で説明した機能に加えて、フロアモデル生成部が実現される。フロアモデル生成部１０７は、制御部１１を主として実現される。

本変形例のデータ記憶部１００は、フロア内の部屋Ｓごとに撮影画像データを記憶しているものとする。即ち、データ記憶部１００は、あるフロアにおける複数の部屋Ｓの各々の撮影画像データを記憶する。また、データ記憶部１００は、フロア内における部屋Ｓの配置を示すデータを記憶してもよい。即ち、データ記憶部１００は、部屋Ｓの位置関係を示すデータを記憶してもよい。

画像取得部１０１は、同じフロアにおける複数の部屋Ｓの各々で撮影された複数の画像Ｉ_ｋを取得することになる。画像Ｉ_ｋを取得する方法は、実施形態１と同様であってよく、例えば、画像取得部１０１は、ある部屋Ｓの撮影画像Ｉを分割することによって複数の画像Ｉ_ｋを取得してよい。

部分モデル生成部１０２は、各部屋Ｓに対応する部分モデルｍ_ｋを生成する。全体モデル生成部１０３は、各部屋Ｓに対応する全体モデルＭ_Ｗを生成する。部分モデルｍ_ｋ及び全体モデルＭ_Ｗの生成方法は、実施形態１と同様であってよい。

フロアモデル生成部１０７は、全体モデル生成部１０３が生成した複数の全体モデルＭ_Ｗに基づいて、フロアの全体的な３次元モデルを生成する。フロアモデル生成部１０７は、仮想空間において、所定の配置となるように複数の全体モデルＭ_Ｗを並べる。ここでは、フロアモデル生成部１０７は、フロアにおける部屋Ｓの配置を示すデータに基づいて、各全体モデルＭ_Ｗが同じ配置となるように仮想空間に配置することでフロア全体の３次元モデルを生成することになる。

上記変形例によれば、フロア全体を示す３次元モデルを比較的簡易な処理により生成することができる。

なお、実施形態１では、画像Ｉ_ｋの方向マップを利用して部分モデルｍ_ｋを生成する場合を説明したが、画像Ｉ_ｋから部分モデルｍ_ｋを生成する方法自体は、公知の種々の手法を適用可能である。例えば、部分モデル生成部１０２は、物体の幾何学的な特徴量を示すジオメトリックコンテクストを利用して部分モデルｍ_ｋを生成してよい。ジオメトリックコンテクストは、画像Ｉ_ｋの下側（床付近）の精度が高いことが知られているので、画像Ｉ_ｋの下側はジオメトリックコンテクストを利用し、上側は方向マップを利用してもよい。このように複数のモデル生成方法を組み合せることによって部分モデルｍ_ｋを生成してもよい。

また例えば、各画像Ｉ_ｋの撮影範囲が重複している場合を説明したが、必ずしも画像Ｉ_ｋどうしの撮影範囲は重複していなくてもよい。例えば、画像取得部１０１は、互いに重複しないように撮影画像Ｉを所定枚数に分割することによって、画像Ｉ_ｋを取得してもよい。また例えば、画像取得部１０１は、画像Ｉ_ｋどうしに隙間が空くように、撮影画像Ｉから画像Ｉ_ｋを取得してもよい。更に、各画像Ｉ_ｋのサイズや解像度などは、互いに異なっていてもよい。

また例えば、向きパラメータθ_ｊの初期値を推定するために、オブジェクトモデルデータベースに種々の向きのオブジェクトモデルＭ_ｏｊが格納されている場合を説明したが、インターネット上のサーバコンピュータが配布している３次元モデルを利用して、初期状態のオブジェクトモデルＭ_ｏｊを配置してもよい。その際に、条件付き確率分布を利用することで撮影画像ＩのオブジェクトＯと似た向きのオブジェクトモデルＭ_ｏｊを探し、その向きを向きパラメータθ_ｊの初期値としてもよい。

また例えば、各画像Ｉ_Ｋの撮影画像Ｉ内での位置に基づいて、各部分モデルｍ_ｋを配置する位置及び向きが決定される場合を説明したが、画像Ｉ_ｋは、１枚の撮影画像Ｉから分割されたものでなくてもよいので、この場合は、他の方法によって、部分モデルｍ_ｋを配置する位置及び向きが決定されてもよい。例えば、画像Ｉ_ｋごとに撮影方向を関連付けておき、当該撮影方向に基づいて部分モデルｍ_ｋの位置及び向きが決定されるようにしてもよい。この場合、撮影方向は、画像Ｉ_ｋの取得順（撮影順）に基づいて決定されてもよいし、ユーザが指定してもよい。

［３−２．実施形態２に関する変形例］
また例えば、オブジェクトＯは、水平面に置かれているものに限られず、垂直面に置かれているものでもよい。実施形態２において、ベッドを示すオブジェクトモデルＭ_ｏｊは、床上にしか配置されず、壁掛け時計を示すオブジェクトモデルＭ_ｏｊは、壁上にしか配置されないので、オブジェクトＯに応じて位置パラメータｐ_ｊの移動範囲を制限してもよい。

本変形例のパラメータ決定部１０６は、撮影画像Ｉに撮影されたオブジェクトＯに基づいて、位置パラメータｐ_ｊの変更可能範囲を決定するようにしてもよい。例えば、オブジェクトＯと、変更可能範囲と、の関係は予めデータ記憶部１００に記憶されているものとする。変更可能範囲は、オブジェクトモデルＭ_ｏｊが移動可能な範囲であり、位置パラメータｐ_ｊの候補となる範囲である。

例えば、水平面上に配置されるオブジェクトＯであれば、仮想空間の水平面上の領域が変更可能範囲となり、垂直面状に配置されるオブジェクトＯであれば、仮想空間の垂直面上の領域が変更可能範囲となる。パラメータ決定部１０６は、オブジェクトモデルＭ_ｏｊの位置パラメータｐ_ｊが、当該オブジェクトモデルＭ_ｏｊが示すオブジェクトＯに関連付けられた変更可能範囲内に収まるように、位置パラメータｐ_ｊを決定する。

上記変形例によれば、オブジェクトＯの性質に応じた範囲内でオブジェクトモデルＭ_ｏｊを移動させることができる。このため、オブジェクトモデルＭ_ｏｊが現実ではありえないような不自然な位置に配置されてしまうことを防止することができる。

なお、実施形態２では、第１オブジェクトの一例として家具などのオブジェクトＯを説明し、第２オブジェクトの一例としてその奥にある壁Ｗを説明したが、第１オブジェクトと第２オブジェクトとの位置関係は任意であってよい。第１オブジェクトの手前に第２オブジェクトが配置されていてもよいし、第１オブジェクトの隣に第２オブジェクトが配置されていてもよい。即ち、サイズが既知の第１オブジェクトと、サイズを推定したい第２オブジェクトと、が同じ撮影画像Ｉに撮影されているようにすればよい。

［３−３．その他変形例］
また例えば、全体モデルＭ_Ｗは、屋外の駐車場などの壁を示してもよいし、オブジェクトモデルＭ_ｏｊは、当該駐車場の車やバイクなどを示してもよい。全体モデルＭ_Ｗ及びオブジェクトモデルＭ_ｏｊは、撮影画像Ｉから検出可能な種類のオブジェクトであればよく、壁ＷやオブジェクトＯに限られない。

また例えば、３次元モデル生成システム１は、３次元モデル生成装置１０だけで構成されてもよいし、他のコンピュータを含んでいてもよい。例えば、３次元モデル生成システム１は、３次元モデル生成装置１０とサーバコンピュータとを含んでいてもよい。この場合、オブジェクトモデルデータベースは、サーバコンピュータに記憶されていてもよい。

Claims (14)

1. 複数の面で囲われた空間において、互いに異なる方向が撮影された複数の画像を取得する画像取得手段と、
   前記画像ごとに、当該画像に撮影された前記複数の面の一部を示す部分モデルを生成する部分モデル生成手段と、
   前記部分モデル生成手段により生成された複数の部分モデルに基づいて、前記複数の面全体を示す全体モデルを生成する全体モデル生成手段と、
   を含み、
   前記全体モデル生成手段は、各画像の撮影方向に関する画像情報を取得し、各画像の前記画像情報に基づいて、当該画像に対応する部分モデルを配置する位置及び向きを決定し、前記全体モデルを生成する、
   ことを特徴とする３次元モデル生成システム。
2. 水平方向の３６０°が撮影された１枚の画像に基づいて、複数の面で囲われた空間において、互いに異なる方向が撮影された複数の画像を取得する画像取得手段と、
   前記画像ごとに、当該画像に撮影された前記複数の面の一部を示す部分モデルを生成する部分モデル生成手段と、
   前記部分モデル生成手段により生成された複数の部分モデルに基づいて、前記複数の面全体を示す全体モデルを生成する全体モデル生成手段と、
   を含むことを特徴とする３次元モデル生成システム。
3. 複数の面で囲われた部屋の内部において、互いに異なる方向が撮影された複数の画像を取得する画像取得手段と、
   前記画像ごとに、当該画像に撮影された前記部屋の一部である前記複数の面の一部を示す部分モデルを生成する部分モデル生成手段と、
   前記部分モデル生成手段により生成された複数の部分モデルに基づいて、前記部屋全体である前記複数の面全体を示す全体モデルを生成する全体モデル生成手段と、
   を含み、
   前記画像取得手段は、同じフロアにおける複数の部屋の各々で撮影された前記複数の画像を取得し、
   前記部分モデル生成手段は、各部屋に対応する前記部分モデルを生成し、
   前記全体モデル生成手段は、各部屋に対応する前記全体モデルを生成し、
   前記全体モデル生成手段が生成した複数の全体モデルに基づいて、フロアの全体的な３次元モデルを生成するフロアモデル生成手段を更に含む、
   ことを特徴とする３次元モデル生成システム。
4. 各画像は、少なくとも１つの他の前記画像と撮影範囲の一部が重複し、
   前記部分モデル生成手段は、少なくとも１つの他の前記部分モデルと表面の一部が重複する前記部分モデルを生成し、
   前記全体モデル生成手段は、各部分モデルの重複部分の位置を合わせて前記全体モデルを生成する、
   ことを特徴とする請求項１〜３の何れかに記載の３次元モデル生成システム。
5. 前記画像取得手段は、前記空間が撮影された１枚の画像に基づいて、前記複数の画像を取得し、
   前記画像情報は、前記１枚の画像における各画像の位置であり、
   前記全体モデル生成手段は、前記１枚の画像における各画像の位置に基づいて、当該画像に対応する部分モデルを配置する位置及び向きを決定する、
   ことを特徴とする請求項１に記載の３次元モデル生成システム。
6. 前記画像取得手段は、前記空間内の１点から互いに異なる方向が撮影された前記複数の画像を取得する、
   ことを特徴とする請求項１又は２又は５に記載の３次元モデル生成システム。
7. 前記画像取得手段は、部屋の内部で撮影された前記複数の画像を取得し、
   前記部分モデル生成手段は、前記部屋の一部を示す前記部分モデルを生成し、
   前記全体モデル生成手段は、前記部屋全体を示す前記全体モデルを生成する、
   ことを特徴とする請求項１又は２に記載の３次元モデル生成システム。
8. 前記画像取得手段は、互いに直交する又は互いに８０°以上で交わる６つ以上の側面を有する前記部屋の前記複数の画像を取得し、
   前記部分モデル生成手段は、前記６つ以上の側面の一部を示す前記部分モデルを生成し、
   前記全体モデル生成手段は、前記６つ以上の側面全体を示す前記全体モデルを生成する、
   請求項３又は７に記載の３次元モデル生成システム。
9. 複数の面で囲われた空間において、互いに異なる方向が撮影された複数の画像を取得する画像取得ステップと、
   前記画像ごとに、当該画像に撮影された前記複数の面の一部を示す部分モデルを生成する部分モデル生成ステップと、
   前記部分モデル生成ステップにより生成された複数の部分モデルに基づいて、前記複数の面全体を示す全体モデルを生成する全体モデル生成ステップと、
   を含み、
   前記全体モデル生成ステップは、各画像の撮影方向に関する画像情報を取得し、各画像の前記画像情報に基づいて、当該画像に対応する部分モデルを配置する位置及び向きを決定し、前記全体モデルを生成する、
   ことを特徴とする３次元モデル生成方法。
10. 水平方向の３６０°が撮影された１枚の画像に基づいて、複数の面で囲われた空間において、互いに異なる方向が撮影された複数の画像を取得する画像取得ステップと、
    前記画像ごとに、当該画像に撮影された前記複数の面の一部を示す部分モデルを生成する部分モデル生成ステップと、
    前記部分モデル生成ステップにより生成された複数の部分モデルに基づいて、前記複数の面全体を示す全体モデルを生成する全体モデル生成ステップと、
    を含むことを特徴とする３次元モデル生成方法。
11. 複数の面で囲われた部屋の内部において、互いに異なる方向が撮影された複数の画像を取得する画像取得ステップと、
    前記画像ごとに、当該画像に撮影された前記部屋の一部である前記複数の面の一部を示す部分モデルを生成する部分モデル生成ステップと、
    前記部分モデル生成ステップにより生成された複数の部分モデルに基づいて、前記部屋全体である前記複数の面全体を示す全体モデルを生成する全体モデル生成ステップと、
    を含み、
    前記画像取得ステップは、同じフロアにおける複数の部屋の各々で撮影された前記複数の画像を取得し、
    前記部分モデル生成ステップは、各部屋に対応する前記部分モデルを生成し、
    前記全体モデル生成ステップは、各部屋に対応する前記全体モデルを生成し、
    前記全体モデル生成ステップにより生成された複数の全体モデルに基づいて、フロアの全体的な３次元モデルを生成するフロアモデル生成ステップを更に含む、
    ことを特徴とする３次元モデル生成方法。
12. 複数の面で囲われた空間において、互いに異なる方向が撮影された複数の画像を取得する画像取得手段、
    前記画像ごとに、当該画像に撮影された前記複数の面の一部を示す部分モデルを生成する部分モデル生成手段、
    前記部分モデル生成手段により生成された複数の部分モデルに基づいて、前記複数の面全体を示す全体モデルを生成する全体モデル生成手段、
    としてコンピュータを機能させるためのプログラムであって、
    前記全体モデル生成手段は、各画像の撮影方向に関する画像情報を取得し、各画像の前記画像情報に基づいて、当該画像に対応する部分モデルを配置する位置及び向きを決定し、前記全体モデルを生成する、
    ことを特徴とするプログラム。
13. 水平方向の３６０°が撮影された１枚の画像に基づいて、複数の面で囲われた空間において、互いに異なる方向が撮影された複数の画像を取得する画像取得手段、
    前記画像ごとに、当該画像に撮影された前記複数の面の一部を示す部分モデルを生成する部分モデル生成手段、
    前記部分モデル生成手段により生成された複数の部分モデルに基づいて、前記複数の面全体を示す全体モデルを生成する全体モデル生成手段、
    としてコンピュータを機能させるためのプログラム。
14. 複数の面で囲われた部屋の内部において、互いに異なる方向が撮影された複数の画像を取得する画像取得手段、
    前記画像ごとに、当該画像に撮影された前記部屋の一部である前記複数の面の一部を示す部分モデルを生成する部分モデル生成手段、
    前記部分モデル生成手段により生成された複数の部分モデルに基づいて、前記部屋全体である前記複数の面全体を示す全体モデルを生成する全体モデル生成手段、
    としてコンピュータを機能させるためのプログラムであって、
    前記画像取得手段は、同じフロアにおける複数の部屋の各々で撮影された前記複数の画像を取得し、
    前記部分モデル生成手段は、各部屋に対応する前記部分モデルを生成し、
    前記全体モデル生成手段は、各部屋に対応する前記全体モデルを生成し、
    前記コンピュータを、前記全体モデル生成手段が生成した複数の全体モデルに基づいて、フロアの全体的な３次元モデルを生成するフロアモデル生成手段、
    として更に機能させるためのプログラム。

Images