JP4035978B2 - ３次元形状モデルの評価方法および生成方法並びに装置 - Google Patents
３次元形状モデルの評価方法および生成方法並びに装置 Download PDFInfo
- Publication number
- JP4035978B2 JP4035978B2 JP2001309797A JP2001309797A JP4035978B2 JP 4035978 B2 JP4035978 B2 JP 4035978B2 JP 2001309797 A JP2001309797 A JP 2001309797A JP 2001309797 A JP2001309797 A JP 2001309797A JP 4035978 B2 JP4035978 B2 JP 4035978B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional shape
- shape model
- point
- pixel
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
- G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Image Generation (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、対象物についての互いに視点の異なる複数の撮影画像を用いて３次元形状モデルを評価する方法および装置、３次元形状モデルの生成方法および装置、並びにコンピュータプログラムに関する。
【０００２】
【従来の技術】
近年において、非接触型の３次元形状入力装置が、ＣＧや工業デザインの分野でしばしば用いられる。３次元形状入力装置は、レーザやパターン光を対象物（物体）に照射し、対象物の表面で反射した光をセンサで捉えることにより、対象物の３次元形状を密にサンプリングして入力する。３次元形状入力装置によって、対象物の現実の形状を仮想空間内に持ってくることができ、所望の３次元形状モデルを簡便に作成することが可能である。
【０００３】
上に述べた３次元形状入力装置は、対象物の表面における光の乱反射特性を利用している。そのため、頭部の黒髪のように表面反射率の低いもの、金属のように表面が鏡面反射をおこすもの、ガラスのように透明または半透明のものなどは、形状が正しく入力できないか、 またはデータが欠落することがある。また、レーザまたはパターン光の投光機が必要であるため、装置が高価である。
【０００４】
これに対して、対象物を複数台のカメラで同時に撮影し、または１台のカメラで順次撮影し、投光を行わずに多視点から撮像した画像を用いて３次元形状モデルを作成する方法がある。この方法によると、画像中のテクスチャの類似性により、画像間で対応する点を自動的に求める必要がある。この対応点検出は、対象物の表面のテクスチャ、形状、照明条件に大きく影響を受けるため、精度はあまりよくない。このため、精度を上げるためにユーザが対応点を指定するものもある。それでも、滑らかな形状で緩やかに変化するテクスチャまたは繰り返しパターンのテクスチャを持つ対象物などでは、対応点を正しく与えることが難しい。また、表面の反射率が低いもの、表面が鏡面反射をおこすもの、透明または半透明のものでは、３次元形状入力装置と同様の欠点がある。
【０００５】
対応点を与えることが難しい対象物に対しては、対象物の遮蔽輪郭から形状を推定するシルエット法（Shape from Silhouette 法）と呼称される手法が適用可能である。その中でも最もよく使用される方法の１つはVolume lntersection 法と呼称される。これは、図１１に示すように、すべての画像中のシルエット内に収まる３次元空間内の共通領域を求める。この共通領域をVisual Hull と呼ぶ。これを求める最も一般的な方法は、図１２に示すように、仮想３次元空間内に多数のボクセルＶＸと呼ばれる立方形状要素を配置する。これらボクセルＶＸのうち、すべての画像において対象物に対応する領域内に投影されるもののみを連結することによって、対象物の形状を再構成する。しかし、この方法では、対象物の表面のうちシルエットとしてどの画像にも表れない凹部は形状が正しく復元できない。
【０００６】
形状が正しく再現されないことの問題は、ディスプレイ上にレンダリング表示を行う際に顕著に現れる。つまり、形状が正しくない部分では、入力されたカラー画像を貼り合わせて生成されたテクスチャデータが、貼り合わせた部分でボケたり、段差や歪みが生じてしまうという問題である。換言すれば、テクスチャが複雑でない対象物の表面の部分では、貼り合わされたテクスチャの歪みなどは目立ち難く、形状の歪みはレンダリング表示された画像にあまり影響を及ぼさない、と言うことである。この観点から、Snowらは新しい試みとして、仮想空間内の格子点のうち、多視点から得られた画像の対応する画素間での画素値のばらつきの小さいサブセットを滑らかに繋いで連結する手法を提案している。しかし、その方法では、形状の精度は格子間の幅に依存する。精度を上げようと格子点を増やすと、データ量が多くなると同時に実行速度も急激に低下する。また、復元されたデータをレンダリングしたシルエットの形状は格子のエイリアシングのためぎざぎざとなってしまう。
【０００７】
【発明が解決しようとする課題】
上に述べたように、３次元形状モデルを生成する方法として、従来から種々の方法が提案されている。しかし、いずれの方法でも上に述べたような問題があり、高品質なレンダリングに適した３次元形状モデルを簡便に生成することはできなかった。
【０００８】
本発明は、上述の問題に鑑みてなされたもので、高品質なレンダリングに適した３次元形状モデルを簡便に生成することを可能とする３次元形状モデルの評価方法および生成方法並びに装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明に係る評価方法は、対象物についての互いに視点の異なる複数の撮影画像を準備しておき、３次元形状モデル上の点を前記撮影画像上に投影し、前記点に対応する前記各撮影画像上の画素を特定し、前記３次元形状モデル上のそれぞれの点について、各点に対応する前記撮影画像上の各画素の画素値のばらつきを評価する。
【００１０】
画素値のばらつきを評価するに際して、色のばらつきを評価する。３次元形状モデル上の各点において、それぞれの点に対応する前記撮影画像上の各画素の画素値のばらつきを表示する。
【００１１】
本発明に係る生成方法は、仮想空間内に初期状態の３次元形状モデルを配置するステップ、前記３次元形状モデル上の点を前記撮影画像上に投影し、前記点に対応する前記各撮影画像上の画素を特定するステップ、前記３次元形状モデル上のそれぞれの点について、各点に対応する前記撮影画像上の各画素の画素値のばらつきを評価するステップ、および、前記各画素の画素値のばらつきが小さくなるように前記３次元形状モデルを変形するステップを有する。
【００１２】
好ましくは、前記撮影画像によるシルエット内に収まる仮想空間内の共通領域に基づいて３次元形状モデルを生成し、生成した３次元形状モデルを初期状態の３次元形状モデルとして配置する。
【００１３】
また、前記３次元形状モデル上の各点に対応する前記撮影画像上の画素を特定するに際し、前記３次元形状モデルの他の部分で遮蔽されて前記撮影画像に投影されない場合、および撮影画像の外に投影される場合には、その視点の撮影画像については対応する画素がないとし、画素の画素値のばらつきの評価から除外する。
【００１４】
また、前記３次元形状モデル上の点に対応する前記撮影画像上の画素が対象物のシルエット内にない場合には、ペナルティーとして画素の画素値のばらつきを増加させる。
【００１５】
本発明に係る評価装置は、対象物についての互いに視点の異なる複数の撮影画像上に前記３次元形状モデル上の点を投影する手段と、前記点に対応する前記各撮影画像上の画素を特定する手段と、前記３次元形状モデル上のそれぞれの点について、各点に対応する前記撮影画像上の各画素の画素値のばらつきを評価する手段とを有する。
【００１６】
本発明に係る生成装置は、仮想空間内に初期状態の３次元形状モデルを配置する手段と、前記３次元形状モデル上の点を前記撮影画像上に投影し、前記点に対応する前記各撮影画像上の画素を特定する手段と、前記３次元形状モデル上のそれぞれの点について、各点に対応する前記撮影画像上の各画素の画素値のばらつきを評価する手段と、前記各画素の画素値のばらつきが小さくなるように前記３次元形状モデルを変形する手段と、を有してなる。
【００１７】
好ましくは、前記撮影画像による対象物のシルエットと前記３次元形状モデルとの適合度を評価する手段と、前記シルエットと前記３次元形状モデルとの適合度によって３次元形状モデルを変形させる手段とをさらに有する。
【００１８】
【発明の実施の形態】
図１は本実施形態に係る３次元形状モデルの生成装置１のブロック図、図２は対象物Ｑの撮影の様子を説明する図、図３は対象物Ｑの３次元モデルＭＬＳ上の点を画像ＦＴに投影する様子を説明する図、図４は画像ＦＴ上に投影された点ＰＴに対応する画素ＧＳを示す図、図５は画像ＦＴ上の各画素の画素値のばらつきを評価する様子を示す図である。
【００１９】
図１において、生成装置１は、装置本体１０、磁気ディスク装置１１、媒体ドライブ装置１２、ディスプレイ装置１３、キーボード１４、およびマウス１５などからなる。
【００２０】
装置本体１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ビデオＲＡＭ、入出力ポート、および各種コントローラなどからなる。ＲＡＭおよびＲＯＭなどに記憶されたプログラムをＣＰＵが実行することにより、以下に説明する種々の機能が実現される。
【００２１】
磁気ディスク装置１１には、ＯＳ（Operating System) 、３次元モデル（３次元形状モデル）ＭＬを生成しまたは評価するためのモデリングプログラムＰＲ、その他のプログラム、入力されまたは生成された３次元データ（３次元形状データ）ＤＴ，ＤＴＳ、画像（２次元画像データ）ＦＴ、生成された３次元モデルＭＬ、その他のデータなどが格納されている。これらのプログラムおよびデータは、適時、装置本体１０のＲＡＭにローディングされる。
【００２２】
なお、モデリングプログラムＰＲには、初期化処理、モデル配置処理、投影処理、画素特定処理、ばらつき評価処理、変形処理、マッピング処理、およびその他の処理のためのプログラムが含まれる。
【００２３】
媒体ドライブ装置１２は、ＣＤ−ＲＯＭ（ＣＤ）、フロッピィディスクＦＤ、光磁気ディスク、コンパクトフラッシュ（登録商標）などの半導体メモリＨＭ、その他の記録媒体にアクセスし、データまたはプログラムの読み書きを行う。記録媒体の種類に応じて適切なドライブ装置が用いられる。上に述べたモデリングプログラムＰＲは、これら記録媒体からインストールすることも可能である。３次元データＤＴおよび画像ＦＴなども記録媒体を介して入力することが可能である。
【００２４】
ディスプレイ装置１３の表示面ＨＧには、上に述べた種々のデータ、３次元データＤＴ、画像ＦＴ、モデリングプログラムＰＲによる処理過程の画像、生成された３次元モデルＭＬ、３次元モデル上の各点に対応する画像上の各画素の画素値のばらつき、その他のデータまたは画像が表示される。
【００２５】
キーボード１４およびマウス１５は、ディスプレイ装置１３に表示された画像ＦＴおよび３次元データＤＴに対して、ユーザが種々の指定を行うために用いられる他、装置本体１０に種々のデータを入力しまたは指令を与えるために用いられる。
【００２６】
装置本体１０には、対象物（被写体）Ｑである物体を種々の視線で撮影しまたは種々の視点から撮影して画像ＦＴを入力するためのデジタルカメラＤＣが接続される。デジタルカメラＤＣには、その位置および姿勢を検出して位置姿勢情報ＳＡを出力する位置姿勢センサＳＥ１が設けられている。位置姿勢情報ＳＡは、画像ＦＴとともにデジタルカメラＤＣ内に一旦記憶され、まとめて生成装置１に転送される。位置姿勢センサＳＥ１として、例えば加速度センサ付ジャイロセンサなどが用いられる。
【００２７】
図２において、対象物Ｑは、デジタルカメラＤＣによって、その周囲の視点ＶＰ１〜５から撮影される。これにより、画像ＦＴ１〜５が取得される。画像ＦＴ１〜５は、生成装置１の磁気ディスク装置１１に一旦格納される。
【００２８】
装置本体１０において、入力された画像ＦＴによるシルエット内に収まる仮想空間内の共通領域に基づいて、３次元データＤＴＳ１が生成される。具体的には、入力された各画像ＦＴから対象物Ｑの輪郭を切り出すことにより、シルエット画像ＦＳが生成され、このシルエット画像ＦＳに基づいて、シルエット法によって３次元データＤＴＳ１が生成される。
【００２９】
また、視差のある２枚の画像ＦＴに基づいて３次元再構成を行い、３次元データＤＴＳ２を生成することも可能である。生成された３次元データＤＴＳ１，ＤＴＳ２は、本発明における初期状態の３次元形状モデルＭＬＳとして用いることが可能である。
【００３０】
また、装置本体１０には、対象物を撮影してその３次元データＤＴＳ３を入力するための３次元入力装置（３次元計測装置）を接続することも可能である。そのような３次元入力装置は、例えば光切断法によって対象物Ｑの３次元データＤＴＳ３を非接触で計測する。また、３次元入力装置から、３次元データＤＴＳ３ではなく、３次元データＤＴＳ３を生成するための元となるデータを出力し、装置本体１０によって３次元データＤＴＳ３を演算によって求めてもよい。このような３次元データＤＴＳ３も、本発明における初期状態の３次元モデル（３次元形状モデル）ＭＬＳとして用いることが可能である。
【００３１】
図３に示すように、初期状態の３次元モデルＭＬＳは、装置本体１０のメモリ空間（仮想空間）ＶＳ１内に配置される。仮想空間ＶＳ１において、初期状態の３次元モデルＭＬＳは、高品質なレンダリングに適した３次元モデルであるか否か、または対象物についての正確な３次元モデルであるか否かが評価される。また、その評価結果がディスプレイ装置１３の表示面ＨＧに表示される。さらに、その評価結果に基づいて、３次元モデルＭＬＳが変形される。そして、変形された３次元モデルＭＬＳについて、再度、評価および変形が行われ、これが繰り返され、最終的な３次元モデルＭＬが生成される。
【００３２】
生成装置１は、パーソナルコンピュータまたはワークステーションなどを用いて構成することが可能である。上に述べたプログラムおよびデータは、ネットワークＮＷを介して受信して取得することも可能である。
【００３３】
次に、３次元モデルの評価方法および変形処理について説明する。
図３において、仮想空間ＶＳ１において、３次元モデルＭＬＳに対し、各画像ＦＴ１〜５はそれぞれが撮影された視点ＶＰ１〜５と一致するように配置される。この状態で、３次元モデルＭＬＳ上のサンプリングされた点ＰＴが、各画像ＦＴ１〜５上に投影される。
【００３４】
例えば、図４に示すように、３次元モデルＭＬＳ上の点ＰＴ１が、画像ＦＴ１，２に投影される。画像ＦＴ１，２において、それぞれ投影された点ＰＴ１を含む画素ＧＳ１１、ＧＳ２１が、互いに対応する画素として特定される。これが、３次元モデルＭＬＳ上の多数の点、例えば３次元モデルＭＬＳを構成する各構成点について行われる。
【００３５】
なお、画像ＦＴ上の点ＰＴに対応する画素ＧＳとして、２つ以上の画素ＧＳが特定される場合もある。そのような場合には、画素値として、それらの画素の画素値の平均または２乗平均などを用いればよい。また、投影すべき点ＰＴが３次元モデルＭＬＳの他の部分で遮蔽される場合には、その画像ＦＴについては対応する点つまり対応する画素ＧＳがないものと扱えばよい。
【００３６】
対応する画素ＧＳが特定されると、それらの画素ＧＳの画素値が取得される。画素値として、例えばその画素の濃度値が用いられる。画像ＦＴがカラーである場合には、三原色の各色の濃度値が用いられる。
【００３７】
取得された画素値について、それらのばらつきが求められる。ばらつきとして、例えば、画素値の差が求められ、さらにその差についての、絶対値、平均値、または２乗平均値などが求められる。それらが評価される。評価に際して、例えば、ばらつきの大きさが評価される。そして、ばらつきが最小となるように、３次元モデルＭＬＳが変形される。
【００３８】
なお、例えば、画像ＦＴがカラーであった場合に、カラーのばらつきを評価する。カラーのばらつきとして、三原色の各色の濃度値のばらつきを評価する。または、各画素ＧＳのカラーの色相を比較し、その相違の大きさを評価する。
【００３９】
図５において、対象物Ｑの表面ＳＦＱが破線で示され、対象物Ｑについての３次元モデルＭＬＳの表面ＳＦＭが実線で示されている。３次元モデルＭＬＳの表面ＳＦＭ上の１つの点ＰＴａに対応する各画像ＦＴ１，２上の画素ＧＳ１１、ＧＳ２１が特定され、それら各画素の濃度値ＧＳＴ１１，ＧＳＴ２１が取得される。
【００４０】
これら濃度値ＧＳＴ１１，ＧＳＴ２１がもし一致したとした場合には、３次元モデルＭＬＳの表面ＳＦＭ上の点ＰＴａは、対象物Ｑの表面上の点を正しく反映していると結論付けることができる。その理由は、２つの画像ＦＴ１，２は、対象物Ｑについての実際の表面を撮影したものであるため、表面上の１つの点に対応する画素の濃度値は、完全拡散反射面であると仮定すればほぼ一致するからである。
【００４１】
ところが、図５に示す場合には、対象物Ｑの表面ＳＦＱは凹部となっており、この凹部は３次元モデルＭＬＳに正しく反映されていない。この現象は、シルエット法または立体写真法などの手法を用いて対象物Ｑから３次元モデルＭＬＳを生成した場合にしばしば起こり得る。
【００４２】
そうすると、３次元モデルＭＬＳの表面ＳＦＭ上の点ＰＴａに対応する画素ＧＳ１１、ＧＳ２１は、実際には対象物Ｑの表面ＳＦＱ上における点ＰＴａ１，ＰＴａ２に対応する画素ということになる。しかし、点ＰＴａ１と点ＰＴａ２での表面反射率が異なる場合には、画素ＧＳ１１の濃度値ＧＳＴ１１と画素ＧＳ２１の濃度値ＧＳＴ２１も異なって現れるので、レンダリングの際に矛盾を発生し、レンダリング画像のボケや歪みの原因となる。なお、点ＰＴａ１と点ＰＴａ２での表面反射率が同じであれば、３次元モデルＭＬＳが、表面ＳＦＱを正しく反映していないにも係わらず、レンダリングの際に矛盾を発生しにくい。
【００４３】
これら、濃度値ＧＳＴ１１と濃度値ＧＳＴ２１とを比較することにより、３次元モデルＭＬＳの表面ＳＦＭと対象物Ｑの実際の表面ＳＦＱとの一致度合いを評価することができる。
【００４４】
したがって、対応する画素ＧＳの濃度値ＧＳＴの差により、レンダリングの際の矛盾の度合いを評価することができる。
ユーザが評価の程度を知る１つの手法として、３次元モデルＭＬＳをプレイ装置１３の表示面ＨＧに表示するとともに、表示された３次元モデルＭＬＳ上に、各点に対応する画素の濃度値ＧＳＴのばらつきを表示する。例えば、濃度値ＧＳＴの差に応じた濃度またはカラーの画像を表示する。または、濃度値ＧＳＴの差の値を、画像上に数値で表示する。また、ユーザが画面上で３次元モデルＭＬＳ上の任意の１点を指定したときに、その点に対応する画素のカラーの差をカラーヒストグラムなどによって表示する（図９参照）。
【００４５】
濃度値ＧＳＴ１１と濃度値ＧＳＴ２１とにばらつきがある場合に、そのばらつきが少なくなる方向に３次元モデルＭＬＳの表面ＳＦＭを変形する。
図５において、変形された表面ＳＦＭ２が鎖線で示されている。この表面ＳＦＭ２上の点ＰＴｂについて、上と同様に対応する画素ＧＳを求め、それらの濃度値を比較する。そして、そのばらつきが少なくなる方向に、再度、３次元モデルＭＬＳの表面ＳＦＭを変形する。これを繰り返すことによって、正確な３次元モデルＭＬが生成される。
【００４６】
上に述べたように、本実施形態では、対象物Ｑを異なる視点位置から撮像した画像に適合するように、つまり３次元モデルＭＬＳの各部が滑らかとなるように、拘束された曲面モデルまたはポリゴンメッシュモデルを変形する。その際に、３次元モデルＭＬＳ上の各点に投影される各画像ＦＴ上の対応点間のカラーなどのばらつきを調べ、カラーなどのばらつきが最小となるように変形する。これにより、任意位相の滑らかな３次元モデルＭＬが生成される。生成された３次元モデルＭＬに、カラー画像を貼り合わせ、テクスチャを張りつける。
【００４７】
これによって、通常の多視点画像から３次元モデルを生成する方法では難しかった、緩やかに変化するテクスチャまたは繰り返しパターンのテクスチャを持つ対象物Ｑに対しても、品質の高いテクスチャ付きの曲面モデルを安定的に生成することができる。
【００４８】
さらに、シルエットから対象物Ｑの３次元モデルを得る方法と組み合わせることにより、任意位相の対象物Ｑに対応可能となるとともに、シルエット形状を正確に表示可能となる。
【００４９】
なお、本実施形態では、カラーが均一である表面領域においては、表面形状が正しく復元されない場合も発生する。しかし、生成されるテクスチャ（カラー）は、正しい形状のものと同じかまたは同等のものとなるので、表示面ＨＧにレンダリング表示したときに目立たないという利点がある。
【００５０】
また、表示面ＨＧにカラーのばらつきを表示することにより、レンダリングの際の矛盾の生じ易い部分をユーザが容易に視認できる。また、デジタルカメラＤＣの位置が正しく校正されていない画像ＦＴを特定することができる。その結果、ユーザは、３次元モデルＭＬＳを修正し、またはカメラ位置を修正することを容易に行うことができる。
【００５１】
次に、生成装置１における３次元モデルＭＬの生成処理の全体について、フローチャートを参照して説明する。
図６は３次元モデルの生成処理を示すフローチャートである。
【００５２】
図６において、仮想空間ＶＳ１内に、初期状態の３次元モデルＭＬＳを配置する（＃１）。３次元モデルＭＬＳ上の点を画像ＦＴ上に投影し、点に対応する各画像ＦＴ上の画素ＧＳを特定する（＃２）。３次元モデルＭＬＳ上のそれぞれの点について、各点に対応する画像ＦＴ上の各画素ＧＳの画素値のばらつきを評価する（＃３）。各画素ＧＳの画素値のばらつきが最小となるように３次元モデルＭＬＳを変形する（＃４）。ステップ＃２以降を繰り返し、ばらつきが所定よりも小さくなったと評価されると終了する（＃５）。
【００５３】
さらに詳しく説明する。
図７は３次元モデルＭＬＳとシルエット画像による視線との関係を説明する図、図８はシルエット画像上の距離を示す図、図９は３次元モデル上に表示されたカラーヒストグラムの例を示す図、図１０は３次元モデルの生成処理を示すフローチャートである。
【００５４】
まず、デジタルカメラＤＣによって、対象物Ｑを複数の視点位置から撮影し、得られたカラーの画像ＦＴをカメラ内の記憶部に記憶する（＃１１）。その際に、各画像ＦＴを撮影したときのデジタルカメラＤＣの位置および姿勢についての情報（位置姿勢情報ＳＡ）を、デジタルカメラＤＣに取り付けられた位置姿勢センサＳＥ１により取得し、絞り、焦点距離、撮影角などの光学ユニット制御信号とともにカメラ内の記憶部に記憶する。
【００５５】
それぞれの視点位置で得られた画像ＦＴ、位置姿勢情報ＳＡ、および光学ユニット制御信号をセットにして、生成装置１に転送する（＃１２）。生成装置１において、入力されたそれらの情報および信号は、磁気ディスク装置１１に一旦格納され、モデリングプログラムＰＲによってＲＡＭ上に読み込まれる。制御信号光学パラメータと光学パラメータとの対応表が予め作成されており、各光学ユニット制御信号は、その読み込み時に、対応表に基づいて光学パラメータに変換される。
【００５６】
各画像ＦＴについて対象物Ｑの領域を求め、その境界をシルエットとして記録しておく（＃１３）。各画像中で対象物Ｑの領域を求めるには、例えば、ユーザがマウス１５を用いて領域境界をなぞればよい。または、「Ｓｎａｋｅ」と呼称される曲線モデルをエッジ画像にフィットさせて自動抽出してもよい。「Ｓｎａｋｅ」については、Ｒ. Cipolla and A. Blake, "The Dynamic Analysis of Apparent Contours," Proc. Third ICCV, 1990 を参照することができる。
【００５７】
ボリュームインターセクション（Volume Intersection ）法により、対象物Ｑの大まかな３次元形状を求め、その結果を３角ポリゴンメッシュに変換する（＃１４）。つまり、例えば、画像ＦＴから得られたシルエットに基づいて、ボリュームデータを生成し、そのボリュームデータを、ボリューム表現形式から境界表現形式に変換して３角ポリゴンメッシュデータを得る。
【００５８】
３角ポリゴンメッシュを間引きし、より粗い解像度の３角ポリゴンメッシュに変換する（＃１５）。これによってデータ量を低減する。この間引き処理は、例えば、William J. Schroeder, Jonathan A. Zarge and William E. Lorensen, "Decimation of Triangle Meshes", SIGGRAPH'92 Proceedings, 1992, Pages 65-70にあるように、平坦な部分から順次頂点を削除していくことにより行うことができる。
【００５９】
３角ポリゴンメッシュを４角ポリゴンメッシュに変換する（＃１６）。これは、例えば、Matthias Eck and Hugues Hoppe, "Automatic reconstruction of B-spline surfaces of arbitrary topological type", SIGGRAPH'96 Proceedings, 1996, Pages 325-334にあるように、隣接する３角形同士を組み合わせて４角形にすることにより行うことができる。これによって、各ポリゴンを指定するデータにおける頂点の数が、３つであったものが４つとなる。
【００６０】
ステップ＃１６の処理の例として説明したEck の論文にある方法によって、ベース４角形メッシュからＢスプライン曲面を生成する（＃１７）。この方法を用いると、Ｂスプライン曲面の制御点は、すべて元の４角形メッシュの頂点のアフィン結合で与えられる。これによって初期状態の３次元モデルＭＬＳが生成される。３次元モデルＭＬＳは、仮想空間ＶＳ１内に配置される。
【００６１】
なお、本実施形態では、Ｂスプライン曲面を使用したが、陰的多項関数、ベジェ曲面パッチ、グレゴリ−パッチ、ＮＵＲＢＳ、細分割曲面などの他の表現の曲面を使用してもよい。
【００６２】
そして、フィッティングを行う（＃１８）。フィッティングでは、次の（１）式で定義されるエネルギーＪを最小とするように、各シルエット画像または各画像に、曲面をフィッティングする。
【００６３】
【数１】
【００６４】
ここで、λ0 , λ1 , αuu, αuv, αvvは、ユーザ指定の定数である。
また、Ｊ0 は、Sullivanらの方法（Steve Sullivan and Jean Ponce,"Automatic Model Construction and Pose Estimation From Photographs Using Triangular Splines," IEEE Trans. PAMI, 20(10), pp.1091-1097, 1998. ）にあるように、ｉ番目のシルエット上のｊ番目の点を通る各視線ｌijと、その視線から最も近い曲面上の点（座標はＰijで与えられる）との距離の２乗和である。つまり、Ｊ0 を示す式の絶対値記号の内部の式は、図７に示される距離ｒに対応する。ただし、各視線ｌijの上の任意の１点の座標ｘは、各画像のカメラ視点座標ｏi および視点からの視線の単位方向ベクトルv ijを用いて、次の（２）式のように表されるものとする。
【００６５】
【数２】
【００６６】
また、（１）式におけるＪ1 は、曲面上の各点での各画像対応画素のカラーベクトルの共分散行列の大きさの和である。上の（１）式において、このＪ1 で示される項は、本実施形態に特有のものである。つまり、Ｊ1 の式に示されるσが、上に述べた３次元モデルＭＬＳ上の各点に対応する画像ＦＴ上の各画素の画素値のばらつきを表す。
【００６７】
ここで、曲面上のｋ番目の点での各画像対応画素のカラーベクトルの共分散行列の大きさは、ｉ番目の画像中で対応する画素のカラーベクトルｃkiを用いて、次の（３）式のように表される。
【００６８】
【数３】
【００６９】
但し、Ｆk は、曲面上のｋ番目の点が３次元モデルの他の部分で遮蔽されずに画像上に投影される画像のうち、対象物Ｑのシルエット内に投影される画像番号の集合である。
【００７０】
また、ｅ2 は、曲面上のｋ番目の点が物体のシルエット外に投影されることに対するペナルティであり、つぎの（４）式のように表される。
【００７１】
【数４】
【００７２】
但し、Ｂk は、曲面上のｋ番目の点が３次元モデルの他の部分で遮蔽されずに画像上に投影される画像のうち、対象物Ｑのシルエット外に投影される画像番号の集合である。
【００７３】
Ｊ1 を最小化することにより、曲面モデルは物体の各部で対応する画素のカラーがなるべく矛盾しないように形状を変形する。
また、（１）式におけるＪ2 は、Sullivanらの方法にあるように曲面上の各点での２次微分の大きさの２乗和であり、シルエットデータが近くにない部分や対応する画素のない部分で曲面モデルをその周りと滑らかに繋ぐ役割を持っている。このとき、Ｂスプラインの制御点をもとの４角形メッシュの頂点のアフィン結合で構成しているので、実際の独立なパラメータはもとの４角形メッシュの頂点座標列である。すなわち、曲面上のｋ番目の点の座標ｐk およびその点での２次微分ベクトルｓuu k , ｓuv k , ｓvv k は、ベースポリゴンメッシュの頂点座標ｑ1 ，…，ｑN を使って、次の（５）式のように表すことができる。
【００７４】
【数５】
【００７５】
ここで、β* klは、曲面上の点に対応するＢスプライン関数パラメータから定められる定数である。
よって、曲面をフィッティングするということは、Ｊを最小にするＢスプライン曲面を生成するようにベース４角形メッシュを求める、ということと同じである。
【００７６】
Ｊを最小にするベース４角形メッシュは、Powellの２次収束法などの方法で求めることができる。
本実施形態では、Ｊ0 は、図７に示すように３次元の仮想空間ＶＳ１内において各視線に最も近い曲面上の点の３次元距離ｒの２乗平均とした。しかし、図８に示すように、各画像ＦＴの面上で、対象物Ｑのシルエット上の点に最も近い曲面のシルエット上の点の画像距離の２乗和を用いてもよい。
【００７７】
また、本実施形態では、Ｂスプライン曲面をモデルとしたが、ポリゴンメッシュをモデルとしてもよい。この場合は、ステップ＃１５〜１７を省略することができる。また、ステップ＃１８におけるＪ2 は、例えば、ポリゴンメッシュのエッジをばねで結んだと仮定してそのばねエネルギーとして定義すればよい。
【００７８】
上のステップ＃１８の処理で変形された曲面モデルに対して、シルエット上を通る各視線とその視線から最も近い曲面上の点、および対象物Ｑの表面上の各点に対応する画像点を求め直し、ステップ＃１８の処理を繰り返す。これを収束するまで繰り返す（＃１９）。
【００７９】
対象物Ｑの表面上の各点のカラーを、ステップ＃１８の処理で求めた平均のカラーベクトルｍk に設定する（＃２０）。
テクスチャをマップした曲面モデルを、仮想カメラから見た画像としてレンダリング表示する（＃２１）。
【００８０】
ユーザが必要に応じて指定を行うことにより、曲面上の各点でのカラーのばらつきを表示する（＃２２）。これは、曲面上の各点のカラーベクトルの共分散行列の大きさをマッピングしたカラーベクトル（赤：大／青：小）を、曲面上の各点のテクスチャのカラーベクトルと置き換えてレンダリング表示することにより行われる。また、ユーザが曲面上の任意の１点を指定することにより、図９に示すように、各画像でその点に対応するシルエット内の画素のカラーヒストグラムを表示することができる。
【００８１】
ステップ＃２１および２２での表示によって、３次元モデルにおける入力された画像ＦＴに対する一致度の悪い部分を特定し、その部分をユーザが手動で変形させたり、その部分の曲面パッチの粗さを変更する（＃２３）。
【００８２】
上に述べた実施形態において、ボリューム表現形式から境界表現形式に変換するに際して、例えば公知の零等値面抽出法などを用いることができる。つまり、隣接する頂点（格子点）を結ぶ辺上の零等値面に対応する点を算出し、それらの点を連結した三角ポリゴンを生成することにより、ポリゴンメッシュに変換することができる。
【００８３】
上の実施形態において、デジタルカメラＤＣおよび生成装置１の全体または各部の構成、形状、寸法、個数、材質、対象物Ｑの種類、画像の内容などは、本発明の趣旨に沿って適宜変更することができる。
【００８４】
【発明の効果】
本発明によると、高品質なレンダリングに適した３次元形状モデルを簡便に生成することが可能となる。
【００８５】
請求項１および２の発明によると、対象物についての３次元形状モデルを正しく評価し、高品質なレンダリングに適した３次元形状モデルであるか否かを容易に知ることができる。
【図面の簡単な説明】
【図１】本実施形態に係る３次元形状モデルの生成装置のブロック図である。
【図２】対象物の撮影の様子を説明する図である。
【図３】対象物の３次元モデル上の点を画像に投影する様子を説明する図である。
【図４】画像上に投影された点に対応する画素を示す図である。
【図５】 画像上の各画素の画素値のばらつきを評価する様子を示す図である。
【図６】３次元モデルの生成処理を示すフローチャートである。
【図７】 ３次元モデルとシルエット画像による視線との関係を説明する図である。
【図８】シルエット画像上の距離を示す図である。
【図９】３次元モデル上に表示されたカラーヒストグラムの例を示す図である。
【図１０】３次元モデルの生成処理を示すフローチャートである。
【図１１】シルエット法により共通領域を求める例を示す図である。
【図１２】共通領域のボクセルの例を示す図である。
【符号の説明】
１ 生成装置（３次元形状モデルの評価装置、生成装置）
１０ 装置本体
１１ 磁気ディスク装置
１３ ディスプレイ装置
ＦＴ 画像（撮影画像）
ＧＳ 画素
ＭＬＳ ３次元モデル（初期状態の３次元形状モデル）
ＭＬ ３次元モデル（３次元形状モデル）
ＤＣ デジタルカメラ
Ｑ 対象物
【発明の属する技術分野】
本発明は、対象物についての互いに視点の異なる複数の撮影画像を用いて３次元形状モデルを評価する方法および装置、３次元形状モデルの生成方法および装置、並びにコンピュータプログラムに関する。
【０００２】
【従来の技術】
近年において、非接触型の３次元形状入力装置が、ＣＧや工業デザインの分野でしばしば用いられる。３次元形状入力装置は、レーザやパターン光を対象物（物体）に照射し、対象物の表面で反射した光をセンサで捉えることにより、対象物の３次元形状を密にサンプリングして入力する。３次元形状入力装置によって、対象物の現実の形状を仮想空間内に持ってくることができ、所望の３次元形状モデルを簡便に作成することが可能である。
【０００３】
上に述べた３次元形状入力装置は、対象物の表面における光の乱反射特性を利用している。そのため、頭部の黒髪のように表面反射率の低いもの、金属のように表面が鏡面反射をおこすもの、ガラスのように透明または半透明のものなどは、形状が正しく入力できないか、 またはデータが欠落することがある。また、レーザまたはパターン光の投光機が必要であるため、装置が高価である。
【０００４】
これに対して、対象物を複数台のカメラで同時に撮影し、または１台のカメラで順次撮影し、投光を行わずに多視点から撮像した画像を用いて３次元形状モデルを作成する方法がある。この方法によると、画像中のテクスチャの類似性により、画像間で対応する点を自動的に求める必要がある。この対応点検出は、対象物の表面のテクスチャ、形状、照明条件に大きく影響を受けるため、精度はあまりよくない。このため、精度を上げるためにユーザが対応点を指定するものもある。それでも、滑らかな形状で緩やかに変化するテクスチャまたは繰り返しパターンのテクスチャを持つ対象物などでは、対応点を正しく与えることが難しい。また、表面の反射率が低いもの、表面が鏡面反射をおこすもの、透明または半透明のものでは、３次元形状入力装置と同様の欠点がある。
【０００５】
対応点を与えることが難しい対象物に対しては、対象物の遮蔽輪郭から形状を推定するシルエット法（Shape from Silhouette 法）と呼称される手法が適用可能である。その中でも最もよく使用される方法の１つはVolume lntersection 法と呼称される。これは、図１１に示すように、すべての画像中のシルエット内に収まる３次元空間内の共通領域を求める。この共通領域をVisual Hull と呼ぶ。これを求める最も一般的な方法は、図１２に示すように、仮想３次元空間内に多数のボクセルＶＸと呼ばれる立方形状要素を配置する。これらボクセルＶＸのうち、すべての画像において対象物に対応する領域内に投影されるもののみを連結することによって、対象物の形状を再構成する。しかし、この方法では、対象物の表面のうちシルエットとしてどの画像にも表れない凹部は形状が正しく復元できない。
【０００６】
形状が正しく再現されないことの問題は、ディスプレイ上にレンダリング表示を行う際に顕著に現れる。つまり、形状が正しくない部分では、入力されたカラー画像を貼り合わせて生成されたテクスチャデータが、貼り合わせた部分でボケたり、段差や歪みが生じてしまうという問題である。換言すれば、テクスチャが複雑でない対象物の表面の部分では、貼り合わされたテクスチャの歪みなどは目立ち難く、形状の歪みはレンダリング表示された画像にあまり影響を及ぼさない、と言うことである。この観点から、Snowらは新しい試みとして、仮想空間内の格子点のうち、多視点から得られた画像の対応する画素間での画素値のばらつきの小さいサブセットを滑らかに繋いで連結する手法を提案している。しかし、その方法では、形状の精度は格子間の幅に依存する。精度を上げようと格子点を増やすと、データ量が多くなると同時に実行速度も急激に低下する。また、復元されたデータをレンダリングしたシルエットの形状は格子のエイリアシングのためぎざぎざとなってしまう。
【０００７】
【発明が解決しようとする課題】
上に述べたように、３次元形状モデルを生成する方法として、従来から種々の方法が提案されている。しかし、いずれの方法でも上に述べたような問題があり、高品質なレンダリングに適した３次元形状モデルを簡便に生成することはできなかった。
【０００８】
本発明は、上述の問題に鑑みてなされたもので、高品質なレンダリングに適した３次元形状モデルを簡便に生成することを可能とする３次元形状モデルの評価方法および生成方法並びに装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明に係る評価方法は、対象物についての互いに視点の異なる複数の撮影画像を準備しておき、３次元形状モデル上の点を前記撮影画像上に投影し、前記点に対応する前記各撮影画像上の画素を特定し、前記３次元形状モデル上のそれぞれの点について、各点に対応する前記撮影画像上の各画素の画素値のばらつきを評価する。
【００１０】
画素値のばらつきを評価するに際して、色のばらつきを評価する。３次元形状モデル上の各点において、それぞれの点に対応する前記撮影画像上の各画素の画素値のばらつきを表示する。
【００１１】
本発明に係る生成方法は、仮想空間内に初期状態の３次元形状モデルを配置するステップ、前記３次元形状モデル上の点を前記撮影画像上に投影し、前記点に対応する前記各撮影画像上の画素を特定するステップ、前記３次元形状モデル上のそれぞれの点について、各点に対応する前記撮影画像上の各画素の画素値のばらつきを評価するステップ、および、前記各画素の画素値のばらつきが小さくなるように前記３次元形状モデルを変形するステップを有する。
【００１２】
好ましくは、前記撮影画像によるシルエット内に収まる仮想空間内の共通領域に基づいて３次元形状モデルを生成し、生成した３次元形状モデルを初期状態の３次元形状モデルとして配置する。
【００１３】
また、前記３次元形状モデル上の各点に対応する前記撮影画像上の画素を特定するに際し、前記３次元形状モデルの他の部分で遮蔽されて前記撮影画像に投影されない場合、および撮影画像の外に投影される場合には、その視点の撮影画像については対応する画素がないとし、画素の画素値のばらつきの評価から除外する。
【００１４】
また、前記３次元形状モデル上の点に対応する前記撮影画像上の画素が対象物のシルエット内にない場合には、ペナルティーとして画素の画素値のばらつきを増加させる。
【００１５】
本発明に係る評価装置は、対象物についての互いに視点の異なる複数の撮影画像上に前記３次元形状モデル上の点を投影する手段と、前記点に対応する前記各撮影画像上の画素を特定する手段と、前記３次元形状モデル上のそれぞれの点について、各点に対応する前記撮影画像上の各画素の画素値のばらつきを評価する手段とを有する。
【００１６】
本発明に係る生成装置は、仮想空間内に初期状態の３次元形状モデルを配置する手段と、前記３次元形状モデル上の点を前記撮影画像上に投影し、前記点に対応する前記各撮影画像上の画素を特定する手段と、前記３次元形状モデル上のそれぞれの点について、各点に対応する前記撮影画像上の各画素の画素値のばらつきを評価する手段と、前記各画素の画素値のばらつきが小さくなるように前記３次元形状モデルを変形する手段と、を有してなる。
【００１７】
好ましくは、前記撮影画像による対象物のシルエットと前記３次元形状モデルとの適合度を評価する手段と、前記シルエットと前記３次元形状モデルとの適合度によって３次元形状モデルを変形させる手段とをさらに有する。
【００１８】
【発明の実施の形態】
図１は本実施形態に係る３次元形状モデルの生成装置１のブロック図、図２は対象物Ｑの撮影の様子を説明する図、図３は対象物Ｑの３次元モデルＭＬＳ上の点を画像ＦＴに投影する様子を説明する図、図４は画像ＦＴ上に投影された点ＰＴに対応する画素ＧＳを示す図、図５は画像ＦＴ上の各画素の画素値のばらつきを評価する様子を示す図である。
【００１９】
図１において、生成装置１は、装置本体１０、磁気ディスク装置１１、媒体ドライブ装置１２、ディスプレイ装置１３、キーボード１４、およびマウス１５などからなる。
【００２０】
装置本体１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ビデオＲＡＭ、入出力ポート、および各種コントローラなどからなる。ＲＡＭおよびＲＯＭなどに記憶されたプログラムをＣＰＵが実行することにより、以下に説明する種々の機能が実現される。
【００２１】
磁気ディスク装置１１には、ＯＳ（Operating System) 、３次元モデル（３次元形状モデル）ＭＬを生成しまたは評価するためのモデリングプログラムＰＲ、その他のプログラム、入力されまたは生成された３次元データ（３次元形状データ）ＤＴ，ＤＴＳ、画像（２次元画像データ）ＦＴ、生成された３次元モデルＭＬ、その他のデータなどが格納されている。これらのプログラムおよびデータは、適時、装置本体１０のＲＡＭにローディングされる。
【００２２】
なお、モデリングプログラムＰＲには、初期化処理、モデル配置処理、投影処理、画素特定処理、ばらつき評価処理、変形処理、マッピング処理、およびその他の処理のためのプログラムが含まれる。
【００２３】
媒体ドライブ装置１２は、ＣＤ−ＲＯＭ（ＣＤ）、フロッピィディスクＦＤ、光磁気ディスク、コンパクトフラッシュ（登録商標）などの半導体メモリＨＭ、その他の記録媒体にアクセスし、データまたはプログラムの読み書きを行う。記録媒体の種類に応じて適切なドライブ装置が用いられる。上に述べたモデリングプログラムＰＲは、これら記録媒体からインストールすることも可能である。３次元データＤＴおよび画像ＦＴなども記録媒体を介して入力することが可能である。
【００２４】
ディスプレイ装置１３の表示面ＨＧには、上に述べた種々のデータ、３次元データＤＴ、画像ＦＴ、モデリングプログラムＰＲによる処理過程の画像、生成された３次元モデルＭＬ、３次元モデル上の各点に対応する画像上の各画素の画素値のばらつき、その他のデータまたは画像が表示される。
【００２５】
キーボード１４およびマウス１５は、ディスプレイ装置１３に表示された画像ＦＴおよび３次元データＤＴに対して、ユーザが種々の指定を行うために用いられる他、装置本体１０に種々のデータを入力しまたは指令を与えるために用いられる。
【００２６】
装置本体１０には、対象物（被写体）Ｑである物体を種々の視線で撮影しまたは種々の視点から撮影して画像ＦＴを入力するためのデジタルカメラＤＣが接続される。デジタルカメラＤＣには、その位置および姿勢を検出して位置姿勢情報ＳＡを出力する位置姿勢センサＳＥ１が設けられている。位置姿勢情報ＳＡは、画像ＦＴとともにデジタルカメラＤＣ内に一旦記憶され、まとめて生成装置１に転送される。位置姿勢センサＳＥ１として、例えば加速度センサ付ジャイロセンサなどが用いられる。
【００２７】
図２において、対象物Ｑは、デジタルカメラＤＣによって、その周囲の視点ＶＰ１〜５から撮影される。これにより、画像ＦＴ１〜５が取得される。画像ＦＴ１〜５は、生成装置１の磁気ディスク装置１１に一旦格納される。
【００２８】
装置本体１０において、入力された画像ＦＴによるシルエット内に収まる仮想空間内の共通領域に基づいて、３次元データＤＴＳ１が生成される。具体的には、入力された各画像ＦＴから対象物Ｑの輪郭を切り出すことにより、シルエット画像ＦＳが生成され、このシルエット画像ＦＳに基づいて、シルエット法によって３次元データＤＴＳ１が生成される。
【００２９】
また、視差のある２枚の画像ＦＴに基づいて３次元再構成を行い、３次元データＤＴＳ２を生成することも可能である。生成された３次元データＤＴＳ１，ＤＴＳ２は、本発明における初期状態の３次元形状モデルＭＬＳとして用いることが可能である。
【００３０】
また、装置本体１０には、対象物を撮影してその３次元データＤＴＳ３を入力するための３次元入力装置（３次元計測装置）を接続することも可能である。そのような３次元入力装置は、例えば光切断法によって対象物Ｑの３次元データＤＴＳ３を非接触で計測する。また、３次元入力装置から、３次元データＤＴＳ３ではなく、３次元データＤＴＳ３を生成するための元となるデータを出力し、装置本体１０によって３次元データＤＴＳ３を演算によって求めてもよい。このような３次元データＤＴＳ３も、本発明における初期状態の３次元モデル（３次元形状モデル）ＭＬＳとして用いることが可能である。
【００３１】
図３に示すように、初期状態の３次元モデルＭＬＳは、装置本体１０のメモリ空間（仮想空間）ＶＳ１内に配置される。仮想空間ＶＳ１において、初期状態の３次元モデルＭＬＳは、高品質なレンダリングに適した３次元モデルであるか否か、または対象物についての正確な３次元モデルであるか否かが評価される。また、その評価結果がディスプレイ装置１３の表示面ＨＧに表示される。さらに、その評価結果に基づいて、３次元モデルＭＬＳが変形される。そして、変形された３次元モデルＭＬＳについて、再度、評価および変形が行われ、これが繰り返され、最終的な３次元モデルＭＬが生成される。
【００３２】
生成装置１は、パーソナルコンピュータまたはワークステーションなどを用いて構成することが可能である。上に述べたプログラムおよびデータは、ネットワークＮＷを介して受信して取得することも可能である。
【００３３】
次に、３次元モデルの評価方法および変形処理について説明する。
図３において、仮想空間ＶＳ１において、３次元モデルＭＬＳに対し、各画像ＦＴ１〜５はそれぞれが撮影された視点ＶＰ１〜５と一致するように配置される。この状態で、３次元モデルＭＬＳ上のサンプリングされた点ＰＴが、各画像ＦＴ１〜５上に投影される。
【００３４】
例えば、図４に示すように、３次元モデルＭＬＳ上の点ＰＴ１が、画像ＦＴ１，２に投影される。画像ＦＴ１，２において、それぞれ投影された点ＰＴ１を含む画素ＧＳ１１、ＧＳ２１が、互いに対応する画素として特定される。これが、３次元モデルＭＬＳ上の多数の点、例えば３次元モデルＭＬＳを構成する各構成点について行われる。
【００３５】
なお、画像ＦＴ上の点ＰＴに対応する画素ＧＳとして、２つ以上の画素ＧＳが特定される場合もある。そのような場合には、画素値として、それらの画素の画素値の平均または２乗平均などを用いればよい。また、投影すべき点ＰＴが３次元モデルＭＬＳの他の部分で遮蔽される場合には、その画像ＦＴについては対応する点つまり対応する画素ＧＳがないものと扱えばよい。
【００３６】
対応する画素ＧＳが特定されると、それらの画素ＧＳの画素値が取得される。画素値として、例えばその画素の濃度値が用いられる。画像ＦＴがカラーである場合には、三原色の各色の濃度値が用いられる。
【００３７】
取得された画素値について、それらのばらつきが求められる。ばらつきとして、例えば、画素値の差が求められ、さらにその差についての、絶対値、平均値、または２乗平均値などが求められる。それらが評価される。評価に際して、例えば、ばらつきの大きさが評価される。そして、ばらつきが最小となるように、３次元モデルＭＬＳが変形される。
【００３８】
なお、例えば、画像ＦＴがカラーであった場合に、カラーのばらつきを評価する。カラーのばらつきとして、三原色の各色の濃度値のばらつきを評価する。または、各画素ＧＳのカラーの色相を比較し、その相違の大きさを評価する。
【００３９】
図５において、対象物Ｑの表面ＳＦＱが破線で示され、対象物Ｑについての３次元モデルＭＬＳの表面ＳＦＭが実線で示されている。３次元モデルＭＬＳの表面ＳＦＭ上の１つの点ＰＴａに対応する各画像ＦＴ１，２上の画素ＧＳ１１、ＧＳ２１が特定され、それら各画素の濃度値ＧＳＴ１１，ＧＳＴ２１が取得される。
【００４０】
これら濃度値ＧＳＴ１１，ＧＳＴ２１がもし一致したとした場合には、３次元モデルＭＬＳの表面ＳＦＭ上の点ＰＴａは、対象物Ｑの表面上の点を正しく反映していると結論付けることができる。その理由は、２つの画像ＦＴ１，２は、対象物Ｑについての実際の表面を撮影したものであるため、表面上の１つの点に対応する画素の濃度値は、完全拡散反射面であると仮定すればほぼ一致するからである。
【００４１】
ところが、図５に示す場合には、対象物Ｑの表面ＳＦＱは凹部となっており、この凹部は３次元モデルＭＬＳに正しく反映されていない。この現象は、シルエット法または立体写真法などの手法を用いて対象物Ｑから３次元モデルＭＬＳを生成した場合にしばしば起こり得る。
【００４２】
そうすると、３次元モデルＭＬＳの表面ＳＦＭ上の点ＰＴａに対応する画素ＧＳ１１、ＧＳ２１は、実際には対象物Ｑの表面ＳＦＱ上における点ＰＴａ１，ＰＴａ２に対応する画素ということになる。しかし、点ＰＴａ１と点ＰＴａ２での表面反射率が異なる場合には、画素ＧＳ１１の濃度値ＧＳＴ１１と画素ＧＳ２１の濃度値ＧＳＴ２１も異なって現れるので、レンダリングの際に矛盾を発生し、レンダリング画像のボケや歪みの原因となる。なお、点ＰＴａ１と点ＰＴａ２での表面反射率が同じであれば、３次元モデルＭＬＳが、表面ＳＦＱを正しく反映していないにも係わらず、レンダリングの際に矛盾を発生しにくい。
【００４３】
これら、濃度値ＧＳＴ１１と濃度値ＧＳＴ２１とを比較することにより、３次元モデルＭＬＳの表面ＳＦＭと対象物Ｑの実際の表面ＳＦＱとの一致度合いを評価することができる。
【００４４】
したがって、対応する画素ＧＳの濃度値ＧＳＴの差により、レンダリングの際の矛盾の度合いを評価することができる。
ユーザが評価の程度を知る１つの手法として、３次元モデルＭＬＳをプレイ装置１３の表示面ＨＧに表示するとともに、表示された３次元モデルＭＬＳ上に、各点に対応する画素の濃度値ＧＳＴのばらつきを表示する。例えば、濃度値ＧＳＴの差に応じた濃度またはカラーの画像を表示する。または、濃度値ＧＳＴの差の値を、画像上に数値で表示する。また、ユーザが画面上で３次元モデルＭＬＳ上の任意の１点を指定したときに、その点に対応する画素のカラーの差をカラーヒストグラムなどによって表示する（図９参照）。
【００４５】
濃度値ＧＳＴ１１と濃度値ＧＳＴ２１とにばらつきがある場合に、そのばらつきが少なくなる方向に３次元モデルＭＬＳの表面ＳＦＭを変形する。
図５において、変形された表面ＳＦＭ２が鎖線で示されている。この表面ＳＦＭ２上の点ＰＴｂについて、上と同様に対応する画素ＧＳを求め、それらの濃度値を比較する。そして、そのばらつきが少なくなる方向に、再度、３次元モデルＭＬＳの表面ＳＦＭを変形する。これを繰り返すことによって、正確な３次元モデルＭＬが生成される。
【００４６】
上に述べたように、本実施形態では、対象物Ｑを異なる視点位置から撮像した画像に適合するように、つまり３次元モデルＭＬＳの各部が滑らかとなるように、拘束された曲面モデルまたはポリゴンメッシュモデルを変形する。その際に、３次元モデルＭＬＳ上の各点に投影される各画像ＦＴ上の対応点間のカラーなどのばらつきを調べ、カラーなどのばらつきが最小となるように変形する。これにより、任意位相の滑らかな３次元モデルＭＬが生成される。生成された３次元モデルＭＬに、カラー画像を貼り合わせ、テクスチャを張りつける。
【００４７】
これによって、通常の多視点画像から３次元モデルを生成する方法では難しかった、緩やかに変化するテクスチャまたは繰り返しパターンのテクスチャを持つ対象物Ｑに対しても、品質の高いテクスチャ付きの曲面モデルを安定的に生成することができる。
【００４８】
さらに、シルエットから対象物Ｑの３次元モデルを得る方法と組み合わせることにより、任意位相の対象物Ｑに対応可能となるとともに、シルエット形状を正確に表示可能となる。
【００４９】
なお、本実施形態では、カラーが均一である表面領域においては、表面形状が正しく復元されない場合も発生する。しかし、生成されるテクスチャ（カラー）は、正しい形状のものと同じかまたは同等のものとなるので、表示面ＨＧにレンダリング表示したときに目立たないという利点がある。
【００５０】
また、表示面ＨＧにカラーのばらつきを表示することにより、レンダリングの際の矛盾の生じ易い部分をユーザが容易に視認できる。また、デジタルカメラＤＣの位置が正しく校正されていない画像ＦＴを特定することができる。その結果、ユーザは、３次元モデルＭＬＳを修正し、またはカメラ位置を修正することを容易に行うことができる。
【００５１】
次に、生成装置１における３次元モデルＭＬの生成処理の全体について、フローチャートを参照して説明する。
図６は３次元モデルの生成処理を示すフローチャートである。
【００５２】
図６において、仮想空間ＶＳ１内に、初期状態の３次元モデルＭＬＳを配置する（＃１）。３次元モデルＭＬＳ上の点を画像ＦＴ上に投影し、点に対応する各画像ＦＴ上の画素ＧＳを特定する（＃２）。３次元モデルＭＬＳ上のそれぞれの点について、各点に対応する画像ＦＴ上の各画素ＧＳの画素値のばらつきを評価する（＃３）。各画素ＧＳの画素値のばらつきが最小となるように３次元モデルＭＬＳを変形する（＃４）。ステップ＃２以降を繰り返し、ばらつきが所定よりも小さくなったと評価されると終了する（＃５）。
【００５３】
さらに詳しく説明する。
図７は３次元モデルＭＬＳとシルエット画像による視線との関係を説明する図、図８はシルエット画像上の距離を示す図、図９は３次元モデル上に表示されたカラーヒストグラムの例を示す図、図１０は３次元モデルの生成処理を示すフローチャートである。
【００５４】
まず、デジタルカメラＤＣによって、対象物Ｑを複数の視点位置から撮影し、得られたカラーの画像ＦＴをカメラ内の記憶部に記憶する（＃１１）。その際に、各画像ＦＴを撮影したときのデジタルカメラＤＣの位置および姿勢についての情報（位置姿勢情報ＳＡ）を、デジタルカメラＤＣに取り付けられた位置姿勢センサＳＥ１により取得し、絞り、焦点距離、撮影角などの光学ユニット制御信号とともにカメラ内の記憶部に記憶する。
【００５５】
それぞれの視点位置で得られた画像ＦＴ、位置姿勢情報ＳＡ、および光学ユニット制御信号をセットにして、生成装置１に転送する（＃１２）。生成装置１において、入力されたそれらの情報および信号は、磁気ディスク装置１１に一旦格納され、モデリングプログラムＰＲによってＲＡＭ上に読み込まれる。制御信号光学パラメータと光学パラメータとの対応表が予め作成されており、各光学ユニット制御信号は、その読み込み時に、対応表に基づいて光学パラメータに変換される。
【００５６】
各画像ＦＴについて対象物Ｑの領域を求め、その境界をシルエットとして記録しておく（＃１３）。各画像中で対象物Ｑの領域を求めるには、例えば、ユーザがマウス１５を用いて領域境界をなぞればよい。または、「Ｓｎａｋｅ」と呼称される曲線モデルをエッジ画像にフィットさせて自動抽出してもよい。「Ｓｎａｋｅ」については、Ｒ. Cipolla and A. Blake, "The Dynamic Analysis of Apparent Contours," Proc. Third ICCV, 1990 を参照することができる。
【００５７】
ボリュームインターセクション（Volume Intersection ）法により、対象物Ｑの大まかな３次元形状を求め、その結果を３角ポリゴンメッシュに変換する（＃１４）。つまり、例えば、画像ＦＴから得られたシルエットに基づいて、ボリュームデータを生成し、そのボリュームデータを、ボリューム表現形式から境界表現形式に変換して３角ポリゴンメッシュデータを得る。
【００５８】
３角ポリゴンメッシュを間引きし、より粗い解像度の３角ポリゴンメッシュに変換する（＃１５）。これによってデータ量を低減する。この間引き処理は、例えば、William J. Schroeder, Jonathan A. Zarge and William E. Lorensen, "Decimation of Triangle Meshes", SIGGRAPH'92 Proceedings, 1992, Pages 65-70にあるように、平坦な部分から順次頂点を削除していくことにより行うことができる。
【００５９】
３角ポリゴンメッシュを４角ポリゴンメッシュに変換する（＃１６）。これは、例えば、Matthias Eck and Hugues Hoppe, "Automatic reconstruction of B-spline surfaces of arbitrary topological type", SIGGRAPH'96 Proceedings, 1996, Pages 325-334にあるように、隣接する３角形同士を組み合わせて４角形にすることにより行うことができる。これによって、各ポリゴンを指定するデータにおける頂点の数が、３つであったものが４つとなる。
【００６０】
ステップ＃１６の処理の例として説明したEck の論文にある方法によって、ベース４角形メッシュからＢスプライン曲面を生成する（＃１７）。この方法を用いると、Ｂスプライン曲面の制御点は、すべて元の４角形メッシュの頂点のアフィン結合で与えられる。これによって初期状態の３次元モデルＭＬＳが生成される。３次元モデルＭＬＳは、仮想空間ＶＳ１内に配置される。
【００６１】
なお、本実施形態では、Ｂスプライン曲面を使用したが、陰的多項関数、ベジェ曲面パッチ、グレゴリ−パッチ、ＮＵＲＢＳ、細分割曲面などの他の表現の曲面を使用してもよい。
【００６２】
そして、フィッティングを行う（＃１８）。フィッティングでは、次の（１）式で定義されるエネルギーＪを最小とするように、各シルエット画像または各画像に、曲面をフィッティングする。
【００６３】
【数１】
ここで、λ0 , λ1 , αuu, αuv, αvvは、ユーザ指定の定数である。
また、Ｊ0 は、Sullivanらの方法（Steve Sullivan and Jean Ponce,"Automatic Model Construction and Pose Estimation From Photographs Using Triangular Splines," IEEE Trans. PAMI, 20(10), pp.1091-1097, 1998. ）にあるように、ｉ番目のシルエット上のｊ番目の点を通る各視線ｌijと、その視線から最も近い曲面上の点（座標はＰijで与えられる）との距離の２乗和である。つまり、Ｊ0 を示す式の絶対値記号の内部の式は、図７に示される距離ｒに対応する。ただし、各視線ｌijの上の任意の１点の座標ｘは、各画像のカメラ視点座標ｏi および視点からの視線の単位方向ベクトルv ijを用いて、次の（２）式のように表されるものとする。
【００６５】
【数２】
また、（１）式におけるＪ1 は、曲面上の各点での各画像対応画素のカラーベクトルの共分散行列の大きさの和である。上の（１）式において、このＪ1 で示される項は、本実施形態に特有のものである。つまり、Ｊ1 の式に示されるσが、上に述べた３次元モデルＭＬＳ上の各点に対応する画像ＦＴ上の各画素の画素値のばらつきを表す。
【００６７】
ここで、曲面上のｋ番目の点での各画像対応画素のカラーベクトルの共分散行列の大きさは、ｉ番目の画像中で対応する画素のカラーベクトルｃkiを用いて、次の（３）式のように表される。
【００６８】
【数３】
但し、Ｆk は、曲面上のｋ番目の点が３次元モデルの他の部分で遮蔽されずに画像上に投影される画像のうち、対象物Ｑのシルエット内に投影される画像番号の集合である。
【００７０】
また、ｅ2 は、曲面上のｋ番目の点が物体のシルエット外に投影されることに対するペナルティであり、つぎの（４）式のように表される。
【００７１】
【数４】
但し、Ｂk は、曲面上のｋ番目の点が３次元モデルの他の部分で遮蔽されずに画像上に投影される画像のうち、対象物Ｑのシルエット外に投影される画像番号の集合である。
【００７３】
Ｊ1 を最小化することにより、曲面モデルは物体の各部で対応する画素のカラーがなるべく矛盾しないように形状を変形する。
また、（１）式におけるＪ2 は、Sullivanらの方法にあるように曲面上の各点での２次微分の大きさの２乗和であり、シルエットデータが近くにない部分や対応する画素のない部分で曲面モデルをその周りと滑らかに繋ぐ役割を持っている。このとき、Ｂスプラインの制御点をもとの４角形メッシュの頂点のアフィン結合で構成しているので、実際の独立なパラメータはもとの４角形メッシュの頂点座標列である。すなわち、曲面上のｋ番目の点の座標ｐk およびその点での２次微分ベクトルｓuu k , ｓuv k , ｓvv k は、ベースポリゴンメッシュの頂点座標ｑ1 ，…，ｑN を使って、次の（５）式のように表すことができる。
【００７４】
【数５】
ここで、β* klは、曲面上の点に対応するＢスプライン関数パラメータから定められる定数である。
よって、曲面をフィッティングするということは、Ｊを最小にするＢスプライン曲面を生成するようにベース４角形メッシュを求める、ということと同じである。
【００７６】
Ｊを最小にするベース４角形メッシュは、Powellの２次収束法などの方法で求めることができる。
本実施形態では、Ｊ0 は、図７に示すように３次元の仮想空間ＶＳ１内において各視線に最も近い曲面上の点の３次元距離ｒの２乗平均とした。しかし、図８に示すように、各画像ＦＴの面上で、対象物Ｑのシルエット上の点に最も近い曲面のシルエット上の点の画像距離の２乗和を用いてもよい。
【００７７】
また、本実施形態では、Ｂスプライン曲面をモデルとしたが、ポリゴンメッシュをモデルとしてもよい。この場合は、ステップ＃１５〜１７を省略することができる。また、ステップ＃１８におけるＪ2 は、例えば、ポリゴンメッシュのエッジをばねで結んだと仮定してそのばねエネルギーとして定義すればよい。
【００７８】
上のステップ＃１８の処理で変形された曲面モデルに対して、シルエット上を通る各視線とその視線から最も近い曲面上の点、および対象物Ｑの表面上の各点に対応する画像点を求め直し、ステップ＃１８の処理を繰り返す。これを収束するまで繰り返す（＃１９）。
【００７９】
対象物Ｑの表面上の各点のカラーを、ステップ＃１８の処理で求めた平均のカラーベクトルｍk に設定する（＃２０）。
テクスチャをマップした曲面モデルを、仮想カメラから見た画像としてレンダリング表示する（＃２１）。
【００８０】
ユーザが必要に応じて指定を行うことにより、曲面上の各点でのカラーのばらつきを表示する（＃２２）。これは、曲面上の各点のカラーベクトルの共分散行列の大きさをマッピングしたカラーベクトル（赤：大／青：小）を、曲面上の各点のテクスチャのカラーベクトルと置き換えてレンダリング表示することにより行われる。また、ユーザが曲面上の任意の１点を指定することにより、図９に示すように、各画像でその点に対応するシルエット内の画素のカラーヒストグラムを表示することができる。
【００８１】
ステップ＃２１および２２での表示によって、３次元モデルにおける入力された画像ＦＴに対する一致度の悪い部分を特定し、その部分をユーザが手動で変形させたり、その部分の曲面パッチの粗さを変更する（＃２３）。
【００８２】
上に述べた実施形態において、ボリューム表現形式から境界表現形式に変換するに際して、例えば公知の零等値面抽出法などを用いることができる。つまり、隣接する頂点（格子点）を結ぶ辺上の零等値面に対応する点を算出し、それらの点を連結した三角ポリゴンを生成することにより、ポリゴンメッシュに変換することができる。
【００８３】
上の実施形態において、デジタルカメラＤＣおよび生成装置１の全体または各部の構成、形状、寸法、個数、材質、対象物Ｑの種類、画像の内容などは、本発明の趣旨に沿って適宜変更することができる。
【００８４】
【発明の効果】
本発明によると、高品質なレンダリングに適した３次元形状モデルを簡便に生成することが可能となる。
【００８５】
請求項１および２の発明によると、対象物についての３次元形状モデルを正しく評価し、高品質なレンダリングに適した３次元形状モデルであるか否かを容易に知ることができる。
【図面の簡単な説明】
【図１】本実施形態に係る３次元形状モデルの生成装置のブロック図である。
【図２】対象物の撮影の様子を説明する図である。
【図３】対象物の３次元モデル上の点を画像に投影する様子を説明する図である。
【図４】画像上に投影された点に対応する画素を示す図である。
【図５】 画像上の各画素の画素値のばらつきを評価する様子を示す図である。
【図６】３次元モデルの生成処理を示すフローチャートである。
【図７】 ３次元モデルとシルエット画像による視線との関係を説明する図である。
【図８】シルエット画像上の距離を示す図である。
【図９】３次元モデル上に表示されたカラーヒストグラムの例を示す図である。
【図１０】３次元モデルの生成処理を示すフローチャートである。
【図１１】シルエット法により共通領域を求める例を示す図である。
【図１２】共通領域のボクセルの例を示す図である。
【符号の説明】
１ 生成装置（３次元形状モデルの評価装置、生成装置）
１０ 装置本体
１１ 磁気ディスク装置
１３ ディスプレイ装置
ＦＴ 画像（撮影画像）
ＧＳ 画素
ＭＬＳ ３次元モデル（初期状態の３次元形状モデル）
ＭＬ ３次元モデル（３次元形状モデル）
ＤＣ デジタルカメラ
Ｑ 対象物
Claims (9)
- 対象物についての３次元形状モデルを評価する方法であって、
対象物についての互いに視点の異なる複数の撮影画像を準備しておき、
前記３次元形状モデル上の点を前記撮影画像上に投影し、前記点に対応する前記各撮影画像上の画素を特定し、
前記３次元形状モデル上のそれぞれの点について、各点に対応する前記撮影画像上の各画素の画素値のばらつきを評価する、
ことを特徴とする３次元形状モデルの評価方法。 - 前記３次元形状モデル上の各点において、それぞれの点に対応する前記撮影画像上の各画素の画素値のばらつきを表示する、
請求項１記載の３次元形状モデルの評価方法。 - 対象物についての互いに視点の異なる複数の撮影画像に基づいて、当該対象物の３次元形状モデルを生成する方法であって、
仮想空間内に初期状態の３次元形状モデルを配置するステップ、
前記３次元形状モデル上の点を前記撮影画像上に投影し、前記点に対応する前記各撮影画像上の画素を特定するステップ、
前記３次元形状モデル上のそれぞれの点について、各点に対応する前記撮影画像上の各画素の画素値のばらつきを評価するステップ、および、
前記各画素の画素値のばらつきが小さくなるように前記３次元形状モデルを変形するステップ、
を有してなることを特徴とする３次元形状モデルの生成方法。 - 前記撮影画像によるシルエット内に収まる仮想空間内の共通領域に基づいて３次元形状モデルを生成し、生成した３次元形状モデルを初期状態の３次元形状モデルとして配置する、
請求項３記載の３次元形状モデルの生成方法。 - 前記３次元形状モデル上の各点に対応する前記撮影画像上の画素を特定するに際し、前記３次元形状モデルの他の部分で遮蔽されて前記撮影画像に投影されない場合、および撮影画像の外に投影される場合には、その視点の撮影画像については対応する画素がないとし、画素の画素値のばらつきの評価から除外する、
請求項３記載の３次元形状モデルの生成方法。 - 前記３次元形状モデル上の点に対応する前記撮影画像上の画素が対象物のシルエット内にない場合には、ペナルティーとして画素の画素値のばらつきを増加させる、
請求項３記載の３次元形状モデルの生成方法。 - 対象物についての３次元形状モデルを評価する装置であって、
対象物についての互いに視点の異なる複数の撮影画像上に前記３次元形状モデル上の点を投影する手段と、
前記点に対応する前記各撮影画像上の画素を特定する手段と、
前記３次元形状モデル上のそれぞれの点について、各点に対応する前記撮影画像上の各画素の画素値のばらつきを評価する手段と、
を有することを特徴とする３次元形状モデルの評価装置。 - 対象物についての互いに視点の異なる複数の撮影画像に基づいて当該対象物の３次元形状モデルを生成するためのコンピュータプログラムであって、
仮想空間内に初期状態の３次元形状モデルを配置するステップ、
前記３次元形状モデル上の点を前記撮影画像上に投影し、前記点に対応する前記各撮影画像上の画素を特定するステップ、および、
前記３次元形状モデル上のそれぞれの点について、各点に対応する前記撮影画像上の各画素の画素値のばらつきを評価するステップ、
をコンピュータに実行させるコンピュータプログラム。 - 請求項８記載のコンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001309797A JP4035978B2 (ja) | 2001-10-05 | 2001-10-05 | ３次元形状モデルの評価方法および生成方法並びに装置 |
| US10/262,856 US7149345B2 (en) | 2001-10-05 | 2002-10-03 | Evaluating method, generating method and apparatus for three-dimensional shape model |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001309797A JP4035978B2 (ja) | 2001-10-05 | 2001-10-05 | ３次元形状モデルの評価方法および生成方法並びに装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003115042A JP2003115042A (ja) | 2003-04-18 |
| JP4035978B2 true JP4035978B2 (ja) | 2008-01-23 |
Family
ID=19128880
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001309797A Expired - Fee Related JP4035978B2 (ja) | 2001-10-05 | 2001-10-05 | ３次元形状モデルの評価方法および生成方法並びに装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7149345B2 (ja) |
| JP (1) | JP4035978B2 (ja) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005050037A (ja) * | 2003-07-31 | 2005-02-24 | Canon Inc | 画像処理方法および装置 |
| JP4262013B2 (ja) * | 2003-07-31 | 2009-05-13 | キヤノン株式会社 | 画像処理方法および画像生成装置 |
| GB2405776B (en) * | 2003-09-05 | 2008-04-02 | Canon Europa Nv | 3d computer surface model generation |
| US7746377B2 (en) | 2003-11-28 | 2010-06-29 | Topcon Corporation | Three-dimensional image display apparatus and method |
| WO2008127308A1 (en) * | 2007-04-11 | 2008-10-23 | Thomson Licensing | Method and apparatus for enhancing digital video effects (dve) |
| KR100914845B1 (ko) * | 2007-12-15 | 2009-09-02 | 한국전자통신연구원 | 다시점 영상 정보를 이용한 물체의 삼차원 형상복원 방법및 장치 |
| KR100920225B1 (ko) | 2007-12-17 | 2009-10-05 | 한국전자통신연구원 | 영상을 이용한 3차원 그래픽 모델의 정확도 측정 방법 및장치 |
| JP5181704B2 (ja) * | 2008-02-07 | 2013-04-10 | 日本電気株式会社 | データ処理装置、姿勢推定システム、姿勢推定方法およびプログラム |
| US20090219381A1 (en) * | 2008-03-03 | 2009-09-03 | Disney Enterprises, Inc., A Delaware Corporation | System and/or method for processing three dimensional images |
| US8350850B2 (en) * | 2008-03-31 | 2013-01-08 | Microsoft Corporation | Using photo collections for three dimensional modeling |
| JP5504142B2 (ja) * | 2010-12-09 | 2014-05-28 | 日本電信電話株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
| WO2014134425A1 (en) * | 2013-02-28 | 2014-09-04 | Kevin Williams | Apparatus and method for extrapolating observed surfaces through occluded regions |
| US9998663B1 (en) | 2015-01-07 | 2018-06-12 | Car360 Inc. | Surround image capture and processing |
| US10284794B1 (en) | 2015-01-07 | 2019-05-07 | Car360 Inc. | Three-dimensional stabilized 360-degree composite image capture |
| JP6608165B2 (ja) * | 2015-05-12 | 2019-11-20 | 国立大学法人京都大学 | 画像処理装置及び方法、並びにコンピュータプログラム |
| CN108779978B (zh) * | 2016-03-01 | 2020-12-11 | 奇跃公司 | 深度感测系统和方法 |
| CN107809610B (zh) | 2016-09-08 | 2021-06-11 | 松下知识产权经营株式会社 | 摄像头参数集算出装置、摄像头参数集算出方法以及记录介质 |
| US10692232B2 (en) * | 2016-12-30 | 2020-06-23 | Canon Kabushiki Kaisha | Shape reconstruction of specular and/or diffuse objects using multiple layers of movable sheets |
| KR101875047B1 (ko) * | 2018-04-24 | 2018-07-06 | 주식회사 예간아이티 | 사진측량을 이용한 3d 모델링 시스템 및 방법 |
| CN110298319B (zh) * | 2019-07-01 | 2021-10-08 | 北京字节跳动网络技术有限公司 | 图像合成方法和装置 |
| KR102413517B1 (ko) * | 2019-08-23 | 2022-06-28 | 주식회사 예간아이티 | 2d 이미지를 활용하여 3d 컨텐츠의 텍스처를 생성하는 영상 처리 방법 및 영상 처리 장치 |
| US11748844B2 (en) | 2020-01-08 | 2023-09-05 | Carvana, LLC | Systems and methods for generating a virtual display of an item |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60129605A (ja) * | 1983-12-19 | 1985-07-10 | Toyota Motor Corp | 形状測定方法 |
| JPH0273471A (ja) * | 1988-09-09 | 1990-03-13 | Nippon Telegr & Teleph Corp <Ntt> | 三次元形状推定方法 |
| JP2532985B2 (ja) * | 1990-09-20 | 1996-09-11 | 工業技術院長 | ３次元画像評価装置 |
| JPH04289976A (ja) * | 1991-03-19 | 1992-10-14 | Hitachi Ltd | 三次元形状モデル生成方法およびシステム |
| JPH0766436B2 (ja) * | 1991-11-14 | 1995-07-19 | 株式会社エイ・ティ・アール通信システム研究所 | 連続シルエット画像による３次元モデル構成装置 |
| EP0631250B1 (en) * | 1993-06-21 | 2002-03-20 | Nippon Telegraph And Telephone Corporation | Method and apparatus for reconstructing three-dimensional objects |
| JPH0814860A (ja) * | 1994-06-30 | 1996-01-19 | Toshiba Corp | モデル作成装置 |
| JP3347508B2 (ja) * | 1995-02-24 | 2002-11-20 | キヤノン株式会社 | 撮像画像処理装置および撮像画像処理方法 |
| JP3499663B2 (ja) * | 1995-11-16 | 2004-02-23 | 株式会社東芝 | レーダイメージ処理装置 |
| US6009188A (en) * | 1996-02-16 | 1999-12-28 | Microsoft Corporation | Method and system for digital plenoptic imaging |
| JPH1091785A (ja) * | 1996-09-17 | 1998-04-10 | Komatsu Ltd | パターンマッチングによる検査方法および検査装置 |
| JPH1196374A (ja) * | 1997-07-23 | 1999-04-09 | Sanyo Electric Co Ltd | ３次元モデリング装置、３次元モデリング方法および３次元モデリングプログラムを記録した媒体 |
| JP3813343B2 (ja) * | 1997-09-09 | 2006-08-23 | 三洋電機株式会社 | ３次元モデリング装置 |
| JP3954211B2 (ja) | 1998-08-20 | 2007-08-08 | 富士通株式会社 | 三次元シーンにおける形状及び模様の復元方法及び装置 |
| JP2000194859A (ja) * | 1998-12-25 | 2000-07-14 | Canon Inc | 被写体形状抽出方法、被写体形状抽出装置及び記録媒体 |
| JP2001148021A (ja) * | 1999-11-22 | 2001-05-29 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理方法、３次元モデルデータ生成方法およびそれらの装置 |
| US6639594B2 (en) * | 2001-06-03 | 2003-10-28 | Microsoft Corporation | View-dependent image synthesis |
| US6930681B2 (en) * | 2001-08-14 | 2005-08-16 | Mitsubishi Electric Research Labs, Inc. | System and method for registering multiple images with three-dimensional objects |
-
2001
- 2001-10-05 JP JP2001309797A patent/JP4035978B2/ja not_active Expired - Fee Related
-
2002
- 2002-10-03 US US10/262,856 patent/US7149345B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7149345B2 (en) | 2006-12-12 |
| JP2003115042A (ja) | 2003-04-18 |
| US20030067462A1 (en) | 2003-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4035978B2 (ja) | ３次元形状モデルの評価方法および生成方法並びに装置 | |
| US7046840B2 (en) | 3-D reconstruction engine | |
| JP6321106B2 (ja) | 現実環境内にバーチャルオブジェクトを描写する方法および装置 | |
| JP3793115B2 (ja) | ３ｄコンピュータモデリング装置 | |
| US6563499B1 (en) | Method and apparatus for generating a 3D region from a surrounding imagery | |
| Bernardini et al. | The 3D model acquisition pipeline | |
| US5936628A (en) | Three-dimensional model processing method, and apparatus therefor | |
| US6999073B1 (en) | Method and system for generating fully-textured 3D | |
| CN113298936B (zh) | 一种基于深度学习的多rgb-d全脸材质恢复方法 | |
| CN103503025A (zh) | 基于对对象的模型进行变换来确定模型参数 | |
| WO1998009253A1 (fr) | Procede permettant de fournir des informations sur une texture, procede d'extraction d'objet, procede de production de modeles tridimensionnels et appareillage associe a ceux-ci | |
| US20190188871A1 (en) | Alignment of captured images by fusing colour and geometrical information | |
| US9147279B1 (en) | Systems and methods for merging textures | |
| JP3078166B2 (ja) | 物体認識方法 | |
| US6914601B2 (en) | Method, apparatus, and computer program for generating three-dimensional shape data or volume data | |
| CN118247429A (zh) | 一种空地协同快速三维建模方法及系统 | |
| Schmitt et al. | 3d color object reconstruction from 2d image sequences | |
| Nguyen et al. | High-definition texture reconstruction for 3D image-based modeling | |
| Frommholz et al. | Inlining 3d reconstruction, multi-source texture mapping and semantic analysis using oblique aerial imagery | |
| JP2004252603A (ja) | 三次元データ処理方法 | |
| Hirano et al. | 3D shape reconstruction from 2D images | |
| Wong et al. | 3D object model reconstruction from image sequence based on photometric consistency in volume space | |
| JP4320577B2 (ja) | ３次元モデルの生成方法および装置並びにコンピュータプログラム | |
| JP2003123057A (ja) | ３次元形状モデルの生成方法および装置 | |
| Do et al. | On multi-view texture mapping of indoor environments using Kinect depth sensors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040927 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040928 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20041112 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070629 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070710 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071009 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071022 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111109 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111109 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121109 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121109 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131109 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |