JP2832463B2 - ３次元モデルの再構成方法および表示方法 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、３次元モデルの再構成方法および表示方法
に関し、特に、商品紹介等のプレゼンテーション，新商
品企画等における意匠デザイン，景観シミュレーション
等において有用である。

［従来の技術］ 画像情報からの３次元モデルの再構成については、コ
ンピュータ・ビジョンの技術がある。

例えば「直交性仮説による多面体の３次元形状復元
（電子情報通信学会論文誌Vol.J72−Ｄ−II No.6 pp.88
7−895）」において、１枚の画像から３次元形状を復元
する技術が論じられている。

コンピュータ・ビジョンは、物体や環境の視覚認識を
行うことに主眼があり、空間監視装置やロボット等への
応用に力点が置かれている。

一方、３次元モデルの表示については、コンピュータ
グラフィクスの技術がある。

例えば「３次元コンピュータグラフィックス（中前，
西田供著 昭晃堂）」において、３次元モデルを表示す
る種々の技術が解説されている。

コンピュータグラフィクスは、プレゼンテーションを
目的とした技術であり、シミュレーションやCAD等に応
用されている。

［発明が解決しようとする課題］ 上記従来技術のうち、コンピュータ・ビジョンでは、
再構成した３次元モデルから任意視点方向から見たとき
の投影画像を生成して、これをプレゼンテーションに利
用するといった面からの検討がなされていない。

このため、任意視点から見たときの投影画像を写実的
に生成するには、再構成した３次元モデルの表現形式，
精度，属性情報等の点において不十分なものである。

一方、コンピュータグラフィックスでは、３次元モデ
ルの構築のためのデータの入力を人間が行っている。

しかし、人間が入力できるデータには限界があり、写
実的な画像を表示することは困難である。

また、模様となる画像を３次元モデルに張り付けるテ
クスチャマッピングの技術により３次元モデルの表面の
模様を表現しているが、その模様となる画像は別個に入
力しなければならず、煩雑である。

そこで、本発明は、対象物体の画像から、プレゼンテ
ーションに利用可能な高品質の３次元モデルを再構成す
る方法を提供することを目的とする。また、その３次元
モデルに基づいて、任意方向から見た写実的な画像を表
示する方法を提供することを目的とする。また、対象物
体の画像から模様となる画像を抽出してテクスチャマッ
ピングを行ない、写実的な画像を表示する方法を提供す
ることを目的とする。

［課題を解決するための手段」 第１の観点では、本発明は、画像入力装置から入力さ
れた少なくとも１枚の画像から該画像中の対象物体の３
次元的形状を記述する３次元モデルを再構成する３次元
モデル再構成ステップと、視点方向の入力指示に従い前
記再構成した３次元モデルを該視点方向から見たときの
投影画像を作成する投影画像作成ステップと、前記作成
した投影画像を画像出力装置にて表示する投影画像表示
ステップとを有する３次元モデルの表示方法であって、
前記３次元モデル再構成ステップでは、既知物体の概略
形状を表わす３次元ジェネリックモデルを先験的知識に
基づき作成して記憶装置に保持し、入力画像中の対象物
体とそれに対応する前記既知物体の３次元ジェネリック
モデルの間で頂点等の幾何学的特徴点の対応付けを行う
ことにより前記対象物体の３次元モデルを再構成すると
共に、再構成した３次元モデルの投影画像を画像出力装
置に表示し、該投影画像に対し形状修正指示を行い、こ
の修正指示に基づき、透視変換の性質および物体形状に
関する先験的知識を利用して、３次元モデルの修正を行
うことを特徴とする３次元モデルの表示方法を提供す
る。

第２の観点では、本発明は、既知物体の概略形状を表
わす３次元ジェネリックモデルを先験的知識に基づき作
成して記憶装置に保持し、入力画像中の対象物体とそれ
に対応する前記既知物体の３次元ジェネリックモデルの
間で頂点等の幾何学的特徴点の対応付けを行うことによ
り前記対象物体の３次元モデルを再構成すると共に、再
構成した３次元モデルの投影画像を画像出力装置に表示
し、該投影画像に対し形状修正指示を行い、この修正指
示に基づき、透明変換の性質および物体形状に関する先
験的知識を利用して、３次元モデルの修正を行うことを
特徴とする３次元モデルの再構成方法を提供する。

入力画像中の対象物体とそれに対応する３次元ジェネ
リックモデルの間での頂点等の対応付けは、入力画像と
３次元ジェネリックモデルの投影画像とを画像出力装置
に並べて又は重ね合わせて表示し、対応する頂点等を入
力装置を用いて指示することにより行なうことが出来
る。

３次元モデルの再構成は、入力画像中の対象物体の１
つ以上の頂点座標から目的関数を構成し、物体形状に関
する先験的知識から制約条件を構成して、該制約条件の
下で前記目的関数を最小化する３次元モデルを求めるこ
とにより行うことが出来る。

また、入力画像から対象物体のテクスチャを抽出し、
該テクスチャを、入力画像から再構成した３次元モデル
の表面にマッピングし、テクスチャを有する３次元モデ
ルを再構成することが出来る。

その際、複数枚の入力画像から対象物体のテクスチャ
を抽出し、それらのテクスチャを物体表面上での位置の
対応を取りながら合成し、入力画像から再構成した３次
元モデルの表面にマッピングするのが好ましい。

入力画像としては、実世界の情景等の自然画像を用い
ることが出来る。また、スケッチ，コンピュータグラフ
ィックス等の人工画像を用いることが出来る。

［作用］ 本発明では、透視変換の性質および物体形状に関する
先験的知識（頂点の接続関係，稜線の直交性、平行性
等）を利用して、入力画像中の対象物体の２次元的形状
から該対象物体の３次元的形状を再構成する。さらに、
再構成した３次元モデルの投影画像を画像出力装置に表
示し、形状修正指示が与えられると、その修正指示に基
づき、透視変換の性質および物体形状に関する先験的知
識を利用して、３次元モデルの修正を行う。

例えば、先験的知識に基づき既知物体の概略の３次元
形状を表わす３次元ジェネリックモデルを予め作成し、
入力画像中の対象物体とそれに対応する３次元ジェネリ
ックモデルの間で頂点等の対応付けを行うことにより、
透視変換の関係を利用して、３次元ジェネリックモデル
を修正し、対象物体を精密に表現する３次元モデルを得
る。

再構成した３次元モデルに対し、指定された視点方向
から定まる透視変換を施こせば、該視点方向に対応する
投影画像が得られる。これを表示し、形状修正指示が与
えられると、その修正指示に基づき、透視変換の性質お
よび物体形状に関する先験的知識を利用して、３次元モ
デルの修正を行う。

さらに、入力画像中の対象物体のテクスチャを抽出し
て、３次元モデルの表面にマッピングすることにより、
陰影や模様を有する写実的な投影画像を得ることが出来
る。

［実施例］ 以下、本発明の実施例を第１図〜第13図を参照して説
明する。なお、これにより本発明が限定されるものでは
ない。

第１図は、本発明の３次元モデルの再構成方法および
表示方法の一実施例を示すフローチャートである。この
フローチャートは、第２図に示す画像処理システム210
により実行される。

まず、第１図の処理ブロック100では、第２図の画像
入力装置202を用いて、プロセッサ200に画像入力を行
う。

入力画像は、情景写真のような自然画像であってもよ
いし、また、コンピュータグラフィックス、スケッチ等
の人工画像であってもよい。

入力画像の枚数は、異なる視点から対象物体を撮影あ
るいは描画した複数枚が好ましいが、３次元の情報が含
まれておれば、１枚の画像であっても良い。

ここでは、第４図（ａ），（ｂ）に示すような２枚の
画像300,301を入力するものとする。画像300は自動車を
前方斜め上から写した写真であり、画像301は同じ自動
車を側方やや前上から写した写真である。

次に、第１図の処理ブロック101では、プロセッサ200
が、入力画像中の対象物体に対応する３次元ジェネリッ
クモデルを記憶装置201から取り出し、両者の間で頂点
の対応付けを行う。

ここで、３次元ジェネリックモデルとは、画像入力さ
れる可能性のある物体の一般的な概略形状を表わす３次
元モデルであり、頂点間の接続関係，線分間の平行ある
いは直行関係，形状対称性などに関する先験的知識に基
づき構成され、予め記憶装置201に格納されている。例
えば自動車の３次元ジェネリックモデルを第３図の302
に示す。

記憶装置201に格納された多数の３次元ジェネリック
モデルの中から入力画像中の対象物体に対応するものを
取り出すのは、入力画像を画像処理して特徴を抽出し、
その特徴を含むインデックス情報をもつ３次元ジェネリ
ックモデルを取り出せばよい。あるいは、操作者がキー
ボード204から直接指定してもよい。

入力画像中の対象物体と，取り出した３次元ジェネリ
ックモデルの間での頂点の対応付けは、上記と同様に特
徴抽出により行なうことが出来るが、ここでは次のよう
にして行なう。

すなわち、プロセッサ200は、第５図に示すように、
１枚の入力画像300と,3次元ジェネリックモデルの投影
画像304とを表示装置203に並べて表示する。操作者は、
両者を比較し、座標入力装置205を用いて、対応点を直
接指示する。例えば、第５図では、入力画像300の頂点3
05と,3次元ジェネリックモデルの投影画像304の頂点306
とを対応点として指示する。

そして、入力画像が複数枚のときは、各入力画像に対
して頂点の対応付けを行う。

このため、操作者は、キーボード204から指示を与え
て、他の入力画像を表示させたり,3次元ジェネリックモ
デルの投影画像の視点位置を変えることが出来るように
なっている。

次に、第１図の処理ブロック102では、処理ブロック1
01での対応付け結果に基づいて、入力画像中の対象物体
と整合するように３次元ジェネリックモデルを補正し、
３次元インスタンスモデルを作成する。

例えば、入力画像300,301と対応づけされることによ
り、第３図に示す３次元ジェネリックモデル302が補正
されて、第６図に示す３次元インスタンスモデル307が
作成される。３次元インスタンスモデルでは、対象物体
の３次元座標値まで特定されたものとなる。

ここで、３次元インスタンスモデルの作成方法につい
て、第７図，第８図，第９図を参照して説明する。

まず、第７図における３次元座標系とスクリーン（画
像）座標系の関係を説明する。

３次元座標系Ｘ−Ｙ−ＺのＸ−Ｙ平面上にスクリーン
403を置き、Ｚ軸上，スクリーン403の後方ｆの位置に視
点400を置く。

３次元空間内のある点401の座標を（X,Y,Z）とする
と、この点401のスクリーン403上への透視変換による投
影の座標（x,y）は、次式により得られる。

３次元インスタンスモデルの作成では、対象物体の画
像中での頂点位置（x,y）が与えられたとき、その頂点
の３次元座標（X,Y,Z）を計算することが必要となる。
単一の頂点、単一の視点に対する関係式（１），（２）
からこの計算を行うことは困難であるが、頂点の数，視
点の数が複数となった場合あるいは対象物体を構成する
線分の平行性や直交性に関する先験的知識を用いること
ができる場合には計算が可能となる。

さて、第８図では、第１の視点407に対応する第１の
スクリーン404があり、その第１のスクリーン404をＸ−
Ｙ平面とする第１の３次元座標系X₁−Y₁−Z₁がある。ま
た、第２の視点408に対応する第２のスクリーン405があ
り、その第２のスクリーン405をＸ−Ｙ平面とする第２
の３次元座標系X₂−Y₂−Z₂がある。

第２の視点408,スクリーン405および３次元座標系X₂
−Y₂−Z₂は、（X₁,Y₁,Z₁）＝（0,0,d）の点406を中心に
X₁−Z₁平面内で角度θだけ第１の視点407,スクリーン40
4および３次元座標系X₁−Y₁−Z₁を回転した関係にあ
る。

すなわち、第１および第２の３次元座標系の間の関係
は、次式で与えられる。

X₂＝X₁cosθ＋（Z₁−ｄ）sinθ …（３） Y₂＝Y₁ …（４） Z₂＝−X₁sinθ＋（Z₁−ｄ）cosθ＋ｄ …（５） 従って、３次元空間内の任意の頂点ｉの第１の３次元
座標系における座標が（X_1i,Y_1i,Z_1i）であり、第２の
３次元座標系における座標が（X_2i,Y_2i,Z_2i）であると
すると、次式が成立する。

X_2i＝X_1icosθ＋（Z_1i−ｄ）sinθ …（６） Y_2i＝Y_1i …（７） Z_2i＝−X_1isinθ＋（Z_1i−ｄ）cosθ＋ｄ …（８） 頂点ｉのスクリーン404への透視変換は、次式で与え
られる。

また、スクリーン405への透視変換は、次式により与
えられる。

ここで、 と置く。［…］^Ｔは転置行列である。

は頂点ｉの第１の３次元座標系における座標である。

は第２の３次元座標系における座標である。

また、表記の都合上、 と置く。

上記（６）〜（12）式を整理すると、 となる。

さらに、表記の都合上、 と置く。

は、スクリーン404,405における頂点ｉの座標から定ま
る４×３のマトリクスである。

は、スクリーン404,405における頂点ｉの座標と第１お
よび第２の座標の関係から定まる４×１のマトリクスで
ある。

（19）〜（21）式から を消去して、さらに整理すると、次式を得る。

この（24）式を用いて を求めることが、画像から３次元インスタンスモデルを
再構成することである。

具体的方法は、次の３つの場合がある。

（ｉ）回転角θ，回転中心の座標ｄが既知の場合 撮影条件や，対象物体の基準的な特徴量から、θ,dが
推定できる場合は、（22）式の （23）式の が求まる。このときは、（24）式により を独立に計算することが出来る。ただし、（24）式にお
いて、式の数の方が変数の数よりも多くなっているた
め、（24）式を厳密に満足する解はない。そこで、次の
最小化問題を解くことが必要となる。

この解は容易に求まり、次式で与えられる。

この（26）式を用いれば、 が求まる。

（ii）回転角θ，回転中心の座標ｄが未知の場合 この場合は、（25）式に基づき、θ,dも含めて計算す
る必要がある。このため、（25）式によって得られる残
差を、全頂点に関し総和したものを、θ,dの関数として
表わす。

Ｅはd,θの関数となるので、これをＥ（d,θ）と表わ
すことにする。ここで、Ｅ（d,θ）を最小化するように
d,θの値を定めれば、残差の総和を最小化するd,θの値
が得られる。すなわち、次の最小化問題を解けば良い。

この計算には、最大勾配法，共役傾斜法等の良く知ら
れた非線形最適化法を用いることが出来る。

求めたd,θを（22），（23）式に代入して を計算した後、（24）式を用いれば、 を計算することが出来る。

（iii）回転角θ，回転中心の座標ｄが未知であるが、
物体形状に関する先験的知識を用いることが出来る場合 先験的知識としては、対象物体の稜線（線分）の平行
性，直交性あるいは対象物体の形状の対称性などがあ
る。例えば、２つの線分 と の平行性，直交性は、それぞれ次式で表現することが出
来る。

このような先験的知識に基づく拘束条件をまとめて、 と表わすことにする。そこで、この（iii）の場合は、
（31）式の制約を満たしながら、（27）式の残差の総和
を最小化するように、 を決定すれば良い。

この最も一般的ケースについて、処理手順を第９図の
フローチャートに示す。

第９図の処理ブロック500では、対象物体の頂点の画
像上での座標に基づいて、目的関数Ｅ を生成する。

第９図の処理ブロック501では、物体形状に関する先
験的知識から、制約条件 を生成する。

第９図の処理ブロック502では、制約条件付きの最小
化問題を解き、 を決定する。最小化問題を解くためには、制約条件付き
の最適化方法（例えば、ラグランジェ乗数法、ペナルテ
ィ法など）を使用することが出来る。

以上で、第１図の処理ブロック102における３次元イ
ンスタンスモデルの作成方法についての説明を終る。

さて、第１図の処理ブロック103では、第２図のキー
ボード204あるいは座標入力装置205を用いて、新たな視
点方向λを入力する。

処理ブロック104では、上記のようにして作成した３
次元インスタンスモデルに対し、視点角度λで透視変換
を行い、投影画像を表示装置203に出力する。

この透視変換は、まず、（３），（４），（５）式の
第１の３次元座標系X₁−Y₁−Z₁として３次元インスタン
スモデルを記述する３次元座標系を用い、回転角度θと
して視点角度λを用いて、視点角度λにおける３次元座
標系の座標を計算し、次に、得られた座標を（11），
（12）式に入れて、視点角度λにおけるスクリーン上の
座標を得るものである。

第１図の処理ブロック105では、表示された投影画像
に対し、操作者が修正の必要の有無を判断する。

修正が必要な場合は、処理ブロック106で、修正指示
を入力する。

修正指示は、例えば、第10図に示すように、３次元イ
ンスタンスモデルの投影画像600に対し、画像上での位
置601にある頂点を位置602に変更するといった形で行
う。

第１図の処理ブロック107では、前記修正指示にした
がって３次元インスタンスモデルの頂点の３次元座標を
修正する。この修正は、以下のようにして行う。

すなわち、頂点の元の座標を（X,Y,Z）、その修正量
を（δX,δY,δＺ）、頂点の投影画像上での修正された
座標を（ｘ′,y′）とすると、（１）式（透視変換）か
ら、 の関係がある。

ここで、頂点の元の座標（X,Y,Z）、頂点の投影画像
上での修正された座標（ｘ′,y′）は既知であるから、
（32），（33）式の制約を満足しながら、修正量の２乗
和Ｊ（＝δX²＋δY²＋δZ²）を最小化するように計算す
れば、各修正量δX,δY,δＺが得られる。この最小化計
算も、ラグランジェ乗数法などの方法を用いて容易に行
うことが出来る。

第１図の処理ブロック103〜107は、３次元インスタン
スモデルの修正が必要でなくなるまで、繰り返し行な
う。

第１図の処理ブロック108では、作成した３次元イン
スタンスモデルに対し、入力画像から抽出したテクスチ
ャ（模様、陰影など）をマッピングする。

例えば、第11図に概念的に示すように、３次元インス
タンスモデル700の表面に、入力画像300,301（第４図）
から抽出したテクスチャ張り付けられ、表面に模様や陰
影を持った３次元モデル701が得られる。

以下では、第12図，第13図を参照してテクスチャマッ
ピングの方法を説明する。なお、３次元インスタンスモ
デルの表面は一般に多角形で表現されるとしているが、
第12図に示すように、多角形は三角形に分割可能なの
で、三角形に対するテクスチャマッピングの方法を示せ
ば良い。

いま、第13図において、800,803が入力画像であり、8
11が入力画像800,803に基づいて得られた３次元インス
タンスモデルである。この３次元インスタンスモデル81
1の表面の三角形806に対して、入力画像800の三角形801
および入力画像803の三角形804のテクスチャを合成マッ
ピングする場合を考える。

三角形806の中の任意の点807の座標 は、三角形806の３頂点812,813,814の座標 を用いて、次のように表わせる。

ここで、パラメータα₁,α_２を〔0,1〕の範囲で動か
すことにより、 は三角形806の中の全ての点を表わすことになる。

と置いて、（６）〜（12）式の関係を用いると、３次元
インスタンスモデル811の点807は、入力画像800中の点8
02および入力画像803中の点805に透視変換される。

テクスチャは、デジタル画像の場合は、画素に対して
定められた輝度の集まりとして得られる。入力画像中の
点802および805の輝度をそれぞれQ1,Q2とすると、３次
元インスタンスモデルの点807の輝度Ｑは、Q1とQ2の合
成値として次式により計算することが出来る。

Ｑ＝（Q1＋Q2）/2 …（35） あるいは、透視変換のときの各画像の角度を考慮した
重みw₁,w₂を用いて、 Ｑ＝w₁Q1＋w₂Q2 …（36） により計算することも出来る。

（34）式でα₁,α_２をそれぞれ〔0,1〕の範囲で離散
化して動かし、各（α₁,α_２）の組に対し、（35）式あ
るいは（36）式を用いて、輝度Ｑを計算すると、第14図
に示す三角形900の内部が輝度Ｑの値で充填された数表
が得られる。そこで、例えば３次元インスタンスモデル
811内の点807に対応する（α₁,α_２）が三角形900中の
点901に対応するならば、その点901に、点807に対し計
算された輝度値が書き込まれている。

このようにして、３次元インスタンスモデル811の表
面の三角形806のテクスチャ（輝度値の分布）を表現す
ることが出来る。従って、表面に模様や陰影を持った３
次元モデルが再構成されることになる。

さて、第１図の処理ブロック109では、前記処理ブロ
ック103と同様に、視点方向を入力する。すなわち、対
象物体を見たい角度を指定する。

第１図の処理ブロック110では、前記再構成した３次
元モデルに基づいて、指定された視点方向に対応する投
影画像を生成し、表示装置203に表示する。

この投影画像におけるテクスチャの生成を、第13図を
用い、三角形の場合について説明する。

３次元モデル811中の三角形806を、指定された視点方
向に対し、（６）（７）（８）式および（９）（10）式
を用いて透視変換し、三角形809を得る。808が、該視点
方向での全体投影画像である。三角形806中の点807は、
同様に、（６）（７）（８）式および（９）（10）式を
用いて透視変換し、点810に移る。このとき、３次元モ
デル811中の点807の輝度Ｑは、第14図の（α₁,α_２）の
数表から求めることが出来るので、それを投影画像808
中の点810の輝度Ｑとして割り当てれば良い。このよう
にして３次元モデルの三角形806中の全ての点（離散化
された標本点）の輝度Ｑを、投影画像808中の三角形809
の中にマッピングすることによって、テクスチャを有す
る投影画像が得られることになる。

第１図の処理ブロック111では、終了判定を行い、投
影画像を再生成する要求があれば、前記処理ブロック10
9,110を繰り返す。

［発明の効果］ 本発明の３次元モデルの再構成方法および表示方法に
よれば、情景画像のような自然画像やデザインスケッチ
のような人工画像から、その画像中の対象物体の３次元
モデルを、模様や陰影等を表わすテクスチャまで含めて
再構成し、任意視点から見たときの画像を表示できるよ
うになる。

このため、自動車，ビル等の数枚の写真やスケッチが
あれば、それらを立体的に且つ角度を変えて見ることが
出来るようになるので、プレゼンテーションに極めて有
用となる。

また、コンピュータグラフィックスによる場合に必要
だった３次元モデルのデータ入力の膨大な手間が、格段
に軽減される効果がある。

また、３次元モデルの再構成に３次元ジェネリックモ
デル等の先験的知識を用いているので、計算が比較的容
易になると共に、常識と矛盾した３次元モデルを構築し
てしまうことを防止できるようになる。

【図面の簡単な説明】

第１図は本発明の３次元モデルの再構成方法および表示
方法の一実施例の作動のフローチャート、第２図は本発
明を実施する画像処理システムのブロック図、第３図は
３次元ジェネリックモデルの一例の概念図、第４図
（ａ）（ｂ）は入力された画像の例示図、第５図は頂点
対応づけ時の表示画面の例示図、第６図は３次元インス
タンスモデルの例示図、第７図は透視変換の原理説明
図、第８図は異なる視点における座標の説明図、第９図
は入力情報から３次元インスタンスモデルを生成する作
動のフローチャート、第10図は３次元インスタンスモデ
ルの修正時の画面の例示図、第11図はテクスチャマッピ
ングの概念説明図、第12図は多角形の３角形による分割
の説明図、第13図はテクスチャマッピングの具体例説明
図、第14図は輝度値の数表の概念図である。 （符号の説明） 210……画像処理システム 200……プロセッサ 202……画像入力装置 203……表示装置 204……キーボード 205……座標入力装置 300,301,800,803……入力画像 302……３次元ジェネリックモデル 307……３次元インスタンスモデル 701,811……３次元モデル。

フロントページの続き (72)発明者 加藤 誠 神奈川県川崎市麻生区王禅寺1099番地 株式会社日立製作所システム開発研究所 内 (56)参考文献 特公 平１−42026（ＪＰ，Ｂ２)

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】画像入力装置から入力された少なくとも１
   枚の画像から該画像中の対象物体の３次元的形状を記述
   する３次元モデルを再構成する３次元モデル再構成ステ
   ップと、視点方向の入力指示に従い前記再構成した３次
   元モデルを該視点方向から見たときの投影画像を作成す
   る投影画像作成ステップと、前記作成した投影画像を画
   像出力装置にて表示する投影画像表示ステップとを有す
   る３次元モデルの表示方法であって、前記３次元モデル
   再構成ステップでは、既知物体の概略形状を表わす３次
   元ジェネリックモデルを先験的知識に基づき作成して記
   憶装置に保持し、入力画像中の対象物体とそれに対応す
   る前記既知物体の３次元ジェネリックモデルの間で頂点
   等の幾何学的特徴点の対応付けを行うことにより前記対
   象物体の３次元モデルを再構成すると共に、再構成した
   ３次元モデルの投影画像を画像出力装置に表示し、該投
   影画像に対し形状修正指示を行い、この修正指示に基づ
   き、透視変換の性質および物体形状に関する先験的知識
   を利用して、３次元モデルの修正を行うことを特徴とす
   る３次元モデルの表示方法。
2. 【請求項２】既知物体の概略形状を表わす３次元ジェネ
   リックモデルを先験的知識に基づき作成して記憶装置に
   保持し、入力画像中の対象物体とそれに対応する前記既
   知物体の３次元ジェネリックモデルの間で頂点等の幾何
   学的特徴点の対応付けを行うことにより前記対象物体の
   ３次元モデルを再構成すると共に、再構成した３次元モ
   デルの投影画像を画像出力装置に表示し、該投影画像に
   対し形状修正指示を行い、この修正指示に基づき、透視
   変換の性質および物体形状に関する先験的知識を利用し
   て、３次元モデルの修正を行うことを特徴とする３次元
   モデルの再構成方法。
3. 【請求項３】入力画像と３次元ジェネリックモデルの投
   影画像とを画像出力装置に並べて又は重ね合わせて表示
   し、対応する頂点等を入力装置を用いて指示することに
   より、入力画像中の対象物体とそれに対応する３次元ジ
   ェネリックモデルの間で頂点等の対応付けを行なうこと
   を特徴とする請求項１または請求項２の方法。
4. 【請求項４】入力画像中の対象物体の１つ以上の頂点座
   標から目的関数を構成し、物体形状に関する先験的知識
   から制約条件を構成して、該制約条件の下で前記目的関
   数を最小化することにより、３次元モデルの再構成を行
   うことを特徴とする請求項１から請求項３のいずれかの
   方法。
5. 【請求項５】入力画像から対象物体のテクスチャを抽出
   し、該テクスチャを、入力画像から再構成した３次元モ
   デルの表面にマッピングし、テクスチャを有する３次元
   モデルを再構成することを特徴とする請求項１から請求
   項４のいずれかの方法。
6. 【請求項６】複数枚の入力画像から対象物体のテクスチ
   ャを抽出し、それらのテクスチャを物体表面上での位置
   の対応を取りながら合成し、入力画像から再構成した３
   次元モデルの表面にマッピングして、テクスチャを有す
   る３次元モデルを再構成することを特徴とする請求項１
   から請求項５のいずれかの方法。
7. 【請求項７】入力画像として、実世界の情景等の自然画
   像を用いる請求項１から請求項６のいずれかの方法。
8. 【請求項８】入力画像として、スケッチ，コンピュータ
   グラフィックス等の人工画像を用いる請求項１から請求
   項６のいずれかの方法。