JPH0223473A - ３次元形状モデルへの濃淡付与方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （発明の技術分野） 本発明は、ディジタル処理による画像合成方式に関する
もので、特に、対象物の３次元の形状を表現する３次元
形状モデルに対して、テレビジョン（ＴＶ）カメラ等か
ら入力される２次元画像により表現される該対象物の濃
淡又は濃淡と色の情報を付与する（写像する）方式に関
するものである。

（従来技術） ３次元物体の表面に、ＴＶカメラ等から得られる２次元
画像として表現される濃淡又は濃淡と色の情報を含む濃
淡情報（以下、濃淡情報と略称する場合がある）を付与
する方式としては、従来テキスチャマッピングと呼ばれ
る技術が用いられている。テキスチャマッピングについ
ては、例えば、中前栄へ部、西田友是著：［３次元コン
ピュータグラフィックスＪ昭晃堂、昭和６１年５月刊の
ｐｐ。

１８１〜１８６（特に、ｐｐ、　１８２〜１８３）に説
明がある。

第９図はテキスチャマッピングの考え方を説明するため
の図である。（ａ）が２次元入力画像、（ｂ）が３次元
形状モデルを示す。（ａ）は矩形の平面画像であるが、
これに対して２次元から３次元への座標の変換、すなわ
ち平面画像上の点から３次元形状モデル上の点への変換
を行い、（ｂ）の表面上に（ａ）の画像を貼り付けた（
Ｃ）の画像を得る。（Ｃ）を３次元形状モデルの展開図
の形で示せば、（ａ）の画像が（ｄ）の様に変換された
ことになる。このような技術を用いることにより、任意
の３次元形状の表面上に、２次元画像として与えられる
模様を描いたり、実写により得られる濃淡情報を付与す
ることが可能となる。

第１０図は、テキスチャマッピングを行うためのブロッ
ク図を示したものである。第１０図において、２０は画
像メモリ、２１は３次元形状モデル格納部、２２は２次
元から３次元への座標変換部、２３は画像生成部である
。次に各部の動作を簡単に説明する。

画像メモリ２０は、入力されたディジタル画像を蓄えて
おくためのメモリである。３次元形状モデル格納部２１
は対象物（３次元物体）の３次元形状を格納しておくた
めのものである。３次元形状は例えば数式の形で記述さ
れるか、或いは、表面形状を小多角形の集合の形で近似
することにより表現される。後者の場合、具体的には、
例えば、小多角形を形成する頂点の座標の組が３次元形
状を表現するためのデータとして用いられる。座標変換
部２２では、３次元形状モデル格納部２１から得られる
゛対象物の表面形状に関する情報に基づいて、画像メモ
リ２０に蓄えられた各画素が対象物の表面形状上のどの
位置にくるかを計算する。この段階では３次元座標が得
られるが実際の表示画面は２次元であるので、画像生成
部２３で３次元座標から例えば奥行き座標を無視する形
で表示画面上での座標に直した上で、奥行き座標に基づ
いて隠面消去処理を施し、出力画像を得る。

（発明が解決しようとする課題） 従来のテキスチャマッピングでは、１枚の画像情報に対
して、これを３次元形状の表面上に貼り付けることが考
えられている。３次元物体の表面上に単に模様を付ける
様な場合にはこの方法で行うことができる。

一方、例えば人物頭部の形状を表現するような３次元形
状モデのに対して、ＴＶカメラから入力した濃淡又は濃
淡と色を含む濃淡情報を与える場合には、単に模様とし
てではなく、実際の眼２口。

髪の毛などの位置に対応して、各部分ごとの濃淡情報を
与えなければならない。この様な形式での濃淡情報の付
与に関しては、例えば、金子工夫。

羽鳥好律、小池　淳「形状変化の検出と３次元形状モデ
ルに基づく傾動画像の符号化」電子情報通信学会技術研
究報告ＴＥ８７−１０１　（Ｃ５８７−１２１）。

１９８７年１２月１８日に述べられている。すなわち、
この文献の中ではある一つの方向、具体的には正面から
撮像した１枚の画像情報を頭部を表現する３次元形状モ
デルに付与している。

ところが、人物頭部の形状に代表される様な、見る方向
によって濃淡や色の分布が異なるような対象物、或いは
同じ（人物頭部において目部分や眼などが、発話やまば
たきなどの動きによって見え方が変化する場合の様に、
対象そのものの動き・形状変化がある様な対象物、に対
しては１枚の画像だけから３次元形状モデル全体に関す
る濃淡情報を得ることはできない。異なる方向から撮像
した複数枚の画像から、或いは動き・形状変化に伴う見
え方の変化を表わす動画像として得られる複数枚の画像
から得られる濃淡情報を組合わせて用いる必要がある。

この時、対象物は３次元形状であるので、ある方向から
撮像した画像中で見えている面であっても、↑最像方向
となす角θが９０’に近いような面についてはθがＯｏ
に近い状態で撮像された画像中から濃淡情報を取り出し
た方が、より正確な濃淡情報が得られるという事実があ
る。

すなわち、３次元形状モデルを構成する個々の部分、す
なわち個々の小多角形成いは複数個の小多角形のグルー
プに与えられる濃淡情報を逐次更新していく必要がある
。

従来のテキスチャマッピングでは、単に１枚の画像情報
を３次元物体の表面上に貼り付けているので、そのまま
では、上記のような要求に対処できないことになる。複
数枚の画像を部分的に、従来のテキ、スチャマッピング
の手法で３次元物体の表面上に貼り付けることはもちろ
ん可能であるが、画像間での接続部分をどのように扱え
ば良いかが明らかではなく、また、複数枚の画像に対し
てどの部分を３次元物体の表面上のどの部分に対応させ
れば良いかを自動的に決めることができないという問題
がある。

（発明の目的と特徴） 本発明は、このような従来におけるテキスチャマッピン
グ技術の問題点を解決するためになされたものであり、
対象物たる３次元物体そのものに動きがあるか又はその
撮像方向に変化がある場合に、その３次元物体について
ＴＶカメラ等により複数方向から描像された画像情報に
基づいて、その３次元物体に対応する３次元形状モデル
に付与されるべき濃淡情報を自動的に更新し得る３次元
形状モデルへの濃淡付与方法及び装置を提供することを
目的とする。

本発明の第１の特徴は、３次元物体の形状に対応した３
次元形状モデルの表面形状を小多角形の集合で表現し、
該３次元物体を撮像して得られる画像情報に基づいて濃
淡又は濃淡と色を含む濃淡情報を前記３次元形状モデル
に付与する３次元形状モデルの濃淡付与方法において、 前記３次元物体そのものに動きがあるか又はその撮像の
方向に変化がある場合に、 前記３次元物体の動き・形状変化を撮像することにより
得られる複数枚の画像の情報又は前記３次元物体に対す
る複数方向からの撮像により得られる画像情報に従って
前記小多角形の各々に付与すべき前記濃淡情報を順次更
新し、 任意の方向から見るか又は形状を変化させた前記３次元
形状モデルに濃淡又は濃淡と色とを付与した画像の合成
を行うことにある。

本発明の第２の特徴は、ディジタル化された画像信号を
少なくとも１フレーム期間以上蓄えておくための画像メ
モリと、ディジタル化された画像信号を該画像メモリに
入力するか否かを切換えるためのスイッチと、前記画像
メモリに蓄えられた画像信号に対して画像中の対象物の
形状の特徴を表現するような特徴点を抽出する特徴点抽
出部と、対象物の３次元形状モデルを格納しておくため
の３次元形状モデル格納部と、該３次元形状モデル格納
部に蓄えられた３次元形状モデルの大きさや形状を前記
特徴点抽出部の出力に従って変化させるための３次元形
状モデル変形部と、該３次元形状モデル変形部の出力で
ある変形後の３次元形状モデルを格納するための変形後
の３次元形状モデル格納部と、３次元形状モデルに付与
すべき濃淡情報を蓄えておくための濃淡情報格納部と、
該濃淡情報格納部に蓄えられた濃淡情報と前記変形後の
３次元形状モデル格納部に蓄えられた対象物の３次元形
状モデルと前記画像メモリに蓄えられた入力画像信号に
基づいて濃淡情報の更新を行うか否かを判定する更新判
定部と、該更新判定部での判定結果に基づいて前記画像
メモリに蓄えられた入力画像信号を用いて前記濃淡情報
格納部に蓄えられる濃淡情報の更新を行う更新処理部と
を備えたことにある。

次に本発明の第３の特徴は、前記変形後の３次元形状モ
デル格納部に蓄えられた３次元形状モデルと前記濃淡情
報格納部に蓄えられた濃淡情報に基づいて、前記更新処
理部の出力に対して周囲の非更新部分との濃淡分布の整
合をとるための整合処理部を備え、該整合処理部の出力
により前記濃淡情報格納部に蓄えられる濃淡情報の更新
を行うことにある。

（発明の構成および作用） 実施例について説明する前に、先ず、３次元形状モデル
への濃淡付与の考え方を述べる。

第１図は、対象物たる３次元物体の形状を表現するため
の３次元形状モデルの例を示したものである。人物頭部
の形状を表現したものであり、表面形状を小多角形の集
合で近似的に表わしている。

小多角形としては、第１図では三角形を用いているが、
四角形等でも構わない。

第２図（ａ）　（ｂ）は、３次元形状モデルを構成する
各小多角形、ここでは三角形に対して、入力画像中の画
素から得られる濃淡又は濃淡と色を含む濃淡情報を対応
させる°際の原理を説明したものである。

第２図（ａ）は３次元形状モデルを入力画像中の対象物
に重ね合わせた時の状態を示している。ここで、「重ね
合わせる」とは、例えば第１図に示される様な人物頭部
の３次元形状モデルに対して、入力画像中の人物像の位
置、大きさ、形にあうように修正した後、画面上に投影
することを意味する。

第２図（ａ）において、Ｉｚ、Ｉ□等で示した点が画像
を構成する画素配列である。例えば三角形Ｅ。

Ｅ、Ｅ３については、その内側にある複数個の画素が持
つ濃淡情報が与えられることになる。これらの濃淡情報
は、三角形単位で保持される。第２図（ｂ）は頭の向き
を変えたり、眼や目部分を動かしたりした後の３次元形
状モデル上の三角形を示している。Ｊ　ｌｌ＋　　Ｊ　
Ｉｔ等で示した点が出力画像を構成する画素配列を示し
ている。これらの各画素に、（ａ）と（ｂ）とでの三角
形の対応関係（例えば三角形Ｅ、Ｉ　　Ｅ２＋　　Ｅ、
ｌと三角形Ｅ、Ｅ、Ｅ３が対応）に従って画素１１１＋
　ＩＩ□等から濃淡情報を得ることにより、３次元形状
モデルに濃淡情報を付与し出力画像を作成することがで
きる。すなわち、三角形Ｅ、ｌ　　Ｅ２１　　Ｅ３１内
のＰＩ’　（Ｊ３３に相当）に対して、三角形Ｅｌ’　
　Ｅ！’　　２３°と三角形　Ｅ、Ｅ、Ｅ３との対応関
係に従って、三角形Ｅ、Ｅ２　Ｅ３内での対応点Ｐ、を
求める（第２図中の■）。点Ｐ、の濃淡と色の値を、周
囲の４つの画素１２４＋　Ｉｚｓ＋Ｆ４＋　１３５の濃
淡と色の値から内挿により求める。

この値を点Ｐ１゛での濃淡と色の値とする（第２図中の
■）。

３次元形状モデルを構成する全ての小多角形に濃淡情報
が与えられていれば、上述の手順により、３次元空間内
の任意の方向から対象物を眺めた時の画像を、或いは動
きに伴って奥行き方向での見え隠れがある様な対象物を
眺めた時の画像を、合成することが可能となる。

ここで、各小多角形に付与されるべき濃淡情報をどのよ
うに定めるかが問題となり、以下、これを解決するため
の本発明における実施例を図面を用いて説明する。

第３図は、本発明における第１の実施例を説明するため
のブロック図である。入力画像信号としては、ＴＶカメ
ラ等より得られるＴＶ信号を標本化並びにアナログ／デ
ィジタル変換して得られるディジタル画像信号を考える
。第３図において、１は画像メモリ、２は３次元形状モ
デル格納部、３は変形後の３次元形状モデル格納部、４
は濃淡情報格納部、５は特徴点抽出部、６は３次元形状
モデル変形部、７は更新判定部、８は更新処理部、９０
０はディジタル画像信号入力用の端子、９０１はスイッ
チである。

次に各部の動作について説明する。画像メモリ１は、入
力されたディジタル画像を少なくとも１フレ一ム期間以
上蓄えおくためのメモリである。

メモリの内容は、更新判定部７により制御されるスイッ
チ９０１により、新たな入力画像に書き換えられる。

次に、３次元形状モデル格納部２、及び変形後の３次元
形状モデル格納部３は基本的にはメモリであり、３次元
形状モデルの表面形状を表現する小多角形の座標データ
を蓄えておくためのものである。一方、濃淡情報格納部
４も、基本的にはメモリであり、例えば各小多角形単位
に入力画像から得られる濃淡情報を蓄えておくためのも
のである。

特徴点抽出部５は、画像メモリ１に蓄えられた画像デー
タ中から、対象物の形状を表現する様な特徴点を抽出す
る。具体的には、例えば閾値Ｔｈを用いた２値化処理を
行う。ディジタル画像を構成する画素ｆ　（ｉ、ｊ）に
対して、 ｆ　（ｉ、ｊ）≧Ｔｈの時、　　ｇ　（ｉ、Ｄ　＝　１
ｆ（ｉ、Ｄ＜Ｔｈ０時、　ｇ　（ｉ、ｊ）　＝　０で与
えられる２値画像Ｇ−（ｇ（ｉ、Ｄ）を得る。

対象物は値１の画素の固まりとして得られ、この固まり
の輪郭形状を求めることにより、対象物の形状を知るこ
とができる。輪郭形状の中から、３次元形状モデルに対
して予め定められている特徴点の位置を求める。特徴点
は例えば、角の点や曲率が急激に変化する点などである
。なお、特徴点は、入力画像に対してエツジ検出処理を
施して濃淡が急激に変化する部分を検出し、更に２値化
処理により強度の大きいエツジのみを抽出することによ
っても求めることができる。

次に３次元形状モデル変形部６では、特徴点抽出部５の
結果に基づいて、形状モデル上の特徴点が入力画像中の
どの部分に対応するかを定め、３次元形状モデルの大き
さや向き、形状が入力画像中の対象物に一致するように
、３次元形状モデル格納部２に蓄えられた３次元形状モ
デルに対して変形処理を行う。変形処理としては、基本
的には、３次元での回転操作とアフィン変換で実行する
ことができる。このようにして変形された３次元形状モ
デルは変形後の３次元形状モデル格納部３に蓄えられる
。

次に、更新判定部７は、画像メモリ１．変形後の３次元
形状モデル格納部３．濃淡情報格納部４に接続され、３
次元形状モデルを構成する小多角形単位に、現在濃淡情
報格納部４に蓄えられている該当小多角形の濃淡情報を
、画像メモＩＪ　ｌから新たに得られる濃淡情報を用い
て更新するか否かの判定を行う。この結果に基づいて、
更新処理部８において、実際に濃淡情報格納部４に蓄え
られる該当小多角形の濃淡情報を更新する。

ここで、更新判定部７の構成および動作について詳しく
説明する。第４図は、更新判定部７の一構成例を説明す
るためのブロック図である。図中破線で囲んだ部分が更
新判定部７の内容である。

第４図において、６００は法線ベクトル算出部、６０１
は可視判定部、６０２は画素数計数部、６０３は比較回
路、６１０はカウンタ、６１１は比較回路、６１２はＯ
Ｒ回路である。他は第３図と同様である０次に各部の動
作を説明する。

カウンタ６１０．比較回路６１１は更新判定部の動作を
制御するために用いられる。すなわち、濃淡情報の更新
処理は、３次元形状モデルを構成する小多角形単位に順
次行う必要があり、カウンタ６１０により順次、小多角
形の番号を発生する。比較回路６１１は、カウンタ６１
０の出力の値りが、小多角形の総数り、□以下であるか
どうかを判定する。

Ｌ＞Ｌ、、、となった場合には、現入力画像に対して全
小条角形についての更新判定が行われたことを意味し、
スイッチ９０１をオンにして、新たな入力画像を画像メ
モリ１に書き込ませる。また、カウンタ６１０のリセッ
トを行う。カウンタ６１０は、一つの小多角形に対する
更新判定処理が終了するごとに、ＯＲ回路６１２の出力
によりカウントアツプされる。

法線ベクトル算出部６００から比較回路６０３までの部
分が濃淡情報の更新を行うか否かを判定するための主要
部分である。まず、法線ベクトル算出部６００では、変
形後の３次元形状モデル格納部３より得られるＬ番目の
小多角形（ここでは、簡単のため三角形で考える）の頂
点座標に基づいて法線ベクトルｍを計算する。法線ベク
トルｎは、三角形の面がどの方向を向いているかを示す
。第５図は法線ベクトル１の算出方法を説明するための
図である。Ｐ、、Ｐ２．Ｐ、は三角形の３つの頂点であ
り、各々の座標値を（Ｘ＋＋３’ｌ＋Ｚυ＋（Ｘｔ＋）
’ｔ＋Ｚｚ）＋　（Ｘｓ＋３’３＋２３）　　とする。

この時、ベクトルａ、Ｔｏを各々、 ａ”’（Ｘｚ　　Ｘ＋＋）’ｚ　　）’ＩＩＺ！　　Ｚ
ｌ）ｈ−（ｘ、−χＩＩ）’＋　　＞’１ｌＺ３　　Ｚ
ｌ）で定義する。法線ベクトルｎ　”　（ｎ　＋　＋　
ｎ　ｚ　＋　ｎ　３）はａ、ｂの外積ｒａ＝ａＸＴｏと
して求められる。

可視判定部６０１では、法線ベクトル算出部６００から
得られる小多角形の法線ベクトルｎと、観察者が対象物
を眺める時の向きを表現する視線ベクトル■との内積ｎ
−ｖを計算する。第６図は小多角形の向きと１・Ｖの値
との関係を説明するための図である。１・Ｖの値の正負
に応じて、その小多角形が見えるか（ａ）、見えないか
（Ｃ）を判定することができる。１・Ｖ＝Ｏの場合は臨
界的な状態（ｂ）であるが、実質的に小多角形の面を見
ることはできないので「見えない」と判定する。以上に
より見えないと判定された小多角形については以後の更
新判定処理を行う必要はなく、ＯＲ回路６１２を介して
カウンタ６１０をカウンタアップし、次の小多角形に対
する更新判定処理に進む。

画素数計数部６０２では、可視判定部６０１で「見える
」と判定された小多角形について、入力画像から何個分
の画素数の情報が得られるかを求める。

これは３次元形状上の小多角形であるため、同じ「見え
る」状態であっても、視線ベクトルＶと法線ベクトルｎ
のなす角が小さい方がより多くの画素情報が得られるこ
と、また、異なる拡大率で得られた画像について、より
多くの画素情報が得られる画像から濃淡情報を取得した
方が良いこと、などのためである。画素数の計数は、入
力画像中の対象物と３次元形状モデルとは３次元形状モ
デル変形部６で位置合わせがされているため、入力画像
中の対象物上に小多角形を重ね合わせ、小多角形の内側
に存在する画素の数Ｍ１を数えることにより行われる。

比較回路６０３では、Ｌ番目の小多角形について、画素
数計数部６０２で求められた画素数Ｍ、と、それ以前に
求められ濃淡情報格納部４に蓄えられていたＬ番目の小
多角形に対する画素数Ｍ０との大小比較を行う。Ｍ１≦
Ｍ０の場合には、更新処理を行うとかえって小多角形に
割り当てられる画素数が減ってしまうため、更新処理を
行わないと判定する。この時ＯＲカウンタ６１２を介し
てカウンタ６１０をカウントアツプし、次の小多角形に
対する更新判定処理に進む。Ｍ、＞ＭＯの場合には、更
新処理により、以前より多くの画素情報が得られるため
、更新処理部８において、Ｌ番目の小多角形に対する濃
淡情報の更新を行う。

以上が更新判定部７の一構成例及び動作に対する説明で
ある。上記では、３次元形状モデルを構成する小多角形
の可視判定と画素数によって濃淡情報に対する更新判定
を行っているが、小多角形どうしが奥行き方向で互いに
重なり合っている場合の奥側の小多角形については、上
記に加えて更に、小多角形を構成する全画素の内、入力
画像中で実際に見えている画素の数の割合を算出し、こ
の割合が更新前に比べて増えるのであれば更新処理を行
う、という方式をとることも可能である。

次に、更新処理部８の動作を説明する。更新処理部８で
は、更新判定部７で「更新」と判定された小多角形につ
いて、画像メモリ１に蓄えられた入力画像中から、該当
小多角形に対応した範囲の画素情報を取り出し、画素数
とともに、濃淡情報格納部４へ送る。

以上の動作により、入力画像として、対象物を様々な向
きから１最像した画像又は対象物の動き・形状変化に伴
う見え方の変化を表わす動画像として得られる複数枚の
画像が与えられれば、３次元形状モデルを構成する小多
角形群の各々に濃淡情報を付与することができる。この
ようにして、３次元形状に対応した濃淡情報が得られる
と、３次元形状モデルを任意の方向から眺めた時の画像
の合成が可能となる。第７図は、３次元形状モデル格納
部２、及び濃淡情報格納部４に基づいた画像合成方式の
ブロック図である。第７図において、１００は３次元形
状モデル座標変換部、１０１は表示画素決定部、１０２
は画像生成部である。座標変換部１００では、３次元形
状モデルに対して３次元での回転操作や、例えば伸び縮
みなどに対応した形状変形処理を施す０表示画素決定部
１０１では、座標変換部１００から得られる３次元形状
モデルの形状情報に基づいて、モデル上の各小多角形に
付与すべき濃淡情報を、濃淡情報格納部４より取得する
。更に、画像生成部１０２により、２次元の表示画像を
得る。第７図は完全な濃淡情報が得られた後での画像合
成方式を示したものであるが、もちろん、これを第３図
に示される本発明による３次元形状モデルへの濃淡付与
方法と組合わせることもできる。

次に第８図は、本発明における第二の実施例を説明する
ためのブロック図である。第８図において、９は整合処
理部であり、他は第３図と同様である。

先に述べた本発明における第一の実施例により、３次元
形状モデルに対して、複数の方向から対象物を撮像した
入力画像に基づ（濃淡情報を付与することができる。と
ころで、光源と対象物との相対的位置が画像によって異
なっている場合には、３次元形状モデルを構成する小多
角形について、同じ小多角形であっても画像ごとに濃淡
の分布が違っていることが起こり得る。これは、主とし
て陰影の生じ方の違いによるものである。この様に、画
像ごとに濃淡の分布が違っている場合には、濃淡情報が
更新された小多角形と、その周囲の更新されていない小
多角形との間で濃淡分布に不連続が生じることになる。

この結果、得られた濃淡情報を用いて合成された画像も
不自然な画像になってしまうため、更新部分と非更新部
分との間で整合をとるための処理が必要となる。

第８図では、この目的のために、更新処理部７と濃淡情
報格納部４との間に、整合処理部９を設けている。次に
整合処理部９の動作例について具体的に説明する。

整合処理部９ではまず、更新された濃淡情報について小
多角形内での平均値Ｅを求める。一方、周囲の更新され
ていない小多角形について、濃淡情報格納部４より濃淡
情報を得、平均値Ｅｓを求める。この時、更新された濃
淡情報ｆ　（ｉ、ｊ）にっいて、ｆ　（ｉ、ｊ）　＋（
Ｅ　ｓ　　Ｅ）により求められる値を新たな濃淡情報ｆ
　（ｉ、ｊ）とすることにより濃淡値の修正を行う。こ
れにより、周囲の濃淡情報と平均値を合わせることがで
きる。更に、更新部分と非更新部分の境界近辺の画素に
ついて例えば平滑化処理を施すことにより、境界近辺で
の濃淡変化を滑らかにさせることができる。

（発明の効果） 以上のように、本発明により、対象物たる３次元物体に
対応する３次元形状モデルに対して、入力画像中のその
対象物との対応付けを行った上で、３次元形状モデルを
構成する小多角形に付与すべき濃淡情報を、入力画像に
応じて順次更新していくことが可能である。この結果に
基づいて実際の濃淡分布を有した３次元物体の画像を容
易に合成することができる。従来のテキスチャマッピン
グ技術では、平面画像を３次元物体表面上に写像するこ
とはできるが、複数方向から撮像された実写画像に基づ
いて、３次元形状に対して完全な濃淡情報を与えること
はできず、本発明により、初めて３次元形状モデルへの
正確な濃淡情報の付与が可能になった。

この様な技術は、３次元物体のリアルな表示を必要とす
る様々な分野、例えば３次元モンタージュ、建築、製品
デザイン、コンピュータグラフィックスで代表される映
像製作２等々で極めて有効な手法となる。また送・受信
側双方で対象物に関する３次元形状モデルを用意して、
モデルの変形情報の伝送のみにより動画像符号化を行う
という、いわゆる知的画像符号化方式において、対象物
を様々な方向から眺めた時の画像を合成する上で必須の
技術となる。

るブロック図、第５図は３次元形状モデルを構成する小
多角形に対する法線ベクトルの算出方法を説明するため
の略図、第６図は３次元形状モデルを構成する小多角形
に対する可視判定の考え方を説明するための略図、第７
図は本発明を利用した画像合成方式の動作に対応するブ
ロック図、第８図は本発明の第２の実施例に対応するブ
ロック図、第９図は従来のテキスチャマッピングの原理
を説明するための略図、第１０図は従来のテキスチャマ
ッピングによる画像合成方式の動作に対応するブロック
図である。

【図面の簡単な説明】

Claims (3)

【特許請求の範囲】
1. （１）３次元物体の形状に対応した３次元形状モデルの
   表面形状を小多角形の集合で表現し、該３次元物体を撮
   像して得られる画像情報に基づいて濃淡又は濃淡と色を
   含む濃淡情報を前記３次元形状モデルに付与する３次元
   形状モデルの濃淡付与方法において、 前記３次元物体そのものに動きがあるか又はその撮像の
   方向に変化がある場合に、 前記３次元物体の動き・形状変化を撮像することにより
   得られる複数枚の画像の情報又は前記３次元物体に対す
   る複数方向からの撮像により得られる画像情報に従って
   前記小多角形の各々に付与すべき前記濃淡情報を順次更
   新し、任意の方向から見るか又は形状を変化させた前記
   ３次元形状モデルに濃淡又は濃淡と色とを付与した画像
   の合成を行う ことを特徴とする３次元形状モデルへの濃淡付与方法。
2. （２）ディジタル化された画像信号を少なくとも１フレ
   ーム期間以上蓄えておくための画像メモリと、ディジタ
   ル化された画像信号を該画像メモリに入力するか否かを
   切換えるためのスイッチと、前記画像メモリに蓄えられ
   た画像信号に対して画像中の３次元物体そのものに動き
   があるか又はその撮像の方向に変化がある場合に該３次
   元物体の形状の特徴を表現するような特徴点を抽出する
   特徴点抽出部と、前記３次元物体の３次元形状モデルを
   格納しておくための３次元形状モデル格納部と、該３次
   元形状モデル格納部に蓄えられた前記３次元形状モデル
   の大きさや形状を前記特徴点抽出部の出力に従って変化
   させるための３次元形状モデル変形部と、該３次元形状
   モデル変形部の出力である変形後の３次元形状モデルを
   格納するための変形後の３次元形状モデル格納部と、前
   記３次元形状モデル又は前記変形後の３次元形状モデル
   に付与すべき濃淡又は濃淡と色を含む濃淡情報を蓄えて
   おくための濃淡情報格納部と、該濃淡情報格納部に蓄え
   られた濃淡情報と前記変形後の３次元形状モデル格納部
   に蓄えられた前記３次元物体の３次元形状モデルと前記
   画像メモリに蓄えられた入力画像信号に基づいて濃淡情
   報の更新を行うか否かを判定する更新判定部と、該更新
   判定部での判定結果に基づいて前記画像メモリに蓄えら
   れた入力画像信号を用いて前記濃淡情報格納部に蓄えら
   れる濃淡情報の更新を行う更新処理部とを備えたことを
   特徴とする３次元形状モデルへの濃淡付与装置。
3. （３）前記変形後の３次元形状モデル格納部に蓄えられ
   た３次元形状モデルと前記濃淡情報格納部に蓄えられた
   濃淡情報に基づいて前記更新処理部の出力に対して周囲
   の非更新部分との濃淡分布の整合をとるための整合処理
   部をさらに備え、該整合処理部の出力により前記濃淡情
   報格納部に蓄えられる濃淡情報の更新を行うことを特徴
   とする特許請求の範囲第２項記載の３次元形状モデルへ
   の濃淡付与装置。