JPH06259571A

JPH06259571A - 画像合成装置

Info

Publication number: JPH06259571A
Application number: JP4350093A
Authority: JP
Inventors: Masamichi Nakagawa; 雅通中川
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1993-03-04
Filing date: 1993-03-04
Publication date: 1994-09-16

Abstract

(57)【要約】【目的】複数枚の画像を３次元形状データに計算され
た混合比を用いて混合テクスチャマッピングする画像合
成装置を実現する。【構成】３次元形状モデル記憶部１０１の３次元形状
データに、画像記憶部１０３の複数の画像を、対応情報
記憶部１０４の対応情報と、混合比計算部１０５で得ら
れた混合比により、混合テクスチャマッピングすること
により画像を合成する。【効果】不自然に引き延ばされてテクスチャマッピン
グされた領域や、ポリゴンの繋ぎ目、画像の境界のない
テクスチャマッピングが可能となる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像の合成装置に関す
るものである。

【０００２】

【従来の技術】３次元の形状モデルから画像を合成する
装置に関して、コンピュータグラフィックスの分野など
でレンダリングという技術が開発されている。たとえば
物体の表面の光に対する反射を数学モデルで近似し画像
を合成するシェーディング技術、視点から光源までの光
線の経路を逆に追跡し画像を合成するレイトレーシング
技術、画像の濃淡、色、凹凸などを３次元モデルの上に
疑似的に貼り付けることにより画像を合成するテクスチ
ャマッピング技術などがある。

【０００３】特にテクスチャマッピングの技術は少ない
計算量でリアリティのある画像を合成できるため広く利
用されている。このテクスチャマッピングについては、
たとえば水上孝一著、「コンピュータグラフィック
ス」、朝倉書店、１９８９年６月、pp.188-198などに記
されている。

【０００４】

【発明が解決しようとする課題】しかしながら従来のテ
クスチャマッピング技術では、貼り付ける画像が１つで
あったため、画像を撮影したカメラ視点と大きく離れた
視点からの画像を合成すると、視点からの物体までの直
線（以下、視線ベクトルと呼ぶ）と物体表面に垂直に立
つ直線（以下、物体表面の法線ベクトルと呼ぶ）のなす
角度の大きな場所などにおいて、テクスチャマッピング
された画像が引き延ばされて歪む、あるいは貼り付ける
画像が無いために合成画像にテクスチャマッピングされ
ない領域が生じるなどの問題点があった。

【０００５】また画像の端がテクスチャマッピングされ
る領域において、画像の端のエッジが合成画像に生じる
といった問題点もあった。

【０００６】本発明は上記問題点を解決し、任意方向の
視点からのテクスチャマッピングによる画像合成装置を
提供することを目的とする。

【０００７】

【課題を解決するための手段】本発明は上記問題点を解
決するために、複数枚の画像を用い、物体のある領域に
テクスチャマッピングをおこなうとき、複数の画像の濃
淡値、色などのテクスチャ情報を、その領域の性質、元
の画像の性質などから求めた混合比によって、混合率を
変えてテクスチャマッピングするようにしたものであ
る。

【０００８】

【作用】本発明によれば、たとえば３次元物体の正面と
側面の２方向から撮影した画像を用い、この２つの画像
を混合してテクスチャマッピングすることにより、正面
と側面の中間の角度からの見た画像を合成する場合、正
面からの画像だけでのテクスチャマッピングのときのよ
うに物体の側面領域の合成画像が引き延ばされすぎて歪
んだ画像や、対応する画像が無いためにテクスチャマッ
ピングされない領域がある画像が合成されることが無く
なる。

【０００９】また複数の画像を混合して用いるため、複
数の画像の繋ぎ目や、画像の端の部分でのエッジなどが
目だたない画像を合成することができる。

【００１０】

【実施例】以下、本発明の実施例を図面を用いて詳細に
説明する。図１は本発明の実施例の画像合成装置の構成
を示すブロック図である。図１において、１０１は物体
の３次元形状データを記憶した３次元モデル計算部であ
り、１０２は３次元形状データを２次元画像上の投影デ
ータに変換する投影変換部であり、１０３は複数の画像
を記憶しておく画像記憶部であり、１０４は３次元形状
データと画像記憶部の複数の画像から、各画像と３次元
形状データの対応情報を記憶する対応情報記憶部であ
り、１０５は投影データと対応情報からテクスチャマッ
ピングにおける混合比を計算する混合比計算部であり、
１０６は投影データＢに対応情報と混合比を用いて画像
をテクスチャマッピングし、合成画像を出力する混合テ
クスチャマッピング部である。

【００１１】上記のように構成された画像合成装置につ
いて、以下その動作について説明する。

【００１２】まず物体の３次元モデルは、たとえば物体
の表面を小さな多角形（以下ポリゴンと呼ぶ）の平面で
近似したポリゴンモデルで記述されている。図２ａに球
をポリゴンモデルで表した模式図を示す。図２ｂはその
中の１つのポリゴンを示している。図２ｂにおいて、頂
点Ｖ２０１、Ｖ２０２、Ｖ２０３はそれぞれ３次元の座
標値（Ｘ，Ｙ，Ｚ）で記述される。またＶ２０１，Ｖ２
０２，Ｖ２０３の形づくるポリゴンＰ１は、その周囲の
頂点の番号を半時計回りにＶ２０１−Ｖ２０２−Ｖ２０
３と記述することで表現されている。

【００１３】画像は、濃淡値、あるいはカラーの場合は
赤、緑、青の色の濃淡値を要素に持つ２次元信号で表現
されている。

【００１４】対応情報記憶部１０４には、３次元形状デ
ータの各頂点が画像のどの位置に対応するかを記述して
ある。図３にこの対応の様子を示す。三角錐の３次元形
状データ３０１は頂点Ｖ３１，Ｖ３２、Ｖ３３、Ｖ３４
から構成される。ポリゴンは頂点を面の外側から見て反
時計回りに記述する。図３ａの場合は、Ｐ３１＝｛Ｖ３
１，Ｖ３２、Ｖ３３｝、Ｐ３２＝｛Ｖ３１、Ｖ３３，Ｖ
３４｝、Ｐ３３＝｛Ｖ３１，Ｖ３４，Ｖ３２｝、Ｐ３４
＝｛Ｖ３２，Ｖ３３，Ｖ３４｝の４面で構成されてい
る。

【００１５】３次元形状データの各頂点Ｖ３１、Ｖ３
２、Ｖ３３、Ｖ３４が画像３０２で対応する点をそれぞ
れＲ３１、Ｒ３２、Ｒ３３、Ｒ３４とすると、これが画
像と３次元形状モデルの対応情報となる。これらの対応
点は画像の左上を原点とした２次元座標で表現されてい
る。

【００１６】対応情報として３次元形状データの各頂点
に対応した画像上の点を持っておけば、ポリゴンに対応
する画像上の領域は、対応する点を結んだ多角形とな
る。例えば、Ｐ３１に対応する領域はＲ３１、Ｒ３２、
Ｒ３３で囲まれた３角形領域である。

【００１７】従って、対応情報記憶部１０４には、３次
元形状データの１つの頂点にたいして画像の番号と対応
点の座標の組が、画像の個数だけ記述されている。

【００１８】図３ｂが物体を図３ａの正面から見た時の
画像だとするとポリゴンＰ３３、Ｐ３４に対応するこの
画像上の領域は他の面で隠されており、この画像上では
対応領域がない。この場合、例えばポリゴンＰ３３に対
応する領域は｛Ｒ３１、Ｒ３４、Ｒ３２｝となり頂点の
順番は時計回りになっている。このように時計回りの領
域は、他の面に隠されて対応する領域が無いとして処理
する。１枚のみの画像を用いたテクスチャマッピングで
は、このような領域が合成画像で欠けた領域となった
が、複数枚の画像を用いる本装置においては他の画像に
よりテクスチャマッピングできる。

【００１９】次に投影変換部１０２において、３次元形
状モデルを投影変換する。投影変換については、たとえ
ば水上孝一著、「コンピュータグラフィックス」、朝倉
書店、１９８９年６月、pp.136-154などに記されている
ように、３次元形状モデルの頂点の３次元座標値を、合
成画像上の２次元座標値に変換する。合成画像は画像と
同様に２次元の信号である。この２次元信号の各座標点
（以下画素と呼ぶ）の濃淡値、色を計算することによ
り、合成画像が出力される。

【００２０】この各画素を順次定めるため、各ポリゴン
をスキャンライン法によりスキャンする。この方法につ
いて図４を用いて説明する。

【００２１】４０１は合成画像であり、その上に投影変
換された頂点Ｖ４１、Ｖ４２、Ｖ４３で記述されるポリ
ゴンＰ４がある。このポリゴンＰ４の各画素を合成画像
上に一定方向に直線ｋでスキャンする。この図の場合は
上から下に水平線によりスキャンしているとする。この
直線ｋをスキャンラインと呼ぶ。

【００２２】このスキャンラインｋは頂点Ｖ４１とＶ４
２をｍ１：ｎ１に内分する点ｓ１と、Ｖ４１とＶ４３を
ｍ２：ｎ２に内分する点ｓ２を結んだ直線として表現で
きる。またこのスキャンライン上の点Ｓはｓ１とｓ２を
ｍ３：ｎ３に内分する点とする。この点Ｓが示す画素の
値を決定することが合成画像を計算することになる。

【００２３】一方４０２はマッピングされる画像の１つ
を表している。投影データの頂点Ｖ４１、Ｖ４２、Ｖ４
３に対応する点がＲ４１，Ｒ４２、Ｒ４３である。スキ
ャンラインｋに対応する直線ｌは、Ｒ４１とＲ４２をｍ
１：ｎ１に内分する点ｔ１とＲ４１とＲ４３をｍ２：ｎ
２に内分する点ｔ２を通る直線である。同様に点Ｓに対
応する点は、点ｔ１と点ｔ２をｍ３：ｎ３に内分する点
Ｔ１である。

【００２４】画像４０２以外の画像に対しても、同様に
して点Ｓに対応する点を計算しＴ２、Ｔ３．．．Ｔｎ
（ｎは画像の数）とする。

【００２５】次に混合比計算部１０５において、それぞ
れの点Ｔ１、．．．、Ｔｎに対応する混合比を計算す
る。この混合比をＭ１、．．．、Ｍｎとすると、ポリゴ
ンＰ４に対応する各画像上の多角形の面積をＡ
１、．．．、Ａｎとして、次の式により計算する。

【００２６】

【数１】

【００２７】つまりポリゴンＰ４に対応する画像上の領
域が大きい程、ポリゴンに対する影響を大きくする。定
性的に説明すると、マッピングされる画像のカメラ視点
と合成画像の視点が近いほど、この混合比が大きくな
る。例えば正面と側面の画像を用いた場合、合成画像の
視点が正面方向に近いほど正面の画像の混合比が大きく
なり、逆に側面方向に近いほど側面の画像の混合比が大
きくなる。

【００２８】また混合比を利用しているので、隣接する
ポリゴン間で徐々に混合比が変化するため、ポリゴンの
境界や、マッピングされる画像の境界のエッジなどが目
立たない。

【００２９】あるいは、（数１）の面積Ａｉの代わり
に、画像４０２上のｔ１とｔ２の距離を用いることもで
きる。ポリゴンの面積を用いる場合は、１つのポリゴン
で混合比は一定であったが、この場合はポリゴン内部で
も混合比が変化するため、よりなめらかな混合が可能に
なる。

【００３０】または、マッピングされる画像のカメラ視
点を対応情報記憶部に記憶しておき、このカメラ視点と
３次元形状データの各頂点を結んだベクトルを対応点の
視線ベクトルとして、各頂点について画像毎に計算す
る。このカメラ視点と視線ベクトルの関係を図５を用い
て説明する。図５において５０１は対象とする３次元物
体、５０２はマッピングされる画像である。マッピング
される画像５０２は、カメラ視点５０３から３次元物体
５０１を見た投影像であるとすると、点線で示されるよ
うに各頂点と画像上の対応点が直線で結ばれる。この直
線上のベクトルｅ１，ｅ２，ｅ３，ｅ４が各対応点の視
線ベクトルである。このベクトルは方向のみを用いるた
めベクトルの大きさは処理に関係ないため、大きさ１の
単位ベクトルに正規化しておく。

【００３１】一方、各頂点は３次元形状データとして周
囲のポリゴンの法線ベクトルを合成した法線ベクトルを
持っている。したがって各頂点は１つの３次元形状デー
タとしての法線ベクトルと、画像の数だけの視線ベクト
ルを持っている。

【００３２】今、図４のＴ１での法線ベクトルは、頂点
Ｖ４１、Ｖ４２の法線ベクトルをｍ１：ｎ１で内分した
ベクトルをｓ１の法線ベクトルとし、同様に頂点Ｖ４１
とＶ４３の頂点ベクトルをｍ２：ｎ２で内分したベクト
ルをｓ２の法線ベクトルとして、ｓ１，ｓ２の法線ベク
トルをｍ３：ｎ３で内分したベクトルで計算される。同
様にして、Ｔ１での視線ベクトルもＲ４１，Ｒ４２、Ｒ
４３の視線ベクトルを内分することにより求められる。

【００３３】つぎに、Ｓでの視線ベクトルとＴ１での視
線ベクトルのなす角度を式１の面積の代わりに用いるこ
とにより、混合比を計算する。視線ベクトルを用いるこ
とにより、合成画像の各画素毎に混合比を変化させるこ
とができ、より滑らかな混合が可能となる。

【００３４】以上の混合比の計算において、式１のよう
に混合比を面積、線分の長さ、または角度に線形に対応
づけるだけでなく、さまざまな対応関数を用いることも
可能である。例えば、全画像の面積の合計に対する対象
画像の面積の比、つまり式１の右辺がある一定の値以上
の場合は、混合比を１にして他の画像の混合比を０にす
るような対応づけも考えられる。

【００３５】次に混合テクスチャマッピング部におい
て、合成画像上の画素の濃淡値、色情報を計算する。点
Ｓの濃淡値、色情報をＶＡＬ（Ｓ）とし、Ｔ１．．．Ｔ
ｎの濃淡値、色情報をＶＡＬ（Ｔ１）．．．ＶＡＬ（Ｔ
ｎ）とする。ＶＡＬ（Ｓ）は次の式で計算される。

【００３６】

【数２】

【００３７】これをポリゴン内の全ての画素、および全
てのポリゴンについておこなうことにより合成画像が出
力される。

【００３８】

【発明の効果】上記のように本発明は、複数枚の画像を
混合比で混合してテクスチャマッピングすることによ
り、不自然に引き延ばされてテクスチャマッピングされ
る領域が無くなり、高品質な合成画像を得ることが可能
となる。

【００３９】また、混合比を用いてポリゴンまたはスキ
ャンライン毎に混合比を計算することにより、ポリゴン
間の繋ぎや、マッピングされる画像の境界などの不連続
を滑らかにした画像合成が可能となる。

【図面の簡単な説明】

【図１】本発明の実施例の画像合成装置の構成を示すブ
ロック図

【図２】３次元形状データの例

【図３】３次元形状データと画像と対応情報の関係を説
明する図

【図４】混合比の計算方法を説明する図

【図５】視線ベクトルを説明する図

【符号の説明】

１０１３次元モデル記憶部１０２投影変換部１０３画像記憶部１０４対応情報記憶部１０５混合比計算部１０６混合テクスチャマッピング部３０１三角錐の３次元形状データ３０２画像４０１投影データ４０２画像５０１３次元物体５０２画像５０３カメラ視点

Claims

【特許請求の範囲】

【請求項１】物体の３次元形状データを記憶した３次元
モデル記憶部と、複数の画像を記憶する画像記憶部と、
３次元形状データを一定方向から見た合成画像上の投影
データに変換する投影変換部と、３次元形状データと各
々の画像との対応情報を記憶する対応情報記憶部と、前
記投影変換部により得た投影データと前記対応情報記憶
部に記憶した対応情報とから各々の画像に対する混合比
を計算する混合比計算部と、投影データに対応情報と混
合比を用いて、各画像をテクスチャマッピングし画像を
合成する混合テクスチャマッピング部を有することを特
徴とする画像合成装置。
【請求項２】物体の３次元形状データを、多角形平面の
ポリゴンで記述し、各ポリゴンが対応する画像上の２次
元多角形を３次元形状データと画像の対応情報とし、混
合比計算部において対応情報の多角形の面積を用いて混
合比を計算することを特徴とする請求項１記載の画像合
成装置。
【請求項３】投影変換部においてポリゴンを合成画像の
各スキャンライン毎の線分に分割し、混合比計算部にお
いて対応情報の対応する線分の長さを用いて混合比を計
算することを特徴とする請求項１記載の画像合成装置。
【請求項４】対応情報記憶部において、対応情報と共に
各画像が３次元モデルの投影像と一致する時の投影の視
点位置、方向、焦点距離を記憶し、混合比計算部におい
て、投影の視点位置、方向、焦点距離から対応情報の視
線ベクトルを計算し、３次元モデルの各頂点の法線ベク
トルとのなす角度から混合比を計算することを特徴とす
る請求項１記載の画像合成装置。