JP3315566B2 - 画像処理方法とその装置 - Google Patents
画像処理方法とその装置Info
- Publication number
- JP3315566B2 JP3315566B2 JP22897795A JP22897795A JP3315566B2 JP 3315566 B2 JP3315566 B2 JP 3315566B2 JP 22897795 A JP22897795 A JP 22897795A JP 22897795 A JP22897795 A JP 22897795A JP 3315566 B2 JP3315566 B2 JP 3315566B2
- Authority
- JP
- Japan
- Prior art keywords
- vertex
- shape model
- virtual energy
- virtual
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、画像処理方法とそ
の装置、特に、コンピュータグラフィックス（ＣＧ）・
ＣＡＤ等で利用される、計算機上での３次元形状の生成
に関する画像処理方法とその装置に関する。
の装置、特に、コンピュータグラフィックス（ＣＧ）・
ＣＡＤ等で利用される、計算機上での３次元形状の生成
に関する画像処理方法とその装置に関する。
【０００２】
【従来の技術】従来、所定の物体を対応する形状モデル
で表現する画像処理では、形状モデルの各ノード（頂
点）の位置情報と、ノード間の接続情報（面の情報）と
いう形で物体形状が表現されていた。そのため、その形
状モデルを変更するためには、各頂点（ノード）を指定
して、それぞれ別々に移動させていた。
で表現する画像処理では、形状モデルの各ノード（頂
点）の位置情報と、ノード間の接続情報（面の情報）と
いう形で物体形状が表現されていた。そのため、その形
状モデルを変更するためには、各頂点（ノード）を指定
して、それぞれ別々に移動させていた。
【０００３】また、任意の視線方向から物体を見たとき
の画像を形状モデルに基づいて合成する方法として、物
体表面上の点群の３次元空間上での位置を計測し、この
点群より平面パッチの集合を構成して、物体表面の３次
元形状を近似的に表現する３次元幾何形状モデルを作成
し、この３次元形状モデルを構成する平面パッチに物体
を撮影した画像から抽出したテクスチャを貼り付ける手
法があった。
の画像を形状モデルに基づいて合成する方法として、物
体表面上の点群の３次元空間上での位置を計測し、この
点群より平面パッチの集合を構成して、物体表面の３次
元形状を近似的に表現する３次元幾何形状モデルを作成
し、この３次元形状モデルを構成する平面パッチに物体
を撮影した画像から抽出したテクスチャを貼り付ける手
法があった。
【０００４】
【発明が解決しようとする課題】しかしながら、そのよ
うな方法では、形状を自然に変形させる事は大変困難で
あった。また、３次元幾何形状モデル作成時に平面パッ
チの頂点の位置に誤差があることにより、物体の３次元
幾何形状モデルと表面のテクスチャを用いて合成した画
像と実際にその視線方向から物体を見た画像が異なる場
合があるという問題があった。
うな方法では、形状を自然に変形させる事は大変困難で
あった。また、３次元幾何形状モデル作成時に平面パッ
チの頂点の位置に誤差があることにより、物体の３次元
幾何形状モデルと表面のテクスチャを用いて合成した画
像と実際にその視線方向から物体を見た画像が異なる場
合があるという問題があった。
【０００５】一例として、図２に示すような、各頂点が
基盤目上に並んだ非常に単純な場合を考える。今、個の
形状モデルを変形させる為に、点Ａを図の矢印の方向に
移動させたとする。その結果、形状は図３のように変化
するが、その変化は単に点Ａが移動しただけのものであ
る。もし、全体の形状を自然に変形させたければ、その
周りの点もそれぞれ適当に移動しなければならず、それ
は非常に手間がかかり、かつ自然な変形を行う事は大変
難しい。
基盤目上に並んだ非常に単純な場合を考える。今、個の
形状モデルを変形させる為に、点Ａを図の矢印の方向に
移動させたとする。その結果、形状は図３のように変化
するが、その変化は単に点Ａが移動しただけのものであ
る。もし、全体の形状を自然に変形させたければ、その
周りの点もそれぞれ適当に移動しなければならず、それ
は非常に手間がかかり、かつ自然な変形を行う事は大変
難しい。
【０００６】また、別々の形状モデルを統合するような
場合（例えば、人間の形状モデルと魚の形状モデルを統
合して、人魚の形状モデルを作成するような場合）、形
状モデルの接合部分を滑らかに繋ぐには、接合部周辺の
頂点を微妙に移動させて、各々の形状を滑らかかつ自然
に変形させなければならず、これを各頂点別々に移動さ
せながら実現する事は大変困難であった。
場合（例えば、人間の形状モデルと魚の形状モデルを統
合して、人魚の形状モデルを作成するような場合）、形
状モデルの接合部分を滑らかに繋ぐには、接合部周辺の
頂点を微妙に移動させて、各々の形状を滑らかかつ自然
に変形させなければならず、これを各頂点別々に移動さ
せながら実現する事は大変困難であった。
【０００７】本発明は、上記従来例に鑑みてなされたも
ので、所定の形状モデルを自然に変形させる画像処理方
法とその装置を提供することを目的とする。また、所定
の形状モデルを自然に所定の視点から見た形状モデルに
変形させる画像処理方法とその装置を提供することを目
的とする。
ので、所定の形状モデルを自然に変形させる画像処理方
法とその装置を提供することを目的とする。また、所定
の形状モデルを自然に所定の視点から見た形状モデルに
変形させる画像処理方法とその装置を提供することを目
的とする。
【０００８】
【課題を解決するための手段】上記目的を達成するた
め、本発明の画像処理装置は以下の構成を備える。即
ち、形状モデルの頂点間の距離に対応する第１の仮想の
エネルギーを発生する第１の仮想のエネルギー体と、前
記形状モデルの頂点と前記頂点の移動先の頂点間の距離
に対応する第２の仮想のエネルギーを発生する第２の仮
想のエネルギー体と、前記形状モデルの所定の頂点を所
定の位置に移動させた時、前記所定の頂点を前記所定の
位置に移動した状態での前記第１と第２の仮想のエネル
ギー体のエネルギーの総和が最小となるように、前記形
状モデルの頂点を移動させる頂点移動手段とを備える。
め、本発明の画像処理装置は以下の構成を備える。即
ち、形状モデルの頂点間の距離に対応する第１の仮想の
エネルギーを発生する第１の仮想のエネルギー体と、前
記形状モデルの頂点と前記頂点の移動先の頂点間の距離
に対応する第２の仮想のエネルギーを発生する第２の仮
想のエネルギー体と、前記形状モデルの所定の頂点を所
定の位置に移動させた時、前記所定の頂点を前記所定の
位置に移動した状態での前記第１と第２の仮想のエネル
ギー体のエネルギーの総和が最小となるように、前記形
状モデルの頂点を移動させる頂点移動手段とを備える。
【０００９】また、本発明の他の構成による画像処理装
置は、所定の物体の形状モデルと、前記所定の物体を所
定の画面に投影して形成される投影画像と、前記所定の
物体を撮影した画像の前記形状モデルの頂点に対応する
位置の色と、前記形状モデルの頂点に対応する前記投影
画像の頂点の色間の差に対応して第１の仮想のエネルギ
ーを発生する第１の仮想のエネルギー体と、前記形状モ
デルの頂点と前記形状モデルの頂点の移動先の頂点間の
距離に対応して第２の仮想のエネルギーを発生する第２
の仮想のエネルギー体と、前記第１と第２の仮想のエネ
ルギーの総和が最小となるように、前記形状モデルの頂
点を移動させる頂点移動手段とを備える。
置は、所定の物体の形状モデルと、前記所定の物体を所
定の画面に投影して形成される投影画像と、前記所定の
物体を撮影した画像の前記形状モデルの頂点に対応する
位置の色と、前記形状モデルの頂点に対応する前記投影
画像の頂点の色間の差に対応して第１の仮想のエネルギ
ーを発生する第１の仮想のエネルギー体と、前記形状モ
デルの頂点と前記形状モデルの頂点の移動先の頂点間の
距離に対応して第２の仮想のエネルギーを発生する第２
の仮想のエネルギー体と、前記第１と第２の仮想のエネ
ルギーの総和が最小となるように、前記形状モデルの頂
点を移動させる頂点移動手段とを備える。
【００１０】また、本発明の他の構成による画像処理装
置は、所定の物体の形状モデルと、前記所定の物体をｎ
枚の画面に投影してそれぞれ形成されるn個の投影画像
と、前記所定の物体をｎ方向から撮影した画像の前記形
状モデルの頂点に対応するそれぞれの位置の色と、前記
形状モデルの頂点に対応する前記ｎ個の投影画像のうち
のそれぞれの画像の頂点の色との差に対応して第１の仮
想のエネルギーを発生する第１の仮想のエネルギー体
と、前記形状モデルの頂点と前記形状モデルの頂点の移
動先の頂点間の距離に対応して第２の仮想のエネルギー
を発生する第２の仮想のエネルギー体と、前記第１と第
２の仮想のエネルギーの総和が最小となるように、前記
形状モデルの頂点を移動させる頂点移動手段とを備え
る。
置は、所定の物体の形状モデルと、前記所定の物体をｎ
枚の画面に投影してそれぞれ形成されるn個の投影画像
と、前記所定の物体をｎ方向から撮影した画像の前記形
状モデルの頂点に対応するそれぞれの位置の色と、前記
形状モデルの頂点に対応する前記ｎ個の投影画像のうち
のそれぞれの画像の頂点の色との差に対応して第１の仮
想のエネルギーを発生する第１の仮想のエネルギー体
と、前記形状モデルの頂点と前記形状モデルの頂点の移
動先の頂点間の距離に対応して第２の仮想のエネルギー
を発生する第２の仮想のエネルギー体と、前記第１と第
２の仮想のエネルギーの総和が最小となるように、前記
形状モデルの頂点を移動させる頂点移動手段とを備え
る。
【００１１】また、本発明の他の構成による画像処理装
置は、所定の物体の形状モデルと、前記所定の物体をｎ
枚の画面に投影してそれぞれ形成されるn個の投影画像
と、前記所定の物体をｎ方向から撮影した画像の前記形
状モデルの頂点に対応するそれぞれの位置の色と、前記
形状モデルの頂点に対応する前記ｎ個の投影画像のうち
のそれぞれの画像の頂点の色との差に対応して第１の仮
想のエネルギーを発生する第１の仮想のエネルギー体
と、前記形状モデルの頂点と前記形状モデルの頂点の移
動先の頂点間の距離に対応して第２の仮想のエネルギー
を発生する第２の仮想のエネルギー体と、前記第１と第
２の仮想のエネルギーの総和が最小となるように、前記
形状モデルの頂点を移動させる頂点移動手段とを備え
る。
置は、所定の物体の形状モデルと、前記所定の物体をｎ
枚の画面に投影してそれぞれ形成されるn個の投影画像
と、前記所定の物体をｎ方向から撮影した画像の前記形
状モデルの頂点に対応するそれぞれの位置の色と、前記
形状モデルの頂点に対応する前記ｎ個の投影画像のうち
のそれぞれの画像の頂点の色との差に対応して第１の仮
想のエネルギーを発生する第１の仮想のエネルギー体
と、前記形状モデルの頂点と前記形状モデルの頂点の移
動先の頂点間の距離に対応して第２の仮想のエネルギー
を発生する第２の仮想のエネルギー体と、前記第１と第
２の仮想のエネルギーの総和が最小となるように、前記
形状モデルの頂点を移動させる頂点移動手段とを備え
る。
【００１２】また、本発明の他の形態によれば、以下の
工程を備える画像処理方法が提供される。即ち、本発明
の画像処理方法は、形状モデルの頂点間の距離に対応す
る第１の仮想のエネルギーを発生する第１の仮想のエネ
ルギー発生工程と、前記形状モデルの頂点と前記頂点の
移動先の頂点間の距離に対応する第２の仮想のエネルギ
ーを発生する第２の仮想のエネルギー発生工程と、前記
形状モデルの所定の頂点を所定の位置に移動させた時、
前記所定の頂点を前記所定の位置に移動した状態での前
記第１と第２の仮想のエネルギー工程で発生したエネル
ギーの総和が最小となるように、前記形状モデルの頂点
を移動させる頂点移動工程とを備える。
工程を備える画像処理方法が提供される。即ち、本発明
の画像処理方法は、形状モデルの頂点間の距離に対応す
る第１の仮想のエネルギーを発生する第１の仮想のエネ
ルギー発生工程と、前記形状モデルの頂点と前記頂点の
移動先の頂点間の距離に対応する第２の仮想のエネルギ
ーを発生する第２の仮想のエネルギー発生工程と、前記
形状モデルの所定の頂点を所定の位置に移動させた時、
前記所定の頂点を前記所定の位置に移動した状態での前
記第１と第２の仮想のエネルギー工程で発生したエネル
ギーの総和が最小となるように、前記形状モデルの頂点
を移動させる頂点移動工程とを備える。
【００１３】また、本発明による他の画像処理方法は、
所定の物体の形状モデルと、前記所定の物体を所定の画
面に投影して形成される投影画像と、前記所定の物体を
撮影した画像の前記形状モデルの頂点に対応する位置の
色と、前記形状モデルの頂点に対応する前記投影画像の
頂点の色間の差に対応して第１の仮想のエネルギーを発
生する第１の仮想のエネルギー発生工程と、前記形状モ
デルの頂点と前記形状モデルの頂点の移動先の頂点間の
距離に対応して第２の仮想のエネルギーを発生する第２
の仮想のエネルギー発生工程と、前記第１と第２の仮想
のエネルギーの総和が最小となるように、前記形状モデ
ルの頂点を移動させる頂点移動工程とを備える。
所定の物体の形状モデルと、前記所定の物体を所定の画
面に投影して形成される投影画像と、前記所定の物体を
撮影した画像の前記形状モデルの頂点に対応する位置の
色と、前記形状モデルの頂点に対応する前記投影画像の
頂点の色間の差に対応して第１の仮想のエネルギーを発
生する第１の仮想のエネルギー発生工程と、前記形状モ
デルの頂点と前記形状モデルの頂点の移動先の頂点間の
距離に対応して第２の仮想のエネルギーを発生する第２
の仮想のエネルギー発生工程と、前記第１と第２の仮想
のエネルギーの総和が最小となるように、前記形状モデ
ルの頂点を移動させる頂点移動工程とを備える。
【００１４】また、本発明による他の画像処理方法は、
所定の物体の形状モデルと、前記所定の物体を第１と第
２の画面に投影してそれぞれ形成される第１と第２の投
影画像において、前記所定の物体を第１の方向から撮影
した画像の前記形状モデルの頂点に対応する位置の色
と、前記形状モデルの頂点に対応する前記第１の投影画
像の頂点の色間の差に対応して第１の仮想のエネルギー
を発生する第１の仮想のエネルギー発生工程と、前記所
定の物体を第２の方向から撮影した画像の前記形状モデ
ルの頂点に対応する位置の色と、前記形状モデルの頂点
に対応する前記第２の投影画像の頂点の色間の差に対応
して第２の仮想のエネルギーを発生する第２の仮想のエ
ネルギー発生工程と、前記形状モデルの頂点と前記形状
モデルの頂点の移動先の頂点間の距離に対応して第３の
仮想のエネルギーを発生する第３の仮想のエネルギー発
生工程と、前記第１と第２と第３の仮想のエネルギーの
総和が最小となるように、前記形状モデルの頂点を移動
させる頂点移動工程とを備える。
所定の物体の形状モデルと、前記所定の物体を第１と第
２の画面に投影してそれぞれ形成される第１と第２の投
影画像において、前記所定の物体を第１の方向から撮影
した画像の前記形状モデルの頂点に対応する位置の色
と、前記形状モデルの頂点に対応する前記第１の投影画
像の頂点の色間の差に対応して第１の仮想のエネルギー
を発生する第１の仮想のエネルギー発生工程と、前記所
定の物体を第２の方向から撮影した画像の前記形状モデ
ルの頂点に対応する位置の色と、前記形状モデルの頂点
に対応する前記第２の投影画像の頂点の色間の差に対応
して第２の仮想のエネルギーを発生する第２の仮想のエ
ネルギー発生工程と、前記形状モデルの頂点と前記形状
モデルの頂点の移動先の頂点間の距離に対応して第３の
仮想のエネルギーを発生する第３の仮想のエネルギー発
生工程と、前記第１と第２と第３の仮想のエネルギーの
総和が最小となるように、前記形状モデルの頂点を移動
させる頂点移動工程とを備える。
【００１５】
【００１６】
【発明の実施の形態】本実施の形態では、前述の仮想の
エネルギー体として、仮想的なバネを用いる。 以下、
本発明の一実施例の形状処理方法の１つのポイントを要
約した後、その詳細な説明に入る。本発明の一実施例の
形状処理方法の１つのポイントは、形状モデルの各頂点
間をつなぐ仮想的なバネと、各頂点をその初期位置に引
き寄せる仮想的なバネの２種類の仮想的バネを用いて形
状モデルを構成することにより、形状の自然な変形を容
易に実現することを可能にすることにある。また、２種
類仮想的バネのバネ定数を変えることにより、その形状
モデルの変形の性質を自在にコントロールすることにあ
る。
エネルギー体として、仮想的なバネを用いる。 以下、
本発明の一実施例の形状処理方法の１つのポイントを要
約した後、その詳細な説明に入る。本発明の一実施例の
形状処理方法の１つのポイントは、形状モデルの各頂点
間をつなぐ仮想的なバネと、各頂点をその初期位置に引
き寄せる仮想的なバネの２種類の仮想的バネを用いて形
状モデルを構成することにより、形状の自然な変形を容
易に実現することを可能にすることにある。また、２種
類仮想的バネのバネ定数を変えることにより、その形状
モデルの変形の性質を自在にコントロールすることにあ
る。
【００１７】図１は、本実施の形態による形状モデルを
図解したものである。図１において、３次元形状モデル
の各頂点（ノード）は黒丸で、頂点に設定した２種類の
仮想的なバネＬとＰは、それぞれ実線と破線のバネで示
されている。また、太い縦棒の先端の位置は、各頂点の
初期位置を示している。ここで、上記２種類の仮想的バ
ネについて説明する。尚、以後、これらの仮想的バネを
単に"バネ"と呼ぶことにする。
図解したものである。図１において、３次元形状モデル
の各頂点（ノード）は黒丸で、頂点に設定した２種類の
仮想的なバネＬとＰは、それぞれ実線と破線のバネで示
されている。また、太い縦棒の先端の位置は、各頂点の
初期位置を示している。ここで、上記２種類の仮想的バ
ネについて説明する。尚、以後、これらの仮想的バネを
単に"バネ"と呼ぶことにする。
【００１８】まず、破線で示した仮想的なバネは、各頂
点と各頂点の初期位置をつなぐ自然長＝０のバネであ
り、各頂点の初期位置をなるべく保つように働く（以下
この種のバネを"バネＰ"と呼ぶ）。次に、実線で示した
バネは、各頂点間を結び、初期形状の頂点間の距離を自
然長とするバネで、ある頂点の移動による影響を周囲に
伝える役割を果たす（以下この種のバネを"バネＬ"と呼
ぶ）。それにより、初期形状を保ちつつも、モデルの形
状にある局所的な変形が生じた時に、その変形を周囲に
伝播する事ができる。
点と各頂点の初期位置をつなぐ自然長＝０のバネであ
り、各頂点の初期位置をなるべく保つように働く（以下
この種のバネを"バネＰ"と呼ぶ）。次に、実線で示した
バネは、各頂点間を結び、初期形状の頂点間の距離を自
然長とするバネで、ある頂点の移動による影響を周囲に
伝える役割を果たす（以下この種のバネを"バネＬ"と呼
ぶ）。それにより、初期形状を保ちつつも、モデルの形
状にある局所的な変形が生じた時に、その変形を周囲に
伝播する事ができる。
【００１９】以上のようにバネを設定した時、形状のモ
デルの全てのバネに蓄えられる全エネルギーを最小にす
るように、各頂点の位置を修正する。いま、形状モデル
上のｉ番目の頂点Ｖの座標をＸiとすると、点Ｖに加わ
るエネルギーＥ(i)は次のよう式のように表される。
デルの全てのバネに蓄えられる全エネルギーを最小にす
るように、各頂点の位置を修正する。いま、形状モデル
上のｉ番目の頂点Ｖの座標をＸiとすると、点Ｖに加わ
るエネルギーＥ(i)は次のよう式のように表される。
【００２０】
【数１】
【００２１】式（１）のＥl(i)およびＥp(i)はそれぞ
れ、バネＬ及びバネＰにより頂点Ｖに加わるエネルギー
を表し、ρはバネＬ及びバネＰのエネルギーの割合を決
定する係数である。ここで、
れ、バネＬ及びバネＰにより頂点Ｖに加わるエネルギー
を表し、ρはバネＬ及びバネＰのエネルギーの割合を決
定する係数である。ここで、
【００２２】
【数２】
【００２３】
【数３】
【００２４】ここで、式（２）及び式（３）において、
関数Ｄは空間中の２点間の距離を表す関数であり、添字
ｊは点ＶとバネＬにより接続している頂点の頂点番号、
ｘi 0は点Ｖの初期位置、ｄ0（i,j）はｉ番目とｊ番目の
頂点の初期形状における距離、ｋp及びｋlは、それぞれ
バネＰ及びバネＬのバネ定数を表す。ここで、点Ｖ以外
の点は位置が固定であると仮定し、点Ｖの３次元座標の
修正量（ｕi，ｖi，ｗi）を考える。式（１）を（ｕi，
ｖi，ｗi）を変数とし、次の式を解くことにより
（ｕi，ｖi，ｗi）を求める。
関数Ｄは空間中の２点間の距離を表す関数であり、添字
ｊは点ＶとバネＬにより接続している頂点の頂点番号、
ｘi 0は点Ｖの初期位置、ｄ0（i,j）はｉ番目とｊ番目の
頂点の初期形状における距離、ｋp及びｋlは、それぞれ
バネＰ及びバネＬのバネ定数を表す。ここで、点Ｖ以外
の点は位置が固定であると仮定し、点Ｖの３次元座標の
修正量（ｕi，ｖi，ｗi）を考える。式（１）を（ｕi，
ｖi，ｗi）を変数とし、次の式を解くことにより
（ｕi，ｖi，ｗi）を求める。
【００２５】
【数４】
【００２６】
【数５】
【００２７】
【数６】
【００２８】本発明に係る一実施の形態では、式
（４）、式（５）、式（６）より各頂点の修正量を求
め、座標をＸi=（xi，yi，zi）から（xi+ｕi，yi+ｖi，
zi+ｗi）に変更する。但し、これらの式では注目してい
る頂点以外の頂点は位置が固定されていることを仮定
し、局所的に最適な頂点位置の修正量を求めている。よ
って、１回のみの頂点位置の修正を行っただけでは、全
ての頂点に関する評価量Ｅ(i)の和（式（７）参照）は
必ずしも最小になるわけではない。
（４）、式（５）、式（６）より各頂点の修正量を求
め、座標をＸi=（xi，yi，zi）から（xi+ｕi，yi+ｖi，
zi+ｗi）に変更する。但し、これらの式では注目してい
る頂点以外の頂点は位置が固定されていることを仮定
し、局所的に最適な頂点位置の修正量を求めている。よ
って、１回のみの頂点位置の修正を行っただけでは、全
ての頂点に関する評価量Ｅ(i)の和（式（７）参照）は
必ずしも最小になるわけではない。
【００２９】
【数７】
【００３０】本発明に係る一実施の形態では、それぞれ
の頂点について局所的に最適な頂点位置の修正処理を繰
り返し行うことによって、評価量の総和が最小、即ち、
グローバルミニマムの状態に到達する方法を用いる。上
述の形状モデルの頂点位置の修正処理の繰り返しは、式
（８）で表される収束度Ｒcが所定の閾値未満になった
場合に終了する。
の頂点について局所的に最適な頂点位置の修正処理を繰
り返し行うことによって、評価量の総和が最小、即ち、
グローバルミニマムの状態に到達する方法を用いる。上
述の形状モデルの頂点位置の修正処理の繰り返しは、式
（８）で表される収束度Ｒcが所定の閾値未満になった
場合に終了する。
【００３１】
【数８】
【００３２】ここで、Ｅtotal(k)は、ｋ回目の頂点位置
の修正処理を行った後のエネルギーＥ(i)の総和、numは
形状モデル上の頂点の数の合計を表す。但し、収束度の
初期値Ｒc(0)は、閾値より十分に大きい値とする。次
に、頂点Ｖの座標の修正量を算出する方法を具体的に説
明する。いま、頂点Ｖの初期座標を（x0，y0，z0）とす
ると、エネルギーＥp(i)は次の式で表される。
の修正処理を行った後のエネルギーＥ(i)の総和、numは
形状モデル上の頂点の数の合計を表す。但し、収束度の
初期値Ｒc(0)は、閾値より十分に大きい値とする。次
に、頂点Ｖの座標の修正量を算出する方法を具体的に説
明する。いま、頂点Ｖの初期座標を（x0，y0，z0）とす
ると、エネルギーＥp(i)は次の式で表される。
【００３３】
【数９】
【００３４】従って、
【００３５】
【数１０】
【００３６】同様に、
【００３７】
【数１１】
【００３８】
【数１２】
【００３９】エネルギーＥp(i)のｕi，ｖi，ｗiに関す
る偏微分はいずれもｕi，ｖi，ｗiに関する一次式であ
る。また、点ＶとバネＬで接続される１つの頂点を点Ｖ
jとし、その座標を（xj，y j，zj）とする。また、点Ｖ
と点Ｖjの初期状態での距離をｄijとすると、エネルギ
ー点Ｅi(i)は次のように表せる。
る偏微分はいずれもｕi，ｖi，ｗiに関する一次式であ
る。また、点ＶとバネＬで接続される１つの頂点を点Ｖ
jとし、その座標を（xj，y j，zj）とする。また、点Ｖ
と点Ｖjの初期状態での距離をｄijとすると、エネルギ
ー点Ｅi(i)は次のように表せる。
【００４０】
【数１３】
【００４１】但し、eijは点Ｖと点Ｖj間のバネに蓄えら
れるエネルギーである。
れるエネルギーである。
【００４２】
【数１４】
【００４３】いま、
【００４４】
【数１５】
【００４５】とおくと、
【００４６】
【数１６】
【００４７】ここで、uiに微小な変位δuを加えた量ｌ
＋δlを考える。
＋δlを考える。
【００４８】
【数１７】
【００４９】従って、
【００５０】
【数１８】
【００５１】この式のｌで、ｕi，ｖi，ｗiが十分小さ
いとして無視すると、
いとして無視すると、
【００５２】
【数１９】
【００５３】以上より、
【００５４】
【数２０】
【００５５】同様にして、
【００５６】
【数２１】
【００５７】
【数２２】 従って、ｅijのｕi，ｖi，ｗiに関する偏微分は、いづ
れもｕi，ｖi，ｗiに関する一次式である。式（１
０）、式（１１）、式（１２）、式（２０）、式（２
１）、式（２２）、、式（４）、式（５）、式（６）か
らｕi，ｖi，ｗiに関する連立一次方程式をたて、これ
を解くことによりｕi，ｖi，ｗiを求めることができ
る。
れもｕi，ｖi，ｗiに関する一次式である。式（１
０）、式（１１）、式（１２）、式（２０）、式（２
１）、式（２２）、、式（４）、式（５）、式（６）か
らｕi，ｖi，ｗiに関する連立一次方程式をたて、これ
を解くことによりｕi，ｖi，ｗiを求めることができ
る。
【００５８】以上説明した処理の理解を容易にするため
に、図２から図５の図面を参照して、処理概念を説明す
るための具体的な例を説明する。いま、各頂点の初期位
置が、図２に示したようなものであるとする。ここで、
バネＬは実線で結ばれた頂点間に設定されているとす
る。この時のエネルギーＥは、全てのバネの長さが自然
長に等しい、即ち、定常状態であるために"０"である。
に、図２から図５の図面を参照して、処理概念を説明す
るための具体的な例を説明する。いま、各頂点の初期位
置が、図２に示したようなものであるとする。ここで、
バネＬは実線で結ばれた頂点間に設定されているとす
る。この時のエネルギーＥは、全てのバネの長さが自然
長に等しい、即ち、定常状態であるために"０"である。
【００５９】そして、図３に示すように、この形状モデ
ルの頂点Ａにある力が加えられたとする。この時、頂点
Ａに接続されているバネＰと３本のバネＬは伸ばされ、
あるエネルギーが蓄えられる。その後の変形（各頂点の
移動）は、現実にバネが相互に接続された物理模型での
力の釣り合いに基づいて行われる。つまり、全バネに蓄
えられるエネルギーＥが減少するように変形していき、
最終的にバネが互いに引っ張り合い均衡に達した状態
（この時の全バネに蓄えられるエネルギーＥは最小とな
る）で定常状態となる。
ルの頂点Ａにある力が加えられたとする。この時、頂点
Ａに接続されているバネＰと３本のバネＬは伸ばされ、
あるエネルギーが蓄えられる。その後の変形（各頂点の
移動）は、現実にバネが相互に接続された物理模型での
力の釣り合いに基づいて行われる。つまり、全バネに蓄
えられるエネルギーＥが減少するように変形していき、
最終的にバネが互いに引っ張り合い均衡に達した状態
（この時の全バネに蓄えられるエネルギーＥは最小とな
る）で定常状態となる。
【００６０】図４は、このようにして行われた変形の結
果を示している。つまり、図２の頂点Ａを移動させた時
に、全体の形状が自然に変形される事になる。さらに、
２種類のバネのバネ定数ｋp （バネＰのバネ定数），ｋ
l （バネＬのバネ定数）をコントロールする事により、
形状モデルの変形の仕方を変える事ができる。例えば、
ｋl をｋp に比べて小さくしていくと、局所的な変形を
全体に波及しにくくなり、結果として図３に示すような
変形近づく。逆に、ｋl をｋpに比べてどんどん大きく
していくと、形状が変化しにくくなり、極端な場合には
図５に示すように、ある点を移動させた時に、形状はほ
とんど変わらず、全体が平行移動するようになる。
果を示している。つまり、図２の頂点Ａを移動させた時
に、全体の形状が自然に変形される事になる。さらに、
２種類のバネのバネ定数ｋp （バネＰのバネ定数），ｋ
l （バネＬのバネ定数）をコントロールする事により、
形状モデルの変形の仕方を変える事ができる。例えば、
ｋl をｋp に比べて小さくしていくと、局所的な変形を
全体に波及しにくくなり、結果として図３に示すような
変形近づく。逆に、ｋl をｋpに比べてどんどん大きく
していくと、形状が変化しにくくなり、極端な場合には
図５に示すように、ある点を移動させた時に、形状はほ
とんど変わらず、全体が平行移動するようになる。
【００６１】以上、本実施の形態で述べたように、２種
類の仮想的なバネを用いて形状モデルを構成する事によ
り、モデル形状の自然な変形を容易に実現し、かつその
変形の性質を自由にコントロールする事ができるように
なる。本実施の形態は、複数の形状モデルを統合して新
たな形状モデルを作成する場合にも利用できる。例え
ば、対象物をある１つの視点から観測して得られた形状
モデルと、それとは別の視点（例えば対象物の裏側）か
ら観測して得られた形状モデルがあった時、両方の視点
から得られた形状モデルを合成して１つのより完全な形
状モデルを作成する場合がある。その時、各々の視点か
ら観測された形状モデルには誤差が含まれている為、そ
れぞれの形状を変えることなく正確に合わせる事はでき
ない。その為、接合に際し接合部分の形状を互いに適当
に変形する必要がある。
類の仮想的なバネを用いて形状モデルを構成する事によ
り、モデル形状の自然な変形を容易に実現し、かつその
変形の性質を自由にコントロールする事ができるように
なる。本実施の形態は、複数の形状モデルを統合して新
たな形状モデルを作成する場合にも利用できる。例え
ば、対象物をある１つの視点から観測して得られた形状
モデルと、それとは別の視点（例えば対象物の裏側）か
ら観測して得られた形状モデルがあった時、両方の視点
から得られた形状モデルを合成して１つのより完全な形
状モデルを作成する場合がある。その時、各々の視点か
ら観測された形状モデルには誤差が含まれている為、そ
れぞれの形状を変えることなく正確に合わせる事はでき
ない。その為、接合に際し接合部分の形状を互いに適当
に変形する必要がある。
【００６２】そこで、本発明を利用すれば、まず、一方
の形状の接合部分を他方に合わせて変形して接合し、次
いで、その変形を順次周辺に伝播する事により、接合部
を滑らかに繋いだ自然な合成を実現する事ができる。ま
た、別の例として、全く異なる形状モデルを合成する場
合、例えば、人間の形状モデルと魚の形状モデルを合成
して、人魚の形状モデルを作成するような場合にも、本
発明による形状モデルを利用すれば、各々の接合部分の
形状が自然に変化する合成形状モデルを作成する事がで
きる。
の形状の接合部分を他方に合わせて変形して接合し、次
いで、その変形を順次周辺に伝播する事により、接合部
を滑らかに繋いだ自然な合成を実現する事ができる。ま
た、別の例として、全く異なる形状モデルを合成する場
合、例えば、人間の形状モデルと魚の形状モデルを合成
して、人魚の形状モデルを作成するような場合にも、本
発明による形状モデルを利用すれば、各々の接合部分の
形状が自然に変化する合成形状モデルを作成する事がで
きる。
【００６３】以上説明したように、形状モデルの各頂点
間をつなぐバネと、各頂点をその初期位置に引き寄せる
バネの２種類の仮想的なバネを用いて形状モデルを構成
する事により、形状モデルの自然な変形や、複数の形状
モデルの統合等を容易に実現する事が可能になる。 （第２の実施の形態）本発明に係る第２の実施の形態で
は、第１の実施の形態で説明した処理を複数の形状モデ
ルの統合に拡張している。
間をつなぐバネと、各頂点をその初期位置に引き寄せる
バネの２種類の仮想的なバネを用いて形状モデルを構成
する事により、形状モデルの自然な変形や、複数の形状
モデルの統合等を容易に実現する事が可能になる。 （第２の実施の形態）本発明に係る第２の実施の形態で
は、第１の実施の形態で説明した処理を複数の形状モデ
ルの統合に拡張している。
【００６４】本実施の形態のポイントの一つは、３次元
形状モデルにテクスチャを貼り付けて合成した画像と、
物体を撮影して得た観測画像の濃淡値のデータをもとに
して、合成画像の濃淡値が観測画像の濃淡値に近くなる
ように３次元形状モデルの頂点の位置を移動することに
ある。いま、ある３次元物体の３次元幾何形状モデル、
および形状モデルを構成する平面に貼り付けるテクスチ
ャが得られているとする。即ち、３次元形状モデルの各
頂点に対応する、３次元物体を撮影して得られた画像
（テクスチャ画像）上での位置が既にわかっているとす
る。
形状モデルにテクスチャを貼り付けて合成した画像と、
物体を撮影して得た観測画像の濃淡値のデータをもとに
して、合成画像の濃淡値が観測画像の濃淡値に近くなる
ように３次元形状モデルの頂点の位置を移動することに
ある。いま、ある３次元物体の３次元幾何形状モデル、
および形状モデルを構成する平面に貼り付けるテクスチ
ャが得られているとする。即ち、３次元形状モデルの各
頂点に対応する、３次元物体を撮影して得られた画像
（テクスチャ画像）上での位置が既にわかっているとす
る。
【００６５】また、その物体を互いに異なる方向から撮
影した２枚の画像(これを、以後、観察画像１および観
察画像２と呼ぶ)が得られており、それらの画像の画面
(以後、画面１，画面２と呼ぶ)と３次元形状モデルの３
次元空間における幾何学的な位置関係は既知であるとす
る。尚、合成画像および観察画像は空間的に離散化され
たデジタル画像であるとし、位置が修正されるそれらの
頂点は、観察画像を撮影した両方の視線方向から可視で
あるとする。
影した２枚の画像(これを、以後、観察画像１および観
察画像２と呼ぶ)が得られており、それらの画像の画面
(以後、画面１，画面２と呼ぶ)と３次元形状モデルの３
次元空間における幾何学的な位置関係は既知であるとす
る。尚、合成画像および観察画像は空間的に離散化され
たデジタル画像であるとし、位置が修正されるそれらの
頂点は、観察画像を撮影した両方の視線方向から可視で
あるとする。
【００６６】図６は、上述した”ある３次元物体”（１
００）とその３次元幾何形状モデル（１０１）の一例を
示す。３次元幾何形状モデル（１０１）は、３次元物体
（１００）の画像情報から距離情報を得て、これらの情
報に基づき、３次元物体（１００）の表面形状を平面パ
ッチを用いて近似することによって生成することができ
る。距離画像の獲得は、光波距離計測やステレオ画像を
用いた三角測量などの手法（例えば、参考文献：“オプ
トエレクトロニクス（１９８５）、ＮＯ．１２，ｐｐ１
２，５９−，井口征士他”;参照）により実現可能であ
る。
００）とその３次元幾何形状モデル（１０１）の一例を
示す。３次元幾何形状モデル（１０１）は、３次元物体
（１００）の画像情報から距離情報を得て、これらの情
報に基づき、３次元物体（１００）の表面形状を平面パ
ッチを用いて近似することによって生成することができ
る。距離画像の獲得は、光波距離計測やステレオ画像を
用いた三角測量などの手法（例えば、参考文献：“オプ
トエレクトロニクス（１９８５）、ＮＯ．１２，ｐｐ１
２，５９−，井口征士他”;参照）により実現可能であ
る。
【００６７】図７は、３次元物体（１００）を互いに異
なる方向から撮影して得られた上述した観察画像１、観
察画像２の例を示す。次に、３次元形状モデルの頂点の
位置を、観察画像１、観察画像２に対応するように移動
させる処理について説明する。まず、１つの頂点の位置
の修正量を求めるための式を示す。いま、画面の座標
(ｘ,ｙ)における観測画像の濃淡値をＳ(ｘ,ｙ)、また、
合成画像の濃淡値をＤ(ｘ,ｙ)とする。座標(ｘi,ｙi)に
投影された、ある頂点の位置の修正量をｘ軸，ｙ軸方向
にそれぞれδｘ，δｙとすると、近似的に次の式がなり
たつ。 Ｓ(ｘi−δｘ,ｙi−δｙ)＝Ｄ(ｘi,ｙi) (３１) 式(１)をテーラー展開すると、 すなわち、 Ｄ(ｘi,ｙi)−Ｓ(ｘi,ｙi)＋δｘＳx＋δｙＳy＝０ (３３) ただし、 ここで、合成画像と観測画像の濃淡値の差を評価する量
Ｅintを式(３６)で定義する。 Ｅint＝{Ｄ(ｘi,ｙi)−Ｓ(ｘi,ｙi)＋δｘＳx＋δｙＳy}2 (３６) また、頂点の画面上での初期位置(ｘi o,ｙi o)からの移
動量を評価する式 Ｅel＝(ｘi＋δｘ−ｘi o)2＋(ｙi＋δｙ−ｙi o)2 (３７) を考える。ＥintとＥelの加重和 Ｅpt＝(１−λ)Ｅint＋λＥel，（０≦λ≦１） (３８) を最小にするようなδｘおよびδｙを求める値とする。
ここで、λはＥptに対するＥintおよびＥelの寄与度の
割合を調節する定数である。
なる方向から撮影して得られた上述した観察画像１、観
察画像２の例を示す。次に、３次元形状モデルの頂点の
位置を、観察画像１、観察画像２に対応するように移動
させる処理について説明する。まず、１つの頂点の位置
の修正量を求めるための式を示す。いま、画面の座標
(ｘ,ｙ)における観測画像の濃淡値をＳ(ｘ,ｙ)、また、
合成画像の濃淡値をＤ(ｘ,ｙ)とする。座標(ｘi,ｙi)に
投影された、ある頂点の位置の修正量をｘ軸，ｙ軸方向
にそれぞれδｘ，δｙとすると、近似的に次の式がなり
たつ。 Ｓ(ｘi−δｘ,ｙi−δｙ)＝Ｄ(ｘi,ｙi) (３１) 式(１)をテーラー展開すると、 すなわち、 Ｄ(ｘi,ｙi)−Ｓ(ｘi,ｙi)＋δｘＳx＋δｙＳy＝０ (３３) ただし、 ここで、合成画像と観測画像の濃淡値の差を評価する量
Ｅintを式(３６)で定義する。 Ｅint＝{Ｄ(ｘi,ｙi)−Ｓ(ｘi,ｙi)＋δｘＳx＋δｙＳy}2 (３６) また、頂点の画面上での初期位置(ｘi o,ｙi o)からの移
動量を評価する式 Ｅel＝(ｘi＋δｘ−ｘi o)2＋(ｙi＋δｙ−ｙi o)2 (３７) を考える。ＥintとＥelの加重和 Ｅpt＝(１−λ)Ｅint＋λＥel，（０≦λ≦１） (３８) を最小にするようなδｘおよびδｙを求める値とする。
ここで、λはＥptに対するＥintおよびＥelの寄与度の
割合を調節する定数である。
【００６８】具体的には、 の２式から、それぞれδｘおよびδｙに関する連立１次
方程式を得る。この連立方程式を解くことにより、δｘ
およびδｙを求める。
方程式を得る。この連立方程式を解くことにより、δｘ
およびδｙを求める。
【００６９】次に、本実施の形態の頂点移動処理のフロ
ーを図８を参照して説明する。まず、ステップＳ１０１
にて、３次元形状モデルにテクスチャを貼り付けて画面
１および画面２上に投影した画像を合成する。これらの
合成画像を合成画像１および合成画像２と呼ぶ。図９
は、この処理の様子を説明するための図であり、３次元
形状モデルのｉ番目の頂点（座標（Ｘi,Ｙi,Ｚi）））
を画面上に投影する様子を示す。投影された頂点（Ｘi,
Ｙi,Ｚi）に対応する画面上での座標が（ｘi，ｙi）で
ある。ここでは、観測画像の画面と合成画像の画面を同
一とし、３次元形状モデルの頂点を投影した座標は観測
画像の画面の座標で表せられる。
ーを図８を参照して説明する。まず、ステップＳ１０１
にて、３次元形状モデルにテクスチャを貼り付けて画面
１および画面２上に投影した画像を合成する。これらの
合成画像を合成画像１および合成画像２と呼ぶ。図９
は、この処理の様子を説明するための図であり、３次元
形状モデルのｉ番目の頂点（座標（Ｘi,Ｙi,Ｚi）））
を画面上に投影する様子を示す。投影された頂点（Ｘi,
Ｙi,Ｚi）に対応する画面上での座標が（ｘi，ｙi）で
ある。ここでは、観測画像の画面と合成画像の画面を同
一とし、３次元形状モデルの頂点を投影した座標は観測
画像の画面の座標で表せられる。
【００７０】ステップＳ１０２では、観測画像１，観測
画像２，合成画像１および合成画像２の濃淡値のデータ
から、３次元幾何形状モデルの頂点位置の修正量を求め
る。ステップＳ１０２での処理の詳細については後述す
る。ステップＳ１０３では、ステップＳ１０２で求めた
修正量だけ頂点の３次元空間上での位置を移動し、処理
を終了する。
画像２，合成画像１および合成画像２の濃淡値のデータ
から、３次元幾何形状モデルの頂点位置の修正量を求め
る。ステップＳ１０２での処理の詳細については後述す
る。ステップＳ１０３では、ステップＳ１０２で求めた
修正量だけ頂点の３次元空間上での位置を移動し、処理
を終了する。
【００７１】次に、ステップＳ１０２での処理を図１０
を用いて詳説する。まず、ステップＳ２０１にて、すべ
ての修正すべき形状モデルの頂点について、画面１上で
の位置の修正量を求める。次に、ステップＳ２０２に
て、すべての修正すべき形状モデルの頂点について、画
面２上での位置の修正量を求める。
を用いて詳説する。まず、ステップＳ２０１にて、すべ
ての修正すべき形状モデルの頂点について、画面１上で
の位置の修正量を求める。次に、ステップＳ２０２に
て、すべての修正すべき形状モデルの頂点について、画
面２上での位置の修正量を求める。
【００７２】ここで、ステップＳ２０１とステップＳ２
０２は対象とする画面が異なるだけで、処理の内容は同
様である。ステップＳ２０１については後述する。最後
に、ステップＳ２０３にて、画面１と画面２それぞれの
上での各々の頂点の修正量，および画面と形状モデルの
３次元空間上での幾何学的な位置関係より３次元空間上
での頂点位置の修正量を算出し、処理を終了する。
０２は対象とする画面が異なるだけで、処理の内容は同
様である。ステップＳ２０１については後述する。最後
に、ステップＳ２０３にて、画面１と画面２それぞれの
上での各々の頂点の修正量，および画面と形状モデルの
３次元空間上での幾何学的な位置関係より３次元空間上
での頂点位置の修正量を算出し、処理を終了する。
【００７３】次に、図１０のステップＳ２０１につい
て、図１１を用いて詳説する。まず、ステップＳ３０１
において、修正すべき頂点のうち位置の修正量の算出を
終えていない点のうちの一点を選択する。この点を注目
頂点と呼ぶ。次に、ステップＳ３０２にて、式(３９)お
よび式(４０)より、注目頂点の画面上での位置の修正量
を算出する。
て、図１１を用いて詳説する。まず、ステップＳ３０１
において、修正すべき頂点のうち位置の修正量の算出を
終えていない点のうちの一点を選択する。この点を注目
頂点と呼ぶ。次に、ステップＳ３０２にて、式(３９)お
よび式(４０)より、注目頂点の画面上での位置の修正量
を算出する。
【００７４】ステップＳ３０３では、３次元形状モデル
のすべての頂点が処理されたかどうか判定し、まだ、全
ての頂点が処理されていなければ、ステップＳ３０１に
戻り、全ての頂点に関して処理が成されるまで同様の処
理を繰り返す。以上説明したように、３次元形状モデル
を、合成画像に対応して変形させることができる。 （第３の実施の形態）第２の実施の形態では、画面１と
画面２のそれぞれの評価値Ｅptに基づいて、３次元形状
モデルの頂点の移動を行ったが、本実施の形態では、画
面１と画面２の全体での評価関数を設定し、そのグロー
バルミニマムを探索することで、各頂点の修正量を求め
る。即ち、式(３８)で表される評価値Ｅptの画面１上の
修正すべき頂点すべてについての総和をＥ1とし、同様
にＥptの画面２についての総和をＥ2とした時、次の評
価値Ｅを考える。
のすべての頂点が処理されたかどうか判定し、まだ、全
ての頂点が処理されていなければ、ステップＳ３０１に
戻り、全ての頂点に関して処理が成されるまで同様の処
理を繰り返す。以上説明したように、３次元形状モデル
を、合成画像に対応して変形させることができる。 （第３の実施の形態）第２の実施の形態では、画面１と
画面２のそれぞれの評価値Ｅptに基づいて、３次元形状
モデルの頂点の移動を行ったが、本実施の形態では、画
面１と画面２の全体での評価関数を設定し、そのグロー
バルミニマムを探索することで、各頂点の修正量を求め
る。即ち、式(３８)で表される評価値Ｅptの画面１上の
修正すべき頂点すべてについての総和をＥ1とし、同様
にＥptの画面２についての総和をＥ2とした時、次の評
価値Ｅを考える。
【００７５】 Ｅ＝Ｅ1＋Ｅ2 (４１) この評価値に基づいて、実施の形態２と同様に、図８の
ステップＳ１０２からステップＳ１０３までを繰り返す
ことによって、３次元形状モデルを、合成画像に対応し
て変形させることができ、結局、合成画像と観測画像の
濃淡値の近似度を高めることができる。
ステップＳ１０２からステップＳ１０３までを繰り返す
ことによって、３次元形状モデルを、合成画像に対応し
て変形させることができ、結局、合成画像と観測画像の
濃淡値の近似度を高めることができる。
【００７６】尚、繰り返し処理は、評価値Ｅが一回の繰
り返し計算で減少する量があらかじめ設定した閾値より
も小さくなった場合に終了する。 （第４の実施の形態）実施の形態２においては、頂点の
移動に対する拘束条件を、画面上での頂点の初期位置か
らの移動量の２乗によって評価している(式(７)参照)
が、本実施の形態では、拘束条件を３次元空間上での頂
点の初期位置からの移動量の２乗によって評価してもよ
いことは言うまでもない。 （第５の実施の形態）上述の各実施の形態では、観測画
像が２枚である場合について説明したが、この枚数に限
られることはなく、２枚以上であっても、３次元形状モ
デルを、合成画像に対応して変形させることができる。
り返し計算で減少する量があらかじめ設定した閾値より
も小さくなった場合に終了する。 （第４の実施の形態）実施の形態２においては、頂点の
移動に対する拘束条件を、画面上での頂点の初期位置か
らの移動量の２乗によって評価している(式(７)参照)
が、本実施の形態では、拘束条件を３次元空間上での頂
点の初期位置からの移動量の２乗によって評価してもよ
いことは言うまでもない。 （第５の実施の形態）上述の各実施の形態では、観測画
像が２枚である場合について説明したが、この枚数に限
られることはなく、２枚以上であっても、３次元形状モ
デルを、合成画像に対応して変形させることができる。
【００７７】本実施の形態では、２枚の観測画像のペア
を複数用いて、３次元形状モデルの頂点位置の修正量を
求める。この場合、各頂点について位置の修正量は複数
の解が存在することになる。そのため、本実施の形態で
は、これら複数の解の平均をとって、頂点位置を修正す
る。
を複数用いて、３次元形状モデルの頂点位置の修正量を
求める。この場合、各頂点について位置の修正量は複数
の解が存在することになる。そのため、本実施の形態で
は、これら複数の解の平均をとって、頂点位置を修正す
る。
【００７８】あるいは、合成画像と観測画像の濃淡値の
２乗誤差が最小となる観測画像の組を選択することも可
能である。本実施の形態によれば、撮像系での誤差やノ
イズによる３次元形状モデルの頂点位置の修正量のエラ
ーを回避することができるため、より精度の良い３次元
形状モデルが得られる。
２乗誤差が最小となる観測画像の組を選択することも可
能である。本実施の形態によれば、撮像系での誤差やノ
イズによる３次元形状モデルの頂点位置の修正量のエラ
ーを回避することができるため、より精度の良い３次元
形状モデルが得られる。
【００７９】尚、本発明によって生成された３次元形状
モデルを用いて、対象画像の再生を行ったり、また、任
意のテクスチャを３次元形状モデルに割り当てて得られ
た画像を再生する等の画像処理システム、プリンタ等に
応用することができる。次に、上述の画像処理を実行す
る画像処理装置のハードウエア構成の一例を図１２を参
照して説明する。
モデルを用いて、対象画像の再生を行ったり、また、任
意のテクスチャを３次元形状モデルに割り当てて得られ
た画像を再生する等の画像処理システム、プリンタ等に
応用することができる。次に、上述の画像処理を実行す
る画像処理装置のハードウエア構成の一例を図１２を参
照して説明する。
【００８０】ＣＰＵ２００は、本画像処理装置全体の制
御を行う。メモリ２０２には、上述のフローチャートに
対応する画像処理プログラムが格納されており、ＣＰＵ
２００は、このプログラムを実行する。メモリ２０２に
はまた、画像処理を実行するための作業領域が割り当て
られている。キーボード２０３やポインテェイングデバ
イス２０４は、画像処理に対するコマンドやデータを入
力する。
御を行う。メモリ２０２には、上述のフローチャートに
対応する画像処理プログラムが格納されており、ＣＰＵ
２００は、このプログラムを実行する。メモリ２０２に
はまた、画像処理を実行するための作業領域が割り当て
られている。キーボード２０３やポインテェイングデバ
イス２０４は、画像処理に対するコマンドやデータを入
力する。
【００８１】ディスプレイモニタ２０１は、画像処理結
果を表示する。尚、本発明は、ホストコンピュータ、イ
ンターフェイス、プリンタ等の複数の機器から構成され
るシステムに適用しても、１つの機器から成る装置に適
用しても良い。また、本発明は、システム或は装置に記
憶媒体に格納されたプログラムを供給することによって
達成される場合にも適用できることは言うまでもない。
この場合、本発明に係るプログラムを格納した記録媒体
が、本発明を構成することになる。そして、該記録媒体
からそのプログラムをシステム或いは装置に読み出すこ
とによって、そのシステム或いは装置が、予め定められ
たし方で動作する。
果を表示する。尚、本発明は、ホストコンピュータ、イ
ンターフェイス、プリンタ等の複数の機器から構成され
るシステムに適用しても、１つの機器から成る装置に適
用しても良い。また、本発明は、システム或は装置に記
憶媒体に格納されたプログラムを供給することによって
達成される場合にも適用できることは言うまでもない。
この場合、本発明に係るプログラムを格納した記録媒体
が、本発明を構成することになる。そして、該記録媒体
からそのプログラムをシステム或いは装置に読み出すこ
とによって、そのシステム或いは装置が、予め定められ
たし方で動作する。
【００８２】以上説明したように、本発明によれば、３
次元幾何形状モデルを構成する平面パッチに物体を撮影
した画像から抽出したテクスチャを貼り付け、任意の視
線方向から物体を見たときの画像を合成する場合に、合
成した画像と実際にその視線方向から物体を見た画像と
が高い近似度を持つように形状モデルを修正するため、
精度のよい３次元形状モデルを生成することが可能とな
った。
次元幾何形状モデルを構成する平面パッチに物体を撮影
した画像から抽出したテクスチャを貼り付け、任意の視
線方向から物体を見たときの画像を合成する場合に、合
成した画像と実際にその視線方向から物体を見た画像と
が高い近似度を持つように形状モデルを修正するため、
精度のよい３次元形状モデルを生成することが可能とな
った。
【００８３】
【発明の効果】以上説明したように本発明によれば、所
定の形状モデルを自然に変形させ、また、所定の形状モ
デルを自然に所定の視点から見た形状モデルに変形させ
ることができる。
定の形状モデルを自然に変形させ、また、所定の形状モ
デルを自然に所定の視点から見た形状モデルに変形させ
ることができる。
【図１】本実施の形態による形状モデルを説明する図で
ある。
ある。
【図２】本実施の形態の形状モデルの変形処理を説明す
るための図である。
るための図である。
【図３】図２の形状モデルのある１点を移動した時の状
態を示す図である。
態を示す図である。
【図４】図２の形状モデルで、定義されたエネルギーが
最小になった時の、所定の１点の移動に伴う定常状態を
示す図である。
最小になった時の、所定の１点の移動に伴う定常状態を
示す図である。
【図５】本実施の形態のパラメータの調整により、変形
の性質がコントロールされる事を示す図である。
の性質がコントロールされる事を示す図である。
【図６】３次元物体の例と、対応する３次元形状モデル
の例を示す図である。
の例を示す図である。
【図７】３次元物体の例と、それを撮像して得られた観
測画像１、２の例を示す図である。
測画像１、２の例を示す図である。
【図８】３次元幾何形状モデルの頂点修正処理のフロー
チャートである。
チャートである。
【図９】３次元幾何形状モデルの頂点を画面座標系に投
影する処理を説明するための図である。
影する処理を説明するための図である。
【図１０】図８のステップＳ１０２の頂点の３次元位置
の修正処理を説明するフローチャートである。
の修正処理を説明するフローチャートである。
【図１１】図１０のステップＳ２０１とＳ２０２での、
頂点位置の修正量算出のための処理手順を示すフローチ
ャートである。
頂点位置の修正量算出のための処理手順を示すフローチ
ャートである。
【図１２】本実施の形態の画像処理を実行するハードウ
ェア構成の図である。
ェア構成の図である。
１００ ３次元物体 １０１ ３次元物体に対応する３次元形状モデル １０２ 観測画像１ １０３ 観測画像２
───────────────────────────────────────────────────── フロントページの続き (72)発明者 吉崎 修 東京都大田区下丸子３丁目30番２号 キ ヤノン株式会社内 (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 15/00 - 17/40 G06F 17/50
Claims (15)
- 【請求項１】 形状モデルの頂点間の距離に対応する第
１の仮想のエネルギーを発生する第１の仮想のエネルギ
ー体と、 前記形状モデルの頂点と前記頂点の移動先の頂点間の距
離に対応する第２の仮想のエネルギーを発生する第２の
仮想のエネルギー体と、 前記形状モデルの所定の頂点を所定の位置に移動させた
時、前記所定の頂点を前記所定の位置に移動した状態で
の前記第１と第２の仮想のエネルギー体のエネルギーの
総和が最小となるように、前記形状モデルの頂点を移動
させる頂点移動手段と を備えることを特徴とする画像処理装置。 - 【請求項２】 前記第１の仮想のエネルギーは、前記頂
点間の距離の差の増大に対応して増大することを特徴と
する請求項１に記載の画像処理装置。 - 【請求項３】 前記第２の仮想のエネルギーは、前記形
状モデルの頂点と前記頂点の移動先の頂点間の差の増大
に対応して増大することを特徴とする請求項１または請
求項２のいずれかに記載の画像処理装置。 - 【請求項４】 前記仮想のエネルギーの総和は、前記第
１の仮想のエネルギーの総和に第１の係数を掛けたもの
と前記第２の仮想のエネルギーの総和に第２の係数を掛
けたものの総和であることを特徴とする請求項１及至請
求項３のいずれかに記載の画像処理装置。 - 【請求項５】 前記形状モデルの所定の頂点を所定の位
置に移動させた時に、前記移動の量に対応するその他の
頂点の移動量を小さくするときは、前記第１の係数は、
前記第２の係数に対して小さく設定し、前記移動の量に
対応するその他の頂点の移動量を大きくするときは、前
記第１の係数は、前記第２の係数に対して大きく設定す
ることを特徴とする請求項４に記載の画像処理装置。 - 【請求項６】 前記第１と第２の仮想のエネルギー体
は、それぞれ所定の仮想のバネ定数を有する仮想のバネ
であることを特徴とする請求項１に記載の画像処理装
置。 - 【請求項７】 所定の物体の形状モデルと、 前記所定の物体を所定の画面に投影して形成される投影
画像と、前記所定の物体を撮影した画像の 前記形状モデルの頂点
に対応する位置の色と、前記形状モデルの頂点に対応す
る前記投影画像の頂点の色間の差に対応して第１の仮想
のエネルギーを発生する第１の仮想のエネルギー体と、 前記形状モデルの頂点と前記形状モデルの頂点の移動先
の頂点間の距離に対応して第２の仮想のエネルギーを発
生する第２の仮想のエネルギー体と、 前記第１と第２の仮想のエネルギーの総和が最小となる
ように、前記形状モデルの頂点を移動させる頂点移動手
段と を備えることを特徴とする画像処理装置。 - 【請求項８】 前記色は、モノクロの濃淡色であること
を特徴とする請求項７に記載の画像処理装置。 - 【請求項９】 前記第１と第２の仮想のエネルギーの総
和は、前記第１の仮想のエネルギーの総和に第１の係数
を掛けたものと前記第２の仮想のエネルギーの総和に第
２の係数を掛けたものの総和であることを特徴とする請
求項７又は請求項８に記載の画像処理装置。 - 【請求項１０】 前記形状モデルは、その表面に所定の
テクスチャを備えるものであることを特徴とする請求項
７に記載の画像処理装置。 - 【請求項１１】 所定の物体の形状モデルと、 前記所定の物体を第１と第２の画面に投影してそれぞれ
形成される第１と第２の投影画像と、前記所定の物体を第１の方向から撮影した画像の 前記形
状モデルの頂点に対応する位置の色と、前記形状モデル
の頂点に対応する前記第１の投影画像の頂点の色間の差
に対応して第１の仮想のエネルギーを発生する第１の仮
想のエネルギー体と、前記所定の物体を第２の方向から撮影した画像の 前記形
状モデルの頂点に対応する位置の色と、前記形状モデル
の頂点に対応する前記第２の投影画像の頂点の色間の差
に対応して第２の仮想のエネルギーを発生する第２の仮
想のエネルギー体と、 前記形状モデルの頂点と前記形状モデルの頂点の移動先
の頂点間の距離に対応して第３の仮想のエネルギーを発
生する第３の仮想のエネルギー体と、前記第１と第２と
第３の仮想のエネルギーの総和が最小となるように、前
記形状モデルの頂点を移動させる頂点移動手段と を備えることを特徴とする画像処理装置。 - 【請求項１２】 所定の物体の形状モデルと、 前記所定の物体をｎ枚の画面に投影してそれぞれ形成さ
れるn個の投影画像と、前記所定の物体をｎ方向から撮影した画像の 前記形状モ
デルの頂点の位置に対応するそれぞれの位置の色と、前
記形状モデルの頂点に対応する前記ｎ個の投影画像のう
ちのそれぞれの画像の頂点の色との差に対応して第１の
仮想のエネルギーを発生する第１の仮想のエネルギー体
と、 前記形状モデルの頂点と前記形状モデルの頂点の移動先
の頂点間の距離に対応して第２の仮想のエネルギーを発
生する第２の仮想のエネルギー体と、 前記第１と第２の仮想のエネルギーの総和が最小となる
ように、前記形状モデルの頂点を移動させる頂点移動手
段と を備えることを特徴とする画像処理装置。 - 【請求項１３】 形状モデルの頂点間の距離に対応する
第１の仮想のエネルギーを発生する第１の仮想のエネル
ギー発生工程と、 前記形状モデルの頂点と前記頂点の移動先の頂点間の距
離に対応する第２の仮想のエネルギーを発生する第２の
仮想のエネルギー発生工程と、 前記形状モデルの所定の頂点を所定の位置に移動させた
時、前記所定の頂点を前記所定の位置に移動した状態で
の前記第１と第２の仮想のエネルギー工程で発生したエ
ネルギーの総和が最小となるように、前記形状モデルの
頂点を移動させる頂点移動工程と を備えることを特徴とする画像処理方法。 - 【請求項１４】 所定の物体の形状モデルと、 前記所定の物体を所定の画面に投影して形成される投影
画像と、前記所定の物体を撮影した画像の 前記形状モデルの頂点
の位置に対応する位置の色と、前記形状モデルの頂点に
対応する前記投影画像の頂点の色間の差に対応して第１
の仮想のエネルギーを発生する第１の仮想のエネルギー
発生工程と、 前記形状モデルの頂点と前記形状モデルの頂点の移動先
の頂点間の距離に対応して第２の仮想のエネルギーを発
生する第２の仮想のエネルギー発生工程と、 前記第１と第２の仮想のエネルギーの総和が最小となる
ように、前記形状モデルの頂点を移動させる頂点移動工
程と を備えることを特徴とする画像処理方法。 - 【請求項１５】 所定の物体の形状モデルと、前記所定
の物体を第１と第２の画面に投影してそれぞれ形成され
る第１と第２の投影画像において、前記所定の物体を第１の方向から撮影した画像の 前記形
状モデルの頂点の位置に対応する位置の色と、前記形状
モデルの頂点に対応する前記第１の投影画像の頂点の色
間の差に対応して第１の仮想のエネルギーを発生する第
１の仮想のエネルギー発生工程と、前記所定の物体を第２の方向から撮影した画像の 前記形
状モデルの頂点の位置に対応する位置の色と、前記形状
モデルの頂点に対応する前記第２の投影画像の頂点の色
間の差に対応して第２の仮想のエネルギーを発生する第
２の仮想のエネルギー発生工程と、 前記形状モデルの頂点と前記形状モデルの頂点の移動先
の頂点間の距離に対応して第３の仮想のエネルギーを発
生する第３の仮想のエネルギー発生工程と、前記第１と
第２と第３の仮想のエネルギーの総和が最小となるよう
に、前記形状モデルの頂点を移動させる頂点移動工程と を備えることを特徴とする画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22897795A JP3315566B2 (ja) | 1995-09-06 | 1995-09-06 | 画像処理方法とその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22897795A JP3315566B2 (ja) | 1995-09-06 | 1995-09-06 | 画像処理方法とその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0973549A JPH0973549A (ja) | 1997-03-18 |
| JP3315566B2 true JP3315566B2 (ja) | 2002-08-19 |
Family
ID=16884842
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22897795A Expired - Fee Related JP3315566B2 (ja) | 1995-09-06 | 1995-09-06 | 画像処理方法とその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3315566B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4508776B2 (ja) | 2004-08-18 | 2010-07-21 | 任天堂株式会社 | 画像処理プログラムおよび画像処理装置 |
-
1995
- 1995-09-06 JP JP22897795A patent/JP3315566B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0973549A (ja) | 1997-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109643465B (zh) | 用于创建混合现实环境的系统、方法、显示装置、介质 | |
| US11734876B2 (en) | Synthesizing an image from a virtual perspective using pixels from a physical imager array weighted based on depth error sensitivity | |
| CN108629831B (zh) | 基于参数化人体模板和惯性测量的三维人体重建方法及系统 | |
| US8269779B2 (en) | Development tools for animated character rigging | |
| US8390628B2 (en) | Facial animation using motion capture data | |
| US6731287B1 (en) | Method for animating a 3-D model of a face | |
| CN106846467B (zh) | 基于每个相机位置优化的实体场景建模方法和系统 | |
| Fender et al. | Optispace: Automated placement of interactive 3d projection mapping content | |
| US6587106B1 (en) | Computer graphics apparatus having an improved walk-through function | |
| JPH08233556A (ja) | 撮像画像処理装置および撮像画像処理方法 | |
| US20100166280A1 (en) | Three-dimensional shape data processing apparatus and three-dimensionalshape data processing method | |
| CN109685891A (zh) | 基于深度图像的建筑物三维建模与虚拟场景生成系统 | |
| JP2013539147A5 (ja) | ||
| JP2004502249A (ja) | 深度マップのメジアン値融合のためのシステムおよび方法 | |
| JP2017156162A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN113393577B (zh) | 一种倾斜摄影地形重建方法 | |
| CN113643414A (zh) | 一种三维图像生成方法、装置、电子设备及存储介质 | |
| JP3245336B2 (ja) | モデリング方法およびモデリングシステム | |
| CN111742352B (zh) | 对三维对象进行建模的方法和电子设备 | |
| US8194950B2 (en) | Compensating in-plane and off-plane motion in medical images | |
| KR20200060196A (ko) | 3차원 아바타 생성 장치 및 방법 | |
| JP3315566B2 (ja) | 画像処理方法とその装置 | |
| JPH09138864A (ja) | ３次元形状データの生成方法及び処理装置 | |
| JP4149732B2 (ja) | ステレオマッチング方法、３次元計測方法及び３次元計測装置並びにステレオマッチング方法のプログラム及び３次元計測のプログラム | |
| JP2022011818A (ja) | 情報処理装置およびその制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020520 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080607 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090607 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090607 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100607 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110607 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120607 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120607 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130607 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |