JP3023903B2 - 画像生成方法および画像生成装置 - Google Patents
画像生成方法および画像生成装置Info
- Publication number
- JP3023903B2 JP3023903B2 JP10813994A JP10813994A JP3023903B2 JP 3023903 B2 JP3023903 B2 JP 3023903B2 JP 10813994 A JP10813994 A JP 10813994A JP 10813994 A JP10813994 A JP 10813994A JP 3023903 B2 JP3023903 B2 JP 3023903B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- local feature
- information
- unit
- viewpoint position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Generation (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、少ない数の部分的画像
データから完全な画像を生成する画像生成方法および画
像生成装置に関する。
データから完全な画像を生成する画像生成方法および画
像生成装置に関する。
【０００２】
【従来の技術】従来、画像中の物体の立体形状、距離な
どを反映し、視点位置に応じた画像を少ないデータで生
成する手法としては、例えば特開平５−１２４１３号公
報に示される画像生成装置のように、予め対象物体が再
現できる表面上の点を３次元計測装置により計測し、そ
のような点の３次元的位置座標を記憶しておいて、再生
画像を生成するときは、視点位置と対象物件との位置関
係から再生画像用のスクリーン上の位置を求め、予め異
なる視点位置で得た画像との対応点関係から輝度レベル
またはＲＧＢ値を対応させて表示する物であった。
どを反映し、視点位置に応じた画像を少ないデータで生
成する手法としては、例えば特開平５−１２４１３号公
報に示される画像生成装置のように、予め対象物体が再
現できる表面上の点を３次元計測装置により計測し、そ
のような点の３次元的位置座標を記憶しておいて、再生
画像を生成するときは、視点位置と対象物件との位置関
係から再生画像用のスクリーン上の位置を求め、予め異
なる視点位置で得た画像との対応点関係から輝度レベル
またはＲＧＢ値を対応させて表示する物であった。
【０００３】また、特公平５−６０１４８号公報に示さ
れる合成画像発生装置では、予め基準画像と対象物体の
３次元形状モデルを所定のメモリに記憶しておき、再生
時に記憶した時と異なる視点からの距離と方角との差異
から対象画像の変倍率、画面上移動距離、および回転角
を計算し、それらに基づいた幾何学的変形を施して異な
る視点より観察した対象画像を生成するものであった。
れる合成画像発生装置では、予め基準画像と対象物体の
３次元形状モデルを所定のメモリに記憶しておき、再生
時に記憶した時と異なる視点からの距離と方角との差異
から対象画像の変倍率、画面上移動距離、および回転角
を計算し、それらに基づいた幾何学的変形を施して異な
る視点より観察した対象画像を生成するものであった。
【０００４】
【発明が解決しようとする課題】しかしながら、上記従
来例では、実写画像中の特定対象の画像を加工して別の
シーンの画像と合成したり、遮蔽部分を考慮しながらそ
の特定対象の運動、変形を行わせたりする為に、対象に
関するより詳細な３次元形状モデルが必要である。そし
て、対象に関するより詳細な３次元形状モデルを求める
為には別途、形状計測手段あるいは２眼式ステレオカメ
ラで得られる視差付き画像から形状モデルを求める手法
などによる詳細な計測を必要とする。そのため、演算コ
スト、処理時間ともに大きいという問題点があった。
来例では、実写画像中の特定対象の画像を加工して別の
シーンの画像と合成したり、遮蔽部分を考慮しながらそ
の特定対象の運動、変形を行わせたりする為に、対象に
関するより詳細な３次元形状モデルが必要である。そし
て、対象に関するより詳細な３次元形状モデルを求める
為には別途、形状計測手段あるいは２眼式ステレオカメ
ラで得られる視差付き画像から形状モデルを求める手法
などによる詳細な計測を必要とする。そのため、演算コ
スト、処理時間ともに大きいという問題点があった。
【０００５】本発明は、上記従来技術にかかる問題点に
鑑み、詳細な３次元形状モデルなしで画像を生成するこ
とにより、演算コスト、処理時間ともに小さくすること
ができる画像生成方法および画像生成装置を提供するこ
とを目的としている。
鑑み、詳細な３次元形状モデルなしで画像を生成するこ
とにより、演算コスト、処理時間ともに小さくすること
ができる画像生成方法および画像生成装置を提供するこ
とを目的としている。
【０００６】
【課題を解決するための手段】上記目的を達成するため
の本発明は、予め定義された局所的特徴要素とそれらの
空間的配置を対象画像の構造情報として記憶する構造情
報記憶部と、画像を見るときの仮想的な対象に対する視
点位置を入力するための視点位置入力部と、前記視点位
置入力部からの入力情報に基いて、前記構造情報記憶部
の情報を変更する局所特徴要素配置・変形部と、前記局
所特徴要素配置・変形部からの情報を受けて、各局所的
特徴要素間を補間する曲線または曲面を生成する生成部
と、前記対象画像の背景となる背景画像を記憶する画像
記憶部と、前記画像記憶部から背景画像を取り込み、前
記生成部で生成処理された対象画像と合成させるための
画像合成部と、前記画像合成部で形成された画像を表示
する画像表示部と、からなる画像生成装置を特徴とす
る。
の本発明は、予め定義された局所的特徴要素とそれらの
空間的配置を対象画像の構造情報として記憶する構造情
報記憶部と、画像を見るときの仮想的な対象に対する視
点位置を入力するための視点位置入力部と、前記視点位
置入力部からの入力情報に基いて、前記構造情報記憶部
の情報を変更する局所特徴要素配置・変形部と、前記局
所特徴要素配置・変形部からの情報を受けて、各局所的
特徴要素間を補間する曲線または曲面を生成する生成部
と、前記対象画像の背景となる背景画像を記憶する画像
記憶部と、前記画像記憶部から背景画像を取り込み、前
記生成部で生成処理された対象画像と合成させるための
画像合成部と、前記画像合成部で形成された画像を表示
する画像表示部と、からなる画像生成装置を特徴とす
る。
【０００７】また本発明は、予め定義された局所的特徴
要素とそれらの空間的配置を対象画像の構造情報として
記憶する構造情報記憶ステップと、画像を見るときの仮
想的な対象に対する視点位置を入力するための視点位置
入力ステップと、前記視点位置入力ステップの入力情報
に基いて、前記構造情報記憶ステップの情報を変更する
局所特徴要素配置・変形ステップと、前記局所特徴要素
配置・変形ステップの情報を受けて、各局所的特徴要素
間を補間する曲線または曲面を生成する生成ステップ
と、前記対象画像の背景となる背景画像を記憶する画像
記憶ステップと、前記画像記憶ステップの背景画像を取
り込み、前記生成ステップで生成処理された対象画像と
合成させるための画像合成ステップと、前記画像合成ス
テップで形成された画像を表示する画像表示ステップ
と、からなる画像生成方法をも特徴とする。
要素とそれらの空間的配置を対象画像の構造情報として
記憶する構造情報記憶ステップと、画像を見るときの仮
想的な対象に対する視点位置を入力するための視点位置
入力ステップと、前記視点位置入力ステップの入力情報
に基いて、前記構造情報記憶ステップの情報を変更する
局所特徴要素配置・変形ステップと、前記局所特徴要素
配置・変形ステップの情報を受けて、各局所的特徴要素
間を補間する曲線または曲面を生成する生成ステップ
と、前記対象画像の背景となる背景画像を記憶する画像
記憶ステップと、前記画像記憶ステップの背景画像を取
り込み、前記生成ステップで生成処理された対象画像と
合成させるための画像合成ステップと、前記画像合成ス
テップで形成された画像を表示する画像表示ステップ
と、からなる画像生成方法をも特徴とする。
【０００８】上記の画像生成装置もしくは画像生成方法
において、前記局所的特徴要素は、画像の輪郭線からな
り、複数方向のエッジセグメントの交差パターン、曲率
一定の曲線またはその一部、およびエッジセグメントか
らなり、前記局所的特徴要素間を滑らかに結ぶことによ
り、画像の一部を生成することを特徴とする。
において、前記局所的特徴要素は、画像の輪郭線からな
り、複数方向のエッジセグメントの交差パターン、曲率
一定の曲線またはその一部、およびエッジセグメントか
らなり、前記局所的特徴要素間を滑らかに結ぶことによ
り、画像の一部を生成することを特徴とする。
【０００９】そして、前記構造情報は、視点位置の変化
に伴って生成、消失する際の、それぞれの視点位置での
局所的特徴要素とその空間的配置情報であることを特徴
とする。
に伴って生成、消失する際の、それぞれの視点位置での
局所的特徴要素とその空間的配置情報であることを特徴
とする。
【００１０】また、前記局所的特徴要素は３次元空間に
配置された面要素であり、前記局所的特徴要素間を滑ら
かに連結する補間用曲面データを生成することを特徴と
してもよい。
配置された面要素であり、前記局所的特徴要素間を滑ら
かに連結する補間用曲面データを生成することを特徴と
してもよい。
【００１１】
【作用】上記のとおりに構成された本発明では、予め定
義された局所的特徴要素、およびそれらの空間的配置情
報に基づき画像を生成することにより、対象のワイヤフ
レームモデルなどの詳細な３次元形状モデルを求めずに
対象の運動・動作に応じた任意のサイズ、変形を与え
て、所定位置に任意の視点位置からの画像を生成した
り、あるいは対象の任意の運動・動作を入れた動画像を
生成することが可能である。
義された局所的特徴要素、およびそれらの空間的配置情
報に基づき画像を生成することにより、対象のワイヤフ
レームモデルなどの詳細な３次元形状モデルを求めずに
対象の運動・動作に応じた任意のサイズ、変形を与え
て、所定位置に任意の視点位置からの画像を生成した
り、あるいは対象の任意の運動・動作を入れた動画像を
生成することが可能である。
【００１２】
【実施例】以下、本発明の実施例について図面を参照し
て説明する。
て説明する。
【００１３】図１は、本発明の画像生成方法を好適に実
施する装置の一構成例を示すブロック図、図２は、図１
に示す構造情報記憶部に記憶された局所的特徴要素の一
例を示した図である。
施する装置の一構成例を示すブロック図、図２は、図１
に示す構造情報記憶部に記憶された局所的特徴要素の一
例を示した図である。
【００１４】本実施例の画像生成装置は、図１に示すよ
うに、対象画像の構造情報記憶部１、視点位置入力部
２、対象運動モード選択部３、局所特徴要素配置・変形
部４、特徴要素間補間用曲線生成部５、画像データベー
ス６、画像合成部７、および画像表示部８とから構成さ
れる。
うに、対象画像の構造情報記憶部１、視点位置入力部
２、対象運動モード選択部３、局所特徴要素配置・変形
部４、特徴要素間補間用曲線生成部５、画像データベー
ス６、画像合成部７、および画像表示部８とから構成さ
れる。
【００１５】上記各構成要素を詳述すると、構造情報記
憶部１は、対象とする物体、生物などの構造的画像情報
の記憶部であり、観察者の視点位置、対象の運動・動作
などに伴う対象画像の変化を表現する為の必要最小限の
情報として、図２に示すような２次元あるいは３次元的
局所的特徴要素、およびそれらの３次元的空間配置情報
を記憶するものである。
憶部１は、対象とする物体、生物などの構造的画像情報
の記憶部であり、観察者の視点位置、対象の運動・動作
などに伴う対象画像の変化を表現する為の必要最小限の
情報として、図２に示すような２次元あるいは３次元的
局所的特徴要素、およびそれらの３次元的空間配置情報
を記憶するものである。
【００１６】視点位置入力部２は、観察者が対象を視る
位置、方向を入力する為のもので、磁気変換方式（例え
ば、POLHEMUS(ホ゜ヒマス)社製，3SPACE ISOTRAK II）、超音
波方式（例えば、Stereo Graphics社製，Crystal EYES
VR System）等のように観察者の頭部などに直接センサ
等を装着して視点位置を計測し入力する方法や、計算機
端末のマウスやキーボードなどで入力する方法のいずれ
でもよい。
位置、方向を入力する為のもので、磁気変換方式（例え
ば、POLHEMUS(ホ゜ヒマス)社製，3SPACE ISOTRAK II）、超音
波方式（例えば、Stereo Graphics社製，Crystal EYES
VR System）等のように観察者の頭部などに直接センサ
等を装着して視点位置を計測し入力する方法や、計算機
端末のマウスやキーボードなどで入力する方法のいずれ
でもよい。
【００１７】対象運動モード選択部３は、対象に関す
る、予め決められた運動・動作（例えば、人物を対象と
する場合、喜怒哀楽などの顔の表情変化、発声する言葉
に応じた口の形状の変化など、顔の形状変化に関するも
のから、歩行、駆け足、スポーツプレイ時を含む身体の
動きまでなど）を行なう動画像を対話的に選択して背景
画像中のある場所に生成させるときに使われる。
る、予め決められた運動・動作（例えば、人物を対象と
する場合、喜怒哀楽などの顔の表情変化、発声する言葉
に応じた口の形状の変化など、顔の形状変化に関するも
のから、歩行、駆け足、スポーツプレイ時を含む身体の
動きまでなど）を行なう動画像を対話的に選択して背景
画像中のある場所に生成させるときに使われる。
【００１８】局所特徴要素配置・変形部４は、視点位置
入力部２、対象運動モード選択部３からの情報を受けて
対象の立体形状、視点位置を反映した画像を再生する為
に、例えば視点が変わることによって生じる局所的特徴
要素の撮像面上の相対位置変化およびそれぞれの要素の
変形を生じさせるものである。
入力部２、対象運動モード選択部３からの情報を受けて
対象の立体形状、視点位置を反映した画像を再生する為
に、例えば視点が変わることによって生じる局所的特徴
要素の撮像面上の相対位置変化およびそれぞれの要素の
変形を生じさせるものである。
【００１９】特徴要素間補間用曲線生成部５は、局所特
徴要素配置・変形部４の出力を受けて特徴要素間を正し
く、滑らかに曲線要素で補間するように生成処理を行な
うものである。
徴要素配置・変形部４の出力を受けて特徴要素間を正し
く、滑らかに曲線要素で補間するように生成処理を行な
うものである。
【００２０】画像データベース６は、対象画像の背景と
なる背景画像を記憶する画像記憶部である。
なる背景画像を記憶する画像記憶部である。
【００２１】画像合成部７は、特定対象以外の背景とな
る画像を画像データベース６から取り込み、対象画像と
合成するための処理部である。
る画像を画像データベース６から取り込み、対象画像と
合成するための処理部である。
【００２２】画像表示部８は合成後の画像を表示する為
のディスプレイ手段とその駆動手段を含む。
のディスプレイ手段とその駆動手段を含む。
【００２３】次に、本実施例における構造情報記憶部１
での情報記憶形式を、顔の３次元アニメーション画像を
例にして説明する。
での情報記憶形式を、顔の３次元アニメーション画像を
例にして説明する。
【００２４】本実施例では、顔の画像情報を、顔を構成
するパーツ（例えば、目、鼻、口、耳など）ごとに、図
２に示される局所的特徴要素とそれらの３次元空間配置
をパーツ画像の構造情報として保持し、さらに各パーツ
とその（重心）位置関係を顔画像の構造情報として保持
する。例えば、パーツの一つとしての目の画像の基本構
造情報は、目頭、目尻に相当する部位にＬ型交差要素
するパーツ（例えば、目、鼻、口、耳など）ごとに、図
２に示される局所的特徴要素とそれらの３次元空間配置
をパーツ画像の構造情報として保持し、さらに各パーツ
とその（重心）位置関係を顔画像の構造情報として保持
する。例えば、パーツの一つとしての目の画像の基本構
造情報は、目頭、目尻に相当する部位にＬ型交差要素
【００２５】
【数１】 を、目上，目下の弧状曲線部位に曲線（曲率）要素
【００２６】
【数２】 を割り当てた局所的特徴要素と、それらの代表点位置
（例えば、左右上下端点座標など）を記憶する。尚、目
の輪郭の画像構造情報としては、上述した構成に限定さ
れるものではなく、例えば、目上、目下に相当する２つ
の曲線（曲率）要素
（例えば、左右上下端点座標など）を記憶する。尚、目
の輪郭の画像構造情報としては、上述した構成に限定さ
れるものではなく、例えば、目上、目下に相当する２つ
の曲線（曲率）要素
【００２７】
【数３】 とその代表点位置で表現してもよい。
【００２８】さらに、瞳の形状を表現するのに必要な構
造情報としては、所定の半径の円Ｃｒとその中心位置で
表わしてもよいし、２つの曲率要素
造情報としては、所定の半径の円Ｃｒとその中心位置で
表わしてもよいし、２つの曲率要素
【００２９】
【数４】 とそれらの代表点位置として表わしてもよい。この場合
には、目上、目下に相当する曲率要素との交点で生じる
Ｔ型交差の位置
には、目上、目下に相当する曲率要素との交点で生じる
Ｔ型交差の位置
【００３０】
【数５】 をその構造情報に含めてもよい。
【００３１】このような顔画像の基本構造情報として
は、前向き正面から見た画像を所定サイズで表示したも
のを正準画像情報としてデフォルト的に記憶しておく。
は、前向き正面から見た画像を所定サイズで表示したも
のを正準画像情報としてデフォルト的に記憶しておく。
【００３２】さらに、視点位置を正面方向から例えば４
５°，９０°，１３５°，１８０°方向に水平面内で変
えたときの画像の構造情報として同様にそれぞれに対応
する原画像から基本構造情報と同様に局所的特徴要素と
それらの空間配置情報を記憶しておく。
５°，９０°，１３５°，１８０°方向に水平面内で変
えたときの画像の構造情報として同様にそれぞれに対応
する原画像から基本構造情報と同様に局所的特徴要素と
それらの空間配置情報を記憶しておく。
【００３３】特徴要素配置・変形部４は、視点位置入力
部２または運動モード選択部３からの情報を受けて任意
の視点位置からの画像を生成する為に、予め得た離散的
な視点方向別構造情報データから当該視点方向の画像中
の各特徴要素の見かけの形状と空間配置データを予測、
生成する。
部２または運動モード選択部３からの情報を受けて任意
の視点位置からの画像を生成する為に、予め得た離散的
な視点方向別構造情報データから当該視点方向の画像中
の各特徴要素の見かけの形状と空間配置データを予測、
生成する。
【００３４】そこで以下に、その方法を詳述する。
【００３５】３次元アニメーションなど線画ベースで画
像を表現する際、仮想的な視点方向が変わることによっ
て、輪郭データの変形、消出、生成が起こる。本実施例
では、これらのうち消出、生成については、それらの生
起する視点方向角度データθ iとそのときの構造情報デ
ータ
像を表現する際、仮想的な視点方向が変わることによっ
て、輪郭データの変形、消出、生成が起こる。本実施例
では、これらのうち消出、生成については、それらの生
起する視点方向角度データθ iとそのときの構造情報デ
ータ
【００３６】
【数６】 を求める。尚、
【００３７】
【数７】 はｊ番目の位置
【００３８】
【数８】 に存在する局所的特徴要素を表わす。Ｎ（ｉ）は視点方
向θiに対応する対象画像の全特徴要素数を示す。
向θiに対応する対象画像の全特徴要素数を示す。
【００３９】次に、視点方向θ（θi-1＜θ＜θi）での
構造情報データ
構造情報データ
【００４０】
【数９】 を生成する。ここで、
【００４１】
【数１０】 、Ｆはｆk i-1，ｆk iから視点方向θでの対応する特徴要
素
素
【００４２】
【数１１】 の位置
【００４３】
【数１２】 および形状（例えば、Ｌ型交差の交差角、向き、曲率要
素の曲率、向きなど）を予測する関数であり、二つの特
徴要素ｆk i-1，ｆk iの位置および形状データをθ（θ
i-1＜θ＜θi）の値から補間する。例えば、線形補間の
場合、
素の曲率、向きなど）を予測する関数であり、二つの特
徴要素ｆk i-1，ｆk iの位置および形状データをθ（θ
i-1＜θ＜θi）の値から補間する。例えば、線形補間の
場合、
【００４４】
【数１３】 尚、
【００４５】
【数１４】 などは局所的特徴要素の形状パラメータを示し、Ｌ型交
差の場合は交差角、曲率要素の場合は曲率を表わす。
差の場合は交差角、曲率要素の場合は曲率を表わす。
【００４６】本実施例では、補間の方式に上記のような
線形方式が用いられているが、本発明はこれに限られる
ものではない。
線形方式が用いられているが、本発明はこれに限られる
ものではない。
【００４７】また、
【００４８】
【数１５】 は視点方向θi-1，θi両者の画像に共通して存在する同
じ種類（例えば、Ｌ型交差、曲率要素などの種別）の特
徴要素について定義されたが、θi-1≦θ＜θiで存在
し、θi＜θ≦θi+1では消失する特徴要素についてはそ
の空間位置
じ種類（例えば、Ｌ型交差、曲率要素などの種別）の特
徴要素について定義されたが、θi-1≦θ＜θiで存在
し、θi＜θ≦θi+1では消失する特徴要素についてはそ
の空間位置
【００４９】
【数１６】 は前述と同様の補間により求め、その形状は不変とする
か、あるいは別途、（θ，θi）の範囲の一視点方向か
らの画像に基いて構造データを生成することにより、位
置、形状の補間データを得てもよい。
か、あるいは別途、（θ，θi）の範囲の一視点方向か
らの画像に基いて構造データを生成することにより、位
置、形状の補間データを得てもよい。
【００５０】上述の様にして、所定の視点位置、対象運
動モードにおける特徴要素の形状、配置データを得た
後、補間用曲線生成部５において、先ず、顔画像のパー
ツ（例えば、目、鼻、口など）ごとに特徴要素間を滑ら
かに結ぶ曲線を生成する。
動モードにおける特徴要素の形状、配置データを得た
後、補間用曲線生成部５において、先ず、顔画像のパー
ツ（例えば、目、鼻、口など）ごとに特徴要素間を滑ら
かに結ぶ曲線を生成する。
【００５１】次に、その生成方法をパーツの一つである
目の画像の生成を例に採って説明する。
目の画像の生成を例に採って説明する。
【００５２】図３は、目を二つのＬ型交差
【００５３】
【数１７】 、４種の曲率要素
【００５４】
【数１８】 の空間配置による構造情報として記述した場合にこれら
局所的特徴要素間を滑らかに連結する方法の例を示す。
局所的特徴要素間を滑らかに連結する方法の例を示す。
【００５５】図３中、各特徴要素のサイズパラメータσ
が予め設定されているとすると、Ｌ型交差はそれを構成
する二つのラインセグメントの長さの和がσと同程度、
曲率要素の場合、弧長がσと同程度である。の場合、
特徴要素間補間用曲線生成部５はＬ型交差Ｌ1を構成す
る一方のラインセグメントＬ11の端点と
が予め設定されているとすると、Ｌ型交差はそれを構成
する二つのラインセグメントの長さの和がσと同程度、
曲率要素の場合、弧長がσと同程度である。の場合、
特徴要素間補間用曲線生成部５はＬ型交差Ｌ1を構成す
る一方のラインセグメントＬ11の端点と
【００５６】
【数１９】 の一端とを直線（図中、点線で表示）で結ぶ。同様にし
て、Ｌ1を構成する他方のラインセグメントＬ12とＣ1、
て、Ｌ1を構成する他方のラインセグメントＬ12とＣ1、
【００５７】
【数２０】 とを直線で結合することにより目の輪郭を形成する。
【００５８】また、図３のでは、特徴要素間の滑らか
な結合をＳｐｌｉｎｅ曲線の生成によって行なう。例え
ば、３次のＳｐｌｉｎｅ曲線要素により結合する場合、
予め設定された座標系においてｙ＝ａｘ3＋ｂｘ2＋ｃｘ
＋ｄの各係数値が結合すべき特徴要素の各端点において
傾きが一致するように選ぶ。描画範囲は特徴要素の各端
点の座標を求めることに決めることができる。
な結合をＳｐｌｉｎｅ曲線の生成によって行なう。例え
ば、３次のＳｐｌｉｎｅ曲線要素により結合する場合、
予め設定された座標系においてｙ＝ａｘ3＋ｂｘ2＋ｃｘ
＋ｄの各係数値が結合すべき特徴要素の各端点において
傾きが一致するように選ぶ。描画範囲は特徴要素の各端
点の座標を求めることに決めることができる。
【００５９】さらに、の方式は、Ｓｎａｋｅｓと呼ば
れる輪郭線モデル（M.Kass,A.Witkin,D.Terzopoulos:「S
nakes:Active contour models」 International Journal
ofComputer Vision, Vol.1, pp.321-331）を適用する
ものであり、輪郭線ｖ(ｓ)＝（ｘ(s)，ｙ(ｓ)）に対
し、評価関数
れる輪郭線モデル（M.Kass,A.Witkin,D.Terzopoulos:「S
nakes:Active contour models」 International Journal
ofComputer Vision, Vol.1, pp.321-331）を適用する
ものであり、輪郭線ｖ(ｓ)＝（ｘ(s)，ｙ(ｓ)）に対
し、評価関数
【００６０】
【数２１】 を最小にする輪郭線ｖ(ｓ)を求めるものであって、Ｖ
i(s)（ｓ）はＳｎａｋｅｓの制御点（線）であり、局所
的特徴要素の線または曲線要素に相当する。添字ｉ(ｓ)
は特徴要素に適当な方法で符番したときの番号に相当す
る。
i(s)（ｓ）はＳｎａｋｅｓの制御点（線）であり、局所
的特徴要素の線または曲線要素に相当する。添字ｉ(ｓ)
は特徴要素に適当な方法で符番したときの番号に相当す
る。
【００６１】このように局所的特徴要素間の補間用曲線
の生成方法について説明したが、本発明はこれに特に限
定されるものではない。
の生成方法について説明したが、本発明はこれに特に限
定されるものではない。
【００６２】上述の様にして、対象の全体画像の各パー
ツごとに特徴要素間を結線することにより各パーツの線
画像を生成する。
ツごとに特徴要素間を結線することにより各パーツの線
画像を生成する。
【００６３】対象運動モードの選択部３で設定された場
合には、それぞれの運動、動作などに応じて予め用意さ
れたモデルに基いて時系列的に局所的特徴要素の配置・
変形が局所特徴要素配置・変形部４によって生成され、
その都度、補間用曲線生成部５で形状補間処理が行なわ
れて対象の動画像が生成される。尚、動画像は観察者の
視点位置を反映したものであることは言うまでもない。
合には、それぞれの運動、動作などに応じて予め用意さ
れたモデルに基いて時系列的に局所的特徴要素の配置・
変形が局所特徴要素配置・変形部４によって生成され、
その都度、補間用曲線生成部５で形状補間処理が行なわ
れて対象の動画像が生成される。尚、動画像は観察者の
視点位置を反映したものであることは言うまでもない。
【００６４】さらに、本実施例では対象画像と予め画像
データベース６に用意された背景画像を選択して画像合
成部７により合成処理を行なう。その際、対象画像にテ
クスチャアッピングを行なって陰影、色、模様などを付
加してもよい。図４は、顔画像の場合の構造情報と復元
画像を示す。
データベース６に用意された背景画像を選択して画像合
成部７により合成処理を行なう。その際、対象画像にテ
クスチャアッピングを行なって陰影、色、模様などを付
加してもよい。図４は、顔画像の場合の構造情報と復元
画像を示す。
【００６５】対象の運動・動作の種類によって決まる局
所的特徴要素の形状、配置の時系列データは、実写動画
像から所定の局所特徴要素抽出方式に基いて生成しても
よいし、計算機上で運動、動作モデルとして生成しても
よい。図５は、そのような時系列データの記憶形式の一
例を示す。
所的特徴要素の形状、配置の時系列データは、実写動画
像から所定の局所特徴要素抽出方式に基いて生成しても
よいし、計算機上で運動、動作モデルとして生成しても
よい。図５は、そのような時系列データの記憶形式の一
例を示す。
【００６６】図５中、符号ｊは画像フレーム番号、符号
Ｎはそのフレーム中の対象画像の特徴要素、符号ｆは特
徴要素タイプ、符号
Ｎはそのフレーム中の対象画像の特徴要素、符号ｆは特
徴要素タイプ、符号
【００６７】
【数２２】 はその代表点位置で、ｘ，ｙはフレーム中の横、縦方向
画素位置を表わす。
画素位置を表わす。
【００６８】このようにして図１に示した局所特徴要素
配置・変形部４は、特徴要素分のそれぞれの種別、代表
点位置を制御パラメータとして読み込み、さらに、それ
ぞれの特徴要素に視点位置に応じた配置、形状の適切な
変更を行なう。
配置・変形部４は、特徴要素分のそれぞれの種別、代表
点位置を制御パラメータとして読み込み、さらに、それ
ぞれの特徴要素に視点位置に応じた配置、形状の適切な
変更を行なう。
【００６９】尚、図５に示されるデータは、図１に示し
た構造情報記憶部１に内蔵される顔画像中のあるパーツ
に関する視線方向別データの例を示している。必要があ
れば、さらに特徴要素の形状を決めるパラメータの値を
所定の形式で記憶してもよい。
た構造情報記憶部１に内蔵される顔画像中のあるパーツ
に関する視線方向別データの例を示している。必要があ
れば、さらに特徴要素の形状を決めるパラメータの値を
所定の形式で記憶してもよい。
【００７０】（他の実施例）図６は、本発明の画像生成
方法を好適に実施する装置の他の構成例を示すブロック
図である。この図に基づく下記の説明にて、上記実施例
と同一構成要素には同一符号を付し、その説明を省略す
る。
方法を好適に実施する装置の他の構成例を示すブロック
図である。この図に基づく下記の説明にて、上記実施例
と同一構成要素には同一符号を付し、その説明を省略す
る。
【００７１】本実施例は、局所的特徴要素として３次元
的な面要素を用い、特徴要素間補間用曲面生成部１５で
特徴要素間を滑らかに結ぶ面を生成することが特徴であ
る。図７は、図６に示した画像生成装置で用いる局所的
特徴要素の例を示す。
的な面要素を用い、特徴要素間補間用曲面生成部１５で
特徴要素間を滑らかに結ぶ面を生成することが特徴であ
る。図７は、図６に示した画像生成装置で用いる局所的
特徴要素の例を示す。
【００７２】この図にて、ＳＬiは二つの平面要素がＬ
字型に交差してできるＬ字型面要素であり、交差角度と
その向き（交差角を２等分し、交差線分と直交する方
向）に応じて離散的に設定される。
字型に交差してできるＬ字型面要素であり、交差角度と
その向き（交差角を２等分し、交差線分と直交する方
向）に応じて離散的に設定される。
【００７３】ＳＣiはガウス曲率、平均曲率（または、
二つの主曲率）およびその中心点の法ベクトル、サイズ
パラメータによって指定される曲面要素であり、ＳＬi
と同様に指定パラメータの離散的なセットによって予め
設定される。ＳＣ1，ＳＣ2，ＳＣ3は二つの主曲率の符
号の組合せの異なる面要素を示す。
二つの主曲率）およびその中心点の法ベクトル、サイズ
パラメータによって指定される曲面要素であり、ＳＬi
と同様に指定パラメータの離散的なセットによって予め
設定される。ＳＣ1，ＳＣ2，ＳＣ3は二つの主曲率の符
号の組合せの異なる面要素を示す。
【００７４】対象物体の画像を生成する為には特徴要素
間補間用曲面生成部１５で特徴要素の間を滑らかに埋め
る曲線データをｘ，ｙ，ｚ座標として生成した後、視点
方向、位置に基いて隠面処理を行ない、さらに、光線方
向と面の反射特性を反映した陰影、色、模様などを付加
して画像表示部８で表示する。
間補間用曲面生成部１５で特徴要素の間を滑らかに埋め
る曲線データをｘ，ｙ，ｚ座標として生成した後、視点
方向、位置に基いて隠面処理を行ない、さらに、光線方
向と面の反射特性を反映した陰影、色、模様などを付加
して画像表示部８で表示する。
【００７５】
【発明の効果】以上説明したように本発明は、予め定義
された局所的特徴要素の空間配置を画像の構造情報とし
て表現することにより、特定対象の画像を異なる任意の
視点位置から生成したり、対象の動きに伴った画像を生
成したりすることがワイヤフレームモデルなどの詳細な
３次元形状モデルなしでできる。
された局所的特徴要素の空間配置を画像の構造情報とし
て表現することにより、特定対象の画像を異なる任意の
視点位置から生成したり、対象の動きに伴った画像を生
成したりすることがワイヤフレームモデルなどの詳細な
３次元形状モデルなしでできる。
【００７６】このため、３次元画像の生成に必要なデー
タ数を従来と比べて大幅に減らすことができる。
タ数を従来と比べて大幅に減らすことができる。
【００７７】さらに、視点位置の変化に伴う遮蔽輪郭の
生成、消滅を予め記憶させることができるので、物体の
３次元形状モデルと視点位置から幾何学的演算を行なっ
て表示する方式に比べて演算コスト、処理時間ともに低
減させることができる。
生成、消滅を予め記憶させることができるので、物体の
３次元形状モデルと視点位置から幾何学的演算を行なっ
て表示する方式に比べて演算コスト、処理時間ともに低
減させることができる。
【図１】本発明の画像生成方法を好適に実施する装置の
一構成例を示すブロック図である。
一構成例を示すブロック図である。
【図２】図１に示す構造情報記憶部に記憶された局所的
特徴要素の一例を示した図である。
特徴要素の一例を示した図である。
【図３】目を二つのＬ型交差、４種の曲率要素の空間配
置による構造情報として記述した場合にこれら局所的特
徴要素間を滑らかに連結する方法の例を説明するための
図である。
置による構造情報として記述した場合にこれら局所的特
徴要素間を滑らかに連結する方法の例を説明するための
図である。
【図４】顔画像の場合の構造情報と復元画像を示す図で
ある。
ある。
【図５】局所的特徴要素の形状、配置の時系列データの
記憶形式の一例を示す図である。
記憶形式の一例を示す図である。
【図６】本発明の画像生成方法を好適に実施する装置の
他の構成例を示すブロック図である。
他の構成例を示すブロック図である。
【図７】図６に示した画像生成装置で用いる局所的特徴
要素の例を示す図である。
要素の例を示す図である。
１ 対象画像の構造情報記憶部 ２ 視点位置入力部 ３ 対象運動モード選択部 ４ 局所特徴要素配置・変形部 ５ 特徴要素間補間用曲線生成部 ６ 画像データベース ７ 画像合成部 ８ 画像表示部 １５ 特徴要素間補間用曲面生成部
フロントページの続き (56)参考文献 特開 平３−119482（ＪＰ，Ａ) 特開 昭64−70884（ＪＰ，Ａ) 特開 平３−74784（ＪＰ，Ａ) 田村秀行ほか”３次元仮想空間生成・ 表示へのモデル系＆非モデル系アプロー チ”Ｈｕｍａｎ Ｉｎｔｅｒｆａｃｅ Ｎｅｗｓ ａｎｄ Ｒｅｐｏｒｔ，計測 自動制御学会：ヒューマンインターフェ ース部会発行，1994年５月10日，Ｖｏ ｌ．９，Ｎｏ．３，ｐ．279−286 (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 15/00 - 17/50 ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (8)
- 【請求項１】 予め定義された局所的特徴要素とそれら
の空間的配置を対象画像の構造情報として記憶する構造
情報記憶部と、 画像を見るときの仮想的な対象に対する視点位置を入力
するための視点位置入力部と、 前記視点位置入力部からの入力情報に基いて、前記構造
情報記憶部の情報を変更する局所特徴要素配置・変形部
と、 前記局所特徴要素配置・変形部からの情報を受けて、各
局所的特徴要素間を補間する曲線または曲面を生成する
生成部と、 前記対象画像の背景となる背景画像を記憶する画像記憶
部と、 前記画像記憶部から背景画像を取り込み、前記生成部で
生成処理された対象画像と合成させるための画像合成部
と、 前記画像合成部で形成された画像を表示する画像表示部
と、からなる画像生成装置。 - 【請求項２】 前記局所的特徴要素は、画像の輪郭線か
らなり、複数方向のエッジセグメントの交差パターン、
曲率一定の曲線またはその一部、およびエッジセグメン
トからなり、前記局所的特徴要素間を滑らかに結ぶこと
により、画像の一部を生成することを特徴とする、請求
項１に記載の画像生成装置。 - 【請求項３】 前記構造情報は、視点位置の変化に伴っ
て生成、消失する際の、それぞれの視点位置での局所的
特徴要素とその空間的配置情報であることを特徴とす
る、請求項１に記載の画像生成装置。 - 【請求項４】 前記局所的特徴要素は３次元空間に配置
された面要素であり、前記局所的特徴要素間を滑らかに
連結する補間用曲面データを生成することを特徴とす
る、請求項１に記載の画像生成装置。 - 【請求項５】 予め定義された局所的特徴要素とそれら
の空間的配置を対象画像の構造情報として記憶する構造
情報記憶ステップと、画像を見るときの仮想的な対象に
対する視点位置を入力するための視点位置入力ステップ
と、 前記視点位置入力ステップの入力情報に基いて、前記構
造情報記憶ステップの情報を変更する局所特徴要素配置
・変形ステップと、 前記局所特徴要素配置・変形ステップの情報を受けて、
各局所的特徴要素間を補間する曲線または曲面を生成す
る生成ステップと、 前記対象画像の背景となる背景画像を記憶する画像記憶
ステップと、 前記画像記憶ステップの背景画像を取り込み、前記生成
ステップで生成処理された対象画像と合成させるための
画像合成ステップと、 前記画像合成ステップで形成された画像を表示する画像
表示ステップと、からなる画像生成方法。 - 【請求項６】 前記局所的特徴要素は、画像の輪郭線か
らなり、複数方向のエッジセグメントの交差パターン、
曲率一定の曲線またはその一部、およびエッジセグメン
トからなり、前記局所的特徴要素間を滑らかに結ぶこと
により、画像の一部を生成することを特徴とする、請求
項５に記載の画像生成方法。 - 【請求項７】 前記構造情報は、視点位置の変化に伴っ
て生成、消失する際の、それぞれの視点位置での局所的
特徴要素とその空間的配置情報であることを特徴とす
る、請求項５に記載の画像生成方法。 - 【請求項８】 前記局所的特徴要素は３次元空間に配置
された面要素であり、前記局所的特徴要素間を滑らかに
連結する補間用曲面データを生成することを特徴とす
る、請求項５に記載の画像生成方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10813994A JP3023903B2 (ja) | 1994-05-23 | 1994-05-23 | 画像生成方法および画像生成装置 |
| US08/893,929 US6463176B1 (en) | 1994-02-02 | 1997-07-15 | Image recognition/reproduction method and apparatus |
| US10/265,923 US6907140B2 (en) | 1994-02-02 | 2002-10-07 | Image recognition/reproduction method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10813994A JP3023903B2 (ja) | 1994-05-23 | 1994-05-23 | 画像生成方法および画像生成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07320086A JPH07320086A (ja) | 1995-12-08 |
| JP3023903B2 true JP3023903B2 (ja) | 2000-03-21 |
Family
ID=14476933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10813994A Expired - Fee Related JP3023903B2 (ja) | 1994-02-02 | 1994-05-23 | 画像生成方法および画像生成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3023903B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000209425A (ja) | 1998-11-09 | 2000-07-28 | Canon Inc | 画像処理装置及び方法並びに記憶媒体 |
-
1994
- 1994-05-23 JP JP10813994A patent/JP3023903B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 田村秀行ほか"３次元仮想空間生成・表示へのモデル系＆非モデル系アプローチ"Ｈｕｍａｎ Ｉｎｔｅｒｆａｃｅ Ｎｅｗｓ ａｎｄ Ｒｅｐｏｒｔ，計測自動制御学会：ヒューマンインターフェース部会発行，１９９４年５月１０日，Ｖｏｌ．９，Ｎｏ．３，ｐ．２７９−２８６ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07320086A (ja) | 1995-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4473754B2 (ja) | 仮想試着装置 | |
| US6463176B1 (en) | Image recognition/reproduction method and apparatus | |
| US5694533A (en) | 3-Dimensional model composed against textured midground image and perspective enhancing hemispherically mapped backdrop image for visual realism | |
| US6278460B1 (en) | Creating a three-dimensional model from two-dimensional images | |
| US6529626B1 (en) | 3D model conversion apparatus and method | |
| JP2014106543A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| Pighin et al. | Realistic facial animation using image-based 3D morphing | |
| US20190188902A1 (en) | Determining pixel values using reference images | |
| US11893705B2 (en) | Reference image generation apparatus, display image generation apparatus, reference image generation method, and display image generation method | |
| JPH09319896A (ja) | ３次元画像作成装置 | |
| KR100317138B1 (ko) | 얼굴 텍스처 영상을 이용한 3차원 얼굴 모델링방법 | |
| JP3538263B2 (ja) | 画像生成方法 | |
| US7006102B2 (en) | Method and apparatus for generating models of individuals | |
| KR100837776B1 (ko) | 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및그 방법 | |
| JP2002163678A (ja) | 擬似三次元画像生成方法および装置 | |
| JP3023903B2 (ja) | 画像生成方法および画像生成装置 | |
| JP3341549B2 (ja) | ３次元形状データ処理装置 | |
| JPH11175765A (ja) | ３次元モデル作成方法、３次元モデル作成装置及び記憶媒体 | |
| JP2739447B2 (ja) | しわの表現可能な三次元像生成装置 | |
| JP2002525764A (ja) | グラフィックスおよび画像処理システム | |
| US6633291B1 (en) | Method and apparatus for displaying an image | |
| US20220309733A1 (en) | Surface texturing from multiple cameras | |
| JP2003077011A (ja) | ３次元形状モデルの表示方法及び装置 | |
| JPH0935082A (ja) | 画像処理方法および画像処理装置 | |
| KR20230165138A (ko) | 사람에 대한 3d 모델을 생성하는 전자 장치 및 그 동작 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090121 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090121 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100121 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110121 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120121 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130121 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140121 Year of fee payment: 14 |
|
| LAPS | Cancellation because of no payment of annual fees |