JPH10240967A - モデル画像を用いた３次元物体のグラフィクスアニメーション装置及び方法 - Google Patents
モデル画像を用いた３次元物体のグラフィクスアニメーション装置及び方法Info
- Publication number
- JPH10240967A JPH10240967A JP7882297A JP7882297A JPH10240967A JP H10240967 A JPH10240967 A JP H10240967A JP 7882297 A JP7882297 A JP 7882297A JP 7882297 A JP7882297 A JP 7882297A JP H10240967 A JPH10240967 A JP H10240967A
- Authority
- JP
- Japan
- Prior art keywords
- model
- image
- picture
- dimensional
- model images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Digital Computer Display Output (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】 （修正有）
【課題】対象物体の完全な、明示的な３次元モデルを必
要とせず、特別な３次元測定装置を持たずに、ＣＣＤカ
メラのような画像入力装置のみで、モデル画像のカバー
する範囲内の任意視点の画像を高速に計算合成できるシ
ステムの実現を基本的目的とする。 【解決手段】３次元対象物体のモデル画像を複数の視点
から適切に撮像する手段と、前記モデル画像間の３次元
位置関係を求めるための３次元運動復元手段と、前記の
モデル画像間の画素の対応を求めるための画像マッチン
グ手段と、任意の視点を指定入力する手段と、上記の結
果として、任意の視点を指定したときの、前記のモデル
画像よりその視点から見た画像を合成する手段と、合成
画像を出力表示する手段を具備することにより、対象物
体の３次元グラフィクスアニメーションを高速に実現す
る。
要とせず、特別な３次元測定装置を持たずに、ＣＣＤカ
メラのような画像入力装置のみで、モデル画像のカバー
する範囲内の任意視点の画像を高速に計算合成できるシ
ステムの実現を基本的目的とする。 【解決手段】３次元対象物体のモデル画像を複数の視点
から適切に撮像する手段と、前記モデル画像間の３次元
位置関係を求めるための３次元運動復元手段と、前記の
モデル画像間の画素の対応を求めるための画像マッチン
グ手段と、任意の視点を指定入力する手段と、上記の結
果として、任意の視点を指定したときの、前記のモデル
画像よりその視点から見た画像を合成する手段と、合成
画像を出力表示する手段を具備することにより、対象物
体の３次元グラフィクスアニメーションを高速に実現す
る。
Description
【０００１】
【産業上の利用分野】 本発明は、３次元物体のグラフ
ィクスアニメーションに関するものであり、３次元物体
の３次元形状モデルの計測を必要とせず、そのモデル画
像を複数の視点から入力するだけで、高速３次元グラフ
ィクスアニメーションを可能にしたものである。
ィクスアニメーションに関するものであり、３次元物体
の３次元形状モデルの計測を必要とせず、そのモデル画
像を複数の視点から入力するだけで、高速３次元グラフ
ィクスアニメーションを可能にしたものである。
【０００２】 ３次元グラフィクスアニメーションは、
仮想（人工）現実感やゲーム、教育、映画制作、ヒュー
マンインタフェース、エンタテインメント、画像通信な
どの分野において、広く応用され、多くのパソコンも、
実時間グラフィクスに対応するように作られつつあり、
今後もさらに広く普及するものと思われる。
仮想（人工）現実感やゲーム、教育、映画制作、ヒュー
マンインタフェース、エンタテインメント、画像通信な
どの分野において、広く応用され、多くのパソコンも、
実時間グラフィクスに対応するように作られつつあり、
今後もさらに広く普及するものと思われる。
【０００３】
【従来技術】 現在市販されている３次元グラフィクス
アニメーションの装置は、すべて対象物体の完全な、明
示的な３次元形状データを持つことを前提としている。
３次元形状を測定する装置が高価なだけでなく、物体の
サイズや距離にも制限が多いため、実際には、使用が限
られ、一般のユーザが簡単に、手軽に利用できるところ
には至っていない。
アニメーションの装置は、すべて対象物体の完全な、明
示的な３次元形状データを持つことを前提としている。
３次元形状を測定する装置が高価なだけでなく、物体の
サイズや距離にも制限が多いため、実際には、使用が限
られ、一般のユーザが簡単に、手軽に利用できるところ
には至っていない。
【０００４】 また、本発明のように、３次元形状モデ
ルを必要としないグラフィクスアニメーションの研究が
行われてはいるが、実用に成熟していないものが多い。
以下、それらの技術について記述するとともに、本発明
との違いを明確にする。
ルを必要としないグラフィクスアニメーションの研究が
行われてはいるが、実用に成熟していないものが多い。
以下、それらの技術について記述するとともに、本発明
との違いを明確にする。
【０００５】 コンピュータグラフィクスの分野におい
て、画像モーフィングという手法があるが、これは、二
枚の隣接するモデル画像間の変化を線形補間するもので
ある（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １３ｔｈ Ｉｎ
ｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ
Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ページＡ
８４−８９）。また、画像モーフィングの概念を変形し
たものも、例えば、Ｒａｙ−Ｂａｓｅｄ Ｒｅｎｄｅｒ
ｉｎｇ（３次元画像コンファレンス９６、ページ７−１
２）が、発表されている。しかし、画像モーフィングは
モデル画像間の線形補間しかできないし、またその視点
は２枚のモデル画像のレンズ中心を結ぶ線に沿ってのも
のに限られるので、対象物体の３次元形状の変化が十分
反映されない場合があり、また指定できる視点が制限さ
れるという欠点がある。
て、画像モーフィングという手法があるが、これは、二
枚の隣接するモデル画像間の変化を線形補間するもので
ある（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １３ｔｈ Ｉｎ
ｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ
Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ページＡ
８４−８９）。また、画像モーフィングの概念を変形し
たものも、例えば、Ｒａｙ−Ｂａｓｅｄ Ｒｅｎｄｅｒ
ｉｎｇ（３次元画像コンファレンス９６、ページ７−１
２）が、発表されている。しかし、画像モーフィングは
モデル画像間の線形補間しかできないし、またその視点
は２枚のモデル画像のレンズ中心を結ぶ線に沿ってのも
のに限られるので、対象物体の３次元形状の変化が十分
反映されない場合があり、また指定できる視点が制限さ
れるという欠点がある。
【０００６】 コンピュータビジョンの研究成果を利用
し、画像間エピポーラ幾何関係を用いた手法もある（Ｐ
ｒｏｃｅｅｄｉｎｇｓ ｏｆ １２ｔｈ Ｉｎｔｅｒｎ
ａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔ
ｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ページ６８９−６
９１）。この手法は、対応づけされた二枚のモデル画像
の各画素から、指定した視点の画像へそれぞれエピポー
ラ線を引き、その交点に、前記のモデル画像の画素の明
度を持たせるというものである。この手法は、各画素点
における二本のエピポーラ線とその交点を計算するのに
時間がかかる上、二枚のモデル画像の視点と指定視点が
同一平面にある場合は、２本のエピポーラ線が平行とな
り、交点が不安定になるという問題が残る。
し、画像間エピポーラ幾何関係を用いた手法もある（Ｐ
ｒｏｃｅｅｄｉｎｇｓ ｏｆ １２ｔｈ Ｉｎｔｅｒｎ
ａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔ
ｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ページ６８９−６
９１）。この手法は、対応づけされた二枚のモデル画像
の各画素から、指定した視点の画像へそれぞれエピポー
ラ線を引き、その交点に、前記のモデル画像の画素の明
度を持たせるというものである。この手法は、各画素点
における二本のエピポーラ線とその交点を計算するのに
時間がかかる上、二枚のモデル画像の視点と指定視点が
同一平面にある場合は、２本のエピポーラ線が平行とな
り、交点が不安定になるという問題が残る。
【０００７】
【発明が解決しようとする課題】 本発明は、
【０００３】の手法にあるような対象物体の完全な、明
示的な３次元形状モデルを必要としないこと、また、
示的な３次元形状モデルを必要としないこと、また、
【０００５】の手法にあるような補間に伴うひずみや視
点の制限を持たないこと、また、
点の制限を持たないこと、また、
【０００６】の手法にあるような複雑な計算を簡単化
し、視点の制限をも無くすこと、よって、特別な３次元
測定装置を持たずに、ＣＣＤカメラのような画像入力装
置のみで、モデル画像のカバーする範囲内の任意視点の
画像を高速に計算合成できるシステムの実現を基本的目
的とする。
し、視点の制限をも無くすこと、よって、特別な３次元
測定装置を持たずに、ＣＣＤカメラのような画像入力装
置のみで、モデル画像のカバーする範囲内の任意視点の
画像を高速に計算合成できるシステムの実現を基本的目
的とする。
【０００８】 上記の目的を達成するためには、モデル
画像を適切に入力することが必要であり、モデル画像間
の位置関係を求めることが必要であり、またモデル画像
間の各画素の対応を求めることが必要であり、視点が指
定されたときの、その視点の画像を、モデル画像の関数
として高速に合成することが必要である。本発明は、こ
れらの諸課題を解決する。
画像を適切に入力することが必要であり、モデル画像間
の位置関係を求めることが必要であり、またモデル画像
間の各画素の対応を求めることが必要であり、視点が指
定されたときの、その視点の画像を、モデル画像の関数
として高速に合成することが必要である。本発明は、こ
れらの諸課題を解決する。
【０００９】
【課題を解決するための手段】 本発明は、３次元対象
物体のモデル画像を複数の視点から適切に撮像する手段
と、前記モデル画像間の３次元位置関係を求めるための
３次元運動復元手段と、前記のモデル画像間の画素の対
応を求めるための画像マッチング手段と、任意の視点を
指定入力する手段と、上記の結果として、任意の視点を
指定したときの、前記のモデル画像よりその視点から見
た画像を合成する手段と、合成画像を出力表示する手段
を具備した、対象物体の３次元グラフィクスアニメーシ
ョンを高速に実現するものである（請求項１）。
物体のモデル画像を複数の視点から適切に撮像する手段
と、前記モデル画像間の３次元位置関係を求めるための
３次元運動復元手段と、前記のモデル画像間の画素の対
応を求めるための画像マッチング手段と、任意の視点を
指定入力する手段と、上記の結果として、任意の視点を
指定したときの、前記のモデル画像よりその視点から見
た画像を合成する手段と、合成画像を出力表示する手段
を具備した、対象物体の３次元グラフィクスアニメーシ
ョンを高速に実現するものである（請求項１）。
【００１０】 画像入力装置は、普通のＣＣＤカメラで
よいが、対象物体の周囲または上下を、厳密に一定間隔
でなくよいが、広すぎず狭すぎない程度の間隔で、撮影
入力し、モデル画像として記録する。カラー画像を合成
する時は、モデル画像もカラーでなければならない。合
成画像は、モデル画像のカバーできる範囲になければな
らないため、対象物体の全周囲をカバーするモデル画像
を用意すれば、視点の指定が自由である。また、リアル
な合成のためには、モデル画像を撮影する時、物体の明
度に影響を与えないように、物体から少し離れたところ
で多少長い焦点距離のレンズを使用する。また、合成画
像の画質を高めるには、隣接する撮影位置が同一平面内
にないように撮影位置に変化をつける。また、特定の対
象物体に関しては、このようなモデル画像のデータを一
括で用意し、購入してもらう場合もある。
よいが、対象物体の周囲または上下を、厳密に一定間隔
でなくよいが、広すぎず狭すぎない程度の間隔で、撮影
入力し、モデル画像として記録する。カラー画像を合成
する時は、モデル画像もカラーでなければならない。合
成画像は、モデル画像のカバーできる範囲になければな
らないため、対象物体の全周囲をカバーするモデル画像
を用意すれば、視点の指定が自由である。また、リアル
な合成のためには、モデル画像を撮影する時、物体の明
度に影響を与えないように、物体から少し離れたところ
で多少長い焦点距離のレンズを使用する。また、合成画
像の画質を高めるには、隣接する撮影位置が同一平面内
にないように撮影位置に変化をつける。また、特定の対
象物体に関しては、このようなモデル画像のデータを一
括で用意し、購入してもらう場合もある。
【００１１】 入力されたモデル画像がどの視点からの
ものかは、合成の前に計算しておく必要がある。これ
は、画像からの３次元運動復元手段を用いる。まず、各
モデル画像に隣接する２枚のモデル画像を見つける。３
枚のモデル画像間のそれぞれ２枚の間のエピポーラ方程
式を復元する。各々のエピポーラ式からは、オイラー回
転角の中の１番目と３番目の回転角を求める。残りの２
番目の回転角は、３つのエピポーラ方程式を連立するこ
とで求める。このことを全モデル画像に対して繰り返
し、最終的には全モデル画像間の相互位置関係を決める
（請求項２）。
ものかは、合成の前に計算しておく必要がある。これ
は、画像からの３次元運動復元手段を用いる。まず、各
モデル画像に隣接する２枚のモデル画像を見つける。３
枚のモデル画像間のそれぞれ２枚の間のエピポーラ方程
式を復元する。各々のエピポーラ式からは、オイラー回
転角の中の１番目と３番目の回転角を求める。残りの２
番目の回転角は、３つのエピポーラ方程式を連立するこ
とで求める。このことを全モデル画像に対して繰り返
し、最終的には全モデル画像間の相互位置関係を決める
（請求項２）。
【００１２】 上記の隣接する３枚のモデル画像のそれ
ぞれ２枚の間の対象物体の全画素の対応を求める必要が
ある。エピポーラ方程式が求められているため、対応点
の探索は、エピポーラ線に沿って行う。エピポーラ線に
沿っての探索は、標準的な相関法を用いる。各点につ
き、エピポーラ線上の相関値が最も高い点を対応点とす
る。
ぞれ２枚の間の対象物体の全画素の対応を求める必要が
ある。エピポーラ方程式が求められているため、対応点
の探索は、エピポーラ線に沿って行う。エピポーラ線に
沿っての探索は、標準的な相関法を用いる。各点につ
き、エピポーラ線上の相関値が最も高い点を対応点とす
る。
【００１３】 合成画像の視点は仮想現実感のようにマ
ウスなどでインタラクティブに指定することもあるし、
他の方法もありうる。視点が指定された時、その視点に
最も近い３枚のモデル画像を自動的に見つける。視点が
動的に変わるにつれ、隣接する３枚のモデル画像も動的
に交替する。モデル画像のカバーする範囲なら視点に対
する制限はない。３枚の画像にはそれぞれ水平座標と垂
直座標がある。水平軸と垂直軸が互いに直交するベクト
ルである。合成画像の水平軸に最も近い３本のモデル画
像の座標軸をベクトルとして特定し、合成画像の各点の
水平座標は、そのモデル画像の３つの座標軸の座標の線
形関数として求める。それぞれの係数は、座標軸ベクト
ル間の内積で求め、各画素点に共通するものである。各
画素点の明度は、対応するモデル画像の画素の明度の単
純平均で与える。カラー画像の場合は、赤、緑、青のそ
れぞれの成分について単純平均すれば良い。これらの計
算は全て線形なので、高速化でき、なお専用ハードウェ
アによる実現も簡単である（請求項３）。
ウスなどでインタラクティブに指定することもあるし、
他の方法もありうる。視点が指定された時、その視点に
最も近い３枚のモデル画像を自動的に見つける。視点が
動的に変わるにつれ、隣接する３枚のモデル画像も動的
に交替する。モデル画像のカバーする範囲なら視点に対
する制限はない。３枚の画像にはそれぞれ水平座標と垂
直座標がある。水平軸と垂直軸が互いに直交するベクト
ルである。合成画像の水平軸に最も近い３本のモデル画
像の座標軸をベクトルとして特定し、合成画像の各点の
水平座標は、そのモデル画像の３つの座標軸の座標の線
形関数として求める。それぞれの係数は、座標軸ベクト
ル間の内積で求め、各画素点に共通するものである。各
画素点の明度は、対応するモデル画像の画素の明度の単
純平均で与える。カラー画像の場合は、赤、緑、青のそ
れぞれの成分について単純平均すれば良い。これらの計
算は全て線形なので、高速化でき、なお専用ハードウェ
アによる実現も簡単である（請求項３）。
【００１４】
【発明の実施例】 以下、本発明の好ましい実施態様例
について画面を用いながら詳述する。図１は本発明の全
体構成を示すブロック図です。本発明は、図に示すよう
にモデル画像入力手段１０と、モデル画像間の３次元運
動復元手段２０と、隣接モデル画像間の画素対応手段３
０と、合成画像の視点入力手段４０と、モデル画像によ
る画像合成手段５０と、合成された画像の出力表示手段
６０からなる。なお、１０、２０、３０はオフラインで
実行され、４０、５０、６０はオンラインで実行され
る。
について画面を用いながら詳述する。図１は本発明の全
体構成を示すブロック図です。本発明は、図に示すよう
にモデル画像入力手段１０と、モデル画像間の３次元運
動復元手段２０と、隣接モデル画像間の画素対応手段３
０と、合成画像の視点入力手段４０と、モデル画像によ
る画像合成手段５０と、合成された画像の出力表示手段
６０からなる。なお、１０、２０、３０はオフラインで
実行され、４０、５０、６０はオンラインで実行され
る。
【００１５】 図２は図１の詳細図である。１０１は対
象物体、１０２は１０１の画像入力部で、例えばＣＣＤ
ビデオカメラからなる。１０３はＡ／Ｄ変換器で入力画
像をディジタル信号に変換するものである。なお、ディ
ジタルカメラを用いる場合は、Ａ／Ｄ変換は省略され
る。１０４は対象物体を背景領域から分離する対象領域
抽出部である。これは、背景画像を事前に記録し、現画
像との差分のみで可能である。１０５は撮影されたモデ
ル画像の記憶装置である。対象物体の回りをなるべく均
等な間隔で、なお視点が同一平面にならないように、対
象物体のモデル画像を撮影し、記憶しておく。
象物体、１０２は１０１の画像入力部で、例えばＣＣＤ
ビデオカメラからなる。１０３はＡ／Ｄ変換器で入力画
像をディジタル信号に変換するものである。なお、ディ
ジタルカメラを用いる場合は、Ａ／Ｄ変換は省略され
る。１０４は対象物体を背景領域から分離する対象領域
抽出部である。これは、背景画像を事前に記録し、現画
像との差分のみで可能である。１０５は撮影されたモデ
ル画像の記憶装置である。対象物体の回りをなるべく均
等な間隔で、なお視点が同一平面にならないように、対
象物体のモデル画像を撮影し、記憶しておく。
【００１６】 ２０１は物体上の特徴点の選択対応部で
ある。ここでは、各モデル画像とその隣のモデル画像の
間で、対応する特徴的な点を手動で、例えば、マウス
で、選び、その対応関係も記録する。特徴点が広く分布
するように選び、最低４点が必要であり、８点以上の必
要はない。２０２は、これらの対応点の座標から隣接す
る各々の２枚のモデル画像間のエピポーラ方程式を復元
するものである。エピポーラ方程式は
ある。ここでは、各モデル画像とその隣のモデル画像の
間で、対応する特徴的な点を手動で、例えば、マウス
で、選び、その対応関係も記録する。特徴点が広く分布
するように選び、最低４点が必要であり、８点以上の必
要はない。２０２は、これらの対応点の座標から隣接す
る各々の２枚のモデル画像間のエピポーラ方程式を復元
するものである。エピポーラ方程式は
【数１】に示す。図３はエピポーラ式が、それぞれの画
像上では平行なるエピポーラ線を意味することを示す。
その傾きはオイラー角の第一と第三の角度に相当する。
続いて、２０３は、隣接する３枚のモデル間で、残りの
第二のオイラー角を求める運動復元部である。その式は
像上では平行なるエピポーラ線を意味することを示す。
その傾きはオイラー角の第一と第三の角度に相当する。
続いて、２０３は、隣接する３枚のモデル間で、残りの
第二のオイラー角を求める運動復元部である。その式は
【数２】に示す。
【００１７】
【数１】 エピポーラ方程式 ｐｘ＋ｑｙ＋ｓｘ１＋ｔｙ１＋ｃ＝０ （ｘ，ｙ）と（ｘ１，ｙ１）はそれぞれの画像の対応点
の座標である。
の座標である。
【００１８】
【数２】 αは第一オイラー角を、βは第二オイラー角を、γは第
三オイラー角をそれぞれ表す。１，２，３はそれぞれ第
１モデル画像と第２モデル画像との間の、第２モデル画
像と第３モデル画像との間の、第３モデル画像と第１モ
デル画像との間の、オイラー角の番号を表す。
三オイラー角をそれぞれ表す。１，２，３はそれぞれ第
１モデル画像と第２モデル画像との間の、第２モデル画
像と第３モデル画像との間の、第３モデル画像と第１モ
デル画像との間の、オイラー角の番号を表す。
【００１９】 ３０１は隣接するモデル画像上で各画素
に相関領域を設定するものである。相関領域はその画素
を中心とする正方形の領域とし、その辺がエピポーラ線
に平行となるように設定する。図３はその例を示す。３
０２は相関値計算で、対応づけを行うものである。一方
の画像の領域Ａに対して、もう一方の画像上で、エピポ
ーラ線に沿って移動させ、その都度、相関値を計算す
る。３０３はその中で最も高い相関値を得る位置を見つ
け、対応点とするものである。図４は相関値の変化の様
子を示す。
に相関領域を設定するものである。相関領域はその画素
を中心とする正方形の領域とし、その辺がエピポーラ線
に平行となるように設定する。図３はその例を示す。３
０２は相関値計算で、対応づけを行うものである。一方
の画像の領域Ａに対して、もう一方の画像上で、エピポ
ーラ線に沿って移動させ、その都度、相関値を計算す
る。３０３はその中で最も高い相関値を得る位置を見つ
け、対応点とするものである。図４は相関値の変化の様
子を示す。
【００２０】 以上はオフラインで実行されたのち、画
像の合成に入る。４０は視点のオンライン入力装置であ
る。仮想現実感などのように、視点を実時間に入力し、
また合成画像を実時間に表示する場合、マウスなどを用
いる。
像の合成に入る。４０は視点のオンライン入力装置であ
る。仮想現実感などのように、視点を実時間に入力し、
また合成画像を実時間に表示する場合、マウスなどを用
いる。
【００２１】 視点が入力されたら、５０１はその視点
に最も近い３枚のモデル画像を見つける。これは、各モ
デル画像の視線方向ベクトルとの内積が最も大きいもの
として選択できる。続いて、５０２はその３枚の画像の
６本の水平垂直方向ベクトルの中から、合成画像の水平
垂直方向に近いものをそれぞれ３つづつ同様に選択す
る。以下は、選ばれた座標方向の座標の線形結合とし
て、合成画像の各点の座標を決めていく。その係数は、
５０３で決定する。図５に示すように、モデル画像の３
本の座標方向と成したい画像の座標方向は、３次元空間
では４つのベクトルとなる。合成したい画像の座標方向
ベクトル（単位長）を対角線とする平行６面体を作るこ
とができる。線形結合の係数はそれぞれのベクトルに沿
っての平行６面体の辺の長さとして求められる。
に最も近い３枚のモデル画像を見つける。これは、各モ
デル画像の視線方向ベクトルとの内積が最も大きいもの
として選択できる。続いて、５０２はその３枚の画像の
６本の水平垂直方向ベクトルの中から、合成画像の水平
垂直方向に近いものをそれぞれ３つづつ同様に選択す
る。以下は、選ばれた座標方向の座標の線形結合とし
て、合成画像の各点の座標を決めていく。その係数は、
５０３で決定する。図５に示すように、モデル画像の３
本の座標方向と成したい画像の座標方向は、３次元空間
では４つのベクトルとなる。合成したい画像の座標方向
ベクトル（単位長）を対角線とする平行６面体を作るこ
とができる。線形結合の係数はそれぞれのベクトルに沿
っての平行６面体の辺の長さとして求められる。
【００２２】 ５０４は合成画像の各点の座標を対応す
るモデル画像の座標の線形結合として求め、次に、それ
ぞれの点の明度は、対応するモデル画像の点の明度の単
純平均とする。カラー画像の場合は、それぞれ赤、緑、
青の成分の単純平均とする。
るモデル画像の座標の線形結合として求め、次に、それ
ぞれの点の明度は、対応するモデル画像の点の明度の単
純平均とする。カラー画像の場合は、それぞれ赤、緑、
青の成分の単純平均とする。
【００２３】 合成された画像は、６０１の画像バッフ
ァに入れられ、６０２のディスプレイに表示される。
ァに入れられ、６０２のディスプレイに表示される。
【００２４】
【発明の効果】 本発明は、３次元物体のグラフィクス
アニメーションにおいて、３次元物体の３次元形状モデ
ルの計測を必要とせず、そのモデル画像を複数の視点か
ら入力するだけで、高速３次元グラフィクスアニメーシ
ョンを可能にするものである。
アニメーションにおいて、３次元物体の３次元形状モデ
ルの計測を必要とせず、そのモデル画像を複数の視点か
ら入力するだけで、高速３次元グラフィクスアニメーシ
ョンを可能にするものである。
【００２５】 本発明は、仮想（人工）現実感やゲー
ム、教育、映画制作、ヒューマンインタフェース、エン
タテインメント、画像通信などの分野における３次元グ
ラフィクスアニメーションに適用可能であり、設備の簡
略化、低コスト化と高速化が実現できる。
ム、教育、映画制作、ヒューマンインタフェース、エン
タテインメント、画像通信などの分野における３次元グ
ラフィクスアニメーションに適用可能であり、設備の簡
略化、低コスト化と高速化が実現できる。
【図１】 本発明の装置の好ましい実施様態例の全体構
成のブロック図
成のブロック図
【図２】 本発明の装置の好ましい実施様態例の詳細な
ブロック図
ブロック図
【図３】 エピポーラ線とエピポーラ線に沿う相関領域
の設定
の設定
【図４】 エピポーラ線に沿っての相関値の変化の様子
と対応点の決定
と対応点の決定
【図５】 線形結合における係数の決定
【数１】 エピポーラ方程式 ｐｘ＋ｑｙ＋ｓｘ１＋ｔｙ１＋ｃ＝０ （ｘ，ｙ）と（ｘ１，ｙ１）はそれぞれの画像の対応点
の座標である。
の座標である。
【数２】 第２オイラー角の復元式 αは第一オイラー角を、βは第二オイラー角を、γは第
三オイラー角をそれぞれ表す。１，２，３はそれぞれ第
１モデル画像と第２モデル画像との間の、第２モデル画
像と第３モデル画像との間の、第３モデル画像と第１モ
デル画像との間の、オイラー角の番号を表す。
三オイラー角をそれぞれ表す。１，２，３はそれぞれ第
１モデル画像と第２モデル画像との間の、第２モデル画
像と第３モデル画像との間の、第３モデル画像と第１モ
デル画像との間の、オイラー角の番号を表す。
Claims (3)
- 【請求項１】 ３次元対象物体のモデル画像を複数の視
点から適切に撮像する手段と、前記モデル画像間の３次
元位置関係を求めるための３次元運動復元手段と、前記
のモデル画像間の画素の対応を求めるための画像マッチ
ング手段と、任意の視点を指定入力する手段と、上記の
結果として、任意の視点を指定したときの、前記のモデ
ル画像よりその視点から見た画像を合成する手段と、合
成画像を出力表示する手段を具備した、対象物体の３次
元グラフィクスアニメーションを高速に実現する装置及
び方法 - 【請求項２】 請求項１の３次元運動復元手段が、隣接
する３枚のモデル画像から、それぞれの２枚のモデル画
像間のエピポーラ方程式を復元し、さらに、オイラー角
を用いて、３枚のモデル画像間の３次元位置関係を逐次
に求め、最終的に全モデル画像間の相互位置関係を決め
る手段を具備した装置 - 【請求項３】 請求項１の画像合成手段が、任意の視点
を指定した時に、その視点に最も近い複数の視点のモデ
ル画像を、モデル画像間位置関係から見つけ、それらの
モデル画像の対応点の座標の線形結合として新しい画像
を高速に合成する手段を具備した装置
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7882297A JPH10240967A (ja) | 1997-02-21 | 1997-02-21 | モデル画像を用いた３次元物体のグラフィクスアニメーション装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7882297A JPH10240967A (ja) | 1997-02-21 | 1997-02-21 | モデル画像を用いた３次元物体のグラフィクスアニメーション装置及び方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10240967A true JPH10240967A (ja) | 1998-09-11 |
Family
ID=13672534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7882297A Pending JPH10240967A (ja) | 1997-02-21 | 1997-02-21 | モデル画像を用いた３次元物体のグラフィクスアニメーション装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH10240967A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000063181A (ko) * | 2000-04-21 | 2000-11-06 | 서정완 | 얼라이브 3차원 입체영상구현방법 |
| WO2002069277A1 (fr) * | 2001-02-26 | 2002-09-06 | Nabla Inc. | Systeme d'affichage d'image et procede associe |
| KR100369901B1 (ko) * | 2000-03-09 | 2003-01-29 | 백승헌 | 네트워크를 기반으로 한 3차원 이미지 생성 시스템 및 그방법 |
| KR100370869B1 (ko) * | 2000-02-09 | 2003-02-05 | 주식회사 아인픽춰스 | 3차원 가상 작동 시뮬레이션 방법 |
-
1997
- 1997-02-21 JP JP7882297A patent/JPH10240967A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100370869B1 (ko) * | 2000-02-09 | 2003-02-05 | 주식회사 아인픽춰스 | 3차원 가상 작동 시뮬레이션 방법 |
| KR100369901B1 (ko) * | 2000-03-09 | 2003-01-29 | 백승헌 | 네트워크를 기반으로 한 3차원 이미지 생성 시스템 및 그방법 |
| KR20000063181A (ko) * | 2000-04-21 | 2000-11-06 | 서정완 | 얼라이브 3차원 입체영상구현방법 |
| WO2002069277A1 (fr) * | 2001-02-26 | 2002-09-06 | Nabla Inc. | Systeme d'affichage d'image et procede associe |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Szeliski et al. | Creating full view panoramic image mosaics and environment maps | |
| US11869205B1 (en) | Techniques for determining a three-dimensional representation of a surface of an object from a set of images | |
| US10417829B2 (en) | Method and apparatus for providing realistic 2D/3D AR experience service based on video image | |
| US11170561B1 (en) | Techniques for determining a three-dimensional textured representation of a surface of an object from a set of images with varying formats | |
| Shum et al. | Panoramic image mosaics | |
| JP6201476B2 (ja) | 自由視点画像撮像装置およびその方法 | |
| US6081273A (en) | Method and system for building three-dimensional object models | |
| US20020113865A1 (en) | Image processing method and apparatus | |
| KR102067823B1 (ko) | 비디오 영상기반 2d/3d ar 실감체험 방법 및 장치 | |
| JP2003187261A (ja) | ３次元画像生成装置、３次元画像生成方法、立体画像処理装置、立体画像撮影表示システム、立体画像処理方法及び記憶媒体 | |
| CN107862718B (zh) | 4d全息视频捕捉方法 | |
| TWI788739B (zh) | 3d顯示設備、3d圖像顯示方法 | |
| Nielsen | Surround video: a multihead camera approach | |
| WO2020184174A1 (ja) | 画像処理装置および画像処理方法 | |
| WO2018052100A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
| KR100335617B1 (ko) | 3차원 입체영상 합성방법 | |
| Shimamura et al. | Construction of an immersive mixed environment using an omnidirectional stereo image sensor | |
| Kanade et al. | Virtualized reality: perspectives on 4D digitization of dynamic events | |
| JP2002324249A (ja) | 画像表示システム及び方法 | |
| US11043019B2 (en) | Method of displaying a wide-format augmented reality object | |
| JP2001256482A (ja) | 視差画像生成装置および視差画像生成方法 | |
| JPH10240967A (ja) | モデル画像を用いた３次元物体のグラフィクスアニメーション装置及び方法 | |
| JPH10208074A (ja) | 画像生成方法 | |
| WO2019026183A1 (ja) | 画像生成装置および画像生成方法 | |
| Shimamura et al. | Construction and presentation of a virtual environment using panoramic stereo images of a real scene and computer graphics models |