JPH10508396A - 合成画像の生成方法 - Google Patents

Abstract

(57)【要約】 画像生成処理は、３Ｄシーンの関係する点の座標及び幾何学的変換の係数から直接的に、画像（Ｚ，Ｄ）から次の画像への変化を表わす動きベクトルを計算することにより行われる。本発明は、時間的な内挿による単眼シーケンスの生成と、外挿によるステレオシーケンスとに関する。

Description

【発明の詳細な説明】 合成画像の生成方法 本発明は、合成画像を生成する方法に係り、特に、画像シーケンスを生成する 方法に関する。 本発明の分野は、コンピュータによる画像の生成の分野、即ち、従来のスクリ ーン上に表示するための単眼画像、及び、仮想画像タイプのアプリケーションに おいて浮き上がって見える表示用の両眼又はステレオ画像の合成である。 かかる方法の目的は、生成される画像シーケンスの計算コストを削減すること である。 周知の方法において、必要とされる計算量は、表示されるべき３Ｄシーンをモ デリングする構造データに基づく２Ｄ画像の準備を可能にさせるレンダリングア ルゴリズムにより処理された情報要素の時間及び空間域で均一になされた制限に よって削減される。従って、計算コストの減少が、かくして生成されたシーンの 写実性に害を与えることは避けられない。 従来周知の計算コストの削減の次の段階は、レンダリングアルゴリズムに基づ いて計算される唯一の画像であるキー画像から中間画像を再生する時間的な内挿 である。かかる画像の生成は、一般的に、上記画像を用いて一つの画像から次の 画像に計算された速度ベクトルの利用に基づいているので、画像の画素の変位の 評価に基づいている。 画像の単純な繰り返し、或いは、空間／時間フィルタリング演算のような一層 の複雑さを必然的に伴う方法の何れであろうとも、上記全ての内挿の場合に、ジ ャーキングとエコーの影響がある。上記影響は、シーン内の対象の個々の動き、 又は、観察点の動きの何れもが考慮されていないことから生じる。従って、時間 的な内挿は、 必ずしも良質ではない“評価された”画像を生成する。 本発明は上記合成画像の劣化の低減を目的とする。 このため、本発明によれば、表示されるべき３Ｄシーンをモデリングし、３Ｄ シーンの点の座標の計算が可能である構造データと、視点に対するシーンの見え 方の相対的な変化を表わし、構造データ及びレンダリングアルゴリズムに基づい て、上記視点から見えるシーンを表わす２Ｄ画像が生成される上記点に関係した 幾何学的変換の係数の計算が可能である上記シーンの変化に関するデータとから 合成画像を生成する方法であって、上記２Ｄ画像の各点には、３Ｄ画像の対応す る点と、視点に対する３Ｄシーンの対応する点の見え方の変化に起因した上記画 像の点の変位を表わす動きベクトルとが関係し、生成された画像の上記動きベク トルは、第１の画像に基づいて少なくとも一つの別の２Ｄ画像の生成にそれらを 使用するため３Ｄシーンの関係した点の座標及び係数に基づいて計算され、次い で、生成された画像が表示スクリーン上に表わされることを特徴とする方法が提 案される。 更に、本発明の目的は、時間的な内挿に対する逆の見え方の速度ベクトル場、 又は、画像の立体視の対を生成する画像の外挿に対する不同(disparity)ベクト ルを使用することである。本発明の目的は、更に、外挿及び内挿ベクトルに基づ いてステレオシーケンスを生成することである。 従って、本発明は、単眼シーケンス及びステレオシーケンスの生成に関する。 本発明によって得られる利点には、画像、或いは、単眼又はステレオ画像のシ ーケンスを計算するコストの減少と、ステレオ画像に対する時間的な内挿又は空 間的な外挿ベクトルのより信頼性が高く、かつ、より単純な計算を用いて改善さ れた画質、即ち、シーンの高い写実性と、最終又は最初の画像に基づいて内挿を 得るため、出現、消失するゾーンの管理と、３Ｄシーンの対応する点から観察点 ま での距離の関数としての内挿ベクトルの投影の衝突の管理と、一つのチャンネル の外挿ベクトルに基づく二つのステレオチャンネルの一方の生成とがある。 要約すると、先行技術の場合、最初に、少なくとも二つの連続的なキー２Ｄ画 像がレンダリングアルゴリズムを用いて生成され、次いで、中間画像が上記キー 画像の中の二つの間で内挿によって計算される。これにより、二つの画像の特徴 的な点を互いに対応させる際に重大な困難さが伴う。一方、本発明は、レンダリ ングアルゴリズムによって得られたキー画像と、３Ｄシーンの変化（回転、並進 移動、焦点の変化）を定義するデータに基づいて直接計算された動きベクトルと からの付加的な画像の生成を提案する。 本発明の他の特徴及び利点は、その例に限定されることなく、添付図面を参照 した以下の説明から更に明らかになるであろう。添付図面において： −図１は単眼画像のシーケンスの生成のアルゴリズムを表わし、 −図２はキー画像Ｋ（ｔ）の見え方の速度ベクトルのマップを表わし、 −図３は３Ｄシーンの点の焦平面への投影を表わし、 −図４は速度ベクトルの場の取得を可能にさせる“画像”の重ね合わせを表わ し、 −図５は時間的な内挿の計算のアルゴリズムを表わし、 −図６は速度ベクトルの中間画像への投影を表わし、 −図７は中間画像上への投影の衝突を表わし、 −図８は“出現”及び“消失”ゾーンの分類を表わし、 −図９はステレオシーケンスを表わし、 −図１０はステレオシーケンスの生成のアルゴリズムを表わし、 −図１１は右側チャンネルのキー画像のマークされたゾーンを表わし、 −図１２は不同ベクトルの判定を表わしている。 図１のブロック図には、単眼動画像のシーケンスの場合における画像合成の加 速アルゴリズムが示されている。 アルゴリズムの入力１で得られる動画像のシーケンスの対象である３Ｄシーン に属する利用されたデータは、モデルを形成する３Ｄシーンの構造と、運動学的 な値とに関する情報要素である。 ステップ２において、情報要素は、キー画像として知られているシーケンスの 限定された数の画像を生成するためレンダリングアルゴリズムによって処理され る。ステップ３において、シーンの運動学的な値に関するデータに関する動画の パラメータと、ステップ２の間に生成されたキー画像とに基づいて速度及び距離 ベクトルのマップが計算される。これにより、キー画像Ｋ（ｔ）の各画素（ｉ， ｊ）に、前のキー画像Ｋ（ｔ−Ｎ）から今のキー画像Ｋ（ｔ）までの上記画素の 変位に対応する見え方の速度ベクトルＶ⁺（ｉ，ｊ，ｔ）と、今のキー画像Ｋ（ ｔ）から画像Ｋ（ｔ＋Ｎ）までの上記画素の変位に対応する見え方の速度ベクト ルＶ^-（ｉ，ｊ，ｔ）、又は、より厳密には上記動きベクトルの逆とが割り当て られる。上記速度ベクトルは、二つの連続的なキー画像の間の時間間隔中に一つ の画像から次の画像に準えられる。 図２には、キー画像Ｋ（ｔ）のベクトルマップを表わす見え方の速度ベクトル Ｖ⁺及びＶ^-の二つの場の定義が示されている。上記ベクトルは、時間の単位が二 つのキー画像間の間隔であるならば、二つのキー画像間の見え方の変位に対応す る。ベクトル場Ｖ^-（ｔ）は、次のキー画像Ｋ（ｔ＋Ｎ）からキー画像Ｋ（ｔ） までのキー画像Ｋ（ｔ）の全画素の変位を表わし、ベクトル場Ｖ⁺（ｔ）は、前 のキー画像Ｋ（ｔ−Ｎ）からキー画像Ｋ（ｔ）までのキー画像Ｋ（ｔ）の全画素 の変位を表わしている。 各画素に対し、このステップは、更に、３Ｄシーン内の対応する点からそのシ ーンが見られる点、即ち、シーンを撮影すると仮定された仮想カメラまでの距離 を計算する。この値は、隠れた要素の場 合、考慮したカメラに最も近い要素であるので、シーンとカメラの間の画素によ って画成された方向の最小距離を表わす。キー画像の生成法が、各画素に対する 上記最小距離を表わす値の記憶によって画像平面内の３Ｄ情報の投影を管理する Ｚバッファ法(depth buffer)タイプの方法に基づいているとき、上記値は画像生 成ステップ２からも得られる。この場合、距離マップはステップ２から直接得ら れる。 ＊見え方の速度の計算 次のステップ４に進む前に、キー画像の各画素の見え方の速度の計算方法を以 下に説明する。 見え方の速度、即ち、そこから３Ｄシーンが見える点に対する画像平面内の画 像の画素の変位の速度は、３Ｄシーンのモデルに基づいて計算される。 理論的に、見え方の動き（２Ｄモーション）は、カメラの焦平面（画像平面） 上の実際の動き（３Ｄモーション）の投影である。画像合成に最も一般的に使用 される投影モデルは、平面投影モデル（ピンホールタイプの透視投影）である。 他の投影モデルが使用された場合、動きの計算の定式化をそれに従って適合さ せることが必要である。 ピンホールモデルを定義するため、以下の点及びパラメータが図３に示されて いる： Ｐ ３Ｄ画像が投影される投影面 （Ｏ，ｘ，ｙ，ｚ） 時点ｔにおける投影基準（中心Ｏと、軸 Ｏｘ，Ｏｙ，Ｏｚ） ｆ 投影面に対応する“焦点距離”、即ち、投 影中心Ｏと投影面Ｐの間の距離 Ｍ（Ｘ，Ｙ，Ｚ） 基準系（ｏ，ｘ，ｙ，ｚ）内で座標Ｘ，Ｙ， Ｚを有する３Ｄ空間の点 ｍ（ｘ，ｙ） 投影面Ｐが軸ｏｚに垂直であると想定され た場合の投影面内のＭの投影 Ｃ 原基準系に対し座標が（ｘ，ｙ）である点 ｍ（ｘ，ｙ）に対し原基準系を定める平面 Ｐ内の中心Ｏの投影された点 上記投影モデルの基本的な関係は： であり、基準系（Ｏ，ｘ，ｙ，ｚ）において： に一致する。 １次の定式化は以下の通りである： 動きベクトル（ｄｘ，ｄｙ）は、投影の中心に対するシーンの点Ｍの変位（ｄ Ｘ，ｄＹ，ｄＺ）の関数及び焦点距離の変化ｄｆの関数として、各画素に対し求 められる。 以下の式（式１）： は微分によって得られ、距離Ｚは距離のマップに基づいて各画素に対し分かって いる。 動画情報要素、即ち、シーンの運動学的な値に属する情報要素に基づいて、間 隔ｄｔの間に３Ｄシーンの点Ｍ_oの幾何学的変換（Ｒ_dt，Ｔ_dt）が分かっている ならば、以下の式： のように表わすことが可能であり、式中： を表わす。上記式を展開することにより： が得られる。 上記値を（式１）に入れることにより： 本発明によれば、（ｄｘ，ｄｙ）の組は、（レンダリングアルゴリズムによっ て生成された）上記画像から他の画像を生成し得るため２Ｄ画像の各点（ｘ，ｙ ）と関係する動きベクトルを表わす。各点のｘ及びｙ座標に基づく動きベクトル の計算のため利用される係数は、表示されるべきシーン内の対応する点の変化（ 回転、並進、焦点距離の変化）を定義するデータから得られる。上記係数は視点 に対するシーンの相対的な見え方を表わす。これは、シーンの要素が相互に変化 し得るだけではなく、カメラの相対的な位置がシーンに対し変化し得る場合の相 対的な見え方の変化である。 変化は、通常、連続的な画像シーケンスの生成に対し時間的に生じるが、特別 の場合には、変化は、二つの別個の視点から見られる 全く同一の時点に対応する二つの画像の生成に対し空間的であることが分かる。 従って、動きベクトル（ｄｘ，ｄｙ）は、互いに非常に相違した二つの可能な用 法がある。上記二つの用法は組み合わせてもよい。第１の用法では、“速度ベク トル”と呼ばれ、第２の用法では、“不同ベクトル”と呼ばれる。 上記式から、ｄｘ及びｄｙは、９個の項： に分割され、それらの線形結合からなることが分かる。 定数である第１の項を除いて、上記９個の項は、（最初の６個の項に対し）画 像内で全体的に定められる方法、或いは、観察されたシーンの関数（１／Ｚの項 ）としての何れかで空間的に変化する。 以下の表には係数が記載されている： 最初の６個の項（１乃至６）の組は、シーンに対するカメラの回転／ズームの 影響の見え方の動きへの寄与を表わしている。実際に、 点Ｍが固定している場合を想定すると、カメラの回転をシミュレートする投影基 準系Ｏｘ，Ｏｙ，Ｏｚの回転は、投影された点ｍ（ｘ，ｙ）のｘ，ｙ座標を変更 する。同様に、カメラの焦点距離をシミュレートする投影の中心Ｏと投影面Ｐの 間の焦点距離ｆの変更は、固定した画像の点Ｍ（Ｘ，Ｙ，Ｚ）の投影された点ｍ のｘ，ｙ座標を変更する。 動きベクトルｄｘ，ｄｙの成分は上記式から各点に対し計算される。 動きベクトルｄｘ，ｄｙの成分は、一般的な画像処理方法によっても計算でき る：ｘ，ｙ座標の点からなる画像を生成し、各点に“輝度”の値と、“色”の値 を割り当てることが可能である。例えば、輝度の値は、回転／ズームの寄与（表 の項１乃至６）を表わし、一方、色は項７乃至９の寄与を表わしている。総合的 な画像処理方法により、全てのｘ，ｙの点に対し動きベクトルの値の総合的な計 算を行うことが可能である。 かくして、回転／ズームの影響を寄与を評価するため、その輝度がｉ，ｘ，ｙ ，ｘ²，ｙ²及びｘｙの稠密な関数である６枚の画像の間で上記の表に対応する重 み付け演算との線形結合を行うことが可能である。 かかる処理は図４に示されている。 上記表の中の最後の三つの項（７乃至９）は、シーンとカメラの間の３Ｄ並進 の場合、非零である。この場合、以下に説明するように、表示されるべき３Ｄシ ーンの各点に関係した距離情報を利用することが必要である。 移動するカメラによって観察された静止したシーンの場合、Ｔ_x、Ｔ_y及びＴ_z の値は、シーンの全ての点に対し一定であり、かつ、投影基準の並進移動を表わ し、投影面Ｐは投影基準に結合されていると考えられる。 上記並進運動の見え方の動きの場への寄与を得るため、その輝度 た上記画像信号の線形結合を行うことが必要である。 ファと呼ぶ距離のメモリに格納された情報に基づいて得られる。 夫々乗算することにより得られる。 シーンが動的な場合、Ｔ_x、Ｔ_y及びＴ_zの値は、シーンの点に対し、もはや一 定ではなく、シーンの３Ｄモデルに基づく画像合成が必要である。３Ｄ並進場を シーンの点に割り当てるステップを行ない、上記３Ｄ並進運動を画像平面に投影 するステップを後に続ける必要がある。この目的のため、ピークの空間内の個別 の並進運動を表わす“色”が、シーンの各ピークに割り当てられる。上記ピーク 情報のシーン全体への伝播は、例えば、“グロー(Gouraud)”タイプのアルゴリ ズムを用いることにより、対象の表面上で色の線形補間によって近似される。 り当てられた上記“色”情報は、最初に、レンダリングアルゴリズムに類似した 画像合成投影アルゴリズムを用いて画像平面に投影される。次いで、上記信号は 、項７乃至９を得るため、 重み付けされる。 見え方の速度ベクトル率の構成項の値を有する画像の組合せによって、キー画 像の速度ベクトルが演繹される。これは、時間の間隔ｄｔが二つのキー画像の間 にあるならば行われる。時間の間隔が ないならば、二つのキー画像の間の動きは直線的であり、かつ、一定速度である ことを仮定することにより、上記間隔に対応する計算を常に行うことが可能であ る。ベクトルは、この時点ｔと、ベクトルＶ^-に対する時点ｔ＋ｄｔと、ベクト ルＶ⁺に対する時点ｔ−ｄｔとの３Ｄシーンを考慮して、キー画像Ｋ（ｔ）の画 素に割り当てられる。ベクトルＶ⁺の場合、キー画像Ｋ（ｔ）の画素に対応する シーンの各点に使用されるのは、時点ｔ−ｄｔから時点ｔまで進行させることを 可能にさせる幾何学的変換である。 図１のアルゴリズムをもう一度参照する。ステップ３の後に続く時間的内挿ス テップ４を以下詳細に説明する。時間的内挿ステップによって、二つの画像の間 で見えない中間画像の生成が可能になる。ステップ５において、上記中間画像は 、画像の単眼シーケンスを得るため、ステップ２で生成されたキー画像の間に挿 入される。 図５において、時間的内挿に関係する図１のステップ４の詳細な図がステップ ４ａ乃至４ｅに示されている。ステップ４ａにおいて、再構成される中間画像が 定められる。Ｉ（ｔ−ｎ）と呼ばれるこの画像は、Ｋ（ｔ）及びＫ（ｔ−Ｎ）と 呼ばれる二つのキー画像の間にある。 ステップ４ｂにおいて、定義された中間画像及びキー画像Ｋ（ｔ−Ｎ）に関し それらの反対の方向にキー画像Ｋ（ｔ）の速度ベクトルＶ⁺（ｔ）の投影が行わ れ、定義された中間画像及びキー画像Ｋ（ｔ）に関しそれらの反対の方向にキー 画像Ｋ（ｔ−Ｎ）の速度ベクトルＶ^-（ｔ−Ｎ）の投影が行われる。図６におい て、画像Ｋ（ｔ−Ｎ）の画像点Ｐ１と、キー画像Ｋ（ｔ）の画像点Ｐ２に対する 投影が示されている。 投影されたベクトルＶ^-及びＶ⁺、即ち、１１及び１２に対応する中間画像の画 素は、画像が画素のグリッド上で定義された投影点に最も近い画素である。 かくして、Ｎ ＩＮＴ（ニアリスト インテジャー）が最も近い 整数の値を示し、空間的なサンプリンググリッドの点に対応するならば： が得られる。 Ｉ１、Ｉ２、Ｐ１及びＰ２はグリット上の点の座標であり、Ｖ^-及びＶ⁺は速度 ベクトルの率である。 ステップ４ｂは、更に、上記投影中に、衝突の管理を行う。 二つのベクトル場Ｖ⁺（ｔ）及びＶ^-（ｔ−Ｎ）は組織的に走査される。二つの 著しく相違した速度ベクトルが全く同一の点Ｉ（ｔ−ｎ）のＩに投影されたとき 、衝突が生じる。衝突は、特に、背景に対し（相対的に）変位した前景内に細か い対象が有る場合、生じる。従って、対象が前景にある場合、カメラに最も近い 対象に対応するベクトルを選択することが必要である。カメラからの距離に関す る情報は、キー画像の各画素で分かっているので、投影された各速度ベクトルと 関係付けられる。最小の距離情報（Ｚ）を有するベクトルは、かくして選択され 、同一の内挿点に将来の衝突があるとしても解決するために、この距離情報が点 Ｉに格納される。図７の例では、対象ＡはＢよりもカメラの近くにある（Ｚ（Ａ ）＜Ｚ（Ｂ））。従って、Ｉで実際に投影されるのは、値Ｄ（Ａ）である。 上記二つのベクトルの場が完全に走査されたとき、投影された速度ベクトルを 伴うことなく、Ｉ（ｔ−ｎ）の画素が残される可能性がある。近くに投影された ベクトルの内挿によって、速度ベクトルが割り当てられる。 次いで、ステップ４ｃにおいて、内挿された画素の分類が行われる。 中間画像Ｉ（ｔ−ｎ）の画素は、二つのキー画像Ｋ（ｔ−Ｎ）と Ｋ（ｔ）内で見える（即ち、“標準”画素）、Ｋ（ｔ−Ｎ）で見え、Ｋ（ｔ）で マスクされる（“消失”画素）、或いは、逆に、Ｋ（ｔ−Ｎ）でマスクされ、Ｋ （ｔ）で見える（“出現”画素）の何れであるかに依存して、三つのクラスに分 割される。画素Ｉ（ｔ−ｎ）のラベリングは２段階で行われる： − Ｖ⁺（ｔ）及びＶ^-（ｔ−Ｎ）のＫ（ｔ−Ｎ）及びＫ（ｔ）夫々へのそのパ スに沿った逆方向の投影によるキー画像のラベリング：図８に示したように、投 影されたベクトルのない画素（“ホール”）は、Ｋ（ｔ−Ｎ）（消失画素）に対 しマスクされたゾーン（図８ａのＺｄ）と、Ｋ（ｔ）（出現画素）に対しマスク されていないゾーン（図８ｂのＺａ）とに対応する（前景及び移動する背景内の 固定した対象を例としている）。 − ベクトルがＩ（ｔ−ｎ）に実際に投影されたゾーンＫ（ｔ）及びＫ（ｔ− Ｎ）のラベルの試験による中間画像のラベリングが目的とされる。これにより、 “出現”及び“消失”ラベルは中間画像上に投影される。 次のステップ４ｄにおいて、中間画像の画素Ｉの輝度値が、Ｉに対し選択され た投影ベクトルに対応する画像Ｋ（ｔ−Ｎ）及びＫ（ｔ）の画素Ｐ及びＳの輝度 値の内挿によって計算される。 輝度に関して： Ｉ＝α×Ｐ＋（Ｉ−α）×Ｓ であり、式中、αは以下の値： をとる。 ｎ及びＮは、Ｋ（ｔ）の前のｎ番目の中間画像が想定され、キー画像Ｋ（ｔ） 及びＫ（ｔ−Ｎ）は（Ｎ−１）枚の中間画像によって分離されることによって定 められる。 Ｉが“出現（アペアリング）”のようにラベリングされたとき、 α＝０である。 Ｉが“消失（バニシング）”のようにラベリングされたとき、α＝１である。 最終的に、最後のステップ４ｅにおいて、内挿誤差の管理が行われる。 低コスト、高速合成の応用において、レンダリングアルゴリズムを使用しない 限り、内挿誤差があるにしても予測することは不可能である。上記誤差は、速度 ベクトルの場のホールを充填するため必要とされたゾーン内で第一に予測し得る 。これにより、変位及び構造に基づいて、使用された簡単なモデルの失敗が生じ る。上記不確実性のあるゾーンは、そのＶ⁺（ｔ）及びＶ^-（ｔ−Ｎ）が一致して いない中間画像の全ての画素に拡大することが可能である。誤差の評価されたマ スクは、そこから演繹され、レンダリングアルゴリズムは対応する画素を合成す るため適用される。 上記方法及び計算は、両眼又はステレオ的なシーケンスの画像の生成にも利用 される。 図９には、左側シーケンス及び右側シーケンスのため生成されたキー画像と中 間画像が示され、上記二つのステレオチャンネルによって、表示を浮き上がって 見せることが可能になる。 例えば、左側シーケンスの生成は、上記のような単眼シーケンスの発生と同一 である。同図において、二つの中間画像は黒で表わされた二つの連続的なキー画 像の間で内挿され、計算時間の増加は、左側の画像に対し３の割合である。右側 シーケンスのキー画像は、垂直方向にハッチングされている。かかる画像は、以 下に説明するように、左側シーケンスのキー画像から外挿され、中間画像は上記 新しいキー画像に基づいて計算される。外挿に対応する時間が、左側チャンネル のキー画像の生成を可能にさせるレンダリングアルゴリズムの実行のための時間 と比較して無視できるならば、計算時間の増加は、ここに示された例の場合、６ の割合に対応する。 外挿によって合成画像の両眼シーケンスの生成を加速する方法を図１０の概要 図を用いて説明する。 ３Ｄシーンモデルのデータ及びその運動学的値を入力１１で使用することによ り、この場合、ステップ１２において、計算は、単眼シーケンスの生成のため、 図１のステップ２及び３と同じ方法で、キー画像と、単眼シーケンス、例えば、 左側シーケンスに対する上記画像に対応する見え方の速度ベクトル及び距離の場 とを利用する。従って、特に、キー画像の生成のためのレンダリングアルゴリズ ムが利用される。 ステップ１３において、ステップ１２で計算されたデータと、入力１１で得ら れた３Ｄモデルのデータが、不同ベクトルと呼ばれるベクトルの計算を行うため 処理される。 ３Ｄシーンの実際の点は、右側画像と左側画像とで異なる座標を有する点に投 影される。実際、右側画像に使用された投影の中心Ｏ’は、左側画像に使用され た投影の中心Ｏに対しオフセットしている。かかるオフセットは、投影の中心Ｏ に対する静止３Ｄシーンの見え方のオフセットに対応している。これこそが、ス テレオ効果を生じ、左側画像の座標ｉ_g、ｊ_gを有する各画素に対し、右側画像の 座標ｉ_d、ｊ_dを有する画素が対応している。不同ベクトルは、座標ｉ_g、ｊ_gを有 する画素の方向への座標ｉ_d、ｊ_dを有する画素の並進である。それは、元の画像 の各画素に割り当てられた投影点の変位中に画像の変化を表わす動きベクトルで ある。 換言すれば、左側シーケンスのキー画像に割り当てられた両眼不同ベクトルＤ （ｉ_g，ｊ_g）は、３Ｄシーンの同一の実際の点を二つの２Ｄのビューに対応付け る。不同ベクトルによって、右側キー画像を左側キー画像から外挿することが可 能になる。 上記不同ベクトルの計算は、上記の如く、見え方の速度ベクトルから非常に簡 単に得られる。 実際上、不同ベクトルは、ステレオ効果を得るため同一の３Ｄ シーンの二つのビューに異なる角度で対応する。 上記二つのビューは、固定し、即ち、静止している３Ｄシーンの見え方の変位 に対応する。かかる変位は二つの視点に対応する。 かくして、上記方法によれば、単眼シーケンスのキー画像の速度ベクトルの計 算中に上記変位を受けた静止したシーンに対し見え方の速度ベクトルを計算する ことで十分である。上記速度ベクトルは、左側画像に基づいて右側画像の計算を 可能にさせる仮想速度ベクトルである。上記画像は、全く同一の時点ｔに対応し 、実際の速度ベクトルの場合のように別の時点には対応しない。従って、時点ｔ で全ての画像点の不同ベクトルを計算することが可能である。 キー画像に対する全ての不同ベクトルは不同場を形成する。かかる場及び対応 するキー画像とに基づいて、不同−補償された外挿がステップ１４で行われる。 左側画像Ｉ_g（ｔ）と、この画像の不同場Ｄ（ｔ）とからの右側画像Ｉ_d（ｔ） の外挿を図１１を参照して説明する。 Ｉ_g（ｔ）の各画素は、画像Ｉ_d（ｔ）上で不同ベクトルの逆方向に投影される 。衝突がある場合、即ち、Ｉ_g（ｔ）の中の幾つかの画素が全く同一の点に投影 された場合、カメラに最も近い画素の選択は、上記の如く、単眼画像の生成と関 連して行われる。キー画像と関係した距離マップによって、このような選択が行 われる。 図１１に示したように、投影が到達しない画像Ｉ_d（ｔ）の画素は、通常、Ｉ_d （ｔ）に表われ、Ｉ_g（ｔ）でマスクされたゾーンに対応する。それらの画素は 、ステップ１５で、Ｉ_g（ｔ）の生成を可能にさせたレンダリングアルゴリズム によって計算される。これらの再生された画素は、ステップ１６において、ステ ップ１４で得られた画像に追加される。 かくして得られた右側シーケンスのキー画像に、ステップ１７で計算された速 度ベクトルマップが追加される。二つの連続的な右側キー画像Ｉ_d（ｔ−Ｎ）と Ｉ_d（ｔ）の間の速度ベクトル場Ｖ_d （ｔ）は、図１２に表わされた関係： Ｖ_g（ｔ）−Ｖ_d（ｔ）＋Ｄ（ｔ−Ｎ）−Ｄ（ｔ）＝０ によって、二つの連続的な左側キー画像Ｉ_g（ｔ−Ｎ）とＩ_g（ｔ）の間の速度ベ クトル場Ｖ_g（ｔ）と、上記キー画像の単眼不同フィールドＤ（ｔ−Ｎ）とＤ（ ｔ）とから導かれる。 実際上、画素の不同性が一つのキー画像と他のキー画像との間で僅かに変化す る場合を想定すると、不同ベクトルによって右側及び左側ビューに対応させられ た二つの点の見え方の速度は略等しい。かくして、右側キー画像の速度ベクトル 及び距離ベクトルのマップは、左側画像のベクトルのマップ及びその不同場から 得られる。 次いで、ステップ１８において、上記の方法に従って時間的内挿が行われる。 この内挿は、左側チャンネルに関しステップ１９においても行われるので、ステ ップ２０において、かくして生成された上記画像をキー画像と並置することによ って、シーケンスがステレオ的に得られる。 変位の値を定めるため使用された計算方法は、一例として与えられたものに過 ぎない。 従って、二つの時点ｔ及びｔ＋ｄｔのシーンをモデリングするデータに基づい て、速度ベクトルを同様に適切に計算することが可能である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 デュズ，ジャン−クリストフ フランス国，92402 クールベボワ・セデ ックス，ベペ 329，トムソン―セエスエ フ エスセペイ (72)発明者 ボルデ，フィリップ フランス国，92402 クールベボワ・セデ ックス，ベペ 329，トムソン―セエスエ フ エスセペイ

Claims (1)

1. 【特許請求の範囲】 １． 表示されるべき３Ｄシーンをモデリングし、上記３Ｄシーンの点の座標の 計算が可能である構造データと、視点（１，１１）に対する上記シーンの見え方 の相対的変化を表わし、上記構造データ及びレンダリングアルゴリズム（２，１ ２）に基づいて上記視点から見えるシーンを表わす２Ｄ画像が生成される上記点 に関係した幾何学的変換の係数の計算が可能である上記シーンの変化を定めるデ ータとから合成画像を生成する方法であって： 上記２Ｄ画像の各点に、３Ｄ画像の対応する点と、上記視点に対し上記３Ｄシ ーンの対応する点の見え方の変位に起因した画像の上記点の変位を表わす動きベ クトルとが関係し、 上記画像の画素の上記生成された動きベクトル（３，１３）は、上記第１の画 像に基づいて少なくとも一つの別の２Ｄ画像（４，１４，１８，１９）を生成す る際にそれらを利用するため、上記３Ｄシーンの関係する点の座標及び係数に基 づいて計算され、 生成された画像は表示スクリーン上に表わされることを特徴とする方法。 ２． 上記変化を定義するデータは、時間ｔに定義された静止したシーンの見え 方の変位に対応する上記３Ｄシーンの観察の視点の変化に基づくデータからなり 、 ステレオビュー（２０）を形成するため、同一の時点ｔの上記シーンの第２の 視点に対応する第２の画像（１４）は、上記レンダリングアルゴリズム（１２） によって生成され時点ｔの上記シーンの視点に対応する基準画像と、不同ベクト ル（１３）と呼ばれ上記データから計算された動きベクトルとに基づく空間的な 外挿によって計算されることを特徴とする請求項１記載の方法。 ３． 上記変化を定義するデータは３Ｄシーンの時間的変化に関するデータより なり、 別個の時点に対応する中間画像（４）は、レンダリングアルゴリズムを用いて 生成され時点ｔの上記３Ｄシーンに対応する基準画像（２）と、速度ベクトル（ ３）と呼ばれ上記データから計算された動きベクトルとに基づく時間的な内挿に よって計算されることを特徴とする請求項１記載の方法。 ４． 単眼画像のシーケンス（５）は、上記３Ｄシーン及び時間的内挿によって 得られた中間画像（４）のレンダリングアルゴリズムと、上記キー画像及び上記 計算された速度ベクトル（３）とに基づいて構成されることを特徴とする請求項 ３記載の方法。 ５． 両眼シーケンス（２０）は、上記レンダリングアルゴリズムに基づいて生 成されたキー画像（１２）と、時間的な内挿によって形成された中間画像（１９ ）とによって構成された基準チャンネルと、 ステレオ効果を得るため、上記不同ベクトルに基づく上記基準チャンネルのキ ー画像の外挿によって形成されたキー画像（１４）と、上記キー画像の時間的な 内挿によって形成された中間画像（１８）とによって構成された複合チャンネル とからなることを特徴とする請求項２又は３記載の方法。 ６． 上記複合チャンネルのキー画像の速度ベクトルは、上記基準チャンネルの 対応するキー画像の速度ベクトル及び不同ベクトルに基づいて計算されることを 特徴とする請求項５記載の方法。 ７． 上記不同ベクトルによって対応して置かれていない上記複合された画像内 のゾーンは、レンダリングアルゴリズムによって生成 されることを特徴とする請求項２、５又は６のうちいずれか１項記載の方法。 ８． その逆のベクトルがキー画像Ｋ（ｔ）の各画素に対し上記画像から次のキ ー画像Ｋ（ｔ＋Ｎ）までの変位を定める第１の見え方の速度ベクトル場Ｖ^-と、 前のキー画像Ｋ（ｔ−Ｎ）から次のキー画像Ｋ（ｔ）までの上記画素の変位を定 める第２の見え方の速度ベクトル場Ｖ⁺は、各キー画像Ｋ（ｔ）に起因し、上記 ベクトルは、上記３Ｄシーンの構造及び変化に関係したデータと、上記キー画像 Ｋ（ｔ）の各画素と関係した距離マップと、上記３Ｄの対応する可視点から上記 シーンが見える点までの距離とに基づいて計算され、 二つのキー画像Ｋ（ｔ−Ｎ）とＫ（ｔ）の間の内挿は、上記キー画像Ｋ（ｔ） のベクトルＶ⁺の上記中間画像及び上記キー画像Ｋ（ｔ−Ｎ）への逆投影と、上 記キー画像Ｋ（ｔ−Ｎ）のベクトルＶ^-の上記中間画像及び上記キー画像Ｋ（ｔ ）への逆投影とにより行われることを特徴とする請求項４記載の方法。 ９． 二つの画像Ｋ（ｔ−Ｎ）とＫ（ｔ）の間の中間画像Ｉ（ｔ−ｎ）の時間的 な内挿中、上記画像Ｋ（ｔ）のベクトルＶ⁺の間、又は、上記画像Ｋ（ｔ−Ｎ） のベクトルＶ^-の間の上記中間画像Ｉ（ｔ−ｎ）への投影の衝突、即ち、幾つか のベクトルの中間画像の全く同一のベクトルへの割り当ては、選択されたベクト ルとして、原点が最短距離を有するキー画像の画素を始点とするベクトルを選択 することにより解決され、 選択されなかったベクトルは上記中間画像の時間的な内挿に考慮されないこと を特徴とする請求項８記載の方法。 １０． 二つの画像Ｋ（ｔ−Ｎ）とＫ（ｔ）の間の中間画像Ｉ（ｔ−ｎ）の時間 的な内挿中、第１のステップにおいて、各キー画像に 対し、上記画像Ｋ（ｔ−Ｎ）の反転された見え方の速度ベクトルＶ^-が向けられ ていないゾーン又は画素に対応する上記Ｋ（ｔ）上の“出現”ゾーンと、上記画 像Ｋ（ｔ）の逆の反転された見え方の速度ベクトルＶ⁺が向けられていないゾー ン又は画素に対応する上記Ｋ（ｔ−Ｎ）上の“消失”ゾーンとを定義し、上記出 現ゾーンに到達するベクトルＶ⁺および上記消失ゾーンに到達するベクトルＶ^-は 、上記ゾーンの関数としてラベリングされ、 第２のステップにおいて、出現及び消失としてラベリングされたベクトルＶ⁺ 及びＶ^-の中間画像への投影に夫々対応するように中間画像の出現及び消失ゾー ンを定義し、 第３のステップにおいて、上記中間画像の上記時間的な内挿に上記ゾーンを使 用することを特徴とする請求項８又は９記載の方法。 １１． 上記中間画像Ｉ（ｔ−ｎ）の出現及び消失ゾーンは、上記キー画像Ｋ（ ｔ）の対応する出現ゾーン及び上記キー画像Ｋ（ｔ−ｎ）の対応する消失ゾーン に基づいて、夫々に排他的に生成され、 それ以外の所謂“ノーマル”ゾーンはＫ（ｔ−Ｎ）及びＫ（ｔ）の両方に対応 するゾーンを考慮することにより内挿されることを特徴とする請求項１０記載の 方法。 １２． 内挿誤差の管理は、上記ベクトルＶ⁺とＶ^-が一致しない上記中間画像の ゾーンに対応する上記内挿誤差の評価されたマスクを用いて行われることを特徴 とする請求項８乃至１１のうちいずれか１項記載の方法。