JP4370672B2

JP4370672B2 - 3D image generating apparatus, 3D image generating method, and program providing medium

Info

Publication number: JP4370672B2
Application number: JP2000109090A
Authority: JP
Inventors: 偉国呉; 敦横山; 寛幸佐藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-04-11
Filing date: 2000-04-11
Publication date: 2009-11-25
Anticipated expiration: 2020-04-11
Also published as: JP2001291116A

Description

【０００１】
【発明の属する技術分野】
本発明は、三次元形状モデルに対するテクスチャ画像の貼り込み技術に関する三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体に関する。さらに詳細には、仮想視点のテクスチャ画像の貼り付け処理を改良することにより、不自然さの少ないリアルな三次元画像を生成することを可能とした三次元画像生成装置および三次元画像生成方法に関する。
【０００２】
【従来の技術】
物体の三次元形状は、例えば、測定対象に光を投射して、その光が反射して帰ってくるまでの時間を測定したり、測定対象にスリット状のパターン光をあてて測定対象に投影されたパターン光の形状を調べたり、あるいは、２台以上のカメラを使って、その画像間の対応点を見つけることで視差を求め、距離を計測するステレオ画像法等がよく知られている。
【０００３】
このような様々な手法で測定された測定対象の距離データとしての三次元モデルに、測定対象の実際の色彩を反映した画像を貼り付けることで、リアルな３次元画像が生成される。測定対象の実画像をテクスチャ画像と呼び、テクスチャ画像を３次元データに貼り付けることをテクスチャマッピングと呼ぶ。
【０００４】
一般に三次元モデルの表面に貼り付ける画像は、２次元のビットマップ画像やイメージファイル画像である。３Ｄグラフィックス技術において作成した３Ｄ形状モデルや３Ｄ形状計測装置で得られた物体の三次元形状の表面に２次元のビットマップ画像やイメージファイル画像からなるテクスチャ画像を貼り合わせることにより、物体の三次元表示がなされる。例えば、レンガなどの画像を貼ることにより自然な三次元の壁が表現できたり、球体に世界地図の絵を貼り付けることにより、立体的な地球が表現されるようになる。
【０００５】
図１は、一般的なテクスチャマッピングの手法を説明する図である。図１に示す三次元形状モデル１０１は、例えば上述のステレオ画像法等によって取得された距離データに基づく三次元形状モデル１０１であり、二次元画像（テクスチャ）１０２は、ある視点から撮影した視覚的な色データ等を反映した実画像としての二次元画像（テクスチャ）１０２である。テクスチャマッピングは、三次元形状モデル１０１に、二次元画像（テクスチャ）１０２を貼り付けて行われ、このテクスチャマッピングにより、リアルな三次元表現が可能となる。なお、図に示すワイヤフレーム表示は、三次元形状モデル１０１から得られるテクスチャを貼り付ける平面領域を示すものである。
【０００６】
これまで、ステレオ画像法や、レーザ光の投光などを併用した３Ｄ計測装置で得られた物体の３Ｄ形状にテクスチャ画像を貼り合わせる技術について様々な検討がなされている。複数の視点からのテクスチャ画像を測定対象のそれぞれの領域に貼り付ける場合、複数のテクスチャ画像が異なる光源状況で撮影されていると、個々のテクスチャ画像の撮影時の光源状況の差により、画像間の色調に差が生じテクスチャ画像の貼り付け処理のみでは生成された画像に不自然な色合いが生じることがある。このような状況を解消するために、テクスチャ画像の撮影時の光源状況を推定し、その推定に基づいて画像間の色調の差異を補正することにより高画質なテクスチャマッピングを行なう手法が開発されている（例えば、佐藤いまり、佐藤洋一、池内克史：全方位ステレオによる実光源環境の計測とそれに基づく仮想物体の実画像への重ね込み、電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ，Ｎｏ．５，ｐｐ８６１−８７１，１９９８）。
【０００７】
【発明が解決しようとする課題】
しかしながら、一般にデジタルカメラやＤＶカム等を用いて野外の風景や建物などを撮影する場合、照明光の光源推定は容易ではなく、撮影した複数の画像（テクスチャ画像）を用いて高画質のテクスチャマッピングを実行することは困難である。複数の画像を用いることによる不自然さを避けるため、例えば図２に示すように１枚のテクスチャ画像のみを用いてテクスチャマッピングを行なう方法もある。図２は、三次元形状モデル２０１のワイヤフレームに１枚の二次元画像（テクスチャ画像）２０２の対応領域の画像を貼りつけることにより、テクスチャマッピングを実行する構成を示している。
【０００８】
しかし、このような１枚の画像を用いる手法では、視点の変更により、テクスチャの画質が低下するという問題が発生する。例えば図２に示すカップの正面２０３の画像と端部２０４の画像をともに１枚の二次元画像（テクスチャ）２０２から取得すると、カップの正面の画質と端部の画質に差が発生し、画質の低下が発生する。
【０００９】
このような画質低下を解消する手法として、仮想視点に最も近い撮影視点のテクスチャ画像を選択して三次元形状モデルに貼り付ける手法がある。この手法を図３を用いて説明する。図３において、測定対象３０１のテクスチャ画像の撮影を複数の視点（撮影視点１〜ｎ）によって撮り込み、仮想視点が設定されると、その仮想視点に最も近い撮影視点を選択してそのテクスチャ画像を測定対象３０１の三次元形状モデルに貼り付ける。図３に示す例では、例えば仮想視点のＲＧＢ値を撮影視点１あるいは撮影視点２のいずれかとするが、撮影視点１と仮想視点間の角度をθ１とし、撮影視点２と仮想視点間の角度をθ２として、θ１＜θ２であれば撮影視点１のＲＧＢ値を選択し、θ１＞θ２であれば撮影視点２のＲＧＢ値を選択する。このような方法によれば、画質の向上が図られる。しかし、この手法においては、画像間の濃淡連続性の保持が困難となり、視点の変化による画像の不自然さが発生する。
【００１０】
１つの面に対して複数枚のテクスチャ画像の利用が可能である場合、視点の移動に伴うテクスチャ画像の選択合成処理により、リアルな三次元物体を表現するＶＤＴＭ（Ｖｉｅｗ−ｄｅｐｅｎｄｅｎｔｔｅｘｔｕｒｅｍａｐｐｉｎｇ）という手法が開発されている（Paul E.Debevec,Camillo J.Taylor and Jitendra Malik:"Modeling and Rendering Architecture from Photographs:A hybrid geometry-and image-based approach,"ACM SHINNRAPH '96 Proceedings, pp.11-20,1996.）。この手法は、１枚のテクスチャ画像を用いてテクスチャマッピングを行なう従来のＣＧ手法とは異なり、三次元形状として再現できていない部分の視点移動による見え方の変化を再現可能である。しかし、この手法では、画質を高めるために保持する画像データの量が膨大になるという問題があり、また、複数のテクスチャ画像の光源条件が一定でなければならないという制限がある。
【００１１】
画像データ量を削減するために、視点が変化する毎に見えている部分のテクスチャデータだけを伝送してマッピングする手法（S. Horbelt, F.Jordan T.Ebrahimi:"View-Dependent Texture Coding for Transmission of Virtual Environment."Proceedings of the 1998 IEEE International Symposium on Circuits and Systems. Vol.5, No.6,pp.498-501,1998.）が開発されている。しかし、この手法ではユーザ側で視点変更が行なわれる度にデータの伝送が実行されることになるので、データアクセスの効率が悪いという欠点がある。
【００１２】
また、三次元形状の再構成時に撮られた画像間の対応を用いて画像間の内挿を行なう（Shenchang Eric Chen, Lance Williams: "View Interpolation for Image Synthesis,"ACM SHIGGRAPH '93 Proceedings.pp..279-288,1993.、ＳSteven M. Seitz and Charles R. Dyer: "View Morphing,"ACM SHIGGRAPH '96 Proceedings, pp.21-30,1996.）方法により、画像データ量を少なくする方法も提案されている。しかし、この手法では、撮影時の画像の撮り込み方により、画質の劣化や不自然さの問題がある。
【００１３】
一方、テクスチャ画像の撮影時の光源状況を推定する方法（佐藤いまり，佐藤洋一，池内克史：”実物体のソフトシャドウにもとづく実照明環境の推定，：情報処理学会研究報告，９８−ＣＶＩＭ−１１０，１９９８）により、画像間の色調の違いを補正する方法が検討されているが、補正処理のために画像中にある決まった物体が移っていなければならないという制限があり、この手法では、例えば野外で撮影した画像の光源推定を行なうことはできない。
【００１４】
本発明の三次元画像生成装置および三次元画像生成方法は、上述の各種従来技術の欠点に鑑みてなされたものであり、光源推定等の手法を用いることなく、画像の輝度平均値と分散を用いる濃淡値補正手法により、仮想視点に最も近い視点で撮影した２枚の画像を用いてその仮想視点のテクスチャ画像を作成して、不自然さのないリアルな三次元画像の生成を可能とすることを目的とする。
【００１５】
【課題を解決するための手段】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、
三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する三次元画像生成装置において、
複数のカメラ撮影視点画像から、三次元画像に対する仮想視点に最も近い撮影視点方向を有する２つのカメラ撮影テクスチャ画像を選択し、
前記２つのカメラ撮影テクスチャ画像について、画像の濃淡平均値と分散値の正規化処理を実行して、前記仮想視点方向と、前記２つのカメラ撮影テクスチャ画像の２つの撮影視点方向各々とのなす角度に基づいて、前記正規化処理後の２つのカメラ撮影テクスチャ画像の持つ画像パラメータの重み付けによる両画像の合成処理を実行して前記仮想視点における画像パラメータを算出し、該パラメータに基づいてテクスチャマッピングを実行する構成を有することを特徴とする三次元画像生成装置にある。
【００１６】
さらに、本発明の三次元画像生成装置の一実施態様において、前記仮想視点における画像のパラメータの算出処理は、前記仮想視点に最も近い撮影視点方向を有する２つのカメラ撮影テクスチャ画像の撮影視点を撮影視点１、撮影視点２としたとき、撮影視点１のベクトルＶ１と仮想視点のベクトルＥとのなす角をθ１とし、撮影視点２のベクトルＶ２と仮想視点のベクトルＥとのなす角をθ２として、α＝θ１／（θ１＋θ２）を求め、仮想視点における画像パラメータ＝撮影視点１の画像パラメータ×（１−α）＋撮影視点２の画像パラメータ×αとして求める構成であることを特徴とする。
【００１７】
さらに、本発明の三次元画像生成装置の一実施態様において、前記画像パラメータはＲＧＢ値または濃淡値のいずれかを含むことを特徴とする。
【００１９】
さらに、本発明の第２の側面は、
三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する三次元画像生成方法において、
複数のカメラ撮影視点画像から、三次元画像に対する仮想視点に最も近い撮影視点方向を有する２つのカメラ撮影テクスチャ画像を選択する画像選択ステップと、
前記カメラ撮影テクスチャ画像について、画像の濃淡平均値と分散値の正規化処理を実行する正規化処理ステップと、
前記仮想視点方向と、前記２つのカメラ撮影テクスチャ画像の２つの撮影視点方向各々とのなす角度に基づいて、前記正規化処理後の２つのカメラ撮影テクスチャ画像の持つ画像パラメータの重み付けによる両画像の合成処理を実行する合成処理ステップと、
前記仮想視点における画像パラメータを算出し、該パラメータに基づいてテクスチャマッピングを実行するテクスチャマッピングステップと、
を有することを特徴とする三次元画像生成方法にある。
【００２０】
さらに、本発明の三次元画像生成方法の一実施態様において、前記仮想視点における画像のパラメータの算出処理は、前記仮想視点に最も近い撮影視点方向を有する２つのカメラ撮影テクスチャ画像の撮影視点を撮影視点１、撮影視点２としたとき、撮影視点１のベクトルＶ１と仮想視点のベクトルＥとのなす角をθ１とし、撮影視点２のベクトルＶ２と仮想視点のなすベクトルＥとのなす角をθ２として、α＝θ１／（θ１＋θ２）を求め、仮想視点における画像パラメータ＝撮影視点１の画像パラメータ×（１−α）＋撮影視点２の画像パラメータ×αとして求めることを特徴とする。
【００２１】
さらに、本発明の三次元画像生成方法の一実施態様において、前記画像パラメータはＲＧＢ値または濃淡値のいずれかを含むことを特徴とする。
【００２３】
さらに、本発明の第３の側面は、
三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する三次元画像生成処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムを有形的に提供するプログラム提供媒体であって、前記コンピュータ・プログラムは、
複数のカメラ撮影視点画像から、三次元画像に対する仮想視点に最も近い撮影視点方向を有する２つのカメラ撮影テクスチャ画像を選択する画像選択ステップと、
前記カメラ撮影テクスチャ画像について、画像の濃淡平均値と分散値の正規化処理を実行する正規化処理ステップと、
前記仮想視点方向と、前記２つのカメラ撮影テクスチャ画像の２つの撮影視点方向各々とのなす角度に基づいて、前記正規化処理後の２つのカメラ撮影テクスチャ画像の持つ画像パラメータの重み付けによる両画像の合成処理を実行する合成処理ステップと、
前記仮想視点における画像パラメータを算出し、該パラメータに基づいてテクスチャマッピングを実行するテクスチャマッピングステップと、
を有することを特徴とするプログラム提供媒体にある。
【００２４】
本発明の第３の側面に係るプログラム提供媒体は、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・プログラムをコンピュータ可読な形式で提供する媒体である。媒体は、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの伝送媒体など、その形態は特に限定されない。
【００２５】
このようなプログラム提供媒体は、コンピュータ・システム上で所定のコンピュータ・プログラムの機能を実現するための、コンピュータ・プログラムと提供媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、該提供媒体を介してコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の他の側面と同様の作用効果を得ることができるのである。
【００２６】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００２７】
【発明の実施の形態】
本発明の三次元画像生成装置および三次元画像生成方法について、以下詳細に説明する。まず、図４を用いて、本発明の三次元画像生成装置において実行されるテクスチャ画像マッピングの概要を説明する。
【００２８】
本発明の三次元画像生成装置において実行されるテクスチャ画像マッピングには、測定対象４０１に対して視点の異なる複数枚のテクスチャ画像を用い、仮想視点に最も近い２枚の画像を選択して、選択した２枚の画像に基づいて、仮想視点と実際の撮影視点との角度を重みとした合成処理により得られる新しいテクスチャ画像を用いてテクスチャマッピングを行なう。
【００２９】
例えば画像表示を画像のカラー値を決定するパラメータとしてＲＧＢ値を用いて実行する場合について想定する。仮想視点が撮影視点１と撮影視点２間に位置する場合、仮想視点におけるＲＧＢ値は次式によって算出される。下記式において、αは撮影視点１のベクトルＶ１と仮想視点のベクトルＥとのなす角をθ１とし、撮影視点２のベクトルＶ２と仮想視点のなすベクトルＥとのなす角をθ２としたとき、α＝θ１／（θ１＋θ２）として定義される。
【００３０】
【数１】
仮想視点におけるＲＧＢ値
＝撮影視点１のＲＧＢ値×（１−α）
＋撮影視点２のＲＧＢ値×α………（式１）
【００３１】
上記式から理解されるように、仮想視点のテクスチャ画像の画像パラメータであるＲＧＢ値は、仮想視点に近接する２枚の撮影視点からの画像の合成処理によって求められる。なお、仮想視点方向が１つの撮影視点方向と一致する場合は、仮想視点の画像は、その一致する撮影視点の画像として定義し、２つの画像の合成処理は行なわない。
【００３２】
上記式により求める仮想視点のテクスチャ画像は、撮影視点の画像を用いた合成処理により生成されることになるので、視点１〜ｎで撮影したｎ枚の画像の照明条件の違いが吸収でき、画像間の連続性が保持される。その結果、高解像度のテクスチャ画像マッピングが可能となり、また、三次元形状として再現できていない部分に対しても、視点変更による見え方の変化を再現でき、よりリアルな三次元表示が可能となる。
【００３３】
特に、視点を変化させた場合の画像変化がなめらかになるという効果がある。すなわち、カメラ視点画像がｎ枚あり、これらをＶ１〜Ｖｎとしたとき、例えばある仮想視点画像はカメラ撮影視点画像Ｖ１，Ｖ２によって合成され、視点を移すと、カメラ撮影視点画像Ｖ２，Ｖ３による合成画像に切り換えられ、さらにＶ３とＶ４の合成画像、Ｖ４とＶ５の合成画像と切り換わることになる。このように、視点を連続的に変更すると、対応するテクスチャ画像は、連続的に前のテクスチャ画像に使用されていた画像が引き続き使用され、その使用割合も視点の移動に伴って連続的に変化することになるので、画像間の不連続性が減少し、観察者に違和感を生じさせない。
【００３４】
次に、図５を用いて本発明の三次元画像生成装置における複数の撮影視点画像を用いた合成処理により、テクスチャマッピングを行ない三次元画像を生成する処理について説明する。
【００３５】
ステップＳ５０１は、撮影視点画像の画像枚数の設定を行なう初期化ステップである。ステップＳ５０１は撮影視点画像枚数＝ｎであることを示す。ステップＳ５０２において、仮想視点ベクトルＥの変化の有無を判定する。仮想視点ベクトルＥが変化したと判定されると、ステップＳ５０３〜ステップＳ５０６において、カメラ視点ｉ＝１〜ｎに基づくカメラ撮影視点ベクトルＶ１〜Ｖｎと、仮想視点ベクトルＥとのベクトル比較を実行し、仮想視点ベクトルＥに最も近接する撮影視点ベクトルを選択する。具体的には各カメラ撮影視点ベクトルＶｉと仮想視点ベクトルＥとの内積を計算して、その値を相互に比較する処理を行なう。
【００３６】
仮想視点に最も近い２つの撮影視点ベクトルが選択されると、次のステップＳ５０７において、三次元画像における画像間の濃淡分布のばらつきを抑えるために、画像の濃淡分布の平均値と分散値の正規化処理を実行する。この処理フローを図６に示す。
【００３７】
図６のステップＳ６０１では、テクスチャマッピング用画像の入力を行なう。すなわちカメラ視点１〜ｎのテクスチャ画像を入力する。ステップＳ６０２では画像１〜ｎに対して、テクスチャとして用いる部分画像領域を切出す。この部分領域は、例えば前述の図５に示すステップＳ５０３〜Ｓ６０６において仮想視点を合成するために使用される画像として選択された領域の画像を含む画像である。
【００３８】
次に、ステップＳ６０３において、ステップＳ６０２で切出された部分画像領域の濃淡平均値と分散を算出する。次に、ステップＳ６０４において、各部分画像領域の濃淡平均値と分散値の正規化処理を実行してテクスチャマッピング処理に使用する画像を補正する。なお、部分画像領域の濃淡平均値と分散の算出に基づく正規化処理は、例えば、各カメラ視点画像に濃淡のばらつきがほとんどないと判断される場合等には、必ずしも実行することを必要としない。
【００３９】
その後、仮想視点におけるテクスチャ画像を、ステップＳ５０５で選択した２つのカメラ視点画像からの合成処理によりステップＳ５０８において生成する。画像の合成方法は、先に説明した（式１）の重み付けにより実行する。このようにして仮想視点のテクスチャ画像を生成してマッピングを行ない三次元画像を生成する。ステップＳ５０８で合成処理を実行する２つのカメラ視点画像は、ステップＳ５０７において濃淡平均値と分散値の正規化処理を行なった各カメラ視点画像であり、三次元画像における画像間の濃淡分布のばらつきが抑えられたものとなる。なお、仮想視点と１つの撮影視点が一致した場合は、１つの撮影視点画像のみを採用することになり、２つの画像からの合成処理は実行しない。
【００４０】
なお、上述の画像合成処理では、２つの画像がカラー画像でありＲＧＢ値を持つ画像の例としての合成処理を説明したが、白黒画像であっても、またＲＧＢ以外のパラメータであっても、その上記式１と同様の方法により、仮想視点画像の画像パラメータを２つの最近接カメラ視点画像のパラメータの重み付け処理により実行することが可能である。これらのパラメータの重みづけは、仮想視点のベクトルＥと２つの最近接カメラ視点画像のカメラ視点ベクトルとのなす角度に基づいて実行される。
【００４１】
上述した画像処理により、より現実感のあるリアルな三次元画像が生成される。なお、テクスチャマッピングでは、例えば前述の図１で示したワイヤフレーム領域ごとに上述の合成画像を生成して、これをワイヤフレーム領域毎に貼り付ける処理を実行することによって三次元画像を生成する。複数のワイヤフレーム領域にはりつけるテクスチャ画像間の整合性の調整は、例えば因子分解法によって実現される。これは、図７に示すように、撮影対象であるオブジェクトに対して複数枚の異なる視点からのカメラ視点画像（ｔ＝１〜ｎ）を撮影し、さらに、１つのカメラ視点画像、例えばｔ＝１のカメラ視点画像に基づいて特徴点をいくつか取得する。さらに取得した特徴点に対応する位置を各カメラ視点画像において判別して、計測マトリックス（Measurement Matrix）を算出し、ＵΣＶ’の因子分解を行ない、カメラの動きＭに合わせた形状Ｓの生成処理を実行する。
【００４２】
図７は、異なる視点で撮影した複数枚の画像を用いて対象の三次元形状とカメラの動きを復元する方法、及び手順を示すものである。
【００４３】
まず、カメラの視点を変えながら、対象を撮影する。撮影したＦ枚の画像を｛ｆｔ（ｘ，ｙ）｜ｔ＝１，．．．．，Ｆ｝と記し、その一枚目の画像ｆ１（ｘ，ｙ）からＰ個の特徴点をウィンドウ内の分散評価値などによって抽出し、Ｆ枚の画像にわたって追跡する。特徴点追跡によって得られた各フレーム上の特徴点座標（Ｘｆｐ，Ｙｆｐ）を行列Ｗ（ここで計測行列と呼ぶ）で表現することができる。そして、線形的な射影モデルを適用し、特異値分解法（ＳＶＤ）によって計測行列Ｗを２つの直行行列Ｕ，Ｖ’と対角行列Σに分解することができる。そこで、直行行列Ｕ，Ｖ’では、それぞれカメラの動き情報Ｍと対象の三次元情報Ｓが含まれている。また、カメラの姿勢を表現する単位ベクトル（ｉ，ｊ，ｋ）の拘束条件を用いると、ＭとＳを一意に決めるための行列Ａが求められる。従って、カメラ動きＭと対象の三次元形状Ｓが一意に決まることになる。
【００４４】
なお、上述の因子分解法を用いる対象の三次元形状とカメラ動きの復元法に関する詳細は、例えば金出らの論文「因子分解法による物体形状とカメラ運動の復元」電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ７６−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．１４９７−１５０５（１９９３．８）を参照されたい。
【００４５】
図８は、本発明の三次元画像生成装置において、仮想視点に近接する２つのカメラ視点画像による合成処理を用いてテクスチャマッピングを行なった例を示したものである。この例では１６枚のカメラ視点画像を用い、各仮想視点に対して上述した手法により、仮想視点ベクトルと２つの最近接カメラ視点ベクトるとのなす角度を重みとした合成処理により、仮想視点における画像パラメータ、例えばＲＧＢ値を算出してマッピングを行なったものである。本方法により、いずれの視点においても、高画質のテクスチャ画像がマッピングされた
【００４６】
図９は、本発明の三次元画像生成処理による三次元画像（ｃ）と、従来の手法によって得られる三次元画像（ａ）、（ｂ）との比較処理を行なったものである。従来の手法（ａ）は１枚のテクスチャ画像によってテクスチャマッピングを行なって得られる三次元画像である。この例は、図８（ａ）に示すフレーム１の画像を用いて三次元画像にマッピングし、その結果をある視点から見たときの表示結果である。この（ａ）の態様は、視点を変更しても、テクスチャが変更されないので、視点を変えた場合のテクスチャに不自然さが発生し、特に窓部分のテクスチャ画質の低下が目立つ。
【００４７】
図９（ｂ）は、図８（ａ）に示す１６枚の異なる視点からのテクスチャ画像を用いて仮想視点にもっとも近い撮影視点の画像を選択するいわゆるマッピング法によってある視点からの視点画像を表示したものである。この（ｂ）の例では、視点の変更に伴い、テクスチャも変更されるが、テクスチャ変更時の画像間の濃淡値に急激な変化が発生することがあり、観察者に違和感を発生させる。これは、各カメラ撮影視点の画像撮影時の照明条件の差異によるものであり、また、（ａ）と同様、特に窓部分においてテクスチャ画質の劣化が目立つ。
【００４８】
図９（ｃ）は、本発明の三次元画像生成方法によって生成した画像であり、視点に近接する２つの撮影画像の合成処理により視点画像を生成したものである。視点が変わることにより、テクスチャ画像も変化するが、その際の画像は、例えばカメラ視点画像をＶ１〜Ｖｎとしたとき、ある仮想視点画像はカメラ撮影視点画像Ｖ１，Ｖ２によって合成され、視点を移すと、カメラ撮影視点画像Ｖ２，Ｖ３によって合成された画像となり、さらにＶ３とＶ４の合成画像、Ｖ４とＶ５の合成画像と続くことになる。このように、視点を連続的に変更すると、対応するテクスチャ画像は、連続的に前のテクスチャ画像に使用されていた画像が引き続き使用されることになるので、画像間の不連続性が減少し、観察者に違和感を生じさせない。さらに、先に図６を用いて説明した濃淡平均値と分散値の正規化処理を実行すれば、さらに画像間の差異が解消される。
【００４９】
上述のように、本発明の三次元画像生成装置および三次元画像生成方法によれば、より高画質で、かつ視点移動時の画像の連続性が向上した三次元画像が得られる。本発明の三次元画像生成手法を例えばＶＲＭＬ（Virtual Reality Modeling Language）に適用することにより、ブラウザ上でのより現実感のある三次元画像の表示が可能となる。
【００５０】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【００５１】
【発明の効果】
以上、説明してきたように、本発明の三次元画像生成装置および三次元画像生成方法によれば仮想視点に近接する２つのカメラ視点画像による合成処理を用いてテクスチャマッピングを行なう構成としたので、高画質で、かつ視点移動時の画像の連続性が向上した三次元画像を生成することが可能となる。
【図面の簡単な説明】
【図１】一般的なテクスチャマッピングの手法について説明する図である。
【図２】従来の１枚の画像を用いたテクスチャマッピング手法を説明する図である。
【図３】従来の複数枚画像を用いたテクスチャ画像選択によるマッピング手法を説明する図である。
【図４】本発明の三次元画像生成装置において適用する２枚の画像を用いたテクスチャマッピング手法を説明する図である。
【図５】本発明の三次元画像生成装置において適用する２枚の画像を用いたテクスチャマッピング手法の処理フローを説明する図である。
【図６】本発明の三次元画像生成装置において適用する２枚の画像を用いたテクスチャマッピングにおける画像の濃淡平均値、分散値の正規化処理フローを説明する図である。
【図７】本発明の三次元形状計測装置における形状復元手法について説明する図である。
【図８】本発明の三次元形状計測装置において生成される三次元画像の処理例について説明する図である。
【図９】本発明の三次元形状計測装置において生成される三次元画像と従来手法によって生成された三次元画像を比較した図である。
【符号の説明】
１０１三次元形状モデル
１０２二次元画像（テクスチャ）
２０１三次元形状モデル
２０２二次元画像（テクスチャ）
３０１測定対象
４０１測定対象[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a 3D image generation apparatus, a 3D image generation method, and a program providing medium related to a texture image pasting technique for a 3D shape model. More specifically, the present invention relates to a 3D image generation apparatus and a 3D image generation method capable of generating a realistic 3D image with less unnaturalness by improving the process of pasting a texture image of a virtual viewpoint. .
[0002]
[Prior art]
The three-dimensional shape of an object can be measured, for example, by projecting light onto the measurement object and measuring the time until the light is reflected and returning, or projecting the measurement object by applying slit-shaped pattern light to the measurement object A stereo image method for measuring the distance by examining the shape of the patterned light or finding the corresponding points between the images using two or more cameras and measuring the distance is well known.
[0003]
A realistic three-dimensional image is generated by pasting an image reflecting the actual color of the measurement object to the three-dimensional model as the distance data of the measurement object measured by such various methods. An actual image to be measured is called a texture image, and pasting a texture image on three-dimensional data is called texture mapping.
[0004]
In general, an image to be pasted on the surface of a three-dimensional model is a two-dimensional bitmap image or an image file image. By combining a texture image made up of a two-dimensional bitmap image or an image file image on the surface of the three-dimensional shape of the object obtained by a 3D shape model or a 3D shape measurement device created in 3D graphics technology, the third order of the object The original display is made. For example, a natural three-dimensional wall can be expressed by attaching an image such as a brick, or a three-dimensional earth can be expressed by attaching a picture of a world map to a sphere.
[0005]
FIG. 1 is a diagram for explaining a general texture mapping technique. A three-dimensional shape model 101 shown in FIG. 1 is a three-dimensional shape model 101 based on distance data acquired by, for example, the stereo image method described above, and a two-dimensional image (texture) 102 is a visual image taken from a certain viewpoint. This is a two-dimensional image (texture) 102 as a real image reflecting various color data and the like. The texture mapping is performed by pasting the two-dimensional image (texture) 102 to the three-dimensional shape model 101, and this texture mapping enables realistic three-dimensional expression. Note that the wire frame display shown in the figure indicates a planar region to which a texture obtained from the three-dimensional shape model 101 is pasted.
[0006]
Up to now, various studies have been made on a technique for attaching a texture image to a 3D shape of an object obtained by a 3D measurement apparatus using a stereo image method or laser light projection. When pasting texture images from multiple viewpoints to each area to be measured, if multiple texture images are shot under different light source conditions, the difference between the light source conditions at the time of shooting each texture image will cause There are cases where a difference in color tone occurs and an unnatural hue is generated in the generated image only by the pasting process of the texture image. In order to eliminate such a situation, a method has been developed that performs high-quality texture mapping by estimating the light source situation at the time of capturing a texture image and correcting the difference in color tone between images based on the estimation. (For example, Imari Sato, Yoichi Sato, Katsushi Ikeuchi: Measurement of real light source environment by omnidirectional stereo and superimposition of virtual object on real image based on it, IEICE Transactions D-II, Vol. J81- D-II, No. 5, pp 861-871, 1998).
[0007]
[Problems to be solved by the invention]
However, in general, when photographing outdoor scenery or buildings using a digital camera or a DV cam, it is not easy to estimate the light source of illumination light, and high-quality texture mapping using a plurality of photographed images (texture images). Is difficult to perform. In order to avoid unnaturalness caused by using a plurality of images, for example, there is a method of performing texture mapping using only one texture image as shown in FIG. FIG. 2 shows a configuration in which texture mapping is executed by pasting an image of a corresponding region of one 2D image (texture image) 202 to the wire frame of the 3D shape model 201.
[0008]
However, in such a method using one image, there is a problem that the image quality of the texture is deteriorated due to a change in viewpoint. For example, if both the image of the front 203 and the image of the end 204 shown in FIG. 2 are acquired from a single two-dimensional image (texture) 202, a difference occurs between the image quality of the front and the end of the cup. Decrease occurs.
[0009]
As a technique for eliminating such a deterioration in image quality, there is a technique of selecting a texture image at the photographing viewpoint closest to the virtual viewpoint and pasting it on the three-dimensional shape model. This method will be described with reference to FIG. In FIG. 3, when a texture image of the measurement target 301 is captured from a plurality of viewpoints (shooting viewpoints 1 to n) and a virtual viewpoint is set, a shooting viewpoint closest to the virtual viewpoint is selected and the texture image is selected. Is pasted on the three-dimensional shape model of the measurement object 301. In the example shown in FIG. 3, for example, the RGB value of the virtual viewpoint is either the photographing viewpoint 1 or the photographing viewpoint 2, but the angle between the photographing viewpoint 1 and the virtual viewpoint is θ1, and the angle between the photographing viewpoint 2 and the virtual viewpoint is As θ2, if θ1 <θ2, the RGB value of the photographing viewpoint 1 is selected, and if θ1> θ2, the RGB value of the photographing viewpoint 2 is selected. According to such a method, the image quality can be improved. However, in this method, it is difficult to maintain the light and dark continuity between images, and unnaturalness of the image due to a change in viewpoint occurs.
[0010]
When a plurality of texture images can be used for one surface, a method called VDTM (View-dependent texture mapping) that represents a realistic three-dimensional object by selecting and synthesizing a texture image accompanying movement of the viewpoint (Paul E. Debevec, Camillo J. Taylor and Jitendra Malik: "Modeling and Rendering Architecture from Photographs: A hybrid geometry-and image-based approach," ACM SHINNRAPH '96 Proceedings, pp.11-20, 1996.). Unlike the conventional CG method that performs texture mapping using a single texture image, this method can reproduce changes in appearance due to viewpoint movement of a portion that cannot be reproduced as a three-dimensional shape. However, this method has a problem that the amount of image data to be held to increase the image quality is enormous, and there is a limitation that the light source conditions of a plurality of texture images must be constant.
[0011]
In order to reduce the amount of image data, a method of transmitting and mapping only the texture data of the visible part every time the viewpoint changes (S. Horbelt, F. Jordan T. Ebrahimi: "View-Dependent Texture Coding for Transmission of Virtual Environment. "Proceedings of the 1998 IEEE International Symposium on Circuits and Systems. Vol.5, No.6, pp.498-501, 1998.). However, this method has a drawback that data access efficiency is poor because data transmission is executed every time the viewpoint is changed on the user side.
[0012]
Also, interpolation between images is performed using correspondence between images taken at the time of reconstruction of 3D shape (Shenchang Eric Chen, Lance Williams: "View Interpolation for Image Synthesis," ACM SHIGGRAPH '93 Proceedings.pp. .279-288, 1993., Steven M. Seitz and Charles R. Dyer: "View Morphing," ACM SHIGGRAPH '96 Proceedings, pp.21-30, 1996.) Has been. However, with this method, there are problems of image quality degradation and unnaturalness depending on how the image is captured during shooting.
[0013]
On the other hand, a method of estimating the light source state at the time of capturing a texture image (Imari Sato, Yoichi Sato, Katsushi Ikeuchi: “Estimation of actual lighting environment based on soft shadow of real object,” IPSJ Research Report, 98-CVIM- 110, 1998), a method for correcting a difference in color tone between images has been studied. However, there is a limitation that a certain object in the image must be moved for correction processing. For example, it is not possible to estimate the light source of an image taken outdoors.
[0014]
The three-dimensional image generation apparatus and the three-dimensional image generation method of the present invention have been made in view of the drawbacks of the above-described various conventional techniques, and the luminance average value and variance of an image can be obtained without using a method such as light source estimation. Using the gray value correction method used, it is possible to create a texture image of the virtual viewpoint using two images taken from the viewpoint closest to the virtual viewpoint, and to generate a realistic three-dimensional image without unnaturalness. For the purpose.
[0015]
[Means for Solving the Problems]
The present invention has been made in consideration of the above problems, and the first aspect thereof is
In a 3D image generation device that generates a 3D image by pasting a texture image on a 3D shape model,
Selecting two camera-captured texture images having a shooting viewpoint direction closest to a virtual viewpoint for a three-dimensional image from a plurality of camera-captured viewpoint images;
An angle formed between the virtual viewpoint direction and each of the two shooting viewpoint directions of the two camera-captured texture images by performing normalization processing on the grayscale average value and the variance value of the two camera-captured texture images. Based on the above, the image parameter at the virtual viewpoint is calculated by performing a synthesis process of both images by weighting the image parameters of the two camera-captured texture images after the normalization process , and texture mapping is performed based on the parameters. A three-dimensional image generation apparatus having a configuration to execute.
[0016]
Furthermore, in one embodiment of the three-dimensional image generation apparatus of the present invention, the calculation processing of the image parameter at the virtual viewpoint captures the shooting viewpoints of the two camera-captured texture images having the shooting viewpoint directions closest to the virtual viewpoint. When the viewpoint 1 and the shooting viewpoint 2 are set, the angle between the shooting viewpoint 1 vector V1 and the virtual viewpoint vector E is θ1, and the angle between the shooting viewpoint 2 vector V2 and the virtual viewpoint vector E is θ2. α = θ1 / (θ1 + θ2) is obtained, and the image parameter at the virtual viewpoint = image parameter at the photographing viewpoint 1 × (1−α) + image parameter at the photographing viewpoint 2 × α is obtained.
[0017]
Furthermore, in one embodiment of the three-dimensional image generation apparatus of the present invention, the image parameter includes either an RGB value or a gray value.
[0019]
Furthermore, the second aspect of the present invention provides
In a 3D image generation method for generating a 3D image by pasting a texture image on a 3D shape model,
An image selection step of selecting, from a plurality of camera-captured viewpoint images, two camera-captured texture images having a shooting viewpoint direction closest to the virtual viewpoint for the three-dimensional image;
A normalization processing step for performing normalization processing of the image grayscale average value and variance value for the camera-captured texture image;
Based on the angle formed between the virtual viewpoint direction and each of the two shooting viewpoint directions of the two camera-captured texture images, the two image capturing weights of the two camera-captured texture images after the normalization processing are weighted. A synthesis process step for executing the synthesis process;
A texture mapping step of calculating image parameters at the virtual viewpoint and executing texture mapping based on the parameters;
A three-dimensional image generation method characterized by comprising:
[0020]
Further, in one embodiment of the three-dimensional image generation method of the present invention, the calculation processing of the image parameter at the virtual viewpoint captures the imaging viewpoints of the two camera-captured texture images having the imaging viewpoint directions closest to the virtual viewpoint When the viewpoint 1 and the shooting viewpoint 2 are set, the angle between the shooting viewpoint 1 vector V1 and the virtual viewpoint vector E is θ1, and the angle between the shooting viewpoint 2 vector V2 and the virtual viewpoint vector E is θ2. , Α = θ1 / (θ1 + θ2), and the image parameter at the virtual viewpoint = image parameter of the shooting viewpoint 1 × (1−α) + image parameter of the shooting viewpoint 2 × α.
[0021]
Furthermore, in one embodiment of the three-dimensional image generation method of the present invention, the image parameter includes either an RGB value or a gray value.
[0023]
Furthermore, the third aspect of the present invention provides
A program providing medium that tangibly provides a computer program that causes a three-dimensional image generation process for generating a three-dimensional image by pasting a texture image to a three-dimensional shape model on a computer system. The program
An image selection step of selecting, from a plurality of camera-captured viewpoint images, two camera-captured texture images having a shooting viewpoint direction closest to the virtual viewpoint for the three-dimensional image;
A normalization processing step for performing normalization processing of the image grayscale average value and variance value for the camera-captured texture image;
Based on the angle formed between the virtual viewpoint direction and each of the two shooting viewpoint directions of the two camera-captured texture images, the two image capturing weights of the two camera-captured texture images after the normalization processing are weighted. A synthesis process step for executing the synthesis process;
A texture mapping step of calculating image parameters at the virtual viewpoint and executing texture mapping based on the parameters;
There is a program providing medium characterized by comprising:
[0024]
The program providing medium according to the third aspect of the present invention is a medium that provides a computer program in a computer-readable format to, for example, a general-purpose computer system that can execute various program codes. The form of the medium is not particularly limited, such as a storage medium such as a CD, FD, or MO, or a transmission medium such as a network.
[0025]
Such a program providing medium defines a structural or functional cooperative relationship between a computer program and a providing medium for realizing a function of a predetermined computer program on a computer system. . In other words, by installing a computer program in the computer system via the provided medium, a cooperative action is exhibited on the computer system, and the same effects as the other aspects of the present invention are obtained. Can do it.
[0026]
Other objects, features, and advantages of the present invention will become apparent from a more detailed description based on embodiments of the present invention described later and the accompanying drawings.
[0027]
DETAILED DESCRIPTION OF THE INVENTION
The 3D image generation apparatus and 3D image generation method of the present invention will be described in detail below. First, an outline of texture image mapping executed in the three-dimensional image generation apparatus of the present invention will be described with reference to FIG.
[0028]
For texture image mapping executed in the 3D image generation apparatus of the present invention, a plurality of texture images having different viewpoints with respect to the measurement target 401 are used, and two images closest to the virtual viewpoint are selected and selected. Based on the two images, texture mapping is performed using a new texture image obtained by a synthesis process using the angle between the virtual viewpoint and the actual photographing viewpoint as a weight.
[0029]
For example, assume that image display is performed using RGB values as parameters for determining the color value of the image. When the virtual viewpoint is located between the shooting viewpoint 1 and the shooting viewpoint 2, the RGB value at the virtual viewpoint is calculated by the following equation. In the following equation, α is α1 when the angle between the vector V1 of the shooting viewpoint 1 and the vector E of the virtual viewpoint is θ1, and α2 is the angle between the vector V2 of the shooting viewpoint 2 and the vector E of the virtual viewpoint. = Θ1 / (θ1 + θ2).
[0030]
[Expression 1]
RGB value at virtual viewpoint = RGB value at photographing viewpoint 1 × (1−α)
+ RGB value of shooting viewpoint 2 x α (Equation 1)
[0031]
As understood from the above formula, the RGB value, which is the image parameter of the texture image at the virtual viewpoint, is obtained by the synthesis process of the images from the two photographing viewpoints close to the virtual viewpoint. When the virtual viewpoint direction matches one shooting viewpoint direction, the virtual viewpoint image is defined as the matching shooting viewpoint image, and the two images are not combined.
[0032]
Since the texture image of the virtual viewpoint obtained by the above formula is generated by the synthesis processing using the image of the photographing viewpoint, the difference in the illumination conditions of the n images photographed from the viewpoints 1 to n can be absorbed. The continuity between them is maintained. As a result, high-resolution texture image mapping is possible, and even changes that cannot be reproduced as a three-dimensional shape can be reproduced by changing the way the viewpoint changes, enabling a more realistic three-dimensional display. .
[0033]
In particular, there is an effect that the image change when the viewpoint is changed becomes smooth. That is, when there are n camera viewpoint images and these are set to V1 to Vn, for example, a certain virtual viewpoint image is synthesized by the camera photographing viewpoint images V1 and V2, and when the viewpoint is shifted, the camera photographing viewpoint images V2 and V3 are synthesized. It is switched to an image, and further, a composite image of V3 and V4 and a composite image of V4 and V5 are switched. In this way, when the viewpoint is continuously changed, the corresponding texture image is continuously used as the image used for the previous texture image, and the usage ratio also changes continuously with the movement of the viewpoint. As a result, discontinuity between images is reduced, and the viewer does not feel uncomfortable.
[0034]
Next, a process of generating a 3D image by performing texture mapping by a synthesis process using a plurality of shooting viewpoint images in the 3D image generation apparatus of the present invention will be described with reference to FIG.
[0035]
Step S501 is an initialization step for setting the number of images of the photographing viewpoint image. Step S501 indicates that the number of captured viewpoint images is n. In step S502, it is determined whether or not the virtual viewpoint vector E has changed. When it is determined that the virtual viewpoint vector E has changed, in step S503 to step S506, a vector comparison between the camera viewpoint points V1 to Vn based on the camera viewpoints i = 1 to n and the virtual viewpoint vector E is performed. A shooting viewpoint vector closest to the virtual viewpoint vector E is selected. Specifically, the inner product of each camera photographing viewpoint vector Vi and the virtual viewpoint vector E is calculated, and a process of comparing the values with each other is performed.
[0036]
When the two shooting viewpoint vectors closest to the virtual viewpoint are selected, in the next step S507, in order to suppress the variation in the density distribution between the images in the three-dimensional image, the normal value of the average value and the variance value of the density distribution of the image is suppressed. Execute the conversion process. This processing flow is shown in FIG.
[0037]
In step S601 of FIG. 6, a texture mapping image is input. That is, the texture images of the camera viewpoints 1 to n are input. In step S602, a partial image region used as a texture is cut out from images 1 to n. This partial area is an image including an image of an area selected as an image used for synthesizing a virtual viewpoint in steps S503 to S606 shown in FIG.
[0038]
Next, in step S603, the grayscale average value and variance of the partial image region cut out in step S602 are calculated. Next, in step S604, normalization processing of the grayscale average value and variance value of each partial image region is executed to correct an image used for texture mapping processing. Note that the normalization processing based on the grayscale average value and variance calculation of the partial image area does not necessarily need to be performed, for example, when it is determined that there is almost no grayscale variation in each camera viewpoint image. .
[0039]
Thereafter, a texture image at the virtual viewpoint is generated in step S508 by a synthesis process from the two camera viewpoint images selected in step S505. The image composition method is executed by the weighting of (Equation 1) described above. In this way, a texture image of the virtual viewpoint is generated and mapped to generate a three-dimensional image. The two camera viewpoint images that are to be combined in step S508 are the camera viewpoint images that have been subjected to the normalization processing of the grayscale average value and the variance value in step S507. It will be suppressed. Note that if the virtual viewpoint coincides with one shooting viewpoint, only one shooting viewpoint image is adopted, and the synthesis process from the two images is not executed.
[0040]
In the above-described image composition process, the composition process has been described as an example of an image having two images that are color images and having RGB values. Even if the image is a monochrome image or a parameter other than RGB, The image parameter of the virtual viewpoint image can be executed by the weighting process of the parameters of the two closest camera viewpoint images by the same method as the above formula 1. The weighting of these parameters is executed based on the angle formed by the virtual viewpoint vector E and the camera viewpoint vectors of the two closest camera viewpoint images.
[0041]
By the above-described image processing, a more realistic real 3D image is generated. In texture mapping, for example, the above-described composite image is generated for each wire frame region shown in FIG. 1 described above, and a three-dimensional image is generated by executing a process of pasting the composite image for each wire frame region. The adjustment of the consistency between texture images pasted on a plurality of wire frame regions is realized by a factorization method, for example. As shown in FIG. 7, a camera viewpoint image (t = 1 to n) from a plurality of different viewpoints is captured with respect to an object to be imaged, and one camera viewpoint image, for example, t = Several feature points are acquired based on one camera viewpoint image. Further, a position corresponding to the acquired feature point is determined in each camera viewpoint image, a measurement matrix is calculated, factorization of UΣV ′ is performed, and a generation process of the shape S according to the camera movement M is performed. Execute.
[0042]
FIG. 7 shows a method and procedure for restoring a target three-dimensional shape and camera motion using a plurality of images taken from different viewpoints.
[0043]
First, the subject is photographed while changing the viewpoint of the camera. The captured F images are represented by {ft (x, y) | t = 1,. . . . , F}, P feature points are extracted from the first image f1 (x, y) by the variance evaluation value in the window, and are traced over the F images. The feature point coordinates (Xfp, Yfp) on each frame obtained by feature point tracking can be represented by a matrix W (referred to herein as a measurement matrix). Then, by applying a linear projection model, the measurement matrix W can be decomposed into two orthogonal matrices U and V ′ and a diagonal matrix Σ by a singular value decomposition method (SVD). Therefore, the orthogonal matrices U and V ′ include camera motion information M and target three-dimensional information S, respectively. Further, when the constraint condition of the unit vector (i, j, k) representing the camera posture is used, a matrix A for uniquely determining M and S is obtained. Accordingly, the camera motion M and the target three-dimensional shape S are uniquely determined.
[0044]
For details on the three-dimensional shape of the object and the camera motion restoration method using the factorization method described above, see, for example, the paper “Reconstruction of object shape and camera motion by factorization method” in IEICE Transactions D -II, Vol. J76-D-II, No. 8, pp. 1497-1505 (19933.8).
[0045]
FIG. 8 shows an example in which texture mapping is performed using a synthesis process using two camera viewpoint images close to a virtual viewpoint in the three-dimensional image generation apparatus of the present invention. In this example, 16 camera viewpoint images are used, and by the above-described method for each virtual viewpoint, a synthesis process weighted by the angle formed by the virtual viewpoint vector and the two closest camera viewpoint vectors is used. Image parameters such as RGB values are calculated and mapped. With this method, a high-quality texture image is mapped from any viewpoint.
FIG. 9 shows a comparison between the three-dimensional image (c) obtained by the three-dimensional image generation processing of the present invention and the three-dimensional images (a) and (b) obtained by the conventional method. The conventional method (a) is a three-dimensional image obtained by performing texture mapping with one texture image. This example is a display result when a frame 1 image shown in FIG. 8A is used for mapping to a three-dimensional image and the result is viewed from a certain viewpoint. In the aspect (a), even if the viewpoint is changed, the texture is not changed. Therefore, unnaturalness occurs in the texture when the viewpoint is changed, and the deterioration of the texture image quality of the window portion is particularly noticeable.
[0047]
FIG. 9B shows a viewpoint image from a certain viewpoint by a so-called mapping method that selects an image of the photographing viewpoint closest to the virtual viewpoint using the texture images from the 16 different viewpoints shown in FIG. It is a thing. In the example of (b), the texture is changed with the change of the viewpoint, but a sudden change may occur in the gray value between the images at the time of the texture change, which causes the viewer to feel uncomfortable. This is due to a difference in illumination conditions at the time of capturing images from the viewpoints captured by the cameras. Further, as in FIG.
[0048]
FIG. 9C is an image generated by the three-dimensional image generation method of the present invention, in which a viewpoint image is generated by a synthesis process of two captured images close to the viewpoint. When the viewpoint changes, the texture image also changes. When the camera viewpoint image is set to V1 to Vn, for example, a virtual viewpoint image is synthesized by the camera shooting viewpoint images V1 and V2, and the viewpoint is shifted. Then, the image is synthesized by the camera photographing viewpoint images V2 and V3, and is further continued with the synthesized image of V3 and V4 and the synthesized image of V4 and V5. In this way, when the viewpoint is continuously changed, the corresponding texture image is continuously used for the previous texture image, so the discontinuity between the images is reduced. , Does not cause the viewer to feel strange. Furthermore, if the normalization process of the grayscale average value and the variance value described above with reference to FIG. 6 is executed, the difference between the images is further eliminated.
[0049]
As described above, according to the three-dimensional image generation apparatus and the three-dimensional image generation method of the present invention, a three-dimensional image with higher image quality and improved image continuity when moving the viewpoint can be obtained. By applying the 3D image generation method of the present invention to, for example, VRML (Virtual Reality Modeling Language), a more realistic 3D image can be displayed on the browser.
[0050]
The present invention has been described in detail above with reference to specific embodiments. However, it is obvious that those skilled in the art can make modifications and substitutions of the embodiments without departing from the gist of the present invention. In other words, the present invention has been disclosed in the form of exemplification, and should not be interpreted in a limited manner. In order to determine the gist of the present invention, the claims section described at the beginning should be considered.
[0051]
【The invention's effect】
As described above, according to the 3D image generation apparatus and the 3D image generation method of the present invention, since the texture mapping is performed using the synthesis process by the two camera viewpoint images close to the virtual viewpoint, It is possible to generate a three-dimensional image with high image quality and improved continuity of images when the viewpoint is moved.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining a general texture mapping technique;
FIG. 2 is a diagram for explaining a conventional texture mapping method using one image.
FIG. 3 is a diagram for explaining a conventional mapping method using texture image selection using a plurality of images.
FIG. 4 is a diagram illustrating a texture mapping method using two images applied in the three-dimensional image generation apparatus of the present invention.
FIG. 5 is a diagram for explaining a processing flow of a texture mapping method using two images applied in the three-dimensional image generation apparatus of the present invention.
FIG. 6 is a diagram for explaining a normalization process flow of an image grayscale average value and variance value in texture mapping using two images applied in the three-dimensional image generation apparatus of the present invention.
FIG. 7 is a diagram illustrating a shape restoration method in the three-dimensional shape measurement apparatus of the present invention.
FIG. 8 is a diagram for explaining a processing example of a three-dimensional image generated in the three-dimensional shape measurement apparatus of the present invention.
FIG. 9 is a diagram comparing a 3D image generated by the 3D shape measurement apparatus of the present invention with a 3D image generated by a conventional method.
[Explanation of symbols]
101 3D shape model 102 2D image (texture)
201 Three-dimensional shape model 202 Two-dimensional image (texture)
301 Measuring object 401 Measuring object

Claims

In a 3D image generation device that generates a 3D image by pasting a texture image on a 3D shape model,
Selecting two camera-captured texture images having a shooting viewpoint direction closest to a virtual viewpoint for a three-dimensional image from a plurality of camera-captured viewpoint images;
An angle formed between the virtual viewpoint direction and each of the two shooting viewpoint directions of the two camera-captured texture images by performing normalization processing on the grayscale average value and the variance value of the two camera-captured texture images. Based on the above, the image parameter at the virtual viewpoint is calculated by performing a synthesis process of both images by weighting the image parameters of the two camera-captured texture images after the normalization process , and texture mapping is performed based on the parameters. A three-dimensional image generation apparatus characterized by having a configuration to execute.

The calculation process of the image parameter at the virtual viewpoint is as follows:
When the shooting viewpoints of the two camera shooting texture images having the shooting viewpoint directions closest to the virtual viewpoint are the shooting viewpoint 1 and the shooting viewpoint 2, the angle formed by the vector V1 of the shooting viewpoint 1 and the vector E of the virtual viewpoint is θ1. And α = θ1 / (θ1 + θ2) is obtained by assuming that the angle formed by the vector V2 of the shooting viewpoint 2 and the vector E of the virtual viewpoint is θ2, and image parameter at the virtual viewpoint = image parameter of the shooting viewpoint 1 × (1-α) The three-dimensional image generation apparatus according to claim 1, wherein the three-dimensional image generation apparatus is obtained as + image parameter of imaging viewpoint 2 × α.

The three-dimensional image generation apparatus according to claim 1, wherein the image parameter includes either an RGB value or a gray value.

In a 3D image generation method for generating a 3D image by pasting a texture image on a 3D shape model,
An image selection step of selecting, from a plurality of camera-captured viewpoint images, two camera-captured texture images having a shooting viewpoint direction closest to the virtual viewpoint for the three-dimensional image;
A normalization processing step for performing normalization processing of the image grayscale average value and variance value for the camera-captured texture image;
Based on the angle formed between the virtual viewpoint direction and each of the two shooting viewpoint directions of the two camera-captured texture images, the two image capturing weights of the two camera-captured texture images after the normalization processing are weighted. A synthesis process step for executing the synthesis process;
A texture mapping step of calculating image parameters at the virtual viewpoint and executing texture mapping based on the parameters;
A three-dimensional image generation method characterized by comprising:

The calculation process of the image parameter at the virtual viewpoint is as follows:
When the shooting viewpoints of the two camera shooting texture images having the shooting viewpoint directions closest to the virtual viewpoint are the shooting viewpoint 1 and the shooting viewpoint 2, the angle formed by the vector V1 of the shooting viewpoint 1 and the vector E of the virtual viewpoint is θ1. And θ = θ1 / (θ1 + θ2), where θ2 is an angle formed by the vector V2 of the shooting viewpoint 2 and the vector E of the virtual viewpoint, and image parameter at the virtual viewpoint = image parameter of the shooting viewpoint 1 × (1-α 5. The three-dimensional image generation method according to claim 4, wherein the three-dimensional image generation method is obtained as: (image parameter of imaging viewpoint 2 × α).

The three-dimensional image generation method according to claim 4, wherein the image parameter includes either an RGB value or a gray value.

A program providing medium that tangibly provides a computer program that causes a three-dimensional image generation process for generating a three-dimensional image by pasting a texture image to a three-dimensional shape model on a computer system. The program
An image selection step of selecting, from a plurality of camera-captured viewpoint images, two camera-captured texture images having a shooting viewpoint direction closest to the virtual viewpoint for the three-dimensional image;
A normalization processing step for performing normalization processing of the image grayscale average value and variance value for the camera-captured texture image;
Based on the angle formed between the virtual viewpoint direction and each of the two shooting viewpoint directions of the two camera-captured texture images, the two image capturing weights of the two camera-captured texture images after the normalization processing are weighted. A synthesis process step for executing the synthesis process;
A texture mapping step of calculating image parameters at the virtual viewpoint and executing texture mapping based on the parameters;
A program providing medium comprising: