JP4474743B2 - 三次元画像生成装置および三次元画像生成方法、並びにプログラム記録媒体 - Google Patents
三次元画像生成装置および三次元画像生成方法、並びにプログラム記録媒体 Download PDFInfo
- Publication number
- JP4474743B2 JP4474743B2 JP2000201033A JP2000201033A JP4474743B2 JP 4474743 B2 JP4474743 B2 JP 4474743B2 JP 2000201033 A JP2000201033 A JP 2000201033A JP 2000201033 A JP2000201033 A JP 2000201033A JP 4474743 B2 JP4474743 B2 JP 4474743B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- patch
- texture
- patches
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
Description
【０００１】
【発明の属する技術分野】
本発明は、三次元形状モデルに対するテクスチャ画像の貼り込み技術に関する三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体に関する。さらに詳細には、仮想視点のテクスチャ画像の貼り付け処理を改良することにより、不自然さの少ないリアルな三次元画像を生成することを可能とした三次元画像生成装置および三次元画像生成方法に関する。
【０００２】
【従来の技術】
物体の三次元形状は、例えば、測定対象に光を投射して、その光が反射して帰ってくるまでの時間を測定したり、測定対象にスリット状のパターン光をあてて測定対象に投影されたパターン光の形状を調べたり、あるいは、２台以上のカメラを使って、その画像間の対応点を見つけることで視差を求め、距離を計測するステレオ画像法等がよく知られている。
【０００３】
このような様々な手法で測定された測定対象の距離データとしての三次元モデルに、測定対象の実際の色彩を反映した画像を貼り付けることで、リアルな３次元画像が生成される。測定対象の実画像をテクスチャ画像と呼び、テクスチャ画像を３次元形状に貼り付けることをテクスチャマッピングと呼ぶ。
【０００４】
一般に三次元モデルの表面に貼り付ける画像は、２次元のビットマップ画像やイメージファイル画像である。３Ｄグラフィックス技術において作成した３Ｄ形状モデルや３Ｄ形状計測装置で得られた物体の三次元形状の表面に２次元のビットマップ画像やイメージファイル画像からなるテクスチャ画像を貼り合わせることにより、物体の三次元表示がなされる。例えば、レンガなどの画像を貼ることにより自然な三次元の壁が表現できたり、球体に世界地図の絵を貼り付けることにより、立体的な地球が表現されるようになる。
【０００５】
図１は、一般的なテクスチャマッピングの手法を説明する図である。図１に示す三次元形状モデル１０１は、例えば上述のステレオ画像法等によって取得された距離データに基づく三次元形状モデル１０１であり、二次元画像（テクスチャ）１０２は、ある視点から撮影した視覚的な色データ等を反映した実画像としての二次元画像（テクスチャ）１０２である。テクスチャマッピングは、三次元形状モデル１０１に、二次元画像（テクスチャ）１０２を貼り付けて行われ、このテクスチャマッピングにより、リアルな三次元表現が可能となる。なお、図に示すワイヤフレーム表示は、三次元形状モデル１０１から得られるテクスチャを貼り付ける平面領域を示すものである。
【０００６】
これまで、ステレオ画像法や、レーザ光の投光などを併用した３Ｄ計測装置で得られた物体の３Ｄ形状にテクスチャ画像を貼り合わせる技術について様々な検討がなされている。複数の視点からのテクスチャ画像を測定対象のそれぞれの領域に貼り付ける場合、複数のテクスチャ画像が異なる光源状況で撮影されていると、個々のテクスチャ画像の撮影時の光源状況の差により、画像間の色調に差が生じテクスチャ画像の貼り付け処理のみでは生成された画像に不自然な色合いが生じることがある。このような状況を解消するために、テクスチャ画像の撮影時の光源状況を推定し、その推定に基づいて画像間の色調の差異を補正することにより高画質なテクスチャマッピングを行なう手法が開発されている（例えば、佐藤いまり、佐藤洋一、池内克史：全方位ステレオによる実光源環境の計測とそれに基づく仮想物体の実画像への重ね込み、電子情報通信学会論文誌 Ｄ−ＩＩ、Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ，Ｎｏ．５，ｐｐ８６１−８７１，１９９８）。
【０００７】
【発明が解決しようとする課題】
しかしながら、一般にデジタルカメラやＤＶカム等を用いて野外の風景や建物などを撮影する場合、照明光の光源推定は容易ではなく、撮影した複数の画像（テクスチャ画像）を用いて高画質のテクスチャマッピングを実行することは困難である。複数の画像を用いることによる不自然さを避けるため、例えば図２に示すように１枚のテクスチャ画像のみを用いてテクスチャマッピングを行なう方法もある。図２は、三次元形状モデル２０１のワイヤフレームに１枚の二次元画像（テクスチャ画像）２０２の対応領域の画像を貼りつけることにより、テクスチャマッピングを実行する構成を示している。
【０００８】
しかし、このような１枚の画像を用いる手法では、視点の変更により、テクスチャの画質が低下するという問題が発生する。例えば図２に示すカップの正面２０３の画像と端部２０４の画像をともに１枚の二次元画像（テクスチャ）２０２から取得すると、カップの正面の画質と端部の画質に差が発生し、画質の低下が発生する。
【０００９】
このような画質低下を解消する手法として、仮想視点に最も近い撮影視点のテクスチャ画像を選択して三次元形状モデルに貼り付ける手法がある。この手法を図３を用いて説明する。図３において、測定対象３０１のテクスチャ画像の撮影を複数の視点（撮影視点１〜ｎ）によって撮り込み、仮想視点が設定されると、その仮想視点に最も近い撮影視点を選択してそのテクスチャ画像を測定対象３０１の三次元形状モデルに貼り付ける。図３に示す例では、例えば仮想視点のＲＧＢ値を撮影視点１あるいは撮影視点２のいずれかとするが、撮影視点１と仮想視点間の角度をθ１とし、撮影視点２と仮想視点間の角度をθ２として、θ１＜θ２であれば撮影視点１のＲＧＢ値を選択し、θ１＞θ２であれば撮影視点２のＲＧＢ値を選択する。このような方法によれば、画質の向上が図られる。しかし、この手法においては、画像間の濃淡連続性の保持が困難となり、視点の変化による画像の不自然さが発生する。
【００１０】
１つの面に対して複数枚のテクスチャ画像の利用が可能である場合、視点の移動に伴うテクスチャ画像の選択合成処理により、リアルな三次元物体を表現するＶＤＴＭ（Ｖｉｅｗ−ｄｅｐｅｎｄｅｎｔ ｔｅｘｔｕｒｅ ｍａｐｐｉｎｇ）という手法が開発されている（Paul E.Debevec,Camillo J.Taylor and Jitendra Malik:"Modeling and Rendering Architecture from Photographs:A hybrid geometry-and image-based approach,"ACM SHINNRAPH '96 Proceedings, pp.11-20,1996.）。この手法は、１枚のテクスチャ画像を用いてテクスチャマッピングを行なう従来のＣＧ手法とは異なり、三次元形状として再現できていない部分の視点移動による見え方の変化を再現可能である。しかし、この手法では、画質を高めるために保持する画像データの量が膨大になるという問題があり、また、複数のテクスチャ画像の光源条件が一定でなければならないという制限がある。
【００１１】
画像データ量を削減するために、視点が変化する毎に見えている部分のテクスチャデータだけを伝送してマッピングする手法（S. Horbelt, F.Jordan T.Ebrahimi:"View-Dependent Texture Coding for Transmission of Virtual Environment."Proceedings of the 1998 IEEE International Symposium on Circuits and Systems. Vol.5, No.6,pp.498-501,1998.）が開発されている。しかし、この手法ではユーザ側で視点変更が行なわれる度にデータの伝送が実行されることになるので、データアクセスの効率が悪いという欠点がある。
【００１２】
また、三次元形状の再構成時に撮られた画像間の対応を用いて画像間の内挿を行なう（Shenchang Eric Chen, Lance Williams: "View Interpolation for Image Synthesis,"ACM SHIGGRAPH '93 Proceedings.pp..279-288,1993.、ＳSteven M. Seitz and Charles R. Dyer: "View Morphing,"ACM SHIGGRAPH '96 Proceedings, pp.21-30,1996.）方法により、画像データ量を少なくする方法も提案されている。しかし、この手法では、撮影時の画像の撮り込み方により、画質の劣化や不自然さの問題がある。
【００１３】
一方、テクスチャ画像の撮影時の光源状況を推定する方法（佐藤いまり，佐藤洋一，池内克史：”実物体のソフトシャドウにもとづく実照明環境の推定，：情報処理学会研究報告，９８−ＣＶＩＭ−１１０，１９９８）により、画像間の色調の違いを補正する方法が検討されているが、補正処理のために画像中にある決まった物体が移っていなければならないという制限があり、この手法では、例えば野外で撮影した画像の光源推定を行なうことはできない。
【００１４】
本発明の三次元画像生成装置および三次元画像生成方法は、上述の各種従来技術の欠点に鑑みてなされたものであり、保持する画像データ量を減らすと同時に、テクスチャの画質向上も可能とする高画質のテクスチャマッピング手法を提供することを目的とする。より具体的には、光源モデルを作ることなく、イメージベースの画像濃淡値補正及びスムージング手法を適用するものであり、各パッチ面に最も分解能の高い画像を用いるテクスチャ画像を作成し、作成された最も高解像度の一枚の画像に対して、濃淡値補正とスムージング処理によって、光源条件の不一致による画像間の色調の違いを目立たなくし、より高画質な三次元表現を可能する三次元画像生成装置および三次元画像生成方法を提供することを目的とする。
【００１５】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、
三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する三次元画像生成装置において、
測定対象を撮影した複数のカメラ撮影視点画像から、三次元画像を構成するパッチ面毎に最も解像度の高い画像を選択して、選択画像を各パッチ面に適用するテクスチャ画像としてテクスチャマッピングを実行する構成と、
各パッチ間の境界部分の濃淡スムージング補正処理を実行する構成を有し、
該スムージング処理は、
パッチ面の法線ベクトルと複数の撮影視点方向ベクトルとを各々比較し、パッチ面に対して最も正対している撮影視点方向からの撮影画像を複数のカメラ撮影視点テクスチャ画像から選択して、パッチ面の展開図の対応する領域に貼りつけるとともに、他のパッチ面に対しては該パッチ面の法線ベクトルと撮影視点方向ベクトルの差に応じて濃淡の重み付けを行って前記展開図の対応する領域に貼りつけてテクスチャ展開図の生成を行い、該テクスチャ展開図の生成を各パッチ面について実行して、各パッチ面に適用する複数のテクスチャ画像分生成されたテクスチャ展開図を重ね合わせて各パッチの濃淡値平滑化を実行することを特徴とする三次元画像生成装置にある。
【００１７】
さらに、本発明の三次元画像生成装置の一実施態様において、三次元画像生成装置は、複数のカメラ撮影視点画像の濃淡値補正処理を実行する構成を有し、該濃淡値補正処理は、複数のカメラ撮影視点画像のパッチ単位あるいは設定領域単位の濃淡平均値と分散値を算出して、正規化処理を実行することによって行なう構成であることを特徴とする。
【００１８】
さらに、本発明の三次元画像生成装置の一実施態様において、三次元画像生成装置は、さらに、各パッチ間のテクスチャ画像のずれ補正処理を実行する構成を有し、該ずれ補正処理は、隣接パッチ間の境界部における各パッチの濃淡値の差分を算出してずれ検出を行ない、検出されたずれに基づいてパッチの再分割処理、再マッピングを実行することによって行なう構成であることを特徴とする。
【００１９】
さらに、本発明の三次元画像生成装置の一実施態様において、三次元画像生成装置は、各パッチ間のテクスチャ画像のずれ補正処理を実行する構成を有し、該ずれ補正処理は、隣接パッチ間の境界部における各パッチの濃淡値の分布を算出し、該濃淡分布の画素毎の差分総和値を最小化するにように、隣接パッチのいずれかの端点座標を移動することによって実行する構成であることを特徴とする。
【００２０】
さらに、本発明の三次元画像生成装置の一実施態様において、三次元画像生成装置は、各パッチ間のテクスチャ画像のずれ補正処理を実行する構成を有し、三次元画像を構成する複数パッチの隣接パッチ境界部における濃淡値誤差をそれぞれ算出し、算出した複数の濃淡値誤差中最大のものについて予め定めた閾値より誤差が大であることを条件としてずれ補正処理を実行し、三次元画像を構成する複数パッチの隣接パッチ境界部における濃淡値誤差のすべてが、該閾値を超えないことを条件としてずれ補正処理を終了する構成としたことを特徴とする。
【００２２】
さらに、本発明の第２の側面は、
三次元画像生成装置で三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する三次元画像生成方法において、
前記三次元画像生成装置は、
三次元画像を構成するパッチ面に対してテクスチャマッピングを実行する構成と、
各パッチ間の境界部分の濃淡スムージング補正処理を実行する構成を有し、
前記テクスチャマッピングは、測定対象を撮影した複数のカメラ撮影視点画像から、三次元画像を構成するパッチ面毎に最も解像度の高い画像を選択して、選択画像を各パッチ面に適用するテクスチャ画像としてテクスチャマッピングを実行するステップを有し、
前記濃淡スムージング補正処理は、パッチ面の法線ベクトルと複数の撮影視点方向ベクトルとを各々比較し、パッチ面に対して最も正対している撮影視点方向からの撮影画像を複数のカメラ撮影視点テクスチャ画像から選択して、パッチ面の展開図の対応する領域に貼りつけるとともに、他のパッチ面に対しては該パッチ面の法線ベクトルと撮影視点方向ベクトルの差に応じて濃淡の重み付けを行って前記展開図の対応する領域に貼りつけてテクスチャ展開図の生成を行い、該テクスチャ展開図の生成を各パッチ面について実行して、各パッチ面に適用する複数のテクスチャ画像分生成されたテクスチャ展開図を重ね合わせて各パッチの濃淡値平滑化を実行するステップを有することを特徴とする三次元画像生成方法にある。
【００２４】
さらに、本発明の三次元画像生成方法の一実施態様において、前記三次元画像生成方法は、さらに、複数のカメラ撮影視点画像の濃淡値補正処理を実行し、該濃淡値補正処理は、複数のカメラ撮影視点画像のパッチ単位あるいは設定領域単位の濃淡平均値と分散値を算出して、正規化処理を実行することによって行なうことを特徴とする。
【００２５】
さらに、本発明の三次元画像生成方法の一実施態様において、前記三次元画像生成方法は、さらに、各パッチ間のテクスチャ画像のずれ補正処理を実行し、該ずれ補正処理は、隣接パッチ間の境界部における各パッチの濃淡値の差分を算出してずれ検出を行ない、検出されたずれに基づいてパッチの再分割処理、再マッピングを実行することによって行なうことを特徴とする。
【００２６】
さらに、本発明の三次元画像生成方法の一実施態様において、前記三次元画像生成方法は、さらに、各パッチ間のテクスチャ画像のずれ補正処理を実行し、該ずれ補正処理は、隣接パッチ間の境界部における各パッチの濃淡値の分布を算出し、該濃淡分布の画素毎の差分総和値を最小化するにように、隣接パッチのいずれかの端点座標を移動することによって実行することを特徴とする。
【００２７】
さらに、本発明の三次元画像生成方法の一実施態様において、前記三次元画像生成方法は、さらに、各パッチ間のテクスチャ画像のずれ補正処理を実行し、三次元画像を構成する複数パッチの隣接パッチ境界部における濃淡値誤差をそれぞれ算出し、算出した複数の濃淡値誤差中最大のものについて予め定めた閾値より誤差が大であることを条件としてずれ補正処理を実行し、三次元画像を構成する複数パッチの隣接パッチ境界部における濃淡値誤差のすべてが、該閾値を超えないことを条件としてずれ補正処理を終了することを特徴とする。
【００２９】
さらに、本発明の第３の側面は、
三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する三次元画像生成処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムをコンピュータ可読な形式で提供するプログラム記録媒体であって、前記コンピュータ・プログラムは、
前記コンピュータ・システムを、
測定対象を撮影した複数のカメラ撮影視点画像から、三次元画像を構成するパッチ面毎に最も解像度の高い画像を選択して、選択画像を各パッチ面に適用するテクスチャ画像としてテクスチャマッピングを実行する手段と、
パッチ面の法線ベクトルと複数の撮影視点方向ベクトルとを各々比較し、パッチ面に対して最も正対している撮影視点方向からの撮影画像を複数のカメラ撮影視点テクスチャ画像から選択して、パッチ面の展開図の対応する領域に貼りつけるとともに、他のパッチ面に対しては該パッチ面の法線ベクトルと撮影視点方向ベクトルの差に応じて濃淡の重み付けを行って前記展開図の対応する領域に貼りつけてテクスチャ展開図の生成を行い、該テクスチャ展開図の生成を各パッチ面について実行して、各パッチ面に適用する複数のテクスチャ画像分生成されたテクスチャ展開図を重ね合わせて各パッチの濃淡値平滑化を実行する手段として機能させることを特徴とするプログラム記録媒体にある。
【００３０】
本発明の第３の側面に係るプログラム記録媒体は、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・プログラムをコンピュータ可読な形式で提供する媒体である。記録媒体は、ＣＤやＦＤ、ＭＯなど、その形態は特に限定されない。
【００３１】
このようなプログラム記録媒体は、コンピュータ・システム上で所定のコンピュータ・プログラムの機能を実現するための、コンピュータ・プログラムと記録媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、該記録媒体を介してコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の他の側面と同様の作用効果を得ることができるのである。
【００３２】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００３３】
【発明の実施の形態】
本発明の三次元画像生成装置および三次元画像生成方法について、以下詳細に説明する。まず、図４を用いて、本発明の三次元画像生成装置において実行されるテクスチャ画像マッピングの概要を説明する。
【００３４】
本発明の三次元画像生成装置において実行されるテクスチャ画像マッピングには、視点の異なる複数枚（例えばn枚）のテクスチャ画像から、測定対象４０１のパッチ面毎にパッチ面の法線ベクトルに最も近い角度で撮影した画像をそれぞれ選択する。
【００３５】
まず図４（ａ）に示すように測定対象４０１の撮影画像から複数のパッチ面を選択する。なお、パッチ面はテクスチャ画像を貼り付ける１平面として把握可能な面である。図４（ａ）に示す測定対象には、複数のパッチ面４０２−１〜ｎ選択される。
【００３６】
次に、複数のパッチ面４０２−１〜ｎの各々に対して測定対象４０１の視点の異なる複数枚（例えばn枚）のテクスチャ画像１〜ｎからパッチ面の法線ベクトルに最も近い角度で撮影した画像をそれぞれ選択する。この選択処理の概要を図４（ｂ）に示す。図４（ｂ）は、１つのパッチ面４０２−ｘについての処理例を示している。図４（ｂ）に示すようにパッチ面４０２−ｘの法線ベクトルが設定され、複数の撮影視点ベクトルＶ１〜Ｖｎが図のように設定されているとする。このとき、これら複数の撮影視点ベクトルＶ１〜Ｖｎから、最も法線ベクトルに近い角度の撮影視点ベクトルを選択する。選択は、例えば下記のように法線ベクトルと各撮影視点ベクトルとによってなす角度θｘのｃｏｓθを下記の式によって計算して、その値を比較することによって選択することができる。
【００３７】
【数１】
【００３８】
このようにして、測定対象４０１のすべてのパッチ面４０２−１〜ｎについてのテクスチャ画像を選択し、図４（ｃ）に示すように、それぞれのパッチ面のテクスチャ画像４０３−１〜ｎを貼り合わせることにより、測定対象の３次元表示４０４が完成する。
【００３９】
なお、テクスチャ画像として貼り合わせるそれぞれのテクスチャ画像は、それぞれが異なる角度から撮影された画像であり、撮影条件も異なっている場合があり、隣接画像間での位置ずれ、あるいは画像間の濃淡値に差異があることがある。従って、それぞれの画像を貼り合わせる場合には、これらの補正処理が必要となる。
【００４０】
これら複数の異なる視点からの撮影テクスチャ画像を貼り合わせる処理を実行する場合の補正処理について、以下の３つの補正処理に分けて以下、説明する。
（ａ）各フレーム間の画像濃淡値補正処理
（ｂ）各パッチ間のテクスチャ画像のずれ補正処理
（ｃ）各パッチ間の境界部分の濃淡スムージング補正処理
【００４１】
（ａ）各フレーム（異なる視点で撮影された複数の画像のそれぞれをフレームと呼ぶ）間の画像濃淡値補正処理は、異なる視点で撮影された複数画像間の濃淡（ＲＧＢを含む）値の補正処理である。（ｂ）各パッチ間のテクスチャ画像のずれ補正処理は、貼り合わせるパッチのパッチ間の境界の位置ずれを修正するための補正処理である。（ｃ）各パッチ間の境界部分の濃淡スムージング補正処理は、貼り合わせるパッチのパッチ間の境界に存在する濃淡（ＲＧＢを含む）値の補正処理であり、（ａ）の画像濃淡値補正処理による補正の補完的な濃淡補正処理であり、いパッチ間の境界部分の濃淡補正により、異なるパッチ間の境界部を目駄々なくするためのスムージング処理である。以下、これらの処理について順次説明する。
【００４２】
（ａ）各フレーム間の画像濃淡値補正処理
先に説明したように、３次元表示を行なうため、測定対象に対して複数の異なる撮影視点からの画像（フレーム）を取得する。その異なる視点がｎ個ある場合、ｎ枚の撮影画像（テクスチャ画像）が得られる。これらｎ枚のテクスチャ画像は、照明条件がそれぞれ異なるため、撮影された画像は、測定対象の同じ部分を撮影した場合であっても異なる濃淡（ＲＧＢを含む）値を有する場合がある。本発明では、異なる視点で撮影したテクスチャ画像を、図４で説明したようにパッチ毎に貼り合わせる処理を行なうものであるので、異なる視点で撮影したテクスチャ画像において、同一のパッチ間では同様の濃淡値を持つことが望ましい。従って、フレーム間の濃淡補正をまず行なう。
【００４３】
図５に、各フレーム間の画像濃淡値補正処理の手順を説明するフロー、図６にフローに従った補正処理の概要を説明する図を示す。図５の処理について、図６を参照しながら順次説明する。
【００４４】
まず、ステップＳ５０１では、異なる視点から撮影したｎ枚のフレーム画像から基準フレームを選定する。例えば図６の例では、ｎ枚のフレーム画像６０１から１枚の基準画像としてＫフレーム目のテクスチャ画像を選択してこれを基準画像６０２とする。
【００４５】
次にステップＳ５０２において、基準画像から３次元画像を生成する対象を選択し、基準画像中の注目対象を三角パッチ面に分割し、ｍ枚のパッチ面を決定する。図６では、基準画像６０２から３次元画像を生成する対象として３つのビルが選択され、ここに複数のパッチ面６０３を設定する。
【００４６】
次にステップＳ５０３で設定したｍ個のパッチ面を順次１〜ｍまで選択して、ステップＳ５０４〜Ｓ５０６までの処理を繰り返し実行する。ステップＳ５０４〜Ｓ５０６では、基準フレームＫ上の画像から１つの三画パッチを選択し、その画像領域を設定する（Ｓ５０４）。次に、基準フレームＫ上で選択された三画パッチに対応する画像領域について、ｎ枚の画像についての画像濃度の平均値、画像濃度分散値を算出する（Ｓ５０５）。さらに、ステップＳ５０５で求めた画像濃度の平均値、画像濃度分散値を用いてn枚のフレーム画像の対応する画像領域の濃淡値正規化処理を行なう（Ｓ５０６）。図６を用いて説明すると、基準フレームＫ上のパッチ面の対応画像領域６０４に対応するｎ枚の画像領域を抽出して、濃度の平均値、画像濃度分散値を算出し、その値に基づいて、各フレームの画像濃淡値の正規化処理を実行する。これらの処理をすべてのパッチ面１〜ｍについて実行する。ステップＳ５０７ですべてのパッチ面１〜ｍについての正規化処理が終了したことを判定して処理を終了する。
【００４７】
図５に示す処理は、基準フレーム画像からパッチ面に対応する画像を選択して、パッチ面単位に正規化処理を実行する例であるが、フレーム画像間の濃淡値正規化処理においては、三角パッチを設定せずにフレーム画像から所定の領域を選択して、その選択領域について画像濃度平均値、画像濃度分散値を算出し、その値に基づいて、他のフレームの対応画像の濃淡値の正規化処理を行なってもよい。この処理フローを図７に示す。
【００４８】
図７のステップＳ７０１は、図５のステップＳ５０１と同様、ｎ枚の基準画像から、１枚の基準画像フレームを選択する処理である。ステップＳ７０２は、基準画像フレーム中に領域を設定し、他のフレームについても同じ対象の領域を設定する。例えば図６の例では、基準フレーム画像６０２から、３つのビルを示す領域全体を対象領域として選択できる。
【００４９】
次に、ステップＳ７０３において、対象領域における画像濃度平均値、画像濃度分散値を算出する。次に、ステップＳ７０４において、ステップＳ７０３で求めた対象領域における画像濃度平均値、画像濃度分散値の値に基づいて、ｎ枚のフレームの対応領域について濃淡値の正規化処理を行なう。これらの処理により、各フレーム間の画像濃淡値補正処理が実行される。
【００５０】
（ｂ）各パッチ間のテクスチャ画像のずれ補正処理
次に、各パッチ間のテクスチャ画像のずれ補正処理について説明する。図８にパッチ間のテクスチャ位置ずれについて説明する図を示す。前述したように、本発明のテクスチャ画像貼り付けは、異なる視点画像をそれぞれ貼り合わせる手法である。従って、隣接する三角パッチは異なる視点からの画像が組み合わされる場合が多くなる。このような場合に、図８に示すようなパッチ相互間の位置ずれの問題が発生する。
【００５１】
図８には、復元された３次元形状に貼りつけられる三角パッチ構成ブロック８０１、貼り付けるテクスチャ画像８０２，８０３が示されている。テクスチャ画像８０２は、そのパッチ面の法線ベクトルにもっとも近い撮影視点方向を持つテクスチャ画像Ａ，８０４から選択された画像である。一方、テクスチャ画像８０３は、そのパッチ面の法線ベクトルにもっとも近い撮影視点方向を持つテクスチャ画像Ｂ，８０５から選択された画像である。
【００５２】
このように異なる画像８０４，８０５からそれぞれ三角パッチに対応する領域画像を選択して貼り合わせると、図８のテクスチャマッピング画像８０６に示すように、本来、整合すべき画像にずれが発生することがある。これは、三角パッチを構成する各点の位置ずれ（特徴点追跡ずれ）があることに起因する。このような三角パッチの境界部での画像のずれ（テクスチャずれ）の補正処理について以下、説明する。
【００５３】
まず、補正処理の前ステップとして、貼り合わせる三角パッチ間にテクスチャずれが存在するか否かを判定する必要がある。このずれの有無検出処理フローを図９に示す。図９の各ステップについて説明する。
【００５４】
まず、ステップＳ９０１では、隣接するパッチ面相互の境界における画像濃淡値の連続性を調べるために、異なる視点からのテクスチャ画像を貼りつけた複数のパッチ面を展開したパッチ面展開図を生成する。ステップＳ９０２では、２つの隣接パッチ面の共有画素数を検出し、これをＹとする。これらの画素について以下、ステップＳ９０３で画素ｊ＝１〜ｙまでインクリメントしてステップＳ９０４の処理を行なう。ステップＳ９０４では、パッチ面の隣接画素の濃淡値の差：Ｄｉｍ［ｋ］を隣接パッチの隣接画素毎に求めている。
【００５５】
ステップＳ９０５ですべての隣接画素の濃淡差分値の検出が終了したことを判定し、ステップＳ９０６で、各隣接画素の差分の最大値：ｍａｘ｛Ｄｉｍ［ｋ］：ｋ＝１．．．Ｙ｝を算出するとともに、すべての隣接画素の差分値の総和：Σ｛Ｄｉｍ［ｋ］：ｋ＝１．．．Ｙ｝を算出する。
【００５６】
次に、ステップＳ９０７において、各隣接画素の差分の最大値：ｍａｘ｛Ｄｉｍ［ｋ］：ｋ１．．．Ｙ｝と予め定めた閾値を比較する。閾値は小さく設定すれば、より精度の高い画像が得られるが、一方、パッチ間の補正処理を多数実行することが必要となるので、求める画像の要求度にしたがって設定することが望ましい。閾値より各隣接画素の差分の最大値：ｍａｘ｛Ｄｉｍ［ｋ］：ｋ１．．．Ｙ｝が大であるときは、ステップＳ９０８においてテクスチャ画像のずれがあると判定され、ステップＳ９０９において、テクスチャ画像補正ステップに進む。一方、閾値より各隣接画素の差分の最大値：ｍａｘ｛Ｄｉｍ［ｋ］：ｋ１．．．Ｙ｝が大でないときは、隣接パッチ間でのテクスチャ画像ずれはないと判定し、ずれの検出処理は終了する。
【００５７】
次に、図１０を用いて隣接パッチ間のテクスチャ画像のずれの修正処理について説明する。図１０では、図９のテクスチャずれの判定処理においてずれありの判定の場合は、ステップＳ１００１からスタートし、ずれなしの判定があった場合は、ステップＳ１００８からスタートする。ずれありの判定の場合、ステップＳ１００１からステップＳ１００２に進み、図９のずれ判定処理で求めた隣接パッチ間の画素毎の差分Ｄｉｍ［ｋ］：ｋ＝１．．．Ｙを閾値と比較することによってテクスチャのずれの発生部分を抽出する。この処理により、図１０（ａ）に示すように、パッチ間の境界におけるずれの検出が行われる。ステップｓ１００３では、ステップｓ１００２において検出されたずれの発生部に基づいて三角パッチを再分割する。再分割処理は、図１０（Ｂ）に示すように、ずれの生じた部分を他の部分から分離する処理として実行される。
【００５８】
次に、ステップＳ１００４では、分割処理したパッチの頂点点位置合わせを行ない、再度テクスチャマッピングを行なう。この位置合わせは、検出されたずれの位置を修正する処理として実行され、その結果、図１０（ｃ）に示すように隣接パッチのテクスチャずれは解消される。
【００５９】
次に、ステップＳ１００５において、前述の図９のずれ判定処理で求めた隣接パッチ間の隣接画素の差分値の総和：Σ｛Ｄｉｍ［ｋ］：ｋ＝１．．．Ｙ｝と閾値を比較する。なお、この比較処理は、図１０に示されるように、テクスチャずれなしの判定がなされた場合であっても実行される。この処理は、隣接パッチ間で全体的な濃淡の差が生じているか否かを判定するものである。ステップＳ１００５の判定において、Σ｛Ｄｉｍ［ｋ］：ｋ＝１．．．Ｙ｝＞閾値である場合は、ステップＳ１００６に進み、パッチ面間の境界部分の画像に対して濃淡値スムージング処理を実行する。濃淡値スムージング処理については後段で説明する。Σ｛Ｄｉｍ［ｋ］：ｋ＝１．．．Ｙ｝＞閾値でない場合は、ステップＳ１００７に進みテクスチャ修正処理を終了する。
【００６０】
各パッチ間のテクスチャ画像のずれ補正処理については、図１０の処理フローで説明した手法の他、図１１および図１２のフローに示す処理を適用してもよい。図１１および図１２の処理について説明する。図１１は、２つの隣接パッチ間におけるずれ補正処理であり、図１２は、図１１の処理を複数のパッチ面全体について順次実行する処理を示したものである。まず、図１１の処理について説明する。
【００６１】
ステップＳ１１０１では、複数のパッチを貼りつけた画像における複数の隣接パッチ間の濃淡誤差が最大となる境界線ｉを検出し、その境界線ｉを共有する隣接パッチに貼りつけられた画像Ｉ（ｎ）とＩ（ｍ）の端点の座標をそれぞれ、Ｐｎ，ｉ（ｘ１，ｙ１），Ｐｎ，ｉ（ｘ２，ｙ２）、Ｐｍ，ｉ（ｘ１，ｙ１），Ｐｍ，ｉ（ｘ２，ｙ２）とする。図１１の右上部に示すように各パッチの座標が求められる。
【００６２】
次に、ステップＳ１１０２において、一方のパッチ上のテクスチャ画像（例えばＩ（ｎ））の端点位置を固定して、他方の画像の両端位置Ｐｍ，ｉ（ｘ１，ｙ１），Ｐｍ，ｉ（ｘ２，ｙ２）を動かしながら、両パッチに貼りつけたテクスチャ画像の境界線上の濃淡分布Ｉ（ｎ，ｉ）とＩ（ｍ，ｉ）を求め、次式によって、それらの誤差値を計算して保存する。
【００６３】
【数２】
【００６４】
次に、ステップＳ１１０３において、誤差値が最小となる画像Ｉ（ｍ）上の端点位置を選択して、その位置に基づいてテクスチャマッピングを実行する。ステップＳ１１０２の処理は、図１１の右下に示すように、両画像Ｉ（ｎ）とＩ（ｍ）との境界部分の濃淡分布Ｉ（ｎ，ｉ）とＩ（ｍ，ｉ）とを比較してこれらの差異を最も少なくする画像Ｉ（ｍ）の端点Ｐｍ，ｉ（ｘ１，ｙ１），Ｐｍ，ｉ（ｘ２，ｙ２）を求める処理である。このような処理によって、隣接パッチ間の位置ずれの修正が可能になる。
【００６５】
図１２は、図１１の処理を３次元モデル全体のパッチ面に順次適用して補正を行なう処理を示したものである。
【００６６】
まず、ステップＳ１２０１において、各パッチ面に貼り付けるテクスチャ画像を読み込む。これらは、前述したように、それぞれのパッチ面の法線ベクトル方向にもっとも近い撮影視点からの撮影画像がそれぞれ選択される。
【００６７】
ステップＳ１２０２では、各隣接パッチ面間の境界線上の濃淡値誤差Ｅｉが求められる。濃淡値誤差Ｅｉは、前述の式［数２］によって求める。さらに、ステップＳ１２０３において、複数の隣接パッチ間の濃淡値誤差Ｅｉを大きい順でソートして、誤差が最大の境界線を選択する。次に、ステップＳ１２０４において、最大誤差であるＭａｘ｛Ｅｉ｝の絶対値と、予め定めた閾値とを比較する。
【００６８】
閾値以下であれば、修正必要なずれではないと判定し、処理を終了する。閾値以上であれば、ステップＳ１２０５に進み、前述の図１１の処理によるテクスチャ画像の端点性処理によるずれの修正を実行する。その後、ステップＳ１２０６に進み、修正後の各パッチの濃淡誤差を前述の［数２］にしたがって計算し、ステップＳ１２０３に戻り、以下のステップを繰り返す。ステップＳ１２０４の判定において最大誤差が閾値以下になった時点で処理を終了する。以上の処理により、３次元画像に適用したパッチ間のずれが解消する。
【００６９】
（ｃ）各パッチ間の境界部分の濃淡スムージング補正処理
次に、各パッチ間の境界部分の濃淡スムージング補正処理について説明する。各パッチに貼りつけられる画像は、異なる視点から撮影された画像であり、それぞれの照明条件がことなるため、同じ部位の撮影であっても濃淡（ＲＧＢ等の値も含む）値が異なる場合がある。全体的な濃淡補正は、先の（ａ）各フレーム間の画像濃淡値補正処理によってある程度のレベルで実行されるが、実際に貼り付けるテクスチャ画像が決定し、貼りつけが終了して、さらに前述の（ｂ）各パッチ間のテクスチャ画像のずれ補正処理が終了した時点で、画像を観察すると、隣接パッチ間の境界部において濃淡差が目立つ場合がある。この濃淡差を解消する処理が濃淡スムージング補正処理である。図１２以下を用いて濃淡スムージング補正処理について説明する。
【００７０】
図１３は、濃淡スムージング補正処理の一態様を説明するフローである。まず、ステップＳ１３０１において、複数の異なる視点から撮影したテクスチャ画像を貼りつけた３次元モデル上の三角パッチの数を求める。例えば三角パッチの数＝ｎとする。これらのｎ個のパッチの各々について、以下、ステップＳ１３０２〜Ｓ１３０５を実行する。
【００７１】
ステップＳ１３０２では、パッチを１つづつインクリメントする。まず選択されたパッチｐ＝ｘについてステップＳ１３０３において、パッチ面ｐに法線ベクトルにもっとも正対する撮影視点の画像Ｉｍ＿ｋ（ｋ＝１．．．ｎ）を選択する。次にステップＳ１３０４において、パッチ面の展開図（図１３の右中段の図参照）Ｍ（ｐ）を作成して、選択した画像Ｉｍ＿ｋからパッチ面ｐに対応する領域のテクスチャでマッピングを行なう。さらに、その他のパッチ面に対して選択画像Ｉｍ＿ｋの濃淡値をα（０〜１）で重み付けてマッピングを行なう。このα（０〜１）による重み付けは、例えば撮影視点と各パッチの法線ベクトルとの差が小さいものは１に近く、撮影視点と各パッチの法線ベクトルとの差が大きいものは０に近くする設定とする。これらの処理をすべてのパッチ面について実行するとパッチ面に対する貼りつけ画像として使用したテクスチャ画像数ｍ（ｍ≦ｎ）に応じたｍ個の展開図が得られる。
【００７２】
ステップＳ１３０６では、ｍ個の展開図の重ね合わせ処理を実行する。この重ね合わせ処理は、以下の式に基づいて実行される。
【００７３】
【数３】
【００７４】
これらの処理により、ｍ個のテクスチャ画像展開図の濃淡を重み付け処理によって平滑化、すなわちスムージング処理したテクスチャ画像展開図が得られ（ステップＳ１３０７）、このスムージング処理によって設定された濃淡値を持つテクスチャ画像を用いてマッピングを行なう（Ｓ１３０８）。
【００７５】
図１４にスムージング処理の例を示して説明する。図１４には、図１４左端に示すように、３つのパッチ面の法線方向にもっとも近い撮影画像がそれぞれ選択され、３つの展開図が得られる、それぞれの展開図は、前述の重みづけがなされてテクスチャが貼りつけられる。これら３枚のテクスチャマッピング画像を上述の式に基づいて重ね合わせ合わせ処理を実行することにより、１枚のスムージング処理のなされた展開図が得られる。
【００７６】
以上の（ａ）各フレーム間の画像濃淡値補正処理、（ｂ）各パッチ間のテクスチャ画像のずれ補正処理、（ｃ）各パッチ間の境界部分の濃淡スムージング補正処理を適用して、各パッチ面に、法線ベクトルにもっとも近い撮影視点方向を持つテクスチャ画像を貼りつけて実行するテクスチャマッピング処理の全体処理フローを示す。図１５のフローに従って処理を説明する。
【００７７】
ステップＳ１５０１では、３次元表示対象の異なる角度からの撮影フレーム（ｊ）総数をｃｎｔ＿ｆ、３次元表示対象のパッチ面（ｉ）数をｃｎｔ＿ｓとする。ステップＳ１５０２では、パッチ面（ｉ）を順次インクリメントする。ステップＳ１５０３では、パッチ面Ｐｉについて、パッチ面Ｐｉの法線ベクトルｎｉを求める。ステップＳ１５０４では、フレーム（ｊ）を順次インクリメントする。Ｓ１５０５では、パッチ面Ｐｉの法線ベクトルｎｉと、カメラ姿勢ベクトルＶｉを比較し、ステップＳ１５０６で、パッチ面Ｐｉの法線ベクトルｎｉに最も近いカメラ姿勢ベクトルＶｉの撮影イメージ（ｉｍａｇｅ−ｉ）を選択する。
【００７８】
ステップＳ１５０４〜１５０７間をフレーム（ｊ）を順次インクリメントして実行して、上記のフレームイメージ選択処理を実行する。ステップＳ１５０８では、選択されたイメージ（ｉｍａｇｅ−ｉ）をパッチｐｉに貼りつけ（バインド）処理を実行しする。ステップＳ１５０２〜１５０９間をパッチ面（ｉ）を順次インクリメントして実行して、すべてのパッチに対して貼り付けるイメージ貼り付けを実行する。その後、ステップＳ１５１０において、（ａ）各フレーム間の画像濃淡値補正処理、（ｂ）各パッチ間のテクスチャ画像のずれ補正処理、（ｃ）各パッチ間の境界部分の濃淡スムージング補正処理等の各種補正処理を実行し、補正後の画像をステップＳ１１５１１で表示する。
【００７９】
このように解像度が最も高い画像を全てのパッチ面に対して選択し、最後に一枚のテクスチャ画像を作成する。また、パッチ面の間の濃淡差、及びパッチ面の境界部分の濃淡不連続性を補正するために、濃淡値正規化と基準画像濃淡値内挿処理による補正処理、ピッチ面の展開画像を用いるスムージング処理を用いることにより、視覚的に良好な３次元表示が可能となる。
【００８０】
図１６は、提案したテクスチャマッピングの処理実施例を示した。実験では、図１６(a)に示されたように、異なる視点で撮影した１６枚の画像を用いた。各々のパッチ面に対して、上述のような手法でパッチ面の法線ベクトルとカメラ撮影視点の角度を比較し、そのパッチに対して最も高解像度の画像を選択し、最後に濃淡値の補正処理とスムージング処理をした一枚の画像を用いてテクスチャマッピングを行った。図１６(b)は、三つの仮想視点から見た三次元表示結果を示した。いずれの視点においても、高画質のテクスチャ画像がマッピングされていることが確認できた。
【００８１】
図１７は、提案するテクスチャマッピング手法と今までの手法との比較検討を行った結果を示した。図１７(a)は、一枚の画像（図１６(a)のFrame 1）を用いて、３次元形状モデルにマッピングし、その結果をある仮想視点から見た時の表示結果を示した。視点を変えてもテクスチャが変らないので、テクスチャの不自然さがあり、特に窓部分のテクスチャ画質の低下が目立つ。また、図１７(b)は、図１６(a)の１６枚の画像を用いて、仮想視点に最も近い撮影視点の画像を選択するマッピング法によって、ある視点で見た時の表示結果を示した。視点が変わることに従って、テクスチャが不連続的に変更され、撮影時の照明の違いによる画像間濃淡値の不連続性が目立ち、特に窓部分のテクスチャ画質の低下が目立つ。
【００８２】
それらの結果と比べて、本手法によって、より高画質なテクスチャマッピングが可能となった。図１７(c)は、パッチ面毎に最も高解像度の画像を用いるテクスチャマッピング手法によって、ある視点から見た時の表示結果を示した。そこで、視点が変わっても、テクスチャ画像の不連続が目立たなく、窓部分も高画質な表現ができる。また、テクスチャマッピングをＶＲＭＬで実現した場合においても、高速表示が可能である。
【００８３】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【００８４】
【発明の効果】
以上、説明してきたように、本発明の三次元画像生成装置および三次元画像生成方法によればパッチ面毎に最も解像度の高い画像を用いるテクスチャ画像作成を実行し、光源条件の不一致による画像間（パッチ面の間）濃淡値の差の補正処理として、濃淡補正法及びスムージング法を適用したので、高画質なテクスチャマッピングが可能となった。
【００８５】
また、本発明の三次元画像生成装置および三次元画像生成方法によれば、各パッチ面におけるＲＧＢの値（濃淡値）の違いは、パッチ面毎の濃淡値正規化処理と基準画像を用いる内挿処理によって補正し、一枚のテクスチャ画像を作成することが可能となった。また、パッチ面の展開図を用いる画像の重ね合わせ処理によるスムージング法を用いて、作成された一枚のテクスチャ画像における各パッチ面の間の繋ぎ目（境界領域）を平滑化することが可能となった。
【図面の簡単な説明】
【図１】一般的なテクスチャマッピングの手法について説明する図である。
【図２】従来の１枚の画像を用いたテクスチャマッピング手法を説明する図である。
【図３】従来の複数枚画像を用いたテクスチャ画像選択によるマッピング手法を説明する図である。
【図４】本発明の三次元画像生成装置において適用する複数の画像を用いたテクスチャマッピング手法を説明する図である。
【図５】本発明の三次元画像生成装置におけるフレーム間の画像濃淡値補正処理を説明するフロー図である。
【図６】本発明の三次元画像生成装置におけるフレーム間の画像濃淡値補正処理を説明する図である。
【図７】本発明の三次元画像生成装置におけるフレーム間の画像濃淡値補正処理の第２の処理例を説明するフロー図である。
【図８】本発明の三次元画像生成装置におけるパッチ間の画像ずれを説明するフロー図である。
【図９】本発明の三次元画像生成装置におけるパッチ間のテクスチャ画像ずれの有無判定処理を説明するフロー図である。
【図１０】本発明の三次元画像生成装置におけるパッチ間のテクスチャ画像ずれの補正処理（例１）を説明するフロー図である。
【図１１】本発明の三次元画像生成装置におけるパッチ間のテクスチャ画像ずれの補正処理（例２）を説明するフロー図である。
【図１２】本発明の三次元画像生成装置におけるパッチ間のテクスチャ画像ずれの三次元画像全の補正処理を説明するフロー図である。
【図１３】本発明の三次元画像生成装置におけるパッチ間のテクスチャ画像のスムージング処理を説明するフロー図である。
【図１４】本発明の三次元画像生成装置におけるパッチ間のテクスチャ画像のスムージング処理を説明する図である。
【図１５】本発明の三次元画像生成装置における三次元画像生成処理を説明するフロー図である。
【図１６】三次元画像生成装置においてパッチ面ごとの画像選択によるテクスチャマッピング処理を説明するフロー図である。
【図１７】異なる手法によるテクスチャマッピングの処理結果を比較した図である。
【符号の説明】
１０１ 三次元形状モデル
１０２ 二次元画像（テクスチャ）
２０１ 三次元形状モデル
２０２ 二次元画像（テクスチャ）
３０１ 測定対象
４０１ 測定対象
４０２ パッチ面
４０３ テクスチャ画像
６０１ フレーム画像
６０２ 基準フレーム
６０３ パッチ面
６０４ パッチ面の対応画像領域
８０１ 三角パッチ構成ブロック
８０２，８０３ テクスチャ画像
８０４ テクスチャ画像Ａ
８０５ テクスチャ画像Ｂ
８０６ テクスチャマッピング画像
【発明の属する技術分野】
本発明は、三次元形状モデルに対するテクスチャ画像の貼り込み技術に関する三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体に関する。さらに詳細には、仮想視点のテクスチャ画像の貼り付け処理を改良することにより、不自然さの少ないリアルな三次元画像を生成することを可能とした三次元画像生成装置および三次元画像生成方法に関する。
【０００２】
【従来の技術】
物体の三次元形状は、例えば、測定対象に光を投射して、その光が反射して帰ってくるまでの時間を測定したり、測定対象にスリット状のパターン光をあてて測定対象に投影されたパターン光の形状を調べたり、あるいは、２台以上のカメラを使って、その画像間の対応点を見つけることで視差を求め、距離を計測するステレオ画像法等がよく知られている。
【０００３】
このような様々な手法で測定された測定対象の距離データとしての三次元モデルに、測定対象の実際の色彩を反映した画像を貼り付けることで、リアルな３次元画像が生成される。測定対象の実画像をテクスチャ画像と呼び、テクスチャ画像を３次元形状に貼り付けることをテクスチャマッピングと呼ぶ。
【０００４】
一般に三次元モデルの表面に貼り付ける画像は、２次元のビットマップ画像やイメージファイル画像である。３Ｄグラフィックス技術において作成した３Ｄ形状モデルや３Ｄ形状計測装置で得られた物体の三次元形状の表面に２次元のビットマップ画像やイメージファイル画像からなるテクスチャ画像を貼り合わせることにより、物体の三次元表示がなされる。例えば、レンガなどの画像を貼ることにより自然な三次元の壁が表現できたり、球体に世界地図の絵を貼り付けることにより、立体的な地球が表現されるようになる。
【０００５】
図１は、一般的なテクスチャマッピングの手法を説明する図である。図１に示す三次元形状モデル１０１は、例えば上述のステレオ画像法等によって取得された距離データに基づく三次元形状モデル１０１であり、二次元画像（テクスチャ）１０２は、ある視点から撮影した視覚的な色データ等を反映した実画像としての二次元画像（テクスチャ）１０２である。テクスチャマッピングは、三次元形状モデル１０１に、二次元画像（テクスチャ）１０２を貼り付けて行われ、このテクスチャマッピングにより、リアルな三次元表現が可能となる。なお、図に示すワイヤフレーム表示は、三次元形状モデル１０１から得られるテクスチャを貼り付ける平面領域を示すものである。
【０００６】
これまで、ステレオ画像法や、レーザ光の投光などを併用した３Ｄ計測装置で得られた物体の３Ｄ形状にテクスチャ画像を貼り合わせる技術について様々な検討がなされている。複数の視点からのテクスチャ画像を測定対象のそれぞれの領域に貼り付ける場合、複数のテクスチャ画像が異なる光源状況で撮影されていると、個々のテクスチャ画像の撮影時の光源状況の差により、画像間の色調に差が生じテクスチャ画像の貼り付け処理のみでは生成された画像に不自然な色合いが生じることがある。このような状況を解消するために、テクスチャ画像の撮影時の光源状況を推定し、その推定に基づいて画像間の色調の差異を補正することにより高画質なテクスチャマッピングを行なう手法が開発されている（例えば、佐藤いまり、佐藤洋一、池内克史：全方位ステレオによる実光源環境の計測とそれに基づく仮想物体の実画像への重ね込み、電子情報通信学会論文誌 Ｄ−ＩＩ、Ｖｏｌ．Ｊ８１−Ｄ−ＩＩ，Ｎｏ．５，ｐｐ８６１−８７１，１９９８）。
【０００７】
【発明が解決しようとする課題】
しかしながら、一般にデジタルカメラやＤＶカム等を用いて野外の風景や建物などを撮影する場合、照明光の光源推定は容易ではなく、撮影した複数の画像（テクスチャ画像）を用いて高画質のテクスチャマッピングを実行することは困難である。複数の画像を用いることによる不自然さを避けるため、例えば図２に示すように１枚のテクスチャ画像のみを用いてテクスチャマッピングを行なう方法もある。図２は、三次元形状モデル２０１のワイヤフレームに１枚の二次元画像（テクスチャ画像）２０２の対応領域の画像を貼りつけることにより、テクスチャマッピングを実行する構成を示している。
【０００８】
しかし、このような１枚の画像を用いる手法では、視点の変更により、テクスチャの画質が低下するという問題が発生する。例えば図２に示すカップの正面２０３の画像と端部２０４の画像をともに１枚の二次元画像（テクスチャ）２０２から取得すると、カップの正面の画質と端部の画質に差が発生し、画質の低下が発生する。
【０００９】
このような画質低下を解消する手法として、仮想視点に最も近い撮影視点のテクスチャ画像を選択して三次元形状モデルに貼り付ける手法がある。この手法を図３を用いて説明する。図３において、測定対象３０１のテクスチャ画像の撮影を複数の視点（撮影視点１〜ｎ）によって撮り込み、仮想視点が設定されると、その仮想視点に最も近い撮影視点を選択してそのテクスチャ画像を測定対象３０１の三次元形状モデルに貼り付ける。図３に示す例では、例えば仮想視点のＲＧＢ値を撮影視点１あるいは撮影視点２のいずれかとするが、撮影視点１と仮想視点間の角度をθ１とし、撮影視点２と仮想視点間の角度をθ２として、θ１＜θ２であれば撮影視点１のＲＧＢ値を選択し、θ１＞θ２であれば撮影視点２のＲＧＢ値を選択する。このような方法によれば、画質の向上が図られる。しかし、この手法においては、画像間の濃淡連続性の保持が困難となり、視点の変化による画像の不自然さが発生する。
【００１０】
１つの面に対して複数枚のテクスチャ画像の利用が可能である場合、視点の移動に伴うテクスチャ画像の選択合成処理により、リアルな三次元物体を表現するＶＤＴＭ（Ｖｉｅｗ−ｄｅｐｅｎｄｅｎｔ ｔｅｘｔｕｒｅ ｍａｐｐｉｎｇ）という手法が開発されている（Paul E.Debevec,Camillo J.Taylor and Jitendra Malik:"Modeling and Rendering Architecture from Photographs:A hybrid geometry-and image-based approach,"ACM SHINNRAPH '96 Proceedings, pp.11-20,1996.）。この手法は、１枚のテクスチャ画像を用いてテクスチャマッピングを行なう従来のＣＧ手法とは異なり、三次元形状として再現できていない部分の視点移動による見え方の変化を再現可能である。しかし、この手法では、画質を高めるために保持する画像データの量が膨大になるという問題があり、また、複数のテクスチャ画像の光源条件が一定でなければならないという制限がある。
【００１１】
画像データ量を削減するために、視点が変化する毎に見えている部分のテクスチャデータだけを伝送してマッピングする手法（S. Horbelt, F.Jordan T.Ebrahimi:"View-Dependent Texture Coding for Transmission of Virtual Environment."Proceedings of the 1998 IEEE International Symposium on Circuits and Systems. Vol.5, No.6,pp.498-501,1998.）が開発されている。しかし、この手法ではユーザ側で視点変更が行なわれる度にデータの伝送が実行されることになるので、データアクセスの効率が悪いという欠点がある。
【００１２】
また、三次元形状の再構成時に撮られた画像間の対応を用いて画像間の内挿を行なう（Shenchang Eric Chen, Lance Williams: "View Interpolation for Image Synthesis,"ACM SHIGGRAPH '93 Proceedings.pp..279-288,1993.、ＳSteven M. Seitz and Charles R. Dyer: "View Morphing,"ACM SHIGGRAPH '96 Proceedings, pp.21-30,1996.）方法により、画像データ量を少なくする方法も提案されている。しかし、この手法では、撮影時の画像の撮り込み方により、画質の劣化や不自然さの問題がある。
【００１３】
一方、テクスチャ画像の撮影時の光源状況を推定する方法（佐藤いまり，佐藤洋一，池内克史：”実物体のソフトシャドウにもとづく実照明環境の推定，：情報処理学会研究報告，９８−ＣＶＩＭ−１１０，１９９８）により、画像間の色調の違いを補正する方法が検討されているが、補正処理のために画像中にある決まった物体が移っていなければならないという制限があり、この手法では、例えば野外で撮影した画像の光源推定を行なうことはできない。
【００１４】
本発明の三次元画像生成装置および三次元画像生成方法は、上述の各種従来技術の欠点に鑑みてなされたものであり、保持する画像データ量を減らすと同時に、テクスチャの画質向上も可能とする高画質のテクスチャマッピング手法を提供することを目的とする。より具体的には、光源モデルを作ることなく、イメージベースの画像濃淡値補正及びスムージング手法を適用するものであり、各パッチ面に最も分解能の高い画像を用いるテクスチャ画像を作成し、作成された最も高解像度の一枚の画像に対して、濃淡値補正とスムージング処理によって、光源条件の不一致による画像間の色調の違いを目立たなくし、より高画質な三次元表現を可能する三次元画像生成装置および三次元画像生成方法を提供することを目的とする。
【００１５】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、
三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する三次元画像生成装置において、
測定対象を撮影した複数のカメラ撮影視点画像から、三次元画像を構成するパッチ面毎に最も解像度の高い画像を選択して、選択画像を各パッチ面に適用するテクスチャ画像としてテクスチャマッピングを実行する構成と、
各パッチ間の境界部分の濃淡スムージング補正処理を実行する構成を有し、
該スムージング処理は、
パッチ面の法線ベクトルと複数の撮影視点方向ベクトルとを各々比較し、パッチ面に対して最も正対している撮影視点方向からの撮影画像を複数のカメラ撮影視点テクスチャ画像から選択して、パッチ面の展開図の対応する領域に貼りつけるとともに、他のパッチ面に対しては該パッチ面の法線ベクトルと撮影視点方向ベクトルの差に応じて濃淡の重み付けを行って前記展開図の対応する領域に貼りつけてテクスチャ展開図の生成を行い、該テクスチャ展開図の生成を各パッチ面について実行して、各パッチ面に適用する複数のテクスチャ画像分生成されたテクスチャ展開図を重ね合わせて各パッチの濃淡値平滑化を実行することを特徴とする三次元画像生成装置にある。
【００１７】
さらに、本発明の三次元画像生成装置の一実施態様において、三次元画像生成装置は、複数のカメラ撮影視点画像の濃淡値補正処理を実行する構成を有し、該濃淡値補正処理は、複数のカメラ撮影視点画像のパッチ単位あるいは設定領域単位の濃淡平均値と分散値を算出して、正規化処理を実行することによって行なう構成であることを特徴とする。
【００１８】
さらに、本発明の三次元画像生成装置の一実施態様において、三次元画像生成装置は、さらに、各パッチ間のテクスチャ画像のずれ補正処理を実行する構成を有し、該ずれ補正処理は、隣接パッチ間の境界部における各パッチの濃淡値の差分を算出してずれ検出を行ない、検出されたずれに基づいてパッチの再分割処理、再マッピングを実行することによって行なう構成であることを特徴とする。
【００１９】
さらに、本発明の三次元画像生成装置の一実施態様において、三次元画像生成装置は、各パッチ間のテクスチャ画像のずれ補正処理を実行する構成を有し、該ずれ補正処理は、隣接パッチ間の境界部における各パッチの濃淡値の分布を算出し、該濃淡分布の画素毎の差分総和値を最小化するにように、隣接パッチのいずれかの端点座標を移動することによって実行する構成であることを特徴とする。
【００２０】
さらに、本発明の三次元画像生成装置の一実施態様において、三次元画像生成装置は、各パッチ間のテクスチャ画像のずれ補正処理を実行する構成を有し、三次元画像を構成する複数パッチの隣接パッチ境界部における濃淡値誤差をそれぞれ算出し、算出した複数の濃淡値誤差中最大のものについて予め定めた閾値より誤差が大であることを条件としてずれ補正処理を実行し、三次元画像を構成する複数パッチの隣接パッチ境界部における濃淡値誤差のすべてが、該閾値を超えないことを条件としてずれ補正処理を終了する構成としたことを特徴とする。
【００２２】
さらに、本発明の第２の側面は、
三次元画像生成装置で三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する三次元画像生成方法において、
前記三次元画像生成装置は、
三次元画像を構成するパッチ面に対してテクスチャマッピングを実行する構成と、
各パッチ間の境界部分の濃淡スムージング補正処理を実行する構成を有し、
前記テクスチャマッピングは、測定対象を撮影した複数のカメラ撮影視点画像から、三次元画像を構成するパッチ面毎に最も解像度の高い画像を選択して、選択画像を各パッチ面に適用するテクスチャ画像としてテクスチャマッピングを実行するステップを有し、
前記濃淡スムージング補正処理は、パッチ面の法線ベクトルと複数の撮影視点方向ベクトルとを各々比較し、パッチ面に対して最も正対している撮影視点方向からの撮影画像を複数のカメラ撮影視点テクスチャ画像から選択して、パッチ面の展開図の対応する領域に貼りつけるとともに、他のパッチ面に対しては該パッチ面の法線ベクトルと撮影視点方向ベクトルの差に応じて濃淡の重み付けを行って前記展開図の対応する領域に貼りつけてテクスチャ展開図の生成を行い、該テクスチャ展開図の生成を各パッチ面について実行して、各パッチ面に適用する複数のテクスチャ画像分生成されたテクスチャ展開図を重ね合わせて各パッチの濃淡値平滑化を実行するステップを有することを特徴とする三次元画像生成方法にある。
【００２４】
さらに、本発明の三次元画像生成方法の一実施態様において、前記三次元画像生成方法は、さらに、複数のカメラ撮影視点画像の濃淡値補正処理を実行し、該濃淡値補正処理は、複数のカメラ撮影視点画像のパッチ単位あるいは設定領域単位の濃淡平均値と分散値を算出して、正規化処理を実行することによって行なうことを特徴とする。
【００２５】
さらに、本発明の三次元画像生成方法の一実施態様において、前記三次元画像生成方法は、さらに、各パッチ間のテクスチャ画像のずれ補正処理を実行し、該ずれ補正処理は、隣接パッチ間の境界部における各パッチの濃淡値の差分を算出してずれ検出を行ない、検出されたずれに基づいてパッチの再分割処理、再マッピングを実行することによって行なうことを特徴とする。
【００２６】
さらに、本発明の三次元画像生成方法の一実施態様において、前記三次元画像生成方法は、さらに、各パッチ間のテクスチャ画像のずれ補正処理を実行し、該ずれ補正処理は、隣接パッチ間の境界部における各パッチの濃淡値の分布を算出し、該濃淡分布の画素毎の差分総和値を最小化するにように、隣接パッチのいずれかの端点座標を移動することによって実行することを特徴とする。
【００２７】
さらに、本発明の三次元画像生成方法の一実施態様において、前記三次元画像生成方法は、さらに、各パッチ間のテクスチャ画像のずれ補正処理を実行し、三次元画像を構成する複数パッチの隣接パッチ境界部における濃淡値誤差をそれぞれ算出し、算出した複数の濃淡値誤差中最大のものについて予め定めた閾値より誤差が大であることを条件としてずれ補正処理を実行し、三次元画像を構成する複数パッチの隣接パッチ境界部における濃淡値誤差のすべてが、該閾値を超えないことを条件としてずれ補正処理を終了することを特徴とする。
【００２９】
さらに、本発明の第３の側面は、
三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する三次元画像生成処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムをコンピュータ可読な形式で提供するプログラム記録媒体であって、前記コンピュータ・プログラムは、
前記コンピュータ・システムを、
測定対象を撮影した複数のカメラ撮影視点画像から、三次元画像を構成するパッチ面毎に最も解像度の高い画像を選択して、選択画像を各パッチ面に適用するテクスチャ画像としてテクスチャマッピングを実行する手段と、
パッチ面の法線ベクトルと複数の撮影視点方向ベクトルとを各々比較し、パッチ面に対して最も正対している撮影視点方向からの撮影画像を複数のカメラ撮影視点テクスチャ画像から選択して、パッチ面の展開図の対応する領域に貼りつけるとともに、他のパッチ面に対しては該パッチ面の法線ベクトルと撮影視点方向ベクトルの差に応じて濃淡の重み付けを行って前記展開図の対応する領域に貼りつけてテクスチャ展開図の生成を行い、該テクスチャ展開図の生成を各パッチ面について実行して、各パッチ面に適用する複数のテクスチャ画像分生成されたテクスチャ展開図を重ね合わせて各パッチの濃淡値平滑化を実行する手段として機能させることを特徴とするプログラム記録媒体にある。
【００３０】
本発明の第３の側面に係るプログラム記録媒体は、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・プログラムをコンピュータ可読な形式で提供する媒体である。記録媒体は、ＣＤやＦＤ、ＭＯなど、その形態は特に限定されない。
【００３１】
このようなプログラム記録媒体は、コンピュータ・システム上で所定のコンピュータ・プログラムの機能を実現するための、コンピュータ・プログラムと記録媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、該記録媒体を介してコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の他の側面と同様の作用効果を得ることができるのである。
【００３２】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００３３】
【発明の実施の形態】
本発明の三次元画像生成装置および三次元画像生成方法について、以下詳細に説明する。まず、図４を用いて、本発明の三次元画像生成装置において実行されるテクスチャ画像マッピングの概要を説明する。
【００３４】
本発明の三次元画像生成装置において実行されるテクスチャ画像マッピングには、視点の異なる複数枚（例えばn枚）のテクスチャ画像から、測定対象４０１のパッチ面毎にパッチ面の法線ベクトルに最も近い角度で撮影した画像をそれぞれ選択する。
【００３５】
まず図４（ａ）に示すように測定対象４０１の撮影画像から複数のパッチ面を選択する。なお、パッチ面はテクスチャ画像を貼り付ける１平面として把握可能な面である。図４（ａ）に示す測定対象には、複数のパッチ面４０２−１〜ｎ選択される。
【００３６】
次に、複数のパッチ面４０２−１〜ｎの各々に対して測定対象４０１の視点の異なる複数枚（例えばn枚）のテクスチャ画像１〜ｎからパッチ面の法線ベクトルに最も近い角度で撮影した画像をそれぞれ選択する。この選択処理の概要を図４（ｂ）に示す。図４（ｂ）は、１つのパッチ面４０２−ｘについての処理例を示している。図４（ｂ）に示すようにパッチ面４０２−ｘの法線ベクトルが設定され、複数の撮影視点ベクトルＶ１〜Ｖｎが図のように設定されているとする。このとき、これら複数の撮影視点ベクトルＶ１〜Ｖｎから、最も法線ベクトルに近い角度の撮影視点ベクトルを選択する。選択は、例えば下記のように法線ベクトルと各撮影視点ベクトルとによってなす角度θｘのｃｏｓθを下記の式によって計算して、その値を比較することによって選択することができる。
【００３７】
【数１】
このようにして、測定対象４０１のすべてのパッチ面４０２−１〜ｎについてのテクスチャ画像を選択し、図４（ｃ）に示すように、それぞれのパッチ面のテクスチャ画像４０３−１〜ｎを貼り合わせることにより、測定対象の３次元表示４０４が完成する。
【００３９】
なお、テクスチャ画像として貼り合わせるそれぞれのテクスチャ画像は、それぞれが異なる角度から撮影された画像であり、撮影条件も異なっている場合があり、隣接画像間での位置ずれ、あるいは画像間の濃淡値に差異があることがある。従って、それぞれの画像を貼り合わせる場合には、これらの補正処理が必要となる。
【００４０】
これら複数の異なる視点からの撮影テクスチャ画像を貼り合わせる処理を実行する場合の補正処理について、以下の３つの補正処理に分けて以下、説明する。
（ａ）各フレーム間の画像濃淡値補正処理
（ｂ）各パッチ間のテクスチャ画像のずれ補正処理
（ｃ）各パッチ間の境界部分の濃淡スムージング補正処理
【００４１】
（ａ）各フレーム（異なる視点で撮影された複数の画像のそれぞれをフレームと呼ぶ）間の画像濃淡値補正処理は、異なる視点で撮影された複数画像間の濃淡（ＲＧＢを含む）値の補正処理である。（ｂ）各パッチ間のテクスチャ画像のずれ補正処理は、貼り合わせるパッチのパッチ間の境界の位置ずれを修正するための補正処理である。（ｃ）各パッチ間の境界部分の濃淡スムージング補正処理は、貼り合わせるパッチのパッチ間の境界に存在する濃淡（ＲＧＢを含む）値の補正処理であり、（ａ）の画像濃淡値補正処理による補正の補完的な濃淡補正処理であり、いパッチ間の境界部分の濃淡補正により、異なるパッチ間の境界部を目駄々なくするためのスムージング処理である。以下、これらの処理について順次説明する。
【００４２】
（ａ）各フレーム間の画像濃淡値補正処理
先に説明したように、３次元表示を行なうため、測定対象に対して複数の異なる撮影視点からの画像（フレーム）を取得する。その異なる視点がｎ個ある場合、ｎ枚の撮影画像（テクスチャ画像）が得られる。これらｎ枚のテクスチャ画像は、照明条件がそれぞれ異なるため、撮影された画像は、測定対象の同じ部分を撮影した場合であっても異なる濃淡（ＲＧＢを含む）値を有する場合がある。本発明では、異なる視点で撮影したテクスチャ画像を、図４で説明したようにパッチ毎に貼り合わせる処理を行なうものであるので、異なる視点で撮影したテクスチャ画像において、同一のパッチ間では同様の濃淡値を持つことが望ましい。従って、フレーム間の濃淡補正をまず行なう。
【００４３】
図５に、各フレーム間の画像濃淡値補正処理の手順を説明するフロー、図６にフローに従った補正処理の概要を説明する図を示す。図５の処理について、図６を参照しながら順次説明する。
【００４４】
まず、ステップＳ５０１では、異なる視点から撮影したｎ枚のフレーム画像から基準フレームを選定する。例えば図６の例では、ｎ枚のフレーム画像６０１から１枚の基準画像としてＫフレーム目のテクスチャ画像を選択してこれを基準画像６０２とする。
【００４５】
次にステップＳ５０２において、基準画像から３次元画像を生成する対象を選択し、基準画像中の注目対象を三角パッチ面に分割し、ｍ枚のパッチ面を決定する。図６では、基準画像６０２から３次元画像を生成する対象として３つのビルが選択され、ここに複数のパッチ面６０３を設定する。
【００４６】
次にステップＳ５０３で設定したｍ個のパッチ面を順次１〜ｍまで選択して、ステップＳ５０４〜Ｓ５０６までの処理を繰り返し実行する。ステップＳ５０４〜Ｓ５０６では、基準フレームＫ上の画像から１つの三画パッチを選択し、その画像領域を設定する（Ｓ５０４）。次に、基準フレームＫ上で選択された三画パッチに対応する画像領域について、ｎ枚の画像についての画像濃度の平均値、画像濃度分散値を算出する（Ｓ５０５）。さらに、ステップＳ５０５で求めた画像濃度の平均値、画像濃度分散値を用いてn枚のフレーム画像の対応する画像領域の濃淡値正規化処理を行なう（Ｓ５０６）。図６を用いて説明すると、基準フレームＫ上のパッチ面の対応画像領域６０４に対応するｎ枚の画像領域を抽出して、濃度の平均値、画像濃度分散値を算出し、その値に基づいて、各フレームの画像濃淡値の正規化処理を実行する。これらの処理をすべてのパッチ面１〜ｍについて実行する。ステップＳ５０７ですべてのパッチ面１〜ｍについての正規化処理が終了したことを判定して処理を終了する。
【００４７】
図５に示す処理は、基準フレーム画像からパッチ面に対応する画像を選択して、パッチ面単位に正規化処理を実行する例であるが、フレーム画像間の濃淡値正規化処理においては、三角パッチを設定せずにフレーム画像から所定の領域を選択して、その選択領域について画像濃度平均値、画像濃度分散値を算出し、その値に基づいて、他のフレームの対応画像の濃淡値の正規化処理を行なってもよい。この処理フローを図７に示す。
【００４８】
図７のステップＳ７０１は、図５のステップＳ５０１と同様、ｎ枚の基準画像から、１枚の基準画像フレームを選択する処理である。ステップＳ７０２は、基準画像フレーム中に領域を設定し、他のフレームについても同じ対象の領域を設定する。例えば図６の例では、基準フレーム画像６０２から、３つのビルを示す領域全体を対象領域として選択できる。
【００４９】
次に、ステップＳ７０３において、対象領域における画像濃度平均値、画像濃度分散値を算出する。次に、ステップＳ７０４において、ステップＳ７０３で求めた対象領域における画像濃度平均値、画像濃度分散値の値に基づいて、ｎ枚のフレームの対応領域について濃淡値の正規化処理を行なう。これらの処理により、各フレーム間の画像濃淡値補正処理が実行される。
【００５０】
（ｂ）各パッチ間のテクスチャ画像のずれ補正処理
次に、各パッチ間のテクスチャ画像のずれ補正処理について説明する。図８にパッチ間のテクスチャ位置ずれについて説明する図を示す。前述したように、本発明のテクスチャ画像貼り付けは、異なる視点画像をそれぞれ貼り合わせる手法である。従って、隣接する三角パッチは異なる視点からの画像が組み合わされる場合が多くなる。このような場合に、図８に示すようなパッチ相互間の位置ずれの問題が発生する。
【００５１】
図８には、復元された３次元形状に貼りつけられる三角パッチ構成ブロック８０１、貼り付けるテクスチャ画像８０２，８０３が示されている。テクスチャ画像８０２は、そのパッチ面の法線ベクトルにもっとも近い撮影視点方向を持つテクスチャ画像Ａ，８０４から選択された画像である。一方、テクスチャ画像８０３は、そのパッチ面の法線ベクトルにもっとも近い撮影視点方向を持つテクスチャ画像Ｂ，８０５から選択された画像である。
【００５２】
このように異なる画像８０４，８０５からそれぞれ三角パッチに対応する領域画像を選択して貼り合わせると、図８のテクスチャマッピング画像８０６に示すように、本来、整合すべき画像にずれが発生することがある。これは、三角パッチを構成する各点の位置ずれ（特徴点追跡ずれ）があることに起因する。このような三角パッチの境界部での画像のずれ（テクスチャずれ）の補正処理について以下、説明する。
【００５３】
まず、補正処理の前ステップとして、貼り合わせる三角パッチ間にテクスチャずれが存在するか否かを判定する必要がある。このずれの有無検出処理フローを図９に示す。図９の各ステップについて説明する。
【００５４】
まず、ステップＳ９０１では、隣接するパッチ面相互の境界における画像濃淡値の連続性を調べるために、異なる視点からのテクスチャ画像を貼りつけた複数のパッチ面を展開したパッチ面展開図を生成する。ステップＳ９０２では、２つの隣接パッチ面の共有画素数を検出し、これをＹとする。これらの画素について以下、ステップＳ９０３で画素ｊ＝１〜ｙまでインクリメントしてステップＳ９０４の処理を行なう。ステップＳ９０４では、パッチ面の隣接画素の濃淡値の差：Ｄｉｍ［ｋ］を隣接パッチの隣接画素毎に求めている。
【００５５】
ステップＳ９０５ですべての隣接画素の濃淡差分値の検出が終了したことを判定し、ステップＳ９０６で、各隣接画素の差分の最大値：ｍａｘ｛Ｄｉｍ［ｋ］：ｋ＝１．．．Ｙ｝を算出するとともに、すべての隣接画素の差分値の総和：Σ｛Ｄｉｍ［ｋ］：ｋ＝１．．．Ｙ｝を算出する。
【００５６】
次に、ステップＳ９０７において、各隣接画素の差分の最大値：ｍａｘ｛Ｄｉｍ［ｋ］：ｋ１．．．Ｙ｝と予め定めた閾値を比較する。閾値は小さく設定すれば、より精度の高い画像が得られるが、一方、パッチ間の補正処理を多数実行することが必要となるので、求める画像の要求度にしたがって設定することが望ましい。閾値より各隣接画素の差分の最大値：ｍａｘ｛Ｄｉｍ［ｋ］：ｋ１．．．Ｙ｝が大であるときは、ステップＳ９０８においてテクスチャ画像のずれがあると判定され、ステップＳ９０９において、テクスチャ画像補正ステップに進む。一方、閾値より各隣接画素の差分の最大値：ｍａｘ｛Ｄｉｍ［ｋ］：ｋ１．．．Ｙ｝が大でないときは、隣接パッチ間でのテクスチャ画像ずれはないと判定し、ずれの検出処理は終了する。
【００５７】
次に、図１０を用いて隣接パッチ間のテクスチャ画像のずれの修正処理について説明する。図１０では、図９のテクスチャずれの判定処理においてずれありの判定の場合は、ステップＳ１００１からスタートし、ずれなしの判定があった場合は、ステップＳ１００８からスタートする。ずれありの判定の場合、ステップＳ１００１からステップＳ１００２に進み、図９のずれ判定処理で求めた隣接パッチ間の画素毎の差分Ｄｉｍ［ｋ］：ｋ＝１．．．Ｙを閾値と比較することによってテクスチャのずれの発生部分を抽出する。この処理により、図１０（ａ）に示すように、パッチ間の境界におけるずれの検出が行われる。ステップｓ１００３では、ステップｓ１００２において検出されたずれの発生部に基づいて三角パッチを再分割する。再分割処理は、図１０（Ｂ）に示すように、ずれの生じた部分を他の部分から分離する処理として実行される。
【００５８】
次に、ステップＳ１００４では、分割処理したパッチの頂点点位置合わせを行ない、再度テクスチャマッピングを行なう。この位置合わせは、検出されたずれの位置を修正する処理として実行され、その結果、図１０（ｃ）に示すように隣接パッチのテクスチャずれは解消される。
【００５９】
次に、ステップＳ１００５において、前述の図９のずれ判定処理で求めた隣接パッチ間の隣接画素の差分値の総和：Σ｛Ｄｉｍ［ｋ］：ｋ＝１．．．Ｙ｝と閾値を比較する。なお、この比較処理は、図１０に示されるように、テクスチャずれなしの判定がなされた場合であっても実行される。この処理は、隣接パッチ間で全体的な濃淡の差が生じているか否かを判定するものである。ステップＳ１００５の判定において、Σ｛Ｄｉｍ［ｋ］：ｋ＝１．．．Ｙ｝＞閾値である場合は、ステップＳ１００６に進み、パッチ面間の境界部分の画像に対して濃淡値スムージング処理を実行する。濃淡値スムージング処理については後段で説明する。Σ｛Ｄｉｍ［ｋ］：ｋ＝１．．．Ｙ｝＞閾値でない場合は、ステップＳ１００７に進みテクスチャ修正処理を終了する。
【００６０】
各パッチ間のテクスチャ画像のずれ補正処理については、図１０の処理フローで説明した手法の他、図１１および図１２のフローに示す処理を適用してもよい。図１１および図１２の処理について説明する。図１１は、２つの隣接パッチ間におけるずれ補正処理であり、図１２は、図１１の処理を複数のパッチ面全体について順次実行する処理を示したものである。まず、図１１の処理について説明する。
【００６１】
ステップＳ１１０１では、複数のパッチを貼りつけた画像における複数の隣接パッチ間の濃淡誤差が最大となる境界線ｉを検出し、その境界線ｉを共有する隣接パッチに貼りつけられた画像Ｉ（ｎ）とＩ（ｍ）の端点の座標をそれぞれ、Ｐｎ，ｉ（ｘ１，ｙ１），Ｐｎ，ｉ（ｘ２，ｙ２）、Ｐｍ，ｉ（ｘ１，ｙ１），Ｐｍ，ｉ（ｘ２，ｙ２）とする。図１１の右上部に示すように各パッチの座標が求められる。
【００６２】
次に、ステップＳ１１０２において、一方のパッチ上のテクスチャ画像（例えばＩ（ｎ））の端点位置を固定して、他方の画像の両端位置Ｐｍ，ｉ（ｘ１，ｙ１），Ｐｍ，ｉ（ｘ２，ｙ２）を動かしながら、両パッチに貼りつけたテクスチャ画像の境界線上の濃淡分布Ｉ（ｎ，ｉ）とＩ（ｍ，ｉ）を求め、次式によって、それらの誤差値を計算して保存する。
【００６３】
【数２】
次に、ステップＳ１１０３において、誤差値が最小となる画像Ｉ（ｍ）上の端点位置を選択して、その位置に基づいてテクスチャマッピングを実行する。ステップＳ１１０２の処理は、図１１の右下に示すように、両画像Ｉ（ｎ）とＩ（ｍ）との境界部分の濃淡分布Ｉ（ｎ，ｉ）とＩ（ｍ，ｉ）とを比較してこれらの差異を最も少なくする画像Ｉ（ｍ）の端点Ｐｍ，ｉ（ｘ１，ｙ１），Ｐｍ，ｉ（ｘ２，ｙ２）を求める処理である。このような処理によって、隣接パッチ間の位置ずれの修正が可能になる。
【００６５】
図１２は、図１１の処理を３次元モデル全体のパッチ面に順次適用して補正を行なう処理を示したものである。
【００６６】
まず、ステップＳ１２０１において、各パッチ面に貼り付けるテクスチャ画像を読み込む。これらは、前述したように、それぞれのパッチ面の法線ベクトル方向にもっとも近い撮影視点からの撮影画像がそれぞれ選択される。
【００６７】
ステップＳ１２０２では、各隣接パッチ面間の境界線上の濃淡値誤差Ｅｉが求められる。濃淡値誤差Ｅｉは、前述の式［数２］によって求める。さらに、ステップＳ１２０３において、複数の隣接パッチ間の濃淡値誤差Ｅｉを大きい順でソートして、誤差が最大の境界線を選択する。次に、ステップＳ１２０４において、最大誤差であるＭａｘ｛Ｅｉ｝の絶対値と、予め定めた閾値とを比較する。
【００６８】
閾値以下であれば、修正必要なずれではないと判定し、処理を終了する。閾値以上であれば、ステップＳ１２０５に進み、前述の図１１の処理によるテクスチャ画像の端点性処理によるずれの修正を実行する。その後、ステップＳ１２０６に進み、修正後の各パッチの濃淡誤差を前述の［数２］にしたがって計算し、ステップＳ１２０３に戻り、以下のステップを繰り返す。ステップＳ１２０４の判定において最大誤差が閾値以下になった時点で処理を終了する。以上の処理により、３次元画像に適用したパッチ間のずれが解消する。
【００６９】
（ｃ）各パッチ間の境界部分の濃淡スムージング補正処理
次に、各パッチ間の境界部分の濃淡スムージング補正処理について説明する。各パッチに貼りつけられる画像は、異なる視点から撮影された画像であり、それぞれの照明条件がことなるため、同じ部位の撮影であっても濃淡（ＲＧＢ等の値も含む）値が異なる場合がある。全体的な濃淡補正は、先の（ａ）各フレーム間の画像濃淡値補正処理によってある程度のレベルで実行されるが、実際に貼り付けるテクスチャ画像が決定し、貼りつけが終了して、さらに前述の（ｂ）各パッチ間のテクスチャ画像のずれ補正処理が終了した時点で、画像を観察すると、隣接パッチ間の境界部において濃淡差が目立つ場合がある。この濃淡差を解消する処理が濃淡スムージング補正処理である。図１２以下を用いて濃淡スムージング補正処理について説明する。
【００７０】
図１３は、濃淡スムージング補正処理の一態様を説明するフローである。まず、ステップＳ１３０１において、複数の異なる視点から撮影したテクスチャ画像を貼りつけた３次元モデル上の三角パッチの数を求める。例えば三角パッチの数＝ｎとする。これらのｎ個のパッチの各々について、以下、ステップＳ１３０２〜Ｓ１３０５を実行する。
【００７１】
ステップＳ１３０２では、パッチを１つづつインクリメントする。まず選択されたパッチｐ＝ｘについてステップＳ１３０３において、パッチ面ｐに法線ベクトルにもっとも正対する撮影視点の画像Ｉｍ＿ｋ（ｋ＝１．．．ｎ）を選択する。次にステップＳ１３０４において、パッチ面の展開図（図１３の右中段の図参照）Ｍ（ｐ）を作成して、選択した画像Ｉｍ＿ｋからパッチ面ｐに対応する領域のテクスチャでマッピングを行なう。さらに、その他のパッチ面に対して選択画像Ｉｍ＿ｋの濃淡値をα（０〜１）で重み付けてマッピングを行なう。このα（０〜１）による重み付けは、例えば撮影視点と各パッチの法線ベクトルとの差が小さいものは１に近く、撮影視点と各パッチの法線ベクトルとの差が大きいものは０に近くする設定とする。これらの処理をすべてのパッチ面について実行するとパッチ面に対する貼りつけ画像として使用したテクスチャ画像数ｍ（ｍ≦ｎ）に応じたｍ個の展開図が得られる。
【００７２】
ステップＳ１３０６では、ｍ個の展開図の重ね合わせ処理を実行する。この重ね合わせ処理は、以下の式に基づいて実行される。
【００７３】
【数３】
これらの処理により、ｍ個のテクスチャ画像展開図の濃淡を重み付け処理によって平滑化、すなわちスムージング処理したテクスチャ画像展開図が得られ（ステップＳ１３０７）、このスムージング処理によって設定された濃淡値を持つテクスチャ画像を用いてマッピングを行なう（Ｓ１３０８）。
【００７５】
図１４にスムージング処理の例を示して説明する。図１４には、図１４左端に示すように、３つのパッチ面の法線方向にもっとも近い撮影画像がそれぞれ選択され、３つの展開図が得られる、それぞれの展開図は、前述の重みづけがなされてテクスチャが貼りつけられる。これら３枚のテクスチャマッピング画像を上述の式に基づいて重ね合わせ合わせ処理を実行することにより、１枚のスムージング処理のなされた展開図が得られる。
【００７６】
以上の（ａ）各フレーム間の画像濃淡値補正処理、（ｂ）各パッチ間のテクスチャ画像のずれ補正処理、（ｃ）各パッチ間の境界部分の濃淡スムージング補正処理を適用して、各パッチ面に、法線ベクトルにもっとも近い撮影視点方向を持つテクスチャ画像を貼りつけて実行するテクスチャマッピング処理の全体処理フローを示す。図１５のフローに従って処理を説明する。
【００７７】
ステップＳ１５０１では、３次元表示対象の異なる角度からの撮影フレーム（ｊ）総数をｃｎｔ＿ｆ、３次元表示対象のパッチ面（ｉ）数をｃｎｔ＿ｓとする。ステップＳ１５０２では、パッチ面（ｉ）を順次インクリメントする。ステップＳ１５０３では、パッチ面Ｐｉについて、パッチ面Ｐｉの法線ベクトルｎｉを求める。ステップＳ１５０４では、フレーム（ｊ）を順次インクリメントする。Ｓ１５０５では、パッチ面Ｐｉの法線ベクトルｎｉと、カメラ姿勢ベクトルＶｉを比較し、ステップＳ１５０６で、パッチ面Ｐｉの法線ベクトルｎｉに最も近いカメラ姿勢ベクトルＶｉの撮影イメージ（ｉｍａｇｅ−ｉ）を選択する。
【００７８】
ステップＳ１５０４〜１５０７間をフレーム（ｊ）を順次インクリメントして実行して、上記のフレームイメージ選択処理を実行する。ステップＳ１５０８では、選択されたイメージ（ｉｍａｇｅ−ｉ）をパッチｐｉに貼りつけ（バインド）処理を実行しする。ステップＳ１５０２〜１５０９間をパッチ面（ｉ）を順次インクリメントして実行して、すべてのパッチに対して貼り付けるイメージ貼り付けを実行する。その後、ステップＳ１５１０において、（ａ）各フレーム間の画像濃淡値補正処理、（ｂ）各パッチ間のテクスチャ画像のずれ補正処理、（ｃ）各パッチ間の境界部分の濃淡スムージング補正処理等の各種補正処理を実行し、補正後の画像をステップＳ１１５１１で表示する。
【００７９】
このように解像度が最も高い画像を全てのパッチ面に対して選択し、最後に一枚のテクスチャ画像を作成する。また、パッチ面の間の濃淡差、及びパッチ面の境界部分の濃淡不連続性を補正するために、濃淡値正規化と基準画像濃淡値内挿処理による補正処理、ピッチ面の展開画像を用いるスムージング処理を用いることにより、視覚的に良好な３次元表示が可能となる。
【００８０】
図１６は、提案したテクスチャマッピングの処理実施例を示した。実験では、図１６(a)に示されたように、異なる視点で撮影した１６枚の画像を用いた。各々のパッチ面に対して、上述のような手法でパッチ面の法線ベクトルとカメラ撮影視点の角度を比較し、そのパッチに対して最も高解像度の画像を選択し、最後に濃淡値の補正処理とスムージング処理をした一枚の画像を用いてテクスチャマッピングを行った。図１６(b)は、三つの仮想視点から見た三次元表示結果を示した。いずれの視点においても、高画質のテクスチャ画像がマッピングされていることが確認できた。
【００８１】
図１７は、提案するテクスチャマッピング手法と今までの手法との比較検討を行った結果を示した。図１７(a)は、一枚の画像（図１６(a)のFrame 1）を用いて、３次元形状モデルにマッピングし、その結果をある仮想視点から見た時の表示結果を示した。視点を変えてもテクスチャが変らないので、テクスチャの不自然さがあり、特に窓部分のテクスチャ画質の低下が目立つ。また、図１７(b)は、図１６(a)の１６枚の画像を用いて、仮想視点に最も近い撮影視点の画像を選択するマッピング法によって、ある視点で見た時の表示結果を示した。視点が変わることに従って、テクスチャが不連続的に変更され、撮影時の照明の違いによる画像間濃淡値の不連続性が目立ち、特に窓部分のテクスチャ画質の低下が目立つ。
【００８２】
それらの結果と比べて、本手法によって、より高画質なテクスチャマッピングが可能となった。図１７(c)は、パッチ面毎に最も高解像度の画像を用いるテクスチャマッピング手法によって、ある視点から見た時の表示結果を示した。そこで、視点が変わっても、テクスチャ画像の不連続が目立たなく、窓部分も高画質な表現ができる。また、テクスチャマッピングをＶＲＭＬで実現した場合においても、高速表示が可能である。
【００８３】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【００８４】
【発明の効果】
以上、説明してきたように、本発明の三次元画像生成装置および三次元画像生成方法によればパッチ面毎に最も解像度の高い画像を用いるテクスチャ画像作成を実行し、光源条件の不一致による画像間（パッチ面の間）濃淡値の差の補正処理として、濃淡補正法及びスムージング法を適用したので、高画質なテクスチャマッピングが可能となった。
【００８５】
また、本発明の三次元画像生成装置および三次元画像生成方法によれば、各パッチ面におけるＲＧＢの値（濃淡値）の違いは、パッチ面毎の濃淡値正規化処理と基準画像を用いる内挿処理によって補正し、一枚のテクスチャ画像を作成することが可能となった。また、パッチ面の展開図を用いる画像の重ね合わせ処理によるスムージング法を用いて、作成された一枚のテクスチャ画像における各パッチ面の間の繋ぎ目（境界領域）を平滑化することが可能となった。
【図面の簡単な説明】
【図１】一般的なテクスチャマッピングの手法について説明する図である。
【図２】従来の１枚の画像を用いたテクスチャマッピング手法を説明する図である。
【図３】従来の複数枚画像を用いたテクスチャ画像選択によるマッピング手法を説明する図である。
【図４】本発明の三次元画像生成装置において適用する複数の画像を用いたテクスチャマッピング手法を説明する図である。
【図５】本発明の三次元画像生成装置におけるフレーム間の画像濃淡値補正処理を説明するフロー図である。
【図６】本発明の三次元画像生成装置におけるフレーム間の画像濃淡値補正処理を説明する図である。
【図７】本発明の三次元画像生成装置におけるフレーム間の画像濃淡値補正処理の第２の処理例を説明するフロー図である。
【図８】本発明の三次元画像生成装置におけるパッチ間の画像ずれを説明するフロー図である。
【図９】本発明の三次元画像生成装置におけるパッチ間のテクスチャ画像ずれの有無判定処理を説明するフロー図である。
【図１０】本発明の三次元画像生成装置におけるパッチ間のテクスチャ画像ずれの補正処理（例１）を説明するフロー図である。
【図１１】本発明の三次元画像生成装置におけるパッチ間のテクスチャ画像ずれの補正処理（例２）を説明するフロー図である。
【図１２】本発明の三次元画像生成装置におけるパッチ間のテクスチャ画像ずれの三次元画像全の補正処理を説明するフロー図である。
【図１３】本発明の三次元画像生成装置におけるパッチ間のテクスチャ画像のスムージング処理を説明するフロー図である。
【図１４】本発明の三次元画像生成装置におけるパッチ間のテクスチャ画像のスムージング処理を説明する図である。
【図１５】本発明の三次元画像生成装置における三次元画像生成処理を説明するフロー図である。
【図１６】三次元画像生成装置においてパッチ面ごとの画像選択によるテクスチャマッピング処理を説明するフロー図である。
【図１７】異なる手法によるテクスチャマッピングの処理結果を比較した図である。
【符号の説明】
１０１ 三次元形状モデル
１０２ 二次元画像（テクスチャ）
２０１ 三次元形状モデル
２０２ 二次元画像（テクスチャ）
３０１ 測定対象
４０１ 測定対象
４０２ パッチ面
４０３ テクスチャ画像
６０１ フレーム画像
６０２ 基準フレーム
６０３ パッチ面
６０４ パッチ面の対応画像領域
８０１ 三角パッチ構成ブロック
８０２，８０３ テクスチャ画像
８０４ テクスチャ画像Ａ
８０５ テクスチャ画像Ｂ
８０６ テクスチャマッピング画像
Claims (11)
- 三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する三次元画像生成装置において、
測定対象を撮影した複数のカメラ撮影視点画像から、三次元画像を構成するパッチ面毎に最も解像度の高い画像を選択して、選択画像を各パッチ面に適用するテクスチャ画像としてテクスチャマッピングを実行する構成と、
各パッチ間の境界部分の濃淡スムージング補正処理を実行する構成を有し、
該スムージング処理は、
パッチ面の法線ベクトルと複数の撮影視点方向ベクトルとを各々比較し、パッチ面に対して最も正対している撮影視点方向からの撮影画像を複数のカメラ撮影視点テクスチャ画像から選択して、パッチ面の展開図の対応する領域に貼りつけるとともに、他のパッチ面に対しては該パッチ面の法線ベクトルと撮影視点方向ベクトルの差に応じて濃淡の重み付けを行って前記展開図の対応する領域に貼りつけてテクスチャ展開図の生成を行い、該テクスチャ展開図の生成を各パッチ面について実行して、各パッチ面に適用する複数のテクスチャ画像分生成されたテクスチャ展開図を重ね合わせて各パッチの濃淡値平滑化を実行することを特徴とする三次元画像生成装置。 - 三次元画像生成装置は、
複数のカメラ撮影視点画像の濃淡値補正処理を実行する構成を有し、
該濃淡値補正処理は、複数のカメラ撮影視点画像のパッチ単位あるいは設定領域単位の濃淡平均値と分散値を算出して、正規化処理を実行することによって行なう構成であることを特徴とする請求項１に記載の三次元画像生成装置。 - 三次元画像生成装置は、さらに、
各パッチ間のテクスチャ画像のずれ補正処理を実行する構成を有し、
該ずれ補正処理は、
隣接パッチ間の境界部における各パッチの濃淡値の差分を算出してずれ検出を行ない、検出されたずれに基づいてパッチの再分割処理、再マッピングを実行することによって行なう構成であることを特徴とする請求項１に記載の三次元画像生成装置。 - 三次元画像生成装置は、
各パッチ間のテクスチャ画像のずれ補正処理を実行する構成を有し、
該ずれ補正処理は、
隣接パッチ間の境界部における各パッチの濃淡値の分布を算出し、該濃淡分布の画素毎の差分総和値を最小化するにように、隣接パッチのいずれかの端点座標を移動することによって実行する構成であることを特徴とする請求項１に記載の三次元画像生成装置。 - 三次元画像生成装置は、
各パッチ間のテクスチャ画像のずれ補正処理を実行する構成を有し、
三次元画像を構成する複数パッチの隣接パッチ境界部における濃淡値誤差をそれぞれ算出し、算出した複数の濃淡値誤差中最大のものについて予め定めた閾値より誤差が大であることを条件としてずれ補正処理を実行し、三次元画像を構成する複数パッチの隣接パッチ境界部における濃淡値誤差のすべてが、該閾値を超えないことを条件としてずれ補正処理を終了する構成としたことを特徴とする請求項１に記載の三次元画像生成装置。 - 三次元画像生成装置で三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する三次元画像生成方法において、
前記三次元画像生成装置は、
三次元画像を構成するパッチ面に対してテクスチャマッピングを実行する構成と、
各パッチ間の境界部分の濃淡スムージング補正処理を実行する構成を有し、
前記テクスチャマッピングは、測定対象を撮影した複数のカメラ撮影視点画像から、三次元画像を構成するパッチ面毎に最も解像度の高い画像を選択して、選択画像を各パッチ面に適用するテクスチャ画像としてテクスチャマッピングを実行するステップを有し、
前記濃淡スムージング補正処理は、パッチ面の法線ベクトルと複数の撮影視点方向ベクトルとを各々比較し、パッチ面に対して最も正対している撮影視点方向からの撮影画像を複数のカメラ撮影視点テクスチャ画像から選択して、パッチ面の展開図の対応する領域に貼りつけるとともに、他のパッチ面に対しては該パッチ面の法線ベクトルと撮影視点方向ベクトルの差に応じて濃淡の重み付けを行って前記展開図の対応する領域に貼りつけてテクスチャ展開図の生成を行い、該テクスチャ展開図の生成を各パッチ面について実行して、各パッチ面に適用する複数のテクスチャ画像分生成されたテクスチャ展開図を重ね合わせて各パッチの濃淡値平滑化を実行するステップを有することを特徴とする三次元画像生成方法。 - 複数のカメラ撮影視点画像の濃淡値補正処理を実行する構成を有し、
該濃淡補正処理は、複数のカメラ撮影視点画像のパッチ単位あるいは設定領域単位の濃淡平均値と分散値を算出して、正規化処理を実行するステップを有することを特徴とする請求項６に記載の三次元画像生成方法。 - 各パッチ間のテクスチャ画像のずれ補正処理を実行する構成を有し、
該ずれ補正処理は、隣接パッチ間の境界部における各パッチの濃淡値の差分を算出してずれ検出を行ない、検出されたずれに基づいてパッチの再分割処理、再マッピングを実行するステップを有することを特徴とする請求項６に記載の三次元画像生成方法。 - 各パッチ間のテクスチャ画像のずれ補正処理を実行する構成を有し、
該ずれ補正処理は、隣接パッチ間の境界部における各パッチの濃淡値の分布を算出し、該濃淡分布の画素毎の差分総和値を最小化するにように、隣接パッチのいずれかの端点座標を移動することによって実行するステップを有することを特徴とする請求項６に記載の三次元画像生成方法。 - 各パッチ間のテクスチャ画像のずれ補正処理を実行する構成を有し、
該ずれ補正処理は、三次元画像を構成する複数パッチの隣接パッチ境界部における濃淡値誤差をそれぞれ算出し、算出した複数の濃淡値誤差中最大のものについて予め定めた閾値より誤差が大であることを条件としてずれ補正処理を実行し、三次元画像を構成する複数パッチの隣接パッチ境界部における濃淡値誤差のすべてが、該閾値を超えないことを条件としてずれ補正処理を終了するステップを有することを特徴とする請求項６に記載の三次元画像生成方法。 - 三次元形状モデルにテクスチャ画像を貼り付けることにより三次元画像を生成する三次元画像生成処理をコンピュータ・システム上で実行せしめるコンピュータ・プログラムをコンピュータ可読な形式で提供するプログラム記録媒体であって、前記コンピュータ・プログラムは、
前記コンピュータ・システムを、
測定対象を撮影した複数のカメラ撮影視点画像から、三次元画像を構成するパッチ面毎に最も解像度の高い画像を選択して、選択画像を各パッチ面に適用するテクスチャ画像としてテクスチャマッピングを実行する手段と、
パッチ面の法線ベクトルと複数の撮影視点方向ベクトルとを各々比較し、パッチ面に対して最も正対している撮影視点方向からの撮影画像を複数のカメラ撮影視点テクスチャ画像から選択して、パッチ面の展開図の対応する領域に貼りつけるとともに、他のパッチ面に対しては該パッチ面の法線ベクトルと撮影視点方向ベクトルの差に応じて濃淡の重み付けを行って前記展開図の対応する領域に貼りつけてテクスチャ展開図の生成を行い、該テクスチャ展開図の生成を各パッチ面について実行して、各パッチ面に適用する複数のテクスチャ画像分生成されたテクスチャ展開図を重ね合わせて各パッチの濃淡値平滑化を実行する手段として機能させることを特徴とするプログラム記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000201033A JP4474743B2 (ja) | 2000-07-03 | 2000-07-03 | 三次元画像生成装置および三次元画像生成方法、並びにプログラム記録媒体 |
| US09/898,342 US6744441B2 (en) | 2000-07-03 | 2001-07-03 | Three-dimensional-picture-generating apparatus, three-dimensional-picture-generating method and program-presenting medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000201033A JP4474743B2 (ja) | 2000-07-03 | 2000-07-03 | 三次元画像生成装置および三次元画像生成方法、並びにプログラム記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002024850A JP2002024850A (ja) | 2002-01-25 |
| JP4474743B2 true JP4474743B2 (ja) | 2010-06-09 |
Family
ID=18698796
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000201033A Expired - Lifetime JP4474743B2 (ja) | 2000-07-03 | 2000-07-03 | 三次元画像生成装置および三次元画像生成方法、並びにプログラム記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6744441B2 (ja) |
| JP (1) | JP4474743B2 (ja) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0114157D0 (en) * | 2001-06-11 | 2001-08-01 | Canon Kk | 3D Computer modelling apparatus |
| JP3695377B2 (ja) * | 2001-10-01 | 2005-09-14 | 日産自動車株式会社 | 画像合成装置および画像合成方法 |
| US6906724B2 (en) | 2001-10-17 | 2005-06-14 | Lntel Corporation | Generating a shadow for a three-dimensional model |
| JP4123774B2 (ja) * | 2001-12-21 | 2008-07-23 | コニカミノルタホールディングス株式会社 | テクスチャマッピング装置 |
| GB0208909D0 (en) * | 2002-04-18 | 2002-05-29 | Canon Europa Nv | Three-dimensional computer modelling |
| JP2004222254A (ja) * | 2002-12-27 | 2004-08-05 | Canon Inc | 画像処理システム、方法及びプログラム |
| JP2005063041A (ja) * | 2003-08-08 | 2005-03-10 | Olympus Corp | ３次元モデリング装置、方法、及びプログラム |
| JP2005141655A (ja) * | 2003-11-10 | 2005-06-02 | Olympus Corp | ３次元モデリング装置及び３次元モデリング方法 |
| DE102004037464A1 (de) * | 2004-07-30 | 2006-03-23 | Heraeus Kulzer Gmbh | Anordnung zur Abbildung von Oberflächenstrukturen dreidimensionaler Objekte |
| JP2006119843A (ja) * | 2004-10-20 | 2006-05-11 | Olympus Corp | 画像生成方法およびその装置 |
| JP4632060B2 (ja) * | 2007-05-07 | 2011-02-16 | 富士フイルム株式会社 | 画像記録装置、方法およびプログラム |
| US8072487B2 (en) | 2007-04-25 | 2011-12-06 | Fujifilm Corporation | Picture processing apparatus, picture recording apparatus, method and program thereof |
| US8326088B1 (en) * | 2009-05-26 | 2012-12-04 | The United States Of America As Represented By The Secretary Of The Air Force | Dynamic image registration |
| JP4922440B2 (ja) | 2010-07-08 | 2012-04-25 | 株式会社東芝 | ３ｄ映像出力装置、３ｄ映像表示装置、３ｄ映像出力方法 |
| US8473362B2 (en) | 2011-04-07 | 2013-06-25 | Ebay Inc. | Item model based on descriptor and images |
| US8749580B1 (en) * | 2011-08-12 | 2014-06-10 | Google Inc. | System and method of texturing a 3D model from video |
| US10055876B2 (en) | 2014-06-06 | 2018-08-21 | Matterport, Inc. | Optimal texture memory allocation |
| US10373343B1 (en) * | 2015-05-28 | 2019-08-06 | Certainteed Corporation | System for visualization of a building material |
| US9922443B2 (en) * | 2016-04-29 | 2018-03-20 | Adobe Systems Incorporated | Texturing a three-dimensional scanned model with localized patch colors |
| US11107267B2 (en) | 2017-03-30 | 2021-08-31 | Sony Interactive Entertainment Inc. | Image generation apparatus, image generation method, and program |
| CN107464278B (zh) * | 2017-09-01 | 2020-01-24 | 叠境数字科技（上海）有限公司 | 全视向的球体光场渲染方法 |
| US11348283B2 (en) * | 2018-07-10 | 2022-05-31 | Samsung Electronics Co., Ltd. | Point cloud compression via color smoothing of point cloud prior to texture video generation |
| US11195324B1 (en) | 2018-08-14 | 2021-12-07 | Certainteed Llc | Systems and methods for visualization of building structures |
| KR20210030147A (ko) * | 2019-09-09 | 2021-03-17 | 삼성전자주식회사 | 3d 렌더링 방법 및 장치 |
| CN112581592A (zh) * | 2020-12-21 | 2021-03-30 | 陕西土豆数据科技有限公司 | 一种解决三维建模纹理贴图不可见面纹理的方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3148045B2 (ja) * | 1992-06-17 | 2001-03-19 | 富士通株式会社 | 三次元物体ｃｇ作成装置 |
| JP3268666B2 (ja) * | 1992-12-08 | 2002-03-25 | 大日本印刷株式会社 | コンピュータ・グラフィックス制作装置 |
| US5798762A (en) * | 1995-05-10 | 1998-08-25 | Cagent Technologies, Inc. | Controlling a real-time rendering engine using a list-based control mechanism |
| US6236405B1 (en) * | 1996-07-01 | 2001-05-22 | S3 Graphics Co., Ltd. | System and method for mapping textures onto surfaces of computer-generated objects |
| US6356272B1 (en) * | 1996-08-29 | 2002-03-12 | Sanyo Electric Co., Ltd. | Texture information giving method, object extracting method, three-dimensional model generating method and apparatus for the same |
| JP3625624B2 (ja) * | 1996-08-30 | 2005-03-02 | 三洋電機株式会社 | テクスチャ情報付与方法、テクスチャ情報付与プログラムを記録した媒体およびテクスチャ情報付与装置 |
| US6005583A (en) * | 1997-04-30 | 1999-12-21 | Hewlett-Packard Company | Precise gradient calculation system and method for a texture mapping system of a computer graphics system |
| US6009190A (en) * | 1997-08-01 | 1999-12-28 | Microsoft Corporation | Texture map construction method and apparatus for displaying panoramic image mosaics |
| JP3813343B2 (ja) * | 1997-09-09 | 2006-08-23 | 三洋電機株式会社 | ３次元モデリング装置 |
| US6292193B1 (en) * | 1998-07-30 | 2001-09-18 | Compaq Computer Corporation | Techniques for anisotropic texture mapping using multiple space-invariant filtering operations per pixel |
| JP2000137815A (ja) * | 1998-11-02 | 2000-05-16 | Gen Tec:Kk | 新視点画像生成方法 |
| US6571024B1 (en) * | 1999-06-18 | 2003-05-27 | Sarnoff Corporation | Method and apparatus for multi-view three dimensional estimation |
-
2000
- 2000-07-03 JP JP2000201033A patent/JP4474743B2/ja not_active Expired - Lifetime
-
2001
- 2001-07-03 US US09/898,342 patent/US6744441B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002024850A (ja) | 2002-01-25 |
| US20020061194A1 (en) | 2002-05-23 |
| US6744441B2 (en) | 2004-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4474743B2 (ja) | 三次元画像生成装置および三次元画像生成方法、並びにプログラム記録媒体 | |
| US8878835B2 (en) | System and method for using feature tracking techniques for the generation of masks in the conversion of two-dimensional images to three-dimensional images | |
| EP3735677A1 (en) | Fusing, texturing, and rendering views of dynamic three-dimensional models | |
| CN111243071A (zh) | 实时三维人体重建的纹理渲染方法、系统、芯片、设备和介质 | |
| US20080228449A1 (en) | Systems and methods for 2-d to 3-d conversion using depth access segments to define an object | |
| US20080226194A1 (en) | Systems and methods for treating occlusions in 2-d to 3-d image conversion | |
| US20080226181A1 (en) | Systems and methods for depth peeling using stereoscopic variables during the rendering of 2-d to 3-d images | |
| US20080225045A1 (en) | Systems and methods for 2-d to 3-d image conversion using mask to model, or model to mask, conversion | |
| US20080225042A1 (en) | Systems and methods for allowing a user to dynamically manipulate stereoscopic parameters | |
| US20080226160A1 (en) | Systems and methods for filling light in frames during 2-d to 3-d image conversion | |
| US20080226128A1 (en) | System and method for using feature tracking techniques for the generation of masks in the conversion of two-dimensional images to three-dimensional images | |
| TWI764959B (zh) | 用於產生光強度影像之裝置與方法 | |
| CN109410133B (zh) | 一种基于3dmm的人脸纹理修复方法 | |
| CN109791704B (zh) | 用于自由运行fvv应用的基于多层uv映射的纹理渲染方法、系统和装置 | |
| JP4370672B2 (ja) | 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 | |
| Starck et al. | Virtual view synthesis of people from multiple view video sequences | |
| JP4400808B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
| CN113424231A (zh) | 用于生成光强度图像的装置和方法 | |
| CN115457171A (zh) | 一种采用基表情空间变换的高效表情迁移方法 | |
| JP2002032742A (ja) | ３次元画像生成システムおよび３次元画像生成方法、並びにプログラム提供媒体 | |
| Borshukov | New algorithms for modeling and rendering architecture from photographs | |
| JP2004013869A (ja) | ３次元形状生成装置及びそれに用いる３次元形状生成方法並びにそのプログラム | |
| JP2003337953A (ja) | 画像処理装置および画像処理方法、並びにコンピュータ・プログラム | |
| EP3809372B1 (en) | Method of real-time generation of 3d imaging | |
| TWI831919B (zh) | 用於產生光強度影像之設備及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070305 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090929 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091208 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100113 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100216 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100301 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130319 Year of fee payment: 3 |