JP3876142B2 - 画像表示システム - Google Patents
画像表示システム Download PDFInfo
- Publication number
- JP3876142B2 JP3876142B2 JP2001305230A JP2001305230A JP3876142B2 JP 3876142 B2 JP3876142 B2 JP 3876142B2 JP 2001305230 A JP2001305230 A JP 2001305230A JP 2001305230 A JP2001305230 A JP 2001305230A JP 3876142 B2 JP3876142 B2 JP 3876142B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- basic
- viewpoint
- interpolated
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、コンピュータ上に於いて任意の視点から立体的に物体の画像を表示することが可能な画像表示システムに関する。
【０００２】
【従来の技術】
従来、物体（対象物）の画像を立体的にコンピュータ上に於いて表示する方法としては、
（１）対象物の動画を予め撮影しその動画データを表示する。
（２）対象物の３次元データを予め入力しユーザが視点を指定することにより、その３次元データに基づいてその視点から見える対象物を計算し表示する。
（３）２枚の画像からユーザが指定した視点に於ける内挿画像を自動作成し表示する。
等がその主な方法として存在している。
【０００３】
【発明が解決しようとする課題】
（１）の方法は、対象物を予めビデオカメラ等を用いてその周囲、全景等を撮影しておき、その画像（動画データ）をＭＰＥＧ（Moving Pictures Experts Group）等の公知の圧縮方法でデータ圧縮を行い、その動画データに対応しているソフトウェアで再生することにより対象物の画像をコンピュータ上に於いて表示する方法である。この方法を用いると、対象物の画像を閲覧したい人（以下、ユーザ）がこの対象物の視点を任意に変更することは出来ない。何故ならば、この方法では予め撮影された対象物の画像をユーザが有する端末（以下、ユーザ端末）上で単に再生しているにすぎないからである。即ち、予め撮影されていない視点からの画像をユーザは閲覧することは出来ない。
【０００４】
又、全ての視点からの画像を動画データとして保持しようとすると、そのデータ量が多大な量となってしまう問題点がある。これは、ユーザがネットワークを介してこの動画データを閲覧しようとする場合には、多大なる通信時間を必要とすることを意味する。つまりデータ量に比例して通信コストが費やされることとなり、これはユーザにとっては多大なる負担となる。更に、動画データを格納しているコンピュータからユーザ端末まで大量のデータ転送をする必要性があり、ネットワークのトラフィックを増加させる。つまり、この動画データを閲覧しないが同じネットワークを一部でも使用している、他のユーザに対してもトラフィックの増加を発生させることとなり、レスポンスの低下を招く問題点もある。
【０００５】
（１）に於ける問題点を解決する一つの方法として、（２）の方法が考案された。この方法は、対象物の存在する３次元空間上の一点（対象物上でなくても良い）を３次元空間上に於ける原点とし、その原点からの距離、あるいは３次元座標（ｘ座標、ｙ座標、ｚ座標）を入力することにより、対象物の３次元形状データを作成する。その後、ユーザが指定した視点からの距離、座標等を演算しこれを２次元の平面に投影し表示することにより、ユーザが指定した視点からの対象物の画像を閲覧することを可能にした方法である。
【０００６】
しかし、この方法では、対象物の３次元形状データを作成する為に、対象物の縦、横、高さ等を精確に計測しそれを入力しなければならない等非常に煩雑であり、データ作成側にとって多大なる負担を強いることとなる。更に、元々２次元の平面データ（例えば、写真等）から３次元形状データを作成するのは非常に困難であるという問題点もある。
【０００７】
これら問題点を更に解決する為に、対象物の２視点からの２次元平面データ（即ち、ある対象物の２方向からの平面データ（例えば写真等））を予め入力し、その２視点の２次元平面データから視点間に於ける内挿画像（元となる画像から視点を補間する為に自動的に作成された画像を指す）を自動的に作成しそれを表示するという方法が考案されている。
【０００８】
この方法は、２視点からの２次元平面データ（以下、画像）に於いて対応する点を８組以上と、画像の特徴を表す線分（以下、特徴線）を任意の本数指定することにより２画像間の視点を補間してその内挿画像を表示する方法であり、その一例が特願２０００−２４３０３２号公報に明示されている。この方法を用いると従来の画像補間と異なり視点の射影幾何学的制約に基づいた内挿画像を作成することが可能となる。
【０００９】
しかし上記発明には、以下のような問題点が存在している。
（１）内挿画像を作成する際に、特徴線と画像内の全画素の組合せが膨大な数となり、多大なる演算時間が必要となる。
（２）特徴線の影響範囲のパラメータ設定が困難であり、不自然な内挿画像を作成する場合がある。
（３）特願２０００−２４３０３２号公報に明示されているように２視点からの画像補間においては、例え２画像の組合せを複数枚用意しても、その視点移動は１次元的にしか実現できず、空間内を自由に視点移動することが出来ない。
【００１０】
【課題を解決するための手段】
本発明者は上記問題点に鑑み、以下のような手法を採用することにより解決した。
（１）画像の組に対して共通の面を定義し、面の頂点のみを平行化画像（後述）で内挿し、面内部の画素については線形補間した面のテクスチャをマッピングして表示する。
（２）従来２視点だった視点を３視点とすることも可能となり、この場合には視点を２次元的に移動できる。即ち、３視点の組を全方位に設定すれば、ユーザが希望する任意の視点から対象物の画像を閲覧できる。
【００１１】
請求項１の発明は、ユーザが希望する視点からの対象物の内挿画像を自動作成する画像表示システムであって、前記対象物の複数視点からの少なくとも３枚以上の複数の２次元画像を取り込む画像取込手段を有するサーバとネットワークを介してデータの送受信が可能なユーザ端末を有する画像表示システムに於いて、前記ユーザ端末は、前記サーバから前記複数の２次元画像を受信し前記ユーザが希望する視点からの対象物の内挿画像を自動作成する内挿画像作成手段を有しており、前記内挿画像作成手段は、前記受信した複数の２次元画像を用いて回転行列を算出し、前記回転行列を用いて複数の２次元画像を平行にする平行化回転変換を行い、前記平行化回転変換に基づいて複数の２次元画像の対応点の組を同一水平線上に並べる水平化回転変換を行い、前記水平化回転変換に基づいて複数の２次元画像の焦点距離と位置を合わせるスケール変換を行い、前記平行化回転変換、水平化回転変換、スケール変換に基づいてホモグラフィ行列を内挿することで、前記対象物の２次元画像の内挿画像を自動作成する、画像表示システムである。
【００１３】
請求項３の発明は、ユーザが希望する視点からの対象物の内挿画像を自動作成し閲覧させるサーバ上に於いて、前記内挿画像を自動作成する画像表示システムであって、前記サーバは、前記対象物の複数視点からの少なくとも３枚以上の複数の２次元画像を取り込む画像取込手段と、前記希望する視点からの対象物の内挿画像を自動作成する内挿画像作成手段とを有しており、前記内挿画像作成手段は、前記取り込んだ複数の２次元画像を用いて回転行列を算出し、前記回転行列を用いて複数の２次元画像を平行にする平行化回転変換を行い、前記平行化回転変換に基づいて複数の２次元画像の対応点の組を同一水平線上に並べる水平化回転変換を行い、前記水平化回転変換に基づいて複数の２次元画像の焦点距離と位置を合わせるスケール変換を行い、前記平行化回転変換、水平化回転変換、スケール変換に基づいてホモグラフィ行列を内挿することで、前記対象物の２次元画像の内挿画像を自動作成する、画像表示システムである。
【００１５】
請求項１の発明によって、サーバ上に於いて予め取り込まれた２次元画像から、ユーザが希望する視点の内挿画像をユーザ端末上に於いて自動作成することが可能となる。
【００１６】
請求項３の発明によって、サーバ上に於いて予め取り込んだ２次元画像を同一サーバ上（但し論理的に同一端末という意味であって、物理的に同一端末でなくても良い。以下同様）に於いて、希望する視点の内挿画像を自動作成することが可能となる。
【００１７】
請求項２の発明は、ユーザが希望する視点からの対象物の内挿画像を自動作成する画像表示システムであって、前記ユーザが希望する視点からの対象物の内挿画像を自動作成する内挿画像作成手段を有するユーザ端末とネットワークを介してデータの送受信が可能なサーバを有する画像表示システムに於いて、前記サーバは、前記対象物の複数視点からの少なくとも３枚以上の複数の２次元画像を取り込み前記２次元画像を前記ユーザ端末に送信する画像取込手段を有しており、前記内挿画像作成手段は、前記受信した複数の２次元画像を用いて回転行列を算出し、前記回転行列を用いて複数の２次元画像を平行にする平行化回転変換を行い、前記平行化回転変換に基づいて複数の２次元画像の対応点の組を同一水平線上に並べる水平化回転変換を行い、前記水平化回転変換に基づいて複数の２次元画像の焦点距離と位置を合わせるスケール変換を行い、前記平行化回転変換、水平化回転変換、スケール変換に基づいてホモグラフィ行列を内挿することで、前記対象物の２次元画像の内挿画像を自動作成する、画像表示システムである。
【００１９】
請求項２の発明によって、サーバ上に於いて予め取り込んだ２次元画像をユーザ端末に送信し、ユーザが希望する視点の内挿画像をユーザ端末上に於いて自動作成させることが可能となる。
【００６８】
２次元での視点移動を可能とする為に、３枚を１組としてその３枚の内２枚の組を２組作成し、それらから１次内挿画像を作成し、その後２枚の１次内挿画像から最終内挿画像を作成していた。従って、３枚の画像から作成する際に２段階のプロセスを経ていることとなる。しかし２段階のプロセスを経ることによって、計算時間の増加、画像の歪み等が生じることとなる。そこで上述の発明によって、２次元での視点移動を保持した上で、３枚の画像から１度で内挿画像を作成できることとなり、計算時間の短縮、画像の歪み等を防ぐことが可能となる。
【０１１９】
【発明の実施の形態】
本発明の画像表示システム１のシステム構成の一例を図１及び図２に示すシステム構成図を用いて詳細に説明する。
【０１２０】
任意の視点からの対象物の内挿画像を閲覧することを希望するユーザが有するユーザ端末１５とサーバ１４は、ネットワーク１６を介してデータの送受信が可能である画像表示システム１である。ここでネットワーク１６とは、インターネット等のオープンネットワーク、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のクローズドネットワーク、それらの組合せであるイントラネットのいずれであってもよい。ネットワーク１６を介してデータの送受信がサーバ１４とユーザ端末１５間に於いて為される場合には、公知のデータ転送技術を用いることが好適である。又本実施態様に於いては説明の便宜上、ユーザ端末１５及びサーバ１４はいずれも１台を想定し説明するが、複数台にその機能が分散してあっても良いことは言うまでもない。又ネットワーク１６を介さずにサーバ１４（又はユーザ端末１５）のみで全ての機能が実現されても良い。
【０１２１】
サーバ１４は、画像取込手段２を有し、ユーザ端末１５は、内挿画像作成手段３、影作成手段４、反射作成手段５、作成画像記憶手段６、合成表示手段７、補正処理手段８とを有している。
【０１２２】
画像取込手段２は、対象物を複数視点から撮影した２次元画像（基本画像）を取り込む手段であり、画像表示用の情報を作成する手段である。又前記取り込んだ情報をユーザ端末１５にネットワーク１６を介して送信する手段でもある。
【０１２３】
内挿画像作成手段３は基本画像と設定された視点とに基づいて内挿画像を作成する手段であって、初期情報演算手段９、平行化画像作成手段１０、テクスチャマッピング手段１９を有している。
【０１２４】
初期情報演算手段９は、内挿画像を作成するのに必要となる各基本画像の組に於ける、基本行列及びエピポールを算出する手段である。
【０１２５】
平行化画像作成手段１０は、初期情報演算手段９に於いて算出したエピポールを用いてホモグラフィ行列を算出し、２視点間の画像を平行で共通点が同一走査線上に並ぶように平面に画像を写像する手段である。
【０１２６】
テクスチャマッピング手段１９は、平行化画像作成手段１０に於いて作成した平行化画像に対して、サーバ１４に於いて定義された面の頂点を内挿し、線形補間を行い、線形補間した面の頂点の内部に面内部の画素のテクスチャマッピングを行う手段であって、面選択手段１１と輪郭処理手段１２と色補正手段１３とを有している。
【０１２７】
面選択手段１１は、テクスチャとして用いる画像を、２つの画像から選択する、或いは何れかの画像を選択してそのまま用いるのではなく、２つの画像を組み合わせ、より自然な画像を作成し、テクスチャとして用いる手段である。２つの画像からテクスチャとして用いる画像を選択するプロセス、２つの画像を組合わせることでより自然な画像を作成しテクスチャとして用いるプロセスについては後述する。更にオクルージョンが発生する場合には面の表裏の判断が出来ないので、視点からの距離に相当する基準（即ちエピポール）を用いることで、遠くの画像から順番に描画を行っても良い。これによって、より簡便な内挿画像の作成が行える。この場合のプロセスについても後述する。
【０１２８】
輪郭処理手段１２は、対象物の画像に対して面を定義する際に、輪郭の細部の画像を内挿画像に反映させる手段である。この手段により、対象物がより明確な画像として表示される。
【０１２９】
色補正手段１３は、テクスチャとして内挿画像に適用する画像の色を補正する手段である。この手段により、対象物のテクスチャ間の色差が解消される。
【０１３０】
影作成手段４は、対象物に対して影を付ける手段である。この手段により、画像のリアリティの向上が図られる。
【０１３１】
反射作成手段５は、対象物に対して他の対象物に反射して映り込む状態を作成する手段である。この手段により、画像のリアリティの向上が図られる。
【０１３２】
作成画像記憶手段６は、内挿画像作成手段３、影作成手段４、反射作成手段５で作成、演算した情報を一時的に記憶する手段である。
【０１３３】
合成表示手段７は、作成画像記憶手段６に於いて格納している内挿画像、影、反射等を一つの画像上に合成する手段である。
【０１３４】
補正処理手段８は、視点毎の対象物の位置、大きさの線形補間を行う手段である。これは、基本画像は、カメラから対象物までの距離、画像内での対象物の位置が視点毎に異なることがあり、これらが異なったまま連続的に内挿画像を作成した場合、視点移動以外の対象物の変移が発生し、見かけ上対象物が拡大／縮小表示されたり、対象物が一定の点の周りに回転せず上下に動いたりする問題が発生するが、それを補正する手段である。
【０１３５】
【実施例１】
本発明のプロセスの一例を図５から図１３に示すフローチャート図を用いて詳細に説明する。本実施態様に於いては対象物の２視点からの２次元画像（基本画像）（Ｉ０、Ｉ１）からユーザが希望する視点に於ける内挿画像（Ｉｓ）を作成するプロセスを説明する。
【０１３６】
画像を作成する人（画像作成者）は、画像作成者が有するサーバ１４から所定の手続きを経て（例えば、コンピュータの起動、ソフトウェアの起動、周辺機器の起動等）、画像取込手段２から対象物の複数視点からの基本画像を取り込む（Ｓ１００）。対象物を仮想的な３次元空間に位置するものとして、各基本画像を撮影した視点の位置調整を行う。基本画像を取り込むプロセスについては後述する。
【０１３７】
Ｓ１００に於いて作成した対象物の複数の視点に於ける基本画像に於いて、２枚の基本画像を１組とし、その組内に於ける基本画像に共通する位置の座標、即ち共通点座標を８点以上定義する（Ｓ１６０）。この選択した座標に対して以後のプロセスで内挿画像作成を実行する。但し共通点座標は、任意の３点を取っても一直線上に並ばないような対応点でなければならない。又、マウス等の入力デバイス（図示せず）で共通点座標を定義することが好適であるが、他の手段によっても良い。
【０１３８】
組になっている基本画像から対応する点を選択し、それらの点を直線で結んで面を定義する（即ち、面定義座標を定義する）。これを対象物全体に対して行う（Ｓ１７０）。面を定義するための面定義画面の一例を図２０に示す。この際に、Ｓ１６０に於いて定義した共通点座標と面を定義する点である面定義座標は同一であっても良いし、異なっていても良い。
【０１３９】
更に、この基本画像から対応する点を選択する場合には、上記のように人間が行わなくとも、片方の基本画像に於いて点を選択しておけば、一方の基本画像に於いてそれと対応する点を自動的に選択するようにしても良い。このプロセスについては後述する。
【０１４０】
面の定義が終了後、Ｓ１００からＳ１７０に於ける情報は、サーバ１４の画像取込手段２からユーザ端末１５の内挿画像作成手段３へ送信される。
【０１４１】
ユーザは、閲覧を希望する視点を、マウス等を用いることにより指定する（Ｓ１７６）。内挿画像作成手段３は、ユーザが指定したこの視点からのものを作成する。
【０１４２】
その後、画像取込手段２に於いて定義した共通点情報と面定義座標とに基づいて内挿画像を作成する（Ｓ１８０）。内挿画像を作成するにあたって、まず初期情報（基本行列とエピポール）を内挿画像作成手段３の初期情報演算手段９で算出する。そのプロセスを以下に説明する。
【０１４３】
２視点間に於ける各座標系の位置関係を図３６に示す。２視点をＣ０、Ｃ１、２視点からの基本画像を各々Ｉ０、Ｉ１とする。基本画像Ｉ０とＩ１ の３×３の基本行列を各々Ｆ０、Ｆ１とする。
【０１４４】
基本行列を算出するには、公知の手法（例えば、アール・エイチ・ハートレイ（R.H.Hartley）著, 「８点アルゴリズムに関する弁論」（In Defense of theEight-point Algorithm）、Vol.19、No.6、p.580-593、1997.）を用いることにより算出できる（Ｓ１９０）。
【０１４５】
Ｓ１９０に於いて基本行列を算出後、算出した基本行列に基づいて公知の手法（例えば、オー・デ・フォージャース（O.D.Faugeras）、テ・パパドプロ （T.Papadopoulo）著、「３視点射影幾何評価の為の非線形手法」（A Nonlinear Method for Estimating the Projective Geometry of Three Views）、p.1-27、1997）により各基本画像のエピポールを算出する（Ｓ２００）。基本画像Ｉ０とＩ１について基本画像Ｉ０のエピポールをｅ０、基本画像Ｉ１のエピポールをｅ１とする。エピポールｅ０ はＦ０ ＴＦ０の最小固有値に対応する固有ベクトルであり、エピポールｅ１はＦ０Ｆ０ Ｔの最小固有値に対応する固有ベクトルである。
【０１４６】
基本画像Ｉ０、Ｉ１に於ける基本行列及びエピポールを算出後、ユーザがユーザ端末１５から指定した視点Ｓからの対象物の閲覧を要求した場合、２視点間に於ける内挿画像を作成する為に、画像取込手段２に於いて取り込んだ情報と初期情報演算手段９に於いて算出した情報とに基づいて、平行化画像（後述）を作成する（Ｓ２１０）。
【０１４７】
従来の内挿画像作成方法（例えば特願２０００−２４３０３２号公報に示した例）では、以下のようなプロセスを経て内挿画像を作成している。
（１）与えられた８点以上の共通点から基本行列とエピポールを計算する。
（２）エピポールが無限遠で共通点が同一走査線上に並ぶように平行化画像変換をするホモグラフィ行列Ｈ０、Ｈ１を求める。
（３）基本画像Ｉ０、Ｉ１に於ける特徴線の端点を行列Ｈ−１ ０，Ｈ−１ １によって平行化画像Ｉ＾０、Ｉ＾１の点に変換する。
（４）変換後の特徴線の端点を視点間の比ｓに内挿する。
（５）基本画像Ｉ０、Ｉ１と平行化画像Ｉ＾０、Ｉ＾１の４隅の点の内挿から平行化画像を画像座標に変換する行列Ｈｓを計算する。
（６）内挿された特徴線に定義された影響関数から２枚の基本画像を混ぜ合わせる画像モーフィングを行う。
【０１４８】
しかし、このようなプロセスを経て行う内挿画像の作成方法の場合、全ての画素と全ての特徴線の組合せに対して距離を計算して影響関数を算出する為に、計算時間が非常にかかる。又、この場合、平行化画像は一般に大きく歪んだ画像になり、特徴線の影響範囲が向きによって大きく異なる為、パラメータ設定が難しい。
【０１４９】
オンラインショッピングのように一つの対象物に注視する場合には視点からの奥行きは近い値なので対象物内部の歪みは小さくほぼ線形に近似することが可能である。そこで、本発明では、特徴線を定義するのではなく、面を定義し（面定義座標を定義し）、面の頂点のみを平行化画像上で内挿した後に面内部の画像をテクスチャマッピングで表示する。即ち、画像モーフィングを行う代わりに、（４）に於いて特徴線の端点ではなく面の頂点を内挿してホモグラフィ行列Ｈｓ（後述）を適用し、基本画像をテクスチャマッピングすることにより内挿画像を得る。面は２次元上で表示される為、テクスチャマッピングは通常の３次元空間から２次元空間への写像ではなく、２次元空間同士の写像になる。又、面の内部は線形に補間されるので、画像モーフィングを用いたときのような不自然な歪みは生じないことになる。
【０１５０】
２枚の基本画像から内挿画像を作成するには、まず、２枚の基本画像を平行で共通点（Ｓ１７０に於いて定めた面定義座標）が同一走査線上に並ぶように画像を写像する必要性があり、このプロセスを一般的に平行化といい、作成した画像を平行化画像という。この平行化を行う為には、Ｓ２００に於いて算出されたエピポールを用いて内挿画像作成手段３の平行化画像作成手段１０に於いて、２枚の基本画像の平行化を実行する（即ち平行化画像を作成する）（Ｓ２１０）。２枚の画像の平行化のプロセスについては後述する。
【０１５１】
Ｓ２１０に於いて、２枚の基本画像の平行化画像を作成後、定義した面の頂点である面定義座標のみを内挿して（Ｓ２２０）、ホモグラフィ行列Ｈｓを適用し基本画像をテクスチャマッピングすることで内挿画像を作成する（Ｓ２３０）。テクスチャマッピングのプロセスについては後述する。
【０１５２】
Ｓ２００に於いて内挿画像作成手段３で、２枚の基本画像（Ｉ０とＩ１）から内挿画像（Ｉｓ）を作成する。
【０１５３】
本実施態様に於いては２視点を１組としているので、作成した内挿画像を最終的な内挿画像（最終内挿画像）（Ｉｓ）として作成画像記憶手段６に送信し、一時的に格納する。図３４（ａ）（ｂ）に示した２枚の基本画像から作成した内挿画像の一例を図３５に示す。
【０１５４】
次に作成した最終内挿画像に対してリアリティを持たせる為に、対象物に対する影を影作成手段４に於いて作成し（Ｓ２４０）、作成した影を作成画像記憶手段６に対して送信し一時的に格納する。影を作成するプロセスについては後述する。又対象物に対する反射を反射作成手段５に於いて作成し（Ｓ２５０）、作成した反射を作成画像記憶手段６に対して送信し一時的に格納する。反射を作成するプロセスについては後述する。Ｓ２４０及びＳ２５０に於いて作成する、影及び反射の作成プロセスは順不同である。
【０１５５】
Ｓ１８０からＳ２５０に於いて作成され、作成画像記憶手段６に一時的に格納した最終内挿画像、影及び反射を合成表示手段７に対して送信し、これらを１枚の画像に合成する（Ｓ２６０）。Ｓ２６０に於ける合成の手法は、対象物の複数画像からその３次元的な情報を「復元」することにより、複数の対象物を同一視点で合成して表示することにより実現できる。これは「復元」の手法として「射影復元」あるいは「ユークリッド復元」の公知技術を用いることにより実現する。この合成プロセスを付加することにより、例えば図２９に示すように、テーブルと椅子といったように複数の対象物を組み合わせて表示したり、自宅の部屋の写真を撮影し、そこに家具の画像を合成して大きさ、色調等の調和を視覚的に確認したり、自分の全身像を撮影したデータを保存しておき、それにファッション商品の画像や髪型の画像を合成して閲覧（バーチャル試着システム、バーチャル美容院）する等が可能となる。
【０１５６】
Ｓ２６０に於いて影や反射、内挿画像が合成表示された後、位置、大きさに関する補正処理が実行される（Ｓ２７０）。これは、Ｓ１００に於いて取り込んだ基本画像は、カメラから対象物までの距離や、基本画像内での対象物の位置が視点毎に異なることが一般的である。そしてこれらが異なったまま内挿画像の作成を連続的に行うと、視点移動以外の対象物の変位が発生し、見かけ上、対象物が拡大／縮小表示されたり、対象物が一定の点の周りに回転せず上下に動いたりする問題点が発生する点を解決する為である。
【０１５７】
これを防ぐ為に、本発明では、基本画像内の対象物のカメラからの距離（＝拡大／縮小倍率）と位置を補正するプロセスを付加することにより、この問題点の解決を図る。位置、大きさの補正処理プロセスについては後述する。
【０１５８】
Ｓ２７０に於いて、位置、大きさの補正処理が終了後、作成した内挿画像を表示する。Ｓ２４０からＳ２７０に於ける影・反射・合成表示・位置、大きさの補正に付いてはその全てあるいは一部だけが行われても、あるいは行われなくても良い。
【０１５９】
【実施例２】
本発明に於ける他の実施態様を図１及び図２のシステム構成図に基づいて詳細に説明する。本実施態様に於いては対象物の３視点からの２次元画像（基本画像）（Ｉ０、Ｉ１、Ｉ２）からユーザが希望する視点に於ける内挿画像（Ｉｓ）を作成するプロセスを説明する。又、前記実施態様と重複する部分については説明を省略する。
【０１６０】
画像作成者は、サーバ１４上に於いて画像取込手段２から対象物の少なくとも３枚以上の基本画像を取り込む（Ｓ１００）。取り込んだ基本画像において、３枚の基本画像を１組とし（本実施態様に於いては、３枚１組を例とするが、４枚以上であっても３枚の組を複数設けることにより同様に行える）その組内に於ける基本画像に共通する位置の座標、即ち共通点座標を８点以上定義する（Ｓ１６０）。但し共通点座標は、任意に３点を取っても一直線上に並ばないような共通点でなければならない。又、マウス等の入力デバイス（図示せず）で共通点座標を定義することが好適であるが、他の手段によっても良い。
【０１６１】
ここで３枚の基本画像を１組とするのは、従来は２枚の基本画像を１組として内挿画像を作成していたが、３枚以上の基本画像を１組とすることにより、従来内挿画像の作成可能視点が１次元に限られていた問題点を解決できることになる。即ち、３枚の基本画像を１組とすることにより、内挿画像の作成可能視点を２次元に拡大することが出来、この３枚の基本画像の組を複数設けることにより、任意の視点に於いて内挿画像を作成することが可能となるのである。３視点に於ける内挿画像を作成する為には、まず組の中に於ける２枚の基本画像（Ｉ０、Ｉ１）の１次内挿画像（Ｉｓ０）を作成し、次に組の中に於いて別の２枚の基本画像（Ｉ０、Ｉ２）の１次内挿画像（Ｉｓ２）を作成し、作成した２枚の内挿画像（Ｉｓ０、Ｉｓ２）から最終的な視点の内挿画像（最終内挿画像）（Ｉｓ）を作成する。ここで１次内挿画像とは、最終内挿画像を作成するために一時的に作成する内挿画像を示す。図２２に示すように、最終内挿画像（Ｉｓ）を作成する為、基本画像（Ｉ０、Ｉ１）に於ける内挿画像（Ｉｓ０）、基本画像（Ｉ０、Ｉ２）における内挿画像（Ｉｓ２）の概念図を示す。
【０１６２】
組になっている基本画像から対応する点を選択し、それらの点を直線で結んで面を定義する（即ち、面定義座標を定義する）。これを対象物全体に対して行う（Ｓ１７０）。面を定義する為の面定義画面の一例を図２０に示す。Ｓ１６０からＳ１７０を少なくとも一以上の基本画像の組合せに対して実行する。この際に、Ｓ１６０に於いて定義した共通点座標と面を定義する点である面定義座標とは同一であっても良いし、異なっていても良い。
【０１６３】
更にＳ１７０に於いて、実施例１と同様に、基本画像から対応する点を選択する場合には、上記のように人間が行わなくとも、片方の基本画像に於いて点を選択しておけば、一方の基本画像に於いてそれと対応する点を自動的に選択するようにしても良い。このプロセスについては後述する。
【０１６４】
少なくとも一以上の基本画像の組合せに対し面の定義が終了後、Ｓ１００からＳ１７０に於ける情報は、画像取込手段２から内挿画像作成手段３へ送信される。
【０１６５】
次に、ユーザが閲覧を希望する視点をマウス等を用いて指定する（Ｓ１７６）。その後、画像取込手段２に於いて定義した共通点情報と面定義座標とに基づいて内挿画像を作成する（Ｓ１８０）。まず内挿画像を作成するにあたって必要となる初期情報（基本行列とエピポール）を初期情報演算手段９で算出する。そのプロセスを以下に説明する。
【０１６６】
３視点間に於ける各座標系の位置関係を図２１に示す。３視点をＣ０、Ｃ１、Ｃ２、３視点からの基本画像を各々Ｉ０、Ｉ１、Ｉ２とする。基本画像Ｉ０とＩ１、基本画像Ｉ１とＩ２、基本画像Ｉ２とＩ０の３×３の基本行列を各々、Ｆ０、Ｆ１、Ｆ２とする。
【０１６７】
基本行列を算出するには、基本画像Ｉ０とＩ１、基本画像Ｉ１とＩ２（あるいは基本画像Ｉ０とＩ１、基本画像Ｉ２とＩ０）から２つの基本行列を算出する必要性があるが、これは公知の手法を用いることにより算出できる（Ｓ１９０）。
【０１６８】
又この基本行列の算出は同様のプロセスで算出が可能であるので、３枚の基本画像を１組とした本実施態様の例では、このプロセスを３回繰り返す必要性がある。
【０１６９】
Ｓ１９０に於いて全ての基本行列を算出後、算出した基本行列に基づいて公知の手法により各基本画像のエピポールを算出する（Ｓ２００）。基本画像Ｉ０とＩ１について基本画像Ｉ０のエピポールをｅ００、基本画像Ｉ１のエピポールをｅ１１とする。同様に基本画像Ｉ１とＩ２について基本画像Ｉ１のエピポールをｅ１０、基本画像Ｉ２のエピポールをｅ２１、基本画像Ｉ２とＩ０について基本画像Ｉ２のエピポールをｅ２０、基本画像Ｉ０のエピポールをｅ０１とする。エピポールｅ００はＦ０ ＴＦ０の最小固有値に対応する固有ベクトルであり、エピポールｅ１１はＦ０Ｆ０ Ｔの最小固有値に対応する固有ベクトルである。他のエピポールについても同様に算出可能である。Ｓ１９０及びＳ２００に於いて算出した基本行列とエピポール間は独立ではなく、数３に示す制約が成立している。
【数３】
ｅ１０ ＴＦ０ｅ０１＝ｅ２０ ＴＦ１ｅ１１＝ｅ００ ＴＦ２ｅ２１＝０
【０１７０】
基本画像Ｉ０、Ｉ１、Ｉ２に於ける基本行列及びエピポールを算出後、内挿画像Ｉｓを作成する為に、まず３枚の基本画像（Ｉ０、Ｉ１、Ｉ２）から２枚の１次内挿画像（Ｉｓ０、Ｉｓ２）を作成し、その作成した１次内挿画像２枚からユーザが希望する視点の最終内挿画像（Ｉｓ）を作成する。内挿画像作成手段３は、２枚の画像（基本画像あるいは内挿画像）から１枚の内挿画像を作成する手段である。これは、図２２に示すように、３枚の基本画像から２枚の内挿画像を作成し、その作成した内挿画像２枚からユーザが希望する視点の最終内挿画像を再作成するからである。
【０１７１】
２枚の基本画像から内挿画像を作成するには、まず、２枚の基本画像を平行で共通点（Ｓ１７０に於いて定めた面定義座標）が同一走査線上に並ぶように画像を写像する必要性があり、このプロセスを一般的に平行化といい、作成した画像を平行化画像という。この平行化を行う為には、Ｓ２００に於いて算出されたエピポールを用いて内挿画像作成手段３の平行化画像作成手段１０に於いて、２枚の基本画像の平行化を実行する（即ち平行化画像を作成する）（Ｓ２１０）。２枚の画像の平行化のプロセスについては後述する。
【０１７２】
Ｓ２１０に於いて、２枚の基本画像の平行化画像を作成後、テクスチャマッピング手段１９は、定義した面の頂点である面定義座標のみを内挿して（Ｓ２２０）、ホモグラフィ行列Ｈｓを適用し基本画像をテクスチャマッピングすることで内挿画像を作成することになる（Ｓ２３０）。テクスチャマッピングのプロセスについては後述する。
【０１７３】
本実施態様に於いては３視点を１組としているので、２枚の基本画像（Ｉ０、Ｉ１）から１次内挿画像（Ｉｓ０）を作成する。同様のプロセスで２枚の基本画像（Ｉ０、Ｉ２）から他の１次内挿画像（Ｉｓ２）を作成する。即ちＳ１８０を２回行うこととなる。
【０１７４】
２枚の１次内挿画像（Ｉｓ０、Ｉｓ２）を作成すると、その２枚の１次内挿画像からＳ１８０と同様のプロセスにより、最終的な内挿画像（最終内挿画像）（Ｉｓ）を作成する（即ちこの段階に於けるＳ１８０の内挿画像は、先程作成した１次内挿画像２枚に基づいて作成する）。作成した最終内挿画像（Ｉｓ）を作成画像記憶手段６に送信し、一時的に格納する。即ち合計３回Ｓ１８０を行うこととなる。
【０１７５】
次に作成した最終内挿画像に対してリアリティを持たせる為に、対象物に対する影を影作成手段４に於いて作成し（Ｓ２４０）、作成した影を作成画像記憶手段６に対して送信し一時的に格納する。影を作成するプロセスについては後述する。又対象物に対する反射を反射作成手段５に於いて作成し（Ｓ２５０）、作成した反射を作成画像記憶手段６に対して送信し一時的に格納する。反射を作成するプロセスについては後述する。Ｓ２４０及びＳ２５０に於いて作成する、影及び反射の作成プロセスは順不同である。
【０１７６】
Ｓ１８０からＳ２５０に於いて作成され、作成画像記憶手段６に一時的に格納した最終内挿画像、影及び反射を合成表示手段７に対して送信し、これらを１枚の画像に合成する（Ｓ２６０）。Ｓ２６０に於ける合成の手法は、対象物の複数画像からその３次元的な情報を「復元」することにより、複数の対象物を同一視点で合成して表示することにより実現できる。これは「復元」の手法として「射影復元」あるいは「ユークリッド復元」の公知技術を用いることにより実現する。
【０１７７】
Ｓ２６０に於いて影や反射、内挿画像が合成表示された後、位置、大きさに関する補正処理が実行される（Ｓ２７０）。これは、Ｓ１００に於いて取り込んだ基本画像は、カメラから対象物までの距離や、基本画像内での対象物の位置が視点毎に異なることが一般的である。そしてこれらが異なったまま内挿画像の作成を連続的に行うと、視点移動以外の対象物の変位が発生し、見かけ上、対象物が拡大／縮小表示されたり、対象物が一定の点の周りに回転せず上下に動いたりする問題点が発生する点を解決する為である。
【０１７８】
これを防ぐ為に、本発明では、基本画像内の対象物のカメラからの距離（＝拡大／縮小倍率）と位置を補正するプロセスを付加することにより、この問題点の解決を図る。位置、大きさの補正処理プロセスについては後述する。
【０１７９】
Ｓ２７０に於いて、位置、大きさの補正処理が終了後、作成した内挿画像を表示する。Ｓ２４０からＳ２７０に於ける影・反射・合成表示・位置、大きさの補正に付いてはその全てあるいは一部だけが行われても、あるいは行われなくても良い。
【０１８０】
【実施例３】
本発明に於ける他の実施態様を図１及び図２のシステム構成図に基づいて詳細に説明する。本実施態様に於いては対象物の３視点からの２次元画像（基本画像）（Ｉ０、Ｉ１、Ｉ２）からユーザが希望する視点に於ける内挿画像（ＩＳ）を作成するプロセスを説明する（即ち２次元の視点移動を可能とするプロセスを説明する）。但し実施例２に於いては、３枚以上の基本画像を１組として、その組内の２枚の基本画像から１次内挿画像を作成し、複数の１次内挿画像から最終内挿画像を作成する、２段階のプロセスを経た場合を説明した。
【０１８１】
しかし、この場合であると２段階のプロセスを経ることから例えば３枚の基本画像を１組とした場合には、内挿画像を作成するプロセスを３回行う必要性がありその分処理時間が遅延化し、更に１次内挿画像から最終内挿画像を作成することによって、最終内挿画像が歪みやすくなる欠点を有している。
【０１８２】
そこで本実施態様に於いては、３枚の基本画像から１度で内挿画像（最終内挿画像）の作成を行うプロセスを説明する。尚実施例１及び実施例２と重複する部分については簡略化の為、説明を省略する。
【０１８３】
画像作成者は、サーバ１４上に於いて画像取込手段２から対象物の３枚の基本画像を取り込む（Ｓ１００）。取り込んだ基本画像に於いて、３枚の基本画像を１組とし、その組内に於ける基本画像に共通する位置の座標、即ち共通点座標を８点以上定義する（Ｓ１６０）。但し、共通点座標は、任意に３点を取っても一直線上に並ばないような共通点でなければならない。又、マウス等の入力デバイス（図示せず）で共通点座標を定義することが好適であるが、他の手段によっても良い。
【０１８４】
組になっている基本画像から対応する点を選択し、それらの点を直線で結んで面を定義する（即ち、面定義座標を定義する）。これを対象物全体に対して行う（Ｓ１７０）。面を定義する為の面定義画面の一例を図２０に示す。Ｓ１６０に於いて定義した共通点座標と面を定義する点である面定義座標とは同一であっても良いし、異なっていても良い。
【０１８５】
又対応する点の選択の際に、実施例１及び実施例２と同様に一枚の基本画像に於いて選択するのみで、残りの基本画像の対応する点は、自動的に選択できるようにしても良い。このプロセスについては後述する。
【０１８６】
基本画像の組合せに対し面の定義が終了後、Ｓ１００からＳ１７０に於ける情報は、画像取込手段２から内挿画像作成手段３へ送信される。
【０１８７】
次に、ユーザが閲覧を希望する視点をマウス等を用いて指定する（Ｓ１７６）。その後、画像取込手段２に於いて定義した共通点情報と面定義座標とに基づいて内挿画像を作成する（Ｓ１８０）。先ず、内挿画像を作成するにあたって必要となる初期情報（基本行列とエピポール）を初期情報演算手段９で算出する。そのプロセスを以下に説明する。
【０１８８】
３視点間に於ける各座標系の位置関係を図４０に示す。３視点をＣ０、Ｃ１、Ｃ２、３視点からの基本画像をＩ０、Ｉ１、Ｉ２とする。各基本画像Ｉ０とＩ１、Ｉ１とＩ２、Ｉ２とＩ０の３×３の基本行列を各々Ｆ０、Ｆ１、Ｆ２とする。基本行列は、各基本画像の組の８組以上の対応点から公知の手法である８点アルゴリズム等を用いて算出することが可能である（Ｓ１９０）。
【０１８９】
Ｓ１９０に於いて基本行列を算出後、算出した基本行列に基づいて公知の手法により各基本画像のエピポールを算出する（Ｓ２００）。基本画像Ｉ０とＩ１について基本画像Ｉ０のエピポールをｅ００、基本画像Ｉ１のエピポールをｅ０１、同様に基本画像Ｉ１とＩ２について基本画像Ｉ１のエピポールをｅ１０、基本画像Ｉ２のエピポールをｅ１１、基本画像Ｉ２とＩ０について基本画像Ｉ２のエピポールをｅ２０、基本画像Ｉ０のエピポールをｅ２１とする。エピポールｅ００はＦ０ ＴＦ０の最小固有値に対応する固有ベクトルである。他のエピポールについても同様に算出可能である。
【０１９０】
基本画像Ｉ０、Ｉ１、Ｉ２に於ける基本行列及びエピポールを算出後、内挿画像
ＩＳを作成するには、Ｓ２００に於いて算出されたエピポールを用いて内挿画像作成手段３の平行化画像作成手段１０に於いて、３枚の基本画像の平行化を実行し平行化画像を作成する（Ｓ２１０）。３枚の基本画像の平行化のプロセスについては後述する。
【０１９１】
Ｓ２１０に於いて、３枚の基本画像の平行化画像を作成後、テクスチャマッピング手段１９は、定義した面の頂点である面定義座標のみを内挿して（Ｓ２２０）、ホモグラフィ行列Ｈｓを適用して基本画像をテクスチャマッピングすることで内挿画像を作成する（Ｓ２３０）。テクスチャマッピングのプロセスについては後述する。
【０１９２】
内挿画像作成手段３に於いて内挿画像（Ｉｓ）を作成すると、作成画像記憶手段６に送信し一時的に格納する。本実施態様に於いては、実施例２と同様に３枚の基本画像から最終的な内挿画像（Ｉｓ）を作成するが、実施例２に於いては２枚の組からＳ１８０を３回行うことによって最終的な内挿画像（Ｉｓ）を作成している。しかし、本実施手態様に於いては３枚の基本画像から１度に最終的な内挿画像（Ｉｓ）を作成するので１回で良い。
【０１９３】
次に作成した内挿画像に対してリアリティを持たせる為に、影作成手段４、反射作成手段５に於いて影、反射を作成し（Ｓ２４０、Ｓ２５０）、作成画像記憶手段６に対して送信し一時的に格納する。これらのプロセスについては詳細は前記実施例と同様なので詳細は省略する。
【０１９４】
作成画像記憶手段６に一時的に格納した内挿画像、影、反射を合成表示手段７に於いて合成し（Ｓ２６０）、位置、大きさに関する補正処理を行う（Ｓ２７０）。これらのプロセスについても同様なので詳細は省略する。Ｓ２７０に於いて補正処理が終了後、この画像を表示する。当然のことながら、影、反射、合成表示、補正処理については、その全て或いは一部だけが行われても、或いは行われなくとも良い。
【０１９５】
【実施例４】
又本発明に於ける他の実施例として、予め決められたパス（経路）と移動速度で視点移動を行い内挿画像を自動作成し連続表示する自動表示について説明する。実施例１、実施例２及び実施例３と重複する部分については説明を省略する。本実施態様に於いては、パスと視点間の移動速度の設定を行う自動連続手段１７がサーバ１４上に具備され、前記設定したパスと移動速度に基づいて自動連続表示を行う自動連続作成手段１８がユーザ端末１５上に具備されている例を説明する。図３にその際の画像表示システム１のシステム構成の一例であるシステム構成図を示す。
【０１９６】
従来、このような自動連続表示には３次元データを入力し実行する、動画データにより実現する等があるが、データ量が増加する等の前記のような問題点が存在している。又従来視点区間を指定されたフレーム数で分割し、各フレームを順次表示することにより実行しているが、この場合、視点の移動速度は、視点区間では一定となる問題点がある。
【０１９７】
そこで本実施態様では、サーバ１４に於いて予めパスと移動速度を指定し、それに基づいて視点移動を行うことにより、内挿画像を自動作成しそれをユーザ端末１５上に於いて連続的に表示する実施例を説明する。プロセスの流れの一例を図１４から図１６のフローチャート図に示す。
【０１９８】
まず自動連続表示させることを希望する場合に、画像取込手段２に於いて自動連続表示させる基本画像を複数枚取り込む（Ｓ１００）。基本画像を取り込むプロセスは後述する。Ｓ１００に於いて取り込んだ基本画像に対して２枚以上を１組としてその組内に於ける基本画像に共通する位置の座標、即ち共通点座標を８点以上定義する（Ｓ１６０）。この際に、組は実施例１に示したように２枚１組でも良いし、実施例２又は実施例３に示したように３枚１組（又は３枚１組を複数組設ける）でも良い。
【０１９９】
組になっている基本画像から対応する点を選択し、それらの点を直線で結んで面を定義する（Ｓ１７０）（即ち、面定義座標を定義する）。これを対象物全体に対して行う。この際にＳ１６０に於いて定めた共通点座標と面を定義する点である面定義座標が同一であっても良いし、異なる点であっても良い。
【０２００】
Ｓ１００に於いて取り込んだ基本画像はカメラ（視点）から対象物までの距離や基本画像内での対象物の位置が視点毎に異なることが多い。これらが異なったまま自動連続表示を行うと、視点移動以外の対象物の変位が発生し、見かけ上対象物が拡大／縮小表示されたり、対象物が一定の点の周りに回転せず上下に動く等の問題点が発生する。
【０２０１】
そこで、本発明に於いて自動連続表示を行う際には、各基本画像内の対象物のカメラ（視点）からの距離（＝拡大／縮小倍率）と位置を補正する為に、対象物の範囲を示す情報（基本画像内の上、左、下、右の位置座標とし、以下ターゲット枠情報とする）を設定する（Ｓ１７５）。ターゲット枠情報が設定された基本画像の一例を図３７（ａ）（ｂ）に示す。図３７内に於いて内側の四角はターゲット枠を示し、外側の四角は基本画像の視点の枠を示す。
【０２０２】
面の定義が終了後、Ｓ１００からＳ１７５に於ける情報は、画像取込手段２から自動連続手段１７へ送信する。
【０２０３】
まず、自動連続表示の開始となる視点（開始視点）、停止する視点（停止視点）終了する視点（終了視点）を設定する（Ｓ５００）。この視点設定を行う際には、サーバ１４に具備されている入力デバイス（図示せず）であるマウス等を用いて行うことが好適である。
【０２０４】
視点を設定する際には、Ｓ１００の基本画像の取込プロセスに於いて説明するように、マウスの移動量に応じて視点の移動を行うことが好適である。具体的な手法についてはＳ１５０に於けるプロセスと同様に数３及び数４（後述）を用いて算出できる。又、停止視点を設定する際には、その視点に於いてマウスが停止している時間をサーバ１４内に予め具備されているタイマ機能（図示せず）を用い時間の計測を行うことが好適である。
【０２０５】
即ち、Ｓ５００を実行することにより、自動連続表示のパスが設定できることとなる。又このパスに対して各々移動速度を設定することにより、パス毎の移動速度を変化させることが可能となる。移動速度の設定の際には、キーボードを用いて移動速度を入力しても良いし、マウスの移動速度とタイマとを対応させることにより、パスに於ける移動速度を設定しても良い。
【０２０６】
Ｓ５００に於いて視点のパスと移動速度を設定後、自動連続表示プロセスを自動連続手段１７に於いて実行する（Ｓ５０５）。
【０２０７】
次にユーザがユーザ端末１５から自動連続表示要求を送信し、それをサーバ１４の自動連続手段１７に於いて受信すると、Ｓ１００からＳ１７５及びＳ５００の情報をサーバ１４からユーザ端末１５の自動連続作成手段１８に送信する。
【０２０８】
自動連続表示では、複数の静止画を連続的に表示することにより動画的に表示する。ここで静止画１枚をフレームと呼ぶ。即ちフレームの連続表示により動画となる。又視点から視点の間のパスを視点区間とする。図３８に概念図を示す。
【０２０９】
まず、現在の描画区間位置が、視点区間の開始又は終了視点で、且つ停止カウント（停止時間）が０であるか否かを判定する（Ｓ５１０）。最初に表示される画像は開始視点であるはずなので、停止時間を減算する（Ｓ５１５）。その間は開始視点の基本画像を表示することとになる。
【０２１０】
停止時間が０になると、サーバ１４の自動連続手段１７に於いて定義されたパスに基づいて視点移動が開始される。即ちＳ５１０に於いて描画停止でない場合のプロセスを実行することとなる。
【０２１１】
現在の描画区間位置から次描画区間位置の計算を行う（Ｓ５２０）。当然の事ながらこの際には連続表示のパスの方向によって、描画区間位置は減増することとなる。
【０２１２】
次描画区間位置が視点区間の開始位置以下、又は終了位置以上になるかを判定する（Ｓ５３０）。つまり次描画区間位置が視点区間を越えるか否かを判定する。
【０２１３】
Ｓ５３０に於いて、次描画区間位置が視点区間を越えない場合、視点区間と描画区間位置の情報を内挿画像作成手段３に送信し内挿画像を作成する（Ｓ１８０）。又内挿画像を作成する際には、Ｓ１８０に於ける内挿画像作成プロセスを用いて行えばよい。又必要に応じてＳ２６０に於ける影の作成、Ｓ２７０に於ける反射の作成、Ｓ２８０に於ける合成表示処理、Ｓ２９０に於ける位置、大きさの補正処理を行う。
【０２１４】
Ｓ５３０に於いて次描画区間位置が視点区間を越える場合、次視点区間を次に隣接する視点区間に、次描画区間位置を初期値（開始区間位置又は終了区間位置）に設定を行う（Ｓ５４０）。
【０２１５】
Ｓ５４０に於いて設定後、次視点区間が自動連続表示の最終視点区間を越えるか否かの判定を行う（Ｓ５５０）。次視点区間が最終視点区間を越えない場合には、Ｓ１８０の内挿画像を作成する。
【０２１６】
次視点区間が最終視点区間を越え（Ｓ５５０）、且つ自動連続表示がループ表示（即ち、最終視点区間に到達した場合、開始視点区間に戻り再表示を行う場合）の場合（Ｓ５５５）、ループに設定されている視点区間と初期描画区間位置を設定する（Ｓ５６０）。Ｓ５５０に於いて次視点区間が最終視点区間を越えない場合、又Ｓ５５５に於いてループ表示の設定が為されていない場合内挿画像を作成する（Ｓ１８０）。このループ表示の設定は予めサーバ１４の自動連続手段１７に於いて、パスの設定等を行う際に指定しても良いし、ユーザ端末１５に於いて設定しても良い。
【０２１７】
Ｓ１８０に於いて内挿画像を作成後、影、反射の作成（Ｓ２４０、Ｓ２５０）及びそれらの合成表示（Ｓ２６０）を行い、その後内挿画像が補正処理手段８に送信され、位置・大きさの補正処理を実行する（Ｓ２７０）。位置・大きさの補正処理についてはＳ２７０と同様のプロセスを実行する。
【０２１８】
Ｓ２７０に於いて補正処理を実行後、それをユーザ端末１５上に於いて表示する。その後、最終視点に到達するまでＳ５０５を連続的に繰り返すことにより連続的なフレームが作成することが可能となり、これをユーザ端末１５上で表示することにより動画のように表示することが可能となる（Ｓ５７０）。
【０２１９】
【実施例５】
以下に、ユーザ端末１５上でパスを設定するプロセスを説明する。又、重複するプロセスについては省略する。本実施態様に於いてはパスと視点間の移動速度を設定する自動連続手段１７及び前記設定したパスと移動速度に基づいて自動連続表示を行う自動連続作成手段１８がユーザ端末１５に具備されている場合の画像表示システム１を説明する。図４にこの場合の画像表示システム１のシステム構成図の一例を示す。
【０２２０】
サーバ１４上に於いて、対象物の基本画像を取込み（Ｓ１００）、それに対して共通点と面を定義し（Ｓ１６０及びＳ１７０）、ターゲット枠情報を設定する（Ｓ１７５）。Ｓ１００からＳ１７５の情報がユーザ端末１５に送信され、ユーザ端末１５に具備した自動連続手段１７に於いて視点設定が行われる（Ｓ５００）。この際にユーザはユーザ端末１５上に予め具備されているマウス等の入力デバイス（図示せず）を用いることにより、パスとその視点間の移動速度を設定する。
【０２２１】
視点設定を行う際には、Ｓ１００の基本画像の取込プロセスに於いて説明するように、マウスの移動量に応じて視点の移動を行うことが好適である。具体的な手法についてはＳ１５０に於けるプロセスと同様に数４及び数５（後述）を用いて算出できる。又、停止視点を設定する際には、その視点に於いてマウスが停止している時間をユーザ端末１５内に予め具備されているタイマ（図示せず）を用い時間の計測を行うことが好適である。
【０２２２】
即ち、Ｓ５００を実行することにより、自動連続表示のパスが設定できることとなる。又このパスに対して各々移動速度を設定することにより、パス毎の移動速度を変化させることが可能となる。
【０２２３】
Ｓ５００に於いて視点のパスと移動速度を設定後、設定した視点を自動連続作成手段１８に送信しＳ５０５からＳ５７０までのプロセスを実行することにより、ユーザ端末１５上に於いて視点と移動速度を設定することで、自動連続表示を行うことが可能となる。
【０２２４】
＜基本画像取込みのプロセス＞
以下に基本画像を取り込むプロセスを説明する。基本画像を取り込むプロセスの流れの一例を示したフローチャート図の一例を図８に示す。先ず、画像作成者は、スキャナ等から対象物を撮影した、あるいは従前にデジタルデータとしてコンピュータ上に格納している２次元画像を抽出し、読み込む（Ｓ１１０）。複数の画像を読込後、画像作成者は画像取込手段２を起動し（即ち、図１７（ａ）に示した視点定義を行う為の視点定義画面を起動する）初期状態にする。その後、視点定義画面に於いて、視点となる２次元平面を３次元仮想空間上（この３次元仮想空間は、３次元仮想空間を座標系原点とする球を想定する）に作成する（Ｓ１２０）。この状態の視点定義画面の画面イメージを図１７（ｂ）に示す。Ｓ１２０に於いて視点を作成後、Ｓ１１０に於いて読み込んだ画像を取込み、Ｓ１２０に於いて作成した視点に基本画像を対応させる。この状態における視点定義画面の画面イメージを図１７（ｃ）に示す。視点に読み込まれた基本画像の上下左右等の視点の位置調整を実行する（Ｓ１３０）。この状態の視点定義画面の画面イメージを図１７（ｄ）に示す。
【０２２５】
Ｓ１１０からＳ１３０に於いて設定された視点を全ての視点に於いて実行していない場合（Ｓ１４０）、次の視点を入力する為に視点移動を行う。この際には、各画像の視点位置、及び視線方向（画像面の方向）を数値化してキー入力をすることによって実現しても良いが、画像作成者が数値化してキー入力することは煩雑である。その為、図１８に示すように、想定された仮想３次元空間上の座標系原点を中心とした球に於いて、視点上でのｘ、ｙ座標を球面の極座標（φ、θ）に対応させ、マウス等の入力デバイス（図示せず）の移動量に応じて極座標（φ、θ）を算出し、その位置に視点を移動する（Ｓ１５０）。３次元仮想空間上に於いて視点が移動した画面イメージを図１９（ａ）に示す。
【０２２６】
極座標（φ、θ）は、以下のように算出する。単位時間に於けるｘ、ｙ座標の変化をΔｘ、Δｙとすると、Δφ、Δθは数４で算出できる。
【数４】
Δφ＝Ｃｘ × Δｘ（∀Ｃｘ∈Ｚ）
Δθ＝Ｃｙ × Δｙ（∀Ｃｙ∈Ｚ）
【０２２７】
数４と下記に示す数５を用いることにより極座標（φ、θ）は算出することが出来る。
【数５】
【０２２８】
Ｓ１５０に於いて視点移動後、再びＳ１１０からＳ１４０を繰り返すことにより、２視点以上を作成する。２番目以降の視点が作成された画面イメージを図１９の（ｂ）から図１９の（ｄ）に示す。本実施態様で用いた画面イメージでは８視点を設けたが、２視点以上であれば視点はいくつであっても構わない。
【０２２９】
＜対応する点の自動照合のプロセス＞
基本画像の組から対応する点を定義する際には、組となる基本画像の全てからマウス等を用いて手作業で指定する必要性があった。しかし、手作業に因った場合では非常に手間がかかることからとても煩雑であり、組となる画像の枚数が多くなる、画像サイズが大きくなる等の場合には非常に負担となる。そこで組となる基本画像のうち、一枚の基本画像に於いて点を定義すると、組となる残りの基本画像から自動的に対応する点を抽出するプロセスを以下に説明する。まず、２枚の基本画像（Ｉ０、Ｉ１）を組とする場合を説明する。
【０２３０】
まず、各基本画像に於いて対象物の輪郭線沿いの点（以下、エッジ端点）をスーザン演算子を用いることによって自動的に抽出する。スーザン演算子を用いて対象物のエッジ端点を自動的に抽出する方法は、エス・エム・スティーブ、エム・ブレイディー（S.M.Steve and M.Brady)著「低レベル画像処理に於ける新しいアプローチ」（SUSAN A New Approach to Low Level Image Processing,International Journal of Computer Vision, Vol.23, No.1,p.45-78,1997）に記載されている。エッジ端点を自動的に抽出した図を図４４に示す。
【０２３１】
抽出したエッジ端点の中で組となる任意の点を弱校正用の点（以下、ドロネー三角形指定点）と定め、ユーザが指定を行う。図４５にドロネー三角形指定点を指定した場合の図を示す。尚図４５に於いては１１点を指定している。
【０２３２】
エッジ端点の抽出によって得られた基本画像Ｉ０上の１点をｐ０とし、基本画像Ｉ０とＩ１上の対応するドロネー三角形指定点（指定したドロネー三角形指定点の対応点の組の数をｎとする）を各々ｑ０ｉとｑ１ｉと（ｉ＝０，１，…，ｎ−１）とする。ドロネー三角形指定点から逐次法を用いることによって、ドロネー三角形を基本画像Ｉ０内に生成する。逐次法については、ディー・リスチンスキー（D.Lischinski）著「グラフィック・ジェムズ第４巻 逐次ドロネー三角形化」（Incremental Delaunay triangluation in Graphics Gems IV, AP Professional,1994）に記載されている。ドロネー三角形が生成された基本画像の一例を図４６に示す。
【０２３３】
点ｐ０を含むドロネー三角形の頂点をｑ００、ｑ０１、ｑ０２とする。点ｐ０がドロネー三角形の外部にある場合には、距離が近い点から順にｑ００、ｑ０１、ｑ０２と定義する。この時ｕ、ｖを未知のスカラパラメータとして、以下のように定義する。
ａ＝ｑ０１−ｑ００
ｂ＝ｑ０２−ｑ００
ｐ０＝ｕａ＋ｖｂ＋ｑ００
【０２３４】
これらの式から図４７が得られ、これを解くことによってｕ、ｖを算出する。但し、正則でない場合にはｑ０２を次に近いドロネー三角形指定点に置き換える。これらによって、基本画像Ｉ１に於ける対応点の初期推定位置ｐ＾１は以下の式で与えられる。
ｐ＾１＝ｕ（ｑ１１−ｑ１０）＋ｖ（ｑ１２−ｑ１０）＋ｑ１０
【０２３５】
ドロネー三角形指定点の三角形から線形に補間をしてもエピポール制約を満たさないので、基本画像Ｉ１の点ｐ＾１が基本画像Ｉ０の点ｐ０との間にエピポール制約を満たすように修正を行う必要性がある。点ｐ０、ｐ１の同次座標表現をｐ〜 ０、ｐ〜 １とすると、対応する点は基本画像内に存在する有限空間内の点であることから同次成分を１として、ｐ〜 １＝（ｐＴ １、１）＝（ｐ１ｘ、ｐ１ｙ、１）Ｔとすることが出来る。
【０２３６】
この時のエピポール制約は３×３の基本行列Ｆを用いてｐ〜Ｔ １Ｆｐ〜 ０＝０で表せる。基本行列Ｆの各成分も点ｐ〜 ０の点の成分も既知であることから、エピポール制約によりｐ〜 １は図４８に示すようなエピポール制約直線上に拘束されることが明らかである。即ちＬ＝Ｆｐ〜 ０とするとエピポール制約はＬ・ｐ〜 ０＝０である。
【０２３７】
このエピポール制約直線上に初期推定位置ｐ＾１を投影すると、エピポール制約直線に垂直な直線ｐ１＝ｔ（Ｌｘ、Ｌｙ）Ｔ＋ｐ＾１が、Ｌ・ｐ〜 ０＝０満たすことから、パラメータｔ＝−（Ｌｘｐ１ｘ＋Ｌｙｐ＾１ｙ＋Ｌｚ）／（Ｌ２ ｘ＋Ｌ２ ｙ）で算出が可能となる。これらからエピポール制約を満たすｐ１が求まる。
【０２３８】
先程求めたエピポール制約を満たすｐ１が基本画像上の対応点に一致するとは限らないので、エピポール制約直線上との輝度差を調べることによって、対応する点の修正を行う（線形探索と呼ぶ）。
【０２３９】
点ｐ１から一定距離内にあるエピポール制約直線上の各画素について点ｐ０の周辺に定義した探索窓（図４８参照：本実施態様に於いては正方形である場合を説明するが、それ以外であっても良い）との輝度の差が最小になる位置を求める。２枚の基本画像を用いた場合では視点の違いにより、対応する点であっても輝度が異なることがあるが、相対的な誤差の極小点は比較的安定的に求めることが自明である。又輝度の差は、探索窓全体について平均を用いるだけではなく、部分についても輝度差を求めることで周波数の影響を考慮する。
【０２４０】
探索窓に於ける輝度差は、探索窓の幅を２ｈ、基本画像Ｉ０、Ｉ１の座標（ｘ０、ｙ０）、（ｘ１、ｙ１）に於ける輝度差Ｃ０（ｘ０、ｙ０）、Ｃ１（ｘ１、ｙ１）を用いて、図４９のように再帰的に算出することによって可能である。又ｋは探索窓の大きさ毎の重みを表し、ｋ＝１では全ての大きさについて同じ重みで考慮する。ｋ＜１では小さい探索窓の影響を重視し、ｋ＞１では大きい探索窓の影響を重視する。一般的にはノイズの影響を減らし、低周波成分を重視する為にｋ＞１を用いることが好適である。図５０に自動的に対応する点の照合を行った場合の図を示す。
【０２４１】
上記では２枚の基本画像の場合を説明したが、次に３枚以上の画像で自動的に対応する点の照合を行う場合を説明する。３枚以上の画像の場合には、上述のように２枚の画像についてまず対応点を求め、その後３枚目以降の画像について解析的に対応点を求める。以下にそのプロセスを説明する。
【０２４２】
基本画像Ｉ０、Ｉ１、Ｉ２の対応する点を同次座標で表したものを各々ｐ〜 ０、ｐ〜 １、ｐ〜 ２とし、基本画像Ｉ０とＩ１、基本画像Ｉ１とＩ２、基本画像Ｉ２とＩ０の基本行列をＦ０１、Ｆ１２、Ｆ２０とする。ｐ〜 ０、ｐ〜 １は既知であるので、ｆ１２＝Ｆ１２ｐ〜 １、ｆ２０＝ＦＴ ２０ｐ〜 １、とすると、図５１の式が求められ、この一次方程式を求めることによって、３枚目の画像に於いてもｐ２を求めることが可能となる。これは、基本画像Ｉ０、Ｉ１からの２つのエピポール制約直線の交点を求めることであって、輝度差を考慮した線形探索を行う必要がなくなる。但し正則でない場合には２直線が平行となることは自明であり、輝度差を用いて求めることとなる。
【０２４３】
＜２枚の画像の平行化のプロセス＞
以下にＳ２１０に於ける画像の平行化のプロセスの一例を説明する。本実施態様に於いては２枚の基本画像Ｉ０とＩ１ の平行化を説明するが、当然の事ながら平行化は、対象となる２枚の基本画像に於いて全て作成する必要性がある。
【０２４４】
２枚の基本画像を平行化する為には、まず２枚の基本画像を、Ｓ１９０に於いて算出したエピポールｅｉｊ（ｉ＝０，１，ｊ＝０，１）と平行でない任意の軸ｄｉｊの周りにθｉｊだけ回転させることで平行にする。本実施態様に於いては簡単の為に、ｄｉｊをエピポールｅｉｊと垂直な無限遠の直線ｄｉｊ ＝ （ｅｉｊｙ ｅｉｊｘ ０）Ｔとする。２枚の基本画像が平行と言うことはこの変換によりエピポールが無限遠点に移されることを意味する。即ち、回転行列Ｒ（ｄｉｊ、θｉｊ）を図２３（ａ）に示すと、Ｒ（ｄｉｊ、θｉｊ）ｅｉｊの同次成分は０となる。
【０２４５】
次にエピポーラ線を水平にするようにｚ軸周りに回転する。即ちこの回転行列を図２３（ｂ）に示すようにＲ（φｉｊ）、ｅ’ｉｊ ＝Ｒ（ｄｉｊ、θｉｊ）ｅｉｊとすると、Ｒ（φｉｊ）ｅ’ｉｊ のｙ成分は０である。
【０２４６】
ｐ＾ｉｊ＝Ｒ（φｉｊ）Ｒ（ｄｉｊ、θｉｊ）ｐｉの変換によって定数倍の不定性を除いて面定義座標同士は同一走査線上に並ぶ。定数倍の不定性を取り除く為の第２の基本画像にかける３×３の剪断変形行列Ｔｉとすると、数６及び数７で計算されるホモグラフィＨｉ０、Ｈｉ＋１，１により、同一走査線上に面定義座標が並ぶ平行化が行える。この関係を図示すると図２４のようになる。
【数６】
Ｈｉ０ ＝Ｒ（ｄｉ０，−θｉ０）Ｒ（−φｉ０）
【数７】
【０２４７】
基本画像Ｉ０の座標点（面定義座標のうちの一点）ｐ０が平行化によって写像された点ｐ＾００＝Ｈ−１ ００ｐ０と、基本画像Ｉ１の座標点ｐ１が平行化によって写像された点ｐ＾１１＝Ｈ−１ １１ｐ１とは同一ｙ座標を持つ。基本画像Ｉ０、Ｉ１をｓ１の比に内分する点ｐ＾ｓ０ （図２２参照）も平行化座標では同一ｙ座標を持つことから数８のように内挿できる。同様に、基本画像Ｉ０、Ｉ２をｓ１の比に内分する点ｐ＾ｓ２は数９のように示される。
【数８】
ｐ＾ｓ０ ＝（１−ｓ１）ｐ＾００＋ｓ１ｐ＾１１
【数９】
ｐ＾ｓ２ ＝（１−ｓ１）ｐ＾０１＋ｓ１ｐ＾２０
【０２４８】
基本画像Ｉ０、Ｉ１の組について、基本画像Ｉ０の４隅の点をｂ０ｉ（ｉ＝０，１，２，３）として、その平行化画像での点をｂ＾００ｉとする。又、基本画像Ｉ１の４隅の点をｂ１ｉ（ｉ＝０，１，２，３）として、その平行化画像での点をｂ＾１１ｉとする。基本画像上での４隅の点の内挿をｂｓ０ｉ ＝（１−ｓ１）ｂ０ｉ＋ｓ１ｂ１ｉとし、その平行化画像上での４隅の点の内挿をｂ＾ｓ０ｉ ＝（１−ｓ１）ｂ＾００ｉ＋ｓ１ｂ１１ｉとする。このとき、ｐｓ０ｉ＝Ｈｓ０ｐ＾ｓ０ｉの最小自乗解となるような３×３の行列Ｈｓ０を基本画像Ｉ０、Ｉ１の内挿ホモグラフィとする。同様に基本画像Ｉ０、Ｉ２の組についてもＨｓ２を算出することが可能である。
【０２４９】
内挿ホモグラフィを算出後、中間視点Ｉｓ０に於ける点の座標を数１０を用いることにより算出する。
【数１０】
ｐｓ０ ＝Ｈｓ０ｐ＾ｓ０
【０２５０】
＜３枚の画像の平行化のプロセス＞
以下に３枚の画像を平行化する場合のプロセスの一例を説明する。基本画像
Ｉ０、Ｉ１、Ｉ２を平行にする回転行列をそれぞれＲ（ｄ０、θ０）、Ｒ（ｄ１、θ１）Ｒ（ｄ２、θ２）とする。但し、Ｒ（ｄｉ、θｉ）は回転軸ｄｉの回りの角度θｉの回転を示す。回転行列Ｒ（ｄｉ、θｉ）は図４１（ａ）で示される。
【０２５１】
基本画像Ｉ０、Ｉ１、Ｉ２のｚ軸周りの回転行列を各々Ｒ（φ０）、Ｒ（φ１）、Ｒ（φ２）とする。ｚ軸回りの回転行列Ｒ（φｉ）は図４１（ｂ）で示される。又基本画像Ｉ１のＩ０に対する３×３の剪断変形行列をＴ１、基本画像Ｉ２のＩ０に対する３×３の剪断変形行列をＴ２とする。
【０２５２】
３枚の基本画像を一度に変換する場合については、２枚の基本画像の場合と同様にエピポールを無限遠に移す回転変換を行えばよいが、各基本画像の組について回転を求めるのではなく、全ての基本画像を同時に変換するので、回転軸の自由度は失われ一意に定まることとなる。
【０２５３】
回転行列Ｒ（ｄ０、θ０）、Ｒ（ｄ１、θ１）Ｒ（ｄ２、θ２）によって移されるエピポールをｅ’ｉｊ（ｉ＝０，１，２，ｊ＝０，１）とすると、
（１） ｅ’００ ＝ Ｒ（ｄ０、θ０）ｅ００
（２） ｅ’２１ ＝ Ｒ（ｄ０、θ０）ｅ２１
（３） ｅ’１０ ＝ Ｒ（ｄ１、θ１）ｅ１０
（４） ｅ’０１ ＝ Ｒ（ｄ１、θ１）ｅ０１
（５） ｅ’２０ ＝ Ｒ（ｄ２、θ２）ｅ２０
（６） ｅ’１１ ＝ Ｒ（ｄ２、θ２）ｅ１１
となる。
【０２５４】
ここで、画像が平行になるとは、他のエピポールが無限遠になり同次成分が０になることを意味するので、ｅ’ｉｊｚ＝０が成立する。基本画像Ｉ０の無限遠回りの回転を表す為に、回転軸ｄ０の同次成分に関して、
（７） （−ｅ００ｘｄ０ｙ＋ｅ００ｙｄ０ｘ）ｓｉｎθ０＋ｃｏｓθ０＝０
（８） （−ｅ０１ｘｄ０ｙ＋ｅ０１ｙｄ０ｘ）ｓｉｎθ０＋ｃｏｓθ０＝０
が成立する。従ってｄ０ｙ＝ｄ０ｘ×（ｅ０１ｙ−ｅ００ｙ）／（ｅ０１ｘ−ｅ００ｘ）が得られる。
【０２５５】
ここでｄ０ｘの係数をα０とすると、回転軸は単位ベクトルであるので、ｄ２ ０ｘ＋ｄ２ ０ｙ＝（１＋α２ ０）ｄ２ ０ｘ＝１となり、回転軸ｄ０は、図４２（ａ）として求められる。この式に（７）を代入すると、回転角度θ０は、ｔａｎθ０＝１／（ｅ００ｘｄ０ｙ−ｅ００ｙｄ０ｘ）で算出可能となる。従って、図４２（ｂ）を図４１（ａ）に代入することで回転行列Ｒ（ｄ０、θ０）を算出することが可能となる。Ｒ（ｄ１、θ１）、Ｒ（ｄ２、θ２）についても同様に算出が可能である。このプロセスを平行化回転変換（３画像を平行にする変換）と呼ぶ。
【０２５６】
次に対応点の組を同一水平線上に並べる水平化回転変換のプロセスを行う。２画像の場合にはエピポールのｙ座標が０になる変換を行えばよいが、３画像ではエピポールが各画像の組毎に定義されている為、上記の方法は用いることが出来ない。そこで、最初に基本画像Ｉ０、Ｉ１の組について平行化を行い、基本画像Ｉ２に関しては、基本画像Ｉ０、Ｉ１の座標系に対する相対的な変換を求める。
【０２５７】
まず基本画像Ｉ０、Ｉ１については２枚の基本画像に於ける場合と同様に、エピポールのｙ座標が０になるように変換することで対応点が同一ｙ座標に並ぶように変換を行う。即ちｅ’’００＝Ｒ（φ０）ｅ’００ 、ｅ’’０１＝Ｒ（φ１）ｅ’０１ で変換されたエピポールのｙ座標がｅ’’００ｙ＝０、ｅ’’０１ｙ＝０となる。ここで基本画像Ｉ０について解くと、ｅ’’００ｙ＝ｅ’００ ｘｓｉｎφ０＋ｅ’００ｙｃｏｓφ０＝０となり、これより、回転角度φ０＝−ｅ’００ｙ ／ｅ’００ｘとして求められる。従って図４２（ｃ）を図４１（ｂ）に代入して回転行列Ｒ（φ０）が求められる。基本画像Ｉ１についても同様である。
【０２５８】
次に基本画像Ｉ０、Ｉ１の座標系に対する基本画像Ｉ２の相対的な変換を求めることとなるが、基本画像Ｉ０、Ｉ１の平行化に於ける変換で基本画像Ｉ２に対するエピポールｅ２１を変換したものが、基本画像Ｉ０、Ｉ２のエピポールの方向になればよい（相対的な変換である為）。即ち、ｅ’’２０＝−ｋｅ’’２１が成立する。
【０２５９】
ここで、ｅ’’２１＝Ｒ（φ０）Ｒ（ｄ０、θ０)ｅ２ 1は既知であり、同様にｅ’’２０＝Ｒ（φ２）ｅ’２０であるので、図４２（ｄ）を解けばよい。これを解くと、図４２（ｅ）となり、Ｒ（φ２）を得られる。
【０２６０】
次に基本画像Ｉ２の焦点距離と位置を合わせるスケール変換のプロセスを説明する。即ち剪断変形行列Ｔ２を求めることとなる。基本画像Ｉ０、Ｉ２の射影された対応点ｐ’’０ｙ、ｐ’’２ｙがｐ’’０ｙ＝ｐ’’２ｙを図４３（ａ）のように示すことが出来る。ここで、Ｒ０、Ｒ１を図４３（ｂ）のように定義すると、図４３（ａ）から（Ｔ２Ｒ２ｐ２）ＴＫＲ０ｐ０＝ｐＴ ２（ＲＴ ２ＴＴ ２ＫＲ０）ｐ０＝０となる。
【０２６１】
一方基本画像Ｉ０、Ｉ２には基本行列Ｆ２のｐＴ ２Ｆ２ｐ０＝０の関係が成立しているので、図４３（ｃ）が成立する。但し、ｔｉｊはＴ２の成分を示す。従って図４３（ｄ）のように剪断変形行列Ｔ２が定まる。従って基本画像Ｉ２のホモグラフィ行列Ｈ２＝（Ｔ２Ｒ（φ２）Ｒ（ｄ２、θ２））−１となる。同様にホモグラフィ行列Ｈ０、Ｈ１を算出する。
【０２６２】
基本画像Ｉ０、Ｉ１、Ｉ２を（１−ｓ−ｔ）：ｓ：ｔの比に内分する点に於ける内挿ホモグラフィＨｓｔ（即ち最終的に求めるべき内挿ホモグラフィ行列）のプロセス（ホモグラフィ行列の内挿プロセス）は以下のようにして算出する。
【０２６３】
基本画像Ｉ０、Ｉ１、Ｉ２の４隅の点をそれぞれｂ０ｉ、ｂ１ｉ、ｂ２ｉ（ｉ＝０，１，２，３）とし、平行化座標に於ける点をｂ＾０ｉ、ｂ＾１ｉ、ｂ＾２ｉとすると、
ｂ＾０ｉ＝Ｈ−１ ０ｂ０ｉ
ｂ＾１ｉ＝Ｈ−１ １ｂ１ｉ
ｂ＾２ｉ＝Ｈ−１ ２ｂ０ｉ
となる。
【０２６４】
但しこれらの座標は３次元の同次座標で表される。ここで内挿する基本画像Ｉｓｔの４隅の点ｂｓｔｉ及びその平行化座標に於けるｂ＾ｓｔｉを、ｂｓｔｉ＝（１−ｓ−ｔ）ｂ０ｉ＋ｓｂ１ｉ＋ｔｂ２ｉ、ｂ＾ｓｔｉ＝（１−ｓ−ｔ）ｂ＾０ｉ＋ｓｂ＾１ｉ＋ｔｂ＾２ｉで内挿する。このとき、ｂｓｔｉ＝Ｈｓｔｂ＾ｓｔｉの最小自乗解となるような３×３の行列を内挿ホモグラフィＨｓｔとする。
【０２６５】
＜テクスチャマッピングのプロセス＞
以下にＳ２３０に於けるテクスチャマッピングを説明する。テクスチャマッピングのプロセスの流れの一例を示したフローチャート図を図９に示す。テクスチャマッピングを行う際には、まず、全ての面に対して、どの面をテクスチャ画像として用いるかを面選択手段１１に於いて選択する（Ｓ３００）。面選択のプロセスについては後述する。全ての面に対して面のテクスチャ画像を選択したならば（Ｓ３５０）、次に面と面との輪郭に対する処理を輪郭処理手段１２に於いて実行する（Ｓ３６０）。輪郭処理のプロセスについては後述する。この輪郭処理は、面を定義する際に曲面を粗い多角形で近似すると輪郭部分での角が目立つ画像となる為、それを回避し、より自然な画像に近づける為の処理である。Ｓ３６０に於いて輪郭処理が終了後、面に対する色の補正処理を色補正手段１３に於いて実行する。この色補正処理は、テクスチャ画像をＳ３００のように選択した場合、隣接面同士で異なる画像から選択することもあり、隣接面同士で発生する色差をなくし、自然な画像に近づける為のプロセスである。色補正処理のプロセスについては後述する。Ｓ３６０に於ける輪郭処理、Ｓ４１０に於ける色補正処理はテクスチャマッピングのプロセスに於いて具備されることが好適であるが、その全部またはどちらか一方のみが具備されても良いし、具備されなくとも良い。
【０２６６】
＜面選択のプロセス＞
以下に、Ｓ３００に於ける面の選択プロセスについて説明する。面の選択プロセスの流れの一例を示したフローチャート図を図１０に示す。
【０２６７】
テクスチャマッピングを行う際に、テクスチャとして用いる画像は視点移動途中で変更すると表示が不自然になる。その為、面選択手段１１に於いてどの面をテクスチャ画像とするかを選択する。
【０２６８】
面毎にテクスチャ画像参照番号を前処理で一度決定しておく。２枚の基本画像のうちどちらの基本画像を利用するかを決定するかは、以下の２つの基準によって決定される。図２５にテクスチャの選択基準の概念図を示す。
（基準１）面の向き
（基準２）面の面積
【０２６９】
対象となる面に対して表向きの画像か否かを判断する（Ｓ３１０）。対応する面が両画像とも表向きの場合（つまり図２５に示した面１の場合）、各画像に於ける面の面積を計算し（Ｓ３２０）、その面積が大きい方の画像をその面のテクスチャ画像とする（Ｓ３３０）。面積を基準とする場合には、２画像のうち解像度の高い方の画像を利用する為、高画質化に有効である。又Ｓ３１０に於いて表向きの画像が１枚の場合には、表向きの画像をその面のテクスチャ画像とする（Ｓ３４０）。つまり、図２５の面２に示したように、一方が表向きで他方が裏向きの場合には表向きの画像をその面のテクスチャ画像とする。
【０２７０】
更に、面選択手段１１に於いてテクスチャ画像として用いる面を単に２枚の画像から選択するのみならず２枚の画像を視点に応じて組み合わせ、新たな画像を作成することによって、その作成した画像をテクスチャ画像として選択しても良い。これは、前記の面選択の方法に於いては、２枚の画像から１枚の画像を選択する為に、視点の移動の仕方によっては頻繁にテクスチャ画像が切り替わる等が発生するからである。
【０２７１】
ここで２枚の画像を視点に応じて組み合わせるとは、画像Ａの輝度をＡ、画像Ｂの輝度をＢ、画像Ａと画像Ｂとの間の視点に於いて、画像Ｂから視点迄の距離の比率をｄ（０≦ｄ≦１）とした場合、以下の式によって組み合わせる比率を算出する。
Ｓ＝Ａ×ｄ＋Ｂ（１−ｄ）
【０２７２】
従って、例えば視点からの距離の比率がＡから１０％、Ｂから９０％である場合に組み合わせる画像の輝度Ｓは、０．９Ａ＋０．１Ｂとなる。又、視点からの距離の比率がＢから５０％、Ａから５０％である場合に組み合わせる画像の輝度Ｓは、０．５Ａ＋０．５Ｂとなる。この場合は視点が画像Ａと画像Ｂとの中間に存在する場合である。
【０２７３】
＜面選択の他のプロセス＞
更に前記の面選択の方法に於いては、例えば図２５に於いては、面に向き付けがされている為に途中の視点の画像であっても表裏の判別は出来、面自体の可視不可視は判断できるが、図５２に示すような文字盤とリストバントの関係のように両方とも表向きの場合には、他の面によって隠されるオクルージョンが生じる為可視性の判断が行えない。そこで各画像に於けるエピポールを利用し、視点から遠くに存在する面から順番に描画を行うプロセスを説明する。
【０２７４】
面は２次元であって奥行きは持たない為、面を選択する順序に依存する隠面消去が行われる。従って面を選択する順序は、面の見えている画像に於いて視点からの距離に相当する基準によって決定することが可能となる。図５３に示すように、基本画像Ｉ０、Ｉ１の視点をＣ０、Ｃ１とし、エピポールｅ０、ｅ１で表す。オクルージョンが生じた場合、エピポールからの距離が遠い面から順に描画することで近似的な隠面消去が行えることとなる。
【０２７５】
＜輪郭処理のプロセス＞
以下にＳ３６０の輪郭処理手段１２に於ける輪郭処理のプロセスを説明する。輪郭処理プロセスの流れの一例を示したフローチャート図を図１１に示す。
【０２７６】
面を定義する際に曲面を粗い多角形で近似すると輪郭部分での角が目立ち不自然な画像になってしまう。この問題を避けるには細かく多角形分割する必要があるが、そうなると平行化画像に内挿する面の頂点の数が増加することとなり、データ量が増加する。同時に入力作業が困難にもなる。３次元ＣＧでは輪郭部分だけを適応的に細分割する方法や、粗い分割のまま輪郭部分だけにテクスチャ付きの面を付加する手法が存在している。
【０２７７】
本発明に於いては、従来の手法よりもより自然な画像を作成することが可能な以下のような方法によりそれを実現している。即ち、元の画像に対象物以外を消去するマスクを作成し、定義した面の輪郭部分の外側に新たな四辺形面を付加し、マスク付きテクスチャを写像する。マスクは図２６に示すように、元の画像から画像編集ソフトを使用し手作業で背景を塗りつぶすことで作成できるが、ブルーバック等の単一色の背景ならば自動的に抽出することも可能である。
【０２７８】
面の外側の四辺形面のことをオフセット面と呼ぶ。面頂点間のつながりである稜線をはさんで面が接続する場合、隣り合う面を隣接面と呼ぶ。隣接面が存在しない稜線を外部境界稜線、隣接面が存在し一方は表向き他方は裏向きとなる輪郭の稜線を内部境界稜線とし、外部境界稜線と内部境界稜線を総称して境界稜線と呼ぶ。面の頂点座標を平均する点を面の重心とするとき、重心を通り稜線に垂直な外向きの単位ベクトルを稜線オフセットベクトルとする。又頂点を含む境界稜線オフセットベクトルの平均単位ベクトルを頂点オフセットベクトル、頂点を頂点オフセットベクトル方向に移動した点をオフセット頂点と呼ぶ。以上の関係を概念的に図示した図が図２７である。
【０２７９】
図２７に示した場合、オフセット面の表示プロセスは次のようになる。先ず、各画像毎に稜線オフセットベクトルを計算する（Ｓ３７０）。計算された稜線オフセットベクトルを平均して頂点オフセットベクトルを計算する（Ｓ３８０）。作成された内挿画像について、境界稜線の両端頂点とそこからオフセットベクトル方向に移動した頂点で構成されるオフセット面を表示する（Ｓ３９０）。その後、通常の面を表示する（Ｓ４００）。
【０２８０】
この場合、補間された頂点だけは数３に示したエピポール制約を満たしているが、頂点以外のオフセット面内部の点は、視点の射影幾何学的制約を満たさない。しかし、オフセット面は通常、稜線から近い部分に定義されるので歪みは小さくて済むこととなる。
【０２８１】
＜色補正処理のプロセス＞
以下にＳ４１０の色補正手段１３に於ける色補正プロセスを説明する。色補正プロセスの流れの一例を示したフローチャート図を図１２に示す。
【０２８２】
Ｓ３００の面選択手段１１に於いてテクスチャ画像を選択した場合、隣接面同士で異なる画像を選択することがあり、境界部分の色差が目立ち不自然な画像となる場合がある。
【０２８３】
そこで、本発明に於いては２枚のテクスチャ画像を混ぜ合わせることにより色の差を修正する。混ぜ合わせる際には、混ぜ合わせる割合を稜線からの距離に応じて減衰する。この処理はテクスチャ画像に対して一度だけ計算される処理であり、以下のように実行する。
【０２８４】
先ず、面内部の各画素について隣接面のテクスチャ画像参照番号が異なる稜線から画素までの距離を求める（Ｓ４２０）。次に画素点ｐにおける稜線の重みをｗｉとし、稜線ｉからの最短距離をｄｉとし、面の重心から稜線までの距離をｒｉとした時、図２８に示す式で稜線の重みｗｉを算出することにより（Ｓ４３０）、稜線の重みｗを数１１より算出する（Ｓ４４０）。
【数１１】
ｗ＝ｍｉｎ（Σｉｗｉ ，１）
【０２８５】
画素点ｐに対応するテクスチャ画像０，１の色をそれぞれＣ０（ｐ），Ｃ１（ｐ）とすると、補正した色Ｃ（ｐ）は数１２で算出する（Ｓ４５０）。
【数１２】
Ｃ（ｐ）＝（１−ｗ）Ｃ０（ｐ）＋ｗＣ１（ｐ）
【０２８６】
＜影作成のプロセス＞
以下に、Ｓ２６０の影作成手段４に於ける射影復元した対象物に擬似的な影を付加するプロセスを説明する。但し、影は１枚の平面に投影されるものとする。
【０２８７】
６自由度の２次元アフィン変換行列をＮとする。床面（影が作成される平面を床面とするがそれ以外でもよい）に投影される対象物頂点の画像上の点をｍｉ＝（ｕｉ，ｖｉ，１）Ｔ とする。影の相対位置を決定する為に２点を指定することにより４自由度が決定されるので、残りの２自由度で影の方向と大きさを指定するものとする。影の方向と大きさの指定は剪断変形で実現できる。射影復元した対象物の頂点を２点を基準とする相対座標に変換した後、剪断変形を適用して元の座標に戻す。ｍ１を原点とするように平行移動する変換行列をＴ、ｍ１ｍ２がｘ軸になるような原点を中心とした回転行列をＲ、剪断変形行列をＳとする（但し剪断変形式に於いてｘ方向の変位をａ、ｙ方向の変位をｂとする）。即ち、各行列Ｔ、Ｒ、Ｓは図３０（ａ）から（ｃ）のように各々示される。
【０２８８】
又、ｃｏｓθ、ｓｉｎθは各々図３０（ｄ）、（ｅ）のように示される。視点移動により２点ｍ１，ｍ２がそれぞれｍ’１，ｍ’２に移るものとし、新たな座標に於ける平行移動行列をＴ’、回転行列をＲ’とすると、影の座標変換を表すアフィン変換行列Ｎは図３１に示す式で表される。又、影を算出する過程を示した概念図を図３２に示す。射影復元する際の面情報を利用して変換された頂点を辿り、半透明な面を表示すれば影が作成される。当然の事ながら、射影復元した対象物の表示は影の表示処理後に行う。
【０２８９】
＜反射作成のプロセス＞
以下に、Ｓ２７０の反射手段に於ける反射する画像を作成するプロセスを説明する。反射画像も影と同様に射影復元した対象物のアフィン変換行列で作成する。２次元アフィン変換は６自由度なので、反射する床面上にある対象物の２点と反射して見える１点を指定することで変換行列を決定できる。
【０２９０】
影の場合と同様に床面上にある対象物の２点をｍ１，ｍ２とし、ｍ１を原点とするように平行移動する行列をＴ、ｍ１ｍ２がｘ軸になるような原点を中心とした回転行列をＲとする（但し、行列Ｔ、Ｒは図３０（ａ）（ｂ）で定義される）。又視点移動後の平行移動行列、回転行列をＴ’、Ｒ’とする。この時、反射を表すアフィン変換行列Ｍは数１３で示される。又、Ｓ’は反射する点ｍ３＝（ｕ３，ｖ３，１）Ｔを用いて図３３で表される。
【数１３】
Ｍ＝Ｔ’−１Ｒ’−１Ｓ’ＲＴ
【０２９１】
＜位置、大きさの補正処理のプロセス＞
以下にＳ２９０の補正処理手段８に於ける位置、大きさの補正処理のプロセスを説明する。位置、大きさの補正処理のプロセスの流れの一例を図１３に示す。
【０２９２】
Ｓ１００に於いて取り込んだ基本画像は、カメラから対象物までの距離や、基本画像内での対象物の位置が視点毎に異なることが一般的である。そしてこれらが異なったまま内挿画像の作成を連続的に行うと、視点移動以外の対象物の変位が発生し、見かけ上、対象物が拡大／縮小表示されたり、対象物が一定の点の周りに回転せず上下に動いたりする問題点が発生する点を解決する為である。
【０２９３】
これを防ぐ為に、本発明では、基本画像内の対象物のカメラからの距離（＝拡大／縮小倍率）と位置を補正するプロセスを付加することにより、この問題点の解決を図る。
【０２９４】
まず、対象物の範囲を示す情報（基本画像内の上、左、下、右の位置座標とし、これを以下「ターゲット枠情報」とする）をＳ１００に於いて２次元画像の取込みを行う際に設定しておく。
【０２９５】
次にＳ２００に於いて内挿画像を作成する際に、このターゲット枠情報に基づいて拡大／縮小倍率と平行移動量を算出して補正を加える（Ｓ４７０）。ターゲット枠情報は、視点毎に異なる為、開始視点のターゲット枠情報と、開始視点から終了視点までの総フレーム数を利用して線形に補間して数１４に基づいて算出する（Ｓ４８０）。位置、大きさの補正処理を行わない場合のイメージ図を図３９（ａ）に示し、行った場合のイメージ図を図３９（ｂ）に示す。
【数１４】
【０２９６】
当然のことながら、影や反射、合成表示、補正処理等は行われず、単純に内挿画像が作成されるだけでも良い。
【０２９７】
尚、本発明を実施するにあたり本実施態様の機能を実現するソフトウェアのプログラムを記録した記憶媒体をシステムに供給し、そのシステムのコンピュータが記憶媒体に格納されたプログラムを読み出し実行することによって実現されることは当然である。
【０２９８】
この場合、記憶媒体から読み出されたプログラム自体が前記した実施態様の機能を実現することとなり、そのプログラムを記憶した記録媒体は本発明を当然のことながら構成することになる。
【０２９９】
プログラムコードを供給するための記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード等を使用することができる。
【０３００】
また、コンピュータが読み出したプログラムを実行することにより、上述した実施態様の機能が実現されるだけではなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているオペレーティングシステムなどが実際の処理の一部または全部を行い、その処理によって前記した実施態様の機能が実現される場合も含まれることは言うまでもない。
【０３０１】
さらに、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わる不揮発性あるいは揮発性の記憶手段に書き込まれた後、そのプログラムの指示に基づき、機能拡張ボードあるいは機能拡張ユニットに備わる演算処理装置などが実際の処理の一部あるいは全部を行い、その処理により前記した実施態様の機能が実現される場合も含まれることは当然である。
【０３０２】
【発明の効果】
本発明により、従来の動画データや３次元データによる表示方法と異なりデータ量が少なく、又今まで存在していた問題点を解決し、よりリアリティのある表示を可能とした。
【０３０３】
又、基本画像から連続的に内挿画像を自動作成し連続表示を行うことにより、従来の動画データに比べて少ないデータ量で動画が可能となった。又その際にパスと視点間の移動速度を任意に設定できるようにしたことにより、よりインタラクティブな動画の表現が可能となった。
【図面の簡単な説明】
【図１】 本発明のシステム構成の一例を示すシステム構成図である。
【図２】 本発明の内挿画像作成手段のシステム構成の一例を示す図である。
【図３】 自動連続表示を行う手段を具備した際のシステム構成の一例を示すシステム構成図である。
【図４】 自動連続表示を行う手段を具備した際のシステム構成の他の一例を示したシステム構成図である。
【図５】 本発明のプロセスの一例を示すフローチャート図の一ページ目である。
【図６】 本発明のプロセスの一例を示すフローチャート図の二ページ目である。
【図７】 内挿画像作成プロセスの一例を示すフローチャート図である。
【図８】 基本画像の取込プロセスの一例を示すフローチャート図である。
【図９】 テクスチャマッピングのプロセスの一例を示すフローチャート図である。
【図１０】面の選択プロセスの一例を示すフローチャート図である。
【図１１】輪郭処理のプロセスの一例を示すフローチャート図である。
【図１２】色補正処理のプロセスの一例を示すフローチャート図である。
【図１３】位置、大きさの補正処理のプロセスの一例を示すフローチャート図である。
【図１４】自動連続処理を行うプロセスの一例を示すフローチャート図である。
【図１５】自動連続表示のプロセスの一例を示すフローチャート図の一ページ目である。
【図１６】自動連続表示のプロセスの一例を示すフローチャート図の二ページ目である。
【図１７】視点定義画面の一例を示す図である。
【図１８】視点移動の概念図である。
【図１９】視点定義画面の他の一例を示す図である。
【図２０】面定義画面の一例を示す図である。
【図２１】３視点間に於ける各座標系の位置関係を示した概念図である。
【図２２】３視点補間の概念図である。
【図２３】回転行列を示した図である。
【図２４】画像の平行化の概念図である。
【図２５】面選択の概念図である。
【図２６】マスク付き画像の一例である。
【図２７】オフセット面の概念図である。
【図２８】稜線の重みを示した図である。
【図２９】合成表示を行った際の画像の一例である。
【図３０】変換行列、回転行列、剪断変形行列を示した図である。
【図３１】アフィン変換行列を示した図である。
【図３２】影を算出する過程を示した概念図である。
【図３３】反射する点を示した図である。
【図３４】基本画像の一例を示した図である。
【図３５】内挿画像の一例を示した図である。
【図３６】２視点間に於ける各座標系の位置関係を示した概念図である。
【図３７】ターゲット枠情報が設定された基本画像の一例を示す。
【図３８】自動連続表示の概念図である。
【図３９】補正処理のイメージ図である。
【図４０】３視点間に於ける各座標系の位置関係を示した概念図である。
【図４１】回転行列を示す図である。
【図４２】平行化回転変換、水平化回転変換に於ける途中式を示した図である。
【図４３】スケール変換に於ける途中式を示した図である。
【図４４】エッジ端点を自動的に抽出した図である。
【図４５】ドロネー三角形指定点を指定した場合の図である。
【図４６】ドロネー三角形が生成された基本画像の図である。
【図４７】スカラパラメータを解く連立一次方程式を示した図である。
【図４８】エピポール制約直線と探索窓の概念図である。
【図４９】輝度差を求めるアルゴリズムを示した図である。
【図５０】自動的に対応する点の照合を行った場合の図である。
【図５１】３枚の画像の際の１次方程式を示す図である。
【図５２】面が重なる場合の一例を示す図である。
【図５３】面の描画順序を示す概念図である。
【符号の説明】
１：画像表示システム
２：画像取込手段
３：内挿画像作成手段
４：影作成手段
５：反射作成手段
６：作成画像記憶手段
７：合成表示手段
８：補正処理手段
９：初期情報演算手段
１０：平行化画像作成手段
１１：面選択手段
１２：輪郭処理手段
１３：色補正手段
１４：サーバ
１５：ユーザ端末
１６：ネットワーク
１７：自動連続手段
１８：自動連続作成手段
１９：テクスチャマッピング手段
【発明の属する技術分野】
本発明は、コンピュータ上に於いて任意の視点から立体的に物体の画像を表示することが可能な画像表示システムに関する。
【０００２】
【従来の技術】
従来、物体（対象物）の画像を立体的にコンピュータ上に於いて表示する方法としては、
（１）対象物の動画を予め撮影しその動画データを表示する。
（２）対象物の３次元データを予め入力しユーザが視点を指定することにより、その３次元データに基づいてその視点から見える対象物を計算し表示する。
（３）２枚の画像からユーザが指定した視点に於ける内挿画像を自動作成し表示する。
等がその主な方法として存在している。
【０００３】
【発明が解決しようとする課題】
（１）の方法は、対象物を予めビデオカメラ等を用いてその周囲、全景等を撮影しておき、その画像（動画データ）をＭＰＥＧ（Moving Pictures Experts Group）等の公知の圧縮方法でデータ圧縮を行い、その動画データに対応しているソフトウェアで再生することにより対象物の画像をコンピュータ上に於いて表示する方法である。この方法を用いると、対象物の画像を閲覧したい人（以下、ユーザ）がこの対象物の視点を任意に変更することは出来ない。何故ならば、この方法では予め撮影された対象物の画像をユーザが有する端末（以下、ユーザ端末）上で単に再生しているにすぎないからである。即ち、予め撮影されていない視点からの画像をユーザは閲覧することは出来ない。
【０００４】
又、全ての視点からの画像を動画データとして保持しようとすると、そのデータ量が多大な量となってしまう問題点がある。これは、ユーザがネットワークを介してこの動画データを閲覧しようとする場合には、多大なる通信時間を必要とすることを意味する。つまりデータ量に比例して通信コストが費やされることとなり、これはユーザにとっては多大なる負担となる。更に、動画データを格納しているコンピュータからユーザ端末まで大量のデータ転送をする必要性があり、ネットワークのトラフィックを増加させる。つまり、この動画データを閲覧しないが同じネットワークを一部でも使用している、他のユーザに対してもトラフィックの増加を発生させることとなり、レスポンスの低下を招く問題点もある。
【０００５】
（１）に於ける問題点を解決する一つの方法として、（２）の方法が考案された。この方法は、対象物の存在する３次元空間上の一点（対象物上でなくても良い）を３次元空間上に於ける原点とし、その原点からの距離、あるいは３次元座標（ｘ座標、ｙ座標、ｚ座標）を入力することにより、対象物の３次元形状データを作成する。その後、ユーザが指定した視点からの距離、座標等を演算しこれを２次元の平面に投影し表示することにより、ユーザが指定した視点からの対象物の画像を閲覧することを可能にした方法である。
【０００６】
しかし、この方法では、対象物の３次元形状データを作成する為に、対象物の縦、横、高さ等を精確に計測しそれを入力しなければならない等非常に煩雑であり、データ作成側にとって多大なる負担を強いることとなる。更に、元々２次元の平面データ（例えば、写真等）から３次元形状データを作成するのは非常に困難であるという問題点もある。
【０００７】
これら問題点を更に解決する為に、対象物の２視点からの２次元平面データ（即ち、ある対象物の２方向からの平面データ（例えば写真等））を予め入力し、その２視点の２次元平面データから視点間に於ける内挿画像（元となる画像から視点を補間する為に自動的に作成された画像を指す）を自動的に作成しそれを表示するという方法が考案されている。
【０００８】
この方法は、２視点からの２次元平面データ（以下、画像）に於いて対応する点を８組以上と、画像の特徴を表す線分（以下、特徴線）を任意の本数指定することにより２画像間の視点を補間してその内挿画像を表示する方法であり、その一例が特願２０００−２４３０３２号公報に明示されている。この方法を用いると従来の画像補間と異なり視点の射影幾何学的制約に基づいた内挿画像を作成することが可能となる。
【０００９】
しかし上記発明には、以下のような問題点が存在している。
（１）内挿画像を作成する際に、特徴線と画像内の全画素の組合せが膨大な数となり、多大なる演算時間が必要となる。
（２）特徴線の影響範囲のパラメータ設定が困難であり、不自然な内挿画像を作成する場合がある。
（３）特願２０００−２４３０３２号公報に明示されているように２視点からの画像補間においては、例え２画像の組合せを複数枚用意しても、その視点移動は１次元的にしか実現できず、空間内を自由に視点移動することが出来ない。
【００１０】
【課題を解決するための手段】
本発明者は上記問題点に鑑み、以下のような手法を採用することにより解決した。
（１）画像の組に対して共通の面を定義し、面の頂点のみを平行化画像（後述）で内挿し、面内部の画素については線形補間した面のテクスチャをマッピングして表示する。
（２）従来２視点だった視点を３視点とすることも可能となり、この場合には視点を２次元的に移動できる。即ち、３視点の組を全方位に設定すれば、ユーザが希望する任意の視点から対象物の画像を閲覧できる。
【００１１】
請求項１の発明は、ユーザが希望する視点からの対象物の内挿画像を自動作成する画像表示システムであって、前記対象物の複数視点からの少なくとも３枚以上の複数の２次元画像を取り込む画像取込手段を有するサーバとネットワークを介してデータの送受信が可能なユーザ端末を有する画像表示システムに於いて、前記ユーザ端末は、前記サーバから前記複数の２次元画像を受信し前記ユーザが希望する視点からの対象物の内挿画像を自動作成する内挿画像作成手段を有しており、前記内挿画像作成手段は、前記受信した複数の２次元画像を用いて回転行列を算出し、前記回転行列を用いて複数の２次元画像を平行にする平行化回転変換を行い、前記平行化回転変換に基づいて複数の２次元画像の対応点の組を同一水平線上に並べる水平化回転変換を行い、前記水平化回転変換に基づいて複数の２次元画像の焦点距離と位置を合わせるスケール変換を行い、前記平行化回転変換、水平化回転変換、スケール変換に基づいてホモグラフィ行列を内挿することで、前記対象物の２次元画像の内挿画像を自動作成する、画像表示システムである。
【００１３】
請求項３の発明は、ユーザが希望する視点からの対象物の内挿画像を自動作成し閲覧させるサーバ上に於いて、前記内挿画像を自動作成する画像表示システムであって、前記サーバは、前記対象物の複数視点からの少なくとも３枚以上の複数の２次元画像を取り込む画像取込手段と、前記希望する視点からの対象物の内挿画像を自動作成する内挿画像作成手段とを有しており、前記内挿画像作成手段は、前記取り込んだ複数の２次元画像を用いて回転行列を算出し、前記回転行列を用いて複数の２次元画像を平行にする平行化回転変換を行い、前記平行化回転変換に基づいて複数の２次元画像の対応点の組を同一水平線上に並べる水平化回転変換を行い、前記水平化回転変換に基づいて複数の２次元画像の焦点距離と位置を合わせるスケール変換を行い、前記平行化回転変換、水平化回転変換、スケール変換に基づいてホモグラフィ行列を内挿することで、前記対象物の２次元画像の内挿画像を自動作成する、画像表示システムである。
【００１５】
請求項１の発明によって、サーバ上に於いて予め取り込まれた２次元画像から、ユーザが希望する視点の内挿画像をユーザ端末上に於いて自動作成することが可能となる。
【００１６】
請求項３の発明によって、サーバ上に於いて予め取り込んだ２次元画像を同一サーバ上（但し論理的に同一端末という意味であって、物理的に同一端末でなくても良い。以下同様）に於いて、希望する視点の内挿画像を自動作成することが可能となる。
【００１７】
請求項２の発明は、ユーザが希望する視点からの対象物の内挿画像を自動作成する画像表示システムであって、前記ユーザが希望する視点からの対象物の内挿画像を自動作成する内挿画像作成手段を有するユーザ端末とネットワークを介してデータの送受信が可能なサーバを有する画像表示システムに於いて、前記サーバは、前記対象物の複数視点からの少なくとも３枚以上の複数の２次元画像を取り込み前記２次元画像を前記ユーザ端末に送信する画像取込手段を有しており、前記内挿画像作成手段は、前記受信した複数の２次元画像を用いて回転行列を算出し、前記回転行列を用いて複数の２次元画像を平行にする平行化回転変換を行い、前記平行化回転変換に基づいて複数の２次元画像の対応点の組を同一水平線上に並べる水平化回転変換を行い、前記水平化回転変換に基づいて複数の２次元画像の焦点距離と位置を合わせるスケール変換を行い、前記平行化回転変換、水平化回転変換、スケール変換に基づいてホモグラフィ行列を内挿することで、前記対象物の２次元画像の内挿画像を自動作成する、画像表示システムである。
【００１９】
請求項２の発明によって、サーバ上に於いて予め取り込んだ２次元画像をユーザ端末に送信し、ユーザが希望する視点の内挿画像をユーザ端末上に於いて自動作成させることが可能となる。
【００６８】
２次元での視点移動を可能とする為に、３枚を１組としてその３枚の内２枚の組を２組作成し、それらから１次内挿画像を作成し、その後２枚の１次内挿画像から最終内挿画像を作成していた。従って、３枚の画像から作成する際に２段階のプロセスを経ていることとなる。しかし２段階のプロセスを経ることによって、計算時間の増加、画像の歪み等が生じることとなる。そこで上述の発明によって、２次元での視点移動を保持した上で、３枚の画像から１度で内挿画像を作成できることとなり、計算時間の短縮、画像の歪み等を防ぐことが可能となる。
【０１１９】
【発明の実施の形態】
本発明の画像表示システム１のシステム構成の一例を図１及び図２に示すシステム構成図を用いて詳細に説明する。
【０１２０】
任意の視点からの対象物の内挿画像を閲覧することを希望するユーザが有するユーザ端末１５とサーバ１４は、ネットワーク１６を介してデータの送受信が可能である画像表示システム１である。ここでネットワーク１６とは、インターネット等のオープンネットワーク、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のクローズドネットワーク、それらの組合せであるイントラネットのいずれであってもよい。ネットワーク１６を介してデータの送受信がサーバ１４とユーザ端末１５間に於いて為される場合には、公知のデータ転送技術を用いることが好適である。又本実施態様に於いては説明の便宜上、ユーザ端末１５及びサーバ１４はいずれも１台を想定し説明するが、複数台にその機能が分散してあっても良いことは言うまでもない。又ネットワーク１６を介さずにサーバ１４（又はユーザ端末１５）のみで全ての機能が実現されても良い。
【０１２１】
サーバ１４は、画像取込手段２を有し、ユーザ端末１５は、内挿画像作成手段３、影作成手段４、反射作成手段５、作成画像記憶手段６、合成表示手段７、補正処理手段８とを有している。
【０１２２】
画像取込手段２は、対象物を複数視点から撮影した２次元画像（基本画像）を取り込む手段であり、画像表示用の情報を作成する手段である。又前記取り込んだ情報をユーザ端末１５にネットワーク１６を介して送信する手段でもある。
【０１２３】
内挿画像作成手段３は基本画像と設定された視点とに基づいて内挿画像を作成する手段であって、初期情報演算手段９、平行化画像作成手段１０、テクスチャマッピング手段１９を有している。
【０１２４】
初期情報演算手段９は、内挿画像を作成するのに必要となる各基本画像の組に於ける、基本行列及びエピポールを算出する手段である。
【０１２５】
平行化画像作成手段１０は、初期情報演算手段９に於いて算出したエピポールを用いてホモグラフィ行列を算出し、２視点間の画像を平行で共通点が同一走査線上に並ぶように平面に画像を写像する手段である。
【０１２６】
テクスチャマッピング手段１９は、平行化画像作成手段１０に於いて作成した平行化画像に対して、サーバ１４に於いて定義された面の頂点を内挿し、線形補間を行い、線形補間した面の頂点の内部に面内部の画素のテクスチャマッピングを行う手段であって、面選択手段１１と輪郭処理手段１２と色補正手段１３とを有している。
【０１２７】
面選択手段１１は、テクスチャとして用いる画像を、２つの画像から選択する、或いは何れかの画像を選択してそのまま用いるのではなく、２つの画像を組み合わせ、より自然な画像を作成し、テクスチャとして用いる手段である。２つの画像からテクスチャとして用いる画像を選択するプロセス、２つの画像を組合わせることでより自然な画像を作成しテクスチャとして用いるプロセスについては後述する。更にオクルージョンが発生する場合には面の表裏の判断が出来ないので、視点からの距離に相当する基準（即ちエピポール）を用いることで、遠くの画像から順番に描画を行っても良い。これによって、より簡便な内挿画像の作成が行える。この場合のプロセスについても後述する。
【０１２８】
輪郭処理手段１２は、対象物の画像に対して面を定義する際に、輪郭の細部の画像を内挿画像に反映させる手段である。この手段により、対象物がより明確な画像として表示される。
【０１２９】
色補正手段１３は、テクスチャとして内挿画像に適用する画像の色を補正する手段である。この手段により、対象物のテクスチャ間の色差が解消される。
【０１３０】
影作成手段４は、対象物に対して影を付ける手段である。この手段により、画像のリアリティの向上が図られる。
【０１３１】
反射作成手段５は、対象物に対して他の対象物に反射して映り込む状態を作成する手段である。この手段により、画像のリアリティの向上が図られる。
【０１３２】
作成画像記憶手段６は、内挿画像作成手段３、影作成手段４、反射作成手段５で作成、演算した情報を一時的に記憶する手段である。
【０１３３】
合成表示手段７は、作成画像記憶手段６に於いて格納している内挿画像、影、反射等を一つの画像上に合成する手段である。
【０１３４】
補正処理手段８は、視点毎の対象物の位置、大きさの線形補間を行う手段である。これは、基本画像は、カメラから対象物までの距離、画像内での対象物の位置が視点毎に異なることがあり、これらが異なったまま連続的に内挿画像を作成した場合、視点移動以外の対象物の変移が発生し、見かけ上対象物が拡大／縮小表示されたり、対象物が一定の点の周りに回転せず上下に動いたりする問題が発生するが、それを補正する手段である。
【０１３５】
【実施例１】
本発明のプロセスの一例を図５から図１３に示すフローチャート図を用いて詳細に説明する。本実施態様に於いては対象物の２視点からの２次元画像（基本画像）（Ｉ０、Ｉ１）からユーザが希望する視点に於ける内挿画像（Ｉｓ）を作成するプロセスを説明する。
【０１３６】
画像を作成する人（画像作成者）は、画像作成者が有するサーバ１４から所定の手続きを経て（例えば、コンピュータの起動、ソフトウェアの起動、周辺機器の起動等）、画像取込手段２から対象物の複数視点からの基本画像を取り込む（Ｓ１００）。対象物を仮想的な３次元空間に位置するものとして、各基本画像を撮影した視点の位置調整を行う。基本画像を取り込むプロセスについては後述する。
【０１３７】
Ｓ１００に於いて作成した対象物の複数の視点に於ける基本画像に於いて、２枚の基本画像を１組とし、その組内に於ける基本画像に共通する位置の座標、即ち共通点座標を８点以上定義する（Ｓ１６０）。この選択した座標に対して以後のプロセスで内挿画像作成を実行する。但し共通点座標は、任意の３点を取っても一直線上に並ばないような対応点でなければならない。又、マウス等の入力デバイス（図示せず）で共通点座標を定義することが好適であるが、他の手段によっても良い。
【０１３８】
組になっている基本画像から対応する点を選択し、それらの点を直線で結んで面を定義する（即ち、面定義座標を定義する）。これを対象物全体に対して行う（Ｓ１７０）。面を定義するための面定義画面の一例を図２０に示す。この際に、Ｓ１６０に於いて定義した共通点座標と面を定義する点である面定義座標は同一であっても良いし、異なっていても良い。
【０１３９】
更に、この基本画像から対応する点を選択する場合には、上記のように人間が行わなくとも、片方の基本画像に於いて点を選択しておけば、一方の基本画像に於いてそれと対応する点を自動的に選択するようにしても良い。このプロセスについては後述する。
【０１４０】
面の定義が終了後、Ｓ１００からＳ１７０に於ける情報は、サーバ１４の画像取込手段２からユーザ端末１５の内挿画像作成手段３へ送信される。
【０１４１】
ユーザは、閲覧を希望する視点を、マウス等を用いることにより指定する（Ｓ１７６）。内挿画像作成手段３は、ユーザが指定したこの視点からのものを作成する。
【０１４２】
その後、画像取込手段２に於いて定義した共通点情報と面定義座標とに基づいて内挿画像を作成する（Ｓ１８０）。内挿画像を作成するにあたって、まず初期情報（基本行列とエピポール）を内挿画像作成手段３の初期情報演算手段９で算出する。そのプロセスを以下に説明する。
【０１４３】
２視点間に於ける各座標系の位置関係を図３６に示す。２視点をＣ０、Ｃ１、２視点からの基本画像を各々Ｉ０、Ｉ１とする。基本画像Ｉ０とＩ１ の３×３の基本行列を各々Ｆ０、Ｆ１とする。
【０１４４】
基本行列を算出するには、公知の手法（例えば、アール・エイチ・ハートレイ（R.H.Hartley）著, 「８点アルゴリズムに関する弁論」（In Defense of theEight-point Algorithm）、Vol.19、No.6、p.580-593、1997.）を用いることにより算出できる（Ｓ１９０）。
【０１４５】
Ｓ１９０に於いて基本行列を算出後、算出した基本行列に基づいて公知の手法（例えば、オー・デ・フォージャース（O.D.Faugeras）、テ・パパドプロ （T.Papadopoulo）著、「３視点射影幾何評価の為の非線形手法」（A Nonlinear Method for Estimating the Projective Geometry of Three Views）、p.1-27、1997）により各基本画像のエピポールを算出する（Ｓ２００）。基本画像Ｉ０とＩ１について基本画像Ｉ０のエピポールをｅ０、基本画像Ｉ１のエピポールをｅ１とする。エピポールｅ０ はＦ０ ＴＦ０の最小固有値に対応する固有ベクトルであり、エピポールｅ１はＦ０Ｆ０ Ｔの最小固有値に対応する固有ベクトルである。
【０１４６】
基本画像Ｉ０、Ｉ１に於ける基本行列及びエピポールを算出後、ユーザがユーザ端末１５から指定した視点Ｓからの対象物の閲覧を要求した場合、２視点間に於ける内挿画像を作成する為に、画像取込手段２に於いて取り込んだ情報と初期情報演算手段９に於いて算出した情報とに基づいて、平行化画像（後述）を作成する（Ｓ２１０）。
【０１４７】
従来の内挿画像作成方法（例えば特願２０００−２４３０３２号公報に示した例）では、以下のようなプロセスを経て内挿画像を作成している。
（１）与えられた８点以上の共通点から基本行列とエピポールを計算する。
（２）エピポールが無限遠で共通点が同一走査線上に並ぶように平行化画像変換をするホモグラフィ行列Ｈ０、Ｈ１を求める。
（３）基本画像Ｉ０、Ｉ１に於ける特徴線の端点を行列Ｈ−１ ０，Ｈ−１ １によって平行化画像Ｉ＾０、Ｉ＾１の点に変換する。
（４）変換後の特徴線の端点を視点間の比ｓに内挿する。
（５）基本画像Ｉ０、Ｉ１と平行化画像Ｉ＾０、Ｉ＾１の４隅の点の内挿から平行化画像を画像座標に変換する行列Ｈｓを計算する。
（６）内挿された特徴線に定義された影響関数から２枚の基本画像を混ぜ合わせる画像モーフィングを行う。
【０１４８】
しかし、このようなプロセスを経て行う内挿画像の作成方法の場合、全ての画素と全ての特徴線の組合せに対して距離を計算して影響関数を算出する為に、計算時間が非常にかかる。又、この場合、平行化画像は一般に大きく歪んだ画像になり、特徴線の影響範囲が向きによって大きく異なる為、パラメータ設定が難しい。
【０１４９】
オンラインショッピングのように一つの対象物に注視する場合には視点からの奥行きは近い値なので対象物内部の歪みは小さくほぼ線形に近似することが可能である。そこで、本発明では、特徴線を定義するのではなく、面を定義し（面定義座標を定義し）、面の頂点のみを平行化画像上で内挿した後に面内部の画像をテクスチャマッピングで表示する。即ち、画像モーフィングを行う代わりに、（４）に於いて特徴線の端点ではなく面の頂点を内挿してホモグラフィ行列Ｈｓ（後述）を適用し、基本画像をテクスチャマッピングすることにより内挿画像を得る。面は２次元上で表示される為、テクスチャマッピングは通常の３次元空間から２次元空間への写像ではなく、２次元空間同士の写像になる。又、面の内部は線形に補間されるので、画像モーフィングを用いたときのような不自然な歪みは生じないことになる。
【０１５０】
２枚の基本画像から内挿画像を作成するには、まず、２枚の基本画像を平行で共通点（Ｓ１７０に於いて定めた面定義座標）が同一走査線上に並ぶように画像を写像する必要性があり、このプロセスを一般的に平行化といい、作成した画像を平行化画像という。この平行化を行う為には、Ｓ２００に於いて算出されたエピポールを用いて内挿画像作成手段３の平行化画像作成手段１０に於いて、２枚の基本画像の平行化を実行する（即ち平行化画像を作成する）（Ｓ２１０）。２枚の画像の平行化のプロセスについては後述する。
【０１５１】
Ｓ２１０に於いて、２枚の基本画像の平行化画像を作成後、定義した面の頂点である面定義座標のみを内挿して（Ｓ２２０）、ホモグラフィ行列Ｈｓを適用し基本画像をテクスチャマッピングすることで内挿画像を作成する（Ｓ２３０）。テクスチャマッピングのプロセスについては後述する。
【０１５２】
Ｓ２００に於いて内挿画像作成手段３で、２枚の基本画像（Ｉ０とＩ１）から内挿画像（Ｉｓ）を作成する。
【０１５３】
本実施態様に於いては２視点を１組としているので、作成した内挿画像を最終的な内挿画像（最終内挿画像）（Ｉｓ）として作成画像記憶手段６に送信し、一時的に格納する。図３４（ａ）（ｂ）に示した２枚の基本画像から作成した内挿画像の一例を図３５に示す。
【０１５４】
次に作成した最終内挿画像に対してリアリティを持たせる為に、対象物に対する影を影作成手段４に於いて作成し（Ｓ２４０）、作成した影を作成画像記憶手段６に対して送信し一時的に格納する。影を作成するプロセスについては後述する。又対象物に対する反射を反射作成手段５に於いて作成し（Ｓ２５０）、作成した反射を作成画像記憶手段６に対して送信し一時的に格納する。反射を作成するプロセスについては後述する。Ｓ２４０及びＳ２５０に於いて作成する、影及び反射の作成プロセスは順不同である。
【０１５５】
Ｓ１８０からＳ２５０に於いて作成され、作成画像記憶手段６に一時的に格納した最終内挿画像、影及び反射を合成表示手段７に対して送信し、これらを１枚の画像に合成する（Ｓ２６０）。Ｓ２６０に於ける合成の手法は、対象物の複数画像からその３次元的な情報を「復元」することにより、複数の対象物を同一視点で合成して表示することにより実現できる。これは「復元」の手法として「射影復元」あるいは「ユークリッド復元」の公知技術を用いることにより実現する。この合成プロセスを付加することにより、例えば図２９に示すように、テーブルと椅子といったように複数の対象物を組み合わせて表示したり、自宅の部屋の写真を撮影し、そこに家具の画像を合成して大きさ、色調等の調和を視覚的に確認したり、自分の全身像を撮影したデータを保存しておき、それにファッション商品の画像や髪型の画像を合成して閲覧（バーチャル試着システム、バーチャル美容院）する等が可能となる。
【０１５６】
Ｓ２６０に於いて影や反射、内挿画像が合成表示された後、位置、大きさに関する補正処理が実行される（Ｓ２７０）。これは、Ｓ１００に於いて取り込んだ基本画像は、カメラから対象物までの距離や、基本画像内での対象物の位置が視点毎に異なることが一般的である。そしてこれらが異なったまま内挿画像の作成を連続的に行うと、視点移動以外の対象物の変位が発生し、見かけ上、対象物が拡大／縮小表示されたり、対象物が一定の点の周りに回転せず上下に動いたりする問題点が発生する点を解決する為である。
【０１５７】
これを防ぐ為に、本発明では、基本画像内の対象物のカメラからの距離（＝拡大／縮小倍率）と位置を補正するプロセスを付加することにより、この問題点の解決を図る。位置、大きさの補正処理プロセスについては後述する。
【０１５８】
Ｓ２７０に於いて、位置、大きさの補正処理が終了後、作成した内挿画像を表示する。Ｓ２４０からＳ２７０に於ける影・反射・合成表示・位置、大きさの補正に付いてはその全てあるいは一部だけが行われても、あるいは行われなくても良い。
【０１５９】
【実施例２】
本発明に於ける他の実施態様を図１及び図２のシステム構成図に基づいて詳細に説明する。本実施態様に於いては対象物の３視点からの２次元画像（基本画像）（Ｉ０、Ｉ１、Ｉ２）からユーザが希望する視点に於ける内挿画像（Ｉｓ）を作成するプロセスを説明する。又、前記実施態様と重複する部分については説明を省略する。
【０１６０】
画像作成者は、サーバ１４上に於いて画像取込手段２から対象物の少なくとも３枚以上の基本画像を取り込む（Ｓ１００）。取り込んだ基本画像において、３枚の基本画像を１組とし（本実施態様に於いては、３枚１組を例とするが、４枚以上であっても３枚の組を複数設けることにより同様に行える）その組内に於ける基本画像に共通する位置の座標、即ち共通点座標を８点以上定義する（Ｓ１６０）。但し共通点座標は、任意に３点を取っても一直線上に並ばないような共通点でなければならない。又、マウス等の入力デバイス（図示せず）で共通点座標を定義することが好適であるが、他の手段によっても良い。
【０１６１】
ここで３枚の基本画像を１組とするのは、従来は２枚の基本画像を１組として内挿画像を作成していたが、３枚以上の基本画像を１組とすることにより、従来内挿画像の作成可能視点が１次元に限られていた問題点を解決できることになる。即ち、３枚の基本画像を１組とすることにより、内挿画像の作成可能視点を２次元に拡大することが出来、この３枚の基本画像の組を複数設けることにより、任意の視点に於いて内挿画像を作成することが可能となるのである。３視点に於ける内挿画像を作成する為には、まず組の中に於ける２枚の基本画像（Ｉ０、Ｉ１）の１次内挿画像（Ｉｓ０）を作成し、次に組の中に於いて別の２枚の基本画像（Ｉ０、Ｉ２）の１次内挿画像（Ｉｓ２）を作成し、作成した２枚の内挿画像（Ｉｓ０、Ｉｓ２）から最終的な視点の内挿画像（最終内挿画像）（Ｉｓ）を作成する。ここで１次内挿画像とは、最終内挿画像を作成するために一時的に作成する内挿画像を示す。図２２に示すように、最終内挿画像（Ｉｓ）を作成する為、基本画像（Ｉ０、Ｉ１）に於ける内挿画像（Ｉｓ０）、基本画像（Ｉ０、Ｉ２）における内挿画像（Ｉｓ２）の概念図を示す。
【０１６２】
組になっている基本画像から対応する点を選択し、それらの点を直線で結んで面を定義する（即ち、面定義座標を定義する）。これを対象物全体に対して行う（Ｓ１７０）。面を定義する為の面定義画面の一例を図２０に示す。Ｓ１６０からＳ１７０を少なくとも一以上の基本画像の組合せに対して実行する。この際に、Ｓ１６０に於いて定義した共通点座標と面を定義する点である面定義座標とは同一であっても良いし、異なっていても良い。
【０１６３】
更にＳ１７０に於いて、実施例１と同様に、基本画像から対応する点を選択する場合には、上記のように人間が行わなくとも、片方の基本画像に於いて点を選択しておけば、一方の基本画像に於いてそれと対応する点を自動的に選択するようにしても良い。このプロセスについては後述する。
【０１６４】
少なくとも一以上の基本画像の組合せに対し面の定義が終了後、Ｓ１００からＳ１７０に於ける情報は、画像取込手段２から内挿画像作成手段３へ送信される。
【０１６５】
次に、ユーザが閲覧を希望する視点をマウス等を用いて指定する（Ｓ１７６）。その後、画像取込手段２に於いて定義した共通点情報と面定義座標とに基づいて内挿画像を作成する（Ｓ１８０）。まず内挿画像を作成するにあたって必要となる初期情報（基本行列とエピポール）を初期情報演算手段９で算出する。そのプロセスを以下に説明する。
【０１６６】
３視点間に於ける各座標系の位置関係を図２１に示す。３視点をＣ０、Ｃ１、Ｃ２、３視点からの基本画像を各々Ｉ０、Ｉ１、Ｉ２とする。基本画像Ｉ０とＩ１、基本画像Ｉ１とＩ２、基本画像Ｉ２とＩ０の３×３の基本行列を各々、Ｆ０、Ｆ１、Ｆ２とする。
【０１６７】
基本行列を算出するには、基本画像Ｉ０とＩ１、基本画像Ｉ１とＩ２（あるいは基本画像Ｉ０とＩ１、基本画像Ｉ２とＩ０）から２つの基本行列を算出する必要性があるが、これは公知の手法を用いることにより算出できる（Ｓ１９０）。
【０１６８】
又この基本行列の算出は同様のプロセスで算出が可能であるので、３枚の基本画像を１組とした本実施態様の例では、このプロセスを３回繰り返す必要性がある。
【０１６９】
Ｓ１９０に於いて全ての基本行列を算出後、算出した基本行列に基づいて公知の手法により各基本画像のエピポールを算出する（Ｓ２００）。基本画像Ｉ０とＩ１について基本画像Ｉ０のエピポールをｅ００、基本画像Ｉ１のエピポールをｅ１１とする。同様に基本画像Ｉ１とＩ２について基本画像Ｉ１のエピポールをｅ１０、基本画像Ｉ２のエピポールをｅ２１、基本画像Ｉ２とＩ０について基本画像Ｉ２のエピポールをｅ２０、基本画像Ｉ０のエピポールをｅ０１とする。エピポールｅ００はＦ０ ＴＦ０の最小固有値に対応する固有ベクトルであり、エピポールｅ１１はＦ０Ｆ０ Ｔの最小固有値に対応する固有ベクトルである。他のエピポールについても同様に算出可能である。Ｓ１９０及びＳ２００に於いて算出した基本行列とエピポール間は独立ではなく、数３に示す制約が成立している。
【数３】
ｅ１０ ＴＦ０ｅ０１＝ｅ２０ ＴＦ１ｅ１１＝ｅ００ ＴＦ２ｅ２１＝０
【０１７０】
基本画像Ｉ０、Ｉ１、Ｉ２に於ける基本行列及びエピポールを算出後、内挿画像Ｉｓを作成する為に、まず３枚の基本画像（Ｉ０、Ｉ１、Ｉ２）から２枚の１次内挿画像（Ｉｓ０、Ｉｓ２）を作成し、その作成した１次内挿画像２枚からユーザが希望する視点の最終内挿画像（Ｉｓ）を作成する。内挿画像作成手段３は、２枚の画像（基本画像あるいは内挿画像）から１枚の内挿画像を作成する手段である。これは、図２２に示すように、３枚の基本画像から２枚の内挿画像を作成し、その作成した内挿画像２枚からユーザが希望する視点の最終内挿画像を再作成するからである。
【０１７１】
２枚の基本画像から内挿画像を作成するには、まず、２枚の基本画像を平行で共通点（Ｓ１７０に於いて定めた面定義座標）が同一走査線上に並ぶように画像を写像する必要性があり、このプロセスを一般的に平行化といい、作成した画像を平行化画像という。この平行化を行う為には、Ｓ２００に於いて算出されたエピポールを用いて内挿画像作成手段３の平行化画像作成手段１０に於いて、２枚の基本画像の平行化を実行する（即ち平行化画像を作成する）（Ｓ２１０）。２枚の画像の平行化のプロセスについては後述する。
【０１７２】
Ｓ２１０に於いて、２枚の基本画像の平行化画像を作成後、テクスチャマッピング手段１９は、定義した面の頂点である面定義座標のみを内挿して（Ｓ２２０）、ホモグラフィ行列Ｈｓを適用し基本画像をテクスチャマッピングすることで内挿画像を作成することになる（Ｓ２３０）。テクスチャマッピングのプロセスについては後述する。
【０１７３】
本実施態様に於いては３視点を１組としているので、２枚の基本画像（Ｉ０、Ｉ１）から１次内挿画像（Ｉｓ０）を作成する。同様のプロセスで２枚の基本画像（Ｉ０、Ｉ２）から他の１次内挿画像（Ｉｓ２）を作成する。即ちＳ１８０を２回行うこととなる。
【０１７４】
２枚の１次内挿画像（Ｉｓ０、Ｉｓ２）を作成すると、その２枚の１次内挿画像からＳ１８０と同様のプロセスにより、最終的な内挿画像（最終内挿画像）（Ｉｓ）を作成する（即ちこの段階に於けるＳ１８０の内挿画像は、先程作成した１次内挿画像２枚に基づいて作成する）。作成した最終内挿画像（Ｉｓ）を作成画像記憶手段６に送信し、一時的に格納する。即ち合計３回Ｓ１８０を行うこととなる。
【０１７５】
次に作成した最終内挿画像に対してリアリティを持たせる為に、対象物に対する影を影作成手段４に於いて作成し（Ｓ２４０）、作成した影を作成画像記憶手段６に対して送信し一時的に格納する。影を作成するプロセスについては後述する。又対象物に対する反射を反射作成手段５に於いて作成し（Ｓ２５０）、作成した反射を作成画像記憶手段６に対して送信し一時的に格納する。反射を作成するプロセスについては後述する。Ｓ２４０及びＳ２５０に於いて作成する、影及び反射の作成プロセスは順不同である。
【０１７６】
Ｓ１８０からＳ２５０に於いて作成され、作成画像記憶手段６に一時的に格納した最終内挿画像、影及び反射を合成表示手段７に対して送信し、これらを１枚の画像に合成する（Ｓ２６０）。Ｓ２６０に於ける合成の手法は、対象物の複数画像からその３次元的な情報を「復元」することにより、複数の対象物を同一視点で合成して表示することにより実現できる。これは「復元」の手法として「射影復元」あるいは「ユークリッド復元」の公知技術を用いることにより実現する。
【０１７７】
Ｓ２６０に於いて影や反射、内挿画像が合成表示された後、位置、大きさに関する補正処理が実行される（Ｓ２７０）。これは、Ｓ１００に於いて取り込んだ基本画像は、カメラから対象物までの距離や、基本画像内での対象物の位置が視点毎に異なることが一般的である。そしてこれらが異なったまま内挿画像の作成を連続的に行うと、視点移動以外の対象物の変位が発生し、見かけ上、対象物が拡大／縮小表示されたり、対象物が一定の点の周りに回転せず上下に動いたりする問題点が発生する点を解決する為である。
【０１７８】
これを防ぐ為に、本発明では、基本画像内の対象物のカメラからの距離（＝拡大／縮小倍率）と位置を補正するプロセスを付加することにより、この問題点の解決を図る。位置、大きさの補正処理プロセスについては後述する。
【０１７９】
Ｓ２７０に於いて、位置、大きさの補正処理が終了後、作成した内挿画像を表示する。Ｓ２４０からＳ２７０に於ける影・反射・合成表示・位置、大きさの補正に付いてはその全てあるいは一部だけが行われても、あるいは行われなくても良い。
【０１８０】
【実施例３】
本発明に於ける他の実施態様を図１及び図２のシステム構成図に基づいて詳細に説明する。本実施態様に於いては対象物の３視点からの２次元画像（基本画像）（Ｉ０、Ｉ１、Ｉ２）からユーザが希望する視点に於ける内挿画像（ＩＳ）を作成するプロセスを説明する（即ち２次元の視点移動を可能とするプロセスを説明する）。但し実施例２に於いては、３枚以上の基本画像を１組として、その組内の２枚の基本画像から１次内挿画像を作成し、複数の１次内挿画像から最終内挿画像を作成する、２段階のプロセスを経た場合を説明した。
【０１８１】
しかし、この場合であると２段階のプロセスを経ることから例えば３枚の基本画像を１組とした場合には、内挿画像を作成するプロセスを３回行う必要性がありその分処理時間が遅延化し、更に１次内挿画像から最終内挿画像を作成することによって、最終内挿画像が歪みやすくなる欠点を有している。
【０１８２】
そこで本実施態様に於いては、３枚の基本画像から１度で内挿画像（最終内挿画像）の作成を行うプロセスを説明する。尚実施例１及び実施例２と重複する部分については簡略化の為、説明を省略する。
【０１８３】
画像作成者は、サーバ１４上に於いて画像取込手段２から対象物の３枚の基本画像を取り込む（Ｓ１００）。取り込んだ基本画像に於いて、３枚の基本画像を１組とし、その組内に於ける基本画像に共通する位置の座標、即ち共通点座標を８点以上定義する（Ｓ１６０）。但し、共通点座標は、任意に３点を取っても一直線上に並ばないような共通点でなければならない。又、マウス等の入力デバイス（図示せず）で共通点座標を定義することが好適であるが、他の手段によっても良い。
【０１８４】
組になっている基本画像から対応する点を選択し、それらの点を直線で結んで面を定義する（即ち、面定義座標を定義する）。これを対象物全体に対して行う（Ｓ１７０）。面を定義する為の面定義画面の一例を図２０に示す。Ｓ１６０に於いて定義した共通点座標と面を定義する点である面定義座標とは同一であっても良いし、異なっていても良い。
【０１８５】
又対応する点の選択の際に、実施例１及び実施例２と同様に一枚の基本画像に於いて選択するのみで、残りの基本画像の対応する点は、自動的に選択できるようにしても良い。このプロセスについては後述する。
【０１８６】
基本画像の組合せに対し面の定義が終了後、Ｓ１００からＳ１７０に於ける情報は、画像取込手段２から内挿画像作成手段３へ送信される。
【０１８７】
次に、ユーザが閲覧を希望する視点をマウス等を用いて指定する（Ｓ１７６）。その後、画像取込手段２に於いて定義した共通点情報と面定義座標とに基づいて内挿画像を作成する（Ｓ１８０）。先ず、内挿画像を作成するにあたって必要となる初期情報（基本行列とエピポール）を初期情報演算手段９で算出する。そのプロセスを以下に説明する。
【０１８８】
３視点間に於ける各座標系の位置関係を図４０に示す。３視点をＣ０、Ｃ１、Ｃ２、３視点からの基本画像をＩ０、Ｉ１、Ｉ２とする。各基本画像Ｉ０とＩ１、Ｉ１とＩ２、Ｉ２とＩ０の３×３の基本行列を各々Ｆ０、Ｆ１、Ｆ２とする。基本行列は、各基本画像の組の８組以上の対応点から公知の手法である８点アルゴリズム等を用いて算出することが可能である（Ｓ１９０）。
【０１８９】
Ｓ１９０に於いて基本行列を算出後、算出した基本行列に基づいて公知の手法により各基本画像のエピポールを算出する（Ｓ２００）。基本画像Ｉ０とＩ１について基本画像Ｉ０のエピポールをｅ００、基本画像Ｉ１のエピポールをｅ０１、同様に基本画像Ｉ１とＩ２について基本画像Ｉ１のエピポールをｅ１０、基本画像Ｉ２のエピポールをｅ１１、基本画像Ｉ２とＩ０について基本画像Ｉ２のエピポールをｅ２０、基本画像Ｉ０のエピポールをｅ２１とする。エピポールｅ００はＦ０ ＴＦ０の最小固有値に対応する固有ベクトルである。他のエピポールについても同様に算出可能である。
【０１９０】
基本画像Ｉ０、Ｉ１、Ｉ２に於ける基本行列及びエピポールを算出後、内挿画像
ＩＳを作成するには、Ｓ２００に於いて算出されたエピポールを用いて内挿画像作成手段３の平行化画像作成手段１０に於いて、３枚の基本画像の平行化を実行し平行化画像を作成する（Ｓ２１０）。３枚の基本画像の平行化のプロセスについては後述する。
【０１９１】
Ｓ２１０に於いて、３枚の基本画像の平行化画像を作成後、テクスチャマッピング手段１９は、定義した面の頂点である面定義座標のみを内挿して（Ｓ２２０）、ホモグラフィ行列Ｈｓを適用して基本画像をテクスチャマッピングすることで内挿画像を作成する（Ｓ２３０）。テクスチャマッピングのプロセスについては後述する。
【０１９２】
内挿画像作成手段３に於いて内挿画像（Ｉｓ）を作成すると、作成画像記憶手段６に送信し一時的に格納する。本実施態様に於いては、実施例２と同様に３枚の基本画像から最終的な内挿画像（Ｉｓ）を作成するが、実施例２に於いては２枚の組からＳ１８０を３回行うことによって最終的な内挿画像（Ｉｓ）を作成している。しかし、本実施手態様に於いては３枚の基本画像から１度に最終的な内挿画像（Ｉｓ）を作成するので１回で良い。
【０１９３】
次に作成した内挿画像に対してリアリティを持たせる為に、影作成手段４、反射作成手段５に於いて影、反射を作成し（Ｓ２４０、Ｓ２５０）、作成画像記憶手段６に対して送信し一時的に格納する。これらのプロセスについては詳細は前記実施例と同様なので詳細は省略する。
【０１９４】
作成画像記憶手段６に一時的に格納した内挿画像、影、反射を合成表示手段７に於いて合成し（Ｓ２６０）、位置、大きさに関する補正処理を行う（Ｓ２７０）。これらのプロセスについても同様なので詳細は省略する。Ｓ２７０に於いて補正処理が終了後、この画像を表示する。当然のことながら、影、反射、合成表示、補正処理については、その全て或いは一部だけが行われても、或いは行われなくとも良い。
【０１９５】
【実施例４】
又本発明に於ける他の実施例として、予め決められたパス（経路）と移動速度で視点移動を行い内挿画像を自動作成し連続表示する自動表示について説明する。実施例１、実施例２及び実施例３と重複する部分については説明を省略する。本実施態様に於いては、パスと視点間の移動速度の設定を行う自動連続手段１７がサーバ１４上に具備され、前記設定したパスと移動速度に基づいて自動連続表示を行う自動連続作成手段１８がユーザ端末１５上に具備されている例を説明する。図３にその際の画像表示システム１のシステム構成の一例であるシステム構成図を示す。
【０１９６】
従来、このような自動連続表示には３次元データを入力し実行する、動画データにより実現する等があるが、データ量が増加する等の前記のような問題点が存在している。又従来視点区間を指定されたフレーム数で分割し、各フレームを順次表示することにより実行しているが、この場合、視点の移動速度は、視点区間では一定となる問題点がある。
【０１９７】
そこで本実施態様では、サーバ１４に於いて予めパスと移動速度を指定し、それに基づいて視点移動を行うことにより、内挿画像を自動作成しそれをユーザ端末１５上に於いて連続的に表示する実施例を説明する。プロセスの流れの一例を図１４から図１６のフローチャート図に示す。
【０１９８】
まず自動連続表示させることを希望する場合に、画像取込手段２に於いて自動連続表示させる基本画像を複数枚取り込む（Ｓ１００）。基本画像を取り込むプロセスは後述する。Ｓ１００に於いて取り込んだ基本画像に対して２枚以上を１組としてその組内に於ける基本画像に共通する位置の座標、即ち共通点座標を８点以上定義する（Ｓ１６０）。この際に、組は実施例１に示したように２枚１組でも良いし、実施例２又は実施例３に示したように３枚１組（又は３枚１組を複数組設ける）でも良い。
【０１９９】
組になっている基本画像から対応する点を選択し、それらの点を直線で結んで面を定義する（Ｓ１７０）（即ち、面定義座標を定義する）。これを対象物全体に対して行う。この際にＳ１６０に於いて定めた共通点座標と面を定義する点である面定義座標が同一であっても良いし、異なる点であっても良い。
【０２００】
Ｓ１００に於いて取り込んだ基本画像はカメラ（視点）から対象物までの距離や基本画像内での対象物の位置が視点毎に異なることが多い。これらが異なったまま自動連続表示を行うと、視点移動以外の対象物の変位が発生し、見かけ上対象物が拡大／縮小表示されたり、対象物が一定の点の周りに回転せず上下に動く等の問題点が発生する。
【０２０１】
そこで、本発明に於いて自動連続表示を行う際には、各基本画像内の対象物のカメラ（視点）からの距離（＝拡大／縮小倍率）と位置を補正する為に、対象物の範囲を示す情報（基本画像内の上、左、下、右の位置座標とし、以下ターゲット枠情報とする）を設定する（Ｓ１７５）。ターゲット枠情報が設定された基本画像の一例を図３７（ａ）（ｂ）に示す。図３７内に於いて内側の四角はターゲット枠を示し、外側の四角は基本画像の視点の枠を示す。
【０２０２】
面の定義が終了後、Ｓ１００からＳ１７５に於ける情報は、画像取込手段２から自動連続手段１７へ送信する。
【０２０３】
まず、自動連続表示の開始となる視点（開始視点）、停止する視点（停止視点）終了する視点（終了視点）を設定する（Ｓ５００）。この視点設定を行う際には、サーバ１４に具備されている入力デバイス（図示せず）であるマウス等を用いて行うことが好適である。
【０２０４】
視点を設定する際には、Ｓ１００の基本画像の取込プロセスに於いて説明するように、マウスの移動量に応じて視点の移動を行うことが好適である。具体的な手法についてはＳ１５０に於けるプロセスと同様に数３及び数４（後述）を用いて算出できる。又、停止視点を設定する際には、その視点に於いてマウスが停止している時間をサーバ１４内に予め具備されているタイマ機能（図示せず）を用い時間の計測を行うことが好適である。
【０２０５】
即ち、Ｓ５００を実行することにより、自動連続表示のパスが設定できることとなる。又このパスに対して各々移動速度を設定することにより、パス毎の移動速度を変化させることが可能となる。移動速度の設定の際には、キーボードを用いて移動速度を入力しても良いし、マウスの移動速度とタイマとを対応させることにより、パスに於ける移動速度を設定しても良い。
【０２０６】
Ｓ５００に於いて視点のパスと移動速度を設定後、自動連続表示プロセスを自動連続手段１７に於いて実行する（Ｓ５０５）。
【０２０７】
次にユーザがユーザ端末１５から自動連続表示要求を送信し、それをサーバ１４の自動連続手段１７に於いて受信すると、Ｓ１００からＳ１７５及びＳ５００の情報をサーバ１４からユーザ端末１５の自動連続作成手段１８に送信する。
【０２０８】
自動連続表示では、複数の静止画を連続的に表示することにより動画的に表示する。ここで静止画１枚をフレームと呼ぶ。即ちフレームの連続表示により動画となる。又視点から視点の間のパスを視点区間とする。図３８に概念図を示す。
【０２０９】
まず、現在の描画区間位置が、視点区間の開始又は終了視点で、且つ停止カウント（停止時間）が０であるか否かを判定する（Ｓ５１０）。最初に表示される画像は開始視点であるはずなので、停止時間を減算する（Ｓ５１５）。その間は開始視点の基本画像を表示することとになる。
【０２１０】
停止時間が０になると、サーバ１４の自動連続手段１７に於いて定義されたパスに基づいて視点移動が開始される。即ちＳ５１０に於いて描画停止でない場合のプロセスを実行することとなる。
【０２１１】
現在の描画区間位置から次描画区間位置の計算を行う（Ｓ５２０）。当然の事ながらこの際には連続表示のパスの方向によって、描画区間位置は減増することとなる。
【０２１２】
次描画区間位置が視点区間の開始位置以下、又は終了位置以上になるかを判定する（Ｓ５３０）。つまり次描画区間位置が視点区間を越えるか否かを判定する。
【０２１３】
Ｓ５３０に於いて、次描画区間位置が視点区間を越えない場合、視点区間と描画区間位置の情報を内挿画像作成手段３に送信し内挿画像を作成する（Ｓ１８０）。又内挿画像を作成する際には、Ｓ１８０に於ける内挿画像作成プロセスを用いて行えばよい。又必要に応じてＳ２６０に於ける影の作成、Ｓ２７０に於ける反射の作成、Ｓ２８０に於ける合成表示処理、Ｓ２９０に於ける位置、大きさの補正処理を行う。
【０２１４】
Ｓ５３０に於いて次描画区間位置が視点区間を越える場合、次視点区間を次に隣接する視点区間に、次描画区間位置を初期値（開始区間位置又は終了区間位置）に設定を行う（Ｓ５４０）。
【０２１５】
Ｓ５４０に於いて設定後、次視点区間が自動連続表示の最終視点区間を越えるか否かの判定を行う（Ｓ５５０）。次視点区間が最終視点区間を越えない場合には、Ｓ１８０の内挿画像を作成する。
【０２１６】
次視点区間が最終視点区間を越え（Ｓ５５０）、且つ自動連続表示がループ表示（即ち、最終視点区間に到達した場合、開始視点区間に戻り再表示を行う場合）の場合（Ｓ５５５）、ループに設定されている視点区間と初期描画区間位置を設定する（Ｓ５６０）。Ｓ５５０に於いて次視点区間が最終視点区間を越えない場合、又Ｓ５５５に於いてループ表示の設定が為されていない場合内挿画像を作成する（Ｓ１８０）。このループ表示の設定は予めサーバ１４の自動連続手段１７に於いて、パスの設定等を行う際に指定しても良いし、ユーザ端末１５に於いて設定しても良い。
【０２１７】
Ｓ１８０に於いて内挿画像を作成後、影、反射の作成（Ｓ２４０、Ｓ２５０）及びそれらの合成表示（Ｓ２６０）を行い、その後内挿画像が補正処理手段８に送信され、位置・大きさの補正処理を実行する（Ｓ２７０）。位置・大きさの補正処理についてはＳ２７０と同様のプロセスを実行する。
【０２１８】
Ｓ２７０に於いて補正処理を実行後、それをユーザ端末１５上に於いて表示する。その後、最終視点に到達するまでＳ５０５を連続的に繰り返すことにより連続的なフレームが作成することが可能となり、これをユーザ端末１５上で表示することにより動画のように表示することが可能となる（Ｓ５７０）。
【０２１９】
【実施例５】
以下に、ユーザ端末１５上でパスを設定するプロセスを説明する。又、重複するプロセスについては省略する。本実施態様に於いてはパスと視点間の移動速度を設定する自動連続手段１７及び前記設定したパスと移動速度に基づいて自動連続表示を行う自動連続作成手段１８がユーザ端末１５に具備されている場合の画像表示システム１を説明する。図４にこの場合の画像表示システム１のシステム構成図の一例を示す。
【０２２０】
サーバ１４上に於いて、対象物の基本画像を取込み（Ｓ１００）、それに対して共通点と面を定義し（Ｓ１６０及びＳ１７０）、ターゲット枠情報を設定する（Ｓ１７５）。Ｓ１００からＳ１７５の情報がユーザ端末１５に送信され、ユーザ端末１５に具備した自動連続手段１７に於いて視点設定が行われる（Ｓ５００）。この際にユーザはユーザ端末１５上に予め具備されているマウス等の入力デバイス（図示せず）を用いることにより、パスとその視点間の移動速度を設定する。
【０２２１】
視点設定を行う際には、Ｓ１００の基本画像の取込プロセスに於いて説明するように、マウスの移動量に応じて視点の移動を行うことが好適である。具体的な手法についてはＳ１５０に於けるプロセスと同様に数４及び数５（後述）を用いて算出できる。又、停止視点を設定する際には、その視点に於いてマウスが停止している時間をユーザ端末１５内に予め具備されているタイマ（図示せず）を用い時間の計測を行うことが好適である。
【０２２２】
即ち、Ｓ５００を実行することにより、自動連続表示のパスが設定できることとなる。又このパスに対して各々移動速度を設定することにより、パス毎の移動速度を変化させることが可能となる。
【０２２３】
Ｓ５００に於いて視点のパスと移動速度を設定後、設定した視点を自動連続作成手段１８に送信しＳ５０５からＳ５７０までのプロセスを実行することにより、ユーザ端末１５上に於いて視点と移動速度を設定することで、自動連続表示を行うことが可能となる。
【０２２４】
＜基本画像取込みのプロセス＞
以下に基本画像を取り込むプロセスを説明する。基本画像を取り込むプロセスの流れの一例を示したフローチャート図の一例を図８に示す。先ず、画像作成者は、スキャナ等から対象物を撮影した、あるいは従前にデジタルデータとしてコンピュータ上に格納している２次元画像を抽出し、読み込む（Ｓ１１０）。複数の画像を読込後、画像作成者は画像取込手段２を起動し（即ち、図１７（ａ）に示した視点定義を行う為の視点定義画面を起動する）初期状態にする。その後、視点定義画面に於いて、視点となる２次元平面を３次元仮想空間上（この３次元仮想空間は、３次元仮想空間を座標系原点とする球を想定する）に作成する（Ｓ１２０）。この状態の視点定義画面の画面イメージを図１７（ｂ）に示す。Ｓ１２０に於いて視点を作成後、Ｓ１１０に於いて読み込んだ画像を取込み、Ｓ１２０に於いて作成した視点に基本画像を対応させる。この状態における視点定義画面の画面イメージを図１７（ｃ）に示す。視点に読み込まれた基本画像の上下左右等の視点の位置調整を実行する（Ｓ１３０）。この状態の視点定義画面の画面イメージを図１７（ｄ）に示す。
【０２２５】
Ｓ１１０からＳ１３０に於いて設定された視点を全ての視点に於いて実行していない場合（Ｓ１４０）、次の視点を入力する為に視点移動を行う。この際には、各画像の視点位置、及び視線方向（画像面の方向）を数値化してキー入力をすることによって実現しても良いが、画像作成者が数値化してキー入力することは煩雑である。その為、図１８に示すように、想定された仮想３次元空間上の座標系原点を中心とした球に於いて、視点上でのｘ、ｙ座標を球面の極座標（φ、θ）に対応させ、マウス等の入力デバイス（図示せず）の移動量に応じて極座標（φ、θ）を算出し、その位置に視点を移動する（Ｓ１５０）。３次元仮想空間上に於いて視点が移動した画面イメージを図１９（ａ）に示す。
【０２２６】
極座標（φ、θ）は、以下のように算出する。単位時間に於けるｘ、ｙ座標の変化をΔｘ、Δｙとすると、Δφ、Δθは数４で算出できる。
【数４】
Δφ＝Ｃｘ × Δｘ（∀Ｃｘ∈Ｚ）
Δθ＝Ｃｙ × Δｙ（∀Ｃｙ∈Ｚ）
【０２２７】
数４と下記に示す数５を用いることにより極座標（φ、θ）は算出することが出来る。
【数５】
Ｓ１５０に於いて視点移動後、再びＳ１１０からＳ１４０を繰り返すことにより、２視点以上を作成する。２番目以降の視点が作成された画面イメージを図１９の（ｂ）から図１９の（ｄ）に示す。本実施態様で用いた画面イメージでは８視点を設けたが、２視点以上であれば視点はいくつであっても構わない。
【０２２９】
＜対応する点の自動照合のプロセス＞
基本画像の組から対応する点を定義する際には、組となる基本画像の全てからマウス等を用いて手作業で指定する必要性があった。しかし、手作業に因った場合では非常に手間がかかることからとても煩雑であり、組となる画像の枚数が多くなる、画像サイズが大きくなる等の場合には非常に負担となる。そこで組となる基本画像のうち、一枚の基本画像に於いて点を定義すると、組となる残りの基本画像から自動的に対応する点を抽出するプロセスを以下に説明する。まず、２枚の基本画像（Ｉ０、Ｉ１）を組とする場合を説明する。
【０２３０】
まず、各基本画像に於いて対象物の輪郭線沿いの点（以下、エッジ端点）をスーザン演算子を用いることによって自動的に抽出する。スーザン演算子を用いて対象物のエッジ端点を自動的に抽出する方法は、エス・エム・スティーブ、エム・ブレイディー（S.M.Steve and M.Brady)著「低レベル画像処理に於ける新しいアプローチ」（SUSAN A New Approach to Low Level Image Processing,International Journal of Computer Vision, Vol.23, No.1,p.45-78,1997）に記載されている。エッジ端点を自動的に抽出した図を図４４に示す。
【０２３１】
抽出したエッジ端点の中で組となる任意の点を弱校正用の点（以下、ドロネー三角形指定点）と定め、ユーザが指定を行う。図４５にドロネー三角形指定点を指定した場合の図を示す。尚図４５に於いては１１点を指定している。
【０２３２】
エッジ端点の抽出によって得られた基本画像Ｉ０上の１点をｐ０とし、基本画像Ｉ０とＩ１上の対応するドロネー三角形指定点（指定したドロネー三角形指定点の対応点の組の数をｎとする）を各々ｑ０ｉとｑ１ｉと（ｉ＝０，１，…，ｎ−１）とする。ドロネー三角形指定点から逐次法を用いることによって、ドロネー三角形を基本画像Ｉ０内に生成する。逐次法については、ディー・リスチンスキー（D.Lischinski）著「グラフィック・ジェムズ第４巻 逐次ドロネー三角形化」（Incremental Delaunay triangluation in Graphics Gems IV, AP Professional,1994）に記載されている。ドロネー三角形が生成された基本画像の一例を図４６に示す。
【０２３３】
点ｐ０を含むドロネー三角形の頂点をｑ００、ｑ０１、ｑ０２とする。点ｐ０がドロネー三角形の外部にある場合には、距離が近い点から順にｑ００、ｑ０１、ｑ０２と定義する。この時ｕ、ｖを未知のスカラパラメータとして、以下のように定義する。
ａ＝ｑ０１−ｑ００
ｂ＝ｑ０２−ｑ００
ｐ０＝ｕａ＋ｖｂ＋ｑ００
【０２３４】
これらの式から図４７が得られ、これを解くことによってｕ、ｖを算出する。但し、正則でない場合にはｑ０２を次に近いドロネー三角形指定点に置き換える。これらによって、基本画像Ｉ１に於ける対応点の初期推定位置ｐ＾１は以下の式で与えられる。
ｐ＾１＝ｕ（ｑ１１−ｑ１０）＋ｖ（ｑ１２−ｑ１０）＋ｑ１０
【０２３５】
ドロネー三角形指定点の三角形から線形に補間をしてもエピポール制約を満たさないので、基本画像Ｉ１の点ｐ＾１が基本画像Ｉ０の点ｐ０との間にエピポール制約を満たすように修正を行う必要性がある。点ｐ０、ｐ１の同次座標表現をｐ〜 ０、ｐ〜 １とすると、対応する点は基本画像内に存在する有限空間内の点であることから同次成分を１として、ｐ〜 １＝（ｐＴ １、１）＝（ｐ１ｘ、ｐ１ｙ、１）Ｔとすることが出来る。
【０２３６】
この時のエピポール制約は３×３の基本行列Ｆを用いてｐ〜Ｔ １Ｆｐ〜 ０＝０で表せる。基本行列Ｆの各成分も点ｐ〜 ０の点の成分も既知であることから、エピポール制約によりｐ〜 １は図４８に示すようなエピポール制約直線上に拘束されることが明らかである。即ちＬ＝Ｆｐ〜 ０とするとエピポール制約はＬ・ｐ〜 ０＝０である。
【０２３７】
このエピポール制約直線上に初期推定位置ｐ＾１を投影すると、エピポール制約直線に垂直な直線ｐ１＝ｔ（Ｌｘ、Ｌｙ）Ｔ＋ｐ＾１が、Ｌ・ｐ〜 ０＝０満たすことから、パラメータｔ＝−（Ｌｘｐ１ｘ＋Ｌｙｐ＾１ｙ＋Ｌｚ）／（Ｌ２ ｘ＋Ｌ２ ｙ）で算出が可能となる。これらからエピポール制約を満たすｐ１が求まる。
【０２３８】
先程求めたエピポール制約を満たすｐ１が基本画像上の対応点に一致するとは限らないので、エピポール制約直線上との輝度差を調べることによって、対応する点の修正を行う（線形探索と呼ぶ）。
【０２３９】
点ｐ１から一定距離内にあるエピポール制約直線上の各画素について点ｐ０の周辺に定義した探索窓（図４８参照：本実施態様に於いては正方形である場合を説明するが、それ以外であっても良い）との輝度の差が最小になる位置を求める。２枚の基本画像を用いた場合では視点の違いにより、対応する点であっても輝度が異なることがあるが、相対的な誤差の極小点は比較的安定的に求めることが自明である。又輝度の差は、探索窓全体について平均を用いるだけではなく、部分についても輝度差を求めることで周波数の影響を考慮する。
【０２４０】
探索窓に於ける輝度差は、探索窓の幅を２ｈ、基本画像Ｉ０、Ｉ１の座標（ｘ０、ｙ０）、（ｘ１、ｙ１）に於ける輝度差Ｃ０（ｘ０、ｙ０）、Ｃ１（ｘ１、ｙ１）を用いて、図４９のように再帰的に算出することによって可能である。又ｋは探索窓の大きさ毎の重みを表し、ｋ＝１では全ての大きさについて同じ重みで考慮する。ｋ＜１では小さい探索窓の影響を重視し、ｋ＞１では大きい探索窓の影響を重視する。一般的にはノイズの影響を減らし、低周波成分を重視する為にｋ＞１を用いることが好適である。図５０に自動的に対応する点の照合を行った場合の図を示す。
【０２４１】
上記では２枚の基本画像の場合を説明したが、次に３枚以上の画像で自動的に対応する点の照合を行う場合を説明する。３枚以上の画像の場合には、上述のように２枚の画像についてまず対応点を求め、その後３枚目以降の画像について解析的に対応点を求める。以下にそのプロセスを説明する。
【０２４２】
基本画像Ｉ０、Ｉ１、Ｉ２の対応する点を同次座標で表したものを各々ｐ〜 ０、ｐ〜 １、ｐ〜 ２とし、基本画像Ｉ０とＩ１、基本画像Ｉ１とＩ２、基本画像Ｉ２とＩ０の基本行列をＦ０１、Ｆ１２、Ｆ２０とする。ｐ〜 ０、ｐ〜 １は既知であるので、ｆ１２＝Ｆ１２ｐ〜 １、ｆ２０＝ＦＴ ２０ｐ〜 １、とすると、図５１の式が求められ、この一次方程式を求めることによって、３枚目の画像に於いてもｐ２を求めることが可能となる。これは、基本画像Ｉ０、Ｉ１からの２つのエピポール制約直線の交点を求めることであって、輝度差を考慮した線形探索を行う必要がなくなる。但し正則でない場合には２直線が平行となることは自明であり、輝度差を用いて求めることとなる。
【０２４３】
＜２枚の画像の平行化のプロセス＞
以下にＳ２１０に於ける画像の平行化のプロセスの一例を説明する。本実施態様に於いては２枚の基本画像Ｉ０とＩ１ の平行化を説明するが、当然の事ながら平行化は、対象となる２枚の基本画像に於いて全て作成する必要性がある。
【０２４４】
２枚の基本画像を平行化する為には、まず２枚の基本画像を、Ｓ１９０に於いて算出したエピポールｅｉｊ（ｉ＝０，１，ｊ＝０，１）と平行でない任意の軸ｄｉｊの周りにθｉｊだけ回転させることで平行にする。本実施態様に於いては簡単の為に、ｄｉｊをエピポールｅｉｊと垂直な無限遠の直線ｄｉｊ ＝ （ｅｉｊｙ ｅｉｊｘ ０）Ｔとする。２枚の基本画像が平行と言うことはこの変換によりエピポールが無限遠点に移されることを意味する。即ち、回転行列Ｒ（ｄｉｊ、θｉｊ）を図２３（ａ）に示すと、Ｒ（ｄｉｊ、θｉｊ）ｅｉｊの同次成分は０となる。
【０２４５】
次にエピポーラ線を水平にするようにｚ軸周りに回転する。即ちこの回転行列を図２３（ｂ）に示すようにＲ（φｉｊ）、ｅ’ｉｊ ＝Ｒ（ｄｉｊ、θｉｊ）ｅｉｊとすると、Ｒ（φｉｊ）ｅ’ｉｊ のｙ成分は０である。
【０２４６】
ｐ＾ｉｊ＝Ｒ（φｉｊ）Ｒ（ｄｉｊ、θｉｊ）ｐｉの変換によって定数倍の不定性を除いて面定義座標同士は同一走査線上に並ぶ。定数倍の不定性を取り除く為の第２の基本画像にかける３×３の剪断変形行列Ｔｉとすると、数６及び数７で計算されるホモグラフィＨｉ０、Ｈｉ＋１，１により、同一走査線上に面定義座標が並ぶ平行化が行える。この関係を図示すると図２４のようになる。
【数６】
Ｈｉ０ ＝Ｒ（ｄｉ０，−θｉ０）Ｒ（−φｉ０）
【数７】
基本画像Ｉ０の座標点（面定義座標のうちの一点）ｐ０が平行化によって写像された点ｐ＾００＝Ｈ−１ ００ｐ０と、基本画像Ｉ１の座標点ｐ１が平行化によって写像された点ｐ＾１１＝Ｈ−１ １１ｐ１とは同一ｙ座標を持つ。基本画像Ｉ０、Ｉ１をｓ１の比に内分する点ｐ＾ｓ０ （図２２参照）も平行化座標では同一ｙ座標を持つことから数８のように内挿できる。同様に、基本画像Ｉ０、Ｉ２をｓ１の比に内分する点ｐ＾ｓ２は数９のように示される。
【数８】
ｐ＾ｓ０ ＝（１−ｓ１）ｐ＾００＋ｓ１ｐ＾１１
【数９】
ｐ＾ｓ２ ＝（１−ｓ１）ｐ＾０１＋ｓ１ｐ＾２０
【０２４８】
基本画像Ｉ０、Ｉ１の組について、基本画像Ｉ０の４隅の点をｂ０ｉ（ｉ＝０，１，２，３）として、その平行化画像での点をｂ＾００ｉとする。又、基本画像Ｉ１の４隅の点をｂ１ｉ（ｉ＝０，１，２，３）として、その平行化画像での点をｂ＾１１ｉとする。基本画像上での４隅の点の内挿をｂｓ０ｉ ＝（１−ｓ１）ｂ０ｉ＋ｓ１ｂ１ｉとし、その平行化画像上での４隅の点の内挿をｂ＾ｓ０ｉ ＝（１−ｓ１）ｂ＾００ｉ＋ｓ１ｂ１１ｉとする。このとき、ｐｓ０ｉ＝Ｈｓ０ｐ＾ｓ０ｉの最小自乗解となるような３×３の行列Ｈｓ０を基本画像Ｉ０、Ｉ１の内挿ホモグラフィとする。同様に基本画像Ｉ０、Ｉ２の組についてもＨｓ２を算出することが可能である。
【０２４９】
内挿ホモグラフィを算出後、中間視点Ｉｓ０に於ける点の座標を数１０を用いることにより算出する。
【数１０】
ｐｓ０ ＝Ｈｓ０ｐ＾ｓ０
【０２５０】
＜３枚の画像の平行化のプロセス＞
以下に３枚の画像を平行化する場合のプロセスの一例を説明する。基本画像
Ｉ０、Ｉ１、Ｉ２を平行にする回転行列をそれぞれＲ（ｄ０、θ０）、Ｒ（ｄ１、θ１）Ｒ（ｄ２、θ２）とする。但し、Ｒ（ｄｉ、θｉ）は回転軸ｄｉの回りの角度θｉの回転を示す。回転行列Ｒ（ｄｉ、θｉ）は図４１（ａ）で示される。
【０２５１】
基本画像Ｉ０、Ｉ１、Ｉ２のｚ軸周りの回転行列を各々Ｒ（φ０）、Ｒ（φ１）、Ｒ（φ２）とする。ｚ軸回りの回転行列Ｒ（φｉ）は図４１（ｂ）で示される。又基本画像Ｉ１のＩ０に対する３×３の剪断変形行列をＴ１、基本画像Ｉ２のＩ０に対する３×３の剪断変形行列をＴ２とする。
【０２５２】
３枚の基本画像を一度に変換する場合については、２枚の基本画像の場合と同様にエピポールを無限遠に移す回転変換を行えばよいが、各基本画像の組について回転を求めるのではなく、全ての基本画像を同時に変換するので、回転軸の自由度は失われ一意に定まることとなる。
【０２５３】
回転行列Ｒ（ｄ０、θ０）、Ｒ（ｄ１、θ１）Ｒ（ｄ２、θ２）によって移されるエピポールをｅ’ｉｊ（ｉ＝０，１，２，ｊ＝０，１）とすると、
（１） ｅ’００ ＝ Ｒ（ｄ０、θ０）ｅ００
（２） ｅ’２１ ＝ Ｒ（ｄ０、θ０）ｅ２１
（３） ｅ’１０ ＝ Ｒ（ｄ１、θ１）ｅ１０
（４） ｅ’０１ ＝ Ｒ（ｄ１、θ１）ｅ０１
（５） ｅ’２０ ＝ Ｒ（ｄ２、θ２）ｅ２０
（６） ｅ’１１ ＝ Ｒ（ｄ２、θ２）ｅ１１
となる。
【０２５４】
ここで、画像が平行になるとは、他のエピポールが無限遠になり同次成分が０になることを意味するので、ｅ’ｉｊｚ＝０が成立する。基本画像Ｉ０の無限遠回りの回転を表す為に、回転軸ｄ０の同次成分に関して、
（７） （−ｅ００ｘｄ０ｙ＋ｅ００ｙｄ０ｘ）ｓｉｎθ０＋ｃｏｓθ０＝０
（８） （−ｅ０１ｘｄ０ｙ＋ｅ０１ｙｄ０ｘ）ｓｉｎθ０＋ｃｏｓθ０＝０
が成立する。従ってｄ０ｙ＝ｄ０ｘ×（ｅ０１ｙ−ｅ００ｙ）／（ｅ０１ｘ−ｅ００ｘ）が得られる。
【０２５５】
ここでｄ０ｘの係数をα０とすると、回転軸は単位ベクトルであるので、ｄ２ ０ｘ＋ｄ２ ０ｙ＝（１＋α２ ０）ｄ２ ０ｘ＝１となり、回転軸ｄ０は、図４２（ａ）として求められる。この式に（７）を代入すると、回転角度θ０は、ｔａｎθ０＝１／（ｅ００ｘｄ０ｙ−ｅ００ｙｄ０ｘ）で算出可能となる。従って、図４２（ｂ）を図４１（ａ）に代入することで回転行列Ｒ（ｄ０、θ０）を算出することが可能となる。Ｒ（ｄ１、θ１）、Ｒ（ｄ２、θ２）についても同様に算出が可能である。このプロセスを平行化回転変換（３画像を平行にする変換）と呼ぶ。
【０２５６】
次に対応点の組を同一水平線上に並べる水平化回転変換のプロセスを行う。２画像の場合にはエピポールのｙ座標が０になる変換を行えばよいが、３画像ではエピポールが各画像の組毎に定義されている為、上記の方法は用いることが出来ない。そこで、最初に基本画像Ｉ０、Ｉ１の組について平行化を行い、基本画像Ｉ２に関しては、基本画像Ｉ０、Ｉ１の座標系に対する相対的な変換を求める。
【０２５７】
まず基本画像Ｉ０、Ｉ１については２枚の基本画像に於ける場合と同様に、エピポールのｙ座標が０になるように変換することで対応点が同一ｙ座標に並ぶように変換を行う。即ちｅ’’００＝Ｒ（φ０）ｅ’００ 、ｅ’’０１＝Ｒ（φ１）ｅ’０１ で変換されたエピポールのｙ座標がｅ’’００ｙ＝０、ｅ’’０１ｙ＝０となる。ここで基本画像Ｉ０について解くと、ｅ’’００ｙ＝ｅ’００ ｘｓｉｎφ０＋ｅ’００ｙｃｏｓφ０＝０となり、これより、回転角度φ０＝−ｅ’００ｙ ／ｅ’００ｘとして求められる。従って図４２（ｃ）を図４１（ｂ）に代入して回転行列Ｒ（φ０）が求められる。基本画像Ｉ１についても同様である。
【０２５８】
次に基本画像Ｉ０、Ｉ１の座標系に対する基本画像Ｉ２の相対的な変換を求めることとなるが、基本画像Ｉ０、Ｉ１の平行化に於ける変換で基本画像Ｉ２に対するエピポールｅ２１を変換したものが、基本画像Ｉ０、Ｉ２のエピポールの方向になればよい（相対的な変換である為）。即ち、ｅ’’２０＝−ｋｅ’’２１が成立する。
【０２５９】
ここで、ｅ’’２１＝Ｒ（φ０）Ｒ（ｄ０、θ０)ｅ２ 1は既知であり、同様にｅ’’２０＝Ｒ（φ２）ｅ’２０であるので、図４２（ｄ）を解けばよい。これを解くと、図４２（ｅ）となり、Ｒ（φ２）を得られる。
【０２６０】
次に基本画像Ｉ２の焦点距離と位置を合わせるスケール変換のプロセスを説明する。即ち剪断変形行列Ｔ２を求めることとなる。基本画像Ｉ０、Ｉ２の射影された対応点ｐ’’０ｙ、ｐ’’２ｙがｐ’’０ｙ＝ｐ’’２ｙを図４３（ａ）のように示すことが出来る。ここで、Ｒ０、Ｒ１を図４３（ｂ）のように定義すると、図４３（ａ）から（Ｔ２Ｒ２ｐ２）ＴＫＲ０ｐ０＝ｐＴ ２（ＲＴ ２ＴＴ ２ＫＲ０）ｐ０＝０となる。
【０２６１】
一方基本画像Ｉ０、Ｉ２には基本行列Ｆ２のｐＴ ２Ｆ２ｐ０＝０の関係が成立しているので、図４３（ｃ）が成立する。但し、ｔｉｊはＴ２の成分を示す。従って図４３（ｄ）のように剪断変形行列Ｔ２が定まる。従って基本画像Ｉ２のホモグラフィ行列Ｈ２＝（Ｔ２Ｒ（φ２）Ｒ（ｄ２、θ２））−１となる。同様にホモグラフィ行列Ｈ０、Ｈ１を算出する。
【０２６２】
基本画像Ｉ０、Ｉ１、Ｉ２を（１−ｓ−ｔ）：ｓ：ｔの比に内分する点に於ける内挿ホモグラフィＨｓｔ（即ち最終的に求めるべき内挿ホモグラフィ行列）のプロセス（ホモグラフィ行列の内挿プロセス）は以下のようにして算出する。
【０２６３】
基本画像Ｉ０、Ｉ１、Ｉ２の４隅の点をそれぞれｂ０ｉ、ｂ１ｉ、ｂ２ｉ（ｉ＝０，１，２，３）とし、平行化座標に於ける点をｂ＾０ｉ、ｂ＾１ｉ、ｂ＾２ｉとすると、
ｂ＾０ｉ＝Ｈ−１ ０ｂ０ｉ
ｂ＾１ｉ＝Ｈ−１ １ｂ１ｉ
ｂ＾２ｉ＝Ｈ−１ ２ｂ０ｉ
となる。
【０２６４】
但しこれらの座標は３次元の同次座標で表される。ここで内挿する基本画像Ｉｓｔの４隅の点ｂｓｔｉ及びその平行化座標に於けるｂ＾ｓｔｉを、ｂｓｔｉ＝（１−ｓ−ｔ）ｂ０ｉ＋ｓｂ１ｉ＋ｔｂ２ｉ、ｂ＾ｓｔｉ＝（１−ｓ−ｔ）ｂ＾０ｉ＋ｓｂ＾１ｉ＋ｔｂ＾２ｉで内挿する。このとき、ｂｓｔｉ＝Ｈｓｔｂ＾ｓｔｉの最小自乗解となるような３×３の行列を内挿ホモグラフィＨｓｔとする。
【０２６５】
＜テクスチャマッピングのプロセス＞
以下にＳ２３０に於けるテクスチャマッピングを説明する。テクスチャマッピングのプロセスの流れの一例を示したフローチャート図を図９に示す。テクスチャマッピングを行う際には、まず、全ての面に対して、どの面をテクスチャ画像として用いるかを面選択手段１１に於いて選択する（Ｓ３００）。面選択のプロセスについては後述する。全ての面に対して面のテクスチャ画像を選択したならば（Ｓ３５０）、次に面と面との輪郭に対する処理を輪郭処理手段１２に於いて実行する（Ｓ３６０）。輪郭処理のプロセスについては後述する。この輪郭処理は、面を定義する際に曲面を粗い多角形で近似すると輪郭部分での角が目立つ画像となる為、それを回避し、より自然な画像に近づける為の処理である。Ｓ３６０に於いて輪郭処理が終了後、面に対する色の補正処理を色補正手段１３に於いて実行する。この色補正処理は、テクスチャ画像をＳ３００のように選択した場合、隣接面同士で異なる画像から選択することもあり、隣接面同士で発生する色差をなくし、自然な画像に近づける為のプロセスである。色補正処理のプロセスについては後述する。Ｓ３６０に於ける輪郭処理、Ｓ４１０に於ける色補正処理はテクスチャマッピングのプロセスに於いて具備されることが好適であるが、その全部またはどちらか一方のみが具備されても良いし、具備されなくとも良い。
【０２６６】
＜面選択のプロセス＞
以下に、Ｓ３００に於ける面の選択プロセスについて説明する。面の選択プロセスの流れの一例を示したフローチャート図を図１０に示す。
【０２６７】
テクスチャマッピングを行う際に、テクスチャとして用いる画像は視点移動途中で変更すると表示が不自然になる。その為、面選択手段１１に於いてどの面をテクスチャ画像とするかを選択する。
【０２６８】
面毎にテクスチャ画像参照番号を前処理で一度決定しておく。２枚の基本画像のうちどちらの基本画像を利用するかを決定するかは、以下の２つの基準によって決定される。図２５にテクスチャの選択基準の概念図を示す。
（基準１）面の向き
（基準２）面の面積
【０２６９】
対象となる面に対して表向きの画像か否かを判断する（Ｓ３１０）。対応する面が両画像とも表向きの場合（つまり図２５に示した面１の場合）、各画像に於ける面の面積を計算し（Ｓ３２０）、その面積が大きい方の画像をその面のテクスチャ画像とする（Ｓ３３０）。面積を基準とする場合には、２画像のうち解像度の高い方の画像を利用する為、高画質化に有効である。又Ｓ３１０に於いて表向きの画像が１枚の場合には、表向きの画像をその面のテクスチャ画像とする（Ｓ３４０）。つまり、図２５の面２に示したように、一方が表向きで他方が裏向きの場合には表向きの画像をその面のテクスチャ画像とする。
【０２７０】
更に、面選択手段１１に於いてテクスチャ画像として用いる面を単に２枚の画像から選択するのみならず２枚の画像を視点に応じて組み合わせ、新たな画像を作成することによって、その作成した画像をテクスチャ画像として選択しても良い。これは、前記の面選択の方法に於いては、２枚の画像から１枚の画像を選択する為に、視点の移動の仕方によっては頻繁にテクスチャ画像が切り替わる等が発生するからである。
【０２７１】
ここで２枚の画像を視点に応じて組み合わせるとは、画像Ａの輝度をＡ、画像Ｂの輝度をＢ、画像Ａと画像Ｂとの間の視点に於いて、画像Ｂから視点迄の距離の比率をｄ（０≦ｄ≦１）とした場合、以下の式によって組み合わせる比率を算出する。
Ｓ＝Ａ×ｄ＋Ｂ（１−ｄ）
【０２７２】
従って、例えば視点からの距離の比率がＡから１０％、Ｂから９０％である場合に組み合わせる画像の輝度Ｓは、０．９Ａ＋０．１Ｂとなる。又、視点からの距離の比率がＢから５０％、Ａから５０％である場合に組み合わせる画像の輝度Ｓは、０．５Ａ＋０．５Ｂとなる。この場合は視点が画像Ａと画像Ｂとの中間に存在する場合である。
【０２７３】
＜面選択の他のプロセス＞
更に前記の面選択の方法に於いては、例えば図２５に於いては、面に向き付けがされている為に途中の視点の画像であっても表裏の判別は出来、面自体の可視不可視は判断できるが、図５２に示すような文字盤とリストバントの関係のように両方とも表向きの場合には、他の面によって隠されるオクルージョンが生じる為可視性の判断が行えない。そこで各画像に於けるエピポールを利用し、視点から遠くに存在する面から順番に描画を行うプロセスを説明する。
【０２７４】
面は２次元であって奥行きは持たない為、面を選択する順序に依存する隠面消去が行われる。従って面を選択する順序は、面の見えている画像に於いて視点からの距離に相当する基準によって決定することが可能となる。図５３に示すように、基本画像Ｉ０、Ｉ１の視点をＣ０、Ｃ１とし、エピポールｅ０、ｅ１で表す。オクルージョンが生じた場合、エピポールからの距離が遠い面から順に描画することで近似的な隠面消去が行えることとなる。
【０２７５】
＜輪郭処理のプロセス＞
以下にＳ３６０の輪郭処理手段１２に於ける輪郭処理のプロセスを説明する。輪郭処理プロセスの流れの一例を示したフローチャート図を図１１に示す。
【０２７６】
面を定義する際に曲面を粗い多角形で近似すると輪郭部分での角が目立ち不自然な画像になってしまう。この問題を避けるには細かく多角形分割する必要があるが、そうなると平行化画像に内挿する面の頂点の数が増加することとなり、データ量が増加する。同時に入力作業が困難にもなる。３次元ＣＧでは輪郭部分だけを適応的に細分割する方法や、粗い分割のまま輪郭部分だけにテクスチャ付きの面を付加する手法が存在している。
【０２７７】
本発明に於いては、従来の手法よりもより自然な画像を作成することが可能な以下のような方法によりそれを実現している。即ち、元の画像に対象物以外を消去するマスクを作成し、定義した面の輪郭部分の外側に新たな四辺形面を付加し、マスク付きテクスチャを写像する。マスクは図２６に示すように、元の画像から画像編集ソフトを使用し手作業で背景を塗りつぶすことで作成できるが、ブルーバック等の単一色の背景ならば自動的に抽出することも可能である。
【０２７８】
面の外側の四辺形面のことをオフセット面と呼ぶ。面頂点間のつながりである稜線をはさんで面が接続する場合、隣り合う面を隣接面と呼ぶ。隣接面が存在しない稜線を外部境界稜線、隣接面が存在し一方は表向き他方は裏向きとなる輪郭の稜線を内部境界稜線とし、外部境界稜線と内部境界稜線を総称して境界稜線と呼ぶ。面の頂点座標を平均する点を面の重心とするとき、重心を通り稜線に垂直な外向きの単位ベクトルを稜線オフセットベクトルとする。又頂点を含む境界稜線オフセットベクトルの平均単位ベクトルを頂点オフセットベクトル、頂点を頂点オフセットベクトル方向に移動した点をオフセット頂点と呼ぶ。以上の関係を概念的に図示した図が図２７である。
【０２７９】
図２７に示した場合、オフセット面の表示プロセスは次のようになる。先ず、各画像毎に稜線オフセットベクトルを計算する（Ｓ３７０）。計算された稜線オフセットベクトルを平均して頂点オフセットベクトルを計算する（Ｓ３８０）。作成された内挿画像について、境界稜線の両端頂点とそこからオフセットベクトル方向に移動した頂点で構成されるオフセット面を表示する（Ｓ３９０）。その後、通常の面を表示する（Ｓ４００）。
【０２８０】
この場合、補間された頂点だけは数３に示したエピポール制約を満たしているが、頂点以外のオフセット面内部の点は、視点の射影幾何学的制約を満たさない。しかし、オフセット面は通常、稜線から近い部分に定義されるので歪みは小さくて済むこととなる。
【０２８１】
＜色補正処理のプロセス＞
以下にＳ４１０の色補正手段１３に於ける色補正プロセスを説明する。色補正プロセスの流れの一例を示したフローチャート図を図１２に示す。
【０２８２】
Ｓ３００の面選択手段１１に於いてテクスチャ画像を選択した場合、隣接面同士で異なる画像を選択することがあり、境界部分の色差が目立ち不自然な画像となる場合がある。
【０２８３】
そこで、本発明に於いては２枚のテクスチャ画像を混ぜ合わせることにより色の差を修正する。混ぜ合わせる際には、混ぜ合わせる割合を稜線からの距離に応じて減衰する。この処理はテクスチャ画像に対して一度だけ計算される処理であり、以下のように実行する。
【０２８４】
先ず、面内部の各画素について隣接面のテクスチャ画像参照番号が異なる稜線から画素までの距離を求める（Ｓ４２０）。次に画素点ｐにおける稜線の重みをｗｉとし、稜線ｉからの最短距離をｄｉとし、面の重心から稜線までの距離をｒｉとした時、図２８に示す式で稜線の重みｗｉを算出することにより（Ｓ４３０）、稜線の重みｗを数１１より算出する（Ｓ４４０）。
【数１１】
ｗ＝ｍｉｎ（Σｉｗｉ ，１）
【０２８５】
画素点ｐに対応するテクスチャ画像０，１の色をそれぞれＣ０（ｐ），Ｃ１（ｐ）とすると、補正した色Ｃ（ｐ）は数１２で算出する（Ｓ４５０）。
【数１２】
Ｃ（ｐ）＝（１−ｗ）Ｃ０（ｐ）＋ｗＣ１（ｐ）
【０２８６】
＜影作成のプロセス＞
以下に、Ｓ２６０の影作成手段４に於ける射影復元した対象物に擬似的な影を付加するプロセスを説明する。但し、影は１枚の平面に投影されるものとする。
【０２８７】
６自由度の２次元アフィン変換行列をＮとする。床面（影が作成される平面を床面とするがそれ以外でもよい）に投影される対象物頂点の画像上の点をｍｉ＝（ｕｉ，ｖｉ，１）Ｔ とする。影の相対位置を決定する為に２点を指定することにより４自由度が決定されるので、残りの２自由度で影の方向と大きさを指定するものとする。影の方向と大きさの指定は剪断変形で実現できる。射影復元した対象物の頂点を２点を基準とする相対座標に変換した後、剪断変形を適用して元の座標に戻す。ｍ１を原点とするように平行移動する変換行列をＴ、ｍ１ｍ２がｘ軸になるような原点を中心とした回転行列をＲ、剪断変形行列をＳとする（但し剪断変形式に於いてｘ方向の変位をａ、ｙ方向の変位をｂとする）。即ち、各行列Ｔ、Ｒ、Ｓは図３０（ａ）から（ｃ）のように各々示される。
【０２８８】
又、ｃｏｓθ、ｓｉｎθは各々図３０（ｄ）、（ｅ）のように示される。視点移動により２点ｍ１，ｍ２がそれぞれｍ’１，ｍ’２に移るものとし、新たな座標に於ける平行移動行列をＴ’、回転行列をＲ’とすると、影の座標変換を表すアフィン変換行列Ｎは図３１に示す式で表される。又、影を算出する過程を示した概念図を図３２に示す。射影復元する際の面情報を利用して変換された頂点を辿り、半透明な面を表示すれば影が作成される。当然の事ながら、射影復元した対象物の表示は影の表示処理後に行う。
【０２８９】
＜反射作成のプロセス＞
以下に、Ｓ２７０の反射手段に於ける反射する画像を作成するプロセスを説明する。反射画像も影と同様に射影復元した対象物のアフィン変換行列で作成する。２次元アフィン変換は６自由度なので、反射する床面上にある対象物の２点と反射して見える１点を指定することで変換行列を決定できる。
【０２９０】
影の場合と同様に床面上にある対象物の２点をｍ１，ｍ２とし、ｍ１を原点とするように平行移動する行列をＴ、ｍ１ｍ２がｘ軸になるような原点を中心とした回転行列をＲとする（但し、行列Ｔ、Ｒは図３０（ａ）（ｂ）で定義される）。又視点移動後の平行移動行列、回転行列をＴ’、Ｒ’とする。この時、反射を表すアフィン変換行列Ｍは数１３で示される。又、Ｓ’は反射する点ｍ３＝（ｕ３，ｖ３，１）Ｔを用いて図３３で表される。
【数１３】
Ｍ＝Ｔ’−１Ｒ’−１Ｓ’ＲＴ
【０２９１】
＜位置、大きさの補正処理のプロセス＞
以下にＳ２９０の補正処理手段８に於ける位置、大きさの補正処理のプロセスを説明する。位置、大きさの補正処理のプロセスの流れの一例を図１３に示す。
【０２９２】
Ｓ１００に於いて取り込んだ基本画像は、カメラから対象物までの距離や、基本画像内での対象物の位置が視点毎に異なることが一般的である。そしてこれらが異なったまま内挿画像の作成を連続的に行うと、視点移動以外の対象物の変位が発生し、見かけ上、対象物が拡大／縮小表示されたり、対象物が一定の点の周りに回転せず上下に動いたりする問題点が発生する点を解決する為である。
【０２９３】
これを防ぐ為に、本発明では、基本画像内の対象物のカメラからの距離（＝拡大／縮小倍率）と位置を補正するプロセスを付加することにより、この問題点の解決を図る。
【０２９４】
まず、対象物の範囲を示す情報（基本画像内の上、左、下、右の位置座標とし、これを以下「ターゲット枠情報」とする）をＳ１００に於いて２次元画像の取込みを行う際に設定しておく。
【０２９５】
次にＳ２００に於いて内挿画像を作成する際に、このターゲット枠情報に基づいて拡大／縮小倍率と平行移動量を算出して補正を加える（Ｓ４７０）。ターゲット枠情報は、視点毎に異なる為、開始視点のターゲット枠情報と、開始視点から終了視点までの総フレーム数を利用して線形に補間して数１４に基づいて算出する（Ｓ４８０）。位置、大きさの補正処理を行わない場合のイメージ図を図３９（ａ）に示し、行った場合のイメージ図を図３９（ｂ）に示す。
【数１４】
当然のことながら、影や反射、合成表示、補正処理等は行われず、単純に内挿画像が作成されるだけでも良い。
【０２９７】
尚、本発明を実施するにあたり本実施態様の機能を実現するソフトウェアのプログラムを記録した記憶媒体をシステムに供給し、そのシステムのコンピュータが記憶媒体に格納されたプログラムを読み出し実行することによって実現されることは当然である。
【０２９８】
この場合、記憶媒体から読み出されたプログラム自体が前記した実施態様の機能を実現することとなり、そのプログラムを記憶した記録媒体は本発明を当然のことながら構成することになる。
【０２９９】
プログラムコードを供給するための記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード等を使用することができる。
【０３００】
また、コンピュータが読み出したプログラムを実行することにより、上述した実施態様の機能が実現されるだけではなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているオペレーティングシステムなどが実際の処理の一部または全部を行い、その処理によって前記した実施態様の機能が実現される場合も含まれることは言うまでもない。
【０３０１】
さらに、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わる不揮発性あるいは揮発性の記憶手段に書き込まれた後、そのプログラムの指示に基づき、機能拡張ボードあるいは機能拡張ユニットに備わる演算処理装置などが実際の処理の一部あるいは全部を行い、その処理により前記した実施態様の機能が実現される場合も含まれることは当然である。
【０３０２】
【発明の効果】
本発明により、従来の動画データや３次元データによる表示方法と異なりデータ量が少なく、又今まで存在していた問題点を解決し、よりリアリティのある表示を可能とした。
【０３０３】
又、基本画像から連続的に内挿画像を自動作成し連続表示を行うことにより、従来の動画データに比べて少ないデータ量で動画が可能となった。又その際にパスと視点間の移動速度を任意に設定できるようにしたことにより、よりインタラクティブな動画の表現が可能となった。
【図面の簡単な説明】
【図１】 本発明のシステム構成の一例を示すシステム構成図である。
【図２】 本発明の内挿画像作成手段のシステム構成の一例を示す図である。
【図３】 自動連続表示を行う手段を具備した際のシステム構成の一例を示すシステム構成図である。
【図４】 自動連続表示を行う手段を具備した際のシステム構成の他の一例を示したシステム構成図である。
【図５】 本発明のプロセスの一例を示すフローチャート図の一ページ目である。
【図６】 本発明のプロセスの一例を示すフローチャート図の二ページ目である。
【図７】 内挿画像作成プロセスの一例を示すフローチャート図である。
【図８】 基本画像の取込プロセスの一例を示すフローチャート図である。
【図９】 テクスチャマッピングのプロセスの一例を示すフローチャート図である。
【図１０】面の選択プロセスの一例を示すフローチャート図である。
【図１１】輪郭処理のプロセスの一例を示すフローチャート図である。
【図１２】色補正処理のプロセスの一例を示すフローチャート図である。
【図１３】位置、大きさの補正処理のプロセスの一例を示すフローチャート図である。
【図１４】自動連続処理を行うプロセスの一例を示すフローチャート図である。
【図１５】自動連続表示のプロセスの一例を示すフローチャート図の一ページ目である。
【図１６】自動連続表示のプロセスの一例を示すフローチャート図の二ページ目である。
【図１７】視点定義画面の一例を示す図である。
【図１８】視点移動の概念図である。
【図１９】視点定義画面の他の一例を示す図である。
【図２０】面定義画面の一例を示す図である。
【図２１】３視点間に於ける各座標系の位置関係を示した概念図である。
【図２２】３視点補間の概念図である。
【図２３】回転行列を示した図である。
【図２４】画像の平行化の概念図である。
【図２５】面選択の概念図である。
【図２６】マスク付き画像の一例である。
【図２７】オフセット面の概念図である。
【図２８】稜線の重みを示した図である。
【図２９】合成表示を行った際の画像の一例である。
【図３０】変換行列、回転行列、剪断変形行列を示した図である。
【図３１】アフィン変換行列を示した図である。
【図３２】影を算出する過程を示した概念図である。
【図３３】反射する点を示した図である。
【図３４】基本画像の一例を示した図である。
【図３５】内挿画像の一例を示した図である。
【図３６】２視点間に於ける各座標系の位置関係を示した概念図である。
【図３７】ターゲット枠情報が設定された基本画像の一例を示す。
【図３８】自動連続表示の概念図である。
【図３９】補正処理のイメージ図である。
【図４０】３視点間に於ける各座標系の位置関係を示した概念図である。
【図４１】回転行列を示す図である。
【図４２】平行化回転変換、水平化回転変換に於ける途中式を示した図である。
【図４３】スケール変換に於ける途中式を示した図である。
【図４４】エッジ端点を自動的に抽出した図である。
【図４５】ドロネー三角形指定点を指定した場合の図である。
【図４６】ドロネー三角形が生成された基本画像の図である。
【図４７】スカラパラメータを解く連立一次方程式を示した図である。
【図４８】エピポール制約直線と探索窓の概念図である。
【図４９】輝度差を求めるアルゴリズムを示した図である。
【図５０】自動的に対応する点の照合を行った場合の図である。
【図５１】３枚の画像の際の１次方程式を示す図である。
【図５２】面が重なる場合の一例を示す図である。
【図５３】面の描画順序を示す概念図である。
【符号の説明】
１：画像表示システム
２：画像取込手段
３：内挿画像作成手段
４：影作成手段
５：反射作成手段
６：作成画像記憶手段
７：合成表示手段
８：補正処理手段
９：初期情報演算手段
１０：平行化画像作成手段
１１：面選択手段
１２：輪郭処理手段
１３：色補正手段
１４：サーバ
１５：ユーザ端末
１６：ネットワーク
１７：自動連続手段
１８：自動連続作成手段
１９：テクスチャマッピング手段
Claims (3)
- ユーザが希望する視点からの対象物の内挿画像を自動作成する画像表示システムであって、前記対象物の複数視点からの少なくとも３枚以上の複数の２次元画像を取り込む画像取込手段を有するサーバとネットワークを介してデータの送受信が可能なユーザ端末を有する画像表示システムに於いて、
前記ユーザ端末は、
前記サーバから前記複数の２次元画像を受信し前記ユーザが希望する視点からの対象物の内挿画像を自動作成する内挿画像作成手段を有しており、
前記内挿画像作成手段は、
前記受信した複数の２次元画像を用いて回転行列を算出し、前記回転行列を用いて複数の２次元画像を平行にする平行化回転変換を行い、前記平行化回転変換に基づいて複数の２次元画像の対応点の組を同一水平線上に並べる水平化回転変換を行い、前記水平化回転変換に基づいて複数の２次元画像の焦点距離と位置を合わせるスケール変換を行い、前記平行化回転変換、水平化回転変換、スケール変換に基づいてホモグラフィ行列を内挿することで、前記対象物の２次元画像の内挿画像を自動作成する、
ことを特徴とする画像表示システム。 - ユーザが希望する視点からの対象物の内挿画像を自動作成する画像表示システムであって、前記ユーザが希望する視点からの対象物の内挿画像を自動作成する内挿画像作成手段を有するユーザ端末とネットワークを介してデータの送受信が可能なサーバを有する画像表示システムに於いて、
前記サーバは、
前記対象物の複数視点からの少なくとも３枚以上の複数の２次元画像を取り込み前記２次元画像を前記ユーザ端末に送信する画像取込手段を有しており、
前記内挿画像作成手段は、
前記受信した複数の２次元画像を用いて回転行列を算出し、前記回転行列を用いて複数の２次元画像を平行にする平行化回転変換を行い、前記平行化回転変換に基づいて複数の２次元画像の対応点の組を同一水平線上に並べる水平化回転変換を行い、前記水平化回転変換に基づいて複数の２次元画像の焦点距離と位置を合わせるスケール変換を行い、前記平行化回転変換、水平化回転変換、スケール変換に基づいてホモグラフィ行列を内挿することで、前記対象物の２次元画像の内挿画像を自動作成する、
ことを特徴とする画像表示システム。 - ユーザが希望する視点からの対象物の内挿画像を自動作成し閲覧させるサーバ上に於いて、前記内挿画像を自動作成する画像表示システムであって、
前記サーバは、
前記対象物の複数視点からの少なくとも３枚以上の複数の２次元画像を取り込む画像取込手段と、
前記希望する視点からの対象物の内挿画像を自動作成する内挿画像作成手段とを有しており、
前記内挿画像作成手段は、
前記取り込んだ複数の２次元画像を用いて回転行列を算出し、前記回転行列を用いて複数の２次元画像を平行にする平行化回転変換を行い、前記平行化回転変換に基づいて複数の２次元画像の対応点の組を同一水平線上に並べる水平化回転変換を行い、前記水平化回転変換に基づいて複数の２次元画像の焦点距離と位置を合わせるスケール変換を行い、前記平行化回転変換、水平化回転変換、スケール変換に基づいてホモグラフィ行列を内挿することで、前記対象物の２次元画像の内挿画像を自動作成する、
ことを特徴とする画像表示システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001305230A JP3876142B2 (ja) | 2001-02-26 | 2001-10-01 | 画像表示システム |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001-50353 | 2001-02-26 | ||
| JP2001050353 | 2001-02-26 | ||
| JP2001305230A JP3876142B2 (ja) | 2001-02-26 | 2001-10-01 | 画像表示システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002324249A JP2002324249A (ja) | 2002-11-08 |
| JP3876142B2 true JP3876142B2 (ja) | 2007-01-31 |
Family
ID=26610096
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001305230A Expired - Fee Related JP3876142B2 (ja) | 2001-02-26 | 2001-10-01 | 画像表示システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3876142B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005018529A (ja) * | 2003-06-27 | 2005-01-20 | Ricoh Co Ltd | 画像処理装置 |
| JP4355535B2 (ja) * | 2003-08-07 | 2009-11-04 | 株式会社岩根研究所 | ３６０度画像変換処理装置 |
| JP4562457B2 (ja) | 2003-10-02 | 2010-10-13 | 株式会社リコー | 画像処理装置及び画像処理方法 |
| JP2005107431A (ja) * | 2003-10-02 | 2005-04-21 | Fujitsu Frontech Ltd | 表示装置の表示方法、表示装置及び表示装置の表示制御プログラム |
| JP4809316B2 (ja) * | 2007-10-31 | 2011-11-09 | 日本電信電話株式会社 | 画像生成装置、プログラム、および記録媒体 |
| JP4828506B2 (ja) * | 2007-11-05 | 2011-11-30 | 日本電信電話株式会社 | 仮想視点画像生成装置、プログラムおよび記録媒体 |
| JP5011224B2 (ja) * | 2008-07-09 | 2012-08-29 | 日本放送協会 | 任意視点映像生成装置及び任意視点映像生成プログラム |
| JP4702569B2 (ja) * | 2008-09-30 | 2011-06-15 | マツダ株式会社 | 車両用画像処理装置 |
| JP5015126B2 (ja) * | 2008-12-09 | 2012-08-29 | 日本電信電話株式会社 | 画像生成方法、画像認証方法、画像生成装置、画像認証装置、プログラム、および記録媒体 |
| JP2011070579A (ja) * | 2009-09-28 | 2011-04-07 | Dainippon Printing Co Ltd | 撮影画像表示装置 |
| JP5201160B2 (ja) * | 2010-03-10 | 2013-06-05 | オムロン株式会社 | 共通画像平面決定プログラム、共通画像平面決定方法、および共通画像平面決定装置 |
| JP4830041B1 (ja) * | 2010-08-30 | 2011-12-07 | 楽天株式会社 | 画像処理装置、画像処理方法、プログラム、ならびに、情報記録媒体 |
| US20210134049A1 (en) * | 2017-08-08 | 2021-05-06 | Sony Corporation | Image processing apparatus and method |
| JP7352374B2 (ja) * | 2019-04-12 | 2023-09-28 | 日本放送協会 | 仮想視点変換装置及びプログラム |
-
2001
- 2001-10-01 JP JP2001305230A patent/JP3876142B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002324249A (ja) | 2002-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3876142B2 (ja) | 画像表示システム | |
| US9129433B1 (en) | Photogrammetry engine for model construction | |
| KR101707707B1 (ko) | 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템 | |
| KR101560508B1 (ko) | 3차원 이미지 모델 조정을 위한 방법 및 장치 | |
| JP4548840B2 (ja) | 画像処理方法、画像処理装置、画像処理方法のプログラムおよびプログラム記録媒体 | |
| CN107484428B (zh) | 用于显示对象的方法 | |
| JP3524147B2 (ja) | ３次元画像表示装置 | |
| JPH1186033A (ja) | ワイヤフレームトポロジーへの顔面イメージの自動マッピング | |
| KR102067823B1 (ko) | 비디오 영상기반 2d/3d ar 실감체험 방법 및 장치 | |
| JP3104638B2 (ja) | ３次元画像作成装置 | |
| US6795090B2 (en) | Method and system for panoramic image morphing | |
| JP4468631B2 (ja) | ３次元顔モデルのためのテクスチャー生成方法及び装置 | |
| JP3643511B2 (ja) | ３次元画像処理方法，３次元モデリング方法および３次元画像処理プログラムを記録した記録媒体 | |
| US20210118216A1 (en) | Method of displaying a wide-format augmented reality object | |
| JP2001291116A (ja) | 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 | |
| JPH10208074A (ja) | 画像生成方法 | |
| JP2010152529A (ja) | 頂点テクスチャマッピング装置及びプログラム | |
| JP3309841B2 (ja) | 合成動画像生成装置および合成動画像生成方法 | |
| KR100447778B1 (ko) | 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현장치 및 그 방법 | |
| WO2002069277A1 (fr) | Systeme d'affichage d'image et procede associe | |
| JP3648099B2 (ja) | 画像合成表示方法および装置ならびに画像合成表示プログラムを記録した記録媒体 | |
| WO2024099319A1 (zh) | 虚拟视频图像生成方法、装置、设备和介质 | |
| JP2002312810A (ja) | 合成動画像生成装置および合成動画像生成方法 | |
| JPH07175930A (ja) | 画像処理装置 | |
| JPH10240967A (ja) | モデル画像を用いた３次元物体のグラフィクスアニメーション装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051018 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051201 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20051201 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051226 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20051226 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060131 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060131 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060314 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060508 Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060508 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060601 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060815 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060904 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060904 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061024 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061030 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |