JP5878511B2

JP5878511B2 - ３ｄ空間中で３ｄ幾何データを仮想現実画像の表現と制御に用いる方法

Info

Publication number: JP5878511B2
Application number: JP2013237392A
Authority: JP
Inventors: ウェイミンワン，ダグラス; ライ，ペンチェン
Original assignee: 萬里科技股▲ふん▼有限公司
Priority date: 2013-11-15
Filing date: 2013-11-15
Publication date: 2016-03-08
Anticipated expiration: 2033-11-15
Also published as: JP2015097060A

Description

本発明は３Ｄ画像表現（photographic presentation)の領域に係り、それは仮想現実(virtual reality)技術により、高品質の撮影画像(photo image)を表現し、それはさらに3Ｄモデリングテクノロジー(3D modeling technology）の長所を採用して物理測量(physical measurement)或いは制御に用いられる幾何データ(geometry data)を提供し、並びに拡張現実アプリケーション(augmented reality application)に使用可能で、それはまたリアルタイムアプリケーション(real time application)に用いられる立体表示システム(stereoscopic display system)へも援用できる。

仮想現実は一組の撮影画像を使用することで、異なる視角(view angle)から見た実体オブジェクト(solid object)を表現する。それは表現アプリケーションに用いられる高品質撮影画像を提供する。しかし、フォトフレームの数量は有限であり、視角は不連続な撮影位置の数量に制限されるため、不順調な動画(non-smooth animation)を形成する。且つ撮影画像も幾何データを包含しない。それらは表現時には正確に配列不能で、並びにどのような物理関係アプリケーション(physical related application)にも用いることができず、すなわち測量或いはコントロールに用いることはできない。

3Dモデリングは、もう一種の実体オブジェクトを表現する方法である。それは幾何情報を有し、拡張現実等を含む物理アプリケーションに用いられ得る。しかし、正確な幾何データを得て高品質表現に用いてテクスチャマッピング技術(texture mapping technique)と併せて表現するには、幾何データをキャプチャし大量のテクスチャ画像を保存しなければならない。且つ、低性能のパーソナル演算装置(personal computing device)によりリアルタイムのフォトリアリスティックレンダリング(photo-realistic rendering)を実行するのは容易ではない。

これにより、商業的に応用して高い画像品質を発生し、フォトリアリスティックな仮想現実を表現する必要があり、並びに現実応用を物理拡張し、幾何情報を納入する必要があり、特に、デスクトップパソコン(desktop personal computer,desktop PC)或いはタブレットＰＣ及びスマートフォン(smart phone)等のモバイルデバイス（mobile device)ではそうである。高品質のビュー体験（viewing experience)と物理情報を併せて提供するための一種類の方式としては、仮想現実と3Dモデリングの２種類の異なる方法の長所を結合し、随所で得られる演算装置により、経済的な解決方法を提供すると共に品質の要求に合致させることができる。本発明はこれらの目標を達成し、並びに既存の演算装置と機械システムにより実施できるものとする。

本発明の一種の実施態様(aspect)は、一組のフォトフレーム(photo frame)と一組の幾何情報を結合させる一種の方法、及び、一台の演算装置のビューウインドウ(viewing window)下の一つの3D空間（3D space)中に、２Ｄ画像(2D photo）を表現する一種のシステム化方式であり、また3D表現空間下で、イメージフレーム(image frame)の関係パラメータ(parameter)と実体オブジェクトのビュー変換(viewing transformation)の間の数学関係を記述する。

本発明のもう一種の実施態様は、一つのコンピュータコントロール機械システム(computer-control mechanical system)を包含し、異なる視角で自動的に撮影画像をキャプチャする一種のシステムを記載し、また各種の光学走査ハードウエア(optical scanning hardware)或いはシルエット(silhouette)或いは参照点(referencing mat)或いは参照線(referencing stripe)で3D幾何データを獲得する撮影カメラ(photo taking camera)を基準とする一種の3D幾何データ走査サブシステム(3D geometry data scanning subsystem)を記載する。

本発明のもう一種の実施態様は、本発明を実施するのに用いられるソフトウエアシステム(software system)とクライアント側ビュー装置(client viewing device)を記載し、そのうち、ソフトウエアシステムは、一つのワークステーション(workstation)、一つの保存システム(storage system)、及び遠隔サーバー（remote server)で構成され、また2Dフォトフレームと走査により得た3D幾何データを整合して手動で或いは自動的に一組の制御パラメータを生成する一種のソフトウエアプログラム(software program)を記載し、さらに、画像と幾何データをダウンロードし、及び、フォトリアリスティックな実体オブジェクトを閲覧、測量及び制御するのに用いられる一種のソフトウエアプログラムを記載している。

本発明のもう一種の実施態様は、立体表示の実施と機能の制御に用いられるハードウエアとソフトウエアシステムの一種の延伸アプリケーションを記載する。

本発明は異なる視角で撮影されたオブジェクトの撮影画像集と撮影画像の各フレームに対応する幾何パラメータセットを用いて3Dモデルデータを結合する方法であり、それは、演算装置がリアルタイムに高品質で、リアルな３Ｄ画像を表現するのに用いられる。本発明はさらに、物理アプリケーションに用いられる3D幾何データを提供し、それは自動或いは手動の撮影システムと同一ハードウエアシステムで、或いは独立した3D幾何走査システムより同じオブジェクトについて導入した3D幾何データを、手動、半自動或いは自動ソフトウエアツールでこれら情報を整合して全体ファイルパケットとなし、その後、3D環境の閲覧プログラムで表現する。本発明はまた、立体システムに援用され、並びにリアルタイムの物理操作制御能力、高品質、迫真の視覚効果を提供する。

3Dモデリングデータで、3D空間中にあって仮想現実画像を表現する状況を示す（リアルオブジェクト、ビューウインドウ、高解析度画像及び3Dメッシュ及び閲覧者との間の関係を示す）。一種の3D仮想現実システムの具体的実施例を示す( 機械画像と３Ｄデータキャプチャシステム、整合用コンピュータ、データとプログラムサーバー及びクライアント側ビュー装置）。データキャプチャ、整合及びビューシステムのブロック図である（キャプチャデータの処理、保存が必要なデータ、整合用プログラム及びビュープログラム）。撮影画像キャプチャシステムを示す（画像キャプチャ用の機械システムと画像ファイルを生成する動作フロー）。撮影カメラ或いは3Dスキャナで3Dモデリングデータをキャプチャする方法を示す（撮影カメラ或いは3Dスキャナの機械システムと3D幾何データを生成する動作フロー）。３Ｄデータ嵌め込みシステム図である（２Ｄ画像に対して一枚ずつ3D幾何データを嵌め込み、画像上で６個の自由度の変数を指定し、及び、自動処理を実行するのに必要な参考フォトフレームを製作する）。比の調整、位置調整及び回転によるフォトフレームパラメータの調整を示す（各フォトフレームに対して６個の変数或いはその対応データを調整するユーザーインタフェースを用い、三つの主要な調整ステップを実施する必要がある）。全てのフォトフレームに用いられる自動パラメータ生成法を示す（各フォトフレームに対して６個の変数或いはその対応データを調整するユーザーインタフェースを用い、三つの主要な調整ステップを実施する必要がある）。画像製作、３Ｄデータとデータ図製作に用いられるファイルシステム及びビュープログラムのフローチャートである（生成されるデータファイルと対応する画像製作と幾何データファイル、及びダウンロードした画像とデータを表現するビュープログラムフローチャートである。 3Dでの表現と制御のビュープログラムである（エンドユーザー用ビュープログラムの機能と制御、及び、高解析度表現に用いられるデータソース構造と順調操作に用いられる変形技術）。立体システムへの援用を示す（同じシステムを使用して二組の対応する撮影画像を撮影し、そのフォトフレームに立体表示と制御の規範を組み合わせる）。

本発明の上述の特徴と長所をより明確にご理解いただくために、以下に複数の実施例を挙げ、並びに添付の図面を組み合わせて、以下のように詳細に説明する。

図１は、２Ｄ撮影画像108を、投射の方式で、２Ｄビューウインドウ106上にマッピングする方法１００を示している。

一つの実体オブジェクト102の６個の自由度(degrees of freedom)に対して、マトリックス変換(matrix transformation)を使用することで、２Ｄ撮影画像108と３Ｄメッシュ110を組み合わせる。ここで、実体オブジェクトが一つのマグカップ(mug)である場合を例として説明する。しかし、その他の図示されていない実施例においては、たとえば、一足の靴(shoe)、一つの電球(light bulb)等の任意のその他の実体オブジェクトに置換可能である。一つの３Ｄスキャナ（3D scanner)より生成した幾何パラメータは、一つの３Ｄメッシュ110を構築できる。

閲覧者104は、インタラクティブの方式で、画像を閲覧及び制御できる。２Ｄ画像は、比率ｓを利用し拡縮でき、スクリーン座標（ｘ，ｙ）を介して水平移動でき、並びにω角にさらに（θ，ψ）角を加えて回転でき、各行、列の位置上の全体のフォトフレームはいずれもこれらのパラメータにより表示され得る。

図２に示されるのは、機械コントロール（mechanical control)、画像処理 (image processing)及びデータ整合（data composition)に用いられるコンピュータシステム126と一つの具体的実施例120を表示する。画像キャプチャシステム（photo capture system)121は、制御される回転プラットフォーム(rotating platform)122と複数のアーム（arm) 124で構成され、それはレンズを利用して拡縮してψ方向上で移動し傾斜制御を受けるカメラ123を有し、異なる位置（θ，ψ）にあって実体オブジェクト102に対して画像を撮影する。

ここでは、３Ｄ幾何データをキャプチャするのに用いられる一つの３Ｄ走査サブシステム128（ハードウエア或いはソフトウエア強化型）を包含し、それは一つの３Ｄメッシュ110（図１に表示される）を構築できる。もし２Ｄ撮影画像108（図１に表示される）のシルエットを利用する撮影測量技術（photogrammetry)を、３Ｄモデリングに用いるならば、すなわち、走査サブシステム128はカメラ123に置換できる。

コンピュータシステム126は２Ｄ撮影画像108と３Ｄメッシュ110を整合し、並びにインターネットネットワーク（Internet network)130を介してそれらを一つの遠隔サーバーとインターネットネットワーク130に接続されたネットワーク保存システム(network strage system)134に発送する。

コンピュータ、タブレットＰＣ、スマートフォン等の、閲覧と制御のソフトウエアを具えた一台の、インターネットに接続されたクライアント側装置132 (Internet connected client device)132を使用して、インタラクティブ方式で、２Ｄ撮影画像108と３Ｄメッシュ110を閲覧及び制御する。

図３には一つのブロック図140が表示され、データがいかにキャプチャ、処理及び保存され、その後、クライアント側の閲覧者に運用されるかを表現している。

ブロック142中、２Ｄ撮影画像は、各ビュー位置で一枚ずつキャプチャされ、並びに前もって処理され、選択的に画像背景(image background)が排除されるか、圧縮されて、階層式画像解析度(hierarchical pixel resolution)、透明度情報（transparency information)を有するＪＰＥＧ形式とされ、その後、さらにブロック144中に示されるように、さらに一つの２Ｄ撮影画像ファイル中に保存される。

ブロック146中において、３Ｄ幾何データは、（これに限定されるわけではないが）たとえば、一種の３Ｄモデリングデータ走査法（3D modeling data scan)で、異なるビュー位置で走査される。ただし、フィルタリング処理(filtering process)により信頼できるデータ（reliable data）が得られた後、それらはグローバル座標システム（global coordinates system)で、さらに一組のメッシュポイント(mesh point)へと整合され、ブロック148中に示されるように実体オブジェクトファイル(solid object file)或いはいわゆる３Ｄメッシュとされる。

ブロック150中、一つの整合システム(composing system)が、２Ｄ撮影画像ファイルと実体オブジェクトファイルを処理し、高画像品質、フォトリアリスティックな仮想現実表現(photo-realistic virtual reality presentation)と物理拡張現実アプリケーション（physical augmented reality application)のために、３Ｄメッシュの３Ｄ幾何パラメータに、２Ｄ画像ファイル中の２Ｄ撮影画像の対応する２Ｄ撮影画像パラメータを組み合わせ、その後、２Ｄ撮影画像ファイルと３Ｄメッシュのマッチングを達成する。整合結果はブロック152中に示されるように、一つのアプリケーション及びデータフォルダ(application and data folder)の一つのファイル構造(file structure)に保存され得て、異なる解析度レベル(resolution level）、実体オブジェクトファイル及びデータ図に撮影画像が保存され、対応するパラメータは、これに限定されるわけではないが、たとえば、ｘｍｌファイル構造として保存される。

ブロック154中に示されるように、一種のビュープログラムは、一つのクライアント側装置で運用され、パラメータマッチングをデコードしエンドユーザー(end user)に対してインタラクティブ方式で高品質の撮影画像を表現し、並びに拡張現実等の特定アプリケーションのために、さらに一つの３Ｄメッシュの制御と測量を提供する。

図４は、一種の２Ｄ画像キャプチャシステム160が撮影した一つのコンピュータ制御回転機械(computer controlled rotating mechanics)162中に位置する一つの実体オブジェクトの撮影画像である。

実体オブジェクトは一つの固定回転軸(rotation axis)を有する実体オブジェクトの周囲を、水平及び垂直に移動する少なくとも一つのカメラで、異なる視角から見える。本実施例中、実体オブジェクトは、たとえば異なる視角（たとえば、下方、右下方、右方、右上方及び上方）を有する５個の異なるカメラが、コンピュータ制御回転機械162の回転により実体オブジェクトに対して８個の異なる水平方位（たとえば、０°、４５°、９０°、１３５°、１８０°、２２５°、２７０°及び３１５°）にあって最高の許容解析度で画像を撮影し、４０個の異なる画像ファイルを形成し、その後、一つの特定命名規則(specific naming convention)164で、一枚ずつこれらの画像ファイルを保存する。しかし、その他の図示されていない実施例中、実体オブジェクトに対して、比較的少ない或いはより多い画像を撮影してもよい。

注意すべきことは以下のとおりである。画像ファイルは予め処理されてもよく、それにより不必要な背景画像の排除、透明度情報添加、或いはファイル変換による比較的低い解析度の文層(hierarchical lower resolution)及び一つの単一ルートディレクトリ(root directory)の下に保存し、後日の整合と閲覧処理に供する。

図５は実体オブジェクト幾何データを得るために用いられる一種の３Ｄ幾何データキャプチャシステム180を示す。実際には、それは一つの単独のシステムとされるか或いは図４中に示される画像キャプチャシステムの一つのサブシステムとされてもよい。

３Ｄ幾何データキャプチャシステム180は、一定波長の可視光学カメラ(certain wavelength of visible optics camera)、レーザービーム（laser beam)、或いは不可視赤外光と反射光キャプチャシステム(invisible infrared and reflection capturing system)により、ブロック182に示されるように、各オブジェクトの幾何上の深さデータ(depth data)を取得するか、或いは簡単に２Ｄ撮影画像108のシルエットをキャプチャする。

３Ｄ幾何データは、測量処理され得て、それにより信頼できない雑音データ（unreliable noise data)が除去され、たとえば、ブロック184に示されるように、信頼できない雑音データ（unreliable noise data)をフィルタリングする演算プロセス(computing routine)が実行され、その後、さらに統計上、より正確なデータで、３Ｄグローバル座標システム中の最終ノード位置(node position）が算出され、たとえば、ブロック186に示されるように、幾何データの統計演算(statistically compute geometry data)のプロセスが実行される。

続いて、ブロック188に示されるように、幾何データは、一組のグローバルデータセット(global data set) と比較と合併され、並びにブロック190に示されるように、結果を標準実体オブジェクトファイル(standard solid object file)中に保存する。

多くのキーポジションからの重複測量とデータ演算に伴い、実体オブジェクトに対して全ての必要な幾何データとパラメータが取得され、複数の３Ｄ幾何パラメータより一組の最終３Ｄメッシュ192が構築され得る。

図６には一つのパラメータマッチングシステム200が示され、それは、２Ｄ撮影画像と３Ｄ幾何データをマッチングするのに用いられる。

撮影画像は、各視角の各フォトフレーム202中に保存され、これにより、３Ｄメッシュ204の３Ｄ幾何パラメータと２Ｄ撮影画像／フォトフレーム202の対応２Ｄ撮影画像パラメータをマッチングさせなければならず、それにより同じ表現空間（presentation space)でフォトフレーム202と３Ｄメッシュ204を見ることができるようになる。

周知のとおり、どのような実体オブジェクトでも、６個の自由度により表示できる。これにより、３Ｄ空間中の一つの参考点(reference point)（ｘ，ｙ，ｚ）とオブジェクトの方位角（θ，ψ，ω）により、一枚の撮影画像と３Ｄ幾何データの間の関連を表示できる（correlated relation)。

これにより、各フォトフレーム202に一組の６個のパラメータを指定し、並びにそれらをひとまとめにして、将来の表現と制御機能に用いられるようにする必要がある。たとえば、この実施例では、フォトフレーム202は、Framei,j.jpgと命名され得て、並びにＭ行とＮ列を包含し、且つその参考点206は、（ｘ_i,j，ｙ_i,j，ｚ_i,j）と表示される。こうして、３Ｄ幾何データの６個のパラメータは、（ｘ_0,0，ｙ_0,0，ｚ_0,0，θ_0,0，ψ_0,0，ω_0,0）と表示され得て、フォトフレーム202の６個のパラメータはすなわち、（ｘ_i,j，ｙ_i,j，ｚ_i,j，θ_i,j，ψ_i,j，ω_i,j）と表示され得て、そのうち、ｉ＝１，２．．．Ｍとされ、並びにｊ＝１，２．．．Ｎとされる。

図７にはこれらパラメータと各一枚のフォトフレームのマッチングに用いられる一つのパラメータマッチングソフトウエアプログラム（parameters matching software program)220が示されている。

パラメータマッチングソフトウエアプログラム220はオリジナル２Ｄ撮影画像と３Ｄメッシュの幾何パラメータをダウンロードし、及び整合後のデータを保存する機能222を有する。

パラメータマッチングソフトウエアプログラム220は、フォトフレーム選択機能230中に表現される任意の一枚の２Ｄフォトフレーム中の撮影画像224と３Ｄメッシュ226によりユーザーとインタラクティブとなる。

一台のコンピュータスクリーン上のマウスカーソル(mouse cursor)はただ二個の自由度で移動できるだけであり、ユーザーは手動でパラメータマッチングを実行することができる。マウスカーソルは実体オブジェクト主軸(solid object body axis)236を制御するのに用いられ、実体オブジェクト主軸236の尖端(tip)を移動させることで、θ及び又はψの値を制御でき、実体オブジェクト主軸236を方向238に回すことで、ωの値を制御できる。

続いて、スクリーン上の参考点234を移動させることで、ｘ或いはｙの値を制御でき、その後、マウスホイール(mouse wheel)を使用することで、３Ｄメッシュのサイズをコントロールし、これはオブジェクトに対して比率を調整することと同じである、これによりｚの投射位置を調整する。注意すべきことは以下のとおりである。この実施例中、手動で２Ｄ撮影画像224と３Ｄメッシュ226をマッチングするためには、６個のパラメータ（ｘ，ｙ，ｚ，θ，ψ，ω）はいずれも調整され得ることである。しかし、ここに記載されないその他の実施例中、必要時でなければ、６個全てのパラメータを必ずしも調整する必要はない。

ここでさらに、パラメータマッチングを助ける自動演算マッチング処理機能（auto computing matching process)228が提供される。それはさらに単一フォトフレーム或いは複数のフォトフレームに対してパラメータマッチングをプログラム化し、並びに図８において詳しく説明される。

注意すべきことは以下のとおりである。全てのキャプチャ処理を実行する時、手動マッチング処理機能232は、さらに、自動演算マッチング処理機能228の直接演算へと置換できる。一つの２Ｄ撮影画像ファイルと一つの３Ｄメッシュの自動マッチングは、一つの３Ｄ幾何走査機構（3D geometry scan mechanism)が２Ｄ撮影画像と３Ｄメッシュの間のパラメータ関係を提供できる時、２Ｄ撮影画像のパラメータと３Ｄメッシュの３Ｄ幾何パラメータをプログラムにより自動マッチングする。

図８には各フォトフレームの全ての視角と自動マッチングするパラメータを生成するために開発された一種の演算メカニズム(computation scheme)240を表示する。

四元数技術（Quaternion technology)を応用することで、参考点と主軸を表示する任意の３Ｄベクトル(vector)ｖを計算することができ、一つの回転ユニット軸(rotating unit axis)ｎの周りをある回転角度(rotating angle) θ回転させた後に、３Ｄ空間中の新ベクトルｒを取得できる。

こうして、パラメータを使用して同一列の2枚のフォトフレーム中の任意の１枚と既知の回転角度を使用して回転ユニット軸ｎを計算できる。一旦回転ユニット軸ｎを算出すれば、同一列242の各フォトフレーム中の任意のその他の参考点と主軸を計算し、並びにこれにより自動的にそのパラメータをマッチングできる。

同じ演算は、垂直方向上の、単一行254の、ただし異なる列252のフォトフレームに対して実行できる。同じ処理を重複して行なうことで、全てのフォトフレームに対して計算を完成できる。

理論上、ただ手動で３枚のフォトフレームをマッチングさせれば、水平と垂直方向上の回転ユニット軸を計算することができ、並びにパラメータマッチングを探し出すための労働資源を極めて節約できる。しかし、実務上、カメラの回転軌跡（rotating tragectory)は一つの正円経路(perfect circular path)上に位置しない可能性があり、並びに傾斜角度（tilting angle)とズームレンズ(zoom lens)は、一つの非線形の方式（non-linearway)で撮影画像を投射し得るため、５枚或いは７枚等の、さらに多くの手動マッチングするフォトフレームにより、一つのより信頼できるデータを取得する必要がある。ここではさらに、マッチング演算を閲覧する一種の視覚調整を提供し、これにより微調整(fine adjustment)を実行できるようにする。

図９はインターネットワーバー(Internet server)下に構築される一種のファイルシステム260を表示し、それはエンドユーザーに対して、そのクライアント側装置にあって３Ｄ幾何データを付加した高解析度撮影画像を見るための、一種のビューメカニズム（viewing mechanism)を提供する。

ビュープログラム、リアルタイム且つ高解析度の画像データ、幾何データ、付加データ（accessory data)及びその表現するデータ図は、全てが一つのルートディレクトリ262下に保存され得て、これによりクロスドメインアクセス(cross domain access)の問題が確実に発生しないものとされる。

ブロック264に示されるように、エンドユーザーがアクセスするビュープログラムを介して、全ての必要なプログラムルーチン(program routine)をダウンロードでき、ここではいわゆるビュワー"Ｖｉｅｗｅｒ"と称され、その後、さらにブロック266に示されるように、リアルタイム画像と３Ｄメッシュの幾何データが自動的に取得される。続いて、ブロック268に示されるように、高解析度画像と３Ｄメッシュを見るのに用いられるインタラクティブ操作を実行でき、ブロック269に示されるように、高解析度画像を取得できる。このほか、拡張現実アプリケーションに基づき、さらにブロック270に示される機能操作を、たとえば、必要な３Ｄ測量（ブロック272中に示されるとおり）或いは３Ｄ制御機能（ブロック274中に示されるとおり）に用いる。

上述のプログラムは、３Ｄ操作環境（たとえば、ＯｐｅｎＧＬ或いはＷｅｂＧＬ或いはその他の３Ｄ環境）を有する一つのクライアント側装置において実施可能である。

図１０は、図９中に記載された機能を実施して開発される一種のクライアント側ビュープログラム280を表示する。

ビュープログラム280は、Windows（登録商標）プラットフォームコンピュータシステム126（図２に表示される）に用いられる一種のＷｅｂＧＬサポート且つＨＴＭＬ５応用ブラウザのビュープログラム（WebGL−enabled browser-based HTML5 viewing program）とされ、たとえば、一台のデスクトップパソコン、一台のモバイル装置或いは任意の操作ウインドウ282を表現できる任意の装置とされるか、或いは、モバイル装置をサポートするOpenGL ESのネイティブプログラム（native program)とされる。

プログラムは操作ボタン(operational button)286を有し、インタラクティブ方式で閲覧中の撮影画像の拡縮、移動及び回転機能を達成でき、それは一つのスライダーコントローラ(slider controller)を有し、高品質の撮影画像を見ることができるか或いは３Ｄモデルのワイヤフレーム(wire frame)をチェックでき、ひいては一種の異なる透明度の方式で、上述の両者を併せて見ることができる。

３Ｄ空間中に表現される２Ｄ撮影画像の順調度はまた、０＜△θ＜θ_incrementの角度及び又は０＜△ψ＜ψの角度により２Ｄ撮影画像284の角変形（angular morphing)を達成できる。

このほか、アプリケーションに基づき機能ボタン288を提供し、それにより測量とアプリケーション制御、及び任意のその他の必要な機能を達成できる。

図１１はこのシステムがさらに援用できる一つの立体システム300を表示し、人の目の感知能力(human being's eyes perception)に応じて、フォトリアリスティックな感覚でオブジェクトを見ることができる。

ビューウインドウを二つに区画し、左目302と右目304に対してそれぞれ左側立体画像(stereogram)306と右側立体画像308を提供できる。

同じオブジェクト310の異なる視角の状況を考慮して、二組の画像とパラメータマッチングを取得する。それらは独立して左側セット312と右側セット314と設定される。この実施例では、左側セット312と右側セット314は、たとえば、FrameLi,j.jpgとFrameRi,j.jpgと命名され、並びにその参考点316と318は、それぞれ（ｘ_i,j，ｙ_i,j，ｚ_i,j）Ｌと（ｘ_i,j，ｙ_i,j，ｚ_i,j）Ｒと表示される。こうして、左側セット312と右側セット314に対応する３Ｄ幾何データの６個のパラメータは、それぞれ（ｘ_0,0，ｙ_0,0，ｚ_0,0，θ_0,0，ψ_0,0，ω_0,0）Ｌと（ｘ_0,0，ｙ_0,0，ｚ_0,0，θ_0,0，ψ_0,0，ω_0,0）Ｒと表示され得て、左側セット312と右側セット314の６個のパラメータは、すなわち、（ｘ_i,j，ｙ_i,j，ｚ_i,j，θ_i,j，ψ_i,j，ω_i,j）Ｌと（ｘ_i,j，ｙ_i,j，ｚ_i,j，θ_i,j，ψ_i,j，ω_i,j）Ｒと表示され得て、そのうち、ｉ＝１，２．．．Ｍとされ、並びに、ｊ＝１，２．．．Ｎとされる。

しかし、単一組の２Ｄ撮影画像の同一列の、ただし異なる行の画像も使用できる。これは、視角と距離のシミュレート上、あまり正確にはならないが、一般の閲覧者に対しては十分な深さ感(depth feeling)を提供できる。

ビューウインドウはまた、テレビジョン、ムービースクリーン(movie screen)或いはさらにはビューグラス(view glasses)を具えた新式の装着式ガジェット(new wearable gadget)に応用できる。

以上は本発明の好ましい実施例の説明に過ぎず、並びに本発明を限定するものではなく、本発明に提示の精神より逸脱せずに完成されるその他の同等の効果の修飾或いは置換は、いずれも本発明の権利請求範囲内に属する。

１００方法
１０２実体オブジェクト
１０４閲覧者
１０６ビューウインドウ
１０８、２２４、２８４撮影画像
１１０、１９２、２０４、２２６３Ｄメッシュ
１２０具体的実施例
１２１画像キャプチャシステム
１２２回転プラットフォーム
１２３カメラ
１２４アーム
１２６コンピュータシステム
１２８走査サブシステム
１３０インターネットネットワーク
１３２クライアント側装置
１３４ネットワーク保存システム
１４０ブロック図
１４２、１４４、１４６、１４８、１５０、１５２、１５４、１８２、１８４、１８６、１８８、１９０、２６４、２６６、２６８、２６９、２７０、２７２、２７４ブロック１６０２Ｄ画像キャプチャシステム
１６２コンピュータ制御回転機械
１６４特定命名規則
１８０３Ｄ幾何データキャプチャシステム
２００パラメータマッチングシステム
２０２フォトフレーム
２２０パラメータマッチングソフトウエアプログラム
２２２、２２８、２３０、２３２機能
２３６実体オブジェクト主軸
２３４、３１６、３１８参考点
２３８方向
２４０演算メカニズム
２４２、２５２列
２５４行
２６０ファイルシステム
２６２ルートディレクトリ
２８０ビュープログラム
２８２操作ウインドウ
２８６操作ボタン
２８８機能ボタン
３００立体システム
３０２左目
３０４右目
３０６左側立体画像
３０８右側立体画像
３１０オブジェクト
３１２左側セット
３１４右側セット

Claims

一つの２Ｄ撮影画像ファイルと一つの３Ｄメッシュをマッチングする方法において、それは一つの実体オブジェクトの６個の自由度に対してマトリックス変換を使用し、該マトリックス変換は、手動方式或いは自動方式で実行され、該手動方式は、手動で該実体オブジェクトの主軸の尖端を移動して、θ値を制御するステップ、手動で該尖端を移動して、ψ値を制御するステップ、手動で該主軸を回転させて、ω値を制御するステップ、及び、該３Ｄメッシュのサイズに対して比率調整し、該２Ｄ撮影画像ファイル中より選定した２Ｄ撮影画像とパラメータマッチングし、該２Ｄ撮影画像ファイル全体の該２Ｄ撮影画像パラメータのマッチングを終えるまでこれを行うステップ、
以上のステップのうち、少なくとも、一つのステップを包含し、該２Ｄ撮影画像ファイル中の、少なくとも３枚の２Ｄ撮影画像は、計算の補助の下で、手動で該主軸の水平と垂直方向上で選出されることで該手動方式が実行され、そのうち、該３Ｄメッシュの３Ｄ幾何パラメータは画像品質、フォトリアリスティック現実表現及び物理拡張現実アプリケーションのために、該２Ｄ撮影画像ファイルの２Ｄ撮影画像パラメータと組み合わされることを特徴とする、一つの２Ｄ撮影画像ファイルと一つの３Ｄメッシュをマッチングする方法。
請求項１記載の一つの２Ｄ撮影画像ファイルと一つの３Ｄメッシュをマッチングする方法において、該２Ｄ撮影画像ファイル中の２Ｄ撮影画像は選択的に以下のうちの少なくとも一つのステップで処理され、すなわち、
その画像背景の除去ステップ、
圧縮して階層画像解析度、透明度情報を有するＪＰＥＧ形式となすステップ、
２Ｄ撮影画像ファイル中への保存ステップ、以上を特徴とする、一つの２Ｄ撮影画像ファイルと一つの３Ｄメッシュをマッチングする方法。
請求項１記載の一つの２Ｄ撮影画像ファイルと一つの３Ｄメッシュをマッチングする方法において、該３Ｄ幾何パラメータは、一定波長の可視光学カメラ、レーザービーム、或いは不可視赤外光と反射光キャプチャシステムにより生成するか、或いは、該２Ｄ撮影画像ファイル中の２Ｄ撮影画像のシルエット或いは該実体オブジェクトの各オブジェクトの幾何的深さデータより取得されることを特徴とする、一つの２Ｄ撮影画像ファイルと一つの３Ｄメッシュをマッチングする方法。
請求項１記載の一つの２Ｄ撮影画像ファイルと一つの３Ｄメッシュをマッチングする方法において、該自動方式は、一つの３Ｄ幾何走査機構にあって、該２Ｄ撮影画像ファイル中の２Ｄ撮影画像と該３Ｄメッシュの間のパラメータ関係が提供される状況で、プログラム化されて該２Ｄ撮影画像パラメータと該３Ｄ幾何パラメータが自動マッチングされることを特徴とする、一つの２Ｄ撮影画像ファイルと一つの３Ｄメッシュをマッチングする方法。
請求項１記載の一つの２Ｄ撮影画像ファイルと一つの３Ｄメッシュをマッチングする方法において、該画像品質、フォトリアリスティック現実表現は、インターネットサーバー下に構築したファイルシステムであり、エンドユーザーに対して撮影画像と３Ｄメッシュを見るビューメカニズムを提供するのに用いられ、並びに該物理拡張現実アプリケーションは、３Ｄ測量或いは３Ｄ制御機能とされることを特徴とする、一つの２Ｄ撮影画像ファイルと一つの３Ｄメッシュをマッチングする方法。
請求項５記載の一つの２Ｄ撮影画像ファイルと一つの３Ｄメッシュをマッチングする方法において、該撮影画像と該３Ｄメッシュは、異なる透明度の方式で併せて閲覧されることを特徴とする、一つの２Ｄ撮影画像ファイルと一つの３Ｄメッシュをマッチングする方法。
請求項５記載の一つの２Ｄ撮影画像ファイルと一つの３Ｄメッシュをマッチングする方法において、該画像品質、フォトリアリスティック現実表現は、さらに、それぞれ左目と右目に用いられる左側立体画像と右側立体画像を具えたビューウインドウを具えた立体システムに援用されることを特徴とする、一つの２Ｄ撮影画像ファイルと一つの３Ｄメッシュをマッチングする方法。
請求項５記載の一つの２Ｄ撮影画像ファイルと一つの３Ｄメッシュをマッチングする方法において、該画像品質、フォトリアリスティック現実表現は、該２Ｄ撮影画像の、θ方向とψ方向の少なくともそのうちの一つの角変化により、さらに３Ｄ空間中で該２Ｄ撮影画像ファイル中の２Ｄ撮影画像の流暢度を表現するのに援用されることを特徴とする、一つの２Ｄ撮影画像ファイルと一つの３Ｄメッシュをマッチングする方法。