JP2023525945A - モバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法 - Google Patents

モバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法 Download PDF

Info

Publication number
JP2023525945A
JP2023525945A JP2022544433A JP2022544433A JP2023525945A JP 2023525945 A JP2023525945 A JP 2023525945A JP 2022544433 A JP2022544433 A JP 2022544433A JP 2022544433 A JP2022544433 A JP 2022544433A JP 2023525945 A JP2023525945 A JP 2023525945A
Authority
JP
Japan
Prior art keywords
augmented reality
building
data
scale
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022544433A
Other languages
English (en)
Other versions
JP7460778B2 (ja
Inventor
フン イ、ギュ
ハン、ウク
ソン チェ、ヒャン
スン クォン、ホン
ギョン キム、スク
ウォン ソ、ヒョ
ミョン イ、サン
ミ ソン、ウン
ア イ、ソン
ヨン キム、ソ
ビ イ、ウン
ジン ハ、テ
ピル キム、ジョン
ゴン チェ、ジュ
Original Assignee
リパブリック オブ コリア（ナショナル リサーチ インスティテュート オブ カルチュラル ヘリテイジ）
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by リパブリック オブ コリア（ナショナル リサーチ インスティテュート オブ カルチュラル ヘリテイジ） filed Critical リパブリック オブ コリア（ナショナル リサーチ インスティテュート オブ カルチュラル ヘリテイジ）
Publication of JP2023525945A publication Critical patent/JP2023525945A/ja
Application granted granted Critical
Publication of JP7460778B2 publication Critical patent/JP7460778B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/36—Level of detail
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2008—Assembling, disassembling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/35—Aspects of automatic or semi-automatic exchanges related to information services provided via a voice call
    • H04M2203/359—Augmented reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

ＰＣ(パーソナルコンピュータ)のように大容量記憶装置ではなく、携帯用モバイル機器のように限定された処理容量を有する機器において、大規模古代木造建築物の拡張現実具現が可能であるように、データ著作及びインターフェース機能を向上させたものであって、建築物の構造を理解し、リソースを再利用可能なモジュール単位に再構成し、同一のメッシュデータを用いて、インスタンス化することによって、共通のメッシュ情報を使用するので、リソース使用を減らすだけでなく、ＬＯＤ技術を活用して、データを効率よく使用できるようにしたモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法を提供する。【選択図】図１

Description

本発明は、モバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法に関し、詳しくは、ＰＣ(パーソナルコンピュータ)のように大容量記憶装置ではなく、携帯用モバイル機器のように限定された処理容量を有する機器において、大規模古代木造建築物の拡張現実具現が可能であるように、データ著作及びインターフェース機能を向上したモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法に関する。
また、本発明は、建築物の構造を理解し、リソースを再利用可能なモジュール単位に再構成し、同一のメッシュ(Mesh)データを用いて、インスタンス(Instance)化することによって、共通のメッシュ情報を使用するので、リソース使用を減らすことにつれ、モバイル機器において大容量建築物の拡張現実具現を可能にするモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法に関する。
また、本発明は、ＬＯＤ(Level of Detail)技術を活用して、データを効率よく使用するモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法に関する。
拡張現実(Augmented Reality、AR)は、現実の画像や背景に３次元仮想画像を重ねて、１つの映像として表示する技術であって、飛行機メーカーであるボーイング社で、１９９０年頃、飛行機組立過程に仮想の画像を添加することで、最初に拡張現実を紹介した。
このような拡張現実は、様々な技術分野で使用されており、その例としては、建築技術が挙げられる。
このような拡張現実を建築技術に使用した例として、特許文献１乃至３がある。
特許文献１は、拡張現実技法を用いた建築構造物情報提供装置において、建設現場(site)又は建設現場に位置した建築構造物の映像を受信する送受信部と、建設現場に建設される建築構造物又は建設現場に位置した建築構造物に対応する３Ｄ設計図を検索する設計図検索部と、拡張現実技法を用いて検索された３Ｄ設計図を、建設現場又は建設現場に位置した建築構造物の映像に重なる映像処理部とを含み、映像処理部は、検索された３Ｄ設計図を、建設現場又は建設現場に位置した建築構造物の映像に対応するようにリサイズ(Resizing)する、拡張現実技法を用いた建築構造物情報提供装置である。
また、特許文献２は、拡張現実を用いて、王陵内の遺物情報をディスプレイする方法において、ａ) 拡張現実具現のためのアプリケーションを動作させた後、写真撮影モードを行う段階と、ｂ) アプリケーションを運用するためのアルゴリズムが搭載された制御装置が、ユーザの写真撮影モード進入に応答して、携帯電話のＧＰＳ及びジャイロセンサを起動させる段階と、ｃ) 制御装置が、携帯電話の現在座標情報及び携帯電話が注視する方向情報を認知する段階と、ｄ) 携帯電話の座標から最も近づいた王陵座標及び該当王陵に対する付加情報を、データベースから抽出する段階と、ｅ) 王陵内に位置した遺物の座標情報及びグラフィック情報を、データベースから抽出する段階と、ｆ) 王陵の中心座標と携帯電話の現在座標を基に、携帯電話と王陵の中心座標の間の距離を算出する段階と、ｇ) 距離を半径とした円のデータを抽出し、抽出された円のデータのうち、正方(正東、正西、正南、正北)に位置した４つの座標データを抽出する段階と、ｈ) ４つの座標データのうち、王陵の中心座標から最も近づいた１つの座標を抽出する段階と、i) 座標と王陵中心座標、携帯電話座標に基づいて、携帯電話の正方と王陵の中心座標の間の角度を算出する段階と、ｊ) 遺物が位置した地域を表わす最大直径で遺物の範囲を定義し、王陵の中心座標を遺物の範囲で可変して、遺物の範囲角度を算出する段階と、ｋ) 王陵の中心座標の正方向と携帯電話の走査方向を中心に、回動角度をジャイロセンサから検出する段階と、ｌ) 回動角度が遺物の範囲角度に存在するか否かを判断し、判断結果、回動角度が遺物の範囲角度に存在しないと、これは王陵を撮影するための意図がないことと判断して、ａ)段階に戻る段階と、ｍ) ｌ)段階で判断した結果、回動角度が遺物の範囲角度に存在すると、距離及び携帯電話の座標情報に対応する遺物を拡張現実でディスプレイする段階とからなり、遺物に対する拡張現実は、実際の遺物が置かれた方向とサイズに対応して、携帯電話の位置及び方向によって、遺物のグラフィックサイズ及びディスプレイ角度が変形する拡張現実を用いた王陵遺物情報出力方法である。
特許文献３は、拡張現実装備の画面に投影された空間上に、拡張現実を用いて、建設空間情報をディスプレイする方法において、建設空間情報をディスプレイするための位置を選択する段階と、選択された位置に、拡張現実装備の画面を通じて見える現実空間上の特定領域を認識する段階と、認識された特定領域上に、ＧＩＳ情報をディスプレイする段階と、ディスプレイされたＧＩＳ情報上に、ＢＩＭ(Building Information Modeling)情報を用いて、３Ｄ建物を視覚化する段階と、拡張現実装備を通じてディスプレイされた建設空間情報上の特定位置を選択する段階と、特定の位置に対する命令を受信する段階と、受信された命令による建設空間情報をディスプレイする段階とを含み、特定命令は、特定位置への移動命令を含み、移動命令は、拡張現実装備の画面中心に位置したカーソルを特定位置に位置した後、選択命令を入力することにより行われ、選択命令は、拡張現実装備の画面中心に位置したカーソルを、所定の時間以上動かないか、拡張現実装備に連結されたクリッカー(clicker)をクリックするか、拡張現実装備に設置された音声認識装置に特定音声を認識させることにより行われる拡張現実を用いた建設空間情報ディスプレイ方法である。
このように拡張現実を用いた様々な建築に関する技術が開発されているが、このように従来の位置追跡方式に基づくＡＲ技術を用いており、従来の位置追跡方式のＡＲ技術の場合、ＧＰＳ座標を用いて、現実世界座標認識において、誤差範囲がＭ単位であるので、再生される画像が周辺環境に正しく位置しないという問題がある。
また、建築物モデリングのような大容量のデータを、モバイル機器のような最終のディスプレイ装備で再生する前に、大容量情報を処理するサーバを経由して、データ最適化過程などの情報処理過程を経た後、最終のディスプレイ装備で再生されるので、別の装備が必要であり、使い勝手が悪いという問題がある。
これらの不都合を解決して、本出願人が工夫した技術が特許文献４である。
特許文献４は、位置合わせ技術を適用して、マーカーとカメラトラッキングの複合適用による誤差補正の過程を通じて誤り率を改善して、よりリアリティーある建築遺跡の実感型コンテンツを体験するだけでなく、遺物の実測データを基に具現された正確なスケールの３Ｄ設計映像データを、モバイル端末機で独自にカメラトラッキング技術を用いて、姿勢(位置、回転)を計算して正確に増強することができ、既存のＡＲ技術を用いた場合に発生する問題、すなわち、ＧＰＳ座標を用いて、周辺環境と正確な位置合わせとなっておらず、観覧者に臨場感を劣化させる問題を解消し、スマートフォンのカメラ、ジャイロスコープ、加速度センサを通じて、現実のオブジェクトと環境を認識して、仮想のオブジェクトに臨場感を与えるように具現した拡張現実に基づく建築遺跡の実感型コンテンツ体験システムである。
しかし、このような技術、すなわち、拡張現実を具現するための技術は、学習(Training)、認識(Detection)、追跡(Tracking)、整合(Registration)の過程を経ることになるが、効率的にデータを管理せず、無分別にリソースを使用することになると、安定した環境(frame rate)を保持しないため、体験が不安定となる。
特に、モバイル装備は、限定されたメモリと処理能力を有する機器であって、安定した拡張現実環境を具現するために、３Ｄリソースのクオリティを下げるしかなく、このようにリソースクオリティを下げると、ユーザの没入度を劣化させる不都合がある。
前記のような目的を解決するための本発明によるモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法は、拡張現実技法を用いて、古建築物の遺跡情報をディスプレイする拡張現実に基づく建築遺跡の実感型コンテンツ体験システムで、データ最適化及びインターフェース向上方法において、古建築物を構成する各部材の画像をモジュール化し、同一のメッシュデータをインスタンス化したことを特徴とする。
また、古建築物の画像において静寂メッシュは、静的オブジェクト(Static object)化して、ドローコール(Draw calls)及びバッチカウント(Batch Count)を減らすことで、ＧＰＵ(Graphics Processing Unit)演算を減らすのが望ましい。
更に、古建築物の画像において、光は、テクスチャ(Texture)で焼き付けて(Bake Light)オーバーライドするのが望ましい。
古建築物の画像のうち使わないメッシュのライトメブ(Lightmap)のＵＶスケール(Scale)を調整する。
本発明によるモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法は、データを効率よく管理して、モバイル装置において、大規模古代木造建築物を安定して視覚化することができ、視覚的な完成度を補って、ユーザにとって没入度を高めて、満足な拡張現実体験をさせることができる。
図１は、本発明によるモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法において、メッシュモジュール化前後の比較画面を示す図である。 図２は、本発明によるモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法において、インスタンス前後の比較画面を示す図である。 図３は、本発明によるモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法において、ＬＯＤ前後の比較画面を示す図である。 図４は、本発明によるモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法において、光をテキスチャーで焼き付けてオーバーライドした前後の比較画面を示す図である。 図５は、本発明によるモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法において、ＧＩ演算画像とライトマップ設定調整画面を示す図である。
本発明は、様々な変更を加えることができ、様々な実施例を有することができるところ、特定の実施例を図面に示し、詳細な説明を通じて説明する。これは、本発明を特定の実施形態に対して限定しようとすることではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含む。
各図面の説明において、同一の図面符号を、同一の構成要素に対して付している。本発明を説明することに当たり、関連する公知技術に対する具体的な説明が本発明の要旨を濁していると判断される場合は、その詳細な説明を省略する。
本発明は、データを効率よく管理して、モバイル装置で大規模古代木造建築物を安定して視覚化することができ、視覚的な完成度を補って、ユーザにとって没入度を高めて、満足な拡張現実体験をさせることができる。
本発明によるモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法は、拡張現実技法を用いて、古建築物の遺跡情報をディスプレイする拡張現実に基づく建築遺跡の実感型コンテンツ体験システムで、データ最適化及びインターフェース向上方法において、古建築物を構成する各部材の画像をモジュール化し、同一のメッシュデータをインスタンス化したことを特徴とする。
すなわち、古建築物は、様々な部材の結合によりなされ、このようなそれぞれの部材には、同一の構成を有する部材があり、このような部材の画像をモジュール化し、モジュール化した部材を配置して建築物を構成することによって、古建築物の全体画像のサイズを縮小して、モバイル機器でも容易に表現できることになる。
図１は、部材画像のモジュール化前後の比較画面であって、表現される古建築物全体の画像には変わりがなく、同一であることが分かる。
また、同一のメッシュデータのインスタンス化により、全体の古建築物のデータを減らすことができる。
図２は、メッシュデータのインスタンス化により、全体の古建築物の比較画面を示す図である。
オブジェクトインスタンス(object instance)は、属性とメソッドを共有する類似した性質のオブジェクトを、１つにグループ化するものである。
また、本発明は、古建築物の画像において静寂メッシュは、静的オブジェクト(Static object)化して、ドローコール及びバッチカウントを減らすことで、ＧＰＵ演算を減らすことができる。
更に、本発明は、図３に示しているように、カメラとメッシュの間の距離によって、細かさの異なるメッシュを示すＬＯＤ(live on demand)を適用するために、各部材を３段階の細部水準に製作して、レンダリング品質を上げ、演算量を減らすことができる。
ＬＯＤは、物体間の距離と認識程度は反比例するという考えを基に、レンダリング画像を簡略に表現する方法で、本発明では、静的ＬＯＤを適用しており、該当静的ＬＯＤは、データプール(Data Pool)に、ＬＯＤ段階に合うサブセット頂点データ(Subset vertex data)を予め計算して保存しておいた後、レンダリングに際して、各地形のＬＯＤ段階値に該当するサブセット頂点データを処理する方法であって、ＧＰＵでデータを保存する空間を確保することができる。
静的ＬＯＤ方式は、演算が簡単であるため、速度は速いが、距離によってメッシュ段階が急激に変わるため、ポッピング現象(popping)が生じることがあり、このような現象を減らすため、各段階別メッシュの曲率が、前段階のメッシュ角の２倍を超えないように調整して、ポッピング現象を減らすことができる。
また、本発明は、古建築物の画像において、光は、テクスチャ(Texture)で焼き付けて(Bake Light)オーバーライドする。
このように、光をテクスチャで焼き付けてオーバーライドすることで、画像のレンダリングで一番重い要素である照明と影演算を減らすことができる。
一般に、リアルタイムライトは、場面内に直接光源(Direct Light)だけを反映して、演算は減らすことができるが、間接光源(Indirect Light)は演算しないため、自然な光源の印象を演出することができず、クオリティが低く見える不都合がある。
ライトマップ(Lightmap)を用いると、演算を減らすこともでき、全域照明ＧＩ(Global Illumination)及びＡＯ(Ambient Occlusion)効果を加えて、視覚的な品質を向上することができるが、ライトマップを生成することになると、テクスチャの使容量が多くなるので、保存空間を多く要するしかない。
これに、未使用のオブジェクトは、場面から削除して、リソース使用を節減することが一般の方法であるが、このようになると、周辺メッシュの壊れた(Bake)ライトマップにＧＩ効果が出ないため、異質感が生じるという問題がある。
これに、未使用のメッシュのライトマップのＵＶスケール(Scale)を調整することにより、優れた視覚的品質を保持し、メモリの使用を節減することができる。(図４及び図５参照)
本発明は、モバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法に関し、詳しくは、ＰＣ(パーソナルコンピュータ)のように大容量記憶装置ではなく、携帯用モバイル機器のように限定された処理容量を有する機器において、大規模古代木造建築物の拡張現実具現が可能であるように、データ著作及びインターフェース機能を向上したモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法に関する。
また、本発明は、建築物の構造を理解し、リソースを再利用可能なモジュール単位に再構成し、同一のメッシュ(Mesh)データを用いて、インスタンス(Instance)化することによって、共通のメッシュ情報を使用するので、リソース使用を減らすことにつれ、モバイル機器において大容量建築物の拡張現実具現を可能にするモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法に関する。
また、本発明は、ＬＯＤ(Level of Detail)技術を活用して、データを効率よく使用するモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法に関する。
拡張現実(Augmented Reality、AR)は、現実の画像や背景に３次元仮想画像を重ねて、１つの映像として表示する技術であって、飛行機メーカーであるボーイング社で、１９９０年頃、飛行機組立過程に仮想の画像を添加することで、最初に拡張現実を紹介した。
このような拡張現実は、様々な技術分野で使用されており、その例としては、建築技術が挙げられる。
このような拡張現実を建築技術に使用した例として、特許文献１乃至３がある。
特許文献１は、拡張現実技法を用いた建築構造物情報提供装置において、建設現場(site)又は建設現場に位置した建築構造物の映像を受信する送受信部と、建設現場に建設される建築構造物又は建設現場に位置した建築構造物に対応する３Ｄ設計図を検索する設計図検索部と、拡張現実技法を用いて検索された３Ｄ設計図を、建設現場又は建設現場に位置した建築構造物の映像に重なる映像処理部とを含み、映像処理部は、検索された３Ｄ設計図を、建設現場又は建設現場に位置した建築構造物の映像に対応するようにリサイズ(Resizing)する、拡張現実技法を用いた建築構造物情報提供装置である。
また、特許文献２は、拡張現実を用いて、王陵内の遺物情報をディスプレイする方法において、ａ) 拡張現実具現のためのアプリケーションを動作させた後、写真撮影モードを行う段階と、ｂ) アプリケーションを運用するためのアルゴリズムが搭載された制御装置が、ユーザの写真撮影モード進入に応答して、携帯電話のＧＰＳ及びジャイロセンサを起動させる段階と、ｃ) 制御装置が、携帯電話の現在座標情報及び携帯電話が注視する方向情報を認知する段階と、ｄ) 携帯電話の座標から最も近づいた王陵座標及び該当王陵に対する付加情報を、データベースから抽出する段階と、ｅ) 王陵内に位置した遺物の座標情報及びグラフィック情報を、データベースから抽出する段階と、ｆ) 王陵の中心座標と携帯電話の現在座標を基に、携帯電話と王陵の中心座標の間の距離を算出する段階と、ｇ) 距離を半径とした円のデータを抽出し、抽出された円のデータのうち、正方(正東、正西、正南、正北)に位置した４つの座標データを抽出する段階と、ｈ) ４つの座標データのうち、王陵の中心座標から最も近づいた１つの座標を抽出する段階と、i) 座標と王陵中心座標、携帯電話座標に基づいて、携帯電話の正方と王陵の中心座標の間の角度を算出する段階と、ｊ) 遺物が位置した地域を表わす最大直径で遺物の範囲を定義し、王陵の中心座標を遺物の範囲で可変して、遺物の範囲角度を算出する段階と、ｋ) 王陵の中心座標の正方向と携帯電話の走査方向を中心に、回動角度をジャイロセンサから検出する段階と、ｌ) 回動角度が遺物の範囲角度に存在するか否かを判断し、判断結果、回動角度が遺物の範囲角度に存在しないと、これは王陵を撮影するための意図がないことと判断して、ａ)段階に戻る段階と、ｍ) ｌ)段階で判断した結果、回動角度が遺物の範囲角度に存在すると、距離及び携帯電話の座標情報に対応する遺物を拡張現実でディスプレイする段階とからなり、遺物に対する拡張現実は、実際の遺物が置かれた方向とサイズに対応して、携帯電話の位置及び方向によって、遺物のグラフィックサイズ及びディスプレイ角度が変形する拡張現実を用いた王陵遺物情報出力方法である。
特許文献３は、拡張現実装備の画面に投影された空間上に、拡張現実を用いて、建設空間情報をディスプレイする方法において、建設空間情報をディスプレイするための位置を選択する段階と、選択された位置に、拡張現実装備の画面を通じて見える現実空間上の特定領域を認識する段階と、認識された特定領域上に、ＧＩＳ情報をディスプレイする段階と、ディスプレイされたＧＩＳ情報上に、ＢＩＭ(Building Information Modeling)情報を用いて、３Ｄ建物を視覚化する段階と、拡張現実装備を通じてディスプレイされた建設空間情報上の特定位置を選択する段階と、特定の位置に対する命令を受信する段階と、受信された命令による建設空間情報をディスプレイする段階とを含み、特定命令は、特定位置への移動命令を含み、移動命令は、拡張現実装備の画面中心に位置したカーソルを特定位置に位置した後、選択命令を入力することにより行われ、選択命令は、拡張現実装備の画面中心に位置したカーソルを、所定の時間以上動かないか、拡張現実装備に連結されたクリッカー(clicker)をクリックするか、拡張現実装備に設置された音声認識装置に特定音声を認識させることにより行われる拡張現実を用いた建設空間情報ディスプレイ方法である。
このように拡張現実を用いた様々な建築に関する技術が開発されているが、このように従来の位置追跡方式に基づくＡＲ技術を用いており、従来の位置追跡方式のＡＲ技術の場合、ＧＰＳ座標を用いて、現実世界座標認識において、誤差範囲がＭ単位であるので、再生される画像が周辺環境に正しく位置しないという問題がある。
また、建築物モデリングのような大容量のデータを、モバイル機器のような最終のディスプレイ装備で再生する前に、大容量情報を処理するサーバを経由して、データ最適化過程などの情報処理過程を経た後、最終のディスプレイ装備で再生されるので、別の装備が必要であり、使い勝手が悪いという問題がある。
これらの不都合を解決して、本出願人が工夫した技術が特許文献４である。
特許文献４は、位置合わせ技術を適用して、マーカーとカメラトラッキングの複合適用による誤差補正の過程を通じて誤り率を改善して、よりリアリティーある建築遺跡の実感型コンテンツを体験するだけでなく、遺物の実測データを基に具現された正確なスケールの３Ｄ設計映像データを、モバイル端末機で独自にカメラトラッキング技術を用いて、姿勢(位置、回転)を計算して正確に増強することができ、既存のＡＲ技術を用いた場合に発生する問題、すなわち、ＧＰＳ座標を用いて、周辺環境と正確な位置合わせとなっておらず、観覧者に臨場感を劣化させる問題を解消し、スマートフォンのカメラ、ジャイロスコープ、加速度センサを通じて、現実のオブジェクトと環境を認識して、仮想のオブジェクトに臨場感を与えるように具現した拡張現実に基づく建築遺跡の実感型コンテンツ体験システムである。
しかし、このような技術、すなわち、拡張現実を具現するための技術は、学習(Training)、認識(Detection)、追跡(Tracking)、整合(Registration)の過程を経ることになるが、効率的にデータを管理せず、無分別にリソースを使用することになると、安定した環境(frame rate)を保持しないため、体験が不安定となる。
特に、モバイル装備は、限定されたメモリと処理能力を有する機器であって、安定した拡張現実環境を具現するために、３Ｄリソースのクオリティを下げるしかなく、このようにリソースクオリティを下げると、ユーザの没入度を劣化させる不都合がある。
韓国登録特許第１０－１１７１２６４号公報 韓国登録特許第１０－１８７４３４５号公報 韓国登録特許第１０－１８７６４９９号公報 韓国登録特許第１０－１９８９９６９号公報
前記のような目的を解決するための本発明によるモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法は、拡張現実技法を用いて、古建築物の遺跡情報をディスプレイする拡張現実に基づく建築遺跡の実感型コンテンツ体験システムで、データ最適化及びインターフェース向上方法において、古建築物を構成する各部材の画像をモジュール化し、同一のメッシュデータをインスタンス化したことを特徴とする。
また、古建築物の画像において静寂メッシュは、静的オブジェクト(Static object)化して、ドローコール(Draw calls)及びバッチカウント(Batch Count)を減らすことで、ＧＰＵ(Graphics Processing Unit)演算を減らすのが望ましい。
更に、古建築物の画像において、光は、テクスチャ(Texture)で焼き付けて(Bake Light)オーバーライドするのが望ましい。
古建築物の画像のうち使わないメッシュのライトメブ(Lightmap)のＵＶスケール(Scale)を調整する。
本発明によるモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法は、データを効率よく管理して、モバイル装置において、大規模古代木造建築物を安定して視覚化することができ、視覚的な完成度を補って、ユーザにとって没入度を高めて、満足な拡張現実体験をさせることができる。
図１は、本発明によるモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法において、メッシュモジュール化前後の比較画面を示す図である。 図２は、本発明によるモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法において、インスタンス前後の比較画面を示す図である。 図３は、本発明によるモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法において、ＬＯＤ前後の比較画面を示す図である。 図４は、本発明によるモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法において、光をテキスチャーで焼き付けてオーバーライドした前後の比較画面を示す図である。 図５は、本発明によるモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法において、ＧＩ演算画像とライトマップ設定調整画面を示す図である。
本発明は、様々な変更を加えることができ、様々な実施例を有することができるところ、特定の実施例を図面に示し、詳細な説明を通じて説明する。これは、本発明を特定の実施形態に対して限定しようとすることではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含む。
各図面の説明において、同一の図面符号を、同一の構成要素に対して付している。本発明を説明することに当たり、関連する公知技術に対する具体的な説明が本発明の要旨を濁していると判断される場合は、その詳細な説明を省略する。
本発明は、データを効率よく管理して、モバイル装置で大規模古代木造建築物を安定して視覚化することができ、視覚的な完成度を補って、ユーザにとって没入度を高めて、満足な拡張現実体験をさせることができる。
本発明によるモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法は、拡張現実技法を用いて、古建築物の遺跡情報をディスプレイする拡張現実に基づく建築遺跡の実感型コンテンツ体験システムで、データ最適化及びインターフェース向上方法において、古建築物を構成する各部材の画像をモジュール化し、同一のメッシュデータをインスタンス化したことを特徴とする。
すなわち、古建築物は、様々な部材の結合によりなされ、このようなそれぞれの部材には、同一の構成を有する部材があり、このような部材の画像をモジュール化し、モジュール化した部材を配置して建築物を構成することによって、古建築物の全体画像のサイズを縮小して、モバイル機器でも容易に表現できることになる。
図１は、部材画像のモジュール化前後の比較画面であって、表現される古建築物全体の画像には変わりがなく、同一であることが分かる。
また、同一のメッシュデータのインスタンス化により、全体の古建築物のデータを減らすことができる。
図２は、メッシュデータのインスタンス化により、全体の古建築物の比較画面を示す図である。
オブジェクトインスタンス(object instance)は、属性とメソッドを共有する類似した性質のオブジェクトを、１つにグループ化するものである。
また、本発明は、古建築物の画像において静寂メッシュは、静的オブジェクト(Static object)化して、ドローコール及びバッチカウントを減らすことで、ＧＰＵ演算を減らすことができる。
更に、本発明は、図３に示しているように、カメラとメッシュの間の距離によって、細かさの異なるメッシュを示すＬＯＤ(live on demand)を適用するために、各部材を３段階の細部水準に製作して、レンダリング品質を上げ、演算量を減らすことができる。
ＬＯＤは、物体間の距離と認識程度は反比例するという考えを基に、レンダリング画像を簡略に表現する方法で、本発明では、静的ＬＯＤを適用しており、該当静的ＬＯＤは、データプール(Data Pool)に、ＬＯＤ段階に合うサブセット頂点データ(Subset vertex data)を予め計算して保存しておいた後、レンダリングに際して、各地形のＬＯＤ段階値に該当するサブセット頂点データを処理する方法であって、ＧＰＵでデータを保存する空間を確保することができる。
静的ＬＯＤ方式は、演算が簡単であるため、速度は速いが、距離によってメッシュ段階が急激に変わるため、ポッピング現象(popping)が生じることがあり、このような現象を減らすため、各段階別メッシュの曲率が、前段階のメッシュ角の２倍を超えないように調整して、ポッピング現象を減らすことができる。
また、本発明は、古建築物の画像において、光は、テクスチャ(Texture)で焼き付けて(Bake Light)オーバーライドする。
このように、光をテクスチャで焼き付けてオーバーライドすることで、画像のレンダリングで一番重い要素である照明と影演算を減らすことができる。
一般に、リアルタイムライトは、場面内に直接光源(Direct Light)だけを反映して、演算は減らすことができるが、間接光源(Indirect Light)は演算しないため、自然な光源の印象を演出することができず、クオリティが低く見える不都合がある。
ライトマップ(Lightmap)を用いると、演算を減らすこともでき、全域照明ＧＩ(Global Illumination)及びＡＯ(Ambient Occlusion)効果を加えて、視覚的な品質を向上することができるが、ライトマップを生成することになると、テクスチャの使容量が多くなるので、保存空間を多く要するしかない。
これに、未使用のオブジェクトは、場面から削除して、リソース使用を節減することが一般の方法であるが、このようになると、周辺メッシュの壊れた(Bake)ライトマップにＧＩ効果が出ないため、異質感が生じるという問題がある。
これに、未使用のメッシュのライトマップのＵＶスケール(Scale)を調整することにより、優れた視覚的品質を保持し、メモリの使用を節減することができる。(図４及び図５参照)

Claims (4)

  1. 拡張現実技法を用いて、古建築物の遺跡情報をディスプレイする拡張現実に基づく建築遺跡の実感型コンテンツ体験システムで、データ最適化及びインターフェース向上方法であって、
    古建築物を構成する各部材をモジュール化し、同一のメッシュデータをインスタンス化した
    ことを特徴とするモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法。
  2. 古建築物の画像において、静的メッシュは、静的オブジェクト化して、ドローコール及びバッチカウントを減らして、ＧＰＵ演算を減らした
    請求項１に記載のモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法。
  3. 古建築物の画像において、光は、テクスチャで焼き付けてオーバーライドした
    請求項１に記載のモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法。
  4. 古建築物の画像のうち、未使用のメッシュのライトマップのＵＶスケールを調整する
    請求項１に記載のモバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法。

JP2022544433A 2020-08-07 2021-08-02 モバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法 Active JP7460778B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020200099467A KR102258610B1 (ko) 2020-08-07 2020-08-07 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화에 의한 인터페이스 향상 방법
KR10-2020-0099467 2020-08-07
PCT/KR2021/010079 WO2022030918A1 (ko) 2020-08-07 2021-08-02 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화 및 인터페이스 향상 방법

Publications (2)

Publication Number Publication Date
JP2023525945A true JP2023525945A (ja) 2023-06-20
JP7460778B2 JP7460778B2 (ja) 2024-04-02

Family

ID=76149946

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022544433A Active JP7460778B2 (ja) 2020-08-07 2021-08-02 モバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法

Country Status (4)

Country Link
EP (1) EP4195160A4 (ja)
JP (1) JP7460778B2 (ja)
KR (1) KR102258610B1 (ja)
WO (1) WO2022030918A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102258610B1 (ko) * 2020-08-07 2021-05-31 대한민국 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화에 의한 인터페이스 향상 방법
CN115294251A (zh) * 2022-06-13 2022-11-04 无人智境(北京)技术有限公司 一种海量集装箱批量渲染方法和设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5430999B2 (ja) 2008-03-31 2014-03-05 旭化成ホームズ株式会社 防犯性能評価方法、防犯性能評価システム、および防犯性能評価プログラム
KR101171264B1 (ko) 2010-08-30 2012-08-06 성균관대학교산학협력단 증강현실기법을 이용한 건축 구조물 정보 제공 장치, 건축 구조물 디스플레이 장치 및 이를 이용한 건축 구조물 유지 보수 방법
KR101527545B1 (ko) * 2014-02-27 2015-06-11 성결대학교 산학협력단 휴대 단말기용 게임을 위한 서브 서피스 스캐터링 렌더링 방법
KR102381945B1 (ko) 2015-11-18 2022-04-01 삼성전자주식회사 그래픽 프로세싱 장치 및 그래픽 프로세싱 장치에서 그래픽스 파이프라인을 수행하는 방법
KR101940720B1 (ko) * 2016-08-19 2019-04-17 한국전자통신연구원 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법
KR101862948B1 (ko) * 2016-12-29 2018-05-31 ㈜ 한국공학기술연구원 가상 현실 기반의 박물관 컨텐츠 제공 시스템
KR101876499B1 (ko) 2017-02-03 2018-08-02 주식회사 올포랜드 증강현실을 이용한 건설공간정보 디스플레이 방법
KR101874345B1 (ko) 2017-02-08 2018-07-06 (주) 문화상상연구소 증강현실을 이용한 왕릉 유물 정보 출력방법
KR20180097088A (ko) * 2017-02-22 2018-08-30 주식회사 지엔아이씨티 증강 현실을 이용한 관광 안내 장치 및 그 방법
KR101989969B1 (ko) 2018-10-11 2019-06-19 대한민국 증강현실 기반 건축 유적의 실감형 콘텐츠 체험시스템
KR20200079009A (ko) * 2018-12-24 2020-07-02 홍익대학교세종캠퍼스산학협력단 Vr 기반의 교육용 콘텐츠 제공 시스템
KR102258610B1 (ko) * 2020-08-07 2021-05-31 대한민국 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화에 의한 인터페이스 향상 방법

Also Published As

Publication number Publication date
EP4195160A1 (en) 2023-06-14
JP7460778B2 (ja) 2024-04-02
KR102258610B1 (ko) 2021-05-31
WO2022030918A1 (ko) 2022-02-10
EP4195160A4 (en) 2024-02-21

Similar Documents

Publication Publication Date Title
US11238644B2 (en) Image processing method and apparatus, storage medium, and computer device
US20230053462A1 (en) Image rendering method and apparatus, device, medium, and computer program product
CA2721375C (en) Panning using virtual surfaces
US20170186219A1 (en) Method for 360-degree panoramic display, display module and mobile terminal
JP5299173B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
CN112370784B (zh) 虚拟场景显示方法、装置、设备以及存储介质
CN109997167B (zh) 用于球面图像内容的定向图像拼接
US11676292B2 (en) Machine learning inference on gravity aligned imagery
KR101989969B1 (ko) 증강현실 기반 건축 유적의 실감형 콘텐츠 체험시스템
JP2023525945A (ja) モバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法
US10325403B2 (en) Image based rendering techniques for virtual reality
US20200302579A1 (en) Environment map generation and hole filling
US11120591B2 (en) Variable rasterization rate
WO2023231537A1 (zh) 地形图像渲染方法、装置、设备及计算机可读存储介质及计算机程序产品
CN116051713B (zh) 渲染方法、电子设备和计算机可读存储介质
KR101874345B1 (ko) 증강현실을 이용한 왕릉 유물 정보 출력방법
KR102551914B1 (ko) 인터랙티브 객체 뷰어 생성 방법 및 시스템
JP2023171298A (ja) 拡張現実及び複合現実のための空間とコンテンツの適合
CN115970275A (zh) 虚拟对象的投影处理方法、装置、存储介质与电子设备
CN114820980A (zh) 三维重建方法、装置、电子设备和可读存储介质
CN116958390A (zh) 一种图像渲染方法、装置、设备、存储介质及程序产品
Brogni et al. An interaction system for the presentation of a virtual egyptian flute in a real museum
CN116030179B (zh) 一种数据处理方法、装置、计算机设备及存储介质
US11935184B2 (en) Integration of ambient light into graphics objects in a three-dimensional space
CN115526976A (zh) 虚拟场景渲染方法、装置、存储介质和电子设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220729

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240321

R150 Certificate of patent or registration of utility model

Ref document number: 7460778

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150