WO2022030918A1 - 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화 및 인터페이스 향상 방법 - Google Patents

모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화 및 인터페이스 향상 방법 Download PDF

Info

Publication number
WO2022030918A1
WO2022030918A1 PCT/KR2021/010079 KR2021010079W WO2022030918A1 WO 2022030918 A1 WO2022030918 A1 WO 2022030918A1 KR 2021010079 W KR2021010079 W KR 2021010079W WO 2022030918 A1 WO2022030918 A1 WO 2022030918A1
Authority
WO
WIPO (PCT)
Prior art keywords
augmented reality
building
data
scale
mobile device
Prior art date
Application number
PCT/KR2021/010079
Other languages
English (en)
French (fr)
Inventor
이규훈
한욱
최향선
권흥순
김숙경
서효원
이상명
손은미
이선아
김소영
이은비
하태진
김종필
최주곤
Original Assignee
대한민국(문화재청 국립문화재연구소장)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대한민국(문화재청 국립문화재연구소장) filed Critical 대한민국(문화재청 국립문화재연구소장)
Priority to EP21853079.8A priority Critical patent/EP4195160A4/en
Priority to JP2022544433A priority patent/JP7460778B2/ja
Publication of WO2022030918A1 publication Critical patent/WO2022030918A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/36—Level of detail
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2008—Assembling, disassembling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/35—Aspects of automatic or semi-automatic exchanges related to information services provided via a voice call
    • H04M2203/359—Augmented reality

Definitions

  • the present invention relates to a data optimization and interface improvement method for realizing augmented reality of a large-scale building in a mobile device, and more particularly, to a large-scale ancient wooden structure in a device having a limited processing capacity, such as a portable mobile device, rather than a large-capacity computing device such as a PC. It relates to a data optimization and interface improvement method for realizing augmented reality of a large-scale building in a mobile device, which enables data authoring and interface functions to be improved to implement augmented reality of a building.
  • the present invention understands the structure of a building and reconfigures resources into reusable module units and uses the same mesh data to instantiate them, thereby reducing resource use because common mesh information is used. It relates to a data optimization and interface improvement method for realizing augmented reality of a large-scale building in a mobile device, which enables the realization of augmented reality of a large-scale building in a mobile device.
  • the present invention relates to a data optimization and interface improvement method for realizing augmented reality of a large-scale building in a mobile device that enables efficient use of data by utilizing LOD (Level of Detail) technology.
  • LOD Level of Detail
  • Augmented Reality is a technology that superimposes a 3D virtual image on a real image or background and shows it as a single image. introduced to the world for the first time.
  • Such augmented reality is being used in various technological fields, an example of which is architecture technology.
  • Patent Documents 1 to 3 are examples of using such augmented reality technology in building technology.
  • Patent Document 1 discloses, in an apparatus for providing information on a building structure using an augmented reality technique, a transceiver for receiving an image of a building structure located at a construction site or a construction site, a building structure to be built on a construction site, or a building located at a construction site
  • a blueprint search unit that searches for a 3D blueprint corresponding to the structure, and an image processing unit that superimposes the 3D design searched for using the augmented reality technique on an image of a construction site or an image of a building structure located at the construction site
  • the image processing unit includes: It is a building structure information providing device using an augmented reality technique that resizes a blueprint to correspond to an image of a building structure located at a construction site or a construction site,
  • Patent Document 2 discloses a method for displaying artifact information in a royal tomb using augmented reality, the method comprising: a) running an application for realizing augmented reality and then executing a photo-taking mode; b) activating the GPS and the gyro sensor of the mobile phone in response to the user's entry into the picture taking mode, by the control device equipped with the algorithm for operating the application; c) recognizing, by the control device, current coordinate information of the mobile phone and direction information that the mobile phone is looking at; d) extracting the closest royal tomb coordinates from the coordinates of the mobile phone and additional information on the corresponding royal tomb from the database; e) extracting coordinate information and graphic information of relics located in the royal tomb from the database; f) calculating a distance between the central coordinates of the mobile phone and the central coordinates of the royal tomb based on the central coordinates of the royal tomb and the current coordinates of the mobile phone; g) extracting data of a circle with a distance as a radius, and extracting four
  • Patent Document 3 discloses a method for displaying construction spatial information using augmented reality on a space projected on a screen of an augmented reality device, the method comprising: selecting a location for displaying construction spatial information; Recognizing a specific area on the real space seen through the screen of the augmented reality equipment at a selected location; displaying GIS information on the recognized specific area; Visualizing a 3D building using BIM (Building Information Modeling) information on the displayed GIS information; selecting a specific location on the displayed construction spatial information through the augmented reality device; receiving a command for a specific location; and displaying construction spatial information according to the received command, wherein the specific command includes a command to move to a specific location, and the command to move is selected after positioning a cursor located in the center of the screen of the augmented reality device at a specific location It is performed by inputting a command, and the selection command does not move the cursor located at the center of the screen of the augmented reality device for more than a predetermined time, clicks the clicker connected to the augmented reality
  • Patent Document 4 The technology developed by the present applicant by resolving these shortcomings is the technology of Patent Document 4.
  • Patent Document 4 improves the error rate through the error correction process through the complex application of marker and camera tracking by applying the location matching technology, so that you can experience realistic content of architectural relics more realistically, as well as experience the actual content of the relic. It is possible to accurately augment the 3D design image data of an accurate scale realized by using the camera tracking technology in the mobile terminal by calculating the posture (position, rotation). By using coordinates, it solves the problem of not being able to accurately match the surrounding environment and reducing realism to the viewer. It is an augmented reality-based immersive content experience system of architectural ruins that can be implemented to provide
  • this technology that is, technology for realizing augmented reality, goes through the processes of training, detection, tracking, and registration, and uses resources indiscriminately without efficient data management. When this happens, the experience becomes unstable because a stable frame rate cannot be maintained.
  • mobile devices are devices with limited memory and processing power, and in order to implement a stable augmented reality environment, the quality of 3D resources has to be lowered.
  • the present invention has been developed to solve the problems of the prior art as described above, and understands the structure of a building and reuses resources so as to implement augmented reality implementation of a large-scale ancient wooden building in a device having a limited processing capacity, such as a mobile device.
  • a mobile device having a limited processing capacity, such as a mobile device.
  • LOD Level of Detail
  • the data optimization and interface improvement method for realizing augmented reality of a large-scale building in a mobile device according to the present invention for solving the above object is an augmented reality-based architectural relic that displays information about the relic of an ancient building using an augmented reality technique.
  • the data optimization and interface improvement method for realizing augmented reality of a large-scale building in a mobile device can stably visualize a large-scale ancient wooden building on a mobile device by efficiently managing data, and by supplementing the visual perfection, the user It has the effect of increasing the level of immersion and enabling a satisfactory augmented reality experience.
  • 1 is a comparison screen before and after mesh modularization in a data optimization and interface improvement method for realizing augmented reality of a large-scale building in a mobile device according to the present invention
  • FIG. 2 is a comparison screen before and after instance in the data optimization and interface improvement method for realizing augmented reality of a large-scale building in a mobile device according to the present invention
  • 3 is a comparison screen before and after LOD in the data optimization and interface improvement method for realizing augmented reality of a large-scale building in a mobile device according to the present invention
  • FIG. 4 is a comparison screen before and after overwriting light as a texture in a data optimization and interface improvement method for realizing augmented reality of a large-scale building in a mobile device according to the present invention.
  • FIG. 5 is a GI calculation image and light map setting adjustment screen in a data optimization and interface improvement method for realizing augmented reality of a large-scale building in a mobile device according to the present invention.
  • the present invention can efficiently manage data to stably visualize a large-scale ancient wooden building on a mobile device, and by supplementing the visual completeness, a user can enjoy a satisfactory augmented reality experience by increasing immersion.
  • the data optimization and interface improvement method for realizing augmented reality of a large-scale building in a mobile device is data from an augmented reality-based immersive content experience system for displaying information about the remains of an ancient building using an augmented reality technique.
  • an optimization and interface improvement method it is characterized in that the image of each member constituting the old building is modularized and the same mesh data is instantiated (Instance).
  • the old building is made by the combination of various members, each of these;
  • the members there are members having the same configuration, and by modularizing the images of these members and arranging the modular members to compose the building, the size of the entire image of the old building can be reduced, so that it can be easily expressed on mobile devices. .
  • An object instance is a grouping of objects of similar nature that share properties and methods.
  • the present invention can reduce the graphics processing unit (GPU) operation by reducing draw calls and batch counts by turning a static mesh into a static object in an image of an ancient building.
  • GPU graphics processing unit
  • the present invention manufactures each member at three levels of detail in order to apply LOD (live on demand) showing meshes with different details depending on the distance between the camera and the mesh to produce rendering quality , and the amount of computation can be reduced.
  • LOD live on demand
  • LOD is a method of simply expressing a rendered image based on the idea that the distance between objects and the recognition degree are inversely proportional.
  • a static LOD is applied. (Subset vertex data) is calculated and stored in advance, and then, during rendering, the subset vertex data corresponding to the LOD level value of each terrain is processed, thereby securing a space to store the data in the GPU.
  • the static LOD method is fast because the operation is simple, but there is a disadvantage of popping because the mesh stage changes abruptly according to the distance. You can reduce splashing by adjusting it not to exceed twice the mesh angle.
  • the present invention overrides Bake Light in the image of an old building as a texture.
  • real-time lighting reflects only the direct light in the scene, so the calculation can be reduced, but since the indirect light is not calculated, it cannot produce a natural light source feeling, so the quality looks low.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

본 발명은 PC와 같이 대용량 컴퓨팅 장치가 아니라 휴대용 모바일 기기와 같이 한정된 처리 용량을 갖는 기기에서 대규모 고대목조건축물의 증강현실 구현을 구현할 수 있게 데이터 저작 및 인터페이스 기능을 향상시킬 수 있게한 것으로, 건축물의 구조를 이해하고 리소스를 재활용할 수 있는 모듈단위로 재구성하여 동일한 매쉬(Mesh) 데이터를 사용하여 인스턴스(Instance)화시킴에 의해 공통 매쉬 정보를 사용하기 때문에 리소스 사용을 줄일 수 있게 하였을 뿐만 아니라, LOD(Level of Detail)기술을 활용하여 데이터를 효율적으로 사용할 수 있게 한 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화 및 인터페이스 향상 방법에 관한 것이다.

Description

모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화 및 인터페이스 향상 방법
본 발명은 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화 및 인터페이스 향상 방법에 관한 것으로 상세하게는 PC와 같이 대용량 컴퓨팅 장치가 아니라 휴대용 모바일 기기와 같이 한정된 처리 용량을 갖는 기기에서 대규모 고대목조건축물의 증강현실 구현을 구현할 수 있게 데이터 저작 및 인터페이스 기능을 향상시킬 수 있게 한 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화 및 인터페이스 향상 방법에 관한 것이다.
또한 본 발명은 건축물의 구조를 이해하고 리소스를 재활용할 수 있는 모듈단위로 재구성하여 동일한 매쉬(Mesh) 데이터를 사용하여 인스턴스(Instance)화시킴에 의해 공통 매쉬 정보를 사용하기 때문에 리소스 사용을 줄일 수 있게 함에 따라 모바일 기기에서 대용량 건축물의 증강현실을 구현할 수 있게 한 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화 및 인터페이스 향상 방법에 관한 것이다.
또한 본 발명은 LOD(Level of Detail)기술을 활용하여 데이터를 효율적으로 사용할 수 있게 한 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화 및 인터페이스 향상 방법에 관한 것이다.
증강현실(Augmented Reality, AR)은 현실의 이미지나 배경에 3차원 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술로, 비행기 제조사인 보잉사에서 1990년경 비행기 조립 과정에 가상의 이미지를 첨가하면서 증강현실이 처음으로 세상에 소개됐다.
이러한 증강현실은 다양한 기술 분야에서 사용되고 있으며, 그 예로는 건축 기술이다.
이러한 증강현실 기술을 건축 기술에 사용한 예로 특허문헌 1내지 3이 있다.
특허문헌 1은 증강현실기법을 이용한 건축 구조물 정보 제공 장치에 있어서, 건설 현장(site) 또는 건설 현장에 위치한 건축 구조물의 영상을 수신하는 송수신부, 건설 현장에 건설될 건축 구조물 또는 건설 현장에 위치한 건축 구조물에 대응되는 3D 설계도를 검색하는 설계도 검색부, 및 증강현실기법을 이용하여 검색된 3D 설계도를 건설 현장 또는 건설 현장에 위치한 건축 구조물의 영상에 중첩하는 영상 처리부를 포함하되, 영상 처리부는, 검색된 3D 설계도를 건설 현장 또는 건설 현장에 위치한 건축 구조물의 영상에 대응되도록 리사이징(Resizing)하는 것인 증강현실기법을 이용한 건축 구조물 정보 제공 장치이고,
특허문헌 2는 증강현실을 이용하여 왕릉 내의 유물 정보를 디스플레이하는 방법에 있어서, a) 증강현실 구현을 위한 어플리케이션을 동작시킨 후 사진촬영 모드를 실행하는 단계; b) 어플리케이션을 운용하기 위한 알고리즘이 탑재된 제어장치가 사용자의 사진촬영 모드 진입에 응답하여, 휴대폰의 GPS 및 자이로센서를 기동시키는 단계; c) 제어장치가, 휴대폰의 현재 좌표정보 및 휴대폰이 주시하는 방향정보를 인지하는 단계; d) 휴대폰의 좌표로부터 가장 근접한 왕릉 좌표 및 해당 왕릉에 대한 부가정보를 데이터베이스로부터 추출하는 단계; e) 왕릉 내에 위치한 유물의 좌표정보, 그래픽 정보를 데이터베이스로부터 추출하는 단계; f) 왕릉의 중심좌표와 휴대폰의 현재 좌표를 기반으로 휴대폰과 왕릉의 중심좌표 간의 거리를 산출하는 단계; g) 거리을 반경으로 한 원의 데이터를 추출하고, 추출된 원의 데이터 중 정방(정동, 정서, 정남, 정북)에 위치한 4개의 좌표 데이터를 추출하는 단계; h) 4개의 좌표 데이터 중 왕릉의 중심좌표로부터 가장 근접한 하나의 좌표를 추출하는 단계; i) 좌표와 왕릉 중심좌표, 휴대폰 좌표에 기반하여, 휴대폰의 정방과 왕릉의 중심좌표간의 각도를 산출하는 단계; j) 유물이 위치한 지역을 나타내는 최대직경으로 유물의 범위를 정의하고, 왕릉의 중심좌표를 유물의 범위로 가변시켜 유물의 범위각도를 산출하는 단계; k) 왕릉의 중심좌표의 정방향과 휴대폰의 주사방향을 중심으로 회동 각도를 자이로센서로부터 검출하는 단계; l) 회동 각도가 유물의 범위각도에 존재하는지를 판단하되 판단결과, 회동 각도가 유물의 범위각도에 존재하지 않을 경우, 이는 왕릉을 촬영하기 위한 의도가 없는 것으로 판단하여 a)단계로 피드백하는 단계; m) ㅣ) 단계에서 판단한 결과, 회동 각도 a가 유물의 범위각도에 존재하는 경우, 거리및 휴대폰의 좌표 정보에 대응하는 유물을 증강현실로 디스플레이하는 단계로 이루어지며, 유물에 대한 증강현실은 실제 유물이 놓인 방향과 크기에 대응하여 휴대폰의 위치 및 방향에 따라 유물의 그래픽 크기 및 디스플레이 각도가 변형되는 증강현실을 이용한 왕릉 유물 정보 출력방법이며,
특허문헌 3은 증강현실장비의 화면에 투영된 공간 상에 증강현실을 이용하여 건설공간정보를 디스플레이하는 방법에 있어서, 건설공간정보를 디스플레이하기 위한 위치를 선정하는 단계; 선정된 위치에서 증강현실장비의 화면을 통하여 보이는 현실 공간 상의 특정 영역을 인식하는 단계; 인식된 특정 영역 상에 GIS 정보를 디스플레이하는 단계; 디스플레이된 GIS 정보 상에 BIM (Building Information Modeling) 정보를 이용하여 3D 건물을 시각화하는 단계; 증강현실장비를 통하여 디스플레이된 건설공간정보 상의 특정 위치를 선택하는 단계; 특정 위치에 대한 명령을 수신하는 단계; 및 수신된 명령에 따른 건설공간정보를 디스플레이하는 단계를 포함하며, 특정 명령은 특정 위치로의 이동 명령을 포함하고, 이동 명령은 증강현실장비의 화면 중심에 위치한 커서를 특정 위치에 위치시킨 후 선택 명령을 입력하는 것에 의하여 수행되며, 선택 명령은 증강현실장비의 화면 중심에 위치한 커서를 소정 시간 이상 움직이지 않거나, 증강현실장비에 연결된 클리커를 클릭하거나, 증강현실장비에 설치된 음성 인식 장치에 특정 음성을 인식시키는 것에 의하여 수행되는 증강현실을 이용한 건설공간정보 디스플레이 방법이다.
이와 같이 증강 현실을 이용한 다양한 건축 관련 기술이 개발되고 있으나, 이러한 종래의 위치추적 방식에 기반한 AR 기술들을 이용하고 있고, 종래의 위치추적 방식 AR기술의 경우 GPS좌표를 이용하여 현실세계 좌표 인식에 있어서 오차범위가 M 단위이므로, 재생되는 이미지가 주변환경에 정확하게 위치하지 못하는 문제가 있다.
또한 건축물 모델링과 같은 대용량의 데이터를 모바일 기기와 같은 최종 디스플레이 장비에서 재생되기 전에 대용량 정보를 처리하는 서버를 경유하여 데이터 최적화 과정 등의 정보처리 과정을 거친 후, 최종 디스플레이 장비에서 재생되므로 별도의 장비가 필요하여 사용에 불편함을 주는 문제가 있다.
이러한 단점을 개성하여 본 출원인이 개발한 기술이 특허문헌 4의 기술이다.
특허문헌 4는 위치 정합 기술을 적용하여 마커와 카메라 트래킹의 복합 적용 을 통한 오차 보정 과정을 통해 오차율을 개선하여 보다 현실감 있는 건축 유적의 실감형 콘텐츠 체험할 수 있을 뿐만 아니라, 유물의 실측 데이터를 기반으로 구현된 정확한 스케일의 3D 설계 영상데이터를 모바일 단말기에서 자체적으로 카메라 트래킹 기술을 이용하여 자세(위치, 회전)을 계산하여 정확하게 증강할 수 있으며, 기존의 AR 기술들을 이용한 경우 발생되는 문제 즉, GPS좌표를 이용하여 주변 환경과 정확한 위치정합이 되지 못하고, 관람자에게 사실감을 떨어뜨리게 되는 문제를 해소하고 스마트폰의 카메라, 자이로스코프, 가속도 센서를 통해 현실의 객체와 환경을 인식하여 가상의 객체에 사실감을 줄 수 있도록 구현할 수 있게 한 증강현실 기반 건축 유적의 실감형 콘텐츠 체험시스템이다.
그러나 이러한 기술 즉, 증강현실을 구현하기 위한 기술은 학습(Training), 인식(Detection), 추적(Tracking), 정합(Registration)의 과정을 거치게 되는데, 효율적인 데이터 관리를 하지 않고 무분별하게 리소스를 사용하게 되면 안정적인 환경(frame rate)을 유지하지 못해 체험이 불안정하게 된다.
특히, 모바일 장비는 한정된 메모리와 처리 능력을 갖는 기기로, 안정적인 증강현실 환경을 구현하기 위해 3D리소스의 퀄리티를 낮출 수밖에 없고 이렇게 리소스 퀄리티를 낮추면 사용자의 몰입도를 떨어뜨리는 단점이 있다.
본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위해 개발된 것으로, 모바일 기기와 같이 한정된 처리 용량을 갖는 기기에서 대규모 고대목조건축물의 증강현실 구현을 구현할 수 있도록 건축물의 구조를 이해하고 리소스를 재활용할 수 있는 모듈단위로 재구성하여 동일한 매쉬(Mesh) 데이터를 사용하여 인스턴스(Instance)화시킴에 의해 공통 매쉬 정보를 사용하기 때문에 리소스 사용을 줄일 수 있게 하였을 뿐만 아니라, LOD(Level of Detail)기술을 활용하여 데이터를 효율적으로 사용할 수 있게 한 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화 및 인터페이스 향상 방법을 제공하는 것을 목적으로 한다.
상기와 같은 목적을 해결하기 위한 본 발명에 따른 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화 및 인터페이스 향상 방법은 증강현실 기법을 이용하여 고건축물의 유적 정보를 디스플레이하는 증강현실 기반 건축 유적의 실감형 콘텐츠 체험시스템에서 데이터 최적화 및 인터페이스 향상 방법에 있어서, 고건축물을 구성하는 각 부재를 모듈화하고, 동일한 매쉬(Mesh) 데이터를 인스턴스화(Instance)한 것을 특징으로 하는 한다.
고건축물의 이미지에서 정적 매쉬(Mesh)는 정적오브젝트(Static object)화하여 드로우 콜(Draw calls) 및 배치카운트(Batch Count)를 줄여서 GPU 연산을 줄인ㄴ 것이 바람직하다.
고건축물의 이미지에서 빛은 텍스처(Texture)로 구워(Bake Light) 오버라이드하는 것이 바람직하다.
고전축물의 이미지 중 사용하지 않는 매쉬의 라이트맵(Lightmap)의 UV 스케일(Scale)을 조정한다.
본 발명에 따른 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화 및 인터페이스 향상 방법은 데이터를 효율적으로 관리하여 모바일 장치에서 대규모 고대목조건축물을 안정적으로 시각화 할 수 있고, 시각적 완성도를 보완하여 사용자로 하여금 몰입도를 높여 만족스러운 증강현실 체험을 할 수 있게 하는 효과가 있다.
도 1은 본 발명에 따른 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화 및 인터페이스 향상 방법에서 매쉬 모듈화 전후 비교화면
도 2는 본 발명에 따른 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화 및 인터페이스 향상 방법에서 인스턴스 전후 비교화면
도 3은 본 발명에 따른 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화 및 인터페이스 향상 방법에서 LOD 전후 비교화면
도 4는 본 발명에 따른 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화 및 인터페이스 향상 방법에서 빛을 텍스쳐로 구워 오버라이트한 전후 비교화면
도 5는 본 발명에 따른 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화 및 인터페이스 향상 방법에서 GI연산이미지와 라이트맵설정 조정화면
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고, 상세한 설명을 통해 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 발명은 데이터를 효율적으로 관리하여 모바일 장치에서 대규모 고대목조건축물을 안정적으로 시각화 할 수 있고, 시각적 완성도를 보완하여 사용자로 하여금 몰입도를 높여 만족스러운 증강현실 체험을 할 수 있게 한다.
본 발명에 따른 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화 및 인터페이스 향상 방법은 증강현실 기법을 이용하여 고건축물의 유적 정보를 디스플레이하는 증강현실 기반 건축 유적의 실감형 콘텐츠 체험시스템에서 데이터 최적화 및 인터페이스 향상 방법으로, 고건축물을 구성하는 각 부재들의 이미지를 모듈화하고, 동일한 매쉬(Mesh) 데이터를 인스턴스화(Instance)한 것을 특징으로 한다.
즉, 고건축물은 다양한 부재들의 결합에 의해 이루어지고, 이러한 각각의; 부재들 중에는 동일한 구성을 갖는 부재들이 있으며, 이러한 부재들의 이미지를 모듈화함하고 모듈화된 부재들을 배치하여 건축물을 구성함에 따라 고건축물의 전체 이미지의 크기를 축소하여 모바일 기기에서도 쉽게 표현이 될 수 있는 것이다.
도 1은 부재 이미지의 모듈화 전후의 비교화면으로 표현되는 고건축물 전체의 이미지에는 변화가 없이 동일함을 알수 있다.
또한 동일한 매쉬데이터의 인스턴스화에 따라 전체 고건축물의 데이터를 줄일 수 있다.
도 2는 매쉬데이터의 인스턴스화에 따라 전체 고건축물의 비교화면이다.
객체 인스턴스(object instance)는 속성과 메소드를 공유하는 유사한 성질의 객체들을 하나로 그룹화하는 것이다.
또한 본 발명은 고건축물의 이미지에서 정적 매쉬(Mesh)는 정적오브젝트(Static object)화하여 드로우 콜(Draw calls) 및 배치카운트(Batch Count)를 줄여서 GPU(Graphics Processing Unit) 연산을 줄일 수 있다.
또한 본 발명은 도 3에 도시한 바와 같이, 카메라와 매쉬(Mesh)간 거리에 따라 디테일이 다른 매쉬를 보여주는 LOD(live on demand)를 적용하기 위해 각 부재를 3단계 세부수준으로 제작하여 렌더링 품질을 올리고, 연산량을 줄일 수 있다.
LOD는 물체간의 거리와 인식 정도는 반비례한다는 생각을 바탕으로 랜더링 이미지를 간략하게 표현하는 방법으로 본 발명에서는 정적 LOD를 적용하였고, 정적 LOD는 데이터 폴(Data Pool)에 LOD 단계에 맞는 서브셋 정점 데이터(Subset vertex data)를 미리 계산하여 저장해둔 후 랜더링 시, 각 지형의 LOD 단계 값에 해당하는 subset vertex data를 처리하는 방법으로, GPU에서 데이터를 저장할 공간을 확보할 수 있다.
정적 LOD 방식은 연산이 간단하기 때문에 속도가 빠르지만 거리에 따라 Mesh 단계가 급격하게 변하기 때문에 튀는 현상(popping)이 발생하는 단점이 있음에 따라 이러한 현상을 줄이기 위해 각 단계별 매쉬의 곡률이 이전 단계의 매쉬 각의 두배를 넘지 않도록 조정하여 튀는 현상을 줄일 수 있다.
또한 본 발명은 고건축물의 이미지에서 빛은 텍스처(Texture)로 구워(Bake Light) 오버라이드한다.
이렇게 빛을 텍스쳐로 구워 오버라이드함에 따라 이미지의 렌더링에서 가장 무거운 요소인 조명과 그림자 연산을 줄일 수 있다.
일반적으로 실시간 라이팅은 장면 내 직접 광원(Direct Light)만 반영하여 연산은 줄일수 있지만, 간접광원(Indirect Light)는 연산하지 않기 때문에 자연스러운 광원 느낌을 연출할 수 없어 퀄리티가 낮아보이는 단점이 있다.
라이트맵(Lightmap)을 사용하면 연산을 줄이기도 하지만 전역조명 GI(Global Illumination) 및 AO(Ambient Occlusion) 효과를 더해 시각적 품질을 향상시킬 수 있지만 라이트맵을 생성하게 되면 텍스쳐 사용량이 많아지므로 저장 공간이 많이 소요될 수밖에 없다.
이에 사용하지 않는 오브젝트는 장면에서 삭제하여 리소스 사용을 절감하는 것이 일반적인 방법이지만 이렇게 되면 주변 매쉬의 깨진(Bake) 라이트맵에 GI효과가 나지 않아 이질감이 발생하는 문제가 있다.
이에 사용하지 않는 매쉬의 라이트맵의 UV 스케일(Scale)을 조정함에 의해 우수한 시각적 품질을 유지하고 메모리의 사용을 절감할 수 있다.(도 4 및 도 5 참조)

Claims (4)

  1. 증강현실 기법을 이용하여 고건축물의 유적 정보를 디스플레이하는 증강현실 기반 건축 유적의 실감형 콘텐츠 체험시스템에서 데이터 최적화 및 인터페이스 향상 방법에 있어서,
    고건축물을 구성하는 각 부재를 모듈화하고, 동일한 매쉬(Mesh) 데이터를 인스턴스화(Instance)한 것을 특징으로 하는 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화 및 인터페이스 향상 방법.
  2. 제1항에 있어서,
    고건축물의 이미지에서 정적 매쉬(Mesh)는 정적오브젝트(Static object)화하여 드로우 콜(Draw calls) 및 배치카운트(Batch Count)를 줄여서 GPU 연산을 줄인 것을 특징으로 하는 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화 및 인터페이스 향상 방법.
  3. 제1항에 있어서,
    고건축물의 이미지에서 빛은 텍스처(Texture)로 구워(Bake Light) 오버라이드한 것을 특징으로 하는 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화 및 인터페이스 향상 방법.
  4. 제1항에 있어서,
    고전축물의 이미지 중 사용하지 않는 매쉬의 라이트맵(Lightmap)의 UV 스케일(Scale)을 조정하는 것을 특징으로 하는 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화 및 인터페이스 향상 방법.
PCT/KR2021/010079 2020-08-07 2021-08-02 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화 및 인터페이스 향상 방법 WO2022030918A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21853079.8A EP4195160A4 (en) 2020-08-07 2021-08-02 DATA OPTIMIZATION AND INTERFACE ENHANCEMENT METHOD FOR CREATING LARGE-SCALE BUILDING AUGMENTED REALITY IN A MOBILE DEVICE
JP2022544433A JP7460778B2 (ja) 2020-08-07 2021-08-02 モバイル機器における大規模建築物の拡張現実具現のためのデータ最適化及びインターフェース向上方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0099467 2020-08-07
KR1020200099467A KR102258610B1 (ko) 2020-08-07 2020-08-07 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화에 의한 인터페이스 향상 방법

Publications (1)

Publication Number Publication Date
WO2022030918A1 true WO2022030918A1 (ko) 2022-02-10

Family

ID=76149946

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/010079 WO2022030918A1 (ko) 2020-08-07 2021-08-02 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화 및 인터페이스 향상 방법

Country Status (4)

Country Link
EP (1) EP4195160A4 (ko)
JP (1) JP7460778B2 (ko)
KR (1) KR102258610B1 (ko)
WO (1) WO2022030918A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294251A (zh) * 2022-06-13 2022-11-04 无人智境(北京)技术有限公司 一种海量集装箱批量渲染方法和设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102258610B1 (ko) * 2020-08-07 2021-05-31 대한민국 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화에 의한 인터페이스 향상 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101527545B1 (ko) * 2014-02-27 2015-06-11 성결대학교 산학협력단 휴대 단말기용 게임을 위한 서브 서피스 스캐터링 렌더링 방법
KR20180020725A (ko) * 2016-08-19 2018-02-28 한국전자통신연구원 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법
KR101862948B1 (ko) * 2016-12-29 2018-05-31 ㈜ 한국공학기술연구원 가상 현실 기반의 박물관 컨텐츠 제공 시스템
KR20180097088A (ko) * 2017-02-22 2018-08-30 주식회사 지엔아이씨티 증강 현실을 이용한 관광 안내 장치 및 그 방법
KR20200079009A (ko) * 2018-12-24 2020-07-02 홍익대학교세종캠퍼스산학협력단 Vr 기반의 교육용 콘텐츠 제공 시스템
KR102258610B1 (ko) * 2020-08-07 2021-05-31 대한민국 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화에 의한 인터페이스 향상 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5430999B2 (ja) 2008-03-31 2014-03-05 旭化成ホームズ株式会社 防犯性能評価方法、防犯性能評価システム、および防犯性能評価プログラム
KR101171264B1 (ko) 2010-08-30 2012-08-06 성균관대학교산학협력단 증강현실기법을 이용한 건축 구조물 정보 제공 장치, 건축 구조물 디스플레이 장치 및 이를 이용한 건축 구조물 유지 보수 방법
KR102381945B1 (ko) 2015-11-18 2022-04-01 삼성전자주식회사 그래픽 프로세싱 장치 및 그래픽 프로세싱 장치에서 그래픽스 파이프라인을 수행하는 방법
KR101876499B1 (ko) 2017-02-03 2018-08-02 주식회사 올포랜드 증강현실을 이용한 건설공간정보 디스플레이 방법
KR101874345B1 (ko) 2017-02-08 2018-07-06 (주) 문화상상연구소 증강현실을 이용한 왕릉 유물 정보 출력방법
KR101989969B1 (ko) 2018-10-11 2019-06-19 대한민국 증강현실 기반 건축 유적의 실감형 콘텐츠 체험시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101527545B1 (ko) * 2014-02-27 2015-06-11 성결대학교 산학협력단 휴대 단말기용 게임을 위한 서브 서피스 스캐터링 렌더링 방법
KR20180020725A (ko) * 2016-08-19 2018-02-28 한국전자통신연구원 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법
KR101862948B1 (ko) * 2016-12-29 2018-05-31 ㈜ 한국공학기술연구원 가상 현실 기반의 박물관 컨텐츠 제공 시스템
KR20180097088A (ko) * 2017-02-22 2018-08-30 주식회사 지엔아이씨티 증강 현실을 이용한 관광 안내 장치 및 그 방법
KR20200079009A (ko) * 2018-12-24 2020-07-02 홍익대학교세종캠퍼스산학협력단 Vr 기반의 교육용 콘텐츠 제공 시스템
KR102258610B1 (ko) * 2020-08-07 2021-05-31 대한민국 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화에 의한 인터페이스 향상 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4195160A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294251A (zh) * 2022-06-13 2022-11-04 无人智境(北京)技术有限公司 一种海量集装箱批量渲染方法和设备

Also Published As

Publication number Publication date
EP4195160A1 (en) 2023-06-14
EP4195160A4 (en) 2024-02-21
JP2023525945A (ja) 2023-06-20
JP7460778B2 (ja) 2024-04-02
KR102258610B1 (ko) 2021-05-31

Similar Documents

Publication Publication Date Title
CN108351864B (zh) 成凹几何密铺
WO2022030918A1 (ko) 모바일 기기에서의 대규모 건축물의 증강현실 구현을 위한 데이터 최적화 및 인터페이스 향상 방법
KR101041723B1 (ko) 3차원 비디오게임 시스템
US9717988B2 (en) Rendering system, rendering server, control method thereof, program, and recording medium
US20100066866A1 (en) Apparatus and method for reducing popping artifacts for multi-level level-of-detail terrains
US8031210B2 (en) Method and apparatus for creating a composite image
CN107168534B (zh) 一种基于cave系统的渲染优化方法及投影方法
JP2022511273A (ja) 拡張現実または仮想現実のシーンにおけるオブジェクトの表現の生成および修正
TW201907270A (zh) 針對虛擬實境漫步式的掃視重新定向
CN107784683A (zh) 四边形化的分层深度图像
CN114494559A (zh) 一种基于多gpu协同的三维渲染融合方法、系统、介质
CN112562056A (zh) 虚拟演播室中虚拟灯光的控制方法、装置、介质与设备
CN114359458A (zh) 一种图像渲染方法、装置、设备、存储介质及程序产品
CN114764840A (zh) 图像渲染方法、装置、设备和存储介质
WO2023202254A1 (zh) 图像渲染方法、装置、电子设备、计算机可读存储介质及计算机程序产品
CN114067035A (zh) 渲染控制方法、设备以及系统
CN115619986B (zh) 场景漫游方法、装置、设备和介质
US5880734A (en) Peripheral vision simulator for immersive 3D virtual environments
CN115970275A (zh) 虚拟对象的投影处理方法、装置、存储介质与电子设备
CN109934734A (zh) 一种基于增强现实技术的旅游景点体验方法及系统
Tao A VR/AR-based display system for arts and crafts museum
US11935184B2 (en) Integration of ambient light into graphics objects in a three-dimensional space
US11651529B2 (en) Image processing method, apparatus, electronic device and computer readable storage medium
WO2023165198A1 (zh) 图像渲染方法、装置、电子设备、计算机可读存储介质及计算机程序产品
CN115526976A (zh) 虚拟场景渲染方法、装置、存储介质和电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21853079

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022544433

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021853079

Country of ref document: EP

Effective date: 20230307