KR102132388B1 - 혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리방법 및 그에 따른 시스템 - Google Patents

혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리방법 및 그에 따른 시스템 Download PDF

Info

Publication number
KR102132388B1
KR102132388B1 KR1020180168720A KR20180168720A KR102132388B1 KR 102132388 B1 KR102132388 B1 KR 102132388B1 KR 1020180168720 A KR1020180168720 A KR 1020180168720A KR 20180168720 A KR20180168720 A KR 20180168720A KR 102132388 B1 KR102132388 B1 KR 102132388B1
Authority
KR
South Korea
Prior art keywords
virtual object
mixed reality
reality service
diffuse reflection
image processing
Prior art date
Application number
KR1020180168720A
Other languages
English (en)
Other versions
KR20200079120A (ko
Inventor
임인성
서웅
정혜빈
주예슬
윤제형
Original Assignee
서강대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교 산학협력단 filed Critical 서강대학교 산학협력단
Priority to KR1020180168720A priority Critical patent/KR102132388B1/ko
Publication of KR20200079120A publication Critical patent/KR20200079120A/ko
Application granted granted Critical
Publication of KR102132388B1 publication Critical patent/KR102132388B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명에 따르는 혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리방법은, PC가, 360도 카메라 장치를 통해 실시간으로 주변 환경을 촬상하고, 그에 따른 촬상정보 중 일부를 광원들로 결정하고, 그 광원들 각각에 대한 색상정보와 가상 물체의 법선 벡터를 이용하여 난반사 테이블을 생성하고, 상기 난반사 테이블을 혼합 현실 서비스 장치로 전송하는 단계; 및 상기 혼합 현실 서비스 장치가, 상기 난반사 테이블에 따라 상기 가상 물체를 렌더링하는 단계;를 구비하며, 상기 촬상정보 중 일부는 주변환경을 상기 360도 카메라 장치로 촬상한 이미지로 형성한 구를 균일하게 샘플링한 지점들임을 특징으로 한다.

Description

혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리방법 및 그에 따른 시스템{virtual object image processing method and system for mixed reality service}
본 발명은 3차원 그래픽스 프로그래밍 방법에 관한 것으로서, 더욱 구체적으로는 혼합 현실(mixed reality, MR) 서비스를 위한 가상 물체에 대한 이미지를 적은 데이터 전송량과 처리량으로 현실 세계의 주변 환경에 대응되게 렌더링하는 혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리방법 및 그에 따른 시스템에 관한 것이다.
최근 다양한 종류의 HMD(Head Mounted Display)가 개발되면서 증강 현실(Augmented Reality)과 가상 현실(Virtual Reality) 그리고 혼합 현실(Mixed Reality) 응용 기술에 대한 관심이 높아지고 있다.
이러한 기술에 기반을 두어 응용 소프트웨어를 개발할 때, 실제 주변 환경에 대한 고려없이 가상 물체를 현실 공간에 띄우는 기존의 증강 현실 기술은 종종 현실 세계와의 이질감을 느끼게 하였다. 이는 현실 세계의 주변 환경과 상관없이 가상 물체에 조명 효과를 부여하기 때문이었다.
도 1은 현실 세계의 주변 환경과 상관없이 가상 물체에 조명 효과가 부여된 경우를 예시한 것으로, 도 1의 (a)는 밝은 환경에서 밝게 표현된 가상 물체인 소화기를 나타낸 것으로, 가상 물체와 주변 환경의 밝기가 비슷하여 가상 물체에 대한 이질감이 낮은 편이다. 그리고 도 1의 (b)는 어두운 환경에서 밝게 표현된 가상 물체인 소화기를 나타낸 것이다으로, 가상 물체와 주변 환경의 밝기가 서로 상이하여 가상 물체에 대한 이질감이 큰 편이다. 이와 같이 가상 물체의 조명 효과가 현실 세계의 주변 환경과 상이한 경우에는 가상 물체에 대한 이질감이 두드러지게 드러났다.
이러한 문제를 해소하기 위해 현실 세계의 주변 환경에 따라 가상 물체를 다시 렌더링하기도 하였으며, 이러한 기술로는 대한민국 특허청에 특허공개된 제1020180080618호가 있다.
이는 광원의 밝기, 컬러, 스펙트럼 분포 및 발광 분포를 포함하는 주변 환경 정보를 획득하는 단계; 상기 주변 환경 정보로부터의 가상 현실 또는 증강 현실에 사용되는 카메라의 입출력 특성 정보를 토대로 상기 주변 환경 정보에 대응하는 광원의 기하 위치 및 특성을 분석하는 단계; 상기 광원의 기하 위치 및 특성 분석에 따른 조명 컬러 특성에 대응하는 3D 콘텐츠 데이터를 데이터베이스에서 선택하는 단계; 상기 카메라 입출력 특성에 기초하여 주변 밝기에 따른 카메라 및 디스플레이의 컬러를 보정하는 단계; 및 상기 광원의 기하 위치 및 특성과, 상기 3D 콘텐츠 데이터와 상기 보정된 컬러에 기초하여 선택된 이미지에 대하여 증강현실 실감 렌더링을 수행하는 단계를 포함하는 렌더링 방법을 개시한다.
상기한 바와 같이 종래에는 현실 세계의 주변 환경에 따라 가상 물체에 대한 이미지를 랜더링하는 기술을 개시하고 있으나, 이러한 고급 렌더링 기법은 데이터 처리량이 많아 비교적 낮은 성능의 프로세서가 탑재된 혼합 현실 서비스 장치에서는 실시간으로 적용하기가 어려운 문제가 있었다.
이에 종래에는 비교적 낮은 성능의 프로세서가 탑재된 혼합 현실 서비스 장치에서도 현실 세계의 주변 환경에 따라 가상 물체를 실시간으로 렌더링할 수 있게 하는 기술의 개발이 절실하게 요망되었다.
한국특허공개 제1020180080618호 한국특허공개 제1020180088319호 한국특허공개 제1020180062328호
본 발명은 혼합 현실(mixed reality, MR) 서비스를 위한 가상 물체에 대한 이미지를 적은 데이터 전송량과 처리량으로 현실 세계의 주변 환경에 대응되게 렌더링하는 혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리방법 및 그에 따른 시스템을 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명에 따르는 혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리방법은, PC가, 360도 카메라 장치를 통해 실시간으로 주변 환경을 촬상하고, 그에 따른 촬상정보 중 일부를 광원들로 결정하고, 그 광원들 각각에 대한 색상정보와 가상 물체의 법선 벡터를 이용하여 난반사 테이블을 생성하고, 상기 난반사 테이블을 혼합 현실 서비스 장치로 전송하는 단계; 및 상기 혼합 현실 서비스 장치가, 상기 난반사 테이블에 따라 상기 가상 물체를 렌더링하는 단계;를 구비하며, 상기 촬상정보 중 일부는 주변환경을 상기 360도 카메라 장치로 촬상한 이미지로 형성한 구를 균일하게 샘플링한 지점들임을 특징으로 한다.
상기한 본 발명은 혼합 현실(mixed reality, MR) 서비스를 위한 가상 물체에 대한 이미지를 적은 데이터 전송량과 처리량으로 현실 세계의 주변 환경에 대응되게 렌더링하여, 비교적 낮은 성능의 프로세서가 탑재된 혼합 현실 서비스 장치에서도 실시간으로 주변 환경이 반영되는 듯한 몰입감 높은 혼합 현실 서비스를 제공할 수 있게 하는 효과를 야기한다.
도 1은 종래 기술에 따르는 혼합 현실 서비스를 예시한 도면.
도 2는 본 발명의 바람직한 실시예에 따르는 혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리 시스템의 구성도.
도 3은 본 발명의 바람직한 실시예에 따르는 혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리 방법의 절차도.
도 4는 본 발명의 바람직한 실시예에 따라 360도 카메라를 통해 실시간으로 촬상된 주변 환경 영상을 예시한 도면.
도 5는 본 발명의 바람직한 실시예에 따라 주변 환경 영상으로 형성한 구의 표면 중 샘플링 지점을 예시한 도면.
도 6은 본 발명의 바람직한 실시예에 따르는 혼합 현실 서비스를 위한 가상 물체에 대한 이미지를 도시한 도면.
본 발명은 혼합 현실(mixed reality, MR) 서비스를 위한 가상 물체에 대한 이미지를 적은 데이터 전송량과 처리량으로 현실 세계의 주변 환경에 대응되게 렌더링하여, 비교적 낮은 성능의 프로세서가 탑재된 혼합 현실 서비스 장치에서도 실시간으로 주변 환경이 반영되는 듯한 몰입감 높은 혼합 현실 서비스를 제공할 수 있게 한다.
<혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리 시스템의 구성>
이러한 본 발명의 바람직한 실시예에 따르는 혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리 시스템의 구성을 도 2를 참조하여 설명한다.
상기 혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리 시스템은 비교적 낮은 성능의 프로세서가 탑재된 혼합 현실 서비스 장치인 홀로렌즈 기기(100)와 PC(200)로 구성된다.
상기 홀로렌즈 기기(100)는 제어장치(102)와 메모리부(104)와 사용자 인터페이스부(108)와 디스플레이장치(110)와 통신부(112)로 구성된다.
상기 제어장치(102)는 혼합 현실 서비스를 제공하기 위해 상기 홀로렌즈 기기(100)의 각부를 제어한다. 특히 상기 제어장치(102)는 본 발명의 바람직한 실시예에 따라 PC(200)로부터 난반사 테이블 정보를 제공받아 가상 물체의 렌더링시에 사용한다.
상기 메모리부(104)는 상기 제어장치(102)의 제어프로그램을 포함하는 다양한 정보를 저장한다.
상기 사용자 인터페이스부(108)는 사용자와 상기 제어장치(102) 사이의 인터페이스를 담당하며, 상기 사용자가 입력하는 각종 정보를 상기 제어장치(102)에 제공한다.
상기 디스플레이 장치(110)는 상기 제어장치(102)의 제어에 따른 이미지를 출력하여 사용자에게 혼합 현실 서비스를 출력한다.
상기 통신부(112)는 호스트인 PC(200)와 상기 제어장치(102) 사이의 통신을 담당하여, 상기 PC(200)로부터 제공되는 난반사 테이블 정보를 상기 제어장치(102)에 제공한다. 여기서 상기 제어장치(102)와 PC(200) 사이에는 전용 통신로가 부여될 수 있다.
상기 PC(200)는 본 발명의 바람직한 실시예에 따라 혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리를 이행한다.
상기 PC(200)는 제어장치(202)와 메모리부(204)와 사용자 인터페이스부(212)와 디스플레이장치(214)와 360도 카메라 장치(206)와 이미지 캡쳐부(208)와 통신부(210)로 구성된다.
상기 제어장치(202)는 본 발명의 바람직한 실시예에 따라 현실 세계에서의 주변 환경을 촬상하여 생성한 이미지 캡쳐정보를 처리하여 난반사 테이블 정보를 생성하여 상기 홀로렌즈 기기(100)로 제공한다.
상기 메모리부(204)는 상기 제어장치(202)의 제어 프로그램을 포함하는 다양한 정보를 저장한다.
상기 360도 카메라 장치(206)는 현실 세계에서의 주변 환경을 검출하기 위한 것으로, 360도 카메라인 RICOH THETA S를 채용한다. 이는 본체 양쪽에 두 개의 어안렌즈가 탑재되어 있으며 HDMI 포트를 이용하여 1920*1080의 해상도와 30fps의 프레임 속도의 라이브 스트리밍을 제공한다.
상기 이미지 캡쳐부(208)는 상기 360도 카메라 장치(206)가 스트리밍하는 매 프레임 이미지를 캡쳐하여 상기 제어장치(202)에 제공하며, BLACKMAGIC INTENSITY PRO 4K 캡쳐보드를 채용한다. 도 4는 상기한 360도 카메라 장치(206)와 이미지 캡쳐부(208)를 통해 캡쳐한 이미지를 예시한 것으로, 두 개의 어안렌즈를 통해 주변 환경 전제가 촬영됨이 나타나 있다.
상기 통신부(210)는 상기 제어장치(202)와 상기 홀로렌즈 기기(100) 사이의 통신을 담당한다.
상기 사용자 인터페이스부(212)는 사용자와 상기 제어장치(202) 사이의 인터페이스를 담당하며, 특히 상기 사용자로부터 제공되는 각종 정보를 상기 제어장치(202)로 제공한다.
상기 디스플레이장치(214)는 상기 제어장치(202)의 제어에 따르는 정보를 표시하여 사용자에게 안내한다.
<혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리 방법의 절차>
이제 상기한 혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리 시스템에 적용 가능한 이미지 처리 방법의 절차를 도 3을 참조하여 설명한다.
상기 PC(200)의 제어장치(202)는 가상 물체의 렌더링이 요청되면, 360도 카메라 장치(206)를 구동하여 360도 촬상을 이행하고, 이 촬상에 따른 360도 촬상정보를 이미지 캡쳐부(208)를 통해 캡쳐한다(300,302단계).
상기 PC(200)의 제어장치(202)는 상기 360도 촬상정보를 제공받아 난반사 테이블을 계산하고 상기 홀로렌즈 기기(100)의 제어장치(102)로 제공한다(304단계).
상기 홀로렌즈 기기(100)는 가상 물체의 텍스쳐를 난반사 테이블 값을 토대로 렌더링 색상을 결정하는 퐁 쉐이딩 기반의 렌더링을 수행한다(306단계).
<난반사 테이블 생성과정>
이러한 본 발명의 바람직한 실시예에 따라 난반사 테이블을 생성하는 과정을 좀더 상세하게 설명한다.
상기의 PC(200)의 제어장치(202)는 이미지 캡쳐부(208)를 통해 캡쳐된 이미지를 이용하여 난반사 테이블을 생성하는 역할을 이행한다.
먼저, 360도 카메라 장치(206)로 촬영된 원(RAW) 이미지는 두 개의 어안레즈로 촬영되므로 도 4와 같이 두 개의 원 형태를 가지며, 각 어안렌즈는 화각이 180도 이상이다. 이에 PC(200)의 제어장치(202)는 원의 중점으로부터 화각 180도까지의 픽셀만을 추출하여 사용한다.
퐁 쉐이딩 랜더링 모델에서 난반사는 가상 물체의 난반사 계수와 광원의 색상 그리고 물체의 법선 벡터와 광원의 방향을 나타내는 벡터의 내적값을 곱으로 표현된다. 이에 가상 물체와 주변 광원의 상호작용을 고려하여 360도 카메라 장치(206)를 통해 생성되는 이미지를 주변 광원으로 가정하고 모든 광원에 대해서 난반사 계산을 한다. 이는 매우 연산량이 많이 필요하므로, 본 발명에서는 연산량을 줄이기 위해 구 형태의 이미지를 피보나치 샘플링을 통해 1024개의 지점으로 균일하게 샘플링하고 샘플링된 지점의 색상을 난반사 계산에 적용한다.
도 5는 본 발명에 따라 구 표면에 피보나치 샘플링 위치를 나타낸 것으로, 주변 광원의 색상은 1024개로 샘플링된 지점의 색상이 된다.
이를 난반사 계산에 적용하면 물체의 법선 벡터와의 1024번의 내적 계산이 필요하므로, 이 또한 저성능의 홀로렌즈 기기(100)에서 수행하기에는 연산량이 많으므로 PC(200)에서 샘플링된 모든 법선 벡터에 대해 내적 계산을 진행한 후에 이 결과를 테이블 형태로 홀로렌즈 기기(100)에 전송한다. 이 테이블을 난반사 테이블이라 칭한다.
여기서, 법선벡터는 8192(=213)개의 방향을 사용하도록 샘플링하여, 최종적으로 수학식 1과 같은 형태이며, 상기 PC(200)에서는 매 프레임 법선벡터 8192개와 샘플링된 환경 맵 1024개와 내적계산과 광원 색상에 대한 곱하기 연산을 수행한다.
Figure 112018129979730-pat00001
최종적으로 생성된 난반사 테이블은 샘플링된 법선벡터마다 모든 광원과의 내적 연산을 통해 누적된 색상값으로 구성되며, 8192*3(rgb)=24kb 용량의 데이터가 된다. 상기 PC(200)는 매 프레임마다 홀로렌즈 기기(100)로 전송하고 홀로렌즈 기기(100)에서는 해당 데이터를 텍스쳐에 저장하여 렌더링시에 쉐이더에서 빠르게 접근할 수 있게 한다.
특히 상기 홀로렌즈 기기(100)는 렌더링되는 가상의 물체가 부드러운 표면을 가지는 곡면인 경우에는 픽셀 쉐이더에서 색상을 계산할 경우에 8192개로 샘플링된 법선 벡터의 샘플링 수가 부족하여 에일리어싱 현상이 발생한다. 따라서 홀로렌즈 기기(100)에서 렌더링시 정점 쉐이더에서 각 정점 기준으로 법선 벡터에 의한 색상을 계산하고, 이는 쉐이더 파이프라인을 거치면서 픽셀 쉐이더 수행시 보간된 색상을 사용하기 때문에 에일리어싱 현상이 해결된다. 상기 정점 쉐이더에서는 수학식 2에 따라 각 정점에서의 난반사 색상을 계산한다.
Figure 112018129979730-pat00002
본 발명의 혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리방법에 따른 효과를 확인하기 위해 본 출원인은 Intel i7 8700K CPU와 16GB의 메인 메모리가 탑재된 PC를 사용하여 매 프레임 난반사 테이블을 계산하였으며 그 시간은 약 50ms로 측정되었다. 이는 CPU 멀티 코어를 활용해 성능 개선이 가능하다.
도 1과 도 6은 난반사 테이블의 효과를 확인하기 위해 가상 물체인 소화기를 렌더링한 결과를 도시한 것으로, 도 1은 주변 환경이 반영되지 않아 조명이 어두워진다고 해도 렌더링 결과에는 변화가 없는 종래의 상태를 나타내고 있다. 그러나 도 6은 본 발명에 따라 주변 환경이 어두워지는 경우에 가상의 물체도 이에 따라 함께 변화하는 것을 나타낸다.
이와 같이 본 발명은 홀로렌즈 기기에서 효과적인 혼합현실 렌더링을 위한 환경매핑 기반의 렌더링 방법을 제안하였다. 즉 360도 카메라를 활용하여 실시간으로 주변을 촬영하고 이를 렌더링에 반영하되 저성능의 프로세서가 탑재된 홀로렌즈 기기의 특성을 고려하여 연산량을 감소시켰다. 이는 물리적으로 정확하지는 않지만, 홀로렌즈 기기 상에서 가상 물체를 현실 세계에 렌더링할 때 마치 실시간으로 주변 환경이 반영되는 듯한 몰입감이 높은 사용자 경험을 얻을 수 있게 한다. 이러한 본 발명은 향후 홀로렌즈 기기뿐만 아니라 다양한 HMD(Head Mounted Display)에서 활용이 가능할 것으로 기대된다.
이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나, 이는 단지 예시일뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 혼합 현실(mixed reality, MR) 서비스를 위한 가상 물체에 대한 이미지를 적은 데이터 전송량과 처리량으로 현실 세계의 주변 환경에 대응되게 렌더링하여, 비교적 낮은 성능의 프로세서가 탑재된 혼합 현실 서비스 장치에서도 실시간으로 주변 환경이 반영되는 듯한 몰입감 높은 혼합 현실 서비스를 제공할 수 있게 하여, 향후 다양한 증강현실 및 가상현실을 구현하는 기기에서 혼합현실 이미지를 생성하는데 널리 사용될 수 있다.

Claims (6)

  1. 혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리방법에 있어서,
    PC가, 360도 카메라 장치를 통해 실시간으로 주변 환경을 촬상하고, 그에 따른 촬상정보 중 일부를 광원들로 결정하고, 그 광원들 각각에 대한 색상 정보와 가상 물체의 법선 벡터를 이용하여 난반사 테이블을 생성하고, 상기 난반사 테이블을 혼합 현실 서비스 장치로 전송하는 단계; 및
    상기 혼합 현실 서비스 장치가, 상기 난반사 테이블에 따라 상기 가상 물체를 렌더링하는 단계;를 구비하며,
    상기 난반사 테이블은 가상 물체로부터 샘플링된 법선 벡터마다 모든 광원과의 내적 연산을 통해 누적된 색상값을 가지며 수학식 3에 따라 결정되는 것을 특징으로 하며,
    상기 촬상정보 중 일부는 주변환경을 상기 360도 카메라 장치로 촬상한 이미지로 형성한 구를 균일하게 샘플링한 지점들임을 특징으로 하는 혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리방법.
    수학식 3
    Figure 112020028772181-pat00013
  2. 삭제
  3. 제1항에 있어서,
    상기 혼합 현실 서비스 장치가
    렌더링되는 가상물체의 표면이 곡면인 경우에는 정점 쉐이더에서 정점 기준으로 법선 벡터에 의한 색상을 수학식 4에 따라 계산함을 특징으로 하는 혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리 방법.
    수학식 4
    Figure 112018129979730-pat00004
  4. 혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리 시스템에 있어서,
    외부로부터 제공되는 난반사 테이블에 따라 가상 물체를 렌더링하는 혼합 현실 서비스 장치; 및
    360도 카메라 장치를 통해 실시간으로 주변 환경을 촬상하고, 그에 따른 촬상정보 중 일부를 광원들로 결정하고, 그 광원들 각각에 대한 색상정보와 가상 물체의 법선 벡터를 이용하여 난반사 테이블을 계산하여 상기 혼합 현실 서비스 장치로 전송하는 PC;를 구비하며,
    상기 난반사 테이블은 가상 물체로부터 샘플링된 법선 벡터마다 모든 광원과의 내적 연산을 통해 누적된 색상값을 가지며 수학식 5에 따라 결정되는 것을 특징으로 하며,
    상기 촬상정보 중 일부는 주변환경을 상기 360도 카메라 장치로 촬상한 이미지로 형성한 구를 균일하게 샘플링한 지점들임을 특징으로 하는 혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리 시스템.
    수학식 5
    Figure 112020028772181-pat00014
  5. 삭제
  6. 제4항에 있어서,
    상기 혼합 현실 서비스 장치가,
    렌더링되는 가상물체의 표면이 곡면인 경우에는 정점 쉐이더에서 정점 기준으로 법선 벡터에 의한 색상을 수학식 6에 따라 계산함을 특징으로 하는 혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리 시스템.
    수학식 6
    Figure 112018129979730-pat00006
KR1020180168720A 2018-12-24 2018-12-24 혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리방법 및 그에 따른 시스템 KR102132388B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180168720A KR102132388B1 (ko) 2018-12-24 2018-12-24 혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리방법 및 그에 따른 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180168720A KR102132388B1 (ko) 2018-12-24 2018-12-24 혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리방법 및 그에 따른 시스템

Publications (2)

Publication Number Publication Date
KR20200079120A KR20200079120A (ko) 2020-07-02
KR102132388B1 true KR102132388B1 (ko) 2020-07-09

Family

ID=71599380

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180168720A KR102132388B1 (ko) 2018-12-24 2018-12-24 혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리방법 및 그에 따른 시스템

Country Status (1)

Country Link
KR (1) KR102132388B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010079932A (ja) * 2003-03-06 2010-04-08 Digital Media Professional:Kk 光反射強度計算回路

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101904314B1 (ko) 2016-11-15 2018-10-04 모테가 이노베이티브 인크 증강현실형 hmd를 이용한 전자 다트 서비스 제공방법
KR20180080618A (ko) 2017-01-04 2018-07-12 한국전자통신연구원 증강현실 기반 실감 렌더링 방법 및 장치
US20200086219A1 (en) 2017-01-26 2020-03-19 Lotuseco Co Ltd Augmented reality-based sports game simulation system and method thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010079932A (ja) * 2003-03-06 2010-04-08 Digital Media Professional:Kk 光反射強度計算回路

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Marques et al. Spherical Fibonacci point sets for illumination integrals. CGF, 2013년, pp. 134-143. 1부.*
Rhee et al. Mr360 Mixed reality rendering for 360 panoramic videos. IEEE TVCG, 2017년, pp. 1379-1388. 1부.*

Also Published As

Publication number Publication date
KR20200079120A (ko) 2020-07-02

Similar Documents

Publication Publication Date Title
US10665011B1 (en) Dynamically estimating lighting parameters for positions within augmented-reality scenes based on global and local features
JP7007348B2 (ja) 画像処理装置
CN110148204B (zh) 用于在真实环境的视图中表示虚拟对象的方法和系统
US9854176B2 (en) Dynamic lighting capture and reconstruction
US10614619B2 (en) Graphics processing systems
KR101885090B1 (ko) 영상 처리 장치, 조명 처리 장치 및 그 방법
US11954169B2 (en) Interactive path tracing on the web
US10909659B2 (en) Super-resolution image processing using a machine learning system
US9183654B2 (en) Live editing and integrated control of image-based lighting of 3D models
US20230368459A1 (en) Systems and methods for rendering virtual objects using editable light-source parameter estimation
CN110084873B (zh) 用于渲染三维模型的方法和装置
CN112819941A (zh) 渲染水体面的方法、装置、设备和计算机可读存储介质
Madsen et al. A scalable GPU-based approach to shading and shadowing for photo-realistic real-time augmented reality
CN109427089B (zh) 基于环境光照条件的混合现实对象呈现
KR102132388B1 (ko) 혼합 현실 서비스를 위한 가상 물체에 대한 이미지 처리방법 및 그에 따른 시스템
US20230103814A1 (en) Image Processing Systems and Methods
Schwandt et al. Glossy reflections for mixed reality environments on mobile devices
Liu et al. Real-time lighting estimation for augmented reality via differentiable screen-space rendering
CN116758208A (zh) 全局光照渲染方法、装置、存储介质及电子设备
KR20180080618A (ko) 증강현실 기반 실감 렌더링 방법 및 장치
Korn et al. Interactive augmentation of live images using a hdr stereo camera
Heymann et al. Illumination reconstruction from real-time video for interactive augmented reality
Porral et al. Iso photographic rendering
US11804004B1 (en) Systems and methods for prioritized rendering and streaming based on risk maps that predict change in a three-dimensional environment
US20240135645A1 (en) Appearance Capture

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right