KR101359011B1 - 지구 환경 3차원 가시화 시스템 - Google Patents

지구 환경 3차원 가시화 시스템 Download PDF

Info

Publication number
KR101359011B1
KR101359011B1 KR1020130161309A KR20130161309A KR101359011B1 KR 101359011 B1 KR101359011 B1 KR 101359011B1 KR 1020130161309 A KR1020130161309 A KR 1020130161309A KR 20130161309 A KR20130161309 A KR 20130161309A KR 101359011 B1 KR101359011 B1 KR 101359011B1
Authority
KR
South Korea
Prior art keywords
image
unit
spherical
image data
main server
Prior art date
Application number
KR1020130161309A
Other languages
English (en)
Inventor
임숭곤
Original Assignee
(주)미디어스페이스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)미디어스페이스 filed Critical (주)미디어스페이스
Priority to KR1020130161309A priority Critical patent/KR101359011B1/ko
Application granted granted Critical
Publication of KR101359011B1 publication Critical patent/KR101359011B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/54—Accessories
    • G03B21/56—Projection screens
    • G03B21/60—Projection screens characterised by the nature of the surface
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/142—Adjusting of projection optics

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일 실시예는 지구 환경 3차원 가시화 시스템에 관한 것으로, 해결하고자 하는 기술적 과제는 인공위성에서 촬영한 지구 환경 변화 영상을 3D 구체에 표출하여 실체의 구체를 보는 것과 같은 영상 효과를 얻을 수 있게 하는데 있다.
이를 위해 본 발명의 일 실시예는 인공 위성에 촬영한 지구 환경 변화에 대한 영상 데이터를 저장하고, 상기 영상 데이터를 분류(Category), 개체(Entity), 속성(Attribute) 별로 분류하며, 상기 영상 데이터를 분할, 왜곡, 렌더링 및 소프트 엣지 처리하여 구면 표시 장치로 전송하는 메인 서버; 및 복수 개의 프로젝터를 구비하여 상기 메인 서버로부터 전송된 영상 데이터를 구체 표면에 분할 투사하는 구면 표시 장치를 포함하는 지구 환경 3차원 가시화 시스템을 개시한다.

Description

지구 환경 3차원 가시화 시스템{3-DIMENSIONAL VISUALIZATION SYSTEM FOR DISPLAYING EARTH ENVIRONMENT IMAGE}
본 발명의 일 실시예는 인공위성에서 촬영한 지구 환경 변화 영상을 3D 구체에 실시간 표출하는 지구 환경 3차원 가시화 시스템에 관한 것이다.
일반적인 영상표시장치는 사각형의 디스플레이로 구현되는 2차원 평면 영역에 영상을 표시하는 형태이다.
이러한 종래기술의 영상표시장치는 표시영역이 사각형으로 정해져 있는 것에 의해, 지구의 대기, 해양, 육지의 자연현상들을 표시하고자 하는 경우 지구 전체의 영상을 동시에 표시하지 못하고, 항상 4각형 평면상에 투영되는 면만을 표시할 수밖에 없는 영상 표시의 제약을 가진다.
이러한 전체적인 화면 표시의 제약을 극복하고 교육 또는 가상 현실감을 증가시키기 위하여 천장 면을 오목 구면으로 형성하여 오목 면에 영상을 투사하는 것에 의해 360도 영상을 구현하는 파노라마 영상장치 및 파노라마 영상 홀 등이 제공되었다.
상기 파노라마 영상은 시청자 또는 교육 대상자의 외부 환경 전체를 감싸면서 영상을 표시하게 되므로 우주모습을 보여 주는 등 시청자가 화상의 중심에 위치하게 되는 영상의 표시시에 시청자 또는 교육대상자가 실제 환경의 중심에 위치하는 것과 같은 효과를 제공함으로써, 평면 영상 장치가 가지는 360도 영상을 표시하지 못하는 제약을 극복하고, 우주 분야, 가상 체험 등의 분야에서는 영상의 구현 효과를 극대화시키는 이점을 제공하였다.
그러나 상술한 파노라마 영상장치는 지구표면과 같은 구면을 가지는 대상물에 대한 영상을 표시하는 것이 어렵고, 지구 전체를 실제로 보고 있는 것과 같은 영상효과를 얻지 못하는 문제점을 가진다.
즉, 파노라마 영상장치의 경우 지구와 같은 구면체의 영상을 출력하는 때에는 영상 표시 효과 면에서 실제와 다르게 되는 제약을 가진다.
등록특허공보 제10-1104827호 '지구환경 3차원 구면영상 표시장치' 공개특허공보 제10-2013-0035128호 '지구환경 관측자료에 대한 자료제공시스템 및 지구환경 관측자료에 대한 자료제공방법'
본 발명의 일 실시예는 인공위성에서 촬영한 지구 환경 변화 영상을 3D 구체에 표출하여 실체의 구체를 보는 것과 같은 영상 효과를 얻을 수 있는 지구 환경 3차원 가시화 시스템을 제공한다.
본 발명의 일 실시예에 의한 지구 환경 3차원 가시화 시스템은 인공 위성에서 촬영한 지구 환경 변화에 대한 영상 데이터를 저장하고, 상기 영상 데이터를 분류(Category), 개체(Entity), 속성(Attribute) 별로 분류하며, 상기 영상 데이터를 분할, 왜곡, 렌더링 및 소프트 엣지 처리하여 구면 표시 장치로 전송하는 메인 서버; 및 복수 개의 프로젝터를 구비하여 상기 메인 서버로부터 전송된 영상 데이터를 구체 표면에 분할 투사하는 구면 표시 장치를 포함할 수 있다.
상기 메인 서버는 구면을 감쌀 수 있는 지구 환경 변화에 대한 직사각형의 영상 데이터를 적어도 하나의 영상으로 분할하여 구면으로 왜곡시키는 구면 왜곡부; 상기 구면 왜곡부에 의하여 왜곡된 영상을 가상의 구체에 실시간으로 렌더링하는 렌더링부; 및 상기 렌더링된 영상에서 상기 분할된 영상 간에 중첩되는 부분의 영상의 휘도를 중첩되지 않는 부분의 휘도와 같도록 소프트 엣지 처리하는 휘도 조절부를 포함할 수 있다.
상기 구면 왜곡부는 직사각형의 영상 데이터를 동일한 크기의 작은 영역으로 분할하여 사용자가 원하는 영역의 영상을 왜곡할 수 있다.
상기 구면 왜곡부는 상기 직사각형의 영상 데이터에서 정방형의 지도의 위도와 경도를 표준 좌표값으로 변환하고, 상기 변환된 표준 좌표값을 이용하여 3차원 영상으로 매핑하는 매핑부; 및 상기 3차원 영상으로 매핑시 발생하는 계단현상을 밉맵을 이용하여 보정하는 계단현상 보정부를 포함할 수 있다.
상기 렌더링부는 지형 데이터를 저장하는 제1 저장부; 픽셀 데이터를 저장하는 제2 저장부; 및 상기 지형 데이터와 픽셀 데이터를 기초로 영상을 구체에 표출하는 영상 표출부를 포함할 수 있다.
상기 휘도 조절부는 정방형의 이미지를 각 프로젝터의 FOV(Field Of View)에 따라 잘라서 각 화면의 중첩 부분을 보정할 수 있다.
상기 휘도 조절부는 블랜딩 마스크를 통하여 상기 중첩되는 부분의 영상에서 밝게 표시되는 경계영역이 제거되거나 상기 중첩되는 부분의 영상이 어둡게 표시되도록 보정하는 블랜딩 보정부; 및 감마 함수를 적용하여 상기 중첩되는 부분의 영상의 밝기값을 보정하는 감마 보정부;를 포함할 수 있다.
상기 구면 표시 장치는 복수 개의 프로젝터의 배열을 조정하는 배열 조정부; 상기 메인 서버와의 통신 환경을 제어하는 통신 인터페이스부; 및 상기 분할 투사되는 영상 데이터의 부연 설명을 위한 피아이피 기능부;를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 지구 환경 3차원 가시화 시스템은 인공위성에서 촬영한 360도 x 180도 직사각형 영상을 구체 표면에 맞추어 왜곡한 다음, 4대 이상의 프로젝터로 영상을 분할, 투사하여 하나의 지구환경 동영상을 표출하고 있기 때문에, 실체의 구체를 보는 것과 같은 영상 효과를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 지구 환경 3차원 가시화 시스템을 나타내는 도면이다.
도 2는 도 1의 메인 서버를 개략적으로 나타내는 블록도이다.
도 3은 도 1의 구면 표시 장치를 개략적으로 나타내는 블록도이다.
도 4a 및 4b는 도 2의 구면 왜곡부에서 U, V값 추출 및 매핑 과정을 나타내는 도면이다.
도 5a 및 5b는 도 2의 구면 왜곡부에서 밉맵과 밉맵 적용 결과를 나타내는 도면이다.
도 6a 및 6b는 도 2의 휘도 조절부에서 생성된 블랜딩 마스크와 감마 보정부에 의하여 보정된 결과를 나타내는 도면이다.
도 7a 및 7b는 도 2의 구면 왜곡부에서 메쉬 기법과 메쉬 기법을 이용한 메쉬 와핑 적용 결과를 나타내는 도면이다.
도 8a 및 8b는 도 2의 구면 왜곡부에서 영상의 왜곡 정도에 따라 결과 영상을 재구성하는 과정을 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 지구 환경 3차원 가시화 시스템에 의하여 연출된 화면의 일 예를 나타내는 도면이다.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 본 발명의 바람직한 일 실시예를 첨부된 도면을 참조하여 상세하게 설명하면 다음과 같다.
도 1은 본 발명의 일 실시예에 따른 지구 환경 3차원 가시화 시스템을 나타내는 도면이고, 도 2는 도 1의 메인 서버를 개략적으로 나타내는 블록도이며, 도 3은 도 1의 구면 표시 장치를 개략적으로 나타내는 블록도이고, 도 4a 및 4b는 도 2의 구면 왜곡부에서 U, V값 추출 및 매핑 과정을 나타내는 도면이며, 도 5a 및 5b는 도 2의 구면 왜곡부에서 밉맵과 밉맵 적용 결과를 나타내는 도면이고, 도 6a 및 6b는 도 2의 휘도 조절부에서 생성된 블랜딩 마스크와 감마 보정부에 의하여 보정된 결과를 나타내는 도면이며, 도 7a 및 7b는 도 2의 구면 왜곡부에서 메쉬 기법과 메쉬 기법을 이용한 메쉬 와핑 적용 결과를 나타내는 도면이고, 도 8a 및 8b는 도 2의 구면 왜곡부에서 영상의 왜곡 정도에 따라 결과 영상을 재구성하는 과정을 나타내는 도면이며, 도 9는 본 발명의 일 실시예에 따른 지구 환경 3차원 가시화 시스템에 의하여 연출된 화면의 일 예를 나타내는 도면이다.
도 1 내지 도 3을 참조하면, 본 발명의 일 실시예에 따른 지구 환경 3차원 가시화 시스템은 인공위성에서 촬영한 지구환경(해양, 기상, 지각 변화 등) 변화 영상을 3D 구체(211)에 실시간 표출하기 위하여, 360도 x 180도 직사각형 영상을 구체(211) 표면에 맞추어 왜곡하여 4대 이상의 프로젝터(210)로 영상을 분할, 투사함으로써, 하나의 지구환경 동영상을 표출하는 가시화 시스템이다. 이를 위하여, 본 지구 환경 3차원 가시화 시스템은 메인 서버(10) 및 구면 표시 장치(20)를 포함한다.
상기 메인 서버(10)는 인공 위성에 촬영한 지구 환경 변화에 대한 영상 데이터를 저장하고, 영상 데이터를 분류(Category), 개체(Entity), 속성(Attribute) 별로 분류하며, 영상 데이터를 분할, 왜곡, 렌더링 및 소프트 엣지 처리하여 구면 표시 장치(20)로 전송한다.
이러한 기능을 구현하기 위하여 상기 메인 서버(10)는 구면 왜곡부(110), 렌더링부(120) 및 휘도 조절부(130)를 포함한다.
도시되어 있지는 않지만, 상기 메인 서버(10)는 영상 데이터를 저장하는 데이터 베이스, 영상데이터에 포함된 오디오데이터를 전기적인 오디오신호로 변환하여 출력하는 오디오 출력부, 및 메인 서버(10)의 구동을 제어하는 제어부 등을 더 포함할 수 있다. 상기 데이터 베이스는 재난, 재해, 자원분포, 생태관련 정보, 해양 관련 정보, 대기환경 관련 정보, 기상 관련 정보 등의 지구환경과 관련된 다양한 영상데이터를 저장한다. 상기 영상 데이터의 예로는 태양계 내 행성들의 대기 또는 육지상태 자료 등의 우주 영상, 해류, 해수면 온도, 지진 해일 모델, 부이(Buoy) 위치 및 추적 자료 등의 해양관련 영상, 실시간 지진 및 해빙, 지형, 지각 변동, 식생, 지자기 등의 육지와 관련된 영상, 위성, 태풍 추적, 항공관측 자료, 카본 추적, 항공기 이동 등의 대기와 관련된 교육동영상 출력, 전 지구적인 환경, 대기, 해양 변화 등에 대한 수치모델/시뮬레이션의 표시 등에 관한 영상일 수 있다.
상기 구면 왜곡부(110)는 3D 기하학 매핑 알고리즘(Geometry mapping algorithm)을 이용하여 구면을 감쌀 수 있는 360도(가로)x180도(세로)의 비율을 갖는 직사각형의 이미지, 동영상을 4개의 180도(가로)x180도(세로)의 이미지로 분할한 후, 지도 투영 방식 중 하나인 적도 등거리 투사 방식을 반대의 알고리즘으로 평면 이미지를 구면으로 왜곡시키는 역할을 수행한다. 즉, 상기 구면 왜곡부(110)는 구면을 감쌀 수 있는 지구 환경 변화에 대한 직사각형의 영상 데이터를 적어도 하나의 영상으로 분할하여 구면으로 왜곡시킨다. 또한, 상기 구면 왜곡부(110)는 직사각형의 영상 데이터를 동일한 크기의 작은 영역으로 분할하여 사용자가 원하는 영역의 영상을 왜곡할 수 있다. 한편, 상기 3D 기하학 매핑 알고리즘은 구체(sphere), 원통(Cylinder), 돔(Dome)과 같은 비선형의 스크린에 선형 영상을 투사할 수 있는 왜곡(Warping), 보정을 위한 알고리즘을 의미한다.
이러한 구면 왜곡부(110)는 매핑부(111) 및 계단현상 보정부(112)를 포함한다.
상기 매핑부(111)는 도 4a 및 4b에 도시된 바와 같이, 정방형 도법(Equirectangular Projection)에 의한 텍스쳐를 UV 매핑(UV Mapping)처리하는 3D 기하학 매핑 알고리즘을 이용하여 구체에 투영될 영상 데이터를 매핑한다. 여기서, 상기 정방형 도법은 원통의 종이로 지구를 감고 지구를 투사하는 방식으로, 위도는 수평 방향의 직선으로 펼쳐지고 경도는 수직 방향의 직선으로 펼쳐져 결국 정방형(Equirectangular)의 모양으로 지도가 완성된다. 이 도법의 지도는 2:1의 화면비율을 가지고 있다. 또한, 상기 UV 매핑은 2차원 이미지를 3차원 모델로 표현하는 3차원 모델링의 한 과정으로서, UV맵은 3차원 물체의 이미지(또는 텍스쳐라고 함.)로 변환된다. 원래 3차원 물체에게는 x, y, z의 좌표계가 있는 반면에, 변환된 물체에게는 U, V의 좌표가 있다. 이것은 3차원 물체의 표면에 이미지를 칠하는 효과를 만든다.
아래의 수학식 1은 위도(υ), 경도(ν) 값을 바탕으로 x, y, z 값을 추출하는 식이고, 수학식 2는 x, y, z좌표를 이용한 u, v 값의 추출하는 식이다.
[수학식 1]
x = r cosν
y = r sinν cosυ
z = r sinν sinυ
[수학식 2]
Figure 112013117623716-pat00001
Figure 112013117623716-pat00002
따라서, 상기 매핑부(111)는 직사각형의 영상 데이터에서 정방형의 지도의 위도와 경도를 표준 좌표값으로 변환하고, 상기 변환된 표준 좌표값을 이용하여 3차원 영상으로 매핑한다. 즉, 상기 이렇게 펼쳐진 지도의 위도, 경도값을 x, y, z의 표준 좌표로 전환하고 다시 UV 매핑을 이용하기 위해 u, v값을 추출하여 텍스쳐(Texture; 지도)를 매핑한다.
상기 계단현상 보정부(112)는 3차원 영상으로 매핑시 발생하는 계단현상을 밉맵(MipMap: Multum in Parvo, Many Things in a Small Place)을 이용하여 보정한다. 일반적으로, 평면 사각형이 아닌 곡선 사변형으로 매핑되는 비선형 매핑에서는 점 샘플링에 의한 계단현상(Aliasing)과 화면의 축소, 혹은 확장관계에서 계단 현상이 일어난다. 본 발명에서는 구면의 텍스쳐 맵핑에서 극지 부분에서의 축소 관계에 의한 계단 현상이 도드라지므로, 축소 관계에서 주로 사용하는 밉맵을 사용하여 계단현상을 보정한다. 여기서, 상기 밉맵은 기본 텍스처와 이를 연속적으로 미리 축소시킨 텍스처들로 이루어진 비트맵 이미지의 집합을 의미한다. 또한, 이러한 방식은 도 5a에 도시된 바와 같이 해상도 별로 칼라값의 평균치를 계산하여 텍스쳐 맵에 저장한다. 도 5b는 밉맵을 이용하기 전후(즉, 도 5b의 좌우)의 영상을 일 예로 들어 도시하였다.
상기 렌더링부(120)는 주어진 환경의 정보를 영상으로 바꾸기 위하여, 3D 기하학 매핑 알고리즘에 따라 평면의 이미지를 가상의 구체에 실시간으로 렌더링(Rendering)한다. 즉, 상기 렌더링부(120)는 구면 왜곡부(110)에 의하여 왜곡된 영상을 가상의 구체에 실시간으로 렌더링한다.
이러한 렌더링부(120)는 제1 저장부(121), 제2 저장부(122) 및 영상 표출부(123)를 포함한다.
상기 제1 저장부(121)는 지형 데이터를 저장하는 장치이다. 본 발명에서는 지형 데이터를 제1 저장부(121)에 저장, 관리하므로, 정지한 지형과 움직이는 지형 모두에 월등한 영상 표출 성능을 가질 수 있다.
상기 제2 저장부(122)는 픽셀 데이터를 저장하는 장치이다.
상기 제1 저장부(121) 및 제2 저장부(122)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 상기 제1 저장부(121) 및 제2 저장부(122)는 메모리 캐시 혹은 하드디스크 타입(hard disk type)의 저장장치로 구성되고, 컴퓨터에 직접 연결되거나 별도의 전문 데이터베이스 시스템에 분산 저장되도록 설계될 수 있다.
상기 영상 표출부(123)는 제1 저장부(121)에 저장된 지형 데이터와 제2 저장부(122)에 저장된 픽셀 데이터를 기초로 영상을 구체에 표출한다.
따라서, 본 발명에서는 제1 저장부(121) 및 제2 저장부(122)에 지형 및 픽셀 데이터를 저장 및 관리하여 영상 처리 속도를 향상시킬 수 있다.
한편, 복수 개의 프로젝터(210)로 영상을 출력할 때 영상이 겹치게 되는 부분(Overlapping Area)은 복수 개의 프로젝터(210)의 빛에 의해 하나의 프로젝터(210)로 영상을 출력하는 곳에 비해 빛의 밝기가 달라진다. 따라서, 본 발명에서는 휘도 조절부(130)를 통하여 각 프로젝터(210)에서 출력한 화면이 중복되는 모서리 부분을 보정하여 하나의 프로젝터(210)에서 영상을 출력하는 것과 동일하게 보이게 할 수 있다.
상기 휘도 조절부(130)는 4대의 프로젝터(210)로 360도 x 180도의 영상을 투사하는 경우, 각 프로젝터(210)에서 투영되는 180도 x 180도 영상 간에 발생되는 좌, 우 45도 씩의 중첩되는 부분의 영상을 조절하여 하나의 영상으로 보여지도록 한다. 즉, 상기 휘도 조절부(130)는 중첩되지 않는 부분의 휘도와 같은 휘도의 영상이 투사되도록 하기 위하여, 렌더링된 영상에서 분할된 영상 간에 중첩되는 부분의 영상의 휘도를 중첩되지 않는 부분의 휘도와 같도록 소프트 엣지 처리(즉, 조절)한다. 여기서, 소프트 엣지 처리는 이미지의 색상과 명도를 유사하게 하여 거리감을 덜 느끼도록 하는 이미지 처리방식을 의미하는 것으로서, 본 발명에서는 영상의 휘도를 조절하는 의미로 사용된다.
상기 휘도 조절부(130)는 정방형의 이미지를 각 프로젝터(210)의 FOV(Field Of View)에 따라 잘라서 각 화면의 중첩 부분을 보정할 수 있다. 즉, 본 발명에서는 uv값을 가지고 있는 정방형의 이미지를 각 프로젝터(210)의 FOV(Field of View)에 따라 잘라서 다중 프로세서를 이용해서 각 화면의 휘도를 조절할 수 있다. 이때, 각 프로젝터(210)의 FOV는 구면을 중심으로 180도의 화면을 표출하며 따라서 2048 * 1024 해상도를 기준으로 1024*1024의 이미지를 처리할 수 있다. 또한, 중첩되는 부분은 일반적으로 20~30%의 영역으로 처리하지만, 극지 부분이 많이 왜곡되는 구형의 특성을 고려하여 50%(좌, 우 256픽셀)의 영역을 겹쳐지도록 하여 테스트하고 적정한 영역을 설정할 수 있다.
이러한 휘도 조절부(130)는 블랜딩 보정부(131), 감마 보정부(132) 및 색상 조정부(133)를 포함한다.
상기 블랜딩 보정부(131)는 블랜딩 마스크를 통하여, 중첩되는 부분의 영상에서 밝게 표시되는 경계영역이 제거되거나, 중첩되는 부분의 영상이 어둡게 표시되도록 보정한다. 즉, 상기 블랜딩 보정부(131)는 중첩되는 부분의 밝기 차이로 인하여 하나의 영상으로 보이지 않는 부분을 블랜딩 함수를 적용하여 블랜딩 마스크를 생성한 후 보정한다. 여기서, 상기 블랜딩 함수는 수학식 3과 같다.
[수학식 3]
Figure 112013117623716-pat00003

여기서, x의 전체 범위는 입력되는 픽셀의 전체 개수 중 정의되는 중첩의 폭이며, x는 함수 f(x)를 적용하는 중첩 영역 내 위치값이다. p는 블랜딩 정도(Blending Depth)를 결정하는 요소이다.
도 6a는 수학식 3의 특성을 정규화하여 표현한 그래프와 마스크가 생성되는 상태를 나타내는 것으로서, 생성된 마스크를 원래의 그림에 적용하면 영상의 중첩부분에서 밝게 표시되던 경계부분이 제거되나 중첩부분이 더 어둡게 나타나게 된다. 이것은 마스크의 영향에 의해 밝기값이 감소되었기 때문이다.
상기 감마 보정부(132)는 감마 함수(Gamma function)를 적용하여 중첩되는 부분(즉, 블랜딩 영역)의 영상의 밝기값을 보정한다. 여기서, 감마는 픽셀(Pixel)이 밝기에 어떻게 매핑되었는 지를 나타낸다. 또한, 밝기 값을 보정하기 위해 사용되는 감마 함수는 f(x)1/G 과 f(1-x)1/G이다.
여기서, x는 블랜딩 함수의 x와 같으며, G는 감마 보정 깊이를 위한 요소(factor)로서 일반적으로 1.8에서 2.2 사이의 값을 갖는다.
본 발명에서는 이러한 감마 함수를 적용하여 밝기값이 낮은 부분을 상대적으로 밝게 할 수 있고, 이를 통하여 도 6b에서와 같이 중첩 영역 중심에 적용된 과적용 부분을 보정할 수 있다.
상기 색상 조정부(133)는 중첩된 영역의 화소 색상 값을 보정하기 위한 장치이다. 여기서, 색상 조정(Color Balance)은 영상의 전체적인 색상을 조정함으로써, 중첩 영역에 발생하는 색온도의 차이를 제거하여 원본영상과 동일한 색을 표현하기 위한 방법으로, 블랜딩 보정부(131)와 감마 보정부(132)를 이용하여 밝기 보정 후 최종 결과 영상을 재구성하기 위해 적용하는 마지막 알고리즘이다.
일반적으로, 상기 블랜딩 보정부(131)와 감마 보정부(132)를 이용하여 중첩 영역에 적용하면 화소값은 실제 원본 영상 값과 차이가 발생하게 된다. 이때, 상기 블랜딩 보정부(131)와 감마 보정부(132)를 적용한 중첩영역의 화소값은 조금씩 오차를 발생하게 된다. 또한, 각 R, G, B 채널도 화소값에 비례하여 동일하게 오차를 발생하게 된다. 이에 따라, 전체 영상의 색상 값은 R, G, B 채널의 조합으로 이루어지므로, 전체 영상에 발생되는 오차는 더욱 증가하게 된다. 이러한 오차는 최종 결과 영상의 색상 값으로써 원본영상의 색상값과의 차이 값으로 시각적으로 부자연스러움을 제공한다. 본 발명에서는 이러한 시각적 부자연스러움을 제거하기 위하여 색상 조정 알고리즘을 적용하여 최종 결과 영상의 색상값을 원본 영상의 색상값과 동일하게 한다.
상기 색상 조정 알고리즘은 블랜딩 보정부(131)와 감마 보정부(132)를 적용하여 발생된 색상오차를 제거하여 최종 결과 영상이 시각적으로 자연스럽게 보이게 하는 알고리즘으로서, R, G, B 영상 채널에 대해 각각 구현하며, 각 채널에 적용되는 수학 함수는 수학식 4와 같다.
[수학식 4]
y = x ± k
여기서, x는 블랜딩 마스크와 감마 함수 계수를 적용한 중간 결과 영상의 각 채널의 화소값이고, k는 0부터 255사이의 값을 갖는 수이며, 사용자에 의해 결정된다. 즉, 사용자의 주관적 판단에 의해 중간 결과 화소값에 필요에 따라 0 ~ 255사이의 값을 더하거나 뺌으로 해서 원하는 색상으로 보정하게 된다. 또한, 색상 보정 결과의 범위 역시 최소값과 최대값을 두어 0에서 255사이 범위 값이 되도록 정의한다.
색상 보정 영역은 두 영역으로 나눌 수 있다. 첫 번째 보정영역은 영상 전체이며, 두 번째 보정영역은 다른 영상과 중첩되는 중첩영역이다. 그러나, 두 영역에 적용하는 색상 보정 알고리즘은 동일하다.
사용자에 의하여 정의되는 보정값에 따라 영상의 각 채널의 화소값이 달라지며, 각각의 R, G, B 채널을 통합하여 최종 컬러 결과 영상을 만들어낸다. 이 때, 화소가 가질 수 있는 화소값은 검정색에서 흰색까지 16만 가지 이상(256x256x256)의 색상값을 가질 수 있다.
상기 색상 보정 역시 밝기 보정과 마찬가지로 주관적 평가를 필요로 하는 부분이므로 각 채널의 색상값을 미세조정하고 조합함으로써, 전체 영상을 자연스럽게 하나로 만들 수 있게 된다.
도시되어 있지 않지만, 상기 메인 서버(10)는 화소 단위의 색을 보간하는 대신 제어점의 위치와 색을 동시에 보간하는 메쉬 와핑부를 더 포함할 수 있다.
상기 메쉬 와핑부는 메쉬(Mesh) 기법을 적용하여 와핑 알고리즘을 구현하여 제어점의 위치와 색을 동시에 보간한다. 여기서, 상기 메쉬 기법은 도 7a에 도시된 바와 같이 전체 영상 영역을 동일한 크기의 작은 영역으로 분할하는 기법이다. 이를 위하여 상기 메쉬 기법은 제어점(control point)를 가지고 있는데, 이때 제어점의 위치는 영상 전체에 걸쳐 균일한 간격을 두고 위치하며, 사용자가 정의하는 수만큼 생성된다. 또한, 상기 와핑(Warping) 알고리즘은 기본적으로 일반적인 사각형태의 레이아웃(Layout)을 다른 형태의 레이아웃으로 변환하는데 사용된다. 본 발명에서는 영상 내부 영역에 대한 처리를 할 수 없는 와핑 알고리즘의 단점을 해결하기 위하여 메쉬(Mesh) 기법을 적용하여 메쉬 와핑(Mesh Warping) 알고리즘을 구현한다.
또한, 상기 메쉬 와핑부는 제어점을 이동하면 발생되는 원본영상에 대한 결과 영상의 왜곡수에 따라 결과 영상을 재구성하기 위한 재구성 계수를 Fant's Resampling 알고리즘(이하, 샘플링 알고리즘이라 함.)을 적용하여 계산한다. 이때, 상기 왜곡의 방향은 기본적으로 수평왜곡과 수직왜곡으로 나눌 수 있으며, 기본 왜곡 방향을 조합하여 대각 왜곡으로도 왜곡 방향을 확장할 수 있다.
따라서, 상기 메쉬 와핑부는 메쉬 와핑(Mesh Warping) 알고리즘을 사용하여 영상의 전체를 왜곡하는 것이 아니라 부분 영역으로 나누어서 사용자가 원하는 영역, 혹은 스크린의 형태에 따라 영상을 효과적으로 왜곡할 수 있게 된다.
도 7b의 (b)는 전체 영상을 왜곡하는 그림이며, (c)는 영상 내의 부분을 왜곡하는 그림으로 메쉬 와핑 기법을 적용한 그림이다. 본 발명에서는 메쉬 기법을 이용하며 스크린의 형태에 따라 영상을 왜곡할 수 있다.
또한, 상기 메쉬 와핑부에 적용되는 와핑 알고리즘은 샘플링 알고리즘을 이용한다.
상기 샘플링 알고리즘은 영상을 왜곡하는 정도(scale)에 따라 결과 영상을 재구성하는 알고리즘으로 왜곡값 1을 기준으로 하여 확대와 축소로 나누어 수행된다. 여기서, 확대는 왜곡값이 1보다 클 경우 수행되며, 왜곡값의 역수를 취하여 결과 영상 화소를 구성하는 계수로 사용한다. 즉, 결과 영상의 화소값을 구하는데 필요한 원본 영상의 화소값 비율로써 왜곡값의 역수를 사용하는 것이다.
예를 들어 도 8a를 참조하여 설명하자면, 확대 샘플링 알고리즘은 왜곡값이 1.6일 경우(1.6배 확대) 다음과 같이 수행된다.
여기서, s0~s2는 원본 영상 화소이고, d0~d4는 결과 영상 화소이며, 결과 영상 화소를 재구성하기 위한 factor는 1/1.6(즉, 0.625)이 된다. 이를 이용하여 d0, d1를 계산하면 다음과 같다.
d0 = s0x0.625
d1 = s0x(1-0.625)+s1x(0.625-(1-0.625)).
또한, 도 8b를 참조하면, 축소 샘플링 알고리즘은 왜곡값이 1보다 작을 경우(즉, 왜곡값이 0.4일 경우 (0.4배 축소)) 수행되며, 수행 방법은 확대 샘플링 알고리즘과 동일하다.
여기서, s0~s4는 원본 영상 화소이고, d0~d1는 결과 영상 화소이며, 결과 영상 화소를 재구성하기 위한 factor는 1/0.4(즉, 2.5)이 된다. 이를 이용하여 d0, d1를 계산하면 다음과 같다.
d0 = (sox1)+(s1x1)+(s2x0.5)
d1 = (s2x0.5)+(s2x1)+(s4x1)
이와 같이, 축소의 경우 결과 화소를 재구성하기 위한 팩터값이 1보다 크므로, 원본 영상 화소를 1개 이상을 사용하여 결과 영상 화소 1개를 재구성한다.
또한, 본 시스템에서 사용되는 샘플링 알고리즘은 실시간 처리를 위하여 병렬로 처리한다.
상기와 같이 본 지구환경 3차원 가시화 시스템에서는 메쉬 와핑 알고리즘을 구현하기 위해서 2가지의 기법, 즉 원본영상을 사용자의 정의에 의해 분할하는 메쉬 기법과, 샘플링 알고리즘을 이용하여 분할된 영상영역을 왜곡하기 위한 와핑 알고리즘을 적용할 수 있다. 또한, 영상을 분할하기 위한 메쉬 기법은 제어용 소프트웨어에서 구현되며, 원본 영상 분할 및 영상 왜곡에 필요한 파라미터를 제어부로 보내면 제어부에서는 주어진 파라미터 값에 따라 원본영상을 와핑처리하게 된다. 또한, 와핑 알고리즘은 다시 두 부분, 즉 결과 영상을 재구성 하기 위해 필요한 재구성계수(infactor)를 연산하는 부분과, 원본영상 화소값과 앞서 연산된 재구성계수를 이용하여 결과영상 화소값을 연산하고 출력하는 부분으로 이루어진다.
본 발명에서는 이러한 메쉬 와핑 알고리즘을 적용하여 영상 데이터 신호의 손실 없이 왜곡이 효과적으로 이루어지도록 할 수 있다.
또한, 상기와 같이 구성된 메인 서버(10)는 구면 영상 변환 및 분배 기능, 오디오 처리 기능, 인터넷 접속 및 근거리 통신 기능을 가지는 vcr 등의 영상 재생 장치, 데스크탑, 노트북, 테블릿 pc 등 고정 또는 휴대 가능한 다양한 영상 재생 장치로 구현될 수 있다. 또한, 상기 메인 서버(10)에는 사용자의 제어를 위해 모니터 등의 표시부와 키보드 등의 입력장치가 구비될 수 있다. 그리고, 지구 환경 3차원 가시화 동작을 제어하기 위한 제어 프로그램은 하드 디스크에 설치되거나 데이터 베이스의 별도의 저장 공간에 저장되어 구동되고, 이를 위해 메인 서버(10)는 별도의 하드 디스크와 데이터 연산 처리를 위한 메모리를 구비할 수 있다.
상기 구면 표시 장치(20)는 복수 개의 프로젝터(210)를 구비하여 메인 서버(10)로부터 전송된 영상 데이터를 구체(211) 표면에 분할 투사하는 장치이다. 상기 복수 개의 프로젝터(210)들은 영상 오디오 인터페이스 장치(미도시)에 내장되는 VGA카드의 영상출력포트 또는 USB출력 포트 등에 접속되어 메인 서버(10)에서 출력되는 분할된 영상을 각각 구체(211) 표면으로 출력한다.
상기 구면 표시 장치(20)는 배열 조정부(220), 통신 인터페이스부(230) 및 피아이피 기능부(240)를 포함한다.
상기 배열 조정부(220)는 복수 개의 프로젝터(210)의 배열을 조정하는 장치로서, 구체(211)의 표면에 다채널로 구성된 영상을 투사할 경우 프로젝터(210)간의 얼라인먼트(Alignment)를 조절한다. 상기 구체(211)는 휴대가 가능한 크기를 가지고, 별도의 지지 수단에 탈부착 가능하거나 와이어로 천장이나 벽체에 달아 고정하도록 구성되며, 외표면에는 프로젝터(210)들에서 투사된 영상이 표시될 수 있도록 빛의 반사 또는 산란을 최소화하는 적절한 코팅 물질이 코팅되어 있다.
상기 통신 인터페이스부(230)는 메인 서버(10)와의 통신 환경을 제어하는 장치로서, 통신망에 정의된 프로토콜 스택을 기반으로 메인 서버(10)와 소정의 통신채널을 연결하고, 메인 서버(10)에 구비된 통신 프로그램에 정의된 통신 프로토콜을 이용하여 메인 서버(10)에 의한 가공된 정보 또는 제어 신호 등을 수신할 수 있다.
상기 피아이피(PIP) 기능부(240)는 분할 투사되는 영상 데이터의 부연 설명을 위한 장치로서, 구면에 분할 투사되고 있는 영상 데이터에 대한 프리젠테이션 파일 또는 동영상 등의 보조 설명 자료 등을 포함할 수 있다.
도 9에 도시된 바와 같이, 본 발명의 일 실시예에 따른 지구 환경 3차원 가시화 시스템은 메인 서버(10)에 분류(Category), 개체(Entity), 속성(Attribute) 별로 분류되어 저장된 영상 데이터를 사용자가 원하는 분류, 개체 속성 별로 구면 표시 장치(20)에 전송하여 구체(211) 표면에 분할 투사하여 하나의 지구 환경 동영상을 표출함으로써, 사용자에게 실체의 구체를 보는 것과 같은 영상 효과를 제공할 수 있다.
이상에서 설명한 것은 본 발명에 의한 지구 환경 3차원 가시화 시스템을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
10: 메인 서버 20: 구면 표시 장치
110: 구면 왜곡부 111: 매핑부
112: 계단 현상 보정부 120: 렌더링부
121: 제1 저장부 122: 제2 저장부
123: 영상 표출부 130: 휘도 조절부
131: 블랜딩 보정부 132: 감마 보정부
133: 색상 조정부 210: 프로젝터
220: 배열 조정부 230: 통신 인터페이스부
240: 피아이피 기능부

Claims (8)

  1. 삭제
  2. 인공 위성에서 촬영한 지구 환경 변화에 대한 영상 데이터를 저장하고, 상기 영상 데이터를 분류(Category), 개체(Entity), 속성(Attribute) 별로 분류하며, 상기 영상 데이터를 분할, 왜곡, 렌더링 및 소프트 엣지(Soft-Edge) 처리하여 구면 표시 장치로 전송하는 메인 서버; 및
    복수 개의 프로젝터를 구비하여 상기 메인 서버로부터 전송된 영상 데이터를 구체 표면에 분할 투사하는 구면 표시 장치;를 포함하고,
    상기 메인 서버는
    구면을 감쌀 수 있는 지구 환경 변화에 대한 직사각형의 영상 데이터를 적어도 하나의 영상으로 분할하여 구면으로 왜곡시키는 구면 왜곡부;
    상기 구면 왜곡부에 의하여 왜곡된 영상을 가상의 구체에 실시간으로 렌더링하는 렌더링부; 및
    상기 렌더링된 영상에서 상기 분할된 영상 간에 중첩되는 부분의 영상의 휘도를 중첩되지 않는 부분의 휘도와 같도록 소프트 엣지 처리하는 휘도 조절부;를 포함하는 것을 특징으로 하는 지구 환경 3차원 가시화 시스템.
  3. 청구항 2에 있어서,
    상기 구면 왜곡부는
    직사각형의 영상 데이터를 동일한 크기의 작은 영역으로 분할하여 사용자가 원하는 영역의 영상을 왜곡할 수 있는 것을 특징으로 하는 지구 환경 3차원 가시화 시스템.
  4. 청구항 2에 있어서,
    상기 구면 왜곡부는
    상기 직사각형의 영상 데이터에서 정방형의 지도의 위도와 경도를 표준 좌표값으로 변환하고, 상기 변환된 표준 좌표값을 이용하여 3차원 영상으로 매핑하는 매핑부; 및
    상기 3차원 영상으로 매핑시 발생하는 계단현상을 밉맵을 이용하여 보정하는 계단현상 보정부를 포함하는 것을 특징으로 하는 지구 환경 3차원 가시화 시스템.
  5. 청구항 2에 있어서,
    상기 렌더링부는
    지형 데이터를 저장하는 제1 저장부;
    픽셀 데이터를 저장하는 제2 저장부; 및
    상기 지형 데이터와 픽셀 데이터를 기초로 영상을 구체에 표출하는 영상 표출부;를 포함하는 것을 특징으로 하는 지구 환경 3차원 가시화 시스템.
  6. 청구항 2에 있어서,
    상기 휘도 조절부는
    정방형의 이미지를 각 프로젝터의 에프오브이(FOV;Field Of View)에 따라 잘라서 각 화면의 중첩 부분을 보정하는 것을 특징으로 하는 지구 환경 3차원 가시화 시스템.
  7. 청구항 2에 있어서,
    상기 휘도 조절부는
    블랜딩 마스크를 통하여 상기 중첩되는 부분의 영상에서 밝게 표시되는 경계영역이 제거되거나 상기 중첩되는 부분의 영상이 어둡게 표시되도록 보정하는 블랜딩 보정부; 및
    감마 함수를 적용하여 상기 중첩되는 부분의 영상의 밝기값을 보정하는 감마 보정부;를 포함하는 것을 특징으로 하는 지구 환경 3차원 가시화 시스템.
  8. 청구항 2에 있어서,
    상기 구면 표시 장치는
    복수 개의 프로젝터의 배열을 조정하는 배열 조정부;
    상기 메인 서버와의 통신 환경을 제어하는 통신 인터페이스부; 및
    상기 분할 투사되는 영상 데이터의 부연 설명을 위한 피아이피 기능부;를 더 포함하는 것을 특징으로 하는 지구 환경 3차원 가시화 시스템.
KR1020130161309A 2013-12-23 2013-12-23 지구 환경 3차원 가시화 시스템 KR101359011B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130161309A KR101359011B1 (ko) 2013-12-23 2013-12-23 지구 환경 3차원 가시화 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130161309A KR101359011B1 (ko) 2013-12-23 2013-12-23 지구 환경 3차원 가시화 시스템

Publications (1)

Publication Number Publication Date
KR101359011B1 true KR101359011B1 (ko) 2014-02-07

Family

ID=50270004

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130161309A KR101359011B1 (ko) 2013-12-23 2013-12-23 지구 환경 3차원 가시화 시스템

Country Status (1)

Country Link
KR (1) KR101359011B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200476604Y1 (ko) * 2014-08-22 2015-03-12 (주)다산애드컴 연출 및 체험 관람 장치
WO2015175967A1 (en) * 2014-05-16 2015-11-19 Lumo Play, Inc. Systems and methods for mobile communication device interactive projection effect
KR20160012841A (ko) * 2014-07-25 2016-02-03 한길씨앤씨 주식회사 시뮬레이션용 지구표면영상발생장치 및 지구표면영상저장방법
WO2018048287A1 (ko) * 2016-09-12 2018-03-15 삼성전자 주식회사 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법 및 장치
US9993733B2 (en) 2014-07-09 2018-06-12 Lumo Interactive Inc. Infrared reflective device interactive projection effect system
CN108293152A (zh) * 2015-09-22 2018-07-17 脸谱公司 球形视频映射
CN116386520A (zh) * 2023-05-29 2023-07-04 长春希达电子技术有限公司 球形内侧显示屏校正方法、装置、电子设备以及存储介质
KR102568940B1 (ko) * 2023-06-15 2023-08-22 주식회사라이브아레나 구형 조형물에 대한 복수개의 프로젝션을 활용한 몰입형 미디어아트 콘텐츠 재현 방법, 장치 및 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100799304B1 (ko) 2006-08-30 2008-01-29 한국전자통신연구원 비평면 디스플레이 환경에서 고해상도 동영상 투영 시스템및 방법
KR100941165B1 (ko) * 2008-09-12 2010-02-10 (주)투미르 구형 스크린 영상표시시설
KR101104827B1 (ko) * 2011-06-16 2012-01-16 대한민국 지구환경 3차원 구면영상 표시장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100799304B1 (ko) 2006-08-30 2008-01-29 한국전자통신연구원 비평면 디스플레이 환경에서 고해상도 동영상 투영 시스템및 방법
KR100941165B1 (ko) * 2008-09-12 2010-02-10 (주)투미르 구형 스크린 영상표시시설
KR101104827B1 (ko) * 2011-06-16 2012-01-16 대한민국 지구환경 3차원 구면영상 표시장치

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015175967A1 (en) * 2014-05-16 2015-11-19 Lumo Play, Inc. Systems and methods for mobile communication device interactive projection effect
US9993733B2 (en) 2014-07-09 2018-06-12 Lumo Interactive Inc. Infrared reflective device interactive projection effect system
KR20160012841A (ko) * 2014-07-25 2016-02-03 한길씨앤씨 주식회사 시뮬레이션용 지구표면영상발생장치 및 지구표면영상저장방법
KR101632070B1 (ko) * 2014-07-25 2016-06-24 한길씨앤씨 주식회사 시뮬레이션용 지구표면영상발생장치 및 지구표면영상저장방법
KR200476604Y1 (ko) * 2014-08-22 2015-03-12 (주)다산애드컴 연출 및 체험 관람 장치
CN108293152A (zh) * 2015-09-22 2018-07-17 脸谱公司 球形视频映射
WO2018048287A1 (ko) * 2016-09-12 2018-03-15 삼성전자 주식회사 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법 및 장치
US11244584B2 (en) 2016-09-12 2022-02-08 Samsung Electronics Co., Ltd. Image processing method and device for projecting image of virtual reality content
CN116386520A (zh) * 2023-05-29 2023-07-04 长春希达电子技术有限公司 球形内侧显示屏校正方法、装置、电子设备以及存储介质
CN116386520B (zh) * 2023-05-29 2023-09-19 长春希达电子技术有限公司 球形内侧显示屏校正方法、装置、电子设备以及存储介质
KR102568940B1 (ko) * 2023-06-15 2023-08-22 주식회사라이브아레나 구형 조형물에 대한 복수개의 프로젝션을 활용한 몰입형 미디어아트 콘텐츠 재현 방법, 장치 및 시스템

Similar Documents

Publication Publication Date Title
KR101359011B1 (ko) 지구 환경 3차원 가시화 시스템
US10621767B2 (en) Fisheye image stitching for movable cameras
US10275928B2 (en) Dual fisheye image stitching for spherical image content
US9183666B2 (en) System and method for overlaying two-dimensional map data on a three-dimensional scene
US10102610B2 (en) Dual fisheye images stitching for spherical video
EP3057066B1 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
CN108564527B (zh) 基于神经网络的全景图内容补全和修复的方法及装置
US20140267273A1 (en) System and method for overlaying two-dimensional map elements over terrain geometry
JP7235875B2 (ja) リアルタイムの３ｄ可視化を備えた点群カラー化システム
CN111047506B (zh) 环境图生成和孔填充
US10733786B2 (en) Rendering 360 depth content
CN109997167B (zh) 用于球面图像内容的定向图像拼接
AU2016308980B2 (en) Image generating apparatus and image display control apparatus
US9286712B2 (en) System and method for approximating cartographic projections by linear transformation
US11276150B2 (en) Environment map generation and hole filling
Jenny et al. Real-time raster projection for web maps
CN110852952B (zh) 一种基于gpu的大规模地形实时绘制方法
US10699372B2 (en) Image generation apparatus and image display control apparatus
JP2016009374A (ja) 情報処理装置、方法及びプログラム
US10652514B2 (en) Rendering 360 depth content
WO2022133569A1 (en) Methods and system for reconstructing textured meshes from point cloud data
US6894696B2 (en) Method and apparatus for providing refractive transparency in selected areas of video displays
Stathopoulou et al. High and low resolution textured models of complex architectural surfaces
CN111563947B (zh) 全球三维云的互动实时体渲染方法
EP3598395A1 (en) Rendering 360 depth content

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170125

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180125

Year of fee payment: 5