KR102491939B1 - 전방향 이미지를 프로세싱하기 위한 방법 및 장치 - Google Patents

전방향 이미지를 프로세싱하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR102491939B1
KR102491939B1 KR1020180099020A KR20180099020A KR102491939B1 KR 102491939 B1 KR102491939 B1 KR 102491939B1 KR 1020180099020 A KR1020180099020 A KR 1020180099020A KR 20180099020 A KR20180099020 A KR 20180099020A KR 102491939 B1 KR102491939 B1 KR 102491939B1
Authority
KR
South Korea
Prior art keywords
image
omnidirectional
omnidirectional image
coordinate
projected
Prior art date
Application number
KR1020180099020A
Other languages
English (en)
Other versions
KR20200022865A (ko
Inventor
우지환
김성태
에릭 입
Original Assignee
삼성전자주식회사
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 고려대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020180099020A priority Critical patent/KR102491939B1/ko
Priority to PCT/KR2019/010765 priority patent/WO2020040594A1/en
Priority to US16/549,668 priority patent/US10853910B2/en
Publication of KR20200022865A publication Critical patent/KR20200022865A/ko
Application granted granted Critical
Publication of KR102491939B1 publication Critical patent/KR102491939B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/073—Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

전방향(omnidirectional) 이미지에 관한 정보를 프로세싱하기 위한 방법이 제공된다. 상기 방법은 제 1 전방향 이미지의 중심인 제 1 위치와 제 2 전방향 이미지의 중심인 제 2 위치를 통과하는 직선과 교차하는 위치에 기초하여 상기 제1 전방향 이미지로부터 프로젝션된 제 1 2D(2 dimensional) 이미지를 생성하는 과정, 상기 제 1 위치와 상기 제 2 위치를 통과하는 직선과 교차하는 위치에 기초하여 제 2 전방향 이미지로부터 프로젝션된 제 2 2D 이미지를 생성하는 과정, 상기 제 1 위치와 상기 제 2 위치 사이의 제 3 위치에 중심을 갖는 제 3 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는 제 3 2D 이미지를 생성하는 과정, 상기 제 2 전방향 이미지의 중심과 제 4 전방향 이미지의 중심을 통과하는 직선과 교차하는 위치에 기초하여 상기 제4 전방향 이미지로부터 프로젝션된 제 4 2D 이미지를 생성하는 과정, 상기 제 2 2D 이미지 및 상기 제 4 2D 이미지에 기초하여, 상기 제 2 위치와 상기 제 4 위치 사이의 제 5 위치에 중심을 갖는 제 5 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는 제 5 2D 이미지를 생성하는 과정, 상기 제 1 2D 이미지 및 상기 제 4 2D 이미지에 기초하여, 상기 제 1 위치와 상기 제 4 위치 사이의 제 6 위치에 중심을 갖는 제 6 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는 제 6 2D 이미지를 생성하는 과정, 상기 제3 2D 이미지, 상기 제5 2D 이미지 및 상기 제 6 2D 이미지와 상기 제1 전방향 이미지에 대한 가중치, 상기 제2 전방향 이미지에 대한 가중치 및 상기 제4 전방향 이미지에 대한 가중치를 기초로 상기 제1 위치, 상기 제2 위치 및 상기 제4 위치 사이의 제7 위치에 중심을 갖는 제7 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는 제7 2D 이미지를 생성하는 과정을 포함한다.

Description

전방향 이미지를 프로세싱하기 위한 방법 및 장치 {METHOD AND APPARATUS FOR PROCESSING OMNIDIRECTIONAL IMAGE}
본 개시의 다양한 실시 예들은 전방향 이미지들로부터 새로운 중심을 갖는 전방향 이미지를 획득하기 위한 방법 및 장치에 관한 것이다.
미디어 기술은 사용자에게 높은 품질의 미디어를 제공하기 위한 방향으로 발전하고 있다. 가상 현실(virtual reality: VR) 또는 증강 현실(augmented reality: AR) 기술은 그 하나의 예라 할 수 있다. 상기 VR 또는 상기 AR 기술을 위해서는 전방향(omnidirectional) 이미지(또는 3-D (3-dimensitonal) 이미지)의 프로세싱 및 전송과 관련된 기술 또한 발전되어야 할 것이다.
전방향 이미지는 전방향 카메라에 의해 획득된 이미지 또는 복수의 2D 카메라들로부터 획득된 복수의 이미지들로부터 생성될 수 있다. VR 디바이스는 가상 현실 내에서 사용자의 이동에 따른 전방향 이미지의 제공이 원활하게 이루어질 수 있어야 할 것이다. 이는 사용자에게 보다 현실적으로 실감나는 체험을 제공할 수 있을 것이다.
상술한 바와 같이 사용자의 이동에 따른 전방향 이미지를 제공하기 위해서는, 다양한 중심을 갖는 전방향 이미지들이 준비될 필요가 있다.
VR 또는 AR을 위한 서비스를 위한 전방향 이미지들을 사용자의 이동이 가능한 모든 위치들을 고려하여 미리 준비하는 것은 현실적으로 어려울 수 있다. 즉, 사용자의 이동에 의해 예상할 수 있는 모든 중심들 각각에 대응한 전방향 이미지를 촬영에 의해 획득하는 것은 매우 어려울 것이다.
본 개시의 한 실시 예에 따르면, 사용자의 이동에 대응하여 복수의 전방향 이미지들 중 선택된 전방향 이미지 혹은 상기 복수의 전방향 이미지들로부터 새롭게 생성된 전방향 이미지를 출력하는 방법 및 장치를 제공할 수 있다.
본 개시의 한 실시 예에 따르면, 하나의 중심을 갖는 하나 또는 다수의 전방향 이미지들로부터 다른 중심을 갖는 하나 또는 다수의 전방향 이미지들을 생성하는 방법 및 장치를 제공할 있다.
본 개시의 한 실시 예에 따르면, 하나의 중심을 갖는 하나 또는 다수의 전방향 이미지들로부터 다른 중심을 갖는 하나 또는 다수의 전방향 이미지들을 생성하는 방법 및 장치를 제공할 수 있다.
본 개시의 다양한 실시 예에 따른 전방향(omnidirectional) 이미지에 관한 정보를 프로세싱하기 위한 방법은 제 1 전방향 이미지의 중심인 제 1 위치와 제 2 전방향 이미지의 중심인 제 2 위치를 통과하는 직선과 교차하는 위치에 기초하여 상기 제1 전방향 이미지로부터 프로젝션된 제 1 2D(2 dimensional) 이미지를 생성하는 과정, 상기 제 1 위치와 상기 제 2 위치를 통과하는 직선과 교차하는 위치에 기초하여 제 2 전방향 이미지로부터 프로젝션된 제 2 2D 이미지를 생성하는 과정, 상기 제 1 위치와 상기 제 2 위치 사이의 제 3 위치에 중심을 갖는 제 3 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는 제 3 2D 이미지를 생성하는 과정, 상기 제 2 전방향 이미지의 중심과 제 4 전방향 이미지의 중심을 통과하는 직선과 교차하는 위치에 기초하여 상기 제4 전방향 이미지로부터 프로젝션된 제 4 2D 이미지를 생성하는 과정, 상기 제 2 2D 이미지 및 상기 제 4 2D 이미지에 기초하여, 상기 제 2 위치와 상기 제 4 위치 사이의 제 5 위치에 중심을 갖는 제 5 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는 제 5 2D 이미지를 생성하는 과정, 상기 제 1 2D 이미지 및 상기 제 4 2D 이미지에 기초하여, 상기 제 1 위치와 상기 제 4 위치 사이의 제 6 위치에 중심을 갖는 제 6 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는 제 6 2D 이미지를 생성하는 과정, 상기 제3 2D 이미지, 상기 제5 2D 이미지 및 상기 제 6 2D 이미지와 상기 제1 전방향 이미지에 대한 가중치, 상기 제2 전방향 이미지에 대한 가중치 및 상기 제4 전방향 이미지에 대한 가중치를 기초로 상기 제1 위치, 상기 제2 위치 및 상기 제4 위치 사이의 제7 위치에 중심을 갖는 제7 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는 제7 2D 이미지를 생성하는 과정을 포함한다.
본 개시의 다양한 실시 예에 따른 전방향(omnidirectional) 이미지에 관한 정보를 프로세싱하기 위한 장치는, 통신 인터페이스, 및 상기 통신 인터페이스에 연결된 프로세서를 포함하고, 상기 프로세서는, 제 1 전방향 이미지의 중심인 제 1 위치와 제 2 전방향 이미지의 중심인 제 2 위치를 통과하는 직선과 교차하는 위치에 기초하여 상기 제1 전방향 이미지로부터 프로젝션된 제 1 2D(2 dimensional) 이미지를 생성하고, 상기 제 1 위치와 상기 제 2 위치를 통과하는 직선과 교차하는 위치에 기초하여 제 2 전방향 이미지로부터 프로젝션된 제 2 2D 이미지를 생성하고, 상기 제 1 위치와 상기 제 2 위치 사이의 제 3 위치에 중심을 갖는 제 3 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는 제 3 2D 이미지를 생성하고, 상기 제 2 전방향 이미지의 중심과 제 4 전방향 이미지의 중심을 통과하는 직선과 교차하는 위치에 기초하여 상기 제4 전방향 이미지로부터 프로젝션된 제 4 2D 이미지를 생성하고, 상기 제 2 2D 이미지 및 상기 제 4 2D 이미지에 기초하여, 상기 제 2 위치와 상기 제 4 위치 사이의 제 5 위치에 중심을 갖는 제 5 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는 제 5 2D 이미지를 생성하고, 상기 제 1 2D 이미지 및 상기 제 4 2D 이미지에 기초하여, 상기 제 1 위치와 상기 제 4 위치 사이의 제 6 위치에 중심을 갖는 제 6 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는 제 6 2D 이미지를 생성하고, 상기 제3 2D 이미지, 상기 제5 2D 이미지 및 상기 제 6 2D 이미지와 상기 제1 전방향 이미지에 대한 가중치, 상기 제2 전방향 이미지에 대한 가중치 및 상기 제4 전방향 이미지에 대한 가중치를 기초로 상기 제1 위치, 상기 제2 위치 및 상기 제4 위치 사이의 제7 위치에 중심을 갖는 제7 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는 제7 2D 이미지를 생성하도록 구성된다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 개시의 다양한 실시 예를 기반으로 전방향 이미지들을 생성하거나 공급한다면, VR 또는 AR을 지원하는 콘텐트를 생성하기 위한 연산 부담을 절감할 수 있을 것이다.
도 1은 본 개시에서 제안된 다양한 실시 예에 따라, 새로운 중심을 갖는 전방향 이미지의 생성 예를 도시한 도면이다.
도 2는 본 개시에서 제안된 다양한 실시 예에 따라, 특정 지점에서 서로 다른 중심을 갖는 전방향 이미지들 각각의 중심을 바라본 예를 도시한 도면이다.
도 3은 본 개시에서 제안된 다양한 실시 예에 따라, 서로 다른 중심을 갖는 두 개의 전방향 이미지가 ERP(equirectangular projection) 방식에 의해 프로젝션된 예를 도시한 도면이다.
도 4는 본 개시에서 제안된 다양한 실시 예에 따라, 제 1 및 제 2 2D 이미지에 기초하여 제 3 2D 이미지를 생성하는 예를 도시한 도면이다.
도 5는 본 개시에서 제안된 다양한 실시 예에 따라, 제 1 및 제 2 2D 이미지에 기초하여 제 3 2D 이미지를 생성하는 예를 도시한 도면이다.
도 6은 본 개시에서 제안된 다양한 실시 예에 따라, 제 3 전방향 이미지의 중심을 설정하는 예를 도시한 도면이다.
도 7은 본 개시에서 제안된 다양한 실시 예에 따른, 전방향 이미지를 프로세싱하기 위한 제어 흐름을 도시한 도면이다.
도 8은 본 개시에서 제안된 다양한 실시 예에 따른, 제1 및 제2 2D 이미지 상에서의 깊이 값 추정에 대한 오류를 도시한 도면이다.
도 9는 본 개시에서 제안된 다양한 실시 예에 따라, 카메라들 및 카메라들에 대응하는 전방향 이미지들을 도시한 도면이다.
본 개시에서 제안된 다양한 실시 예에 따른, 전방향 이미지를 프로세싱하기 위한 카메라의 배치 예를 도시한 도면이다.
도 10a 및 10b는 본 개시에서 제안된 다양한 실시 예에 따른, 제4 2D 이미지를 생성하는 예들을 도시한 도면이다.
도 11은 본 개시에서 제안된 다양한 실시 예에 따른, 가중치 맵을 사용하여 제4 2D 이미지를 생성하는 예를 도시한 도면이다.
도 12는 본 개시에서 제안된 다양한 실시 예에 따른, 가중치 맵을 도시한 도면이다.
도 13은 본 개시에서 제안된 다양한 실시 예에 따른, 전방향 이미지를 프로세싱하기 위한 제어 흐름을 도시한 도면이다.
도 14는 본 개시에서 제안된 다양한 실시 예에 따른, 전방향 이미지를 프로세싱하기 위한 장치를 도시한 도면이다.
도 15는 본 개시에서 제안된 다양한 실시 예에 따른, 전방향 이미지를 프로세싱하기 위한 장치를 도시한 도면이다.
이하, 본 문서의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 이는 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 문서의 실시 예의 다양한 변경 (modifications), 균등물 (equivalents), 및/또는 대체물 (alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징 (예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소 (예: 제 1 구성요소)가 다른 구성요소 (예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어 ((operatively or communicatively) coupled with/to)" 있다거나 "접속되어 (connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 또 다른 구성요소 (예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소 (예: 제 1 구성요소)가 다른 구성요소 (예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 또 다른 구성요소 (예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된 (또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한 (suitable for)", "~하는 능력을 가지는 (having the capacity to)", "~하도록 설계된 (designed to)", "~하도록 변경된 (adapted to)", "~하도록 만들어진 (made to)", 또는 "~를 할 수 있는 (capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된 (또는 설정된)"은 하드웨어적으로 "특별히 설계된 (specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된 (또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서 (예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서 (generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥 상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 문서의 다양한 실시 예들에 따른 전자장치는, 예를 들면, 스마트 폰 (smart phone), 태블릿 PC (tablet personal computer), 이동전화기 (mobile phone), 영상 전화기, 전자책 리더기 (e-book reader), 데스크탑 PC (desktop personal computer), 랩탑 PC (laptop personal computer), 넷북 컴퓨터 (netbook computer), 워크스테이션 (workstation), 서버, PDA (personal digital assistant), PMP (portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라 (camera), 또는 웨어러블 장치 (wearable device) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에 따르면, 웨어러블 장치는 액세서리형 (예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치 (head-mounted-device(HMD)), 직물 또는 의류 일체형 (예: 전자의복), 신체 부착형 (예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형 (예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에서, 전자장치는 가전제품 (home appliance)일 수 있다. 가전제품은, 예를 들면, 텔레비전, DVD (digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기청정기, 셋톱박스 (set-top box), 홈 오토매이션 컨트롤 패널 (home automation control panel), 보안 컨트롤 패널 (security control panel), TV 박스 (예: 삼성 HomeSyncTM, 애플 TVTM 또는 구글 TVTM), 게임콘솔 (예: XboxTM, PlayStationTM), 전자사전, 전자키, 캠코더 (camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자장치는, 각종의료기기 (예: 각종 휴대용 의료측정기기 (혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA (magnetic resonance angiography), MRI (magnetic resonance imaging), CT (computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 (navigation) 장치, GPS 수신기 (global positioning system receiver), EDR (event data recorder), FDR (flight data recorder), 자동차 인포테인먼트 (infotainment) 장치, 선박용 전자장비 (예:선박용 항법장치, 자이로콤파스 등), 항공전자기기 (avionics), 보안기기, 차량용 헤드 유닛 (head unit), 산업용 또는 가정용 로봇, 금융기관의 ATM (automatic teller's machine), 상점의 POS (point of sales), 또는 사물 인터넷 장치 (internet of things)(예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기 (thermostat), 가로등, 토스터 (toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예에 따르면, 전자장치는 가구 (furniture) 또는 건물/구조물의 일부, 전자 보드 (electronic board), 전자 사인 수신 장치 (electronic signature receiving device), 프로젝터 (projector), 또는 각종 계측기기 (예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에서, 전자장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시 예에 따른 전자장치는 플렉서블 전자장치일 수 있다. 또한, 본 문서의 실시 예에 따른 전자장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자장치를 포함할 수 있다.
이하, 첨부 도면을 참조하여, 다양한 실시 예에 따른 전자장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자장치를 사용하는 사람 또는 전자장치를 사용하는 장치 (예: 인공지능 전자장치)를 지칭할 수 있다.
도 1은 본 개시에서 제안된 다양한 실시 예에 따라, 새로운 중심을 갖는 전방향 이미지의 생성 예를 도시한 도면이다.
도 1을 참조하면, 제 1 카메라(C1) 및 제 2 카메라(C2) 각각은 촬영을 통해 전방향 이미지를 생성할 수 있다. 이를 위해, 제 1 카메라(C1) 및 제 2 카메라(C2) 각각은 하나의 전방향 카메라 또는 복수의 카메라들의 집합에 의해 구성될 수 있다. 제 1 카메라(C1)와 제 2 카메라(C2)는 서로 다른 중심을 가지며, 일정 거리 이격되어 설치될 수 있다.
하나의 실시 예에 따르면, 제 1 전방향 이미지(O1)는 제 1 카메라(C1)에 의해 캡처 및 생성될 수 있다. 제 2 전방향 이미지(O2)는 제 2 카메라(C2)에 의해 캡처 및 생성될 수 있다. 제 1 전방향 이미지(O1) 및 제 2 전방향 이미지(O2) 각각은 구의 형상으로 렌더링될(rendered) 수 있다. 제 1 전방향 이미지(O1)의 중심(L1)은 제 1 카메라(C1)의 위치에 대응할 수 있다. 제 2 전방향 이미지(O2)의 중심(L2)은 제 2 카메라(C2)의 위치에 대응할 수 있다.
에피폴(epipole)들(e1, e2, e3, e4)은 제 1 전방향 이미지(O1)의 중심(L1)과 제 2 전방향 이미지(O2)의 중심(L2)을 연결하는 직선과 제 1 전방향 이미지(O1) 및 제 2 전방향 이미지(O2)가 교차하는 점들로 정의할 수 있다.
제 3 전방향 이미지(O3)에 대한 데이터는 제 1 전방향 이미지(O1)에 관한 데이터 및 제 2 전방향 이미지(O2)에 관한 데이터에 기초하여 생성될 수 있다. 제 3 전방향 이미지(O3)는 제 3 카메라(C3)에 의해 획득될 수 있는 전방향 이미지로 간주될 수 있다. 제 3 카메라(C3)는 가상의(virtual) 카메라일 수 있다. 제 3 전방향 이미지(O3)의 중심(L3)은 제 3 카메라(C3)의 위치에 대응할 수 있다. 제 3 전방향 이미지(O3)의 중심(L3)은 제 1 전방향 이미지(O1)의 중심(L1)과 제 2 전방향 이미지(O2)의 중심(L2)을 연결하는 직선 상에서, 제 1 전방향 이미지(O1)의 중심(L1)과 제 2 전방향 이미지(O2)의 중심(L2) 사이에 위치할 수 있다.
제 1 전방향 이미지(O1)의 북극(N1)과 남극(S1)을 통과하는 축은 제 2 전방향 이미지(O2)의 북극(N2)과 남극(S2)을 통과하는 축에 평행하지 않을 수 있다. 이러한 경우, 제 1 전방향 이미지(O1)로부터 프로젝션된 제1 2D 이미지와 제 2 전방향 이미지(O2)로부터 프로젝션된 제2 2D 이미지는 서로 정렬(align)되지 않을 수 있다. 상기 제1 2D 이미지는 제 1 전방향 이미지(O1)의 북극(N1)과 남극(S1)을 기준으로 ERP(equirectangular projection) 방식으로 제 1 전방향 이미지(O1)로부터 프로젝션될 수 있다. 상기 제2 2D 이미지는 제 2 전방향 이미지(O2)의 북극(N2)과 남극(S2)을 기준으로 ERP 방식으로 제 2 전방향 이미지(O2)로부터 프로젝션될 수 있다. 상기 정렬되지 않은 2D 이미지들로부터 제 3 전방향 이미지(O3)에 관한 데이터를 생성하는 것은, 프로세싱의 복잡도를 증가시켜, 시스템의 부하 및 전력 소비를 증가시킬 수 있다.
도 2는 본 개시에서 제안된 다양한 실시 예에 따라, 특정 지점에서 서로 다른 중심을 갖는 전방향 이미지들 각각의 중심을 바라본 예를 도시한 도면이다.
도 2를 참조하면, 전방향 이미지들(O1, O2)의 북극들(N1, N2) 및 남극들(S1, S2)은 에피폴들(e1, e2, 23, e4)의 위치로 재설정될 수 있다.
하나의 실시 예에 따르면, 제 1 전방향 이미지(O1)의 북극(N1) 및 남극(S1)은 각각 제 1 에피폴(e1) 및 제 2 에피폴(e2)로 설정될 수 있다. 제 2 전방향 이미지(O2)의 북극(N2) 및 남극(S2)은 각각 제 3 에피폴(e3) 및 제 4 에피폴(e4)로 설정될 수 있다. 예컨대, 전방향 이미지의 북극 또는 남극을 에피폴로 설정하는 것은 해당 전방향 이미지를 회전시키는 것에 의해 가능할 수 있다. 도면에서 전방향 이미지의 회전을 위한 방향 및 거리는 점선으로 표현되어 있다.
공간 상의 제 1 지점(P1)은 제 1 전방향 이미지(O1)의 제 1 위치(P11) 및 제 2 전방향 이미지(O2)의 제 2 위치(P12)에 표시될 수 있다. 전방향 이미지들(O1, O2)의 재설정된 북극들(N1', N2') 및 재설정된 남극들(S1', S2')에 기초하면, 제 1 위치(P11)의 경도와 제 2 위치(P12)의 경도(longitude)는 동일할 수 있다. 제 1 지점(P1)뿐만 아니라, 공간 상의 임의의 지점이 제 1 전방향 이미지(O1) 상에 표시되는 위치의 경도와 제 2 전방향 이미지(O2) 상에 표시되는 위치의 경도는 동일할 수 있다.
전방향 이미지들(O1, O2)의 재설정된 북극들(N1', N2') 및 재설정된 남극들(S1', S2')을 기준들로 하여, 전방향 이미지들(O1, O2) 각각에 대하여 ERP 방식의 프로젝션이 수행될 수 있다.
도 3은 본 개시에서 제안된 다양한 실시 예에 따라, 서로 다른 중심을 갖는 두 개의 전방향 이미지가 ERP(equirectangular projection) 방식에 의해 프로젝션된 예를 도시한 도면이다.
도 3을 참조하면, 제 1 2D 이미지(E1) 및 제 2 2D 이미지(E2)는 각각 제 1 전방향 이미지(O1) 및 제 2 전방향 이미지(O2)로부터 EPR 방식에 의해 프로젝션되어 생성될 수 있다. 제 1 2D 이미지(E1)의 좌측 변 및 우측 변은 각각 제 1 에피폴(e1) 및 제 2 에피폴(e2)에 대응할 수 있다.
예컨대, ERP 방식의 프로젝션에서, 2D 이미지의 특정한 위치의 y 좌표는 전방향 이미지의 대응하는 위치의 경도에 대응할 수 있다. 2D 이미지의 특정한 위치의 x 좌표는 전방향 이미지의 대응하는 위치와 북극(즉, 에피폴)사이의 전방향 이미지의 중심을 기준으로 하는 각도에 대응할 수 있다. 따라서, 제 1 2D 이미지(E1) 상의 제 1 위치(P11)의 y 좌표와, 제 2 2D 이미지(E2) 상의 제 2 위치(P12)의 y 좌표는 동일할 수 있다. 마찬가지로, 제 1 2D 이미지(E1) 상의 임의의 위치와 제 2 2D 이미지(E2) 상의 대응하는 위치의 y 좌표들은 동일할 수 있다. 즉, 2D 이미지들(E1, E2) 상에서 대응하는 위치들이 동일한 y 좌표 상에서 정렬되므로, 2D 이미지들(E1, E2)에 기초하여 제 3 전방향 이미지(O3)에 대한 데이터를 생성하기 위한 프로세스는 간편해질 수 있다.
도 4는 본 개시에서 제안된 다양한 실시 예에 따라, 제 1 및 제 2 2D 이미지에 기초하여 제 3 2D 이미지를 생성하는 예를 도시한 도면이다.
도 4를 참조하면, 공간 상의 임의의 제 2 지점(P2)은 제 1 2D 이미지(E1) 상의 제 3 위치(p21) 및 제 2 2D 이미지(E2) 상의 제 4 위치(p22) 상에 표시될 수 있다. 제 3 2D 이미지(E3)는 제 3 전방향 이미지(O3)로부터 ERP 방식에 의해 프로젝션된 이미지에 대응할 수 있다. 제 2 지점(P2)은 제 3 2D 이미지(E3) 상의 제 5 위치(p23) 상에 표시될 수 있다.
제 3 위치(p21), 제 4 위치(p22) 및 제 5 위치(p23)의 좌표들의 y값들은 동일할 수 있다.
표시된 λ는 제 3 위치(p21)의 x 좌표의 값과 제 4 위치(p22)의 x 좌표의 값의 차이 값(disparity value)에 의해 정의될 수 있다. 즉, 제 3 위치(p21)의 x 좌표의 값을 x1, 제 4 위치(p22)의 x 좌표의 값을 x2라 할 때, λ = x1 - x2 이다. 제 5 위치(p23)의 x 좌표의 값을 x3라고 하면, x3 = x1 - a × λ 로 표현될 수 있다. 여기서, a는 제 1 전방향 이미지(O1)의 중심(L1)과 제 2 전방향 이미지(O2)의 중심(L2) 사이의 거리에 대한 제 1 전방향 이미지(O1)의 중심(L1)과 제 3 전방향 이미지(O3)의 중심(L3) 사이의 거리의 비이다. 이러한 방식을 통해, 공간 상의 지점들에 대응하는 제 3 2D 이미지(E3) 상의 위치들을 식별함으로써, 제 3 2D 이미지(E3)를 생성할 수 있다. 제 3 2D 이미지(E3)는, 제 1 전방향 이미지(O1)의 중심(L1)과 제 2 전방향 이미지의 중심(L2)를 통과하는 직선과 교차하는 제 3 전방향 이미지(O3) 상의 점들(e5, e6)(즉, 에피폴들)을 각각 북극 및 남극으로 설정하여 제 3 전방향 이미지(O3)를 ERP 방식에 의해 프로젝션하여 생성된 2D 이미지에 대응할 수 있다.
도 5는 본 개시에서 제안된 다양한 실시 예에 따라, 제 1 및 제 2 2D 이미지에 기초하여 제 3 2D 이미지를 생성하는 예를 도시한 도면이다.
도 5를 참조하면, 공간 상의 제 3 지점(P3)은 제 1 전방향 이미지(O1) 상의 제 6 위치(P31), 제 2 전방향 이미지(O2) 상의 제 7 위치(P32) 및 제 3 전방향 이미지(O3) 상의 제 8 위치(P33)에 표시될 수 있다. 전방향 이미지 상의 특정한 위치에 대응하는 ERP 프로젝션된 2D 이미지 상의 위치의 x 좌표는 전방향 이미지의 북극(즉, 에피폴)과 전방향 이미지 상의 특정한 위치 사이의 전방향 이미지의 중심을 기준으로 하는 각도에 대응할 수 있다.
하나의 실시 예에 따르면, 제 6 위치(P31)의 제 1 2D 이미지(E1) 상의 x 좌표는 θL에 대응할 수 있다. 제 7 위치(P32)의 제 2 2D 이미지(E2) 상의 x 좌표는 θR에 대응할 수 있다. 제 6 위치(P31)의 제 1 2D 이미지(E1) 상의 x 좌표와 제 7 위치(P32)의 제 2 2D 이미지(E2) 상의 x 좌표의 차이 값(disparity value)는 θL - θR로 표현될 수 있으며, 이는 α + β와 동일하다.
제 8 위치(P33)의 제 3 전방향 이미지(O3)로부터 ERP 방식으로 프로젝션된 2D 이미지 상의 x 좌표는 θC에 대응할 수 있다. θC = θL - α 이다. 여기서 α는 수식 1에 의해 획득될 수 있다.
Figure 112018083963888-pat00001
- 수식 1
제 6 위치(P31), 제 7 위치(P32) 및 제 8 위치(P33)의 2D 이미지 상의 y 좌표들은 서로 동일할 수 있다.
이러한 방식을 통해, 공간 상의 지점들에 대응하는 제 3 전방향 이미지(O3)로부터 ERP 방식으로 프로젝션된 2D 이미지 상의 위치들을 식별할 수 있다. 이 경우, 2D 이미지는 제 3 전방향 이미지(O3)로부터 에피폴들(e5, e6)을 각각 북극 및 남극으로 설정하여 ERP 방식으로 프로젝션하여 생성할 수 있다.
도 6은 본 개시에서 제안된 다양한 실시 예에 따라, 제 3 전방향 이미지의 중심을 설정하는 예를 도시한 도면이다.
도 6을 참조하면, 제 3 전방향 이미지(O3)의 중심(L3)은 제 1 전방향 이미지(O1)의 중심(L1)과 제 2 전방향 이미지(O2)의 중심(L2)을 통과하는 직선 상에 존재할 수 있다. 예컨대, 제 3 전방향 이미지(O3)의 중심(L3)은 제 1 전방향 이미지(O1)의 중심(L1)과 제 2 전방향 이미지(O2)의 중심(L2)을 사이의 양자화된(quantized) 위치들(A1, A2, A3) 중에서 선택될 수 있다. 예시적으로 3 개의 양자화된 위치들(A1, A2, A3)이 도시되어 있으나, 양자화된 위치들의 개수는 그보다 크거나 작게 설정될 수 있다. 제 1 전방향 이미지(O1)의 중심(L1), 제 2 전방향 이미지(O2)의 중심(L2) 및 복수의 양자화된 위치들(A1, A2, A3) 사이의 간격은 균일하게 설정될 수 있다. 하지만, 그 간격이 반드시 균일하여야 만 하는 것은 아니다.
하나의 실시 예에 따르면, 제 3 전방향 이미지(O3)의 중심(L3)은 복수의 양자화된 위치들(A1, A2, A3) 중 전방향 이미지를 디스플레이하기 위한 디바이스(D) 또는 디바이스(D)의 사용자와 가장 근접한 위치에 의해 설정될 수 있다. 예컨대, 제 2 양자화된 위치(A2)는 제 3 전방향 이미지(O3)의 중심으로서 설정될 수 있다. 복수의 양자화된 위치들(A1, A2, A3)과 전방향 이미지를 디스플레이하기 위한 디바이스(D) 또는 디바이스(D)의 사용자의 거리들 각각이 제 1 전방향 이미지(O1)의 중심(L1)과 전방향 이미지를 디스플레이하기 위한 디바이스(D) 또는 디바이스(D)의 사용자와의 거리보다 클 경우, 전방향 이미지를 디스플레이하기 위한 디바이스(D)에서 제 1 전방향 이미지(O1)에 대응하는 이미지가 디스플레이될 수 있다. 이러한 경우 제 3 전방향 이미지(O3)는 생성되지 않거나, 또는 전방향 이미지를 디스플레이하기 위한 디바이스(D)로 전달되지 않을 수 있다.
하나의 실시 예에 따르면, 디바이스(D) 또는 디바이스(D)의 사용자가 이동 중인 경우, 현재 디바이스(D)에서 디스플레이되고 있는 전방향 이미지의 중심과 디바이스(D)와의 거리에 대한, 복수의 양자화된 위치들(A1, A2, A3)중 인접한 양자화된 위치와 디바이스(D)와의 거리의 비가 임계치 미만이 되거나 또는 임계치 이하가 되는 경우, 디바이스(D)는 인접한 양자화된 위치를 중심으로 하는 전"??? 이미지를 디스플레이할 수 있다. 이를 위해, 전방향 이미지에 대한 데이터를 전송하기 위한 장치(예를 들어, 서버)는 인접한 양자화된 위치를 중심으로 하는 전방향 이미지에 관한 데이터를 생성하고, 그리고 디바이스(D)로 전송할 수 있다. 현재 디바이스(D)에서 제 1 양자화된 위치(A1)를 중심으로 하는 전방향 이미지가 디스플레이되고 있는 경우, 디바이스(D)와 제 1 양자화된 위치(A1) 사이의 거리(d1)에 대한 디바이스(D)와 제 2 양자화된 위치(A2) 사이의 거리(d2)의 비가 임계치 이하가 되거나 도는 임계치 미만이 되는 경우, 디바이스(D)는 제 2 양자화된 위치(A2)를 중심으로 하는 전방향 이미지를 디스플레이할 수 있다.
하나의 실시 예에 따르면, 전방향 이미지에 대한 데이터를 전송하기 위한 장치는 복수의 양자화된 위치들(A1, A2, A3) 각각을 중심으로 하는 전방향 이미지에 관한 데이터를 미리 생성하여 저장할 수 있다. 전방향 이미지에 대한 데이터를 전송하기 위한 장치는 미리 생성되어 저장된 복수의 전방향 이미지들에 대한 데이터 중, 필요에 의해 선택된 전방향 이미지에 대한 데이터를 디바이스(D)로 전송할 수 있다.
하나의 실시 예에 따르면, 디바이스(D)는 복수의 복수의 양자화된 위치들(A1, A2, A3) 각각을 중심으로 하는 전방향 이미지에 대한 데이터를 저장할 수 있다. 디바이스(D)는 저장된 복수의 전방향 이미지들에 대한 데이터 중, 필요에 의해 선택된 전방향 이미지에 대한 데이터를 리트리브하여, 선택된 전방향 이미지를 디스플레이할 수 있다.
도 7은 본 개시에서 제안된 다양한 실시 예에 따른, 전방향 이미지를 프로세싱하기 위한 제어 흐름을 도시한 도면이다.
도 7을 참조하면, 단계(710)에서, 전방향 이미지를 프로세싱하는 프로세서는 제 1 전방향 이미지의 에피폴들을 극들로 설정하여, 제 1 전방향 이미지를 제 1 2D 이미지로 프로젝션하고, 그리고 제 2 전방향 이미지의 에피폴들을 극들로 설정하여, 제 2 전방향 이미지를 2D 이미지로 프로젝션할 수 있다. 단계(710)의 구체적인 동작들은 도 2 및 도 3에서 설명된 바와 같다.
단계(720)에서, 프로세서는 제 1 2D 이미지 및 제 2 2D 이미지로부터 제 3 전방향 이미지에 대응하는 제 3 2D 이미지를 생성할 수 있다. 단계(720)의 구체적인 동작들은 도 4에서 설명된 동작들 또는 도 5에서 설명된 동작들일 수 있다.
도 7에서 설명된 단계들(710, 720)은 전방향 이미지에 대한 데이터를 전송하기 위한 장치(예를 들어, 서버)에서 수행될 수 있다. 하나의 실시 예에 따르면, 도 7에서 설명된 단계들(710, 720)이 전방향 이미지에 대한 데이터를 디스플레이하기 위한 장치(예를 들어, VR 디바이스)에서 수행될 수 있다.
도 8은 본 개시에서 제안된 다양한 실시 예에 따른, 제1 및 제2 2D 이미지 상에서의 깊이 값 추정에 대한 오류를 도시한 도면이다.
도 8을 참조하면, 공간 상의 제4 지점(P4)은 제1 전방향 이미지(O1) 상의 제9 위치(P41), 제2 전방향 이미지(O2) 상의 제10 위치(P42)에 위치할 수 있다. 하지만, 프로세싱의 오류로 인해 공간 상의 제4 지점(P4)이 제2 전방향 이미지(O2) 상의 제11 위치(P43)에 표시될 수 있다.
제10 위치(P42)의 제2 2D 이미지(E2) 상의 x좌표는 θD에 대응할 수 있으며, 제11 위치(P43)의 제2 2D 이미지(E2) 상의 x좌표는 θE에 대응할 수 있다. 이에 따라, 공간 상의 제4 지점(P4)에 대한 제2 2D 이미지(E2) 상의 x좌표에 대해서는 θF=θD-θE에 대응하는 오차가 발생할 수 있다. θF에 대응하는 오차로 인해 ez1의 깊이 오류(depth error)가 발생할 수 있다.
에피폴 부근에 위치하는 공간 상의 제5 지점(P5)은 제1 전방향 이미지(O1) 상의 제12 위치(P44), 제2 전방향 이미지(O2) 상의 제13 위치(P45)에 위치할 수 있다. 하지만, θF에 대응하는 오차로 인해 공간 상의 제5 지점(P5)은 제2 전방향 이미지(O2) 상의 제14 위치(P46)에 표시될 수 있다.
공간 상의 제5 지점(P5)에 대한 제2 2D 이미지(E2) 상의 x좌표에 대해서 공간 상의 제4 지점(P4)과 동일하게 θF에 대응하는 오차가 발생하지만, 에피폴 부근에서 ez1보다 더 큰 ez2의 깊이 오류를 발생시킨다. 즉, 에피폴 부근에서는 작은 x좌표의 값의 차이값(disparity value)으로도 큰 깊이 오류가 발생할 수 있다.
깊이 오류가 있는 제1 및 제2 2D 이미지를 기초로 제3 2D 이미지를 생성하는 경우, 불완전한 제3 2D 이미지가 생성된다. 따라서, 제1 2D 이미지 및 제2 2D 이미지 외의 2D 이미지를 추가하여, 해당하는 영역에 대해서 정보를 얻어 완벽한 제3 2D 이미지를 생성하는 방법을 제안한다.
도 10a를 참조하면, 제1 카메라(C1)에 대응하는 제1 전방향 이미지(O1), 제2 카메라(C2)에 대응하는 제2 전방향 이미지(O2) 및 제3 카메라(C3)에 대응하는 제3 전방향 이미지(O3)는 각각 2개씩의 depth map(2D 이미지)을 가질 수 있다. 제1 전방향 이미지(O1)의 경우에는 제1 전방향 이미지(O1)와 제2 전방향 이미지(O2) 에 대한 제5 depth map(제5 2D 이미지(1005)), 그리고 제1 전방향 이미지(O1)과 제3 전방향 이미지(O3)에 대한 제7 depth map(제7 2D 이미지(1007))을 가진다. 제5 depth map 및 제7 depth map은 각각 오차가 큰 깊이 오류의 영역(에피폴 부근)이 다르므로, 제5 depth map 및 제7 depth map의 깊이 값을 결합하여, 정밀한 제 8 depth map(제8 2D 이미지(1008))을 생성 수 있다.
본 개시에서의 제안들은 제5 depth map 및 제7 depth map에 국한되지 않으며, 카메라 개수의 증가에 따라 더 많은 depth map이 존재할 수 있다. 더 많은 depth map이 존재할수록 제3 2D 이미지는 더 정밀해진다.
제5 depth map 및 제7 depth map을 결합하여, 제8 depth map(제8 2D 이미지(1008))을 계산하기 위해서는 신뢰도가 필요하다. 신뢰도란 제5 depth map 및 제7 depth map의 픽셀에 대한 가중치를 의미하는 것으로, 제8 depth map을 생성할 때, 신뢰도에 기초하여 어느 depth map의 픽셀에 얼마만큼의 가중치를 부여할 지가 결정된다. 여기서, 5 depth map 및 제7 depth map에서 서로 대응하는 픽셀들에 대한 신뢰도 합은 1이다.
예를 들어 제5 depth map의 제3 픽셀의 신뢰도는 0.7이고, 제7 depth map의 제3 픽셀의 신뢰도는 0.3일 수 있다. 따라서, 제5 depth map 및 제7 depth map의 제3 픽셀에 대한 신뢰도 합은 1일 수 있다. 신뢰도는 픽셀마다 각각 상이할 수 있다. 또한, 신뢰도는 0부터 1사이의 임의의 실수 값으로, 클 경우 높은 신뢰도를, 작을수록 낮은 신뢰도를 의미한다.
구형의 중심은 높은 신뢰도를, 에피폴 부근은 낮은 신뢰도를 가진다. 에피폴 부근에서는 작은 오차도 실제 깊이 추정에서 큰 오차의 원인이 되기 때문이다.
신뢰도를 계산하는 방법은 도 12에 구체적으로 개시한다. 제8 depth map은 예를 들어, 제5 depth map 및 제7 depth map의 각 픽셀 별로 신뢰도와 depth 값을 곱한 픽셀 값에 기초하여 생성될 수 있다. 이 때, 하나의 픽셀에 대한 제5 depth map 및 제7 depth map의 깊이 차이가 정해진 임계값보다 작을 경우에는 신뢰도에 기반하여 픽셀 값을 계산하고, 그렇지 않은 경우에는 신뢰도가 높은 depth map의 픽셀 값을 그대로 사용한다. 이것을 Winner Takes All 기법이라고 부른다.
본 개시에서 제안된 다양한 실시 예에서는, 제4 전방향 이미지(O4)에 대응하는 3D 영상을 생성할 수 있다. 각 카메라(C1, C2, C3)의 중심이 일치되어 있기 때문에, 각 카메라(C1, C2, C3)의 위치에 기초하여, 각 픽셀의 3차원 위치를 계산할 수 있다. 즉, 카메라(C1, C2, C3)에 대응하는 제8 2D 이미지(1008), 제9 2D 이미지(1009) 및 제10 2D 이미지(1010)에 대한 각 픽셀의 3차원 위치(x,y,z)를 계산할 수 있다. 상기 각 픽셀의 3차원 위치를 기초로 제4 2D 이미지(1004)에 대응하는 3D 영상을 생성할 수 있다.
상기 3D 영상을 생성하기 위해서 제4 전방향 이미지(O4)에 대응하는 카메라(C4, 도면에 도시되어 있지 않음)의 위치와 방향을 결정할 수 있다. 여기서, 상기 카메라의 위치와 방향은 사용자의 뷰 포인트(view point)와 일치한다. 사용자의 뷰 포인트는 사용자의 움직임에 따라 변경될 수 있다.
상기 카메라의 위치와 방향과 동일하게, 도 10a에 개시된 제1 전방향 이미지(O1), 제2 전방향 이미지(O2) 및 제3 전방향 이미지(O3)에 대응하는 제8 depth map(제8 2D 이미지), 제9 depth map(제9 2D 이미지) 및 제10 depth map(제10 2D 이미지)의 위치와 방향을 변환한다. 이 후, 제4 전방향 이미지(O4)에 해당하는 ERP 영상 즉, 3D 영상을 생성한다.
ERP 영상의 각 픽셀은 3차원 정보(x,y,z)를 가진다. 상기 3차원 정보(x, y, z)에 해당하는 색상 값은 제1 전방향 이미지(O1), 제2 전방향 이미지(O2) 및 제3 전방향 이미지(O3)의 3차원 정보에 해당하는 픽셀 값을 이용하여 결정한다. 상기 픽셀 값은 제1 전방향 이미지(O1)에 대응하는 카메라(C1)와 제4 전방향 이미지(O4)에 대응하는 카메라(C4) 간의 거리, 제2 전방향 이미지(O2)에 대응하는 카메라(C2)와 제4 전방향 이미지(O4)에 대응하는 카메라(C4) 간의 거리 및 제3 전방향 이미지(O3)에 대응하는 카메라(C3)와 제4 전방향 이미지(O4)에 대응하는 카메라(C4) 간의 거리에 반비례 하는 가중치에 기반해서 계산된다. 여기서, 하나의 픽셀에 대한 가중치의 합은 1이다.
제8 depth map, 제9 depth map 및 제10 depth map에서의 해당 픽셀에 대한 색상 값의 차이가 임계값 보다 이하인 경우에는 앞서 개진한 바와 같이 제8 depth map, 제9 depth map 및 제10 depth map 각각의 색상 값에 가중치를 적용한 평균 값을 해당 픽셀의 색상 값으로 결정한다. 상기 해당 픽셀에 대한 색상 값의 차이가 임계값 보다 초과되는 경우에는 제8 depth map, 제9 depth map 및 제10 depth map의 픽셀에서 가장 가중치가 큰 색상 값을 3D 영상에서 해당 픽셀의 색상 값으로 결정한다.
도 9는 본 개시에서 제안된 다양한 실시 예에 따른 카메라들 및 카메라들에 대응하는 전방향 이미지들을 도시한 도면이다. 설명의 편의를 위해 3개의 카메라를 개시하였으나, 이에 제한되지 않으며 카메라의 개수는 3개 이상일 수 있다.
도 9를 참조하면, 제1 카메라(C1), 제2 카메라(C2) 및 제3 카메라(C3) 각각은 하나의 전방향 카메라 또는 복수의 카메라들의 집합일 수 있다. 제1 카메라(C1)에 의해 제1 전방향 이미지(O1)가 캡처 및 생성될 수 있다. 제2 카메라(C2)에 의해 제2 전방향 이미지(O2)가 캡처 및 생성될 수 있다. 제3 카메라(C3)에 의해 제3 전방향 이미지(O3)가 캡처 및 생성될 수 있다.
이 때, 제1 전방향 이미지(O1)와 제2 전방향 이미지(O2)의 에피폴들(e1, e2, e3, e4)은 일직선 상에 위치할 수 있다. 제2 전방향 이미지(O2)와 제3 전방향 이미지(O3)의 에피폴들(e5, e6, e7, e8)은 일직선 상에 위치할 수 있다. 또한, 제3 전방향 이미지(O3)와 제1 전방향 이미지(O1)의 에피폴들(e9, e10, e11, e12)은 일직선 상에 위치할 수 있다.
제1 전방향 이미지(O1)에 관한 데이터, 제2 전방향 이미지(O2)에 관한 데이터 및 제3 전방향 이미지(O3)에 관한 데이터에 기초하여 제4 전방향 이미지(O4)에 대한 데이터가 생성될 수 있다. 제4 전방향 이미지(O4)는 제4 카메라(C4)에 의해 획득된 이미지에 대응될 수 있다.
도 10a 및 10b는 본 개시에서 제안된 다양한 실시 예에 따른, 제4 2D 이미지를 생성하는 예들을 도시한 도면이다.
도 11은 본 개시에서 제안된 다양한 실시 예에 따른, 가중치 맵을 사용하여 제4 2D 이미지를 생성하는 예들을 도시한 도면이다. 설명의 편의를 위하여 도 10a, 도 10b 및 도 11을 함께 설명한다.
도 10a을 참조하면, 구체적인 제4 전방향 이미지(O4)에 대응하는 제4 2D 이미지를 생성하는 방법은 하기와 같다.
먼저, 프로세서는 제4 전방향 이미지(O4)에 대응하는 제4 2D 이미지를 생성하기 위해서는 제1 전방향 이미지(O1)와 제2 전방향 이미지(O2)에 기초하여 제5 2D 이미지(1005)를 생성하고, 제2 전방향 이미지(O2)와 제3 전방향 이미지(O3)에 기초하여 제6 2D 이미지(1006)를 생성하며, 제3 전방향 이미지(O3)와 제1 전방향 이미지(O1)에 기초하여 제7 2D 이미지(1007)를 생성한다.
여기서, 제5 2D 이미지(1005), 제6 2D 이미지(1006) 및 제7 2D 이미지(1007)는 도4, 도 5 및 도 6에 개시된 방법을 통해 생성될 수 있다.
제1 전방향 이미지(O1)을 기준으로 했을 때, 제4 2D 이미지의 생성에 제5 2D 이미지(1005) 및 제7 2D 이미지(1007)가 사용된다.
여기서, 제5 2D 이미지(1005)와 제7 2D 이미지(1007)는 서로 다른 에피폴들을 갖기 때문에, 에피폴들이 일치하도록 제5 2D 이미지(1005)와 제7 2D 이미지(1007)를 ERP 방식으로 프로젝션하여 제5-1 2D 이미지(1005-1)와 제7-1 2D 이미지(1007-1)를 생성한다.
가중치 맵에 대한 설명은 도 12에서 설명한다.
제5-1 2D 이미지(1005-1)와 제7-1 2D 이미지(1007-1)의 에피폴 부근은 깊이 오류로 인해 신뢰도가 낮을 수 있다. 따라서, 프로세서는 제5-1 2D 이미지(1005-1)에 대응하는 제5 가중치 맵 및 제7-1 2D 이미지(1007-1)에 대응하는 제7 가중치 맵에 기초하여 제5-1 2D 이미지(1005-1)와 제7-1 2D 이미지(1007-1)를 합성하여, 제8 2D 이미지(1008)를 생성한다.
제2 전방향 이미지(O2)를 기준으로 했을 때는, 제4 2D 이미지의 생성에 제5 2D 이미지(1005) 및 제6 2D 이미지(1006)가 사용된다.
여기서, 제5 2D 이미지(1005) 및 제6 2D 이미지(1006)가 서로 다른 에피폴들을 갖기 때문에, 프로세서는 에피폴들이 일치하도록 제5 2D 이미지(1005)와 제6 2D 이미지(1006)를 ERP 방식으로 프로젝션하여 제5-1 2D 이미지(1005-1)와 제6-1 2D 이미지(1006-1)를 생성한다.
제5-1 2D 이미지(1005-1)와 제6-1 2D 이미지(1006-1)의 에피폴 부근은 깊이 오류로 인해 신뢰도가 낮을 수 있다. 따라서, 제5-1 2D 이미지(1005-1)에 대응하는 제5 가중치 맵 및 제6-1 2D 이미지(1006-1)에 대응하는 제6 가중치 맵에 기초하여 제5-1 2D 이미지(1005-1)와 제6-1 2D 이미지(1006-1)를 합성하여, 제9 2D 이미지(1009)를 생성한다.
제3 전방향 이미지(O3)를 기준으로 했을 때는, 제4 2D 이미지의 생성에 제6 2D 이미지(1006) 및 제7 2D 이미지(1007)가 사용된다.
여기서, 제6 2D 이미지(1006) 및 제7 2D 이미지(1007)가 서로 다른 에피폴들을 갖기 때문에, 프로세서는 에피폴들이 일치하도록 제6 2D 이미지(1006)와 제7 2D 이미지(1007)를 ERP 방식으로 프로젝션하여 제6-1 2D 이미지(1006-1)와 제7-1 2D 이미지(1007-1)를 생성한다.
제6-1 2D 이미지(1006-1)와 제7-1 2D 이미지(1007-1)의 에피폴 부근은 깊이 오류로 인해 신뢰도가 낮을 수 있다. 따라서, 프로세서는 제6-1 2D 이미지(1006-1)에 대응하는 제6 가중치 맵 및 제7-1 2D 이미지(1007-1)에 대응하는 제7 가중치 맵에 기초하여 제6-1 2D 이미지(1006-1)와 제7-1 2D 이미지(1007-1)를 합성하여, 제10 2D 이미지(1010)를 생성한다.
제8 2D 이미지(1008)를 생성하는 방법과 관련하여, 도 11을 참조하면, 프로세서는 제5-1 2D 이미지(1005-1)와 제7-1 2D 이미지(1007-1)에 각각 대응하는 픽셀 값을 비교한다. 예를 들어, 프로세서는 제5-1 2D 이미지(1005-1)의 (θ, ø) 픽셀값과 제7-1 2D 이미지(1007-1)의 (θ, ø) 픽셀값의 차이가 미리 결정된 임계값을 초과하는지 결정한다.
만약, 제5-1 2D 이미지(1005-1)의 (θ, ø) 픽셀값와 제7-1 2D 이미지(1007-1)의 (θ, ø) 픽셀값의 차이가 미리 결정된 임계값을 초과하지 않는 경우, 프로세서는 (θ, ø) 픽셀에 대응하는 제5 가중치 맵(1005-2)의 가중치 값과 제7 가중치 맵(1007-2)의 가중치 값의 평균 값으로 제5-1 2D 이미지(1005-1)의 (θ, ø) 픽셀과 제7-1 2D 이미지(1007-1)의 (θ, ø) 픽셀을 합성할 수 있다.
제5-1 2D 이미지(1005-1)의 (θ, ø) 픽셀값와 제7-1 2D 이미지(1007-1)의 (θ, ø) 픽셀값의 차이가 미리 결정된 임계값을 초과하는 경우, 프로세서는 (θ, ø) 픽셀에 대응하는 제5 가중치 맵(1005-2)의 가중치 값과 제7 가중치 맵(1007-2)의 가중치 값 중 큰 가중치 값으로 제5-1 2D 이미지(1005-1)의 (θ, ø) 픽셀과 제7-1 2D 이미지(1007-1)의 (θ, ø) 픽셀을 합성할 수 있다.
이에 따라, 프로세서는 제5-1 2D 이미지(1005-1)와 제7-1 2D 이미지(1007-1)의 각 픽셀들을 가중치 값에 기초하여 합성함으로써 제8 2D 이미지(1008)를 생성할 수 있다.
프로세서는 제9 2D 이미지(1009) 또한 앞서 개진한 바와 같이 제5-1 2D 이미지(1005-1)와 제6-1 2D 이미지(1006-1)의 각 픽셀들을 가중치 값에 기초하여 합성함으로써 생성할 수 있다.
프로세서는 제10 2D 이미지(1010) 또한 앞서 개진한 바와 같이 제6-1 2D 이미지(1006-1)와 제7-1 2D 이미지(1007-1)의 각 픽셀들을 가중치 값에 기초하여 합성함으로써 생성할 수 있다.
도 10b를 참조하면, 제4 2D 이미지(1004)는 제1 전방향 이미지(O1), 제2 전방향 이미지(O2) 및 제3 전방향 이미지(O3) 각각과 제4 전방향 이미지(O4)의 거리에 따른 가중치 w1, w2, w3을 고려하여 제8 2D 이미지(1008), 제9 2D 이미지(1009) 및 제10 2D 이미지(1010)를 합성함으로써 생성될 수 있다.
제1 전방향 이미지(O1)에 대응하는 제8 2D 이미지, 제2 전방향 이미지(O2)에 대응하는 제9 2D 이미지 및 제3 전방향 이미지(O3)에 대응하는 제10 2D 이미지의 각 픽셀 값의 차이가 미리 결정된 임계값 이하인 경우, 프로세서는 거리의 역순으로 가중치를 계산한다.
예를 들어, 제1 전방향 이미지(O1)와 제4 전방향 이미지(O4)간의 거리가 2, 제2 전방향 이미지(O2)와 제4 전방향 이미지(O4)간의 거리가 3, 제3 전방향 이미지(O3)와 제4 전방향 이미지(O4)간의 거리가 5일 경우, 제1 전방향 이미지(O1)와 제4 전방향 이미지(O4) 간의 가중치 w1은 (1/2)/(1/2 + 1/3 + 1/5)로 계산될 수 있다. 또한, 제2 전방향 이미지(O2)와 제4 전방향 이미지(O4) 간의 가중치 w2는 (1/3)/(1/2 + 1/3 + 1/5)로, 제3 전방향 이미지(O3)와 제4 전방향 이미지(O4)간의 가중치 w3은 (1/5)/(1/2 + 1/3 + 1/5)로 계산될 수 있다.
즉, 제4 전방향 이미지(O4)와 가까운 거리에 있는 전방향 이미지에 대응하는 가중치가 높게 계산될 수 있다.
이에 따라, 프로세서는 상기 계산된 가중치 w1, w2, w3을 고려하여 제8 2D 이미지(1008), 제9 2D 이미지(1009) 및 제10 2D 이미지(1010)를 합성하여, 제4 2D 이미지(1004)를 생성할 수 있다.
가중치 w1, w2, w3의 합은 1이 되고, 가중치 w1, w2, w3을 계산하는 방법은 가중치 w1, w2, w3 중 하나의 가중치만을 고려하는 winner takes all, 가중치 w1, w2, w3의 합을 고려하는 weighted sum 등 다양한 방법이 존재하며, 이에 한정되지 않는다.
제1 전방향 이미지(O1)에 대응하는 제8 2D 이미지, 제2 전방향 이미지(O2)에 대응하는 제9 2D 이미지 및 제3 전방향 이미지(O3)에 대응하는 제10 2D 이미지의 각 픽셀 값의 차이가 미리 결정된 임계값 이상인 경우, 프로세서는 제1 전방향 이미지(O1)에 대응하는 제8 2D 이미지, 제2 전방향 이미지(O2)에 대응하는 제9 2D 이미지 및 제3 전방향 이미지(O3)에 대응하는 제10 2D 이미지의 픽셀 값의 차이 중 가장 작은 픽셀 값의 차이에 대응하는 2D 이미지의 RGB 값을 제10 2D 이미지(1010)의 합성에 사용할 수 있다. 예를 들어, 가장 작은 픽셀 값의 차이에 대응하는 2D 이미지가 제8 2D 이미지(1008)인 경우, 프로세서는 제8 2D 이미지(1008)의 RGB 값을 사용하여 제8 2D 이미지(1008), 제9 2D 이미지(1009) 및 제10 2D 이미지(1010)를 합성함으로써, 제4 2D 이미지(1004)를 생성할 수 있다.
이러한 방식을 통해, 프로세서는 임의의 공간에 위치하는 제4 전방향 이미지(O4)에 대응하는 제4 2D 이미지를 생성할 수 있다. 또한, 프로세서는 제1 전방향 이미지(O1), 제2 전방향 이미지(O2) 및 제3 전방향 이미지(O3) 각각과 제4 전방향 이미지(O4)의 거리에 따른 가중치를 고려하여 픽셀 값의 오류가 적은 제4 전방향 이미지(O4)에 대응하는 제4 2D 이미지를 생성할 수 있다. 즉, 거리에 따른 가중치를 고려함으로써 신뢰도가 높은 전방향 이미지를 기준으로 제4 전방향 이미지(O4)에 대응하는 제4 2D 이미지를 생성할 수 있다.
도 12는 본 개시에서 제안된 다양한 실시 예에 따른, 가중치 맵을 도시한 도면이다.
도 12를 참조하면, 제1 전방향 이미지(O1)의 가중치 맵(1005-2)은 각 픽셀의 cos ø값으로 구성될 수 있다. 예를 들어, 제1 전방향 이미지(O1)의 제1 위치(P51)에 해당하는 픽셀에 대응하는 좌표는 (θ, ø)이며, (θ, ø)에 대응하는 가중치 값은 cos ø 값일 수 있다. 설명의 편의를 위해 제1 전방향 이미지(O1)의 가중치 맵(1005-2)을 예로 들었으나, 도면에는 도시되어 있지 않지만 제2 전방향 이미지(O2) 및 제3 전방향 이미지(O3)의 가중치 맵 또한 각 픽셀의 cos ø값으로 구성될 수 있다.
또한, 설명의 편의를 위해 가중치 맵은 각 픽셀의 cos ø값임을 개시하였으나, 이에 한정되지 않으며, 가중치를 나타내는 다양한 값으로 구성될 수 있다.
도 13은 본 개시에서 제안된 다양한 실시 예에 따른, 전방향 이미지를 프로세싱하기 위한 제어 흐름을 도시한 도면이다.
도 13을 참조하면, 단계(1310)에서, 프로세서는 제1 전방향 이미지와 제2 전방향 이미지에 기초하여 제5 2D 이미지를 생성하고, 제2 전방향 이미지와 제3 전방향 이미지에 기초하여 제6 2D 이미지를 생성하며, 제3 전방향 이미지와 제1 전방향 이미지에 기초하여 제7 2D 이미지를 생성할 수 있다. 단계(1310)의 구체적인 동작들은 도 10a에서 설명된 바와 같다.
단계(1320)에서, 프로세서는 제5 2D 이미지, 제6 2D 이미지 및 제7 2D 이미지를 기초로 제4 전방향 이미지에 대응하는 제4 2D 이미지를 생성할 수 있다. 단계(1320)의 구체적인 동작들은 도 10b)에서 설명된 바와 같다.
도 13에서 설명된 단계들(1310, 1320)은 전방향 이미지에 대한 데이터를 전송하기 위한 장치(예를 들어, 서버)에서 수행될 수 있다. 몇몇 실시 예들에서, 도 13에서 설명된 단계들(1310, 1320)이 전방향 이미지에 대한 데이터를 디스플레이하기 위한 장치(예를 들어, VR 디바이스)에서 수행될 수 있다.
도 14는 본 개시에서 제안된 다양한 실시 예에 따른, 전방향 이미지를 프로세싱하기 위한 장치를 도시한 도면이다.
도 14를 참조하면, 전방향 이미지를 프로세싱하기 위한 장치(1400)는 전방향 이미지에 관한 데이터를 전송하기 위한 장치(예를 들어, 서버)일 수 있다. 카메라가 2대인 경우, 장치(1400)는 앞서 설명된 방법들에 의해 제 3 전방향 이미지(O3) 에 대한 데이터를 생성하고, 생성된 데이터를 전송할 수 있다. 제 3 전방향(O3) 에 대한 데이터는 제 3 전방향 이미지(O3)를 ERP 방식으로 프로젝션한 2D 이미지에 대응하는 2D 이미지에 기초할 수 있다. 장치(1400)는 제 3 전방향 이미지(O3)를 ERP 방식으로 프로젝션한 2D 이미지에 대응하는 2D 이미지에 관한 데이터를 MPEG(Moving Picture Experts Group)과 같은 프로토콜을 이용하여 전송할 수 있다. 몇몇 실시 예들에서, 수신 측의 디스플레이의 용이성을 위해, 장치(1400)는 생성된 2D 이미지를 제 3 전방향 이미지(O3)의 상이한 극들에 기초하여 ERP 방식으로 프로젝션한 2D 이미지에 대응하는 2D 이미지로 변환할 수 있다. 2D 이미지에 관한 데이터의 전송은 변환된 2D 이미지에 기초할 수 있다. 몇몇 실시예들에서, 2D 이미지에 영역별(region-wise) 패킹이 수행될 수 있다. 영역별 패킹은 2D 이미지를 복수의 영역들로 구분하여, 복수의 영역들 각각에 대하여 변형, 회전, 재샘플링 또는 재배치를 수행하는 것을 의미한다.
카메라가 3대 이상인 경우, 장치(1400)는 앞서 설명된 방법들에 의해 제 4 전방향 이미지(O4) 에 대한 데이터를 생성하고, 생성된 데이터를 전송할 수 있다. 제 4 전방향(O4) 에 대한 데이터는 제 4 전방향 이미지(O4)를 ERP 방식으로 프로젝션한 2D 이미지에 대응하는 2D 이미지에 기초할 수 있다. 장치(1400)는 제 4 전방향 이미지(O4)를 ERP 방식으로 프로젝션한 2D 이미지에 대응하는 2D 이미지에 관한 데이터를 MPEG(Moving Picture Experts Group)과 같은 프로토콜을 이용하여 전송할 수 있다. 몇몇 실시 예들에서, 수신 측의 디스플레이의 용이성을 위해, 장치(1400)는 생성된 2D 이미지를 제 4 전방향 이미지(O4)의 상이한 극들에 기초하여 ERP 방식으로 프로젝션한 2D 이미지에 대응하는 2D 이미지로 변환할 수 있다. 2D 이미지에 관한 데이터의 전송은 변환된 2D 이미지에 기초할 수 있다. 몇몇 실시 예들에서, 2D 이미지에 영역별(region-wise) 패킹이 수행될 수 있다. 영역별 패킹은 2D 이미지를 복수의 영역들로 구분하여, 복수의 영역들 각각에 대하여 변형, 회전, 재샘플링 또는 재배치를 수행하는 것을 의미한다.
장치(1400)는 프로세서(1410), 메모리(1420), 및 통신 인터페이스(1430)를 포함할 수 있다. 프로세서(810)는 장치(800)에서 수행되는 동작들을 실질적으로 수행하고 그리고 제어할 수 있다. 프로세서(1410)는 메모리(1420) 및 통신 인터페이스(1430)와 전기적으로 통신 가능하게 연결될 수 있으며, 메모리(1420) 및 통신 인터페이스(1430)의 동작을 제어할 수 있다. 따라서, 메모리(1420) 또는 통신 인터페이스(1430)에 의해 직접적으로 수행되는 동작들은 실질적으로, 프로세서(1410)에 의해 수행되는 것으로 해석될 수 있다. 메모리(1420)는 장치(1400)의 동작 또는 프로세서(1410)에 필요한 일시적 또는 비일시적 데이터를 저장할 수 있다. 메모리(1420)는 프로세서(1410)에서 수행될 수 있는 명령들 또는 코드들을 저장할 수 있다. 통신 인터페이스(1430)는 데이터의 송신 및/또는 수신을 수행하도록 구성될 수 있다.
도 15는 본 개시에서 제안된 다양한 실시 예에 따른, 전방향 이미지를 프로세싱하기 위한 장치를 도시한 도면이다.
도 15를 참조하면, 장치(1500)는 전방향 이미지를 디스플레이하기 위한 장치(예를 들어, VR 디바이스)일 수 있다. 장치(1500)는 전방향 이미지에 관한 데이터를 수신하고 이를 디스플레이할 수 있다. 카메라가 2대인 경우, 예를 들어, 장치는 앞서 설명된 방법들에 의해 생성된 제 3 전방향 이미지(O3)로부터 ERP 방식으로 프로젝션된 이미지에 대응하는 이미지에 기초하는 제 3 전방향 이미지(O3)에 관한 데이터를 수신하고, 수신된 데이터에 기초하여 제 3 전방향 이미지(O3)의 적어도 일부를 디스플레이할 수 있다.
카메라가 3대인 경우, 예를 들어, 장치는 앞서 설명된 방법들에 의해 생성된 제 3 전방향 이미지(O3)로부터 ERP 방식으로 프로젝션된 이미지에 대응하는 이미지에 기초하는 제 3 전방향 이미지(O3)에 관한 데이터를 수신하고, 수신된 데이터에 기초하여 제 3 전방향 이미지(O3)의 적어도 일부를 디스플레이할 수 있다.
몇몇 실시 예들에서, 카메라가 2대인 경우, 장치(1500)는 제 1 전방향 이미지(O1)에 관한 데이터 및 제 2 전방향 이미지(O2)에 관한 데이터를 수신할 수 있다. 제 1 전방향 이미지(O1)에 관한 데이터는 제 1 2D 이미지(E1)에 대한 데이터일 수 있고, 그리고 제 2 전방향 이미지(O2)에 관한 데이터는 제 2 2D 이미지(E2)에 대한 데이터일 수 있다. 장치(1500)는 제 1 2D 이미지(E1)에 대한 데이터 및 제 2 2D 이미지(E2)에 대한 데이터에 기초하여, 앞서 설명된 방법들에 따라 제 3 전방향 이미지(O3)로부터 ERP 방식에 의해 프로젝션된 이미지에 대응하는 2D 이미지에 관한 데이터를 생성할 수 있다. 장치(1500)는 생성된 2D 이미지에 관한 데이터에 기초하여 제 3 전방향 이미지(O3)의 적어도 일부를 디스플레이할 수 있다.
또한, 몇몇 실시 예들에서, 카메라가 3대 이상인 경우, 장치(1500)는 제 1 전방향 이미지(O1)에 관한 데이터, 제 2 전방향 이미지(O2)에 관한 데이터 및 제 3 전방향 이미지(O2)에 관한 데이터를 수신할 수 있다. 제 1 전방향 이미지(O1)에 관한 데이터는 제 1 2D 이미지(E1)에 대한 데이터일 수 있고, 제 2 전방향 이미지(O2)에 관한 데이터는 제 2 2D 이미지(E2)에 대한 데이터일 수 있으며, 제3 전방향 이미지(O3)에 관한 데이터는 제3 2D 이미지(E3)에 대한 데이터일 수 있다. 장치(1500)는 제 1 2D 이미지(E1)에 대한 데이터, 제 2 2D 이미지(E2)에 대한 데이터 및 제3 2D 이미지(E3)에 대한 데이터에 기초하여, 앞서 설명된 방법들에 따라 제 4 전방향 이미지(O4)로부터 ERP 방식에 의해 프로젝션된 이미지에 대응하는 2D 이미지에 관한 데이터를 생성할 수 있다. 장치(1500)는 생성된 2D 이미지에 관한 데이터에 기초하여 제 4 전방향 이미지(O4)의 적어도 일부를 디스플레이할 수 있다.
장치(1500)는 프로세서(1510), 메모리(1520), 통신 인터페이스(1530) 및 디스플레이(1540)를 포함할 수 있다. 프로세서(1510), 메모리(1520) 및 통신 인터페이스(1530)에 대한 설명은 도 14의 장치(1400)의 프로세서(1410), 메모리(1420) 및 통신 인터페이스(1430)에 대한 설명과 각각 실질적으로 동일하다. 디스플레이(1540)는 프로세서(1510)의 제어에 기초하여 이미지를 디스플레이할 수 있다.
이상 첨부된 도면을 참조하여 본 개시의 실시 예들을 설명하였지만, 본 개시에 속하는 기술분야에서 통상의 지식을 가진 자는 본 개시의 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (22)

  1. 전방향(omnidirectional) 이미지에 관한 정보를 프로세싱하기 위한 방법으로서,
    제 1 전방향 이미지의 중심인 제 1 위치와 제 2 전방향 이미지의 중심인 제 2 위치를 통과하는 직선과 교차하는 위치에 기초하여 상기 제 1 전방향 이미지로부터 프로젝션된 제 1 2D(2 dimensional) 이미지를 생성하는 과정;
    상기 제 1 위치와 상기 제 2 위치를 통과하는 직선과 교차하는 위치에 기초하여 제 2 전방향 이미지로부터 프로젝션된 제 2 2D 이미지를 생성하는 과정;
    상기 제 1 위치와 상기 제 2 위치 사이의 제 3 위치에 중심을 갖는 제 3 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는 제 3 2D 이미지를 생성하는 과정;
    상기 제 2 전방향 이미지의 중심과 제 4 전방향 이미지의 중심을 통과하는 직선과 교차하는 위치에 기초하여 상기 제4 전방향 이미지로부터 프로젝션된 제 4 2D 이미지를 생성하는 과정;
    상기 제 2 2D 이미지 및 상기 제 4 2D 이미지에 기초하여, 상기 제 2 위치와 상기 제 4 위치 사이의 제 5 위치에 중심을 갖는 제 5 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는 제 5 2D 이미지를 생성하는 과정;
    상기 제 1 2D 이미지 및 상기 제 4 2D 이미지에 기초하여, 상기 제 1 위치와 상기 제 4 위치 사이의 제 6 위치에 중심을 갖는 제 6 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는 제 6 2D 이미지를 생성하는 과정;
    상기 제 3 2D 이미지, 상기 제 5 2D 이미지 및 상기 제 6 2D 이미지와 상기 제 1 전방향 이미지에 대한 가중치, 상기 제 2 전방향 이미지에 대한 가중치 및 상기 제 4 전방향 이미지에 대한 가중치를 기초로 상기 제 1 위치, 상기 제 2 위치 및 상기 제 4 위치 사이의 제 7 위치에 중심을 갖는 제 7 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는 제 7 2D 이미지를 생성하는 과정을 포함하고,
    상기 제 1 2D 이미지, 및 상기 제 2 2D 이미지는 상기 제 1 전방향 이미지 및 상기 제 2 전방향 이미지로부터 각각 직사각형 프로젝션(ERP: eqirectangular projection) 방식에 의해 프로젝션되고,
    상기 제 3 2D 이미지는 상기 제 3 전방향 이미지로부터 상기 직선과 교차하는 상기 제 3 전방향 이미지 상의 점들을 제 5 극 및 제 6 극으로 설정하여, 상기 제 3 전방향 이미지로부터 ERP 방식에 의해 프로젝션된 2D 이미지에 대응하는,
    방법.
  2. 제 1 항에 있어서,
    상기 제 3 2D 이미지를 생성하는 과정은,
    동일한 위치에 대응하는 상기 제 1 2D 이미지 상의 제 1 좌표 및 상기 제 2 2D 이미지 상의 제 2 좌표에 대응하는 상기 제 3 2D 이미지 상의 제 3 좌표를 식별하는 과정을 포함하고,
    상기 제 1 좌표, 상기 제 2 좌표 및 상기 제 3 좌표의 y 값들은 동일하고,
    θC = θL - α 이고,
    Figure 112021088297922-pat00002
    이며,
    θC는 상기 제 3 좌표의 x 값이고,
    θL은 상기 제 1 좌표의 x 값이고,
    θR은 상기 제 2 좌표의 x 값이고,
    α는 상기 제 1 위치와 상기 제 2 위치 사이의 거리에 대한 상기 제 1 위치와 상기 제 3 위치 사이의 거리의 비인 방법.
  3. 제 1 항에 있어서,
    상기 제 3 2D 이미지를 생성하는 과정은,
    동일한 위치에 대응하는 상기 제 1 2D 이미지 상의 제 1 좌표 및 상기 제 2 2D 이미지 상의 제 2 좌표에 대응하는 상기 제 3 2D 이미지 상의 제 3 좌표를 식별하는 과정을 포함하고,
    상기 제 1 좌표, 상기 제 2 좌표 및 상기 제 3 좌표의 y 값은 동일하고,
    x3 = x1 - a * (x1- x2), 이고
    x1은 상기 제 1 좌표의 x 값이고,
    x2는 상기 제 2 좌표의 x 값이고,
    x3은 상기 제 3 좌표의 x 값이고,
    α는 상기 제 1 위치와 상기 제 2 위치 사이의 거리에 대한 상기 제 1 위치와 상기 제 3 위치 사이의 거리의 비인 방법.
  4. 제 1 항에 있어서,
    상기 제 3 2D 이미지를 제 4 2D 이미지로 변환하는 과정을 더 포함하고,
    상기 제 3 2D 이미지는 상기 제 1 위치와 상기 제 2 위치를 통과하는 직선과 교차하는 상기 제 3 전방향 이미지 상의 점들을 제 5 극 및 제 6 극으로 설정하여 프로젝션된 2D 이미지에 대응하고,
    상기 제 4 2D 이미지는 상기 제 5 극 및 상기 제 6극과 상이한 극들에 기초하여 상기 제 3 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는 방법.
  5. 제 1 항에 있어서,
    상기 제 3 2D 이미지에 기초하는 상기 제 3 전방향 이미지에 관한 정보를 전송하는 과정을 더 포함하는 방법.
  6. 제 1 항에 있어서,
    상기 제 1 전방향 이미지, 상기 제 2 전방향 이미지 및 상기 제 3 전방향 이미지 각각은 구의 형상으로 렌더링되는 방법.
  7. 삭제
  8. 제 1 항에 있어서,
    상기 제 1 전방향 이미지는 상기 제 1 위치에 위치하는 제 1 카메라에 의해 획득되고,
    상기 제 2 전방향 이미지는 상기 제 2 위치에 위치하는 제 2 카메라에 의해 획득되는 방법.
  9. 제 1 항에 있어서,
    상기 제 3 위치는 상기 제 1 위치와 상기 제 2 위치 사이의 상기 직선 상의 복수의 양자화된(quantized) 위치들 중 하나인 방법.
  10. 제 9 항에 있어서,
    상기 제 3 위치는 상기 복수의 양자화된 위치들 중, 상기 제 3 전방향 이미지를 디스플레이하기 위한 장치와 가장 근접한 위치인 방법.
  11. 제1항에 있어서,
    상기 제 1 전방향 이미지에 대한 가중치, 상기 제 2 전방향 이미지에 대한 가중치 및 상기 제 4 전방향 이미지에 대한 가중치는 각각 상기 제 1 전방향 이미지와 상기 제 7 전방향 이미지 사이의 거리, 상기 제 2 전방향 이미지와 상기 제7 전방향 이미지 사이의 거리 및 상기 제 4 전방향 이미지와 상기 제 7 전방향 이미지 사이의 거리에 의해 결정되는 방법.
  12. 전방향(omnidirectional) 이미지에 관한 정보를 프로세싱하기 위한 장치로서,
    통신 인터페이스; 및
    상기 통신 인터페이스에 연결된 프로세서를 포함하고,
    상기 프로세서는:
    제 1 전방향 이미지의 중심인 제 1 위치와 제 2 전방향 이미지의 중심인 제 2 위치를 통과하는 직선과 교차하는 위치에 기초하여 상기 제 1 전방향 이미지로부터 프로젝션된 제 1 2D(2 dimensional) 이미지를 생성하고,
    상기 제 1 위치와 상기 제 2 위치를 통과하는 직선과 교차하는 위치에 기초하여 제 2 전방향 이미지로부터 프로젝션된 제 2 2D 이미지를 생성하고,
    상기 제 1 위치와 상기 제 2 위치 사이의 제 3 위치에 중심을 갖는 제 3 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는 제 3 2D 이미지를 생성하고,
    상기 제 2 전방향 이미지의 중심과 제 4 전방향 이미지의 중심을 통과하는 직선과 교차하는 위치에 기초하여 상기 제 4 전방향 이미지로부터 프로젝션된 제 4 2D 이미지를 생성하고,
    상기 제 2 2D 이미지 및 상기 제 4 2D 이미지에 기초하여, 상기 제 2 위치와 상기 제 4 위치 사이의 제 5 위치에 중심을 갖는 제 5 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는 제 5 2D 이미지를 생성하고,
    상기 제 1 2D 이미지 및 상기 제 4 2D 이미지에 기초하여, 상기 제 1 위치와 상기 제 4 위치 사이의 제 6 위치에 중심을 갖는 제 6 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는 제 6 2D 이미지를 생성하고,
    상기 제 3 2D 이미지, 상기 제 5 2D 이미지 및 상기 제 6 2D 이미지와 상기 제 1 전방향 이미지에 대한 가중치, 상기 제 2 전방향 이미지에 대한 가중치 및 상기 제 4 전방향 이미지에 대한 가중치를 기초로 상기 제 1 위치, 상기 제 2 위치 및 상기 제 4 위치 사이의 제 7 위치에 중심을 갖는 제 7 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는 제 7 2D 이미지를 생성하도록 구성되고,
    상기 제 1 2D 이미지, 및 상기 제 2 2D 이미지는 상기 제 1 전방향 이미지 및 상기 제 2 전방향 이미지로부터 각각 직사각형 프로젝션(ERP: eqirectangular projection) 방식에 의해 프로젝션되고,
    상기 제 3 2D 이미지는 상기 제 3 전방향 이미지로부터 상기 직선과 교차하는 상기 제 3 전방향 이미지 상의 점들을 제 5 극 및 제 6 극으로 설정하여, 상기 제 3 전방향 이미지로부터 ERP 방식에 의해 프로젝션된 2D 이미지에 대응하는,
    장치.
  13. 제 12 항에 있어서,
    상기 프로세서는:
    동일한 위치에 대응하는 상기 제 1 2D 이미지 상의 제 1 좌표 및 상기 제 2 2D 이미지 상의 제 2 좌표에 대응하는 상기 제 3 2D 이미지 상의 제 3 좌표를 식별하도록 추가로 구성되고,
    상기 제 1 좌표, 상기 제 2 좌표 및 상기 제 3 좌표의 y 값들은 동일하고,
    θC = θL - α 이고,
    Figure 112021088297922-pat00003
    이며,
    θC는 상기 제 3 좌표의 x 값이고,
    θL은 상기 제 1 좌표의 x 값이고,
    θR은 상기 제 2 좌표의 x 값이고,
    α는 상기 제 1 위치와 상기 제 2 위치 사이의 거리에 대한 상기 제 1 위치와 상기 제 3 위치 사이의 거리의 비인 장치.
  14. 제 12 항에 있어서,
    상기 프로세서는,
    동일한 위치에 대응하는 상기 제 1 2D 이미지 상의 제 1 좌표 및 상기 제 2 2D 이미지 상의 제 2 좌표에 대응하는 상기 제 3 2D 이미지 상의 제 3 좌표를 식별하도록 추가로 구성되고,
    상기 제 1 좌표, 상기 제 2 좌표 및 상기 제 3 좌표의 y 값은 동일하고,
    x3 = x1 - a * (x1- x2), 이고
    x1은 상기 제 1 좌표의 x 값이고,
    x2는 상기 제 2 좌표의 x 값이고,
    x3은 상기 제 3 좌표의 x 값이고,
    α는 상기 제 1 위치와 상기 제 2 위치 사이의 거리에 대한 상기 제 1 위치와 상기 제 3 위치 사이의 거리의 비인 장치.
  15. 제 12 항에 있어서,
    상기 프로세서는 상기 제 3 2D 이미지를 제 4 2D 이미지로 변환하도록 추가로 구성되고,
    상기 제 3 2D 이미지는 상기 제 1 위치와 상기 제 2 위치를 통과하는 직선과 교차하는 상기 제 3 전방향 이미지 상의 점들을 제 5 극 및 제 6 극으로 설정하여 프로젝션된 2D 이미지에 대응하고,
    상기 제 4 2D 이미지는 상기 제 5 극 및 상기 제 6 극과 상이한 극들에 기초하여 상기 제 3 전방향 이미지로부터 프로젝션된 2D 이미지에 대응하는 장치.
  16. 제 12 항에 있어서,
    상기 프로세서는 상기 제 3 2D 이미지에 기초하는 상기 제 3 전방향 이미지에 관한 정보를 전송하도록 추가로 구성되는 장치.
  17. 제 12 항에 있어서,
    상기 제 1 전방향 이미지, 상기 제 2 전방향 이미지 및 상기 제 3 전방향 이미지 각각은 구의 형상으로 렌더링되는 장치.
  18. 삭제
  19. 제 12 항에 있어서,
    상기 제 1 전방향 이미지는 상기 제 1 위치에 위치하는 제 1 카메라에 의해 획득되고,
    상기 제 2 전방향 이미지는 상기 제 2 위치에 위치하는 제 2 카메라에 의해 획득되는 장치.
  20. 제 12 항에 있어서,
    상기 제 3 위치는 상기 제 1 위치와 상기 제 2 위치 사이의 상기 직선 상의 복수의 양자화된(quantized) 위치들 중 하나인 장치.
  21. 제 20 항에 있어서,
    상기 제 3 위치는 상기 복수의 양자화된 위치들 중, 상기 제 3 전방향 이미지를 디스플레이하기 위한 장치와 가장 근접한 위치인 장치.
  22. 제12항에 있어서,
    상기 제 1 전방향 이미지에 대한 가중치, 상기 제 2 전방향 이미지에 대한 가중치 및 상기 제 4 전방향 이미지에 대한 가중치는 각각 상기 제 1 전방향 이미지와 상기 제 7 전방향 이미지 사이의 거리, 상기 제 2 전방향 이미지와 상기 제 7 전방향 이미지 사이의 거리 및 상기 제 4 전방향 이미지와 상기 제 7 전방향 이미지 사이의 거리에 의해 결정되는 장치.
KR1020180099020A 2018-08-24 2018-08-24 전방향 이미지를 프로세싱하기 위한 방법 및 장치 KR102491939B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180099020A KR102491939B1 (ko) 2018-08-24 2018-08-24 전방향 이미지를 프로세싱하기 위한 방법 및 장치
PCT/KR2019/010765 WO2020040594A1 (en) 2018-08-24 2019-08-23 Method and apparatus for processing omni-directional image
US16/549,668 US10853910B2 (en) 2018-08-24 2019-08-23 Method and apparatus for processing omni-directional image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180099020A KR102491939B1 (ko) 2018-08-24 2018-08-24 전방향 이미지를 프로세싱하기 위한 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200022865A KR20200022865A (ko) 2020-03-04
KR102491939B1 true KR102491939B1 (ko) 2023-01-26

Family

ID=69586158

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180099020A KR102491939B1 (ko) 2018-08-24 2018-08-24 전방향 이미지를 프로세싱하기 위한 방법 및 장치

Country Status (3)

Country Link
US (1) US10853910B2 (ko)
KR (1) KR102491939B1 (ko)
WO (1) WO2020040594A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018038523A1 (ko) * 2016-08-25 2018-03-01 엘지전자 주식회사 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620909B2 (en) 1999-05-12 2009-11-17 Imove Inc. Interactive image seamer for panoramic images
JP4211292B2 (ja) * 2002-06-03 2009-01-21 ソニー株式会社 画像処理装置および画像処理方法、プログラム並びにプログラム記録媒体
EP3304897A1 (en) 2015-05-27 2018-04-11 Google LLC Capture and render of panoramic virtual reality content
KR101835434B1 (ko) 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
WO2018038520A1 (ko) * 2016-08-25 2018-03-01 엘지전자 주식회사 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치
KR102558474B1 (ko) 2016-09-30 2023-07-25 삼성전자주식회사 이미지를 표시하기 위한 방법 및 그 전자 장치
US10506196B2 (en) * 2017-04-01 2019-12-10 Intel Corporation 360 neighbor-based quality selector, range adjuster, viewport manager, and motion estimator for graphics
KR102454161B1 (ko) 2017-06-15 2022-10-14 삼성전자주식회사 전방향 이미지를 프로세싱하기 위한 방법 및 장치
US11178377B2 (en) * 2017-07-12 2021-11-16 Mediatek Singapore Pte. Ltd. Methods and apparatus for spherical region presentation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018038523A1 (ko) * 2016-08-25 2018-03-01 엘지전자 주식회사 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문1*

Also Published As

Publication number Publication date
US10853910B2 (en) 2020-12-01
US20200065937A1 (en) 2020-02-27
KR20200022865A (ko) 2020-03-04
WO2020040594A1 (en) 2020-02-27

Similar Documents

Publication Publication Date Title
US10631131B2 (en) Virtual reality and augmented reality functionality for mobile devices
US11394950B2 (en) Augmented reality-based remote guidance method and apparatus, terminal, and storage medium
US10460512B2 (en) 3D skeletonization using truncated epipolar lines
US11481982B2 (en) In situ creation of planar natural feature targets
US20140192164A1 (en) System and method for determining depth information in augmented reality scene
TW201835723A (zh) 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質
CN106846497B (zh) 应用于终端的呈现三维地图的方法和装置
CN110574370B (zh) 用于处理全向图像的方法和装置
CN111080704B (zh) 视频增强现实的方法及装置
EP3035159A1 (en) Device and method for processing visual data, and related computer program product
KR102503337B1 (ko) 이미지 디스플레이 방법, 장치 및 시스템
Baker et al. Splat: Spherical localization and tracking in large spaces
CN113936121B (zh) 一种ar标注设置方法以及远程协作系统
US20190295324A1 (en) Optimized content sharing interaction using a mixed reality environment
Schönauer et al. Wide area motion tracking using consumer hardware
US20240046583A1 (en) Real-time photorealistic view rendering on augmented reality (ar) device
KR102491939B1 (ko) 전방향 이미지를 프로세싱하기 위한 방법 및 장치
KR102176805B1 (ko) 뷰 방향이 표시되는 vr 컨텐츠 제공 시스템 및 방법
JP6152888B2 (ja) 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
CN116563740A (zh) 基于扩展现实的控制方法、装置、电子设备和存储介质
US20180365798A1 (en) Method and apparatus for processing omni-directional image
KR101315398B1 (ko) 3차원 증강 현실 표시 장치 및 방법
WO2020072472A1 (en) Method and device for detecting a vertical planar surface
US20230419595A1 (en) Methods and devices for video rendering for video see-through (vst) augmented reality (ar)
EP4047558A1 (en) System for generating 3d mobile augmented reality

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant