KR102327972B1 - 프로젝션 이미지 구성 방법 및 디바이스 - Google Patents

프로젝션 이미지 구성 방법 및 디바이스 Download PDF

Info

Publication number
KR102327972B1
KR102327972B1 KR1020197002235A KR20197002235A KR102327972B1 KR 102327972 B1 KR102327972 B1 KR 102327972B1 KR 1020197002235 A KR1020197002235 A KR 1020197002235A KR 20197002235 A KR20197002235 A KR 20197002235A KR 102327972 B1 KR102327972 B1 KR 102327972B1
Authority
KR
South Korea
Prior art keywords
image
cylindrical
pixel
panoramic image
projection
Prior art date
Application number
KR1020197002235A
Other languages
English (en)
Other versions
KR20190021394A (ko
Inventor
지아단 주
타오 왕
홍빈 리우
Original Assignee
베이징 치이 센츄리 사이언스 앤드 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 치이 센츄리 사이언스 앤드 테크놀로지 코., 엘티디. filed Critical 베이징 치이 센츄리 사이언스 앤드 테크놀로지 코., 엘티디.
Publication of KR20190021394A publication Critical patent/KR20190021394A/ko
Application granted granted Critical
Publication of KR102327972B1 publication Critical patent/KR102327972B1/ko

Links

Images

Classifications

    • G06T3/12—
    • G06T3/073—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0031—Geometric image transformation in the plane of the image for topological mapping of a higher dimensional structure on a lower dimensional surface
    • G06T3/0043—Surface of revolution to planar image transformation
    • G06T3/18—

Landscapes

  • Image Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본원은 프로젝션 이미지를 구성하는 방법 및 장치를 제공한다. 프로젝션 이미지를 구성하는 방법은, 원통형 등면적 프로젝션 모델(cylindrical surface equal-area projection model)을 이용하여 등장방형(equirectangular) 파노라마 이미지에 대해서 프로젝션을 수행하여 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)를 획득하는 단계; 원통형 등면적 프로젝션 이미지의 각 픽셀들의 2차원 좌표를 획득하는 단계; 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형 파노라마 이미지에서의 2차원 좌표를 획득하는 단계; 및 등장방형 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형 파노라마 이미지의 획득된 2차원 좌표에 기초하여, 원통형 등면적 프로젝션 이미지에 대해서 픽셀 보간(interpolation)을 수행하여, 원통형 등면적 프로젝션 변환된 파노라마 이미지를 생성하는 단계를 포함한다. 파노라마 비디오 또는 파노라마 이미지의 해상도 및 비트 레이트는 본원의 방법에 의해서 감소될 수 있다.

Description

프로젝션 이미지 구성 방법 및 디바이스
본 특허출원은, 발명의 명칭이 “프로젝션 이미지 구성 방법 및 디바이스”이고, 중화인민공화국 특허청에 2016년 12월 20일에 출원된 특허출원 제 201611187138.2 호를 우선권으로 주장하고, 상기 우선권의 기초 출원의 전체 내용은 본 특허출원에 참조로서 병합된다.
본 출원은 이미지 프로세싱 기술 분야에 관한 것으로서, 보다 구체적으로는 프로젝션 이미지를 구성하는 방법 및 디바이스에 관한 것이다.
최근 몇 년동안, 파노라마 카메라(예컨대, 구글 점프, OZO,Eyesir, Teche, Upano, 등등) 및 고급 가상 현실(VR) 디스플레이 디바이스(예컨대, Oculus VR, Samsung Gear VR, HTC vive 등등)가 발표됨으로 인해, 파노라마 비디오가 기술 연구 개발 및 제품 콘텐츠 혁신에 많은 주목을 끌고 있으며, VR 시네마, 파노라마 게임, 파노라마 교육, 파노라마 메디컬케어, 파노라마 여행 등등에 널리 이용되고 있다.
사용자에 의해서 관람될 플레이어에서의 로컬 뷰 콘텐츠를 명확하게 표시하기 위해서는, 파노라마 비디오를 4K 울트라-하이 해상도 이상으로 촬영하는 것이 필요하다. 4K 해상도(3840픽셀*1920픽셀 이상) 이상을 갖는 울트라-하이 파노라마 비디오는 매우 많은 양의 픽셀들을 갖는데, 이는 파노라마 비디오의 저장, 압축, 전송, 디코딩, 및 렌더링에 큰 데이터 문제(big data challenge)를 야기한다. 이 큰 데이터 문제에 대해서, 파노라마 비디오의 해상도와 비트 레이트(bit rate)를 감소시키는 방법이, 파노라마 비디오를 위해서 반드시 해결되어야 할 주요한 이슈가 되었다.
상기 언급된 기술적 문제를 해결하기 위해서, 본 출원의 실시예는, 파노라마 이미지 또는 비디오의 해상도와 비트 레이트를 감소시키기 위한 프로젝션 이미지 구성하는 방법 및 디바이스를 제공한다. 기술적 해결 방안은 이하에서 제시된다.
프로젝션 이미지를 구성하는 방법으로서 다음의 단계들을 포함한다:
원통형 등면적 프로젝션 모델(cylindrical surface equal-area projection model)을 이용하여 등장방형(equirectangular) 파노라마 이미지에 대해서 프로젝션을 수행하여 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)를 획득하는 단계;
원통형 등면적 프로젝션 이미지의 각 픽셀들의 2차원 좌표를 획득하는 단계;
획득된 원통형 등면적 프로젝션 이미지의 각 픽셀의 2차원 좌표에 대해서 좌표 변환을 수행하여, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형 파노라마 이미지에서의 2차원 좌표를 획득하는 단계; 및
등장방형 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형 파노라마 이미지의 획득된 2차원 좌표에 기초하여, 원통형 등면적 프로젝션 이미지에 대해서 픽셀 보간(interpolation)을 수행하여, 원통형 등면적 프로젝션 변환된 파노라마 이미지를 생성하는 단계.
선택적으로, 획득된 원통형 등면적 프로젝션 이미지의 각 픽셀의 2차원 좌표에 대해서 좌표 변환을 수행하여, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형 파노라마 이미지에서의 2차원 좌표를 획득하는 단계는:
공식
Figure 112019008184735-pct00001
를 이용하여, 획득된 원통형 등면적 프로젝션 이미지의 각 픽셀들의 2차원 좌표에 대해서 좌표 변환을 수행하여, 원통형 등면적 프로젝션 이미지의 각 픽셀들에 대응되는 등장방형 파노라마 이미지의 2차원 좌표를 획득하는 단계를 포함하고,
여기서, x는 등장방형 파노라마 이미지 픽셀의 2차원 좌표의 횡좌표를 나타내고, y는 등장방형 파노라마 이미지 픽셀의 2차원 좌표의 종좌표를 나타내며, u는 원통형 등면적 프로젝션 이미지의 픽셀의 횡좌표를 나타내고, v는 원통형 등면적 프로젝션 이미지의 픽셀의 종좌표를 나타내며, m 및 n 은 등장방형 파노라마 이미지의 높이와 폭을 각각 나타내고, π는 PI를 나타낸다.
선택적으로, 등장방형 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형 파노라마 이미지의 획득된 2차원 좌표에 기초하여, 원통형 등면적 프로젝션 이미지에 대해서 픽셀 보간(interpolation)을 수행하여, 원통형 등면적 프로젝션 변환된 파노라마 이미지를 생성하는 단계는:
등장방형 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형 파노라마 이미지의 획득된 2차원 좌표에 기초하고, bilinear 보간 알고리즘을 이용하여, 원통형 등면적 프로젝션 이미지에 대해서 픽셀 보간을 수행함으로써, 원통형 등면적 프로젝션 변환된 파노라마 이미지를 생성하는 단계를 포함할 수 있다.
선택적으로, 등장방형 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형 파노라마 이미지의 획득된 2차원 좌표에 기초하여, 원통형 등면적 프로젝션 이미지에 대해서 픽셀 보간(interpolation)을 수행하여, 원통형 등면적 프로젝션 변환된 파노라마 이미지를 생성하는 단계는:
등장방형 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형 파노라마 이미지의 획득된 2차원 좌표에 기초하고, spline 보간 알고리즘을 이용하여, 원통형 등면적 프로젝션 이미지에 대해서 픽셀 보간을 수행함으로써, 원통형 등면적 프로젝션 변환된 파노라마 이미지를 생성하는 단계를 포함할 수 있다.
프로젝션 이미지 구성 장치로서, 다음의 구성요소들을 포함한다:
원통형 등면적 프로젝션 모델(cylindrical surface equal-area projection model)을 이용하여 등장방형(equirectangular) 파노라마 이미지에 대해서 프로젝션을 수행하여 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)를 생성하는 프로젝션 모듈;
원통형 등면적 프로젝션 이미지의 각 픽셀의 2차원 좌표를 획득하는 제 1 획득 모듈;
원통형 등면적 프로젝션 이미지의 각 픽셀의 획득된 2차원 좌표에 대해서 좌표 변환을 수행하여, 원통형 등면적 프로젝션 이미지의 각 픽셀들에 대응되는 등장방형 파노라마 이미지의 2차원 좌표를 획득하는 변환 모듈; 및
등장방형 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형 파노라마 이미지의 획득된 2차원 좌표에 기초하여, 원통형 등면적 프로젝션 이미지에 대해서 픽셀 보간(interpolation)을 수행하여 원통형 등면적 프로젝션 변환된 파노라마 이미지를 획득하는 제 1 생성 모듈.
선택적으로, 상기 변환 모듈은:
공식
Figure 112019008184735-pct00002
를 이용하여, 획득된 원통형 등면적 프로젝션 이미지의 각 픽셀들의 2차원 좌표에 대해서 좌표 변환을 수행하여, 원통형 등면적 프로젝션 이미지의 각 픽셀들에 대응되는 등장방형 파노라마 이미지의 2차원 좌표를 획득하는데 이용되는 변환 유닛;을 포함하고,
여기서, x는 등장방형 파노라마 이미지 픽셀의 2차원 좌표의 횡좌표를 나타내고, y는 등장방형 파노라마 이미지 픽셀의 2차원 좌표의 종좌표를 나타내며, u는 원통형 등면적 프로젝션 이미지의 픽셀의 횡좌표를 나타내고, v는 원통형 등면적 프로젝션 이미지의 픽셀의 종좌표를 나타내며, m 및 n 은 등장방형 파노라마 이미지의 높이와 폭을 각각 나타내고, π는 PI를 나타낸다.
선택적으로 , 상기 제 1 생성 모듈은:
등장방형 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형 파노라마 이미지의 획득된 2차원 좌표에 기초하고, bilinear 보간 알고리즘을 이용하여, 원통형 등면적 프로젝션 이미지에 대해서 픽셀 보간을 수행함으로써, 원통형 등면적 프로젝션 변환된 파노라마 이미지를 생성하는 제 1 생성 유닛을 포함할 수 있다.
선택적으로, 상기 제 1 생성 모듈은:
등장방형 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형 파노라마 이미지의 획득된 2차원 좌표에 기초하고, spline 보간 알고리즘을 이용하여, 원통형 등면적 프로젝션 이미지에 대해서 픽셀 보간을 수행함으로써, 원통형 등면적 프로젝션 변환된 파노라마 이미지를 생성하는 제 2 생성 유닛을 포함할 수 있다.
프로세서, 통신 인터페이스, 메모리 및 통신 버스를 포함하는 전자 장치로서, 상기 프로세서, 상기 통신 인터페이스, 및 상기 메모리는 상기 통신 버스를 통해서 상호 통신을 수행하고;
상기 메모리는 컴퓨터 프로그램을 저장하는데 이용되며;
상기 메모리에 저장된 컴퓨터 프로그램이 실행되면, 상기 프로세서는 본원의 바람직한 실시예에 따른 상기 프로젝션 이미지를 구성하는 방법의 단계들을 구현하기 위해서 이용되고, 상기 프로젝션 이미지를 구성하는 방법은:
원통형 등면적 프로젝션 모델(cylindrical surface equal-area projection model)을 이용하여 등장방형(equirectangular) 파노라마 이미지에 대해서 프로젝션을 수행하여 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)를 획득하는 단계;
원통형 등면적 프로젝션 이미지의 각 픽셀들의 2차원 좌표를 획득하는 단계;
획득된 원통형 등면적 프로젝션 이미지의 각 픽셀의 2차원 좌표에 대해서 좌표 변환을 수행하여, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형 파노라마 이미지에서의 2차원 좌표를 획득하는 단계; 및
등장방형 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형 파노라마 이미지의 획득된 2차원 좌표에 기초하여, 원통형 등면적 프로젝션 이미지에 대해서 픽셀 보간(interpolation)을 수행하여, 원통형 등면적 프로젝션 변환된 파노라마 이미지를 생성하는 단계를 포함할 수 있다.
컴퓨터에서 판독 가능한 저장 매체로서, 상기 컴퓨터에서 판독 가능한 저장 매체는 컴퓨터 프로그램을 저장하고, 상기 컴퓨터 프로그램은 프로세서에 의해서 실행되면, 상기 프로세서로 하여금 본원의 실시예에 따른 프로젝션 이미지를 구성하는 방법의 단계들을 구현하도록 하고, 상기 프로젝션 이미지를 구성하는 방법은:
원통형 등면적 프로젝션 모델(cylindrical surface equal-area projection model)을 이용하여 등장방형(equirectangular) 파노라마 이미지에 대해서 프로젝션을 수행하여 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)를 획득하는 단계;
원통형 등면적 프로젝션 이미지의 각 픽셀들의 2차원 좌표를 획득하는 단계;
획득된 원통형 등면적 프로젝션 이미지의 각 픽셀의 2차원 좌표에 대해서 좌표 변환을 수행하여, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형 파노라마 이미지에서의 2차원 좌표를 획득하는 단계; 및
등장방형 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형 파노라마 이미지의 획득된 2차원 좌표에 기초하여, 원통형 등면적 프로젝션 이미지에 대해서 픽셀 보간(interpolation)을 수행하여, 원통형 등면적 프로젝션 변환된 파노라마 이미지를 생성하는 단계를 포함할 수 있다.
종래 기술과 비교하면, 본 출원은 아래와 같은 이점들이 있다.
등장방형(equirectangular) 파노라마 이미지의 동일한 텍스쳐에 대해서 극점 근처에서 차지하는 면적이 적도 근처에서 차지하는 면적보다 커서, 현재 파노라마 이미지 또는 파노라마 비디오의 저장 포맷으로서의 등장방형(equirectangular) 파노라마 이미지는 파노라마 이미지 또는 파노라마 비디오의 더 큰 해상도 및 더 큰 비트 레이트(bit rate)를 야기한다. 본 출원에서는, 파노라마 이미지 또는 파노라마 비디오의 해상도와 비트 레이트를 감소시키기 위해서, 파노라마 이미지 또는 파노라마 비디오의 저장 포맷으로서, 등장방형(equirectangular) 파노라마 이미지 대신에, 원통형 등면적 프로젝션 변환(cylindrical surface equal-area projection transformation)된 파노라마 이미지가 사용된다.
파노라마 이미지 또는 파노라마 비디오의 해상도 및 비트 레이트는, 원통형 등면적 프로젝션 변환된 파노라마 이미지를 파노라마 이미지 또는 파노라마 비디오의 저장 포맷으로 이용함으로써 감소될 수 있는데, 그 이유는 다음과 같다: 원통형 등면적 프로젝션 모델(cylindrical surface equal-area projection model)을 이용하여 등장방형(equirectangular) 파노라마 이미지를 프로젝션하는 것은 적도 근처 텍스쳐가 변형되지 않거나 변형이 작도록 하여, 파노라마 이미지 또는 파노라마 비디오의 선명도를 보장한다; 그리고, 등장방형(equirectangular) 파노라마 이미지와 비교하면, 프로젝션을 통해서 획득된 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 양극점에서의 텍스쳐는 y축 방향으로 더 압축되어, 양극점에서의 텍스쳐의 면적이 적도 근처의 텍스쳐의 면적과 동일하게된다. 따라서, 픽셀 보간 후에 획득된 원통형 등면적 프로젝션 변환된 파노라마 이미지에 의해서 파노라마 영상 또는 파노라마 비디오의 해상도 및 비트 레이트가 감소될 수 있다.
본원 실시예의 기술적 해결 방법을 설명하기 위해서, 실시예의 설명에 요구되는 도면을 간단하게 소개한다. 아래 설명되는 도면은 본원의 실시예를 단순하게 도시하는 것이 명확하고, 당업자는 창작적 노력없이 이들 도면으로부터 다른 도면들을 도출할 수 있을 것이다.
도 1은 본원에 따라서 프로젝션 이미지를 구성하는 방법을 설명하는 흐름도이다.
도 2는 본원에 따른 등장방형 파노라마 이미지를 도시하는 도면이다.
도 3은 본원에 따른 원통형 등면적 프로젝션 이미지를 도시하는 도면이다.
도 4(a)는 등장방형 파노라마 이미지의 좌표계를 도시하고, 도 4(b)는 위도와 경도로 표현된 구면 파노라마 이미지의 구면 좌표계를 도시하는 도면이다.
도 5는 본원에 따라서 프로젝션 이미지를 구성하는 장치의 논리적 구조를 도시하는 도면이다.
본 출원의 실시예에 따른 기술적 해결 방안이, 본 출원 실시예의 도면을 참조하여, 이하에서 명확하고 완벽하게 설명될 것이다. 이하 설명되는 실시예는 본 출원의 모든 실시예에 아니라 일부 실시예에 불과함은 명백하다. 본 출원의 실시예에 기초하여, 창작적 노력없이 당업자에 의해서 얻어지는 모든 실시예들은 본 출원의 범위 내에 있다.
제 1 실시예
도 1은 본 출원에 따라서 프로젝션 이미지를 구성하는 방법을 설명하는 플로우 차트를 도시하고, 그 방법은 다음의 스텝 S11 내지 스텝 S14를 포함한다.
스텝 S11에서, 원통형 등면적 프로젝션 모델(cylindrical surface equal-area projection model)을 이용하여 등장방형(equirectangular) 파노라마 이미지에 대해서 프로젝션이 수행되어 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)가 획득된다.
등장방형(equirectangular) 파노라마 이미지는 구면(spherical) 파노라마 이미지, 즉, 파노라마 이미지 또는 파노라마 비디오에 대한 저장 포맷이다. 등장방형(equirectangular) 파노라마 이미지와 구면(spherical) 파노라마 이미지의 대응관계는 다음과 같다:
Figure 112019008184735-pct00003
.
Figure 112019008184735-pct00004
는 구면 파노라마 이미지의 구면(spherical) 좌표를 나타내고, (x,y)는 등장방형(equirectangular) 파노라마 이미지의 이미지 좌표를 나타낸다.
도 2는 구면 파노라마 이미지가 등장방형(equirectangular) 파노라마 이미지 형식으로 저장되었을 때 획득된 등장방형(equirectangular) 파노라마 이미지를 도시한다. 도 2에 도시된 바와 같이, 등장방형(equirectangular) 파노라마 이미지의 변형 법칙은 양극에 있는 원들이 수평으로 신장되어 타원으로 형성되는 것인데, 즉 등장방형(equirectangular)의 샘플링은 극점들(poles) 근처의 텍스쳐가 수평으로 신장되는 것을 유발한다. 즉, 동일한 텍스쳐에 대해서, 극점 근처 텍스쳐의 면적은 적도 근처의 텍스쳐의 면적보다 크다. 도 2에 도시된 바와 같이, 등장방형(equirectangular) 파노라마 이미지의 변형 법칙은 구면 파노라마 이미지(즉, 파노라마 이미지 또는 파노라마 비디오)의 높은 비트 레이트 및 고해상도를 초래한다.
극점 근처에서의 변형을 감소시키고 수정하여, 구면 파노라마 이미지(즉, 파노라마 이미지 또는 파노라마 비디오)의 높은 비트 레이트 및 고해상도를 감소시키기 위해서, 본 실시예에서는, 원통형 등면적 프로젝션 모델(cylindrical surface equal-area projection model)을 이용하여 등장방형(equirectangular) 파노라마 이미지에 대해서 프로젝션이 수행된다.
원통형 등면적 프로젝션 모델(cylindrical surface equal-area projection model)을 이용하여 등장방형(equirectangular) 파노라마 이미지에 대해서 프로젝션을 수행함으로써, 구면 파노라마 이미지(즉, 파노라마 이미지 또는 파노라마 비디오)의 높은 비트 레이트 및 고해상도가 감소되는 원리는 다음과 같다.
도 3은 원통형 등면적 프로젝션 모델(cylindrical surface equal-area projection model)을 이용하여 등장방형(equirectangular) 파노라마 이미지에 대해서 프로젝션을 수행함으로써 획득된 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)를 도시한다. 도 3에 도시된 바와 같이, 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 변형 법칙은 등장방형(equirectangular) 파노라마 이미지의 극점들에 있는 원들을 y축 방향으로 더 압축시킨다. 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 변형 법칙은 구면 파노라마 이미지에서 2차원 샘플링(구면 라디안 샘플링:spherical radian sampling)의 균일성(uniformity)을 보장하여, 극점들에서의 원의 면적이 적도 중심에서의 원의 면적과 동일하도록 하는 것이다. 따라서, 구면 파노라마 이미지(즉, 파노라마 이미지 또는 파노라마 비디오)의 비트 레이트 및 해상도가 감소된다.
특히, 원통형 등면적 프로젝션 모델(cylindrical surface equal-area projection model)을 이용하여 등장방형(equirectangular) 파노라마 이미지에 대해서 프로젝션을 수행하는 것은:
원통형 등면적 프로젝션(cylindrical surface equal-area projection) 공식
Figure 112019008184735-pct00005
을 이용하여 등장방형(equirectangular) 파노라마 이미지에 대해서 프로젝션을 수행하는 것이다.
공식
Figure 112019008184735-pct00006
에서, x는 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 횡좌표를 나타내고, y는 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 종좌표를 나타내며, λ는 구면(spherical) 파노라마 이미지에서의 구면(spherical) 좌표의 횡좌표를 나타내고,
Figure 112019008184735-pct00007
는 구면 파노라마 이미지에서의 구면 좌표의 종좌표를 나타내며,
Figure 112019008184735-pct00008
는 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 종횡비를 특정하기 위한 입력 파라미터이다.
원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 종횡비는
Figure 112019008184735-pct00009
의 값을 설정함으로써 변경이 가능하므로, 원통형 등면적 프로젝션 이미지의 크기는 커스터마이즈(customized)될 수 있다.
이 단계에서, 프로젝션을 통해서 획득된 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 각 픽셀들의 2차원 좌표는 존재하지만, 각 픽셀들의 픽셀값은 존재하지 않는다.
스텝 S12에서, 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 각 픽셀들의 2차원 좌표가 획득된다.
원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)가 획득된 후, 원통형 등면적 프로젝션 변환(cylindrical surface equal-area projection transformation)된 완전한 파노라마 이미지를 얻기 위해서, 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)를 픽셀들로 채우는 것이 필요하다. 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)를 픽셀들로 채우기 위해서, 먼저, 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 좌표계를 등장방형(equirectangular) 파노라마 이미지의 좌표계로 변환하여, 원통형 등면적 프로젝션 이미지의 각 좌표에 대응하는 픽셀값을 등장방형(equirectangular) 파노라마 이미지에 대응하는 오리지널(original) 구면 파노라마 이미지에서 찾는다. 구체적인 프로세스는 단계 S12-S14를 포함한다.
스텝 S13에서, 획득된 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 각 픽셀의 2차원 좌표에 대해서 좌표 변환이 수행되어, 원통형 등면적 프로젝션 이미지에서의 각 픽셀에 대응되는 등장방형(equirectangular) 파노라마 이미지에서의 2차원 좌표를 획득한다.
스텝 S14에서, 등장방형(equirectangular) 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 각 픽셀에 대응되는 등장방형(equirectangular) 파노라마 이미지의 획득된 2차원 좌표에 기초하여, 픽셀 보간(interpolation)이 원통형 등면적 프로젝션 이미지에 대해서 수행되어, 원통형 등면적 프로젝션 변환된 파노라마 이미지가 생성된다.
등장방형(equirectangular) 파노라마 이미지는 현재 파노라마 이미지 또는 파노라마 비디오의 저장 포맷으로서 사용되는데, 등장방형(equirectangular) 파노라마 이미지의 동일한 텍스쳐에 대해서 극점 근처에서 차지하는 면적이 적도 근처에서 차지하는 면적보다 커서, 파노라마 이미지 또는 파노라마 비디오의 더 큰 해상도 및 더 큰 비트 레이트를 야기한다. 본 출원에서는, 파노라마 이미지 또는 파노라마 비디오의 해상도와 비트 레이트를 감소시키기 위해서, 파노라마 이미지 또는 파노라마 비디오의 저장 포맷으로서, 등장방형(equirectangular) 파노라마 이미지 대신에, 원통형 등면적 프로젝션 변환된 파노라마 이미지가 사용된다.
파노라마 이미지 또는 파노라마 비디오의 해상도 및 비트 레이트는, 원통형 등면적 프로젝션 변환된 파노라마 이미지를 파노라마 이미지 또는 파노라마 비디오의 저장 포맷으로 이용함으로써 감소될 수 있는데, 그 이유는 다음과 같다: 원통형 등면적 프로젝션 모델(cylindrical surface equal-area projection model)을 이용하여 등장방형(equirectangular) 파노라마 이미지를 프로젝션하는 것은 적도 근처 텍스쳐가 변형되지 않거나 변형이 작도록 하여, 파노라마 이미지 또는 파노라마 비디오의 선명도를 보장한다; 그리고, 등장방형(equirectangular) 파노라마 이미지와 비교하면, 프로젝션을 통해서 획득된 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 양극점에서의 텍스쳐는 y축 방향으로 더 압축되어, 양극점에서의 텍스쳐의 면적이 적도(equator) 근처의 텍스쳐의 면적과 동일하도록 한다. 따라서, 픽셀 보간 후에 획득된 원통형 등면적 프로젝션 변환된 파노라마 이미지에 의해서 파노라마 영상 또는 파노라마 비디오의 해상도 및 비트 레이트가 감소될 수 있다.
원통형 등면적 프로젝션 모델(cylindrical surface equal-area projection model)을 이용하여 등장방형(equirectangular) 파노라마 이미지에 대해서 프로젝션을 수행함으로써, 양 극점에서의 텍스쳐는 y축 방향으로 더 압축된다. 이로 인해 극점 근처 이미지의 선명도가 감소하지만, 대부분의 경우, 파노라마 비디오 또는 파노라마 이미지의 주요한 관심 영역은 적도(equator) 부분에 집중된다. 따라서, 많은 어플리케이션에서는, 극점 부근 이미지의 선명도를 낮추는 것은 디스플레이 효과에 영향이 적다.
본원에서, 획득된 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 각 픽셀들의 2차원 좌표에 대해서 좌표 변환을 수행하여, 원통형 등면적 프로젝션 이미지의 각 픽셀들에 대응되는 등장방형(equirectangular) 파노라마 이미지의 2차원 좌표를 획득하는 프로세스는 특히 다음의 단계를 포함한다:
공식
Figure 112019008184735-pct00010
를 이용하여, 획득된 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 각 픽셀들의 2차원 좌표에 대해서 좌표 변환을 수행하여, 원통형 등면적 프로젝션 이미지의 각 픽셀들에 대응되는 등장방형(equirectangular) 파노라마 이미지의 2차원 좌표를 획득함.
공식
Figure 112019008184735-pct00011
에서, x는 등장방형(equirectangular) 파노라마 이미지 픽셀의 2차원 좌표의 횡좌표를 나타내고, y는 등장방형(equirectangular) 파노라마 이미지 픽셀의 2차원 좌표의 종좌표를 나타내며, u는 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 픽셀의 횡좌표를 나타내고, v는 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 픽셀의 종좌표를 나타내며, m 및 n 은 등장방형(equirectangular) 파노라마 이미지의 높이와 폭을 각각 나타내고, π는 PI를 나타낸다.
공식
Figure 112019008184735-pct00012
을 생성하는 프로세스는, 특히, 다음의 단계를 포함한다:
구면 파노라마 이미지를 원통형 등면적 프로젝션 이미지로 프로젝션하기 위한 공식
Figure 112019008184735-pct00013
획득, 공식
Figure 112019008184735-pct00014
에서, x는 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 횡좌표를 나타내고, y는 원통형 등면적 프로젝션 이미지의 종좌표를 나타내며, λ는 구면(spherical) 파노라마 이미지에서의 구면 좌표의 횡좌표를 나타내고,
Figure 112019008184735-pct00015
는 구면(spherical) 파노라마 이미지에서의 구면 좌표의 종좌표를 나타내며,
Figure 112019008184735-pct00016
는 원통형 등면적 프로젝션 이미지의 종횡비를 특정하기 위한 입력 파라미터를 나타냄;
등장방형(equirectangular) 파노라마 이미지로부터 구면 파노라마 이미지로의 좌표 변환 관계
Figure 112019008184735-pct00017
를 획득,
Figure 112019008184735-pct00018
에서, m 및 n 은 각각 등장방형(equirectangular) 파노라마 이미지의 높이와 폭을 나타내고, x는 등장방형(equirectangular) 파노라마 이미지 픽셀의 횡좌표를 나타내며, y는 등장방형(equirectangular) 파노라마 이미지 픽셀의 종좌표를 나타낸다.
등장방형(equirectangular) 파노라마 이미지로부터 구면 파노라마 이미지로의 좌표 변환 관계는 도 4(a) 및 도 4(b)에서 볼 수 있다. 도 4(a)는 등장방형(equirectangular) 파노라마 이미지의 좌표 시스템을 도시하고, 도 4(b)는 위도와 경도로 표현되는 구면 파노라마 이미지의 구면 좌표계 시스템을 도시한다.
구면 파노라마 이미지를 원통형 등면적 프로젝션 이미지로 프로젝션하기 위한 공식
Figure 112019008184735-pct00019
및 등장방형(equirectangular) 파노라마 이미지로부터 구면 파노라마 이미지로의 좌표 변환 관계
Figure 112019008184735-pct00020
를 수학적으로 결합하여, 공식
Figure 112019008184735-pct00021
가 구해진다.
등장방형(equirectangular) 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 각 픽셀에 대응되는 등장방형(equirectangular) 파노라마 이미지의 획득된 2차원 좌표에 기초하여, 픽셀 보간(interpolation)이 원통형 등면적 프로젝션 이미지에 대해서 수행되어, 원통형 등면적 프로젝션 변환된 파노라마 이미지가 생성되는 프로세스는, 특히, 다음을 포함한다:
등장방형(equirectangular) 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 각 픽셀에 대응되는 등장방형(equirectangular) 파노라마 이미지의 획득된 2차원 좌표에 기초하여, 보간 알고리즘(bilinear 보간 알고리즘 또는 spline 보간 알고리즘과 같은 기존의 보간 알고리즘 일 수 있음)을 이용함으로써, 픽셀 보간(interpolation)이 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)에 대해서 수행되어, 원통형 등면적 프로젝션 변환된 파노라마 이미지가 생성되는 단계.
구체적으로, bilinear 보간 알고리즘을 이용하여, 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)에 대해서 픽셀 보간을 수행함으로써, 원통형 등면적 프로젝션 변환된 파노라마 이미지가 생성되는 단계는 다음을 포함할 수 있다: 등장방형(equirectangular) 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 각 픽셀에 대응되는 등장방형(equirectangular) 파노라마 이미지의 획득된 2차원 좌표를 bilinear 보간 모델에 입력하여, 원통형 등면적 프로젝션 변환된 파노라마 이미지의 각 픽셀들의 픽셀 값을 얻고, 이는 bilinear 보간 모델에 의해서 출력되는 단계.
bilinear 보간 모델은 bilinear 보간 알고리즘에 의해서 생성되는 모델이다.
spline 보간 알고리즘을 이용하여, 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)에 대해서 픽셀 보간을 수행함으로써, 원통형 등면적 프로젝션 변환된 파노라마 이미지가 생성되는 단계는 다음을 포함할 수 있다: 등장방형(equirectangular) 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 각 픽셀에 대응되는 등장방형(equirectangular) 파노라마 이미지의 획득된 2차원 좌표를 spline 보간 모델에 입력하여, 원통형 등면적 프로젝션 변환된 파노라마 이미지의 각 픽셀들의 픽셀 값을 얻고, 이는 spline 보간 모델에 의해서 출력되는 단계.
spline 보간 모델은 spline 보간 알고리즘에 의해서 생성되는 모델이다.
상기 설명된 실시예들은 특정 실시예들을 참조하여 설명된다.
스텝 1: 원통형 등면적 프로젝션 모델(cylindrical surface equal-area projection model)을 이용하여 등장방형(equirectangular) 파노라마 이미지에 대해서 프로젝션을 수행함으로써 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)를 획득.
예컨대, 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 폭 w 및 높이 h 는 사전에 설정될 수 있다.
이 단계에서, 프로젝션을 통해서 획득된 원통형 등면적 프로젝션 이미지의 픽셀들 각각에 대해서, 2차원 좌표 u 및 v 가 존재하지만, 픽셀값은 존재하지 않는다.
스텝 2: 등면적 프로젝션 이미지의 픽셀들 각각의 2차원 좌표 (u,v) 획득.
스텝 3: 획득된 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 각 픽셀의 2차원 좌표에 대해서 좌표 변환을 수행하여, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형(equirectangular) 파노라마 이미지에서의 2차원 좌표를 획득하되, 특히, 다음의 프로세스를 포함함:
공식
Figure 112019008184735-pct00022
를 이용하여, 획득된 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 각 픽셀들의 2차원 좌표에 대해서 좌표 변환을 수행하여, 원통형 등면적 프로젝션 이미지의 각 픽셀들에 대응되는 등장방형(equirectangular) 파노라마 이미지의 2차원 좌표를 획득함,
여기서, x는 등장방형(equirectangular) 파노라마 이미지 픽셀의 2차원 좌표의 횡좌표를 나타내고, y는 등장방형(equirectangular) 파노라마 이미지 픽셀의 2차원 좌표의 종좌표를 나타내며, u는 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 픽셀의 횡좌표를 나타내고, v는 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 픽셀의 종좌표를 나타내며, m 및 n 은 등장방형(equirectangular) 파노라마 이미지의 높이와 폭을 각각 나타내고, π는 PI를 나타낸다. u 값은 0 에서 w-1 까지의 범위, 즉, [0,w-1]를 갖고, v 값은 0 에서 h-1 까지의 범위, 즉, [0,h-1]를 갖는다. w 는 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 폭을 나타내고, h 는 원통형 등면적 프로젝션 이미지의 높이를 나타낸다.
공식
Figure 112019008184735-pct00023
을 생성하는 프로세스는, 특히, 다음의 단계를 포함한다:
구면(spherical) 파노라마 이미지를 원통형 등면적 프로젝션 이미지로 프로젝션하기 위한 공식
Figure 112019008184735-pct00024
획득, 공식
Figure 112019008184735-pct00025
에서, u는 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 횡좌표를 나타내고, v는 원통형 등면적 프로젝션 이미지의 종좌표를 나타내며, λ는 구면 파노라마 이미지에서의 구면 좌표의 횡좌표를 나타내고,
Figure 112019008184735-pct00026
는 구면 파노라마 이미지에서의 구면 좌표의 종좌표를 나타내며,
Figure 112019008184735-pct00027
는 원통형 등면적 프로젝션 이미지의 종횡비를 특정하기 위한 입력 파라미터를 나타낸다;
등장방형(equirectangular) 파노라마 이미지로부터 구면(spherical) 파노라마 이미지로의 좌표 변환 관계
Figure 112019008184735-pct00028
를 획득,
Figure 112019008184735-pct00029
에서, m 및 n 은 각각 등장방형(equirectangular) 파노라마 이미지의 높이와 폭을 나타내고, x는 등장방형(equirectangular) 파노라마 이미지 픽셀의 횡좌표를 나타내며, y는 등장방형(equirectangular) 파노라마 이미지 픽셀의 종좌표를 나타낸다.
등장방형(equirectangular) 파노라마 이미지로부터 구면 파노라마 이미지로의 좌표 변환 관계는 도 4(a) 및 도 4(b)에서 볼 수 있다. 도 4(a)는 등장방형(equirectangular) 파노라마 이미지의 좌표 시스템을 도시하고, 도 4(b)는 위도와 경도로 표현되는 구면 파노라마 이미지의 구면 좌표계 시스템을 도시한다.
등장방형(equirectangular) 파노라마 이미지와 원통형 등면적 프로젝션 이미지 간의 변환 공식
Figure 112019008184735-pct00030
는 구면 파노라마 이미지를 원통형 등면적 프로젝션 이미지로 프로젝션하기 위한 공식
Figure 112019008184735-pct00031
및 등장방형(equirectangular) 파노라마 이미지로부터 구면 파노라마 이미지로의 좌표 변환 관계
Figure 112019008184735-pct00032
를 수학적으로 결합하여 구해진다.
스텝 4: 등장방형(equirectangular) 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 각 픽셀에 대응되는 등장방형(equirectangular) 파노라마 이미지의 획득된 2차원 좌표에 기초하여, 픽셀 보간(interpolation)이 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)에 대해서 수행되어, 원통형 등면적 프로젝션 변환된 파노라마 이미지가 생성됨.
제 2 실시예
상기 설명된 방법의 실시예에 따라서, 도 5에 도시된 바와 같이, 본 실시예는 프로젝션 이미지를 구성하는 장치를 도시한다. 프로젝션 이미지 구성 장치는 다음을 포함한다: 프로젝션 모듈(51), 제 1 획득 모듈(52), 변환 모듈(53), 및 제 1 생성 모듈(54).
프로젝션 모듈(51)은 원통형 등면적 프로젝션 모델(cylindrical surface equal-area projection model)을 이용하여 등장방형(equirectangular) 파노라마 이미지에 대해서 프로젝션을 수행하여 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)를 획득하는데 이용된다.
제 1 획득 모듈(52)은 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 각 픽셀의 2차원 좌표를 획득하는데 이용된다.
변환 모듈(53)은 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 각 픽셀의 획득된 2차원 좌표에 대해서 좌표 변환을 수행하여, 원통형 등면적 프로젝션 이미지의 각 픽셀들에 대응되는 등장방형(equirectangular) 파노라마 이미지의 2차원 좌표를 얻는데 이용된다.
제 1 생성 모듈(54)은 등장방형(equirectangular) 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 각 픽셀에 대응되는 등장방형(equirectangular) 파노라마 이미지의 획득된 2차원 좌표에 기초하여, 원통형 등면적 프로젝션 이미지에 대해서 픽셀 보간(interpolation)을 수행하여 원통형 등면적 프로젝션 변환된 파노라마 이미지를 생성하는데 이용된다.
본 실시예에서, 변환 모듈(53)은 특히 다음을 포함한다:
공식
Figure 112019008184735-pct00033
를 이용하여, 획득된 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 각 픽셀들의 2차원 좌표에 대해서 좌표 변환을 수행하여, 원통형 등면적 프로젝션 이미지의 각 픽셀들에 대응되는 등장방형(equirectangular) 파노라마 이미지의 2차원 좌표를 획득하는데 이용되는 변환 유닛;
여기서, x는 등장방형(equirectangular) 파노라마 이미지 픽셀의 2차원 좌표의 횡좌표를 나타내고, y는 등장방형(equirectangular) 파노라마 이미지 픽셀의 2차원 좌표의 종좌표를 나타내며, u는 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 픽셀의 횡좌표를 나타내고, v는 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 픽셀의 종좌표를 나타내며, m 및 n 은 등장방형(equirectangular) 파노라마 이미지의 높이와 폭을 각각 나타내고, π는 PI를 나타낸다.
본 실시예에서, 프로젝션 이미지를 구성하는 장치는 다음을 더 포함한다: 제 2 획득 모듈, 제 3 획득 모듈, 및 제 2 생성 모듈.
제 2 획득 모듈, 제 3 획득 모듈, 및 제 2 생성 모듈은 공식
Figure 112019008184735-pct00034
을 생성하는데 이용된다.
제 2 획득 모듈은, 구면 파노라마 이미지를 원통형 등면적 프로젝션 이미지로 프로젝션하기 위한 공식
Figure 112019008184735-pct00035
얻기 위해 이용된다. 여기서, x는 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 횡좌표를 나타내고, y는 원통형 등면적 프로젝션 이미지의 종좌표를 나타내며, λ는 구면(spherical) 파노라마 이미지에서의 구면 좌표의 횡좌표를 나타내고,
Figure 112019008184735-pct00036
는 구면(spherical) 파노라마 이미지에서의 구면 좌표의 종좌표를 나타내며,
Figure 112019008184735-pct00037
는 원통형 등면적 프로젝션 이미지의 종횡비를 특정하기 위한 입력 파라미터를 나타낸다.
제 3 획득 모듈은, 등장방형(equirectangular) 파노라마 이미지로부터 구면 파노라마 이미지로의 좌표 변환 관계
Figure 112019008184735-pct00038
를 얻는데 이용된다. 여기서, m 및 n 은 각각 등장방형(equirectangular) 파노라마 이미지의 높이와 폭을 나타내고, x는 등장방형(equirectangular) 파노라마 이미지 픽셀의 횡좌표를 나타내며, y는 등장방형(equirectangular) 파노라마 이미지 픽셀의 종좌표를 나타낸다.
제 2 생성 모듈은, 구면 파노라마 이미지를 원통형 등면적 프로젝션 이미지로 프로젝션하기 위한 공식
Figure 112019008184735-pct00039
및 등장방형(equirectangular) 파노라마 이미지로부터 구면 파노라마 이미지로의 좌표 변환 관계
Figure 112019008184735-pct00040
를 수학적으로 결합하여, 공식
Figure 112019008184735-pct00041
를 구하는데 이용된다.
본 실시예에서, 제 1 생성 모듈(54)은 구체적으로 제 1 생성 유닛 또는 제 2 생성 유닛을 포함할 수 있다.
제 1 생성 유닛은, 등장방형(equirectangular) 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 각 픽셀에 대응되는 등장방형(equirectangular) 파노라마 이미지의 획득된 2차원 좌표에 기초하고, bilinear 보간 알고리즘을 이용하여, 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)에 대해서 픽셀 보간을 수행함으로써, 원통형 등면적 프로젝션 변환된 파노라마 이미지를 생성하도록 구성된다.
제 2 생성 유닛은, 등장방형(equirectangular) 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 각 픽셀에 대응되는 등장방형(equirectangular) 파노라마 이미지의 획득된 2차원 좌표에 기초하고, spline 보간 알고리즘을 이용하여, 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)에 대해서 픽셀 보간을 수행함으로써, 원통형 등면적 프로젝션 변환된 파노라마 이미지를 생성하도록 구성된다.
상기 실시예의 다른 구현예에서, 프로젝션 이미지 구성 장치는 다음을 더 포함한다: 제 2 획득 모듈, 제 3 획득 모듈 및 제 2 생성 모듈.
제 2 획득 모듈, 제 3 획득 모듈 및 제 2 생성 모듈은 공식
Figure 112019008184735-pct00042
을 생성하기 위해서 이용된다.
제 2 획득 모듈은 구면 파노라마 이미지를 원통형 등면적 프로젝션 이미지로 프로젝션하기 위한 공식
Figure 112019008184735-pct00043
을 얻기 위해서 이용된다. 여기에서, u는 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 횡좌표를 나타내고, v는 원통형 등면적 프로젝션 이미지의 종좌표를 나타내며, λ는 구면(spherical) 파노라마 이미지에서의 구면 좌표의 횡좌표를 나타내고,
Figure 112019008184735-pct00044
는 구면(spherical) 파노라마 이미지에서의 구면 좌표의 종좌표를 나타내며,
Figure 112019008184735-pct00045
는 원통형 등면적 프로젝션 이미지의 종횡비를 특정하기 위한 입력 파라미터를 나타낸다. u 값은 0 에서 w-1 까지의 범위, 즉, [0,w-1]를 갖고, v 값은 0 에서 h-1 까지의 범위, 즉, [0,h-1]를 갖는다. w 는 원통형 등면적 프로젝션 이미지의 폭을 나타내고, h 는 원통형 등면적 프로젝션 이미지의 높이를 나타낸다.
제 3 획득 모듈은, 등장방형(equirectangular) 파노라마 이미지로부터 구면 파노라마 이미지로의 좌표 변환 관계
Figure 112019008184735-pct00046
를 얻기 위해서 이용된다. 여기에서, m 및 n 은 각각 등장방형(equirectangular) 파노라마 이미지의 높이와 폭을 나타내고, x는 등장방형(equirectangular) 파노라마 이미지 픽셀의 횡좌표를 나타내며, y는 등장방형(equirectangular) 파노라마 이미지 픽셀의 종좌표를 나타낸다.
제 2 생성 모듈은, 구면 파노라마 이미지를 원통형 등면적 프로젝션 이미지로 프로젝션하기 위한 공식
Figure 112019008184735-pct00047
및 등장방형(equirectangular) 파노라마 이미지로부터 구면 파노라마 이미지로의 좌표 변환 관계
Figure 112019008184735-pct00048
를 수학적으로 결합하여, 공식
Figure 112019008184735-pct00049
를 구하기 위해서 이용된다.
제 3 실시예
상기 설명된 본 출원의 실시예에 따른 방법에 따라서, 본 실시예는 프로세서, 통신 인터페이스, 메모리 및 통신 버스를 포함하는 전자 장치를 제공하고, 프로세서, 통신 인터페이스, 및 메모리는 통신 버스를 통해서 상호 통신을 수행한다.
메모리는 컴퓨터 프로그램을 저장하는데 이용된다.
메모리에 저장된 프로그램이 실행되면, 프로세서는 본 출원의 실시예에 따른 프로젝션 이미지 구성 방법을 구현하기 위해서 이용된다. 상기 프로젝션 이미지 구성 방법은 다음의 단계를 포함한다:
원통형 등면적 프로젝션 모델(cylindrical surface equal-area projection model)을 이용하여 등장방형(equirectangular) 파노라마 이미지에 대해서 프로젝션을 수행하여 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)를 얻는 단계;
원통형 등면적 프로젝션 이미지의 각 픽셀들의 2차원 좌표를 획득하는 단계;
획득된 원통형 등면적 프로젝션 이미지의 각 픽셀의 2차원 좌표에 대해서 좌표 변환을 수행하여, 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)에서의 각 픽셀에 대응되는 등장방형(equirectangular) 파노라마 이미지에서의 2차원 좌표를 획득하는 단계;
등장방형(equirectangular) 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형(equirectangular) 파노라마 이미지의 획득된 2차원 좌표에 기초하여, 원통형 등면적 프로젝션 이미지에 대해서 픽셀 보간(interpolation)을 수행하여, 원통형 등면적 프로젝션 변환된 파노라마 이미지를 생성하는 단계.
등장방형(equirectangular) 파노라마 이미지는 현재 파노라마 이미지 또는 파노라마 비디오의 저장 포맷으로서의 사용되는데, 등장방형(equirectangular) 파노라마 이미지의 동일한 텍스쳐에 대해서 극점 근처에서 차지하는 면적이 적도 근처에서 차지하는 면적보다 커서, 파노라마 이미지 또는 파노라마 비디오의 더 큰 해상도 및 더 큰 비트 레이트(bit rate)를 야기한다. 본 출원에서는, 파노라마 이미지 또는 파노라마 비디오의 해상도와 비트 레이트를 감소시키기 위해서, 파노라마 이미지 또는 파노라마 비디오의 저장 포맷으로서, 등장방형(equirectangular) 파노라마 이미지 대신에, 원통형 등면적 프로젝션 변환된 파노라마 이미지가 사용된다.
파노라마 이미지 또는 파노라마 비디오의 해상도 및 비트 레이트는, 원통형 등면적 프로젝션 변환된 파노라마 이미지를 파노라마 이미지 또는 파노라마 비디오의 저장 포맷으로 이용함으로써 감소될 수 있는데, 그 이유는 다음과 같다: 원통형 등면적 프로젝션 모델(cylindrical surface equal-area projection model)을 이용하여 등장방형(equirectangular) 파노라마 이미지를 프로젝션하는 것은 적도 근처 텍스쳐가 변형되지 않거나 변형이 작도록 하여, 파노라마 이미지 또는 파노라마 비디오의 선명도를 보장한다. 또한, 등장방형(equirectangular) 파노라마 이미지와 비교하면, 프로젝션을 통해서 획득된 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 양극점에서의 텍스쳐는 y축 방향으로 더 압축되어, 양극점에서의 텍스쳐의 면적이 적도 근처의 텍스쳐의 면적과 동일하도록 한다. 따라서, 픽셀 보간 후에 획득된 원통형 등면적 프로젝션 변환된 파노라마 이미지에 의해서 파노라마 영상 또는 파노라마 비디오의 해상도 및 비트 레이트가 감소될 수 있다.
제 2 실시예
상기 설명된 본 출원의 실시예에 따른 방법에 따라서, 본 실시예는 컴퓨터 프로그램을 저장하는, 컴퓨터에서 판독 가능한 컴퓨터 프로그램 저장 매체를 제공하고, 컴퓨터 프로그램은 프로세서에 의해서 실행되면, 프로세서로 하여금 본 출원의 실시예에 따른 프로젝션 이미지를 구성하는 방법을 구현하도록 한다. 프로젝션 이미지를 구성하기 위한 방법은 다음의 단계를 포함한다:
원통형 등면적 프로젝션 모델(cylindrical surface equal-area projection model)을 이용하여 등장방형(equirectangular) 파노라마 이미지에 대해서 프로젝션을 수행하여 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)를 얻는 단계;
원통형 등면적 프로젝션 이미지의 각 픽셀들의 2차원 좌표를 획득하는 단계;
획득된 원통형 등면적 프로젝션 이미지에서의 각 픽셀의 2차원 좌표에 대해서 좌표 변환을 수행하여, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형(equirectangular) 파노라마 이미지에서의 2차원 좌표를 획득하는 단계;
등장방형(equirectangular) 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형(equirectangular) 파노라마 이미지의 획득된 2차원 좌표에 기초하여, 원통형 등면적 프로젝션 이미지에 대해서 픽셀 보간(interpolation)을 수행하여, 원통형 등면적 프로젝션 변환된 파노라마 이미지를 생성하는 단계.
등장방형(equirectangular) 파노라마 이미지는 현재 파노라마 이미지 또는 파노라마 비디오의 저장 포맷으로서의 사용되는데, 등장방형(equirectangular) 파노라마 이미지의 동일한 텍스쳐에 대해서 극점 근처에서 차지하는 면적이 적도 근처에서 차지하는 면적보다 커서, 파노라마 이미지 또는 파노라마 비디오의 더 큰 해상도 및 더 큰 비트 레이트(bit rate)를 야기한다. 본 출원에서는, 파노라마 이미지 또는 파노라마 비디오의 해상도와 비트 레이트를 감소시키기 위해서, 파노라마 이미지 또는 파노라마 비디오의 저장 포맷으로서, 등장방형(equirectangular) 파노라마 이미지 대신에, 원통형 등면적 프로젝션 변환된 파노라마 이미지가 사용된다.
파노라마 이미지 또는 파노라마 비디오의 해상도 및 비트 레이트는, 원통형 등면적 프로젝션 변환된 파노라마 이미지를 파노라마 이미지 또는 파노라마 비디오의 저장 포맷으로 이용함으로써 감소될 수 있는데, 그 이유는 다음과 같다: 원통형 등면적 프로젝션 모델(cylindrical surface equal-area projection model)을 이용하여 등장방형(equirectangular) 파노라마 이미지를 프로젝션하는 것은 적도 근처 텍스쳐가 변형되지 않거나 변형이 작도록 하여, 파노라마 이미지 또는 파노라마 비디오의 선명도를 보장한다. 또한, 등장방형(equirectangular) 파노라마 이미지와 비교하면, 프로젝션을 통해서 획득된 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)의 양극점에서의 텍스쳐는 y축 방향으로 더 압축되어, 양극점에서의 텍스쳐의 면적이 적도 근처의 텍스쳐의 면적과 동일하도록 한다. 따라서, 픽셀 보간 후에 획득된 원통형 등면적 프로젝션 변환된 파노라마 이미지에 의해서 파노라마 영상 또는 파노라마 비디오의 해상도 및 비트 레이트가 감소될 수 있다.
본원의 다양한 실시예들은 대응되는 방식으로 설명되고 있음에 주의해야 한다. 다양한 실시예들에 동일하거나 유사한 부분들은 서로 참조될 수 있고, 각각의 실시예들은 다른 실시예들과의 차이점들에 중점을 둔다. 장치의 실시예들과 관련하여, 방법 실시예들과 유사하므로, 그 설명은 상대적으로 단순하다. 관련된 부분은 방법 실시예의 부분을 참조할 수 있다.
여기서, "제 1", "제 2" 등과 같은 관계를 나타내는 용어는 하나의 주체 또는 연산을 다른 주체 또는 연산과 구별하기 위해서 이용되고, 반드시 이들 주체들 또는 연산들 간에 실제 관계 또는 순서가 있음을 나타내거나 암시하는 것이 아님을 주의해야 한다. 더욱이, "포함한다"라는 용어 또는 이의 임의의 변형은 비-배타적인 포함을 의미하고, 일련의 구성 요소를 포함하는 장치, 물품, 방법, 또는 프로세스가 나열된 이러한 구성요소들 뿐만 아니라, 구체적으로 나열되지는 않았으나 장치, 물품, 방법 또는 프로세스에 고유한 구성요소들도 포함함을 주의해야 한다. 추가적인 한정이 없다면, "~을 포함하는"에 의해서 정의된 구성 요소가, 전술한 구성요소를 포함하는 프로세스, 방법, 물품 또는 장치에 별도의 동일한 구성요소가 존재하는 것을 배제하지는 않는다.
본원에 의해서 제공되는 프로젝션 이미지 구성 장치 및 방법이 상세하게 설명되었다. 본원의 원리 및 실시예들이 특정 실시예를 참조하여 설명되었다. 상기 실시예들에 대한 설명은 본원의 방법과 그 핵심 사상의 이해를 돕기 위한 것이다. 본 출원의 교시 내용에 따라서 본원의 실시예 및 본원의 범위에 변형이 있을 수 있음을 당업자는 명확하게 알 수 있을 것이다. 따라서, 본원 명세서는 본원 발명을 한정하는 것으로 해석되어서는 안될 것이다.

Claims (10)

  1. 프로젝션 이미지를 구성하는 방법으로서,
    원통형 등면적 프로젝션 모델(cylindrical surface equal-area projection model)을 이용하여 등장방형(equirectangular) 파노라마 이미지에 대해서 프로젝션을 수행하여 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)를 획득하는 단계;
    원통형 등면적 프로젝션 이미지의 각 픽셀들의 2차원 좌표를 획득하는 단계;
    획득된 원통형 등면적 프로젝션 이미지의 각 픽셀의 2차원 좌표에 대해서 좌표 변환을 수행하여, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형 파노라마 이미지에서의 2차원 좌표를 획득하는 단계; 및
    등장방형 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형 파노라마 이미지의 획득된 2차원 좌표에 기초하여, 원통형 등면적 프로젝션 이미지에 대해서 픽셀 보간(interpolation)을 수행하여, 원통형 등면적 프로젝션 변환된 파노라마 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제 1 항에 있어서,
    획득된 원통형 등면적 프로젝션 이미지의 각 픽셀의 2차원 좌표에 대해서 좌표 변환을 수행하여, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형 파노라마 이미지에서의 2차원 좌표를 획득하는 단계는:
    공식
    Figure 112019008184735-pct00050
    를 이용하여, 획득된 원통형 등면적 프로젝션 이미지의 각 픽셀들의 2차원 좌표에 대해서 좌표 변환을 수행하여, 원통형 등면적 프로젝션 이미지의 각 픽셀들에 대응되는 등장방형 파노라마 이미지의 2차원 좌표를 획득하는 단계를 포함하고,
    여기서, x는 등장방형 파노라마 이미지 픽셀의 2차원 좌표의 횡좌표를 나타내고, y는 등장방형 파노라마 이미지 픽셀의 2차원 좌표의 종좌표를 나타내며, u는 원통형 등면적 프로젝션 이미지의 픽셀의 횡좌표를 나타내고, v는 원통형 등면적 프로젝션 이미지의 픽셀의 종좌표를 나타내며, m 및 n 은 등장방형 파노라마 이미지의 높이와 폭을 각각 나타내고, π는 PI를 나타내는 것을 특징으로 하는 방법.
  3. 제 1 항에 있어서,
    등장방형 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형 파노라마 이미지의 획득된 2차원 좌표에 기초하여, 원통형 등면적 프로젝션 이미지에 대해서 픽셀 보간(interpolation)을 수행하여, 원통형 등면적 프로젝션 변환된 파노라마 이미지를 생성하는 단계는:
    등장방형 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형 파노라마 이미지의 획득된 2차원 좌표에 기초하고, bilinear 보간 알고리즘을 이용하여, 원통형 등면적 프로젝션 이미지에 대해서 픽셀 보간을 수행함으로써, 원통형 등면적 프로젝션 변환된 파노라마 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  4. 제 1 항에 있어서,
    등장방형 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형 파노라마 이미지의 획득된 2차원 좌표에 기초하여, 원통형 등면적 프로젝션 이미지에 대해서 픽셀 보간(interpolation)을 수행하여, 원통형 등면적 프로젝션 변환된 파노라마 이미지를 생성하는 단계는:
    등장방형 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형 파노라마 이미지의 획득된 2차원 좌표에 기초하고, spline 보간 알고리즘을 이용하여, 원통형 등면적 프로젝션 이미지에 대해서 픽셀 보간을 수행함으로써, 원통형 등면적 프로젝션 변환된 파노라마 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  5. 프로젝션 이미지 구성 장치로서,
    원통형 등면적 프로젝션 모델(cylindrical surface equal-area projection model)을 이용하여 등장방형(equirectangular) 파노라마 이미지에 대해서 프로젝션을 수행하여 원통형 등면적 프로젝션 이미지(cylindrical surface equal-area projection image)를 생성하는 프로젝션 모듈;
    원통형 등면적 프로젝션 이미지의 각 픽셀의 2차원 좌표를 획득하는 제 1 획득 모듈;
    원통형 등면적 프로젝션 이미지의 각 픽셀의 획득된 2차원 좌표에 대해서 좌표 변환을 수행하여, 원통형 등면적 프로젝션 이미지의 각 픽셀들에 대응되는 등장방형 파노라마 이미지의 2차원 좌표를 획득하는 변환 모듈; 및
    등장방형 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형 파노라마 이미지의 획득된 2차원 좌표에 기초하여, 원통형 등면적 프로젝션 이미지에 대해서 픽셀 보간(interpolation)을 수행하여 원통형 등면적 프로젝션 변환된 파노라마 이미지를 획득하는 제 1 생성 모듈을 포함하는 것을 특징으로 하는 프로젝션 이미지 구성 장치.
  6. 제 5 항에 있어서, 상기 변환 모듈은
    공식
    Figure 112019008184735-pct00051
    를 이용하여, 획득된 원통형 등면적 프로젝션 이미지의 각 픽셀들의 2차원 좌표에 대해서 좌표 변환을 수행하여, 원통형 등면적 프로젝션 이미지의 각 픽셀들에 대응되는 등장방형 파노라마 이미지의 2차원 좌표를 획득하는데 이용되는 변환 유닛;을 포함하고,
    여기서, x는 등장방형 파노라마 이미지 픽셀의 2차원 좌표의 횡좌표를 나타내고, y는 등장방형 파노라마 이미지 픽셀의 2차원 좌표의 종좌표를 나타내며, u는 원통형 등면적 프로젝션 이미지의 픽셀의 횡좌표를 나타내고, v는 원통형 등면적 프로젝션 이미지의 픽셀의 종좌표를 나타내며, m 및 n 은 등장방형 파노라마 이미지의 높이와 폭을 각각 나타내고, π는 PI를 나타내는 것을 특징으로 하는 프로젝션 이미지 구성 장치.
  7. 제 5 항에 있어서, 상기 제 1 생성 모듈은
    등장방형 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형 파노라마 이미지의 획득된 2차원 좌표에 기초하고, bilinear 보간 알고리즘을 이용하여, 원통형 등면적 프로젝션 이미지에 대해서 픽셀 보간을 수행함으로써, 원통형 등면적 프로젝션 변환된 파노라마 이미지를 생성하는 제 1 생성 유닛을 포함하는 것을 특징으로 하는 프로젝션 이미지 구성 장치.
  8. 제 5 항에 있어서, 상기 제 1 생성 모듈은
    등장방형 파노라마 이미지의 각 픽셀들의 컬러 정보와, 원통형 등면적 프로젝션 이미지의 각 픽셀에 대응되는 등장방형 파노라마 이미지의 획득된 2차원 좌표에 기초하고, spline 보간 알고리즘을 이용하여, 원통형 등면적 프로젝션 이미지에 대해서 픽셀 보간을 수행함으로써, 원통형 등면적 프로젝션 변환된 파노라마 이미지를 생성하는 제 2 생성 유닛을 포함하는 것을 특징으로 하는 프로젝션 이미지 구성 장치.
  9. 프로세서, 통신 인터페이스, 메모리 및 통신 버스를 포함하고,
    상기 프로세서, 상기 통신 인터페이스, 및 상기 메모리는 상기 통신 버스를 통해서 상호 통신을 수행하며;
    상기 메모리는 컴퓨터 프로그램을 저장하는데 이용되고;
    상기 메모리에 저장된 컴퓨터 프로그램이 실행되면, 상기 프로세서는 상기 청구항 1 내지 청구항 4 중 어느 한 항에 따른 방법의 단계들을 구현하기 위해서 이용되는 것을 특징으로 하는 전자장치.
  10. 컴퓨터에서 판독 가능한 저장 매체로서, 상기 컴퓨터에서 판독 가능한 저장 매체는 컴퓨터 프로그램을 저장하고, 상기 컴퓨터 프로그램은 프로세서에 의해서 실행되면, 상기 프로세서로 하여금 상기 청구항 1 내지 청구항 4 중 어느 한 항에 따른 방법의 단계들을 구현하도록 하는 것을 특징으로 하는 컴퓨터에서 판독 가능한 저장 매체.
KR1020197002235A 2016-12-20 2017-08-30 프로젝션 이미지 구성 방법 및 디바이스 KR102327972B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201611187138.2A CN106780310B (zh) 2016-12-20 2016-12-20 一种投影图构建方法及装置
CN201611187138.2 2016-12-20
PCT/CN2017/099686 WO2018113339A1 (zh) 2016-12-20 2017-08-30 一种投影图构建方法及装置

Publications (2)

Publication Number Publication Date
KR20190021394A KR20190021394A (ko) 2019-03-05
KR102327972B1 true KR102327972B1 (ko) 2021-11-17

Family

ID=58894256

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197002235A KR102327972B1 (ko) 2016-12-20 2017-08-30 프로젝션 이미지 구성 방법 및 디바이스

Country Status (10)

Country Link
US (1) US10991068B2 (ko)
EP (1) EP3561762A4 (ko)
JP (1) JP7010952B2 (ko)
KR (1) KR102327972B1 (ko)
CN (1) CN106780310B (ko)
AU (1) AU2017383979B2 (ko)
CA (1) CA3028863C (ko)
MY (1) MY201632A (ko)
TW (1) TWI635461B (ko)
WO (1) WO2018113339A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780310B (zh) * 2016-12-20 2020-11-24 北京奇艺世纪科技有限公司 一种投影图构建方法及装置
CN108230454B (zh) * 2017-12-28 2021-09-28 瑞庭网络技术（上海）有限公司 一种全景图片的切图方法、装置及存储介质
CN111091491B (zh) * 2019-12-20 2023-05-05 知鱼科技丹阳有限公司 一种等距圆柱投影的全景视频像素再分配方法及系统
CN111954054B (zh) * 2020-06-05 2022-03-04 筑觉绘(上海)科技有限公司 图像处理方法、系统、存储介质及计算机设备
JP2023154169A (ja) * 2022-04-06 2023-10-19 キヤノン株式会社 画像処理装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100988872B1 (ko) 2009-07-08 2010-10-20 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 복합 영상을 얻는 방법과 그 영상 시스템 및 하드웨어적으로 영상처리를 하는 이미지 센서

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6459451B2 (en) 1996-06-24 2002-10-01 Be Here Corporation Method and apparatus for a panoramic camera to capture a 360 degree image
US6043837A (en) 1997-05-08 2000-03-28 Be Here Corporation Method and apparatus for electronically distributing images from a panoptic camera system
TW358189B (en) 1998-01-15 1999-05-11 Ind Tech Res Inst A field-surrounding image simulation real-time play system and method
US6486908B1 (en) * 1998-05-27 2002-11-26 Industrial Technology Research Institute Image-based method and system for building spherical panoramas
TW413796B (en) 1998-06-25 2000-12-01 Ind Tech Res Inst A method and system for establishing environment image
CN100390666C (zh) 2004-12-17 2008-05-28 上海杰图软件技术有限公司 基于圆鱼眼或鼓形图像快速生成高清晰度全景的智能化方法
JP4403421B2 (ja) 2006-08-17 2010-01-27 ソニー株式会社 画像処理装置及び画像処理方法
KR100882011B1 (ko) 2007-07-29 2009-02-04 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치
CN101639621B (zh) * 2009-08-04 2011-11-16 厦门力鼎光电技术有限公司 以圆柱型模式或透视模式输出影像的方法
CN102831626B (zh) 2012-06-18 2014-11-26 清华大学 极地投影模式下多变量时空数据的可视化方法
JP6172432B2 (ja) 2013-01-08 2017-08-02 日本電気株式会社 被写体識別装置、被写体識別方法および被写体識別プログラム
CN103617606B (zh) * 2013-11-26 2016-09-14 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法
CN104392201B (zh) * 2014-09-28 2017-05-31 燕山大学 一种基于全向视觉的人体跌倒识别方法
CN105550984B (zh) 2015-12-30 2019-04-12 北京奇艺世纪科技有限公司 一种鱼眼图像校正和漫游显示的方法及装置
US20170302714A1 (en) * 2016-04-15 2017-10-19 Diplloid Inc. Methods and systems for conversion, playback and tagging and streaming of spherical images and video
GB2551426B (en) * 2016-04-18 2021-12-29 Avago Tech Int Sales Pte Lid Hardware optimisation for generating 360° images
CN106056531B (zh) 2016-05-13 2019-07-16 杭州当虹科技股份有限公司 一种360度全景视频球面展开到平面的显示方法
CN105933707B (zh) 2016-06-30 2019-02-22 北京奇艺世纪科技有限公司 一种全景视频的压缩方法及装置
CN106127681B (zh) 2016-07-19 2019-08-13 刘牧野 一种图像采集方法、虚拟现实图像传输方法及显示方法
US10277886B2 (en) * 2016-07-19 2019-04-30 Gopro, Inc. Mapping of spherical image data into rectangular faces for transport and decoding across networks
CN106780310B (zh) 2016-12-20 2020-11-24 北京奇艺世纪科技有限公司 一种投影图构建方法及装置
US10614609B2 (en) * 2017-07-19 2020-04-07 Mediatek Inc. Method and apparatus for reduction of artifacts at discontinuous boundaries in coded virtual-reality images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100988872B1 (ko) 2009-07-08 2010-10-20 주식회사 나노포토닉스 회전 대칭형의 광각 렌즈를 이용하여 복합 영상을 얻는 방법과 그 영상 시스템 및 하드웨어적으로 영상처리를 하는 이미지 센서

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
He et al. AHG8 InterDigital’s projection format conversion tool. JVET Meeting, 2016년 10월 21일, pp.1-17. 1부.*

Also Published As

Publication number Publication date
AU2017383979A1 (en) 2019-01-24
JP2019526875A (ja) 2019-09-19
JP7010952B2 (ja) 2022-02-10
US20190340726A1 (en) 2019-11-07
CA3028863C (en) 2022-03-29
TWI635461B (zh) 2018-09-11
CN106780310A (zh) 2017-05-31
EP3561762A4 (en) 2019-12-11
AU2017383979B2 (en) 2020-02-27
MY201632A (en) 2024-03-06
US10991068B2 (en) 2021-04-27
CA3028863A1 (en) 2018-06-28
KR20190021394A (ko) 2019-03-05
EP3561762A1 (en) 2019-10-30
TW201824176A (zh) 2018-07-01
WO2018113339A1 (zh) 2018-06-28
CN106780310B (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
KR102327972B1 (ko) 프로젝션 이미지 구성 방법 및 디바이스
CN111681167B (zh) 画质调整方法和装置、存储介质及电子设备
WO2019153671A1 (zh) 图像超分辨率方法、装置及计算机可读存储介质
KR102208773B1 (ko) 파노라마 영상 압축 방법 및 장치
US20190141323A1 (en) Video image encoding method and apparatus, and video image decoding method and apparatus
JP6094863B2 (ja) 画像処理装置、画像処理方法、プログラム、集積回路
WO2017113681A1 (zh) 一种基于虚拟现实技术的视频图像处理方法及装置
KR20170017700A (ko) 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법
CN105210374B (zh) 利用图像特征对频率提高超分辨率的控制
CN110419224A (zh) 用于封装和流传输虚拟现实媒体内容的方法和装置
CN109993824B (zh) 图像处理方法、智能终端及具有存储功能的装置
WO2018040860A1 (zh) 一种全景视频的压缩方法及装置
WO2020228347A1 (zh) 基于超像素的对象三维模型生成方法、系统及存储介质
CN112991165B (zh) 一种图像的处理方法及装置
CN110505465B (zh) 数据传输方法、三维图像显示方法、装置及电子设备
CN107203961B (zh) 一种表情迁移的方法及电子设备
JP2019149785A (ja) 映像変換装置及びプログラム
CN116486009A (zh) 单目三维人体重建方法、装置以及电子设备
CN111508058A (zh) 图像三维重建的方法、装置、存储介质及电子设备
JP2022513487A (ja) 没入型ビデオビットストリーム処理
CN106503174B (zh) 一种基于网络三维建模的场景可视化方法及系统
CN104978712B (zh) 图像处理方法及装置
CN102801968B (zh) 图像和视频的快速智能适配显示方法
US20170186233A1 (en) Method and electronic device for implementing page scrolling special effect
CN116977194A (zh) 一种视频处理方法、装置及计算机设备、存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2020101002803; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20201118

Effective date: 20210809

GRNO Decision to grant (after opposition)
GRNT Written decision to grant