KR101953310B1

KR101953310B1 - 영상을 처리하는 방법, 장치 및 기록매체

Info

Publication number: KR101953310B1
Application number: KR1020170067633A
Authority: KR
Inventors: 정재윤; 최병두; 이재경; 에릭 입; 강재은
Original assignee: 삼성전자주식회사
Priority date: 2016-10-12
Filing date: 2017-05-31
Publication date: 2019-02-28
Also published as: KR20190022598A; EP3501001A4; EP3501001B1; EP3501001C0; EP3501001A1; KR20180040480A; KR102300436B1

Abstract

어안(fish-eye) 렌즈를 통해 타겟(target) 공간을 촬영한 결과 생성된 어안 영상을 획득하고, 획득된 어안 영상의 색상 정보를 보정하기 위한 렌즈 쉐이딩 보상 정보를 포함하는 메타데이터를 생성하며, 획득된 어안 영상 및 메타데이터를 단말기에 전송하는 디바이스에서 영상을 처리하는 방법이 개시된다.

Description

영상을 처리하는 방법, 장치 및 기록매체 {Method and apparatus for processing image and recordimg medium thereof}

개시된 실시예는 영상을 처리하는 방법, 영상을 처리하는 장치 및 영상을 처리하는 방법을 수행하는 프로그램이 기록된 기록매체에 관한 것이다.

가상 현실(Virtual Reality)이란 어떤 특정한 환경이나 상황을 컴퓨터로 만들어서, 그것을 사용하는 사람이 마치 실제 환경 및 상황과 상호 작용을 하고 있는 것처럼 만들어주는 사용자와 디바이스 사이의 인터페이스를 나타낸다. 가상 현실 기술은 조작된 감각 자극을 통해 사용자가 현실감을 느끼도록 하는 것으로 게임, 교육, 의료, 저널리즘 등 많은 산업 영역에서 활용될 수 있다.

최근 들어, 가상 현실에 대한 사람들의 관심이 높아지면서, 가상 현실을 구현하기 위한 기술에 대한 개발이 활발하게 이루어지고 있다. 특히, 가상 현실을 구현하기 위해 필요한 가상 공간을 구성하는 영상들을 처리하는 기술에 대한 연구가 활발하게 이루어지고 있는 실정이다. 예를 들어, 가상 현실 영상 관련 기술의 발달로, 사용자는 평면 영상이 아닌 360도 영상을 시청할 수 있게 되었다.

개시된 실시예는 어안 렌즈를 통해 촬영된 어안 영상을 보정하기 위한 메타데이터 및 어안 영상을 단말기에 제공함으로써, 단말기에서 어안 영상을 기초로 VR 영상의 렌더링을 수행할 수 있는 영상 처리 방법, 장치 및 기록매체를 제공할 수 있다.

일 실시예에 따라 디바이스에서 영상을 처리하는 방법은, 어안 렌즈를 통해 타겟 공간을 촬영한 결과 생성된 어안 영상을 획득하는 단계; 획득된 어안 영상의 색상 정보를 보정하기 위한 렌즈 쉐이딩 보상(Lens Shading Compensation) 정보를 포함하는 메타데이터를 생성하는 단계; 및 획득된 어안 영상 및 메타데이터를 단말기에 전송하는 단계를 포함할 수 있다.

일 실시예에 따라 디바이스에서 영상을 처리하는 방법에 있어서, 렌즈 쉐이딩 보상 정보는, 어안 영상의 중심으로부터의 거리에 따라 식별되는 어안 영상 내의 복수의 영역과 복수의 영역 별 렌즈 쉐이딩 보상 값 간의 대응 관계를 나타내는 파라미터를 포함할 수 있다.

일 실시예에 따라 디바이스에서 영상을 처리하는 방법에 있어서, 렌즈 쉐이딩 보상 정보는, 어안 영상의 시야각에 따라 식별되는 어안 영상 내의 복수의 영역과 복수의 영역 별 렌즈 쉐이딩 보상 값 간의 대응 관계를 나타내는 파라미터를 포함할 수 있다.

일 실시예에 따라 디바이스에서 영상을 처리하는 방법에 있어서, 렌즈 쉐이딩 보상 정보는, 어안 영상 내의 복수의 영역 및 복수의 영역의 색상 별 렌즈 쉐이딩 보상 값 간의 대응 관계에 관한 정보를 포함할 수 있다.

일 실시예에 따른 단말기에서 영상을 처리하는 방법은, 적어도 하나의 어안 렌즈를 통해 타겟 공간을 촬영한 결과 생성된 복수의 어안 영상 및 복수의 어안 영상의 렌즈 쉐이딩 보상 정보를 포함하는 메타데이터를 수신하는 단계; 메타데이터로부터 획득된 렌즈 쉐이딩 보상 정보에 기초하여, 복수의 어안 영상 각각의 색상 정보를 보정하는 단계; 보정된 복수의 어안 영상을 렌더링하여, 타겟 공간에 대한 VR 영상을 생성하는 단계; 및 생성된 VR 영상을 출력하는 단계를 포함할 수 있다.

일 실시예에 따른 단말기에서 영상을 처리하는 방법에 있어서, 색상 정보를 보정하는 단계는, 렌즈 쉐이딩 보상 정보에 포함된, 어안 영상의 중심으로부터의 거리에 따라 식별되는 어안 영상 내의 복수의 영역과 복수의 영역 별 렌즈 쉐이딩 보상 값 간의 대응 관계를 나타내는 파라미터를 기초로, 복수의 영역 별 렌즈 쉐이딩 보상 값을 결정하는 단계; 및 결정된 복수의 영역 별 렌즈 쉐이딩 보상 값에 기초하여, 복수의 영역의 색상 정보를 보정하는 단계를 포함할 수 있다.

일 실시예에 따른 단말기에서 영상을 처리하는 방법에 있어서, 색상 정보를 보정하는 단계는, 렌즈 쉐이딩 보상 정보에 포함된, 어안 영상의 시야각에 따라 식별되는 상기 어안 영상 내의 복수의 영역과 복수의 영역 별 렌즈 쉐이딩 보상 값 간의 대응 관계를 나타내는 파라미터를 기초로, 복수의 영역 별 렌즈 쉐이딩 보상 값을 결정하는 단계; 및 결정된 복수의 영역 별 렌즈 쉐이딩 보상 값에 기초하여, 복수의 영역의 색상 정보를 보정하는 단계를 포함할 수 있다.

일 실시예에 따른 단말기에서 영상을 처리하는 방법에 있어서, 색상 정보를 보정하는 단계는, 렌즈 쉐이딩 보상 정보에 포함된, 어안 영상 내의 복수의 영역과 복수의 영역 각각의 색상 별 렌즈 쉐이딩 보상 값간의 대응 관계를 나타내는 파라미터를 기초로, 복수의 영역 각각의 색상 별 렌즈 쉐이딩 보상 값을 결정하는 단계; 및 결정된 복수의 영역 각각의 색상 별 렌즈 쉐이딩 보상 값에 기초하여, 복수의 영역 각각의 색상 정보를 보정하는 단계를 포함할 수 있다.

일 실시예에 따른 디바이스에서 영상을 처리하는 방법은, 어안 렌즈를 통해 타겟 공간을 촬영한 결과 생성된 어안 영상을 획득하는 단계; 획득된 어안 영상 내의 복수의 영역과 복수의 영역 각각의 색상 정보를 보정하기 위한 렌즈 쉐이딩 보상 값 간의 대응 관계에 관한 정보를 결정하는 단계; 및 복수의 영역과 렌즈 쉐이딩 보상 값 간의 대응 관계에 관한 정보를 포함하는 메타데이터 및 어안 영상을 단말기에 전송하는 단계를 포함할 수 있다.

일 실시예에 따른 디바이스에서 영상을 처리하는 방법에 있어서, 대응 관계에 관한 정보는, 복수의 영역 각각을 나타내는 입력 데이터 및 복수의 영역 각각의 렌즈 쉐이딩 보상 값을 나타내는 출력 데이터 간의 대응 관계를 나타내는 다항 함수의 계수를 포함할 수 있다.

일 실시예에 따른 디바이스에서 영상을 처리하는 방법에 있어서, 복수의 영역은, 어안 영상의 중심으로부터의 거리에 따라 식별될 수 있다.

일 실시예에 따른 디바이스에서 영상을 처리하는 방법에 있어서, 복수의 영역은, 어안 영상의 시야각에 따라 식별될 수 있다.

일 실시예에 따른 디바이스에서 영상을 처리하는 방법에 있어서, 대응 관계에 관한 정보는, 어안 영상 내의 복수의 영역 및 복수의 영역의 색상 별 렌즈 쉐이딩 보상 값간의 대응 관계에 관한 정보를 포함할 수 있다.

일 실시예에 따른 단말기에서 영상을 처리하는 방법은, 적어도 하나의 어안 렌즈를 통해 타겟 공간을 촬영한 결과 생성된 복수의 어안 영상 및 복수의 어안 영상 각각에 포함된 복수의 영역과 복수의 영역 별 렌즈 쉐이딩 보상 값 간의 대응 관계에 관한 정보를 포함하는 메타데이터를 수신하는 단계; 수신된 메타데이터를 기초로, 복수의 어안 영상 각각의 영역별 렌즈 쉐이딩 보상값을 결정하는 단계; 결정된 렌즈 쉐이딩 보상값에 기초하여, 복수의 어안 영상 각각의 영역 별 색상 정보를 보정하는 단계; 및 보정된 복수의 어안 영상을 렌더링하여, 타겟 공간에 대한 VR 영상을 생성하는 단계를 포함할 수 있다.

일 실시예에 따른 단말기에서 영상을 처리하는 방법에 있어서, 대응 관계에 관한 정보는, 복수의 영역 각각을 나타내는 입력 데이터 및 복수의 영역 각각의 렌즈 쉐이딩 보상 값을 나타내는 출력 데이터 간의 대응 관계를 나타내는 다항 함수의 계수를 포함할 수 있다.

일 실시예에 따른 단말기에서 영상을 처리하는 방법에 있어서, 복수의 영역은, 어안 영상의 중심으로부터의 거리에 따라 식별될 수 있다.

일 실시예에 따른 단말기에서 영상을 처리하는 방법에 있어서, 복수의 영역은, 어안 영상의 시야각에 따라 식별될 수 있다.

일 실시예에 따른 단말기에서 영상을 처리하는 방법에 있어서, 대응 관계에 관한 정보는, 어안 영상 내의 복수의 영역 및 복수의 영역의 색상 별 렌즈 쉐이딩 보상 값간의 대응 관계에 관한 정보를 포함할 수 있다.

일 실시예에 따른 디바이스에서 영상을 처리하는 방법은, 어안 렌즈를 통해 타겟 공간을 촬영한 결과 생성된 어안 영상을 획득하는 단계; 획득된 어안 영상의 색상 정보를 보정하기 위한 렌즈 쉐이딩 보상 정보를 포함하는 메타데이터를 생성하는 단계; 획득된 어안 영상에 감마(gamma) 보정을 수행하는 단계; 감마(gamma) 보정된 어안 영상 및 상기 메타데이터를 단말기에 전송하는 단계를 포함할 수 있다.

일 실시예에 따른 디바이스에서 영상을 처리하는 방법에 있어서, 메타데이터는, 감마 보정 시 적용되는 감마 커브에 관한 파라미터를 포함할 수 있다.

일 실시예에 따른 단말기에서 영상을 처리하는 방법은, 적어도 하나의 어안 렌즈를 통해 타겟 공간을 촬영한 결과 생성된 복수의 어안 영상의 렌즈 쉐이딩 보상 정보를 포함하는 메타데이터 및 복수의 어안 영상에 감마 보정을 수행한 결과 생성된 복수의 제 1 감마 보정 영상을 디바이스로부터 수신하는 단계; 복수의 제 1 감마 보정 영상에 디감마 보정을 수행하는 단계; 메타데이터로부터 획득된 렌즈 쉐이딩 보상 정보에 기초하여, 디감마 보정된 복수의 영상 각각의 색상 정보를 보정하는 단계; 색상 정보가 보정된 복수의 영상 각각에 감마 보정을 수행하여, 복수의 제 2 감마 보정 영상을 획득하는 단계; 및 복수의 제 2 감마 보정 영상을 렌더링하여, 타겟 공간에 대한 VR 영상을 생성하는 단계를 포함할 수 있다.

일 실시예에 따른 단말기에서 영상을 처리하는 방법은, 복수의 제 1 감마 보정 영상의 색상 정보를 분석하여, 상기 디바이스의 감마 보정 시 적용된 감마 커브에 관한 파라미터를 획득하는 단계를 더 포함하고, 디감마 보정을 수행하는 단계는, 획득된 감마 커브에 관한 파라미터를 기초로, 디감마 보정을 수행할 수 있다.

일 실시예에 따른 단말기에서 영상을 처리하는 방법에 있어서, 디감마 보정을 수행하는 단계는, 메타데이터에 포함된 감마 커브에 관한 파라미터를 기초로, 디감마 보정을 수행할 수 있다.

일 실시예에 따른 영상을 처리하는 디바이스는, 어안(fish-eye) 렌즈를 통해 타겟(target) 공간을 촬영한 결과 생성된 어안 영상을 획득하는 촬영부; 획득된 어안 영상의 색상 정보를 보정하기 위한 렌즈 쉐이딩 보상(Lens Shading Compensation) 정보를 포함하는 메타데이터를 생성하는 프로세서; 및 획득된 어안 영상 및 메타데이터를 단말기에 전송하는 통신부를 포함할 수 있다.

일 실시예에 따른 영상을 처리하는 단말기는, 적어도 하나의 어안 렌즈를 통해 타겟 공간을 촬영한 결과 생성된 복수의 어안 영상 및 복수의 어안 영상의 렌즈 쉐이딩 보상 정보를 포함하는 메타데이터를 수신하는 통신부; 메타데이터로부터 획득된 렌즈 쉐이딩 보상 정보에 기초하여, 복수의 어안 영상 각각의 색상 정보를 보정하고, 보정된 복수의 어안 영상을 렌더링(rendering)하여, 타겟 공간에 대한 VR 영상을 생성하는 프로세서; 및 생성된 VR 영상을 출력하는 출력부를 포함할 수 있다.

일 실시예에 따른 영상을 처리하는 디바이스는, 어안 렌즈를 통해 타겟 공간을 촬영한 결과 생성된 어안 영상을 획득하는 촬영부; 획득된 어안 영상 내의 복수의 영역과 복수의 영역 각각의 색상 정보를 보정하기 위한 렌즈 쉐이딩 보상 값 간의 대응 관계에 관한 정보를 결정하는 프로세서; 및 복수의 영역과 렌즈 쉐이딩 보상 값 간의 대응 관계에 관한 정보를 포함하는 메타데이터 및 어안 영상을 단말기에 전송하는 통신부를 포함할 수 있다.

일 실시예에 따른 영상을 처리하는 단말기는, 적어도 하나의 어안 렌즈를 통해 타겟 공간을 촬영한 결과 생성된 복수의 어안 영상 및 복수의 어안 영상 각각에 포함된 복수의 영역과 상기 복수의 영역 별 렌즈 쉐이딩 보상 값 간의 대응 관계에 관한 정보를 포함하는 메타데이터를 수신하는 통신부; 및 수신된 메타데이터를 기초로, 복수의 어안 영상 각각의 영역별 렌즈 쉐이딩 보상값을 결정하고, 결정된 렌즈 쉐이딩 보상값에 기초하여, 복수의 어안 영상 각각의 영역 별 색상 정보를 보정하고, 보정된 복수의 어안 영상을 렌더링하여, 상기 타겟 공간에 대한 VR 영상을 생성하는 프로세서를 포함할 수 있다.

일 실시예에 따른 영상을 처리하는 디바이스는, 어안 렌즈를 통해 타겟 공간을 촬영한 결과 생성된 어안 영상을 획득하는 촬영부; 획득된 어안 영상의 색상 정보를 보정하기 위한 렌즈 쉐이딩 보상 정보를 포함하는 메타데이터를 생성하고, 획득된 어안 영상에 감마(gamma) 보정을 수행하는 감마 보정부; 및 감마(gamma) 보정된 어안 영상 및 메타데이터를 단말기에 전송하는 통신부를 포함할 수 있다.

일 실시예에 따른 영상을 처리하는 단말기는, 적어도 하나의 어안 렌즈를 통해 타겟 공간을 촬영한 결과 생성된 복수의 어안 영상의 렌즈 쉐이딩 보상 정보를 포함하는 메타데이터 및 복수의 어안 영상에 감마 보정을 수행한 결과 생성된 복수의 제 1 감마 보정 영상을 디바이스로부터 수신하는 통신부; 및 복수의 제 1 감마 보정 영상에 디감마 보정을 수행하고, 메타데이터로부터 획득된 렌즈 쉐이딩 보상 정보에 기초하여, 디감마 보정된 복수의 영상 각각의 색상 정보를 보정하며, 색상 정보가 보정된 복수의 영상 각각에 감마 보정을 수행하여, 복수의 제 2 감마 보정 영상을 획득하고, 복수의 제 2 감마 보정 영상을 렌더링(rendering)하여, 타겟 공간에 대한 VR 영상을 생성하는 프로세서를 포함할 수 있다.

도 1은 일 실시예에 따른 영상을 처리하는 시스템을 설명하기 위한 개념도이다.
도 2는 일 실시예에 따른 디바이스가 영상을 처리하는 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 단말기가 영상을 처리하는 방법을 설명하기 위한 흐름도이다.
도 4는 일 실시예에 따른 디바이스가 렌즈 쉐이딩 보상 정보를 단말기에 제공하는 방법을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따른 단말기가 렌즈 쉐이딩 보상 정보를 디바이스로부터 획득하는 방법을 설명하기 위한 흐름도이다.
도 6은 일 실시예에 따른 렌즈 쉐이딩 보상 정보를 도시한 도면이다.
도 7은 일 실시예에 따른 단말기가 어안 영상의 중심으로부터의 거리(r)에 따른 렌즈 쉐이딩 보상 정보 값을 추출하는 방법을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 단말기가 시야각에 따른 렌즈 쉐이딩 보상 정보 값을 추출하는 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 색상 정보 별 렌즈 쉐이딩 보상 정보 값을 설명하기 위한 그래프이다.
도 10은 다른 실시예에 따른 영상을 처리하는 시스템을 설명하기 위한 개념도이다.
도 11은 일 실시예에 따른 디바이스가 렌즈 쉐이딩 보상 정보 및 감마 보정된 어안 영상을 단말기에 제공하는 방법을 설명하기 위한 흐름도이다.
도 12는 일 실시예에 따른 단말기가 렌즈 쉐이딩 보상 정보 및 감마 보정된 어안 영상을 기초로 VR 영상을 렌더링하는 방법을 설명하기 위한 흐름도이다.
도 13은 일 실시예에 따른 단말기가 렌즈 쉐이딩 보상 정보 및 감마 보정된 어안 영상을 기초로 VR 영상을 렌더링하는 방법을 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 디바이스의 블록도이다.
도 15 및 도 16은 일 실시예에 따른 단말기의 블록도이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

도 1은 일 실시예에 따른 영상을 처리하는 시스템(10)을 설명하기 위한 개념도이다.

일 실시예에 따른 영상을 처리하는 시스템(10)은 디바이스(20) 및 단말기(30)를 포함할 수 있다. 또한, 디바이스(20)는 영상 획득부(110), 메타데이터 생성부(120) 및 인코딩부(130)를 포함할 수 있다. 또한, 단말기(30)는 디코딩부(140), 메타데이터 획득부(150), 렌즈 쉐이딩 보상부(160) 및 렌더링부(170)를 포함할 수 있다.

다만, 이는 일 실시예일 뿐, 영상을 처리하는 시스템(10), 디바이스(20) 및 단말기(30)의 구성 요소가 전술한 예에 한정되는 것은 아니다. 한편, 전술한 구성 요소는 소프트웨어 모듈(또는, 인스트럭션(instruction)을 포함하는 프로그램 모듈)로 구현될 수 있으며, 적어도 하나의 프로세서는 소프트웨어 모듈의 인스트럭션에 따라 후술할 일련의 동작들을 수행될 수 있다.

영상 획득부(10)는 어안(fish-eye) 영상을 획득할 수 있다.

일 실시예에 따른 영상 획득부(10)는 어안 렌즈를 통해 타겟 공간을 촬영한 결과 생성된 어안 영상을 획득할 수 있다. 여기에서, 타겟 공간은 특정한 환경의 장소 또는 특정한 상황이 행해지는 장소로서, VR(Virtual Reality) 영상으로 구현하고자 하는 공간일 수 있다. 또한, 적어도 하나의 영상은 실사 영상이거나 그래픽 영상일 수 있다. 다만, 이는 일 예일 뿐, 적어도 하나의 영상은 실사 영상과 그래픽 영상이 조합된 영상일 수도 있다.

한편, 타겟 공간을 구성하는 객체들은 타겟 공간을 구성하는 영역, 타겟 공간 내에 존재하는 사물 및 사람 중 적어도 하나를 포함할 수 있다. 예를 들어, 타겟 공간이 전시회장인 경우, 전시회장 내의 벽면, 전시회장 내에 존재하는 적어도 하나의 전시품이 전시회장을 구성하는 객체에 포함될 수 있다. 또한, 다른 예에 따라, 타겟 공간이 경기장인 경우, 경기장 내에 존재하는 시설물 및 사람들에 관한 영상이 경기장을 구성하는 객체에 포함될 수 있다.

일 실시예에 따른 메타데이터 생성부(120)는 어안 영상의 렌즈 쉐이딩 보상(lens shading compensation) 정보를 생성할 수 있다. 렌즈 쉐이딩이란 어안 렌즈의 굴곡으로 인해, 영상의 주변부의 색상이 상대적으로 어둡게 촬영되는 현상으로, 이로 인해 영상에 무늬가 생길 수 있다. 렌즈 쉐이딩 보상 정보는 어안 영상 획득 시, 어안 렌즈의 굴곡 ?문에 화면에 무늬가 생기는 것을 보상하기 위해, 어안 영상을 구성하는 색상 정보에 적용되는 게인을 포함할 수 있다.

일 실시예에 따른 인코딩부(130)는 획득한 어안 영상을 인코딩할 수 있다. 인코딩부(130)는 어안 영상을 부호화하는데 거치는 작업들을 수행할 수 있다. 예를 들어, 인코딩부(130)는 인트라 예측, 인터 예측 및 양자화 등의 작업들을 수행할 수 있다.

한편, 인코딩된 어안 영상 및 렌즈 쉐이딩 보상 정보를 포함하는 메타데이터는 디바이스로부터 단말기에 전송될 수 있다.

일 실시예에 따른 디코딩부(140)는 인코딩된 어안 영상을 디코딩할 수 있다. 디코딩부(140)는 어안 영상을 부호화하는데 거치는 작업들을 수행할 수 있다. 예를 들어, 디코딩부(140)는 인트라 예측, 인터 예측 및 역양자화 등의 작업들을 수행할 수 있다.

일 실시예에 따른 메타데이터 획득부(150)는 어안 영상의 메타데이터로부터 어안 영상의 보정 및 렌더링 등의 작업에 필요한 정보를 획득할 수 있다. 예를 들어, 메타데이터 획득부(150)는 어안 영상의 렌즈 쉐이딩 보상 정보를 획득할 수 있다.

일 실시예에 따른 렌즈 쉐이딩 보상부(160)는 디코딩부(140)로부터 획득된 어안 영상에 렌즈 쉐이딩 보상을 수행할 수 있다. 예를 들어, 렌즈 쉐이딩 보상부(160)는 렌즈 쉐이딩 보상 정보에 기초하여, 어안 영상의 색상 정보를 보정할 수 있다. 렌즈 쉐이딩 보상 정보는 어안 영상의 영역별 RGB(Red Green Blue) 게인 등의 렌즈 쉐이딩 보상 값을 포함할 수 있다.

일 실시예에 따른 렌더링부(170)는 보정된 어안 영상을 기초로 렌더링을 수행할 수 있다. 렌더링부(170)는 렌더링을 통해 타겟 공간에 대한 VR(Virtual Reality) 영상을 획득할 수 있다.

일 실시예에 따른 영상을 처리하는 시스템(10)은 디바이스(20)가 성능 등의 문제로 인하여, 획득한 어안 영상에 렌즈 쉐이딩 보상을 수행하기 어려운 경우에도, 렌즈 쉐이딩 보상 정보를 단말기(20)에 제공함으로써, 단말기(20)에서 어안 영상에 대한 렌즈 쉐이딩 보상이 수행되도록 할 수 있다.

도 2는 일 실시예에 따른 디바이스가 영상을 처리하는 방법을 설명하기 위한 흐름도이다.

단계 S210에서, 디바이스는 어안 렌즈를 통해 타겟 공간을 촬영한 결과 생성된 어안 영상을 획득할 수 있다.

일 실시예에 따른 디바이스는 디바이스에 구비된 카메라 등의 촬영 장치를 이용하여 복수의 어안 영상을 획득할 수 있다. 여기에서, 어안 영상은 어안 렌즈를 통해 촬영된 영상을 나타낸다. 한편, 다른 실시예에 따라 디바이스(10)는 외부의 다른 디바이스로부터 촬영된 복수의 어안 영상을 수신할 수 있다.

한편, 본 실시예에서는 설명의 편의를 위해, 하나의 어안 영상을 예로 들어 설명하였으나, 디바이스는 타겟 공간에 대한 VR 영상이 렌더링 될 수 있도록 복수의 어안 영상을 획득할 수 있다.

단계 S220에서, 디바이스는 획득된 어안 영상의 색상 정보를 보정하기 위한 렌즈 쉐이딩 보상 정보를 포함하는 메타데이터를 생성할 수 있다.

일 실시예에 따른, 디바이스는 어안 렌즈의 굴곡으로 인해 어안 영상에 발생되는 무늬를 보정하기 위해, 어안 영상의 RGB 값에 적용되는 게인을 나타내는 렌즈 쉐이딩 보상 값을 결정할 수 있다.

예를 들어, 렌즈 쉐이딩 보상 정보는 어안 영상의 중심으로부터의 거리에 따라 식별되는 어안 영상 내의 복수의 영역과 복수의 영역 별 렌즈 쉐이딩 보상 값 간의 대응 관계를 나타내는 파라미터를 포함할 수 있다. 여기에서, 파라미터는 다항 함수의 계수(coefficient)일 수 있다. 다른 예에 따라, 렌즈 쉐이딩 보상 정보는 어안 영상의 시야각(field of view)에 따라 식별되는 어안 영상 내의 복수의 영역과 복수의 영역 별 렌즈 쉐이딩 보상 값 간의 대응 관계를 나타내는 파라미터를 포함할 수도 있다. 또 다른 예에 따라, 렌즈 쉐이딩 보상 정보는 어안 영상 내의 복수의 영역 별 렌즈 쉐이딩 보상 값을 포함할 수도 있다.

한편, 디바이스는 렌즈 쉐이딩 보상 정보 이외에 렌즈 왜곡 보정(lens distortion correction) 정보, 어안 영상을 촬영한 카메라 파라미터, 어안 영상의 시야각 정보, 어안 영상이 맵핑되는 3차원 메쉬 모델, 감마 보정 정보 중 적어도 하나에 관한 정보를 더 포함한 메타데이터를 생성할 수 있다. 다만, 이는 일 실시예일 뿐, 메타데이터에 포함되는 정보가 전술한 예에 한정되는 것은 아니다.

단계 S230에서, 디바이스는 획득된 어안 영상 및 메타데이터를 단말기에 전송할 수 있다.

일 실시예에 따른 디바이스는 어안 영상 및 메타데이터를 독립적인 형태로 단말기에 전송할 수 있다. 다만, 이는 일 실시예일 뿐, 다른 실시예에 따라, 디바이스는 어안 영상 및 메타데이터를 하나의 파일로 캡슐레이션 하고, 이를 단말기에 전송할 수도 있다.

또한, 디바이스는 획득된 어안 영상을 단말기에 전송하기에 앞서 인코딩 등의 추가적인 프로세스를 어안 영상에 대해 수행할 수 있다. 이에 따라, 디바이스는 인코딩된 어안 영상 및 메타데이터를 단말기에 전송할 수 있다.

한편, 메타데이터에 포함된 렌즈 쉐이딩 보상 정보는 어안 영상을 촬영한 디바이스 또는 카메라의 성능에 의해 결정되는 것으로, 디바이스로부터 단말기로 렌즈 쉐이딩 보상 정보가 제공된 경우에는 추후 어안 영상 전송 시, 이를 중복하여 제공하지 않을 수 있다.

도 3은 일 실시예에 따른 단말기가 영상을 처리하는 방법을 설명하기 위한 흐름도이다.

단계 S310에서, 단말기는 적어도 하나의 어안 렌즈를 통해 타겟 공간을 촬영한 결과 생성된 복수의 어안 영상 및 복수의 어안 영상의 렌즈 쉐이딩 보상 정보를 포함하는 메타데이터를 수신할 수 있다.

예를 들어, 단말기는 하나의 파일로 캡슐레이션된 복수의 어안 영상 및 메타데이터를 수신할 수 있다. 다른 예에 따라, 단말기는 복수의 어안 영상과 메타데이터를 독립적으로 수신할 수도 있다. 예를 들어, 단말기는 렌즈 쉐이딩 보상 정보를 포함한 MPD(media presentation description)를 수신할 수도 있다.

단계 S320에서, 단말기는 메타데이터로부터 획득된 렌즈 쉐이딩 보상 정보에 기초하여 복수의 어안 영상 각각의 색상 정보를 보정할 수 있다.

단말기는 렌즈 쉐이딩 보상 정보로부터 복수의 어안 영상 각각의 특정 영역들의 색상 정보를 보정하기 위한 렌즈 쉐이딩 보상 값을 결정할 수 있다. 일 실시예에 따른 렌즈 쉐이딩 보상 정보는 어안 영상 내의 특정 영역과 특정 영역에 적용되는 렌즈 쉐이딩 보상 값 간의 대응 관계에 관한 정보를 포함할 수 있다.

예를 들어, 렌즈 쉐이딩 보상 정보는 특정 영역과 특정 영역의 렌즈 쉐이딩 보상 값 간의 대응 관계를 나타내는 다항 함수의 계수일 수 있다. 여기에서, 어안 영상 내의 영역은 어안 영상의 중심으로부터의 거리 또는 시야각을 통해 특정될 수 있다. 또한, 렌즈 쉐이딩 보상 값은 어안 영상의 특정 영역 내의 RGB 값에 대한 게인을 나타낼 수 있다.

단말기는 대응 관계에 관한 정보를 기초로 어안 영상 내의 영역 별 렌즈 쉐이딩 보상 값을 획득할 수 있다. 또한, 단말기는 획득된 렌즈 쉐이딩 보상 값을 대응되는 영역의 색상 정보에 적용함으로써, 어안 영상의 색상 정보를 보정할 수 있다.

단계 S330에서, 단말기는 보정된 복수의 어안 영상을 렌더링하여 타겟 공간에 대한 VR 영상을 생성할 수 있다.

일 실시예에 따른 단말기는 디감마 보정, 감마 보정, 스티칭, 프로젝션 및 맵핑 등의 프로세스를 통해, 복수의 어안 영상을 렌더링하여, 타겟 공간에 대한 VR 영상을 생성할 수 있다.

단계 S340에서, 단말기는 생성된 VR 영상을 출력할 수 있다.

일 실시예에 따른 단말기는 생성된 VR 영상을 단말기의 디스플레이에 출력할 수 있다. 또한, 다른 실시예에 따라 단말기(200)는 사용자의 시선을 감지하여, 감지된 사용자의 시선에 대응되는 VR 영상의 적어도 일부 영역을 출력할 수 있다. 한편, 단말기는 HMD(Head Mound Display) 장치 등과 결합하여, HMD 장치를 통해 생성된 VR 영상을 출력할 수도 있다.

도 4는 일 실시예에 따른 디바이스가 렌즈 쉐이딩 보상 정보를 단말기에 제공하는 방법을 설명하기 위한 흐름도이다.

단계 S410에서, 디바이스는 어안 렌즈를 통해 타겟 공간을 촬영한 결과 생성된 어안 영상을 획득할 수 있다.

한편, 단계 S410은 도 2를 참고하여 전술한 단계 S210과 대응될 수 있다.

단계 S420에서, 디바이스는 획득된 어안 영상 내의 복수의 영역과 복수의 영역 각각의 색상 정보를 보정하기 위한 렌즈 쉐이딩 보상 값 간의 대응 관계에 관한 정보를 결정할 수 있다.

여기에서, 대응 관계는 어안 영상 내의 영역을 특정할 수 있는 파라미터를 입력 변수로 하는 다항 함수로 나타낼 수 있다. 예를 들어, 입력 변수는 어안 영상의 중심으로부터 특정 영역 간의 거리 또는 특정 영역의 시야각 을 포함할 수 있으나, 이는 일 실시예일 뿐, 입력 변수가 전술한 예에 한정되는 것은 아니다.

한편, 일 실시예에 따른 대응 관계에 관한 정보는 다항 함수에 대한 계수 및 차수에 관한 정보 등을 포함할 수 있다. 또한, 렌즈 쉐이딩이 발생되는 정도가 어안 영상을 구성하는 색상 별로 상이함에 따라, 대응 관계에 관한 정보에는 색상 별 다항 함수에 대한 계수 및 차수에 관한 정보가 포함될 수 있다.

단계 S430에서, 디바이스는 복수의 영역과 렌즈 쉐이딩 보상 값 간의 대응 관계에 관한 정보를 포함하는 메타데이터 및 어안 영상을 단말기에 전송할 수 있다.

한편, 단계 S430은 도 2를 참고하여 전술한 단계 S230과 대응될 수 있다.

도 5는 일 실시예에 따른 단말기가 렌즈 쉐이딩 보상 정보를 디바이스로부터 획득하는 방법을 설명하기 위한 흐름도이다.

단계 S510에서, 단말기는 적어도 하나의 어안 렌즈를 통해 타겟 공간을 촬영한 결과 생성된 복수의 어안 영상 및 복수의 어안 영상 각각에 포함된 복수의 영역과 복수의 영역 별 렌즈 쉐이딩 보상값 간의 대응 관계에 관한 정보를 포함하는 메타데이터를 수신할 수 있다.

한편, 일 실시예에 따른 대응 관계에 관한 정보는 다항 함수에 대한 계수 및 차수에 관한 정보 등을 포함할 수 있다. 예를 들어, 대응 관계에 관한 정보에서 num_polynomial_coefficient 엘리먼트의 값이 2이고, polynomial_coefficient 엘리먼트의 값이 1, 4, 5인 경우, 대응 관계는

으로 결정될 수 있다. 여기에서, 입력 변수 x에는 어안 영상의 중심으로부터 특정 영역 간의 거리 또는 특정 영역의 시야각이 적용될 수 있다.

또한, 렌즈 쉐이딩이 발생되는 정도가 어안 영상을 구성하는 색상 별로 상이함에 따라, 대응 관계에 관한 정보에는 색상 별 다항 함수에 대한 계수 및 차수에 관한 정보가 포함될 수 있다.

단계 S520에서, 단말기는 수신된 메타데이터를 기초로 복수의 어안 영상 각각의 영역 별 렌즈 쉐이딩 보상값을 결정할 수 있다.

단말기는 수신된 메타데이터로부터 복수의 어안 영상 각각에 포함된 복수의 영역과 복수의 영역 별 렌즈 쉐이딩 보상값 간의 대응 관계에 관한 정보를 획득할 수 있다. 예를 들어, 단계 S510을 참고하여 전술한 바와 같이 단말기는 대응 관계를

로 결정할 수 있다.

이에 따라, 단말기는 대응 관계의 x에 입력 변수로서 어안 영상의 중심으로부터 특정 영역 간의 거리 또는 특정 영역의 시야각을 적용할 수 있다. 이에 따라 적용된 입력 변수에 대응되는 렌즈 쉐이딩 보상값이 다항 함수의 출력 값으로 결정될 수 있다.

단계 S530에서, 단말기는 결정된 렌즈 쉐이딩 보상값에 기초하여 복수의 어안 영상 각각의 영역 별 색상 정보를 결정할 수 있다. 예를 들어, 단말기는 영역 별로 결정된 렌즈 쉐이딩 보상값을 대응되는 영역의 색상 정보에 적용하여, 색상 정보를 보정할 수 있다.

단계 S540에서, 단말기는 보정된 복수의 어안 영상을 렌더링하여 타겟 공간에 대한 VR 영상을 생성할 수 있다.

한편, 단계 S540은 도 3을 참고하여 전술한 단계 S330과 대응될 수 있다.

도 6은 일 실시예에 따른 렌즈 쉐이딩 보상 정보(600)를 도시한 도면이다.

도 6을 참고하면, 렌즈 쉐이딩 보상 정보(600)는 어안 영상 내의 복수의 영역과 복수의 영역 별 렌즈 쉐이딩 보상값 간의 대응 관계에 관한 정보를 포함할 수 있다. 여기에서, 대응 관계에 관한 정보는 다항 함수에 대한 계수 및 차수에 관한 정보를 포함할 수 있다.

예를 들어, 렌즈 쉐이딩 보상 정보(600)에서 제 1 엘리먼트(610)인 num_polynomial_coefficients_Is 속성은 다항 함수의 차수를 나타낼 수 있다. 제 2 엘리먼트(620)인 polynomial_coefficient_K_Isc_R 속성은 R(Red) 성분의 색상 정보를 보정하기 위한 다항 함수의 계수를 나타낼 수 있다. 제 3 엘리먼트(630)인 polynomial_coefficient_K_Isc_G 속성은 G(Green) 성분의 색상 정보를 보정하기 위한 다항 함수의 계수를 나타낼 수 있다. 또한, 제 4 엘리먼트(640)인 polynomial_coefficient_K_Isc_B 속성은 B(Blue) 성분의 색상 정보를 보정하기 위한 다항 함수의 계수를 나타낼 수 있다.

도 7은 일 실시예에 따른 단말기가 어안 영상(710)의 중심으로부터의 거리(r)에 따른 렌즈 쉐이딩 보상 정보 값을 추출하는 방법을 설명하기 위한 도면이다.

도 7을 참고하면, 단말기가 수신한 어안 영상(710) 내의 영역은 어안 영상(710)의 중심으로부터 해당 영역까지의 거리에 따라 특정될 수 있다. 예를 들어, 단말기는 어안 영상(710)의 중심으로부터 r1거리에 있는 영역(712)을 특정할 수 있다.

한편, 도 7에는 어안 영상(710)의 중심으로부터의 거리에 따른 렌즈 쉐이딩 보상(Lens Shading Compensation, LSC) 게인을 나타내는 그래프(720)가 도시되어 있다. 도 7의 그래프(720)는

의 다항 함수로서 나타낼 수 있는 것으로 가정한다. 여기에서,

는 어안 영상(710)의 중심으로부터 어안 영상(710) 내의 영역까지의 거리를 나타내고,

는 LSC 게인을 나타낸다. 또한, 단말기는 다항 함수의 차수 정보 및 계수 정보를 렌즈 쉐이딩 보상 정보로서 디바이스로부터 제공받을 수 있다.

도 8은 일 실시예에 따른 단말기가 시야각(Field of View, FOV)에 따른 렌즈 쉐이딩 보상 정보 값을 추출하는 방법을 설명하기 위한 도면이다.

도 8을 참고하면, 단말기가 수신한 어안 영상(810) 내의 영역은 시야각에 따라 특정될 수 있다. 예를 들어, 단말기는 어안 영상(810) 내에서 FOV1의 시야각을 갖는 영역(812)을 특정할 수 있다.

한편, 도 8에는 어안 영상(810)의 시야각에 따른 렌즈 쉐이딩 보상(Lens Shading Compensation, LSC) 게인을 나타내는 그래프(820)가 도시되어 있다. 도 8의 그래프(820)는

는 시야각을 나타내고,

는 렌즈 쉐이딩 보상 값을 나타낸다. 또한, 단말기는 다항 함수의 차수 정보 및 계수 정보를 렌즈 쉐이딩 보상 정보로서 디바이스로부터 제공받을 수 있다.

도 9는 일 실시예에 따른 색상 정보 별 렌즈 쉐이딩 보상 정보 값을 설명하기 위한 그래프(900)이다.

도 9를 참고하면, 렌즈 쉐이딩 보상 값은 색상에 따라 상이할 수 있다. 예를 들어, 색상의 파장이 낮을수록 시야각(FOV) 또는 어안 영상 중심으로부터의 거리(r)에 따른 렌즈 쉐이딩 보상 값의 차이가 클 수 있다. 예를 들어, R 채널(910)의 경우, G 채널(920) 또는 B 채널(930)에 비해 시야각(FOV) 또는 어안 영상 중심으로부터의 거리(r)에 따른 렌즈 쉐이딩 보상 값의 차이가 클 수 있다.

또한, 시야각(FOV) 또는 어안 영상 중심으로부터의 거리(r) 값이 커짐에 따라, R 채널(910), G 채널(920) 및 B 채널(930) 간의 렌즈 쉐이딩 보상 값의 차이가 커지는 것을 확인할 수 있다.

이에 따라, 일 실시예에 따른 디바이스는 어안 영상 내의 복수의 영역과 복수의 영역 별 렌즈 쉐이딩 보상 값 간의 대응 관계를 나타내는 다항함수를 색상 채널별로 결정할 수 있다. 예를 들어, 디바이스는 R 채널(910)에 대한 대응 관계를

의 다항 함수로 나타낼 수 있다. 또한, 디바이스는 G 채널(920)에 대한 대응 관계를

의 다항 함수로 나타낼 수 있다. 또한, 디바이스는 B 채널(930)에 대한 대응 관계를

의 다항 함수로 나타낼 수 있다.

한편, 디바이스는 어안 영상 및 결정된 채널 별 다항함수의 차수 및 계수를 포함하는 렌즈 쉐이딩 보상 정보를 단말기에 제공할 수 있다. 단말기는 디바이스로부터 수신한 렌즈 쉐이딩 보상 정보에 포함된 채널 별 차수 및 계수 정보를 기초로 전술한 대응 관계를 결정할 수 있다. 또한 단말기는 결정된 대응 관계에 따라 어안 영상 내의 영역 별 렌즈 쉐이딩 보상 값을 결정할 수 있다.

도 10은 다른 실시예에 따른 영상을 처리하는 시스템(40)을 설명하기 위한 개념도이다.

일 실시예에 따른 영상을 처리하는 시스템(40)은 디바이스(50) 및 단말기(60)를 포함할 수 있다. 또한, 디바이스(40)는 영상 획득부(1005), 감마 보정부(1010), 인코딩부(1015) 및 메타데이터 생성부(1020)를 포함할 수 있다. 또한, 단말기(60)는 디코딩부(1025), 메타데이터 획득부(1030), 디감마 보정부(1035), 렌즈 쉐이딩 보상부(1040), 감마 보정부(1045) 및 렌더링부(1050)를 포함할 수 있다.

다만, 이는 일 실시예일 뿐, 영상을 처리하는 시스템(40), 디바이스(50) 및 단말기(60)의 구성 요소가 전술한 예에 한정되는 것은 아니다. 한편, 전술한 구성 요소는 소프트웨어 모듈(또는, 인스트럭션(instruction)을 포함하는 프로그램 모듈)로 구현될 수 있으며, 적어도 하나의 프로세서는 소프트웨어 모듈의 인스트럭션에 따라 후술할 일련의 동작들을 수행될 수 있다.

영상 획득부(1005)는 어안(fish-eye) 영상을 획득할 수 있다. 여기에서, 영상 획득부(1005)는 도 1을 참고하여 전술한 영상 획득부(110)와 대응될 수 있다.

감마 보정부(1010)는 어안 영상에 감마 보정을 수행할 수 있다. 감마 보정은 인간 시각의 비선형성에 맞추어 정보를 부호화하는 프로세스를 의미한다. 인간의 시각은 베버의 법칙(Weber's law)에 따라 밝기에 대해 비선형적으로 반응한다. 이 때문에, 선형적으로 빛의 밝기를 기록하면 포스터리제이션(Posterization)이 발생할 수 있다. 따라서, 감마 보정부(1010)는 화질 열화를 방지하기 위해, 인간 시각의 비선형성에 맞추어 정보를 부호화 하는 감마 보정을 수행할 수 있다.

일 실시예에 따른 인코딩부(1015)는 감마 보정된 어안 영상을 인코딩할 수 있다.

일 실시예에 따른 메타데이터 생성부(1020)는 어안 영상의 렌즈 쉐이딩 보상 정보를 포함하는 메타데이터를 생성할 수 있다. 또한, 다른 예에 따라, 메타데이터 생성부(1020)는 렌즈 쉐이딩 보상 정보 및 감마 커브에 관한 파라미터를 포함하는 메타데이터를 생성할 수 있다.

한편, 인코딩된 어안 영상 및 메타데이터는 디바이스로부터 단말기에 전송될 수 있다.

일 실시예에 따른 디코딩부(1025)는 인코딩된 어안 영상을 디코딩할 수 있다.

일 실시예에 따른 메타데이터 획득부(1030)는 어안 영상의 메타데이터로부터 어안 영상의 보정 및 렌더링 등의 작업에 필요한 정보를 획득할 수 있다. 예를 들어, 메타데이터 획득부(1030)는 어안 영상의 렌즈 쉐이딩 보상 정보를 획득할 수 있다. 다른 예에 따라, 메타데이터 획득부(1030)는 감마 커브에 관한 파라미터를 획득할 수도 있다.

일 실시예에 따른 디감마 보정부(1035)는 디코딩된 어안 영상에 디감마 보정을 수행할 수 있다. 디감마 보정부(1035)는 디감마 보정 프로세스를 통해, 디코딩된 어안 영상의 입력 신호에 대한 출력 신호의 관계를 비선형성에서 선형성으로 변경할 수 있다.

한편, 디감마 보정에 이용되는 디감마 커브에 관한 파라미터를 획득하는 방법에 대해서는 도 12 및 도 13을 참고하여 구체적으로 후술하도록 한다.

일 실시예에 따른 렌즈 쉐이딩 보상부(1040)는 디감마 보정된 어안 영상에 렌즈 쉐이딩 보상을 수행할 수 있다.

일 실시예에 따른 감마 보정부(1045)는 렌즈 쉐이딩 보상이 수행된 어안 영상에 감마 보정을 수행할 수 있다.

한편, 감마 보정에 이용되는 감마 커브에 관한 파라미터를 획득하는 방법에 대해서는 도 12 및 도 13을 참고하여 구체적으로 후술하도록 한다.

일 실시예에 따른 렌더링부(1050)는 감마 보정된 어안 영상을 기초로 렌더링을 수행할 수 있다.

도 11은 일 실시예에 따른 디바이스가 렌즈 쉐이딩 보상 정보 및 감마 보정된 어안 영상을 단말기에 제공하는 방법을 설명하기 위한 흐름도이다.

단계 S1110에서, 디바이스는 어안 렌즈를 통해 타겟 공간을 촬영한 결과 생성된 어안 영상을 획득할 수 있다.

한편, 단계 S1110은 도 2를 참고하여 전술한 단계 S210과 대응될 수 있다.

단계 S1120에서, 디바이스는 획득된 어안 영상의 색상 정보를 보정하기 위한 렌즈 쉐이딩 보상 정보를 포함하는 메타데이터를 생성할 수 있다.

한편, 단계 S1120은 도 2를 참고하여 전술한 단계 S220과 대응될 수 있다.

단계 S1130에서, 디바이스는 획득된 어안 영상에 감마 보정을 수행할 수 있다. 감마 보정은 인간 시각의 비선형성에 맞추어 정보를 부호화하는 프로세스를 의미한다. 이에 대해서는, 도 13을 참고하여 보다 구체적으로 후술하도록 한다.

단계 S1140에서, 디바이스는 감마 보정된 어안 영상 및 메타데이터를 단말기에 전송할 수 있다. 여기에서, 메타데이터에는 렌즈 쉐이딩 보상 정보 이외에 단계 S1130에서 수행된 감마 보정의 특성을 나타내는 감마 커브에 관한 파라미터가 더 포함될 수도 있다.

도 12는 일 실시예에 따른 단말기가 렌즈 쉐이딩 보상 정보 및 감마 보정된 어안 영상을 기초로 VR 영상을 렌더링하는 방법을 설명하기 위한 흐름도이다.

단계 S1210에서, 단말기는 적어도 하나의 어안 렌즈를 통해 타겟 공간을 촬영한 결과 생성된 복수의 어안 영상의 렌즈 쉐이딩 보상 정보를 포함하는 메타데이터 및 복수의 어안 영상에 감마 보정을 수행한 결과 생성된 복수의 제 1 감마 보정 영상을 디바이스로부터 수신할 수 있다.

단계 S1220에서, 단말기는 복수의 제 1 감마 보정 영상에 디감마 보정을 수행할 수 있다.

단말기에 수신된 복수의 제 1 감마 보정 영상의 경우, 디바이스에서 수행된 감마 보정에 의해, 비선형성을 가질 수 있다. 단말기가 복수의 제 1 감마 보정 영상에 렌즈 쉐이딩 보상을 적용할 경우, 비선형성으로 인해, 렌즈 쉐이딩 보상에 따른 보정 효과가 감소될 수 있다. 이에 따라, 단말기는 복수의 제 1 감마 보정 영상이 선형성을 갖도록 보정하기 위해, 복수의 제 1 감마 보정 영상에 디감마 보정을 수행할 수 있다.

한편, 일 실시예에 따른 단말기는 디바이스로부터 감마 보정에 이용된 감마 커브에 관한 정보를 기초로 디감마 커브를 결정할 수 있다. 예를 들어, 디바이스로부터 수신되는 메타데이터에는 렌즈 쉐이딩 정보 이외에 감마 커브에 관한 파라미터가 함께 포함될 수 있다. 이러한 경우, 단말기는 디바이스에서 적용한 감마 커브에 역수를 취해 디감마 커브를 획득할 수 있다. 예를 들어, 디바이스에 어안 영상에 0.45승만큼 감마 보정을 수행한 경우, 단말기는 제 1 감마 보정 영상에 2.22만큼 디감마 보정을 수행할 수 있다.

다른 실시예에 따라 단말기는 단말기에 기 저장된 디감마 커브를 이용하여, 복수의 제 1 감마 보정 영상에 디감마 보정을 수행할 수 있다.

또 다른 실시예에 따라 단말기는 복수의 제 1 감마 보정 영상의 색상 정보를 분석하여, 디바이스에서 감마 보정에 이용된 감마 커브를 결정할 수 있다. 단말기는 결정된 감마 커브에 역수를 취해 디감마 커브를 획득하고, 획득된 디감마 커브를 이용하여, 복수의 제 1 감마 보정 영상에 디감마 보정을 수행할 수 있다.

단계 S1230에서, 단말기는 메타데이터로부터 획득된 렌즈 쉐이딩 보상 정보에 기초하여 디감마 보정된 복수의 영상 각각의 색상 정보를 보정할 수 있다.

한편, 단계 S1230은 도 3을 참고하여 전술한 단계 S320과 대응될 수 있다.

단계 S1240에서, 단말기는 색상 정보가 보정된 복수의 영상 각각에 감마 보정을 수행하여 복수의 제 2 감마 보정 영상을 획득할 수 있다.

단말기는 색상 정보가 보정된 복수의 영상 각각을 인간의 시각 특성에 따라 부호화하기 위해, 색상 정보가 보정된 복수의 영상 각각에 감마 보정을 수행할 수 있다. 여기에서, 감마 보정에 적용되는 감마 커브는 단계 S1220에서 수행된 디감마 커브에 역함수를 취해 획득될 수 있다. 다른 예에 따라, 감마 보정에 적용되는 감마 커브는 단말기에 기 저장될 수도 있다.

단계 S1250에서, 단말기는 복수의 제 2 감마 보정 영상을 렌더링하여 타겟 공간에 대한 VR 영상을 생성할 수 있다.

도 13은 일 실시예에 따른 단말기가 렌즈 쉐이딩 보상 정보 및 감마 보정된 어안 영상을 기초로 VR 영상을 렌더링하는 방법을 설명하기 위한 도면이다.

도 13을 참고하면, 단말기는 디바이스로부터 감마 보정된 어안 영상인 제 1 어안 영상(1310)를 수신할 수 있다. 또한, 단말기는 제 1 어안 영상(1310)과 함께 렌즈 쉐이딩 보상 정보를 포함한 메타데이터를 수신할 수 있다. 제 1 어안 영상(1310)의 입력 신호에 대한 출력 신호의 값은 감마 보정에 의해 비선형성을 갖는 커브(1315)를 가질 수 있다.

단말기는 제 1 어안 영상(1310)에 렌즈 쉐이딩 보상을 수행하기에 앞서, 제 1 어안 영상(1310)을 선형성을 갖는 영상으로 보정하기 위해, 제 1 어안 영상(1310)에 디감마 커브(1320)에 따라, 디감마 보정을 수행할 수 있다. 여기에서, 디감마 커브(1320)에 관한 정보는 디바이스로부터 수신될 수 있다. 다른 예에 따라, 디감마 커브(1320)에 관한 정보는 단말기가 제 1 어안 영상(1310)의 색상 정보를 분석한 결과를 기초로 획득될 수 있다. 또한, 디감마 커브(1320)에 관한 정보는 단말기에 기 저장되어 있을 수도 있다.

한편, 설명의 편의상 디감마 보정이 수행된 어안 영상을 제 2 어안 영상(1330)으로 설명하도록 한다. 디감마 보정에 의해, 제 2 어안 영상(1330)의 입력 신호에 대한 출력 신호의 값은 직선(1335) 형태를 가질 수 있다. 단말기는 제 2 어안 영상(1330)에 렌즈 쉐이딩 보상을 수행할 수 있다.

또한, 단말기는 렌즈 쉐이딩 보상이 수행된 어안 영상인 제 3 어안 영상(1340)에 감마 커브(1350)에 따라 감마 보정을 수행하여, 제 4 어안 영상(1360)을 획득할 수 있다. 여기에서, 감마 보정에 적용되는 감마 커브는 디감마 커브에 역함수를 취해 획득될 수 있다. 다른 예에 따라, 감마 보정에 적용되는 감마 커브는 단말기에 기 저장될 수도 있다.

도 14는 일 실시예에 따른 디바이스(1400)의 블록도이다.

도 14에 도시된 바와 같이, 일 실시예에 따른 디바이스(1400)는, 촬영부(1410), 제어부(1420) 및 통신부(1430)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 디바이스(1400)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 디바이스(1400)는 구현될 수 있다.

촬영부(1410)는 어안 렌즈를 통해 타겟 공간을 촬영한 결과 생성된 어안 영상을 획득할 수 있다. 다만, 이는 일 실시예일 뿐, 디바이스(1400)는 통신부(1430)를 통해 외부 디바이스에서 촬영된 어안 영상을 수신할 수도 있다.

프로세서(1420)는 도 1 내지 도 13을 참고하여 전술한 디바이스의 동작을 수행할 수 있다.

일 실시예에 따른 프로세서(1420)는 어안 영상의 색상 정보를 보정하기 위한 렌즈 쉐이딩 정보를 포함하는 메타데이터를 생성할 수 있다. 다만, 이는 일 실시예일 뿐, 메타데이터에는 감마 커브에 관한 파라미터 등이 더 포함될 수 있다.

프로세서(1420)는 획득된 어안 영상 내의 복수의 영역과 복수의 영역 각각의 색상 정보를 보정하기 위한 렌즈 쉐이딩 보상 값 간의 대응 관계에 관한 정보를 결정할 수 있다. 또한, 일 실시예에 따른 프로세서(1420)는 어안 영상에 감마 보정을 수행할 수도 있다.

통신부(1430)는 디바이스(1400)와 다른 디바이스 간의 데이터를 송수신할 수 있다. 예를 들어, 통신부(1430)는 어안 영상 및 메타데이터를 단말기에 전송할 수 있다. 다른 예에 따라, 통신부(1430)는 외부 디바이스에서 촬영된 어안 영상을 수신할 수 있다.

도 15 및 도 16은 일 실시예에 따른 단말기(1500)의 블록도이다.

도 15에 도시된 바와 같이, 일 실시예에 따른 단말기(1500)는, 통신부(1510), 프로세서(1520) 및 출력부(1530)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 단말기(1500)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 단말기(1500)는 구현될 수 있다.

예를 들어, 도 15에 도시된 바와 같이, 본 발명의 일 실시예에 따른 단말기(1500)는, 통신부(1510), 제어부(1520) 및 출력부(1530) 이외에 센싱부(1540), 사용자 입력부(1550) 및 메모리(1560)를 더 포함할 수도 있다.

이하 상기 구성요소들에 대해 차례로 살펴본다.

통신부(1510)는 디바이스(1400)로부터 어안 영상 및 어안 영상에 관한 메타데이터를 획득할 수 있다.

또한, 일 실시예에 따른 통신부(1510)는 단말기(1500)가 HMD 장치와 같은 외부 디바이스와 결합한 경우, 외부 디바이스를 통해 VR 영상을 출력하기 위해, 프로세서(1520)에서 생성된 VR 영상을 외부 디바이스에 전송할 수도 있다.

한편, 통신부(1510)는, 단말기(1500)와 외부 디바이스(예를 들어, 도 14의 디바이스(1500)) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(1510)는, 근거리 통신부(1511), 이동 통신부(1512) 및 방송 수신부(1513)를 포함할 수 있다.

근거리 통신부(short-range wireless communication unit)(1511)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

이동 통신부(1512)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다.

방송 수신부(1513)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 구현 예에 따라서 단말기(1500)가 방송 수신부(213)를 포함하지 않을 수도 있다.

프로세서(1520)는, 통상적으로 단말기(1500)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1520)는, 메모리(1560)에 저장된 프로그램들을 실행함으로써, 통신부(1510), 출력부(1530), 센싱부(1540), 사용자 입력부(1550), 및 메모리(1560) 등을 전반적으로 제어할 수 있다.

프로세서(1520)는 메타데이터로부터 획득된 렌즈 쉐이딩 보상 정보에 기초하여, 복수의 어안 영상 각각의 색상 정보를 보정할 수 있다. 프로세서(1520)는 보정된 복수의 어안 영상을 렌더링하여, 타겟 공간에 대한 VR 영상을 생성할 수 있다.

또한, 프로세서(1520)는 렌즈 쉐이딩 보상 정보에 포함된, 어안 영상의 중심으로부터의 거리에 따라 식별되는 어안 영상 내의 복수의 영역과 상기 복수의 영역 별 렌즈 쉐이딩 보상 값 간의 대응 관계를 나타내는 파라미터를 기초로, 복수의 영역 별 렌즈 쉐이딩 보상 값을 결정할 수 있다. 프로세서(1520)는 기 결정된 복수의 영역 별 렌즈 쉐이딩 보상 값에 기초하여, 복수의 영역의 색상 정보를 보정할 수 있다.

프로세서(1520)는 렌즈 쉐이딩 보상 정보에 포함된, 어안 영상의 시야각에 따라 식별되는 어안 영상 내의 복수의 영역과 복수의 영역 별 렌즈 쉐이딩 보상 값 간의 대응 관계를 나타내는 파라미터를 기초로, 복수의 영역 별 렌즈 쉐이딩 보상 값을 결정할 수 있다. 또한, 프로세서(1520)는 결정된 복수의 영역 별 렌즈 쉐이딩 보상 값에 기초하여, 복수의 영역의 색상 정보를 보정할 수 있다.

또한, 프로세서(1520)는 렌즈 쉐이딩 보상 정보에 포함된, 어안 영상 내의 복수의 영역과 상기 복수의 영역 각각의 색상 별 렌즈 쉐이딩 보상 값간의 대응 관계를 나타내는 파라미터를 기초로, 복수의 영역 각각의 색상 별 렌즈 쉐이딩 보상 값을 결정할 수 있다. 프로세서(1520)는 결정된 복수의 영역 각각의 색상 별 렌즈 쉐이딩 보상 값에 기초하여, 복수의 영역 각각의 색상 정보를 보정할 수 있다.

일 실시예에 따른 프로세서(1520)는 복수의 제 1 감마 보정 영상에 디감마 보정을 수행할 수 있다. 또한, 프로세서(1520)는 메타데이터로부터 획득된 렌즈 쉐이딩 보상 정보에 기초하여, 디감마 보정된 복수의 영상 각각의 색상 정보를 보정할 수 있다. 또한, 프로세서(1520)는 색상이 보정된 복수의 영상 각각에 감마 보정을 수행하여, 복수의 제 2 감마 보정 영상을 획득할 수 있다. 또한, 프로세서(1520)는 복수의 제 2 감마 보정 영상을 렌더링(rendering)하여, VR 영상을 생성할 수 있다.

한편, 프로세서(1520)는 복수의 제 1 감마 보정 영상의 색상 정보를 분석하여, 디바이스의 감마 보정 시 적용된 감마 커브에 관한 파라미터를 획득할 수 있다.

출력부(1530)는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이부(1531)와 음향 출력부(1532), 진동 모터(1533) 등이 포함될 수 있다.

디스플레이부(1531)는 단말기(1500)에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이부(1531)는, 프로세서(1520)에서 렌더링 결과 생성된 VR 영상을 출력할 수 있다. 디스플레이부(1531)는 센싱부(1540)를 통해 감지된 사용자의 시선에 대응되는 VR 영상의 적어도 일부 영역을 출력할 수 있다.

음향 출력부(1532)는 통신부(1510)로부터 수신되거나 메모리(1560)에 저장된 오디오 데이터를 출력한다.

진동 모터(1533)는 진동 신호를 출력할 수 있다.

센싱부(1540)는, 단말기(1500)의 상태, 단말기(1500) 주변의 상태 및 단말기(1500)를 착용한 사용자의 상태 중 적어도 하나를 감지하고, 감지된 정보를 프로세서(1520)로 전달할 수 있다. 예를 들어, 프로세서(1520)는 단말기(1500)를 착용한 사용자의 시선 또는 사용자의 머리의 움직임 등을 감지할 수 있다.

센싱부(1540)는, 지자기 센서(Magnetic sensor)(1541), 가속도 센서(Acceleration sensor)(1542), 온/습도 센서(1543), 적외선 센서(1544), 자이로스코프 센서(1545), 위치 센서(예컨대, GPS)(1546), 기압 센서(1547), 근접 센서(1548), 및 RGB 센서(illuminance sensor)( 1549) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.

사용자 입력부(1550)는, 사용자가 단말기(1500)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 사용자 입력부(1550)는, 타겟 공간에 대한 VR 영상을 요청하는 사용자 입력을 수신할 수 있다. 또한, 사용자 입력부(1550)는 타겟 공간을 구성하는 객체들 중 적어도 하나를 선택하는 사용자 입력을 수신할 수도 있다. 다만, 이는 일 실시예일 뿐, 사용자 입력부(1550)에서 수신하는 사용자 입력의 종류가 전술한 예에 한정되는 것은 아니다.

메모리(1560)는, 프로세서(1520)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(디바이스(1500)로부터 수신한 적어도 하나의 영상 및 적어도 하나의 영상에 관한 메타데이터, 렌더링 결과 생성된 VR 영상)을 저장할 수도 있다.

메모리(1560)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1561), 터치 스크린 모듈(1562), 알림 모듈(1563) 등으로 분류될 수 있다.

UI 모듈(1561)은, 애플리케이션 별로 단말기(1500)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(1562)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서(1520)로 전달할 수 있다. 알림 모듈(1563)은 단말기(1500)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 단말기(1500)에서 발생되는 이벤트의 예로는 키 신호 입력 등이 있다. 알림 모듈(1563)은 디스플레이부(1531)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(1532)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(1533)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.

본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims

삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
디바이스에서 영상을 처리하는 방법에 있어서,
적어도 하나의 어안 렌즈를 통해 복수의 어안 영상을 획득하는 단계;
상기 획득된 복수의 어안 영상의 색상별 렌즈 쉐이딩 보상 파라미터를 나타내는 다항식의 계수에 관한 정보를 포함하는 메타데이터를 생성하는 단계; 및
상기 복수의 어안 영상 및 상기 메타데이터를 단말기에 전송하는 단계를 포함하는 방법.
제 9항에 있어서, 상기 다항식의 계수에 관한 정보는,
상기 복수의 어안 영상 각각에 포함된 복수의 영역 각각을 나타내는 입력 데이터 및 상기 복수의 영역 각각의 렌즈 쉐이딩 보상 값을 나타내는 출력 데이터 간의 대응 관계에 관한 정보를 나타내는, 방법.
제 10항에 있어서, 상기 복수의 영역은,
어안 영상의 중심으로부터의 거리에 따라 식별되는, 방법.
제 10항에 있어서, 상기 복수의 영역은,
어안 영상의 시야각에 따라 식별되는, 방법.
제 10항에 있어서, 상기 대응 관계에 관한 정보는,
상기 복수의 영역 및 상기 복수의 영역의 색상 별 렌즈 쉐이딩 보상 값간의 대응 관계에 관한 정보를 포함하는, 방법.
단말기에서 영상을 처리하는 방법에 있어서,
적어도 하나의 어안 렌즈를 통해 생성된 복수의 어안 영상 및 상기 복수의 어안 영상의 색상별 렌즈 쉐이딩 보상 파라미터를 나타내는 다항식의 계수에 관한 정보를 포함하는 메타데이터를 수신하는 단계;
상기 수신된 메타데이터를 기초로, 상기 복수의 어안 영상 각각의 색상별 렌즈 쉐이딩 보상값을 결정하는 단계;
상기 메타데이터로부터 획득된 렌즈 쉐이딩 보상 정보에 기초하여, 상기 복수의 어안 영상 각각의 색상 정보를 보정하는 단계; 및
상기 보정된 복수의 어안 영상을 렌더링(rendering)하는 단계를 포함하는 방법.
제 14항에 있어서, 상기 다항식의 계수에 관한 정보는,
상기 복수의 어안 영상 각각에 포함된 복수의 영역 각각을 나타내는 입력 데이터 및 상기 복수의 영역 각각의 렌즈 쉐이딩 보상 값을 나타내는 출력 데이터 간의 대응 관계에 관한 정보를 나타내는, 방법.
제 15항에 있어서, 상기 복수의 영역은,
어안 영상의 중심으로부터의 거리에 따라 식별되는, 방법.
제 15항에 있어서, 상기 복수의 영역은,
어안 영상의 시야각에 따라 식별되는, 방법.
제 15항에 있어서, 상기 대응 관계에 관한 정보는,
상기 복수의 영역 및 상기 복수의 영역의 색상 별 렌즈 쉐이딩 보상 값간의 대응 관계에 관한 정보를 포함하는, 방법.
디바이스에서 영상을 처리하는 방법에 있어서,
어안 렌즈를 통해 타겟 공간을 촬영한 결과 생성된 어안 영상을 획득하는 단계;
상기 획득된 어안 영상의 색상 정보를 보정하기 위한 렌즈 쉐이딩 보상 정보를 포함하는 메타데이터를 생성하는 단계;
상기 획득된 어안 영상에 감마(gamma) 보정을 수행하는 단계;
감마(gamma) 보정된 어안 영상 및 상기 메타데이터를 단말기에 전송하는 단계를 포함하고,
상기 단말기에 전송된 감마 보정된 어안 영상은 디감마 보정된 이후에, 상기 렌즈 쉐이딩 보상 정보에 따라 상기 색상 정보가 보정되고, 상기 색상 정보가 보정된 어안 영상에 상기 감마 보정이 수행되는, 방법.
제 19항에 있어서, 상기 메타데이터는,
상기 감마 보정 시 적용되는 감마 커브에 관한 파라미터를 포함하는, 방법.
단말기에서 영상을 처리하는 방법에 있어서,
적어도 하나의 어안 렌즈를 통해 타겟 공간을 촬영한 결과 생성된 복수의 어안 영상의 렌즈 쉐이딩 보상 정보를 포함하는 메타데이터 및 상기 복수의 어안 영상에 감마 보정을 수행한 결과 생성된 복수의 제 1 감마 보정 영상을 디바이스로부터 수신하는 단계;
상기 복수의 제 1 감마 보정 영상에 디감마 보정을 수행하는 단계;
상기 메타데이터로부터 획득된 렌즈 쉐이딩 보상 정보에 기초하여, 상기 디감마 보정된 복수의 영상 각각의 색상 정보를 보정하는 단계;
상기 색상 정보가 보정된 복수의 영상 각각에 감마 보정을 수행하여, 복수의 제 2 감마 보정 영상을 획득하는 단계; 및
상기 복수의 제 2 감마 보정 영상을 렌더링(rendering)하여, 상기 타겟 공간에 대한 VR 영상을 생성하는 단계를 포함하는 방법.
제 21항에 있어서, 상기 영상을 처리하는 방법은,
상기 복수의 제 1 감마 보정 영상의 색상 정보를 분석하여, 상기 디바이스의 감마 보정 시 적용된 감마 커브에 관한 파라미터를 획득하는 단계를 더 포함하고,
상기 디감마 보정을 수행하는 단계는,
상기 획득된 감마 커브에 관한 파라미터를 기초로, 상기 디감마 보정을 수행하는, 방법.
제 21항에 있어서, 상기 디감마 보정을 수행하는 단계는,
상기 메타데이터에 포함된 감마 커브에 관한 파라미터를 기초로, 상기 디감마 보정을 수행하는, 방법.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
영상을 처리하는 디바이스에 있어서,
적어도 하나의 어안 렌즈를 통해 복수의 어안 영상을 획득하는 촬영부;
상기 획득된 복수의 어안 영상의 색상별 렌즈 쉐이딩 보상 파라미터를 나타내는 다항식의 계수에 관한 정보를 포함하는 메타데이터를 생성하는 프로세서; 및
상기 복수의 어안 영상 및 상기 메타데이터를 단말기에 전송하는 통신부를 포함하는 디바이스.
제 32항에 있어서, 상기 다항식의 계수에 관한 정보는,
상기 복수의 어안 영상 각각에 포함된 복수의 영역 각각을 나타내는 입력 데이터 및 상기 복수의 영역 각각의 렌즈 쉐이딩 보상 값을 나타내는 출력 데이터 간의 대응 관계에 관한 정보를 나타내는, 디바이스.
제 33항에 있어서, 상기 복수의 영역은,
어안 영상의 중심으로부터의 거리에 따라 식별되는, 디바이스.
제 33항에 있어서, 상기 복수의 영역은,
어안 영상의 시야각에 따라 식별되는, 디바이스.
제 33항에 있어서, 상기 대응 관계에 관한 정보는,
상기 복수의 영역 및 상기 복수의 영역의 색상 별 렌즈 쉐이딩 보상 값간의 대응 관계에 관한 정보를 포함하는, 디바이스.
영상을 처리하는 단말기에 있어서,
적어도 하나의 어안 렌즈를 통해 생성된 복수의 어안 영상 및 상기 복수의 어안 영상의 색상별 렌즈 쉐이딩 보상 파라미터를 나타내는 다항식의 계수에 관한 정보를 포함하는 메타데이터를 수신하는 통신부; 및
상기 수신된 메타데이터를 기초로, 상기 복수의 어안 영상 각각의 색상별 렌즈 쉐이딩 보상값을 결정하고, 상기 결정된 렌즈 쉐이딩 보상값에 기초하여, 상기 복수의 어안 영상 각각의 영역 별 색상 정보를 보정하고, 상기 보정된 복수의 어안 영상을 렌더링하는 프로세서를 포함하는 단말기.
제 37항에 있어서, 상기 다항식의 계수에 관한 정보는,
상기 복수의 어안 영상 각각에 포함된 복수의 영역 각각을 나타내는 입력 데이터 및 상기 복수의 영역 각각의 렌즈 쉐이딩 보상 값을 나타내는 출력 데이터 간의 대응 관계에 관한 정보를 나타내는, 단말기.
제 38항에 있어서, 상기 복수의 영역은,
어안 영상의 중심으로부터의 거리에 따라 식별되는, 단말기.
제 38항에 있어서, 상기 복수의 영역은,
어안 영상의 시야각에 따라 식별되는, 단말기.
제 38항에 있어서, 상기 대응 관계에 관한 정보는,
상기 복수의 영역 및 상기 복수의 영역의 색상 별 렌즈 쉐이딩 보상 값간의 대응 관계에 관한 정보를 포함하는, 단말기.
영상을 처리하는 디바이스에 있어서,
어안 렌즈를 통해 타겟 공간을 촬영한 결과 생성된 어안 영상을 획득하는 촬영부;
상기 획득된 어안 영상의 색상 정보를 보정하기 위한 렌즈 쉐이딩 보상 정보를 포함하는 메타데이터를 생성하고, 상기 획득된 어안 영상에 감마(gamma) 보정을 수행하는 감마 보정부; 및
감마(gamma) 보정된 어안 영상 및 상기 메타데이터를 단말기에 전송하는 통신부를 포함하고,
상기 단말기에 전송된 감마 보정된 어안 영상은 디감마 보정된 이후에, 상기 렌즈 쉐이딩 보상 정보에 따라 상기 색상 정보가 보정되고, 상기 색상 정보가 보정된 어안 영상에 상기 감마 보정이 수행되는, 디바이스.
제 42항에 있어서, 상기 메타데이터는,
상기 감마 보정 시 적용되는 감마 커브에 관한 파라미터를 포함하는, 디바이스.
영상을 처리하는 단말기에 있어서,
적어도 하나의 어안 렌즈를 통해 타겟 공간을 촬영한 결과 생성된 복수의 어안 영상의 렌즈 쉐이딩 보상 정보를 포함하는 메타데이터 및 상기 복수의 어안 영상에 감마 보정을 수행한 결과 생성된 복수의 제 1 감마 보정 영상을 디바이스로부터 수신하는 통신부; 및
상기 복수의 제 1 감마 보정 영상에 디감마 보정을 수행하고, 상기 메타데이터로부터 획득된 렌즈 쉐이딩 보상 정보에 기초하여, 상기 디감마 보정된 복수의 영상 각각의 색상 정보를 보정하며, 상기 색상 정보가 보정된 복수의 영상 각각에 감마 보정을 수행하여, 복수의 제 2 감마 보정 영상을 획득하고, 상기 복수의 제 2 감마 보정 영상을 렌더링(rendering)하여, 상기 타겟 공간에 대한 VR 영상을 생성하는 프로세서를 포함하는, 단말기.
제 44항에 있어서, 상기 프로세서는,
상기 복수의 제 1 감마 보정 영상의 색상 정보를 분석하여, 상기 디바이스의 감마 보정 시 적용된 감마 커브에 관한 파라미터를 획득하고, 상기 획득된 감마 커브에 관한 파라미터를 기초로, 상기 디감마 보정을 수행하는, 단말기.
제 44항에 있어서, 상기 프로세서는,
상기 메타데이터에 포함된 감마 커브에 관한 파라미터를 기초로, 상기 디감마 보정을 수행하는, 단말기.
제 9항 내지 제 23항 중 어느 하나의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.