KR102492163B1

KR102492163B1 - 가변적 다층 깊이 영상을 이용한 라이트필드 합성 방법 및 장치

Info

Publication number: KR102492163B1
Application number: KR1020220023558A
Authority: KR
Inventors: 박인규; 박준형
Original assignee: 인하대학교 산학협력단
Priority date: 2022-02-23
Filing date: 2022-02-23
Publication date: 2023-01-26
Also published as: KR102492163B9

Abstract

가변적 다층 깊이 영상을 이용한 라이트필드 합성 방법 및 장치가 제시된다. 본 발명에서 제안하는 가변적 다층 깊이 영상을 이용한 라이트필드 합성 장치는 단안의 RGB 색상 영상 및 깊이 영상을 입력 받는 입력 모듈, 상기 입력 받은 RGB 색상 영상 및 깊이 영상을 두 개의 스트림 채널로 나누어 색상 채널 및 깊이 채널을 추정하고 합성하는 합성 모듈 및 VLDI 알파 채널을 생성하고, 상기 합성 모듈을 통해 추정된 색상 채널의 가시 영역을 상기 입력된 RGB 색상 영상으로 대체하여 VLDI 렌더링을 수행하는 VLDI 변형 모듈을 포함한다.

Description

가변적 다층 깊이 영상을 이용한 라이트필드 합성 방법 및 장치{Method and Apparatus for Synthesis of Light field using Variable Layered Depth Image}

본 발명은 가변적 다층 깊이 영상을 이용한 라이트필드 합성 방법 및 장치에 관한 것이다.

VMPI[1]는 폐색 영역 처리에 강인한 계층적 표현법인 MPI를 라이트필드 합성에 적용하기 위하여 각 레이어의 깊이를 같이 추정하도록 확장한 장면 표현 법이다. 이와 같은 구조는 단안 기반 시점 합성 방법의 scale-ambiguity 문제를 해결할 수 있으므로 장면에 대한 별도의 최적화가 필요 없다. 그러나 VMPI는 레이어별로 단일한 깊이 값을 갖기 때문에 레이어의 개수가 적을수록 불연속적인 깊이로 인하여 합성 결과가 매끄럽지 못하고 부정확하다는 문제가 있다.

본 발명이 이루고자 하는 기술적 과제는 레이어별로 단일한 깊이 값을 가질 경우 레이어의 개수가 적을수록 불연속적인 깊이로 인하여 합성 결과가 매끄럽지 못하고 부정확하다는 문제점을 개선하기 위해 장면 표현법인 가변적 다층 깊이 영상(Variable Layered Depth Image; VLDI)을 이용한 라이트필드 합성 방법 및 장치를 제공하는데 있다.

일 측면에 있어서, 본 발명에서 제안하는 가변적 다층 깊이 영상을 이용한 라이트필드 합성 장치는 단안의 RGB 색상 영상 및 깊이 영상을 입력 받는 입력 모듈, 상기 입력 받은 RGB 색상 영상 및 깊이 영상을 두 개의 스트림 채널로 나누어 색상 채널 및 깊이 채널을 추정하고 합성하는 합성 모듈 및 VLDI 알파 채널을 생성하고, 상기 합성 모듈을 통해 추정된 색상 채널의 가시 영역을 상기 입력된 RGB 색상 영상으로 대체하여 VLDI 렌더링을 수행하는 VLDI 변형 모듈을 포함한다.

본 발명의 실시예에 따른 입력 모듈은 상기 깊이 영상에 대하여 단안 기반 깊이 추정 모델을 사용하여 정규화된 깊이 영상으로 입력 받고, 상기 정규화된 깊이 영상은 상기 VLDI 모듈의 VLDI 변형 과정에서 VLDI 알파 채널을 생성하는 데 사용된다.

본 발명의 실시예에 따른 VLDI 변형 모듈은 추정이 불필요한 영역인 VLDI 알파 채널 전체와 색상 채널의 가시 영역에 대하여 상기 VLDI 알파 채널은 상기 입력 모듈에서 정규화된 깊이 영상으로부터 가시 영역을 정의함으로써 생성하고, VLDI 알파 채널 생성 과정에서 생성되는 마스크를 이용하여 색상 채널 추정 결과의 가시 영역을 입력 RGB 색상 영상의 색상으로 대체한다.

본 발명의 실시예에 따른 VLDI 변형 모듈은 VLDI를 렌더링하여 복수의 손실함수를 구하고, 폐색이 발생하는 영역은 소프트 가시 마스크(soft visibility mask)를 구하여 제외하며, 깊이 채널의 미세조정을 차단하는 깊이 손실을 추가하여 입력 기하 정보를 보전하기 위한 깊이 손실 함수를 구하고, 상기 복수의 손실함수를 사용하여 학습을 진행함으로써 모델의 깊이 채널을 사용하고 있는 단안 기반 깊이 추정 모델과 학습데이터에 미세조정(fine-tuning)된 결과를 추정하도록 한다.

또 다른 일 측면에 있어서, 본 발명에서 제안하는 가변적 다층 깊이 영상을 이용한 라이트필드 합성 방법은 입력 모듈을 통해 단안의 RGB 색상 영상 및 깊이 영상을 입력 받는 단계, 상기 입력 받은 RGB 색상 영상 및 깊이 영상을 두 개의 스트림 채널로 나누어 합성 모듈을 통해 색상 채널 및 깊이 채널을 추정하고 합성하는 단계 및 VLDI 변형 모듈을 통해 VLDI 알파 채널을 생성하고, 상기 합성 모듈을 통해 추정된 색상 채널의 가시 영역을 상기 입력된 RGB 색상 영상으로 대체하여 VLDI 렌더링을 수행하는 단계를 포함한다.

본 발명의 실시예들에 따르면 장면 표현법인 가변적 다층 깊이 영상(Variable Layered Depth Image; VLDI)을 이용한 라이트필드 합성 방법 및 장치를 통해 레이어별로 단일한 깊이 값을 가질 경우 레이어의 개수가 적을수록 불연속적인 깊이로 인하여 합성 결과가 매끄럽지 못하고 부정확하다는 문제점을 개선할 수 있다. 이러한 VLDI는 각 레이어의 깊이를 화소 별로 결정하고, 레이어들의 깊이가 연속적이기 때문에 적은 수의 레이어로도 매끄럽고 정확한 합성 결과를 얻을 수 있다.

도 1은 본 발명의 일 실시예에 따른 가변적 다층 깊이 영상을 이용한 라이트필드 합성 장치의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 가변적 다층 깊이 영상을 이용한 라이트필드 합성 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 Flower 데이터셋에 대한 오차지도와 EPI 슬라이싱을 통한 라이트필드 합성의 정성적 비교를 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 Stanford, Kalantari 데이터셋에 대한 오차지도와 EPI 슬라이싱을 통한 라이트필드 합성의 정성적 비교를 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 합성 결과 확대를 통한 라이트필드 합성의 정성적 비교를 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 라이트필드 재초점 결과의 정성적 비교를 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 깊이 추정 결과의 비교를 위한 도면이다.

본 발명의 실시예에 따른 VLDI는 각 레이어의 깊이를 화소별로 결정한다. 이러한 형태는 레이어들의 깊이가 연속적이기 때문에 적은 수의 레이어로도 매끄럽고 정확한 합성 결과를 얻을 수 있다. 본 발명은 RGBAD-MPI [2]에 기반한다. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.

본 발명의 실시예에 따른 VLDI(Variable Layered Depth Image)는 RGBAD 채널로 구성되며 고정된 N개의 레이어를 가지고 있다. 각 레이어는 RGB 색상 채널 C와 투명도를 의미하는 알파 채널 A로 구성되며 L_i(x, y) = {C_i(x, y), A_i(x, y)}로 나타낼 수 있다. 이때 x와 y는 공간 좌표를 의미한다. 알파 채널은 레이어를 결정하며 본 발명의 실시예에 따른 VLDI 변형 과정을 통해 이진화된 값을 가진다. 레이어의 깊이 채널 D는 화소별로 값을 가지기 때문에 D(x, y) = {D₁(x, y), ..., D_N(x, y)}로 표현할 수 있으며 D_N = D_near, D₁ = D_far이다.

본 발명의 실시예에 따른 VLDI를 이용하여 목표 시점의 영상을 렌더링하기 위해서는 레이어들을 워핑 하고 하나의 영상으로 합성(composite)하여야 한다. 레이어의 워핑은 각 좌표인 목표 시점의 u, v방향 상대 위치 p와 레이어의 깊이를 곱하여 다음과 같이 수행할 수 있다.

식(1)

이때 깊이는 시차와 동일한 의미를 가진다. 다음으로 입력 영상을

라고 할 때 워핑된 레이어들을 합성하여 목표 시점의 영상

을 생성하는 방법은 다음과 같이 나타낼 수 있다.

식(.2)

이러한 표현 방법은 레이어들의 깊이가 연속적이기 때문에 적은 개수의 레이어로도 매끄러운 시점 변화를 만들 수 있다.

도 1은 본 발명의 일 실시예에 따른 가변적 다층 깊이 영상을 이용한 라이트필드 합성 장치의 구성을 나타내는 도면이다.

본 발명에서는 VLDI를 보다 효율적으로 구축하기 위하여 합성 네트워크와 VLDI 변형 과정으로 구성되는 프레임워크를 제안한다. VLDI 구축 프레임워크는 단안의 입력 RGB 색상 영상 I와 이에 대한 깊이 영상 I_D를 입력으로 받는다. 합성 네트워크는 색상 채널과 깊이 채널만을 추정하며, 네트워크를 통한 추정이 불필요한 영역은 VLDI 변형 과정을 통하여 생성한다. 합성 네트워크는 서로 다른 특징의 두 채널을 적절히 융합할 수 있는 하프웨이 퓨전(halfway fusion) 형태의 두 개의 스트림(two-stream) 구조를 사용한다. 네트워크를 통한 추정이 불필요한 영역은 알파 채널 전체와 색상 채널의 가시 영역이다. 알파 채널은 입력 깊이 영상으로부터 생성하며, 이 과정에서 생성되는 마스크를 이용하여 색상 채널 추정 결과의 가시 영역을 입력 영상의 색상으로 대체한다. 제안하는 프레임워크는 영상 품질의 저하를 최소화하고 네트 워크 구조를 간소화하여 처리시간을 단축할 수 있다. VLDI 구축 프레임워크를 통한 라이트필드 합성 장치의 구성은 도 1과 같다.

제안하는 가변적 다층 깊이 영상을 이용한 라이트필드 합성 장치는 입력 모듈(110), 합성 모듈(120) 및 VLDI 변형 모듈(130)을 포함한다.

본 발명의 실시예에 따른 입력 모듈(110)은 단안의 RGB 색상 영상(111) 및 깊이 영상(113)을 입력 받는다.

제안하는 방법은 VMPI[1]와 동일하게 입력 영상에 대한 0 ∼ 1의 범위로 정규화된 깊이 영상을 시점 합성에 필요한 기하 정보로 활용한다. 그러나 깊이 영 상을 단순히 네트워크에 입력 받는 것으로 그치지 않고 VLDI 변형 과정에서 알파 채널을 생성하는 데에도 사용한다. 따라서 깊이 영상의 입력이 반드시 필요하다. 깊이 영상으로는 조밀(dense)한 깊이 영상이라면 어떠한 것이든 사용할 수 있다. 그러나 제안하는 방법이 단안 기반 라이트필드 합성을 목적으로 하므로 단안 기반 깊이 추정 모델(112)을 사용하여 깊이 영상을 취득한다. 이때 깊이 추정 모델을 지도 학습 방식으로 직접 학습시키는 방법을 고려할 수 있으나, 이는 라이트필드 학습 데이터에 대한 참값 깊이 영상을 구할 수 없다는 문제가 있다. 대신에 라이트필드 학습 데이터를 사용하여 깊이 추정 모델을 자기지도 방식으로 학습시킬 수 있으나, 이러한 방법은 지도학습 방식보다 성능이 떨어진다는 문제가 있다. 따라서 본 발명에서는 다양한 장면의 참값 깊이를 다량으로 사용하여 학습한 LeReS[3] 모델을 사용한다. LeReS는 학습 데이터가 포함하지 않는 장면에 대하여 최신 기술 수준의 깊이 추정 성능을 보여주기 때문에 제안하는 방법의 일반화 성능을 높이는 데에도 도움을 준다.

본 발명의 실시예에 따른 합성 모듈(120)은 입력 받은 RGB 색상 영상(111) 및 깊이 영상(112)을 두 개의 스트림 채널로 나누어 색상 채널(121) 및 깊이 채널(122)을 추정하고 합성한다.

종래기술에 따른 VMPI[1] 합성 네트워크는 입력 RGB 색상 영상과 깊이 영상을 입력 단계에서 융합(fuse)하고 RGBAD 채널을 하나의 스트림(one-stream)으로 한 번에 추정하는 구조이다. 그러나 서로 다른 특성의 채널을 동시에 추정하는 방식은 채널 간 간섭이 발생할 수 있다는 문제가 있다. 따라서 본 발명에서는 색상과 깊이 채널을 두 개의 스트림(two-stream)으로 나누어 추정하는 방법을 사용한다. 이때 두 채널 모두 추정 과정에서 서로의 특징을 필요로 하므로 이를 네트워크 중간에서 적절히 융합할 수 있는 하프웨이 퓨전(halfway fusion) 구조를 적용한다. 융합은 스킵-연결(skip-connection)을 이용하여 네트워크의 계층별로 서로를 연결하여 수행한다.

본 발명의 실시예에 따른 세부 모듈은 LeakyReLu 활성화 함수를 사용하고 출력 값의 범위를 제한하기 위하여 사용하는 함수는 HardTanH를 사용할 수 있다.

본 발명의 실시예에 따른 VLDI 변형 모듈(130)은 VLDI 알파 채널(Alpha channel)(131)을 생성하고, 상기 합성 모듈(120)을 통해 추정된 색상 채널의 가시 영역(132)을 상기 입력된 RGB 색상 영상으로 대체하여 VLDI 렌더링(132)을 수행하고 최종 합성 결과(133)를 생성한다.

본 발명의 실시예에 따른 VLDI 변형 과정은 별도의 네트워크를 사용하지 않고 VLDI의 알파 채널을 생성하며, 추정된 색상 채널의 가시 영역을 입력 RGB 색상 영상의 색상으로 대체한다. 이를 위해서는 먼저 정규화된 입력 깊이 영상으로부터 가시 영역 V를 정의해야 한다. V의 정의는 다음과 같다.

식(3)

상기 본 수식에서 round(·)는 반올림 함수를 의미한다. V로부터 최종적인 알파 채널은 다음과 같이 구할 수 있다.

식(4)

이렇게 구한 알파 채널은 이진화된 투명도 값을 가지므로 합성 후 화소 값이 여러 레이어의 값의 합으로 결정되지 않는다. 이는 영상의 흐려짐을 방지한다. V를 이용하여 RGB 색상 채널의 가시 영역을 입력 RGB 영상의 색상으로 대체하는 과정은 다음과 같이 수행한다.

식(5)

상기 수식에서 네트워크를 통하여 추정한 RGB 색상 채널은 최종적인 RGB 색상 채널과 구분하기 위하여 C'로 표시하였다. 가시 영역의 RGB 색상을 입력 영상 그대로 사용할 수 있는 이유는 시점 변환 시 해당 영역은 워핑 외의 처리가 필요 하지 않기 때문이다. 본 발명에서 제안하는 방법은 Tucker[44] 등이 제안하는 방법과 유사하나 가시 영역을 네트워크를 통하여 추정하지 않으며, 폐색 영역에 대한 색상 추정도 합성 네트워크를 통하여 레이어별로 수행한다는 차이가 있다.

결과적으로 VLDI 변형 과정을 추가함으로써 VLDI 구축 시 네트워크 사용을 최소화할 수 있다. 또한 네트워크의 색상 채널 추정을 폐색 영역에만 집중시킬 수 있으므로, VMPI[1]와 달리 가시 영역과 폐색 영역을 별도의 네트워크로 추정할 필요가 없다. 따라서 모델의 크기를 작게 할 수 있으며 보다 신속하게 처리할 수 있다. 뿐만 아니라 네트워크를 통한 추정으로 발생할 수 있는 영상 품질의 저하도 최소화할 수 있다.

본 발명의 실시예에 따른 모델 학습은 VLDI를 렌더링하여 추정한 목표 시점의 SAI를 참값 SAI와 비교하여 차이가 작아지는 방향으로 이루어진다. 본 발명의 실시예에 따른 손실함수로는 L1 기반 손실, SSIM 기반 손실[5], VGG 기반 손실 [6]을 사용할 수 있다. L1 기반 손실은 참값과의 화소 값 차이를 최소화하기 위하여 사용한다. 하지만 폐색이 발생하는 영역은 참값과 정확히 일치하게 추정하는 것이 어렵기 때문에 해당 영역은 소프트 가시 마스크(soft visibility mask) M을 구하여 제외하는 과정이 필요하다. 따라서 L1 기반 손실은 다음과 같이 나타낼 수 있다.

식(6)

SSIM 기반 손실은 추정 결과의 참값에 대한 구조적 유사도(structure similarity) 를 높이기 위하여 사용한다. SSIM 기반 손실은 다음과 같이 나타낼 수 있다.

식(7)

VGG 기반 손실은 폐색 영역을 포함하는 전체 추정 결과와 참값 간의 인지적 유사도(perceptual similarity)를 비교하기 위하여 사용한다. 따라서 폐색 영역을 선명하게 합성하도록 학습하는 데 도움을 준다. 본 발명에서의 VGG 기반 손실은 VGG-19 출력단의 다중 레이어에

가중치를 부여하여 비교하는 방법을 사용한다. 따라서 VGG 기반 손실은 다음과 같이 나타낼 수 있다.

식(8)

위 세 손실함수를 사용하여 학습을 진행하면 모델의 깊이 채널은 사용하고 있는 단안 기반 깊이 추정 모델과 학습데이터에 미세조정(fine-tuning) 된 결과를 추정한다. 따라서 학습 데이터의 주제에 포함되지 않는 장면에 대하여 추정하거나, 깊이 추정 모델을 변경할 때에는 성능이 하락하게 된다. 이러한 특수상황에서 사용 될 모델을 학습시킬 때는 깊이 채널의 미세조정을 차단하는 깊이 손실을 추가하여 입력 기하 정보를 보전해야 한다. 그리하여 깊이 손실은 다음과 같이 나타낼 수 있다.

식(9)

결과적으로 전체 손실함수는 다음과 같다.

식(10)

이때,

는 각 손실함수의 균형을 맞추기 위해서 사용한다.

도 2는 본 발명의 일 실시예에 따른 가변적 다층 깊이 영상을 이용한 라이트필드 합성 방법을 설명하기 위한 도면이다.

제안하는 가변적 다층 깊이 영상을 이용한 라이트필드 합성 방법은 입력 모듈을 통해 단안의 RGB 색상 영상 및 깊이 영상을 입력 받는 단계(210), 상기 입력 받은 RGB 색상 영상 및 깊이 영상을 두 개의 스트림 채널로 나누어 합성 모듈을 통해 색상 채널 및 깊이 채널을 추정하고 합성하는 단계(220) 및 VLDI 변형 모듈을 통해 VLDI 알파 채널을 생성하고, 상기 합성 모듈을 통해 추정된 색상 채널의 가시 영역을 상기 입력된 RGB 색상 영상으로 대체하여 VLDI 렌더링을 수행하는 단계(230)를 포함한다.

단계(210)에서, 입력 모듈을 통해 단안의 RGB 색상 영상 및 깊이 영상을 입력 받는다. 본 발명의 실시예에 따른 깊이 영상에 대하여 단안 기반 깊이 추정 모델을 사용하여 정규화된 깊이 영상으로 입력 받고, 상기 정규화된 깊이 영상은 상기 VLDI 모듈의 VLDI 변형 과정에서 VLDI 알파 채널을 생성하는 데 사용된다.

단계(220)에서, 상기 입력 받은 RGB 색상 영상 및 깊이 영상을 두 개의 스트림 채널로 나누어 합성 모듈을 통해 색상 채널 및 깊이 채널을 추정하고 합성한다.

단계(230)에서, VLDI 변형 모듈을 통해 VLDI 알파 채널을 생성하고, 상기 합성 모듈을 통해 추정된 색상 채널의 가시 영역을 상기 입력된 RGB 색상 영상으로 대체하여 VLDI 렌더링을 수행한다.

본 발명의 실시예에 따른 추정이 불필요한 영역인 VLDI 알파 채널 전체와 색상 채널의 가시 영역에 대하여 상기 VLDI 알파 채널은 상기 입력 모듈에서 정규화된 깊이 영상으로부터 가시 영역을 정의함으로써 생성하고, VLDI 알파 채널 생성 과정에서 생성되는 마스크를 이용하여 색상 채널 추정 결과의 가시 영역을 입력 RGB 색상 영상의 색상으로 대체한다.

본 발명의 실시예에 따르면, VLDI를 렌더링하여 복수의 손실함수를 구하고, 폐색이 발생하는 영역은 소프트 가시 마스크(soft visibility mask)를 구하여 제외하며, 깊이 채널의 미세조정을 차단하는 깊이 손실을 추가하여 입력 기하 정보를 보전하기 위한 깊이 손실 함수를 구한다. 상기 복수의 손실함수를 사용하여 학습을 진행함으로써 모델의 깊이 채널을 사용하고 있는 단안 기반 깊이 추정 모델과 학습데이터에 미세조정(fine-tuning)된 결과를 추정하도록 할 수 있다.

본 발명의 실시예에 따른 모델의 학습은 배치 크기를 12, 학습률을 2e - 4로 설정하고 100 epoch 반복하여 수행하였다. 손실함수의 매개변수는 λ₁ = 2.5, λ₂ = 1, λ₃ = 2.5로 설정하였다. λ₄는 깊이 채널 추정을 미세조정 하지 않는 모델을 학습할 때는 2로 설정하고 그 외에는 0으로 설정하였다.

본 발명의 실시예에 따른 실험 결과에서 별도의 언급이 없으면 깊이 채널 추정을 미세조정한 모델을 의미한다. 최적화기는 Adam[7]을 사용하였으며 매개변수는 β₁ = 0.9, β₂ = 0.999로 설정하였다. 학습 과정에서 SAI의 크기는 256Х256으로 설정하였으며 이를 위하여 SAI를 임의로 오려내도록 하였다. 레이어의 개수 N 은 8개로 설정하였다. 학습 및 평가에 사용한 환경은 CPU는 i7-9700K에 32GB RAM, GPU는 NVIDIA RTX 2080Ti GPU에 11GB VRAM이다. 데이터셋은 Lytro Illum 카메라로 촬영한 Flower 데이터셋[8]을 사용하였다.

본 발명의 실시예에 따른 데이터셋은 총 3,243장의 영상을 포함하고 있으며, 그 중 100장의 영상을 평가에 사용하고 나머지 영상들로 학습을 진행하였다. 평가에는 별도의 학습을 진행하지 않는 Stanford 데이터셋[9] 100장과 Kalantari 데이터셋[10] 130장을 추가적으로 사용한다. 이들은 Flower 데이터셋과 동일한 카메라로 촬영하였으며 도심 풍경, 사물 등 보다 다양한 주제와 깊이 범위의 장면을 포함한다. 비교 대상은 Srinivasan[8], Ivan[11], Li[1] 등이 제안한 모델로 모두 최신 기술 수준의 단안 기반 라이트필드 합성 방법들이다. 라이트필드 형태의 결과를 만들 수 없는 단순 시점 합성 방법이나 scale-ambiguity 문제를 가지고 있는 모델들은 비교에서 제외하였다. 이때 Li 등의 방법이 필요로 하는 깊이 추정 모델은 제안하는 방법과 동일한 깊이 추정 모델을 사용하였다.

라이트필드 합성의 정량적 평가는 대표적인 영상 품질 척도인 PSNR[12]과 SSIM[13]을 측정하여 수행하였다. 각 척도는 8Х8과 15Х15 라이트필드를 합성하고 SAI별로 영상 품질을 측정한 뒤 평균을 내어 구하였다. 이때 8Х8은 중앙의 SAI 를 사용하여 추정한 라이트필드이고 15Х15는 좌측 상단 모서리의 SAI를 사용하여 추정한 라이트필드이다. 그러나 Srinivasan 등의 모델과 Ivan 등의 모델은 중앙의 SAI만을 입력 영상으로 사용할 수 있으므로 15Х15의 평가에서 제외하였다. 결과는 표 1과 같다.

<표 1>

본 발명에서 제안한 깊이 채널에 대한 미세조정을 수행 하는 방법은 대부분의 경우에서 가장 우수한 성능을 보였다. 특히 학습 데이터로 사용된 Flower 데이터셋에서 다른 모델보다 월등히 우수한 성능을 보여주었다. 평가 지표별로는 PSNR의 차이가 컸다. 깊이 채널에 대한 미세조정을 수행하지 않는 방법은 정량적으로 우수한 성능을 보여주지는 못하였지만 여러 데이터셋에 걸쳐 비슷한 성능을 유지하였다. 특히 장면이 포함하는 주제가 다양하고 가까운 객체부터 먼 풍경까지 다루는 Kalantari 데이터셋에 대해서는 다른 모델보다 우수하거나 유사한 성능을 보여주었다. 깊이 채널 미세조정을 수행하지 않는 모델은 일반화 성능에 초점을 맞추고 있기 때문에 이와 같은 결과가 나온 것으로 짐작할 수 있다.

도 3은 본 발명의 일 실시예에 따른 Flower 데이터셋에 대한 오차지도와 EPI 슬라이싱을 통한 라이트필드 합성의 정성적 비교를 위한 도면이다.

도 4는 본 발명의 일 실시예에 따른 Stanford, Kalantari 데이터셋에 대한 오차지도와 EPI 슬라이싱을 통한 라이트필드 합성의 정성적 비교를 위한 도면이다.

라이트필드 합성의 정성적인 평가는 오차지도와 EPI 슬라이싱 결과를 구하여 합성 결과의 오차를 시각적으로 확인하고 운동 시차를 비교하는 것으로 수행하였다. 오차지도는 중심 SAI로부터 추정한 좌측 상단 모서리 SAI와 참값 SAI 간의 차이로 구하였다. 결과는 데이터셋 별로 도 3 및 도 4와 같다.

제안한 방법은 오차가 전체적으로 가장 적게 나타나는 것을 확인할 수 있었으며, EPI 슬라이싱 결과를 통하여 나타나는 운동 시차 또한 참값과 가장 유사함을 확인할 수 있었다. 반면 다른 방법들은 폐색 영역과 글자 및 그림 등에서 상대적으로 큰 오차가 발생하는 것을 확인할 수 있었다.

도 5는 본 발명의 일 실시예에 따른 합성 결과 확대를 통한 라이트필드 합성의 정성적 비교를 위한 도면이다.

다음으로는 합성 결과의 흐림 정도와 폐색 영역에 대한 처리를 확인하기 위한 영상 확대 비교를 수행하였다. 결과는 도 5와 같다. 제안한 방법은 폐색 영역 에서 일부 결점이 나타나기는 하였지만, 전체적으로 흐림 현상이 거의 발생하지 않았다. 반면 Srinivasan 등의 방법이나 Ivan 등의 방법과 같이 단순한 워핑 기반의 방법들은 모서리가 끌려다니는 현상이 발생하였다. 또한 여러 레이어 값의 합으로 최종적인 화소 값을 결정하는 Li 등의 방법은 영상의 흐림 정도가 심하여 글자를 분간하기 힘든 수준의 결과가 나왔다.

도 6은 본 발명의 일 실시예에 따른 라이트필드 재초점 결과의 정성적 비교를 위한 도면이다.

도 6(a)는 첫번째 장면의 전방 재초점, 도 6(b)는 후방 재초점 결과, 도 6(c)는 두번째 장면의 전방 재초점, 도 6(d)는 후방 재초점 결과이다.

라이트필드 합성 결과가 정확하다면 이를 이용한 영상 재초점 결과도 정확하다. 따라서 재초점 결과를 비교하면 합성된 결과에서 운동 시차가 부정확한 부분을 쉽게 파악할 수 있다. 재초점 결과의 평가는 초점을 전방에 맞춘 결과와 후방에 맞춘 결과를 같이 생성하고 이를 확대하여 비교하는 방식으로 수행하였다. 결과는 도 6과 같다. 제안하는 방법은 모든 경우에서 참값과 가장 유사한 결과를 보이는 것을 확인할 수 있었다. 특히 깊이가 다른 여러 객체가 붙어있는 경우에도 우수한 재초점 결과를 보여주었다. 반면 Srinivasan 등의 방법이나 Ivan 등의 방법은 일부 영역에서 전방과 후방의 초점이 뒤바뀐 결과를 보여주었다.

도 7은 본 발명의 일 실시예에 따른 깊이 추정 결과의 비교를 위한 도면이다.

DIBR 기반의 라이트필드 합성 방법은 사용되는 깊이 영상이 합성 결과의 품 질에 큰 영향을 미친다. 따라서 정규화된 깊이 영상에 대한 비교 평가도 수행하였다. 이때 평가의 기준이 될 수 있는 참값 깊이 영상이 없으므로 본 발명에서는 LeReS[3] 모델의 깊이 추정 결과와 비교하였다. Ivan 등의 방법은 깊이가 아닌 appearance flow를 추정하므로 비교에서 제외하였다. 결과는 도 7과 같다. Li 등의 방법과 제안한 방법은 깊이 영상을 별도로 입력 받아 사용하지만, 네트워크를 거치면서 미세조정 된 결과가 나왔다. 또한 제안한 방법은 깊이의 세부 정보가 개선되고 기하 정보의 크기가 조정된 결과가 나왔다. 반면 다른 방법들은 기하 정 보의 크기가 맞지 않거나 부분적으로 부정확한 깊이가 나타났다. 이는 운동 시차가 부분적으로 부정확하게 나타나는 현상의 원인이 된다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

<참고문헌>

[1] Q. Li and N. K. Kalantari. Synthesizing light field from a single image with variable MPI and two network fusion. ACM Trans. on Graphics, 39(6):229:1-229:10, 2020.

[2] J. Bak and I. K. Park. Monocular-based light field synthesis using manipulated RGBAD-MPI. In Proc. of 12th Int. Conf. on Three Dimensional Systems and Applications, pages 65-66, 2021.

[3] W. Yin, J. Zhang, O. Wang, S. Niklaus, L. Mai, S. Chen, and C. Shen. Learning to recover 3D scene shape from a single image. In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pages 204-213, 2021.

[4] R. Tucker and N. Snavely. Single-view view synthesis with multiplane images. In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pages 551-560, 2020.

[5] Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli. Image quality assessment: from error visibility to structural similarity. IEEE Trans. on Image Processing, 13(4):600-612, 2004.

[6] K. Simonyan and A. Zisserman. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556, 2014.

[7] D. P. Kingma and J. Ba. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.

[8] P. P. Srinivasan, T. Wang, A. Sreelal, R. Ramamoorthi, and R. Ng. Learning to synthesize a 4D RGBD light field from a single image. In Proc. of IEEE International Conference on Computer Vision, pages 2243-2251, 2017.

[9] D. G. Dansereau, B. Girod, and G. Wetzstein. LiFF: Light field features in scale and depth. In Proc. of IEEE Conference on Computer Vision and Pattern Recognition, pages 8042-8051, 2019.

[10] N. K. Kalantari, T.-C. Wang, and R. Ramamoorthi. Learning-based view synthesis for light field cameras. ACM Trans. on Graphics, 35(6):193:1- 193:10, 2016.

[11] A. Ivan and I. K. Park. Joint light field spatial and angular super-resolution from a single image. IEEE Access, 8:112562-112573, 2020.

[12] Q. Huynh-Thu and M. Ghanbari. Scope of validity of PSNR in image/video quality assessment. Electronics Letters, 44(13):800-801, 2008.

[13] Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli. Image quality assessment: from error visibility to structural similarity. IEEE Trans. on Image Processing, 13(4):600-612, 2004.

Claims

단안의 RGB 색상 영상 및 깊이 영상을 입력 받는 입력 모듈;
상기 입력 받은 RGB 색상 영상 및 깊이 영상을 두 개의 스트림 채널로 나누어 색상 채널 및 깊이 채널을 추정하고 합성하는 합성 모듈; 및
VLDI 알파 채널을 생성하고, 상기 합성 모듈을 통해 추정된 색상 채널의 가시 영역을 상기 입력된 RGB 색상 영상으로 대체하여 VLDI 렌더링을 수행하는 VLDI 변형 모듈
을 포함하고,
상기 입력 모듈은,
상기 깊이 영상에 대하여 단안 기반 깊이 추정 모델을 사용하여 정규화된 깊이 영상으로 입력 받고, 상기 정규화된 깊이 영상은 상기 VLDI 모듈의 VLDI 변형 과정에서 VLDI 알파 채널을 생성하는 데 사용되는
라이트필드 합성 장치.
단안의 RGB 색상 영상 및 깊이 영상을 입력 받는 입력 모듈;
상기 입력 받은 RGB 색상 영상 및 깊이 영상을 두 개의 스트림 채널로 나누어 색상 채널 및 깊이 채널을 추정하고 합성하는 합성 모듈; 및
VLDI 알파 채널을 생성하고, 상기 합성 모듈을 통해 추정된 색상 채널의 가시 영역을 상기 입력된 RGB 색상 영상으로 대체하여 VLDI 렌더링을 수행하는 VLDI 변형 모듈
을 포함하고,
상기 VLDI 변형 모듈은,
추정이 불필요한 영역인 VLDI 알파 채널 전체와 색상 채널의 가시 영역에 대하여 상기 VLDI 알파 채널은 상기 입력 모듈에서 정규화된 깊이 영상으로부터 가시 영역을 정의함으로써 생성하고, VLDI 알파 채널 생성 과정에서 생성되는 마스크를 이용하여 색상 채널 추정 결과의 가시 영역을 입력 RGB 색상 영상의 색상으로 대체하는
라이트필드 합성 장치.
단안의 RGB 색상 영상 및 깊이 영상을 입력 받는 입력 모듈;
상기 입력 받은 RGB 색상 영상 및 깊이 영상을 두 개의 스트림 채널로 나누어 색상 채널 및 깊이 채널을 추정하고 합성하는 합성 모듈; 및
VLDI 알파 채널을 생성하고, 상기 합성 모듈을 통해 추정된 색상 채널의 가시 영역을 상기 입력된 RGB 색상 영상으로 대체하여 VLDI 렌더링을 수행하는 VLDI 변형 모듈
을 포함하고,
상기 VLDI 변형 모듈은,
VLDI를 렌더링하여 복수의 손실함수를 구하고, 폐색이 발생하는 영역은 소프트 가시 마스크(soft visibility mask)를 구하여 제외하며, 깊이 채널의 미세조정을 차단하는 깊이 손실을 추가하여 입력 기하 정보를 보전하기 위한 깊이 손실 함수를 구하고, 상기 복수의 손실함수를 사용하여 학습을 진행함으로써 모델의 깊이 채널을 사용하고 있는 단안 기반 깊이 추정 모델과 학습데이터에 미세조정(fine-tuning)된 결과를 추정하도록 하는
라이트필드 합성 장치.
입력 모듈을 통해 단안의 RGB 색상 영상 및 깊이 영상을 입력 받는 단계;
상기 입력 받은 RGB 색상 영상 및 깊이 영상을 두 개의 스트림 채널로 나누어 합성 모듈을 통해 색상 채널 및 깊이 채널을 추정하고 합성하는 단계; 및
VLDI 변형 모듈을 통해 VLDI 알파 채널을 생성하고, 상기 합성 모듈을 통해 추정된 색상 채널의 가시 영역을 상기 입력된 RGB 색상 영상으로 대체하여 VLDI 렌더링을 수행하는 단계
를 포함하고,
상기 입력 모듈을 통해 단안의 RGB 색상 영상 및 깊이 영상을 입력 받는 단계는,
상기 깊이 영상에 대하여 단안 기반 깊이 추정 모델을 사용하여 정규화된 깊이 영상으로 입력 받고, 상기 정규화된 깊이 영상은 상기 VLDI 모듈의 VLDI 변형 과정에서 VLDI 알파 채널을 생성하는 데 사용되는
라이트필드 합성 방법.
입력 모듈을 통해 단안의 RGB 색상 영상 및 깊이 영상을 입력 받는 단계;
상기 입력 받은 RGB 색상 영상 및 깊이 영상을 두 개의 스트림 채널로 나누어 합성 모듈을 통해 색상 채널 및 깊이 채널을 추정하고 합성하는 단계; 및
VLDI 변형 모듈을 통해 VLDI 알파 채널을 생성하고, 상기 합성 모듈을 통해 추정된 색상 채널의 가시 영역을 상기 입력된 RGB 색상 영상으로 대체하여 VLDI 렌더링을 수행하는 단계
를 포함하고,
상기 VLDI 변형 모듈을 통해 VLDI 알파 채널을 생성하고, 상기 합성 모듈을 통해 추정된 색상 채널의 가시 영역을 상기 입력된 RGB 색상 영상으로 대체하여 VLDI 렌더링을 수행하는 단계는,
추정이 불필요한 영역인 VLDI 알파 채널 전체와 색상 채널의 가시 영역에 대하여 상기 VLDI 알파 채널은 상기 입력 모듈에서 정규화된 깊이 영상으로부터 가시 영역을 정의함으로써 생성하고, VLDI 알파 채널 생성 과정에서 생성되는 마스크를 이용하여 색상 채널 추정 결과의 가시 영역을 입력 RGB 색상 영상의 색상으로 대체하는
라이트필드 합성 방법.
입력 모듈을 통해 단안의 RGB 색상 영상 및 깊이 영상을 입력 받는 단계;
상기 입력 받은 RGB 색상 영상 및 깊이 영상을 두 개의 스트림 채널로 나누어 합성 모듈을 통해 색상 채널 및 깊이 채널을 추정하고 합성하는 단계; 및
VLDI 변형 모듈을 통해 VLDI 알파 채널을 생성하고, 상기 합성 모듈을 통해 추정된 색상 채널의 가시 영역을 상기 입력된 RGB 색상 영상으로 대체하여 VLDI 렌더링을 수행하는 단계
를 포함하고,
상기 VLDI 변형 모듈을 통해 VLDI 알파 채널을 생성하고, 상기 합성 모듈을 통해 추정된 색상 채널의 가시 영역을 상기 입력된 RGB 색상 영상으로 대체하여 VLDI 렌더링을 수행하는 단계는,
VLDI를 렌더링하여 복수의 손실함수를 구하고, 폐색이 발생하는 영역은 소프트 가시 마스크(soft visibility mask)를 구하여 제외하며, 깊이 채널의 미세조정을 차단하는 깊이 손실을 추가하여 입력 기하 정보를 보전하기 위한 깊이 손실 함수를 구하고, 상기 복수의 손실함수를 사용하여 학습을 진행함으로써 모델의 깊이 채널을 사용하고 있는 단안 기반 깊이 추정 모델과 학습데이터에 미세조정(fine-tuning)된 결과를 추정하도록 하는
라이트필드 합성 방법.
삭제
삭제