KR102617940B1 - 멀티 mla 라이트 필드 카메라를 이용한 6-자유도 지원 360도 영상 생성 장치및 그 방법 - Google Patents

Abstract

멀티 MLA 라이트 필드 카메라를 이용한 6-자유도 지원 360도 영상 생성 장치및 그 방법이 개시된다.
이 장치는 6-자유도 지원 360도 영상을 생성하는 영상 생성 장치로서, 각각 MLA(Micro Lens Array)를 내장한 복수의 카메라를 이용하여 대응되는 영상을 획득하는 획득부를 포함한다. 추정부는 상기 획득부에서 획득되는 각 영상을 사용하여 깊이 정보를 추정하고, 재구성부는 상기 획득부에서 획득되는 영상과 상기 추정부에서 추정되는 깊이 정보를 사용하여 3D 공간을 재구성한다. 생성부는 상기 재구성부에 의해 재구성된 3D 공간에서 사용자의 움직임에 따른 6-자유도 지원 360도 영상을 생성한다.

Description

멀티 MLA 라이트 필드 카메라를 이용한 6-자유도 지원 360도 영상 생성 장치및 그 방법 {APPARATUS FOR GENERATING 360 DEGREE IMAGE SUPPORTING 6-DEGREES OF FREEDOM USING MULTI MICRO LENS ARRAY LIGHT FIELD CAMERA}

본 발명은 멀티 MLA 라이트 필드 카메라를 이용한 6-자유도 지원 360도 영상 생성 장치 및 그 방법에 관한 것이다.

사람이 외부를 통해서 받아들이는 정보의 약 80%는 사람의 눈을 통해 받아들이게 되는 시각 정보이다. 이러한 시각 정보를 다른 사람에게 전달해주기 위하여 발달한 시각 미디어는 더 많은 정보를 포함하여 실제와 유사하게 전달할 수 있는 방향으로 발전하여 왔다.

구체적으로, 그림 → 사진 → 동영상으로 발전하였고, 평면적인 시각 정보뿐만 아니라 입체감을 전달할 수 있는 3D 영상 같은 실감 미디어가 출현하게 되었다.

그런데, 3D 영상도 결국 영상 정보 제공자의 시각에서 바라본 시각 정보이기 때문에 시청자로서는 수동적인 시각 정보의 수용만 가능하였고, 이에 따라 마치 그곳에 있는 것 같은 현장감과 몰입감을 느끼는 데는 한계가 있었다.

이런 한계를 극복하기 위해서 가상 현실(virtual reality, VR) 개념을 갖춘 미디어가 탄생하였고, 여기에서 더 나아가 시청자가 움직이는 위치에 따라 해당 위치에서 바라본 영상을 재생시킬 수 있는 6-자유도(6-Degrees of Freedom) 지원 360도 영상 미디어가 새로운 실감 미디어로 관심을 받고 있다.

하지만, 이러한 6-자유도 지원 360도 영상을 획득하기 위해서는 3차원 공간의 모든 정보를 다시 복원시킬 수 있는 정보를 획득하여야 하는 어려움이 존재하기 때문에, 다수의 카메라와 깊이 정보 획득을 위한 센서 등 거대한 획득 시스템 장비와 복잡한 처리 과정이 필요하다.

본 발명이 해결하고자 하는 과제는 더 간편한 영상 획득과 간단한 처리 과정을 통해 6-자유도 지원 360 영상 콘텐츠를 만들 수 있는 멀티 MLA 라이트 필드 카메라를 이용한 6-자유도 지원 360도 영상 생성 장치 및 그 방법을 제공하는 것이다.

본 발명의 하나의 특징에 따른 영상 생성 장치는,

6-자유도 지원 360도 영상을 생성하는 영상 생성 장치로서, 각각 MLA(Micro Lens Array)를 내장한 복수의 카메라를 이용하여 대응되는 영상을 획득하는 획득부; 상기 획득부에서 획득되는 각 영상을 사용하여 깊이 정보를 추정하는 추정부; 상기 획득부에서 획득되는 영상과 상기 추정부에서 추정되는 깊이 정보를 사용하여 3D 공간을 재구성하는 재구성부; 및 상기 재구성부에 의해 재구성된 3D 공간에서 사용자의 움직임에 따른 6-자유도 지원 360도 영상을 생성하는 생성부를 포함한다.

여기서, 상기 복수의 카메라는 각각 MLA를 내장한 5개의 라이트 필드 카메라이고, 상기 5개의 라이트 필드 카메라는 360도의 영상을 획득하기 위해 원형으로 배치된다.

또한, 상기 깊이 정보 추정부는, 상기 획득부에서 획득되는 각 영상을 시점별로 각각 재배치한 서브 어퍼처 영상을 생성하는 재배치부; 및 상기 재배치부에 의해 재배치된 각 서브 어퍼처 영상에 대한 깊이 정보를 계산하는 계산부를 포함한다.

또한, 상기 재구성부는 상기 서브 어퍼처 영상과 상기 추정부에 의해 추정되는 깊이 정보를 사용하여 상기 서브 어퍼처 영상에서 획득된 시야에서의 3D 공간 정보를 복원하고, 각 방향에 대한 3D 공간 정보를 스티칭하여 360도 전방위에 대한 3D 공간을 재구성한다.

또한, 상기 재구성부는 상기 3D 공간 정보에 대한 스티칭시 색상 정보에 깊이 정보를 더하여 오차에 대한 다음과 같은 비용 함수를 계산한 후, 계산된 비용 함수가 최소가 되는 각 화소 쌍을 정합하고, 그 정합 결과를 통해 상기 복수의 카메라의 위치 및 자세를 계산하여 3D 공간을 재구성한다.

또한, 상기 생성부는 사용자의 움직임에 따른 6-자유도로 바뀐 위치를 해석하고, 해석된 위치에서의 시점에 대한 스테레오스코픽 영상을 구현하여 6-자유도 지원 360도 영상을 생성한다.

또한, 상기 생성부는 재구성된 3D 공간에서 사용자의 위치에서의 왼쪽 눈과 오른 쪽 눈 위치에 대한 위치 정보를 설정하고, 상기 사용자의 움직임에 따라 바뀐 위치에 대한 6-자유도의 변화량을 측정하여 바뀐 시점에 대한 가상 시점 위치로 3D 정보를 투영시켜 왼쪽 눈과 오른 쪽 눈에 보여줄 영상을 생성한다.

본 발명의 다른 특징에 따른 영상 생성 방법은,

영상 생성 장치가 6-자유도 지원 360도 영상을 생성하는 방법으로서, 각각 MLA를 내장한 복수의 카메라를 이용하여 획득되는 영상으로부터 각각 대응되는 깊이 정보를 추정하는 단계; 상기 획득되는 영상과 상기 깊이 정보를 사용하여 상기 획득되는 영상에서의3D 공간 정보를 복원하는 단계; 상기 3D 공간 정보에 대해 스티칭을 수행하여 전방위에 대한 3D 공간을 재구성하는 단계; 및 재구성된 3D 공간에서 사용자의 움직임에 따른 6-자유도 지원 360도 영상을 생성하는 단계를 포함한다.

여기서, 상기 깊이 정보를 추정하는 단계는, 상기 획득되는 영상 각각을 시점별로 각각 재배치하여 대응되는 서브 어퍼처영상을 생성하는 단계; 및 상기 서브 어퍼처 영상 각각에 대한 깊이 정보를 계산하는 단계를 포함한다.

또한, 상기 재구성하는 단계는, 상기 3D 공간 정보에 대한 스티칭시 색상 정보에 깊이 정보를 더하여 오차에 대한 비용 함수를 계산하는 단계; 계산된 비용 함수가 최소가 되는 각 화소 쌍을 정합하는 단계; 및 상기 정합의 결과를 통해 상기 복수의 카메라의 위치 및 자세를 계산하여 3D 공간을 재구성하는 단계를 포함한다.

또한, 상기 생성하는 단계는, 사용자의 움직임에 따른 6-자유도로 바뀐 위치를 해석하는 단계; 및 해석된 위치에서의 시점에 대한 스테레오스코픽 영상을 구현하여 6-자유도 지원 360도 영상을 생성하는 단계를 포함한다.

또한, 상기 사용자의 움직임에 따른 6-자유도로 바뀐 위치는 상기 사용자의 병진 운동과 회전 운동의 변화량 측정에 의해 파악된다.

본 발명의 실시예에 따르면, 더 간편한 영상 획득과 간단한 처리 과정을 통해 6-자유도 지원 360 영상 콘텐츠를 만들 수 있다.

이로 인해, VR 콘텐츠의 다양화와 VR 기기 활용도를 높이는데 이바지할 수 있으며, 사용자들에게는 사용자 중심의 능동적 실감 미디어로써 실제 현장에 있는 듯한 현장감과 몰입감을 더 많이 제공해 줄 수 있게 된다.

도 1은 본 발명의 실시예에 따른 영상 획득 장치의 개략 구성도이다.
도 2는 본 발명의 실시예에 따른 5개의 MLA 라이트 필드 카메라의 배치 예를 도시한 도면이다.
도 3은 본 발명의 실시예에서 5개의 MLA 라이트 필드 카메라를 사용하여 영상을 획득하는 개념을 도시한 도면이다.
도 4는 도 3에 도시된 1개의 MLA 라이트 필드 카메라에서 획득된 9x9 시점의 서브 어퍼처 영상을 도시한 도면이다.
도 5는 도 4에 도시된 서브 어퍼처 영상으로부터 추정된 깊이 정보 지도의 일 예의 도면이다.
도 6은 본 발명의 실시예에 따라 360도 영상과 깊이 정보를 통한 3D 공간 재구성의 일예를 도시한 도면이다.
도 7은 도 1에 도시된 깊이 정보 추정부의 구체적인 구성 블록도이다.
도 8은 본 발명의 실시예에 따른 6-자유도 지원 360도 영상 획득 방법의 흐름도이다.
도 9는 도 8에 도시된 깊이 정보 추정 과정의 흐름도이다
도 10은 도 8에 도시된 3D 공간 재구성을 위한 3D 공간 정보 스티칭 과정의 흐름도이다.
도 11은 도 8에 도시된 6-자유도 지원 영상 생성 과정의 흐름도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

본 발명에서 설명하는 장치들은 적어도 하나의 프로세서, 메모리 장치, 통신 장치 등을 포함하는 하드웨어로 구성되고, 지정된 장소에 하드웨어와 결합되어 실행되는 프로그램이 저장된다. 하드웨어는 본 발명의 방법을 실행할 수 있는 구성과 성능을 가진다. 프로그램은 도면들을 참고로 설명한 본 발명의 동작 방법을 구현한 명령어(instructions)를 포함하고, 프로세서와 메모리 장치 등의 하드웨어와 결합하여 본 발명을 실행한다.

이하, 본 발명의 실시예에 따른 멀티 MLA 라이트 필드 카메라를 이용한 6-자유도 지원 360도 영상 획득 장치에 대해 설명한다.

도 1은 본 발명의 실시예에 따른 영상 획득 장치의 개략 구성도이다.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 영상 획득 장치(100)는 영상 획득부(110), 깊이 정보 추정부(120), 3D 공간 재구성부(130) 및 360도 영상 생성부(140)를 포함한다.

영상 획득부(110)는 작은 수의 카메라를 사용하여 영상을 획득한다. 예를 들어, 도 2에 도시된 바와 같이, 5개의 카메라(111a, 111b, 111c, 111d, 111e)가 사용될 수 있다. 또한, 5개의 카메라(111a, 111b, 111c, 111d, 111e)는 각각 MLA(Micro Lens Array) 라이트 필드(light field) 카메라일 수 있다. 5개의 MLA 라이트 필드 카메라(111a, 111b, 111c, 111d, 111e)는 360도 방향으로 배치되어 각각의 영상을 획득할 수 있다.

여기서, MLA는 복수의 마이크로 렌즈로 구성되며, 광학 통신, 인터커넥션(interconnection), 직접 영상관측(direct optical imaging), 랩온어칩(lab-on-a-chip) 등과 같은 미세 광학 적용 분야에서 기본적으로 요구되는 부품이다. MLA는 가시광을 투과하는 기판 상에 형성된 복수의 마이크로 렌즈로 구성될 수 있다. 복수의 마이크로 렌즈 가시광 투과 기판 상에 예를 들어 2차원 어레이형으로 배열될 수 있다.

한편, 라이트필드 카메라는 동일한 위치에 들어오는 빛들을 방향별로 나누어 측정하는 카메라이다.

도 2를 참조하면, 360도 영상을 획득하기 위해서 다수의 MLA 라이트 필드 카메라가 배치된 카메라 리그의 한 예시로, 5대의 MLA 카메라가 배치된 리그의 예를 보여주고 있다. 카메라 수는 시야각(Field of View, FOV) 120도를 기준으로 할 때 최소 3개 이상 배치하면 360도 영상을 얻을 수 있다. 그러나, 더 많은 카메라를 사용하면 영상에서 겹치는 부분이 많아지므로 보다 많은 정보를 획득하여 스티칭에 활용할 수 있어서 품질을 높일 수 있는 장점이 있지만, 시스템이 복잡해지고 각 카메라 간의 조정에 많은 어려움이 따르게 된다.

따라서, 본 발명의 실시예에서는 3개보다 많지만 시스템의 복잡성을 배제하기 위해 5개의 MLA 라이트 필드 카메라가 사용된다. 도 3은 본 발명의 실시예에서 5개의 MLA 라이트 필드 카메라를 사용하여 영상을 획득하는 개념을 도시한 도면이다.

도 3을 참조하면, 같은 위치의 물체, 즉 사과(10)에서 반사된 빛은 MLA 라이트 필드 카메라(111a)의 렌즈(1111)를 거쳐 MLA(1112)의 같은 위치에 도달하지만, MLA(1112)를 투과하면서 CCD(Charge Coupled Device)와 같은 영상 센서(1113)의 다른 부분에 도달하게 되고, 이를 통해 한 점을 지나는 빛의 특성을 알 수 있는 4D 라이트 필드 영상을 얻을 수 있게 된다.

깊이 정보 추정부(120)는 영상 획득부(110)에서 5개의 MLA 라이트 필드 카메라(111a, 111b, 111c, 111d, 111e)에서 각각 획득된 라이트 필드 영상을 구성하는 여러 서브 시점 영상을 이용하여 각각의 깊이 정보를 추정한다.

일반적인 카메라에서 깊이 정보를 추정하기 위해서는 두 장 이상의 영상으로부터 실제 공간의 같은 위치가 표현된 화소를 찾아내고, 이들을 스테레오 정합하는 복잡한 과정을 통해서 깊이 정보를 계산하게 되므로, 많은 스테레오 정합 오류와 폐색/비폐색 영역들로 인하여 깊이 정보의 정확도가 떨어지게 된다.

반면에, 본 발명의 실시예에서는 5개의 MLA 라이트 필드 카메라(111a, 111b, 111c, 111d, 111e) 각각에서 획득된 여러 시점의 서브 어퍼처 영상들을 이용하여 정확도 높은 깊이 정보를 더욱 쉽게 계산하여 추정할 수 있다. 즉, 5개의 MLA 라이트 필드 카메라(111a, 111b, 111c, 111d, 111e)를 360도로 사용하면 일반에서 카메라 사이가 많이 벌어진 것보다 간격이 짧은 다시점으로 인해 깊이 정보를 쉽고 정확하게 추정이 가능하다.

예를 들어, 도 4에 도시된 바와 같이 1개의 MLA 라이트 필드 카메라(예를 들어, 111a)에서 획득되는 예를 들어 9x9 시점의 서브 어퍼처 영상과 같이, 5개의 MLA 라이트 필드 카메라(111a, 111b, 111c, 111d, 111e)에서 획득되는 아주 조밀한 기준선(baseline)을 갖는 여러 수평/수직 시점의 서브 어퍼처 영상들 획득함으로써, 이를 통해 정확도 높은 깊이 정보를 더욱 쉽게 계산할 수 있다. 도 4에 도시된 서브 어퍼처 영상으로부터 추정된 깊이 정보 지도의 일 예가 도 5에 도시된다.

3D 공간 재구성부(130)는 영상 획득부(110)에서 획득되는 서브 어퍼처 영상과 깊이 정보 추정부(120)에 의해 추정되는 깊이 정보를 사용하여 각 MLA 라이트 필드 카메라(111a, 111b, 111c, 111d, 111e)에서 획득된 시야에서의 3D 공간 정보를 복원하고, 각 방향에 대한 3D 공간 정보를 스티칭(stitching)하여 360도 전방위에 대한 3D 공간을 재구성한다.

이와 같이, 5개의 MLA 라이트 필드 카메라(111a, 111b, 111c, 111d, 111e)에서 획득한 영상과 깊이 정보 추정부(120)에 의해 추정된 깊이 정보를 이용하여 3D 공간을 재구성하는 과정이 필요한데, 이를 위해서는 각각의 서브 어퍼처 영상에서 360도 공간을 재구성하는 작업이 필요하다. 이를 위한 스티칭 작업 시 기존의 2D 영상의 스티칭 때는 해당 위치의 색상 정보만을 이용하였다. 그러나, 본 발명의 실시예에서는 색상 정보에 깊이 정보를 더하여 오차에 대한 비용 함수를 계산한다. 그리고, 계산된 비용 함수가 최소가 되는 각 화소 쌍을 정합하고, 그 정합 결과를 통해 5개의 MLA 라이트 필드 카메라(111a, 111b, 111c, 111d, 111e)의 위치, 자세를 계산하여 전체적인 3D 공간 재구성을 하게 된다. 이와 같이, 계산된 비용 함수가 최소가 되는 각 화소 쌍을 정합하므로 정확도가 보다 향상될 수 있다.

여기서, [수학식 1]은 상기한 바와 같이, 360도 영상 재구성을 위한 비용 함수를 나타낸다.

[수학식 1]

여기서, 는 색상 정보이고, 는 5개의 MLA 라이트 필드 카메라(111a, 111b, 111c, 111d, 111e)가 배치된 위치의 중점부터 물체까지의 거리를 나타내고, x와 y는 영상에서의 수평 방향과 수직 방향의 좌표를 가리킨다. 또한, 와 는 각각 색상 오차와 깊이 정보 오차에 대한 가중치를 나타낸다.

도 6은 5개의 MLA 라이트 필드 카메라(111a, 111b, 111c, 111d, 111e)를 통해획득된 360도 영상과 깊이 정보 추정부(120)에 의해 추정된 깊이 정보, 그리고 이들을 활용한 스티칭을 통해 복원된 3D 공간 재구성의 일례이다.

360도 영상 생성부(140)는 3D 공간 재구성부(130)에 의해 재구성된 3D 공간에서 사용자의 움직임에 따라 6-자유도로 바뀐 위치를 해석하여 그 위치에서의 시점에 대한 스테레오스코픽 영상을 구현할 수 있게 함으로써 6-자유도를 지원하는 360 영상을 획득할 수 있게 한다. 즉, 360도 영상 생성부(140)는 재구성된 3D 공간에서 초기 사용자의 위치에서의 왼쪽 눈과 오른쪽 눈 위치에 대한 위치 정보를 설정하고, 시청자의 움직임에 따라 바뀐 정보에 대한 6-자유도, 즉 병진 운동(up-down, right-left, forward-back)과 회전 운동(yaw, pitch, roll)의 변화량을 측정하여 바뀐 시점에 대한 가상 시점 위치로 3D 정보를 투영시켜, 왼쪽과 오른쪽 눈에 보여줄 영상을 만들어 냄으로써 6-자유도 360도 영상을 구현할 수 있다.

다만, 기존에는 간격이 넓은 카메라들을 다수 이용하여 6-자유도 영상을 제공하지만, 본 발명의 실시예에서는 간격이 좁은 시점을 제공할 수 있는 MLA가 장착된 라이트 필드 카메라를 사용함으로써, 6-자유도 360도 영상을 구현할 때 기존의 카메라별로 시점을 이동하는 것보다 MLA에서 좁은 시점 간격으로 이동하는 것이 더 정밀하므로 사용자의 이동으로 인한 보다 정확한 6-자유도 360도 영상 구현이 가능하다.

또한, 동일한 형태의 영상을 취하기 위한 기존 기술에서는 카메라 여러 대를 제어해야 해서 그 제어가 매우 어려운데 반애, 본 발명의 실시예에서는 보다 적은 개수의 카메라를 사용함으로써 제어가 간단해지고, 규모도 작아서 비용면에서도 유리하면서, 깊이 정보 또한 정확하게 얻어질 수 있다.

도 7은 도 1에 도시된 깊이 정보 추정부(120)의 구체적인 구성 블록도이다.

도 7에 도시된 바와 같이, 정보 추정부(120)는 재배치부(121) 및 깊이 정보 계산부(122)를 포함한다.

재배치부(121)는 영상 획득부(110)의 5개의 MLA 라이트 필드 카메라(111a, 111b, 111c, 111d, 111e)에서 각각 획득되는 영상을 각각 받아서 시점별로 재배치하여 깊이 정보 계산부(122)로 출력한다. 여기서 재배치부(121)에서 각각 출력되는 영상이 5개의 MLA 라이트 필드 카메라(111a, 111b, 111c, 111d, 111e)에서 획득된 서브 어퍼처 영상에 해당된다.

깊이 정보 계산부(122)는 재배치부(121)로부터 각각 출력되는 영상, 즉 서브 어퍼처 영상을 수신하여 각 영상에 해당하는 깊이 정보를 계산한다.

이하, 도면을 참조하여 본 발명의 실시예에 따른 6-자유도 지원 360도 영상 획득 방법에 대해 설명한다.

도 8은 본 발명의 실시예에 따른 6-자유도 지원 360도 영상 획득 방법의 흐름도이다. 본 방법은 도 1 내지 도 7에서 설명된 영상 획득 장치(100)에 의해 수행된다.

도 8을 참조하면, 먼저, 5개의 MLA 라이트 필드 카메라(111a, 111b, 111c, 111d, 111e)를 이용하여 각각의 영상을 획득한다(S100). 여기서, MLA 라이트 필드 카메라(111a, 111b, 111c, 111d, 111e)는 MLA를 내부에 장착한 라이트 필드 카메라이며, 개략적인 구조는 도 3에 도시된 바와 같다.

다음, 5개의 MLA 라이트 필드 카메라(111a, 111b, 111c, 111d, 111e)에서 각각 획득된 영상을 이용하여 각각의 깊이 정보를 추정한다(S110). 여기서, MLA에 의해 다시점간 폭이 좁아진 영상을 통해 오차가 적은 깊이 정보를 추정할 수 있다.

그 후, 상기 단계(S100)에서 획득된 영상과 상기 단계(S110)에서 추정된 깊이 정보를 사용하여 각 MLA 라이트 필드 카메라(111a, 111b, 111c, 111d, 111e)에서 획득된 시야에서의 3D 공간 정보를 복원한다(S120).

계속해서, 복원된 3D 공간에서 각 방향에 대한 3D 공간 정보를 스티칭하여 360도 전방위에 대한 3D 공간을 재구성한다(S130). 여기서, 스티칭 작업시 영상의 색상 정보 뿐만 아니라 깊이 정보가 더 사용될 수 있다.

다음, 상기 단계(S130)에서 재구성된 3D 공간에서 사용자의 움직임에 따른 6-자유도를 지원하는 360도 영상을 생성하여 제공한다(S140).

한편, 상기 단계(S110)에서의 영상별 깊이 정보 추정은 다음과 같이 수행될 수 있다.

도 9는 도 8에 도시된 깊이 정보 추정 과정(S110)의 구체적인 흐름도이다.

도 9를 참조하면, 5개의 MLA 라이트 필드 카메라(111a, 111b, 111c, 111d, 111e)에서 각각 획득된 영상을 시점별로 재배치한다(S111). 이 때, 재배치되는 영상은 5개의 MLA 라이트 필드 카메라(111a, 111b, 111c, 111d, 111e)에서 획득되는 서브 어퍼처 영상에 해당된다그 후, 재배치된 각 영상, 즉 서브 어퍼처 영상을 사용하여 각 영상에 대응되는 깊이 정보를 계산한다(S112). 여기서, MLA 라이트 필드 카메라(111a, 111b, 111c, 111d, 111e)에서 획득되는 영상들이 매우 조밀한 기준선(baseline)을 갖는 여러 수평/수직 시점의 서브 어퍼처 영상이므로, 이를 통해 정확도 높은 깊이 정보를 더욱 쉽게 계산할 수 있다.

또한, 상기 단계(S130)에서의 3D 공간 재구성을 위한 3D 공간 정보 스티칭은 다음과 같이 수행될 수 있다.

도 10은 도 8에 도시된 3D 공간 재구성을 위한 3D 공간 정보 스티칭 과정(S130)의 구체적인 흐름도이다.

도 10을 참조하면, 상기 단계(S120)에서 복원된 3D 공간을 사용하여 비용 함수를 계산한다(S131). 구체적으로, 복원된 3D 공간을 재구성하기 위해서는 각각의 서브 어퍼처 영상에서 360도 공간을 재구성하는 작업이 필요하다. 이를 위한 스티칭 작업 시 기존의 2D 영상의 스티칭 때는 해당 위치의 색상 정보만을 이용하으나, 여기에서는 색상 정보에 깊이 정보를 더하여 오차에 대한 비용 함수를 계산한다. 여기서, 비용 함수는 전술한 [수학식 1]과 같으며, 360도 영상 재구성을 위한 비용 함수이다.

그 후, 계산된 비용 함수가 최소가 되는 각 화소 쌍을 정합하고(S132), 정합 결과를 통해 5개의 MLA 라이트 필드 카메라(111a, 111b, 111c, 111d, 111e)의 위치, 자세를 계산한 후(S133), 전체적인 3D 공간 재구성을 수행한다(S134). 이와 같이, 계산된 비용 함수가 최소가 되는 각 화소 쌍을 정합하기 때문에, 정확도가 보다 향상될 수 있다.

다음, 상기 단계(S140)에서 6-자유도 지원 영상 생성 과정은 다음과 같이 수행될 수 있다.

도 11은 도 8에 도시된 6-자유도 지원 영상 생성 과정(S140)의 구체적인 흐름도이다.

도 11을 참조하면, 먼저, 사용자의 움직임을 판단하고(S141), 사용자의 움직임이 있는 경우에만 이하의 단계가 계속 수행된다. 만약 사용자의 움직임이 있는 경우, 사용자의 움직임에 따른 6-자유도로 바뀐 위치를 해석하고(S142), 해석된 위치에서의 시점에 대한 스테레오스코픽 영상을 구현함으로써 6-자유도를 지원하는 360도 영상을 구현하여 제공이 가능하다(S143). 구체적으로, 상기 단계(S130)에서 재구성된 3D 공간에서 초기 사용자의 위치에서의 왼쪽 눈과 오른쪽 눈 위치에 대한 위치 정보를 설정하고, 사용자의 움직임에 따라 바뀐 정보에 대한 6-자유도를 측정하여 바뀐 시점에 대한 가상 시점 위치로 3D 정보를 투영시켜 왼쪽과 오른쪽 눈에 보여줄 영상을 생성함으로써 6-자유도 360도 영상을 구현할 수 있다.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (12)

1. 6-자유도 지원 360도 영상을 생성하는 영상 생성 장치로서,
   각각 MLA(Micro Lens Array)를 내장한 복수의 카메라를 이용하여 대응되는 영상을 획득하는 획득부;
   상기 획득부에서 획득되는 각 영상을 시점별로 각각 재배치한 서브 어퍼처 영상을 생성하고, 각 서브 어퍼처 영상에 대한 깊이 정보를 추정하는 추정부;
   각 서브 어퍼처 영상과 해당 깊이 정보를 사용하여 시점별 3D 공간 정보를 복원하고, 상기 3D 공간 정보를 스티칭하여 3D 공간을 재구성하는 재구성부; 및
   상기 재구성부에 의해 재구성된 3D 공간에서 사용자의 움직임에 따른 6-자유도 지원 360도 영상을 생성하는 생성부를 포함하고,
   상기 재구성부는
   상기 시점별 3D 공간 정보에 대한 색상 정보와 깊이 정보를 기초로 화소쌍을 정합하고, 정합 결과를 기초로 상기 시점별 3D 공간 정보를 스티칭하는, 영상 생성 장치.
2. 제1항에 있어서,
   상기 복수의 카메라는 각각 MLA를 내장한 5개의 라이트 필드 카메라이고,
   상기 5개의 라이트 필드 카메라는 360도의 영상을 획득하기 위해 원형으로 배치되는,
   영상 생성 장치.
3. 삭제
4. 삭제
5. 제4항에 있어서,
   상기 재구성부는 상기 3D 공간 정보에 대한 스티칭시 색상 정보에 깊이 정보를 더하여 오차에 대한 비용 함수를 계산한 후, 계산된 비용 함수가 최소가 되는 각 화소 쌍을 정합하고, 그 정합 결과를 통해 상기 복수의 카메라의 위치 및 자세를 계산하여 상기 3D 공간을 재구성하는,
   영상 생성 장치.
6. 제1항에 있어서,
   상기 생성부는 사용자의 움직임에 따른 6-자유도로 바뀐 위치를 해석하고, 해석된 위치에서의 시점에 대한 스테레오스코픽 영상을 구현하여 6-자유도 지원 360도 영상을 생성하는,
   영상 생성 장치.
7. 제6항에 있어서,
   상기 생성부는 재구성된 3D 공간에서 사용자의 위치에서의 왼쪽 눈과 오른 쪽 눈 위치에 대한 위치 정보를 설정하고, 상기 사용자의 움직임에 따라 바뀐 위치에 대한 6-자유도의 변화량을 측정하여 바뀐 시점에 대한 가상 시점 위치로 3D 정보를 투영시켜 왼쪽 눈과 오른 쪽 눈에 보여줄 영상을 생성하는,
   영상 생성 장치.
8. 영상 생성 장치가 6-자유도 지원 360도 영상을 생성하는 방법으로서,
   각각 MLA를 내장한 복수의 카메라를 이용하여 획득되는 영상을 시점별로 각각 재배치한 서브 어퍼처 영상을 생성하고, 각 서브 어퍼처 영상에 대한 깊이 정보를 추정하는 단계;
   각 서브 어퍼처 영상과 해당 깊이 정보를 사용하여 시점별 3D 공간 정보를 복원하는 단계;
   시점별 3D 공간 정보에 대한 색상 정보와 깊이 정보를 기초로 화소쌍을 정합하고 정합 결과를 기초로 상기 시점별 3D 공간 정보를 스티칭함으로써 3D 공간을 재구성하는 단계; 및
   재구성된 3D 공간에서 사용자의 움직임에 따른 6-자유도 지원 360도 영상을 생성하는 단계
   를 포함하는 영상 생성 방법.
9. 삭제
10. 제8항에 있어서,
    상기 재구성하는 단계는,
    상기 3D 공간 정보에 대한 스티칭시 색상 정보에 깊이 정보를 더하여 오차에 대한 비용 함수를 계산하는 단계;
    계산된 비용 함수가 최소가 되는 각 화소 쌍을 정합하는 단계; 및
    상기 정합의 결과를 통해 상기 복수의 카메라의 위치 및 자세를 계산하여 3D 공간을 재구성하는 단계
    를 포함하는, 영상 생성 방법.
11. 제8항에 있어서,
    상기 생성하는 단계는,
    사용자의 움직임에 따른 6-자유도로 바뀐 위치를 해석하는 단계; 및
    해석된 위치에서의 시점에 대한 스테레오스코픽 영상을 구현하여 6-자유도 지원 360도 영상을 생성하는 단계
    를 포함하는, 영상 생성 방법.
12. 제11항에 있어서,
    상기 사용자의 움직임에 따른 6-자유도로 바뀐 위치는 상기 사용자의 병진 운동과 회전 운동의 변화량 측정에 의해 파악되는,
    영상 생성 방법.