KR101969082B1 - 다수의 카메라를 이용한 최적의 구형 영상 획득 방법 - Google Patents

Abstract

본 발명은 다수의 카메라를 이용하여 최적의 폐쇄곡면 영상 획득 방법에 관한 것으로, 특히 리그에 고정된 서로 상이한 촬영 시점을 가지는 복수의 카메라들을 이용하여 하나의 영상을 제작하는 영상 제공 방법을 제공하고, 이를 위해 복수의 카메라들로부터 얻어진 영상들을 파라미터 정보를 이용하여 폐쇄곡면의 프로젝션 면으로 투사시켜 하나의 영상을 획득하는 프로젝션 단계, 상기 획득된 하나의 영상을 각 영역별로 불균일한 샘플링 과정을 통해 사각 프레임으로 피팅하는 렌더링 단계 및 상기 샘플링된 영상을 뷰잉 스피어로 매핑하는 뷰잉 단계;를 포함한다.

Description

다수의 카메라를 이용한 최적의 구형 영상 획득 방법

본 발명은 다수의 카메라를 이용하여 최적의 구형 영상을 획득하는 방법에 관한 것으로, 특히 리그에 고정된 서로 상이한 촬영 시점을 가지는 복수의 카메라들을 이용하여 하나의 영상을 제작하는 영상 제공 방법을 제공한다.

스크린 엑스(ScreenX), 바코 이스케이프 시스템(the Barco Escape System) 등과 같은 멀티프로젝션 기반 몰입형 영화 관람 플랫폼의 성장과 함께 가상현실 시장의 확대 및 가상현실 콘텐츠 제작 활성화로 인한 몰입형 플랫폼에 기반한 차세대 콘텐츠 시장이 확대되고 있다.

그리고 다양한 VR(Virtual Reality) 콘텐츠 재생 환경이 확산됨과 더불어 전 방향 고화질을 요하는 환경, 중앙 화면에 초점을 맞추고 주위의 분위기를 조성하는 환경이 동시 발전되고 있다.

특히, 여러 대의 카메라를 통해 이를 하나의 영상으로 스티칭 하여 파노라마 영상을 제작하는 경우, 그 중첩되는 부분과 최종 영상의 품질 및 왜곡의 문제가 발생하고 있다.

이를 해결하기 위해 다수의 논문과 특허에서 여러 해결 방법 등을 제시한 바 있다. 한국등록특허 10-0519929, 한국등록특허 10-1021847호 등이 그 예이다.

본 발명은 상기의 문제들을 해결하기 위해 안출된 것으로서, 복수 개의 카메라들로부터 영상을 연결하는 과정에서 발생할 수 있는 영상 품질 손실과 왜곡 문제를 해결할 수 있는 영상 제공 방법을 제공하고자 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 해결하기 위한 수단으로서,

리그에 고정된 서로 상이한 촬영 시점을 가지는 복수의 카메라들을 이용하여 하나의 구형 영상을 제작하는 방법에 있어서,

상기 복수의 카메라들로부터 얻어진 영상들을 파라미터 정보를 이용하여 미리 정해진 비정형 폐쇄곡면형의 프로젝션 면으로 투사시켜 하나의 영상을 획득하는 단계를 포함하는, 다수의 카메라를 이용한 최적의 구형 영상 획득 방법을 제공한다.

여기에서, 상기 폐쇄곡면의 프로젝션 면은 각각의 영상들이 가지는 깊이(depth)에 따라 변화가 가능한 것을 특징으로 한다.

상기 구형 영상을 제작하는 방법은 상기 복수의 카메라들의 서로 다른 위치와 시선에 따른 파라미터 정보를 획득하기 위한 캘리브레이션 단계를 더 포함할 수 있다.

상기 캘리브레이션 단계는 체커보드와 같은 물리적 패턴 대상을 거리와 각도를 변화시켜 가며 촬영하여 상기 복수의 카메라들의 위치 관계에 대한 파라미터 정보를 획득하는 단계를 포함할 수 있다.

상기 구형 영상을 제작하는 방법은 상기 획득된 하나의 영상을 각 영역별로 불균일한 샘플링 과정을 통해 사각 프레임으로 피팅하는 렌더링 단계를 더 포함할 수 있다.

상기 구형 영상을 제작하는 방법은 상기 샘플링된 영상을 뷰잉 스피어로 매핑하는 뷰잉 단계를 더 포함할 수 있다.

또한, 리그에 고정된 서로 상이한 촬영 시점을 가지는 복수의 카메라들을 이용하여 하나의 구형 영상을 제작하는 방법에 있어서,

상기 복수의 카메라들로부터 얻어진 영상들을 이용하여 하나의 영상을 획득하는 스티칭 단계; 상기 획득된 하나의 영상을 각 영역별로 샘플링 과정을 통해 사각 프레임으로 피팅하는 렌더링 단계를 포함하는, 다수의 카메라를 이용한 최적의 구형 영상 획득 방법을 제공한다.

이 경우, 상기 렌더링 단계에서, 영상이 중요한 영역(예를 들어, 사람의 얼굴이 있는 영역 등)에서는 더 높은 해상도를 갖도록 픽셀을 배열하는 것을 특징으로 한다.

또한, 리그에 고정된 서로 상이한 촬영 시점을 가지는 복수의 카메라들을 이용하여 하나의 구형 영상을 제작하는 방법에 있어서,

상기 복수의 카메라들로부터 얻어진 영상들을 이용하여 하나의 영상을 획득하는 스티칭 단계; 상기 획득된 하나의 영상을 각 영역별로 샘플링 과정을 통해 피팅하는 렌더링 단계; 및 상기 샘플된 영상을 뷰잉 스피어로 매핑하는 뷰잉 단계를 포함하는, 다수의 카메라를 이용한 최적의 구형 영상 획득 방법을 제공한다.

또한, 리그에 고정된 서로 상이한 촬영 시점을 가지는 복수의 카메라들을 이용하여 하나의 구형 영상을 제작하는 방법에 있어서,

기존의 360도 영상을 획득하는 단계; 상기 획득된 영상을 각 영역별로 불균일한 샘플링 과정을 통해 사각 프레임으로 피팅하는 렌더링 단계를 포함하는, 다수의 카메라를 이용한 최적의 구형 영상 획득 방법을 제공한다.

일 측에 따른 구형 영상 생성 방법은 상이한 촬영 시점을 가지는 복수의 카메라들로부터 영상들을 획득하는 단계; 및 상기 복수의 카메라들의 파라미터 정보를 이용하여 상기 영상들을 비정형 폐쇄곡면형의 프로젝션 면으로 투사하는 단계를 포함한다.

상기 구형 영상 생성 방법은 상기 영상들의 깊이(depth)에 기초하여, 상기 비정형 폐쇄곡면형의 프로젝션 면을 결정하는 단계를 더 포함할 수 있다.

상기 비정형 폐쇄곡면형의 프로젝션 면을 결정하는 단계는 인접 영상들 사이의 중첩 영역에서 추출되고, 대상 메쉬 포인트와 인접한 특징점의 깊이에 기초하여, 상기 대상 프레임 내 상기 대상 메쉬 포인트의 깊이를 결정하는 단계를 포함할 수 있다.

상기 대상 메쉬 포인트의 깊이를 결정하는 단계는 상기 대상 메쉬 포인트와 인접한 메쉬 포인트의 깊이, 및 대상 프레임과 인접한 프레임에서 상기 대상 메쉬 포인트에 대응하는 메쉬 포인트의 깊이 중 적어도 하나에 더 기초하여, 상기 대상 메쉬 포인트의 깊이를 결정하는 단계를 포함할 수 있다.

상기 구형 영상 생성 방법은 상기 비정형 폐쇄곡면형의 프로젝션 면을 따라 설정된 메쉬에 기초하여, 상기 투사된 영상을 렌더링하는 단계를 더 포함할 수 있다.

상기 렌더링하는 단계는 상기 투사된 영상 내 중요한 영역에서 더 높은 해상도를 갖도록 픽셀을 배열하는 단계를 포함할 수 있다.

상기 렌더링하는 단계는 상기 메쉬에 포함된 사각 페이스의 중요도들에 기초하여, 상기 사각 페이스의 타겟 크기를 결정하는 단계; 상기 사각 페이스의 타겟 크기에 기초하여 상기 사각 페이스의 크기를 결정하는 단계; 및 상기 사각 페이스의 크기에 기초하여, 상기 투사된 영상을 샘플링하는 단계를 포함할 수 있다.

상기 사각 페이스의 크기를 결정하는 단계는 상기 사각 페이스의 유사성 변형 항목, 상기 사각 페이스 내 수직 및 수평 방향 왜곡 방지 항목, 및 상기 사각 페이스의 시간 평활화 항목 중 적어도 하나에 더 기초하여, 상기 사각 페이스의 크기를 결정하는 단계를 포함할 수 있다.

일 측에 따른 구형 영상 생성 방법은 상이한 촬영 시점을 가지는 복수의 카메라들로부터 얻어진 영상들을 이용하여 생성된 360도 영상을 획득하는 단계; 및 상기 획득된 영상을 각 영역별로 불균일한 샘플링 과정을 통해 사각 프레임으로 피팅하는 렌더링 단계를 포함한다.

일 측에 따른 구형 영상 재생 방법은 불균일 렌더링을 통해 생성된 메쉬에 관한 정보를 획득하는 단계; 상기 불균일 렌더링을 통해 샘플된 영상을 획득하는 단계; 및 상기 메쉬에 관한 정보에 기초하여, 상기 샘플된 영상을 뷰잉 스피어로 매핑하는 뷰잉 단계를 포함한다.

상기 메쉬에 관한 정보는 상기 메쉬에 포함된 사각 페이스들의 크기에 관한 정보를 포함할 수 있다. 상기 뷰잉 단계는 상기 사각 페이스들의 크기에 관한 정보에 기초하여, 상기 메쉬에 포함된 꼭지점들을 상기 뷰잉 스피어에 포함된 꼭지점들로 매핑하는 단계를 포함할 수 있다.

본 발명은 복수 개의 카메라들로부터 영상을 연결하는 과정에서 발생할 수 있는 영상 품질 손실과 왜곡 문제를 해결할 수 있는 영상을 제공하는 효과가 있다.

도 1a 및 도 1b는 일 실시예에 따른 복수 개의 카메라를 이용하여 파노라마 영상을 만든 예를 설명하는 도면들.
도 2a 및 도 2b는 일 실시예에 따른 래디얼 거리를 변화시켜 이미지를 구에 프로젝션한 결과를 도시한 도면들.
도 3a 및 도 3b는 일 실시예에 따른 미분계수를 이용하여 최적화한 결과 메쉬를 도시한 도면들.
도 4a 및 도 4b는 일 실시예에 따른 변형 가능한 폐쇄곡면의 프로젝션 면을 이용한 영상을 도시한 도면들.
도 5a, 도 5b, 도 5c 및 도 5d는 일 실시예에 따른 렌더링 과정을 설명하는 도면들.
도 6은 일 실시예에 따른 결과 레이 메쉬에 대한 Nc의 영향을 도시한 도면.
도 7a 및 도 7b는 일 실시예에 따른 사각 페이스 내 메쉬 에지의 왜곡이 방지되는 효과를 설명하는 도면들.
도 8은 일 실시예에 따른 시스템의 구성도.
도 9는 일 실시예에 따른 복수 개의 카메라를 장착한 시스템의 모습을 도시한 도면.
도 10은 일 실시예에 따른 캘리브레이션 정보를 위한 시스템의 구성도.
도 11은 일 실시예에 따른 시스템의 구성도.
도 12는 일 실시예에 따른 구형 영상을 생성하는 방법을 나타낸 흐름도.
도 13은 일 실시예에 따른 렌더링 방법을 나타낸 흐름도.
도 14는 일 실시예에 따른 뷰잉 방법을 나타낸 흐름도.
도 15는 일 실시예에 따른 리마스터링 방법을 나타낸 흐름도.
도 16은 일 실시예에 따른 스티칭 방법을 나타낸 흐름도.

본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

이하 영상 제공 방법에 대해서 설명하기로 한다. 본 발명에서 폐쇄곡면의 표현을 사용하였는데, 이는 구형의 곡면을 의미하는 것으로 이해될 수 있다.

이러한 영상 제공 방법은 크게 다음의 단계를 거치게 된다. 첫째는 프로젝션(projection) 과정, 둘째는 렌더링(rendering) 과정, 그리고 마지막으로 뷰잉(viewing) 과정이다. 프로젝션 과정 및 렌더링 과정을 통하여 구형 영상이 생성될 수 있다. 이후, 뷰잉 과정을 통하여 구형 영상이 사용자에게 제공될 수 있다.

이하 각각의 과정에 대해서 구체적으로 설명하기로 한다.

본 과정의 프로젝션 과정의 이전에 캘리브레이션 과정이 포함될 수 있다. 캘리브레이션 과정에 대해서는 뒤에서 장치에 대한 설명을 하면서 자세하게 설명을 하기로 한다. 본 발명에 있어서 영상을 획득하는 장치는 리그를 이용하여 복수 개의 카메라를 고정시키고 있기 때문에, 반복하여 영상을 촬영하는 경우에도 복수의 카메라들의 시선에는 변화가 없다. 따라서, 처음 각각의 카메라들의 위치 관계에 따라 파라미터 정보를 획득하여 계속적인 템플릿으로 활용할 수 있다. 이를 위해 초기에 캘리브레이션 과정이 필요하게 된다.

캘리브레이션 과정에서는 체커 보드와 같은 일정 패턴이 있는 사물을 활용한다. 리그를 통해 고정되어 있는 복수의 카메라들은 촬영 대상인 체커 보드를 촬영하게 되고, 상기 영상을 하나의 영상으로 만들면서 캘리브레이션 과정이 수행된다. 다만, 보다 정확한 캘리브레이션 정보를 획득하기 위해 각도와 거리를 변화시켜 가면서 이러한 과정을 반복 수행하게 된다.

이러한 캘리브레이션 과정을 통해 각각의 카메라들의 위치에 따른 캘리브레이션 인자 정보들이 획득되어, 템플릿이 마련된다. 이처럼 캘리브레이션 과정에서 360도 카메라의 파라미터가 획득될 수 있다.

캘리브레이션 과정이 지나면, 본 영상 제공 장치를 통해서 영상을 촬영하게 된다. 영상을 촬영하여 획득하는 과정에서 프로젝션 단계를 거치게 된다. 프로젝션 과정은 입력된 이미지들을 캘리브레이션 과정에서 얻은 각각의 카메라들의 파라미터 정보를 이용하여 프로젝션 면에 투사시키는 것이다. 일반적으로 프로젝션 면은 360도 영상을 얻기 위한 완전한 폐쇄곡면으로 제공된다. 하지만, 이는 장면의 3차원적인 기하학적인 형태를 표현하지 못하는 한계가 있다. 즉, 각각의 이미지들의 깊이(depth) 정보를 반영하지 못하는 한계가 있다.

본 발명에서는 깊이가 가변할 수 있는 프로젝션 면을 이용한다. 이러한 깊이 가변 프로젝션 면을 이용하는 경우에는, 카메라 시점차이로 인하여 각 이미지들이 오버랩되는 영역에서의 패럴렉스를 효율적으로 감소시킬 수 있는 장점이 있다. 다시 말해서, 기존 방법은 원경 또는 전경의 물체만 일치시킬 수 있는데, 본 발명은 오버랩되는 영역에 다양한 깊이의 물체가 있다고 하더라도 정확하게 일치된 깨끗한 360도 영상을 얻을 수 있다.

도 1a 및 도 1b는 일 실시예에 따른 복수 개의 카메라를 이용하여 파노라마 영상을 만든 예를 설명하는 도면들이다. 도 1a는 깊이 고정 프로젝션 면을 이용하는 기존 기술을 이용한 것이고, 도 1b는 본 발명에 따른 깊이 가변 프로젝션 면을 이용한 결과이다. 도 1a를 참조하면, 화면 중앙의 성악가(110)의 깊이에 맞추어 영상이 프로젝션된 결과, 다른 깊이를 가지는 연주자(120)가 여러 명으로 보이는 패럴렉스 오류가 발생한다. 반면, 도 1b를 참조하면, 가변 깊이 프로젝션 면을 이용함으로써 화면 중앙의 성악가(110)뿐만 아니라, 다른 깊이를 가지는 연주자(130)도 깨끗하게 표현되는 영상을 얻을 수 있다.

본 발명에서는 이웃하는 2개의 카메라들 사이의 이웃하는 영역을 삼각형 요소로 구분하고, 이러한 삼각형 요소들이 형성하는 3D 포인트들을 구속점으로 하여 폐쇄곡면의 프로젝션 면을 변화될 수 있도록 하는 것이 특징이다.

렌더링 과정에서, 이어진 비정형 폐쇄곡면상의 형상의 이미지들이 사각형 프레임으로 조절된다. 본 발명의 핵심은 이미지 그래디언트, 돌출(saliency) 및 얼굴 검출기(face detector) 등의 조합으로 계산되거나 사용자가 직접 할당한 중요한 영역에는 더 많은 픽셀을 할당하고, 그렇지 않은 영역은 더 적은 픽셀을 할당하는 등 영상의 해상도를 변화시켜 사용하는 것이다. 예를 들어 사람의 얼굴이 있는 영상 부분은 중요한 영역으로 취급하여 더 많은 픽셀을 할당하고, 배경이 되는 단색의 벽과 같은 이미지로 된 영역에는 적은 픽셀을 할당하는 등 영상의 해상도를 변화시켜 사용할 수 있다. 중요한 영역은, 사용자에 의하여 설정되거나, 미리 정해진 기준에 의하여 자동으로 설정된 영역일 수 있다.

프로젝션 단계에서 각각의 이미지들을 비정형 폐쇄곡면형의 프로젝션 면으로 투사하는 과정에서는 삼각형 혹은 사각형 메쉬(mesh)를 사용하게 되는데, 각각의 메쉬 내의 픽셀의 중요도에 따라 각 메쉬 면의 폭과 높이가 계산된다. 즉, 높은 중요도를 갖는 메쉬 면은 목표 이미지에서 샘플링 과정에서 더 많은 픽셀을 갖도록 더 큰 영역이 배정되어야 한다. 이미지 공간 내의 꼭지점 위치를 최적화하는 과정을 통해 최종 레이 메쉬(ray mesh)가 결정된다. 여기에서 레이(ray)란, 영상들이 투사된 면의 한 점을 가리키는 말을 의미한다. 계산된 메쉬를 이용하여 후술할 렌더링에서 각 픽셀을 샘플링 할 레이가 결정된다.

최종 영상에서의 각각의 픽셀은 폐쇄곡면 좌표계를 이용하여 레이 메쉬의 주변 꼭지점으로부터 선형적으로 보간된 레이를 따라 각각의 영상의 픽셀을 폐쇄곡면 프로젝션 면으로 투사하는 샘플링을 통해 결정된다.

마지막으로 뷰잉 과정은 인터렉티브 뷰잉을 위해 사용자가 앞의 과정에서 만들어진 영상을 뷰잉 스피어(viewing sphere)로 맵핑하는 과정이다. 뷰잉 스피어는 최종 레이 메쉬의 해상도와 동일한 해상도를 갖도록 설정된다. 이후, 360도 영상을 재생할 때, 매 프레임 이미지를 뷰잉 스피어에 텍스쳐 매핑된다. 이때, 비-균일한 모습을 가진 렌더링 영상을 원본 이미지의 형태로 복원하기 위해, 뷰잉 스피어에서 각각의 꼭지점의 UV 포지션은 레이 메쉬 시퀀스의 UV 정보에 따라 결정된다.

실시예들에 따르면, 전술한 프로젝션 과정과 렌더링 과정이 함께 적용될 수도 있고, 전술한 프로젝션 과정과 렌더링 과정 중 어느 하나만 적용될 수도 있다.

일 예로, 전술한 프로젝션 과정을 통하여 깊이가 가변하는 프로젝션 면을 이용함으로써 360도 영상을 얻은 뒤, 전술한 렌더링 과정 대신 중요한 영역을 구분하지 않고 균일하게 샘플링하는 일반적인 렌더링 과정이 적용될 수 있다. 이 경우, 렌더링 영상은 균일한 모습을 가지므로, 전술한 뷰잉 과정 대신 가상의 구형 스피어에 균일한 렌더링 영상을 복원하는 일반적인 뷰잉 과정을 통하여 사용자에게 영상이 제공될 수 있다.

다른 예로, 전술한 프로젝션 과정 대신 깊이가 고정된 프로젝션 면을 이용하는 일반적인 프로젝션 과정이 수행된 뒤에, 전술한 렌더링 과정을 통하여 중요한 영역에서 더 많은 샘플링이 수행될 수도 있다. 이 경우, 렌더링 영상은 비-균일한 모습을 가지므로, 전술한 뷰잉 과정을 통하여 텍스쳐 매핑 과정에서 원본 이미지의 형태가 복원될 수 있다.

이하 수식과 도면을 참조하여 본 발명에 대해 보다 구체적으로 설명하기로 한다.

먼저 프로젝션 과정을 설명한다.

프로젝션 구는 m

n 메쉬로 표현된다. M={V, F, Q}이고, M은 메쉬를 나타내고, V는 구형 좌표계의 꼭지점 세트로 V = {v₁, ..., v_mxn}이다. 여기에서 v_i = (θ_i, φ_i, r)로서, 구형 좌표계를 표시한다. 이하, v_i는 꼭지점, 정점 혹은 메쉬 포인트라고 지칭될 수 있다.

F는 인접한 세 개의 꼭지점들로 구성되는 트라이앵글 페이스들의 집합이고, Q는 인접한 네 개의 꼭지점들로 구성되는 쿼드 페이스들의 집합을 의미한다.

m개의 수평 각

와 n개의 수직 각

의 균일한 샘플링을 통해 스피어 메쉬를 만든다. 심플 스피어는 싱글 래디얼 거리값 r을 갖는다. 하지만, r은 제로 시선(parallax) 거리로서 중요한 기능을 수행한다.

스피어의 래디얼 거리에 따라, 겹쳐지는 부분이 달라질 수 있다. 예를 들어, 스피어의 래디어 거리에 대응하는 깊이의 오브젝트들은 프로젝션 시 정렬이 잘 이루어지고, 반면 스피어의 크기에 대응하지 않는 깊이의 오브젝트 혹은 배경은 프로젝션 시 패럴렉스 오류(패럴렉스 아티팩트)가 발생할 수 있다.

도 2는 일 실시예에 따른 래디얼 거리를 변화시켜 이미지를 구에 프로젝션한 결과를 도시한 도면이다. 도 2를 참조하면, (a)는 2.1m의 래디얼 거리를 가지는 구에 이미지를 프로젝션한 것이고, (b)는 7m의 래디얼 거리를 가지는 구에 이미지를 프로젝션한 것이다. (a)에서는 2.1m의 래디얼 거리보다 먼 깊이를 가지는 객체(210)에서 패럴렉스 오류가 발생하였고, (b)에서는 7m의 래디얼 거리보다 가까운 깊이를 가지는 객체(220)에서 패럴렉스 오류가 발생하였다.

프로젝션 과정의 목표는 최적화된 프로젝션 면 M^t를 생성하는 것이다. 여기서, t는 프레임의 인덱스를 나타낸다. 다시 말해, 프로젝션 과정을 거쳐 프레임마다 최적화된 프로젝션 면이 도출될 수 있다. 예를 들어, 부분별로 변화하는 프레임 t에서 각 꼭지점들은 래디얼 거리 r_i ^t를 가진다. 여기서, i는 꼭지점들의 인덱스를 나타낸다. 전술한 바와 같이, 실시예들은 깊이 가변 프로젝션 면을 이용함으로써, 이웃하는 이미지 사이의 오버랩되는 영역에서의 패럴랙스(parallax)를 최소화할 수 있다.

각 꼭지점들의 래디얼 거리 r_i ^t를 구하기 위하여, 우선 오버랩되는 영역에서 오브젝트의 실제 거리를 알아야 한다. 일 실시예에 따르면, 최적화 과정에서 메쉬를 구속하는 3D 포인트 P^t의 세트는 오버랩되는 영역의 특징을 이용하여 계산된다. P^t는 t 프레임에서 오버랩되는 영역으로부터 추출된 특징점들의 집합이다. 이 때, 각각의 이미지로부터 스파스한 특징점들(sparse feature points)이 추출된다.

특징점들을 이용하여 스테레오 매칭을 수행하여 실제 거리를 알 수 있으며, 실제 거리를 이용하여 프로젝션 면의 r_i ^t를 설정할 수 있다. 예를 들어, 시차(disparity)를 계산하기 위해서 두 이웃하는 이미지 사이에서 특징간의 유사도가 결정된다. 하지만, 텍스쳐리스(texture less) 영역에서는 시차가 계산될 수 없다. 따라서, 일반적인 스테레오스코픽(stereo-scopic) 이미지 처리 방법과 비슷하게, 다운샘플 처리된 고밀도의 유사도로부터 부가적인 시차를 얻을 수 있다. 이는 광학 플로우 방법을 이용하는 것으로 평가될 수 있다.

p_k ^t는 앞서 구한 시차 쌍과 대응되는 카메라 파라미터를 이용하여 복원된 3차원 점이다. 복원할 때는 컴퓨터 비전에서 널리 쓰이는 삼각 측량법(linear triangulation)을 이용한다. 에너지 함수는 r_i ^t(메쉬 포인트) 과 p_k ^t(특징점) 사이의 차이를 측정하는 것으로 수학식 1과 같이 정의된다.

여기서, p_k ^t는 p_k ^t ∈ P^t 구형 좌표로 변환된 것이다. f(p_k ^t)는 2차원 극 좌표계

에서 p_k ^t를 포함하는 페이스를 구성하는 꼭지점 지표의 세트이다. λ_i ^t는 p_k ^t의 주변 꼭지점들(주변 메쉬 포인트들)에 대한

좌표에서의 무게중심의 가중치이다. 수학식 1은 p_k ^t의 래디얼 거리를 나타내는 r(p_k ^t)를 매치하기 위한 주변의 꼭지점 r_i ^t의 선형 조합을 나타낸다.

r_i ^t가 결과 메쉬에서 부드럽게 변하게 하기 위해서, 수학식 2와 같은 부분적 평활화 항목이 정의될 수 있다. 또한, 중첩되지 않은 영역의 경우 스테레오 매칭이 불가능하므로, 수학식 2를 이용하여 중첩되지 않은 영역에 포함된 r_i ^t를 획득할 수 있다.

여기서, N(i)는 v_i ^t의 4개의 연결된 이웃하는 꼭지점의 지표를 의미한다. n_i는 N(i)에 포함된 이웃 꼭지점들의 수이다. E_s1은 라플라시안 평활화 오퍼레이션이다. 이 항목은 r_i ^t의 2차 부분 미분계수를 최소화시키는 것에 의해 r_i ^t를 오버랩이 없는 영역에서 부드럽게 인터폴레이트 할 수 있도록 한다.

하지만, r_i ^t의 오버랩되는 영역에서 그래디언트가 상대적으로 매우 크다면, E_p와 E_s1를 최소화시키는 것은 불안정한 결과를 초래한다. 따라서, E_p에 의해 구속되지 않는 꼭지점들은 대략적인 1차 부분 미분계수를 최소화하여 정규화한다. 에너지 함수는 수학식 3 및 4와 같다.

여기서, r^t(i, j)는 M^t의 i번째 행과 j번째 열에서 v^t _ixm+j의 래디얼 거리를 의미한다. Ω는 P^t에 의해 구속되지 않는 꼭지점 세트를 의미한다. E_dx와 E_dy는 수평 방향과 수직 방향에서 1차 부분 미분계수를 어림한 것이다. 예를 들어, r^t(i+1, j)는 (i, j)에 해당하는 꼭지점의 오른쪽으로 인접한 꼭지점의 래디얼 거리이고, r^t(i-1, j)는 (i, j)에 해당하는 꼭지점의 왼쪽으로 인접한 꼭지점의 래디얼 거리이다. 또한, r^t(i, j+1)은 (i, j)에 해당하는 꼭지점의 위쪽으로 인접한 꼭지점의 래디얼 거리이고, r^t(i, j-1)은 (i, j)에 해당하는 꼭지점의 아래쪽으로 인접한 꼭지점의 래디얼 거리이다.

도 3a 및 도 3b는 일 실시예에 따른 미분계수를 이용하여 최적화한 결과 메쉬를 도시한 도면들이다. 도 3a는 수학식 3을 이용하지 않고 최적화한 결과 메쉬고, 도 3b는 수학식 3을 이용하여 최적화한 결과 메쉬다. 도 3a를 참조하면 중첩 영역(310)에서 급격한 변화가 발생되나, 도 3b를 참조하면 수학식 3을 이용한 결과 급격한 변화가 발생하지 않음이 확인된다.

수학식 5는 시간의 평활화를 위한 에너지 함수이다. 매 프레임 별로 메쉬가 변할 때, 현재 프레임과 다른 프레임 사이의 차이를 최소화하는 제약조건을 정의함으로써 메쉬가 부드럽게 변화하도록 한다.

여기서, t_w는 시간의 윈도우 크기이다. T(i,t)는 r_i ^t의 프레임 t-t_w로부터 t+t_w까지의 시간 이웃 꼭지점으로의 지표 세트를 의미한다. 다시 말해, T(i,t)는 다른 시간에 있는 현재 꼭지점들의 집합을 의미한다. t_w는 일실시예로 3으로 고정될 수 있다.

일 실시예에 따르면, 수학식 1 내지 5에 정의된 에너지 함수들에 기초하여 r_i ^t를 도출할 수 있다. 예를 들어, 수학식 1 내지 5에 정의된 에너지 함수들 각각이 최소화되도록, 혹은 수학식 1 내지 5에 정의된 에너지 함수들의 가중합이 최소가 되도록 하는 r_i ^t의 집합이 도출될 수 있다.

도 4a 및 도 4b는 일 실시예에 따른 변형 가능한 폐쇄곡면의 프로젝션 면을 이용한 영상을 도시한 도면들이다. 도 4a는 기존 기술을 이용한 단순 구로부터 프로젝션 이미지를 얻은 결과이고, 도 4b는 본 발명에 따른 변형 가능한 폐쇄곡면의 프로젝션 면으로부터 이미지를 얻은 결과이다. 도 4a에서 나타나는 패럴렉스 오류들이 도 4b에서는 나타나지 않음이 확인된다.

이하 렌더링 과정을 설명한다.

타겟 해상도 I_width x I_height가 주어지면, 경도와 위도의 쌍인

로서 정의되는 레이(ray)를 각각의 타겟 이미지의 각각의 픽셀에 할당하게 된다. 각 레이에 따른 위치에서 프로젝션된 오리지날 이미지로부터 샘플링하는 과정을 통하여 타겟 이미지의 각 픽셀의 색을 결정하게 된다.

도 5a 내지 도 5d는 일 실시예에 따른 렌더링 과정을 설명하는 도면이다. 도 5a를 참조하면, 타겟 이미지에서의 일정한 간격을 가진 꼭지점의 초기 배열은 정사각형 또는 등 직사각형에 해당한다. 도 5a의 메쉬에 포함된 페이스들의 크기는 균일하다.

도 5b를 참조하면, 이미지 내 중요 영역이 자동으로 분석될 수 있다. 예를 들어, 도 5b에서 밝은 점들은 어두운 점들에 비하여 중요하다고 인식된 영역일 수 있다.

도 5c를 참조하면, 이미지 내 중요 영역은 사용자에 의하여 지정될 수 있다. 예를 들어, 사용자는 중앙의 스크린 영역을 중요한 영역으로 지정하고, 스크린과 왼쪽 사람 사이의 제1 공간, 및 스크린과 오른쪽 사람 사이의 제2 공간을 상대적으로 덜 중요한 영역으로 지정할 수 있다.

각각의 픽셀에 대한 레이는 주변 꼭지점의 선형적인 보간

을 이용하여 계산될 수 있다. 이웃하는 꼭지점들 사이의 샘플의 개수는 이미지 좌표의 간격의 거리에 좌우된다. 따라서, M^t의 d번째 사각 페이스 q_d ^t에 의해 점유된 이미지 영역이 중요한 정보를 포함하고 있다면, 그 영역을 확대시키는 것이 필요하다. 영역에 중요한 정보가 포함되는지 여부에 따라, M^t의 v_i ^t를 이차원 이미지 좌표 (x_i ^t, y_i ^t)를 가지고 증가시킬 수 있다.

도 5d를 참조하면, 메쉬에 포함된 페이스들의 크기가 불균일하다. 이 때, 중요한 영역일수록 페이스 크기가 증가될 수 있다. 예를 들어, 스크린 영역(510)에 해당하는 사각 페이스의 크기가 다른 영역의 사각 페이스의 크기보다 크며, 이 경우 스크린 영역의 사각 페이스에서 더 많은 샘플링이 수행될 수 있다.

일 실시예에 따른 렌더링 과정을 위해, 타겟 이미지 공간에서 (x_i ^t, y_i ^t)의 최적화 문제로서 식이 구성될 필요가 있다. 사각 페이스의 타겟 크기(예를 들어, 사각 페이스 q_d ^t의 타겟 폭 qw_d ^t 및 타겟 높이 qh_d ^t)는 수학식 6과 같이 사각 페이스 q_d ^t의 중요도 sx_d ^t와 sy_d ^t에 기초하여 결정된다. sx_d ^t는 가로 방향의 중요도이고, sy_d ^t는 세로 방향의 중요도이다. 중요도는 다양한 방식으로 결정될 수 있다. 예를 들어, 중요도 sx_d ^t 및 sy_d ^t는 각각 프레임에서 S_x 및 S_y에서 내부 픽셀들의 중요도의 평균값으로 정해질 수 있다. 또는, 이미지 그레디언트의 값이 클수록 중요도가 높게 결정되거나, 얼굴 검출 기법을 통하여 검출된 얼굴 영역의 중요도가 높게 결정될 수 있다.

여기서, 행(d)과 열(d)는 q_d와 같은 행과 열에 속하는 사각 페이스의 지표 세트를 의미한다. 다시 말해, d는 사각 페이스의 인덱스이고, row(d)는 사각 페이스 q_d와 동일한 행의 페이스들의 집합이며, col(d)는 사각 페이스 q_d와 동일한 열의 페이스들의 집합일 수 있다. 수학식 6은 qw_d ^t와 qh_d ^t를 같은 행과 열의 중요도의 합에 대한 sx_d ^t 및 sy_d ^t의 비율에 따라 계산된다.

N_c는 불균일의 정도를 결정하는 유저 파라미터이다. 도 6은 일 실시예에 따른 결과 레이 메쉬에 대한 Nc의 영향을 도시한 도면이다. 도 6을 참조하면, N_c가 증가함에 따라, 얻어지는 사각 페이스 사이의 해상도의 콘트라스트는 더 강해진다.

최적화를 위해, 각각의 사각 페이스의 폭과 높이는 수학식 6으로부터 얻어진 qw_d ^t 및 qh_d ^t에 구속된다. 이를 위한 에너지 함수는 수학식 7과 같이 정의된다.

여기에서, hE(q_d ^t) 및 vE(q_d ^t)는 수평방향 및 수직방향을 따라 q_d ^t의 유향된(directed) 엣지(예를 들어, i

j) 들의 세트를 의미한다. x_i와 x_j는 수평 방향으로 인접한 메쉬 포인트들을 나타내고, y_i와 y_j는 수직 방향으로 인접한 메쉬 포인트들을 나타낸다.

사각 페이스들을 따른 해상도의 변화를 완화하고, 사각 페이스들의 플립 문제를 해결하기 위한 유사성 변형 항목은 수학식 8과 같이 정의된다. 수학식 8의 에너지 함수는 사각 페이즈가 사각형의 형태를 유지하도록 만드는 역할을 한다.

(v_f1, v_f2, v_f3)는 이미지 면에서 삼각 페이스를 구성하는 꼭지점들을 의미하고, R₉₀은 90도 회전 매트릭스,

를 의미한다. 로컬 좌표 u, v는 초기의 균일한 메쉬로부터 계산된다. β_f ^t는 각 면의 유사도 변형 항목의 가중치를 의미한다. 가중치를 변화시켜가면서 면의 플립이 제거될 때까지 계속 반복적으로 수행한다.

앞에서 설명한 바와 같이, 본 발명에서는 결과 이미지의 왜곡을 최소화하기 위해 중요한 영역에 더 많은 샘플 픽셀을 할당한다. 왜곡된 폐쇄곡면 형상은 결과 메쉬를 이용하여 재생 시 뷰잉 단계에서 복원된다. 복원된 결과물에서 톱니바퀴와 같이 들쭉날쭉한 왜곡이 강한 수평 라인 및 강한 수직 라인을 따라 발생할 수 있다.

이러한 문제를 해결하기 위해, 강한 수평라인 및 강한 수직라인을 포함하는 사각 페이스의 왜곡 현상을 최소화시켜야 한다. 사선을 필터 처리하여 제거하고, 남겨진 요소는 수직 라인 또는 수평 라인, hLine 및 vLine 중 하나로서 라벨링 처리한다. 라인 요소를 포함하는 모든 사각 페이스 q_d ^t는 최적화를 통해 수학식 9의 에너지 함수를 최소화시키게 된다.

수학식 9는 사각 페이스 안에서 라인 방향에 따라 메쉬 에지의 왜곡이 발생하는 것을 방지한다. 도 7a 및 도 7b는 일 실시예에 따른 사각 페이스 내 메쉬 에지의 왜곡이 방지되는 효과를 설명하는 도면들이다. 도 7a는 기존 기술을 이용한 렌더링 및 복원 이미지이고, 도 7b는 본 발명에 따른 레이 메쉬를 이용한 렌더링 및 복원 이미지이다. 도 7a를 참조하면, 렌더링된 이미지(710)에 기울어진 선들이 포함되며, 기울어진 선들은 복원된 영상(720)에서 수직 또는 수평으로 복구되지만, 영상(730)에서 확인할 수 있듯이 톱니바퀴와 같이 들쭉날쭉한 왜곡이 발생할 수 있다.

수학식 9를 통하여 수평선에 해당하는 hLine 영역에 한하여 수직 방향으로 변형이 안되게끔 강제하고, 수직선에 해당하는 vLine 영역에 한하여 수평 방향으로는 변형이 안되게끔 강제할 수 있다.

효과적인 영상 압축과 급격한 해상도 변화를 방지하기 위해, 수학식 10과 같이 시간의 평활화 항목이 최적화에 도입된다.

시간상의 박스 필터링을 각 프레임 별 중요도 맵 sx_d ^t 및 sy_d ^t에 시간의 윈도우 [t, t+t_w]를 가지고 적용한다. 이러한 단순한 필터링은 시퀀스에 따라 메쉬 외관을 더욱 부드럽게 한다.

마지막으로, 사각형 프레임을 유지하는 수학식 12의 경계 구속을 유지하며, 수학식 11과 같이 앞에서 설명한 에너지 함수들의 합을 최소화시키는 {x_i ^t, y_i ^t}를 결정한다.

여기서, 공간 평활화를 위한 가중치 α_s는 0.5일 수 있다. α_k는 수학식 9에서 설명된 바와 같이 왜곡을 최소화하기 위한 가중치 값일 수 있다. 수학식 11을 풀면, 렌더링을 위해 사용되는 시간적으로 일관성 있는 레이 메쉬들을 생성할 수 있다. 결과 메쉬의 이미지 좌표 (x_i, y_i)는 I_width 및 I_height에 의해 정규화된다.

렌더링 과정을 거쳐 결정된 메쉬에 기초하여 프로젝션된 영상이 샘플링된다. 메쉬는 복수의 메쉬 포인트들을 포함하고, 각 메쉬 포인트들 마다 위도 경도가 결정된다. 메쉬 포인트들 사이의 중간 값들은 인터폴레이션을 통하여 영상이 샘플링될 수 있다.

도 8 내지 도 11은 본 발명의 캘리브레이션 단계에서 복수 개의 카메라를 통해 다중의 영상을 얻기 위한 장치 및 그 구성도의 일 실시예를 도시하고 있다. 본 발명의 경우, 다른 실시예가 적용될 수도 있으며, 도 8 내지 도 11에 제한되는 것은 아니다.

본 발명에서의 복수의 카메라를 통하여 영상을 얻는 장치 및 구성은 반드시 본 일 실시예를 따라야 하는 것은 아니며, 다른 다양한 방법으로도 획득할 수 있다.

도 8은 일 실시예에 따른 시스템의 구성도이다. 도 8을 참고하면, 본 발명의 영상 제공 장치는 제1 결합 리그(813)에 결합된 다수의 제1 카메라들(811), 캘리브레이션 수행부(820), 파노라마 영상 생성부(830), 다면 영상 생성부(840), 영상 콘텐츠 제공부(850) 등을 포함할 수 있다.

다수의 제1 카메라들(811)은 서로 상이한 촬영 시점을 가지는 다수의 전방위 영상들을 획득 및 제공하도록 한다. 이와 같은 제1 카메라들(811) 모두는 동일 스펙의 카메라로 구현되는 것이 바람직한데, 이는 제1 카메라들(811)을 통해 획득되는 전방위 영상 모두가 동일 화각 및 동일 해상도를 가져 차후 수행되는 캘리브레이션 및 영상 정합 동작이 보다 용이하게 수행될 수 있도록 하기 위함이다.

제1 결합 리그(813)는 다수의 제1 카메라들(811) 각각이 결합 및 지지될 수 있도록 한다.

예를 들어, 도 9는 일 실시예에 따른 복수 개의 카메라를 장착한 시스템의 모습을 도시한 도면이다. 도 9를 참조하면, 본 발명의 제1 결합 리그(813)는 제1 카메라들이 정면(811-4), 후면(도면 미표시), 우측면(811-2), 좌측면(811-3), 윗면(811-1), 및 아랫면(도면 미표시)에 부착 및 지지될 수 있도록 하는 수단을 구비하여, 제1 결합 리그(813)에 부착된 제1 카메라들이 정면 방향, 후면 방향, 우측면 방향, 좌측면 방향, 윗면 방향, 및 아랫면 방향 각각에 대응되는 6개의 전방위 영상을 동시 획득하여 제공할 수 있도록 한다.

다시 도 8을 참조하면, 캘리브레이션 수행부(820)는 제1 캘리브레이션 수행부(821)를 구비하여, 제1 결합 리그(813)에 제1 카메라들(811)들에 대한 캘리브레이션을 수행하여 제1 카메라들(811)간 위치 관계를 파악하도록 한다.

보다 상세하게는, 도 10은 일 실시예에 따른 캘리브레이션 정보를 위한 시스템의 구성도이다. 도 10을 참조하면, 제1 캘리브레이션 수행부(821)는 패턴 분석부(1011), 카메라 파라미터 계산부(1012), 및 카메라 파라미터 최적화부(1013) 등을 포함하여, 이하와 같은 방식으로 제1 캘리브레이션 동작을 수행할 수 있다.

먼저, 체스보드와 같은 규격화된 패턴 이미지를 출력하여 제1 결합 리그에 위치한 제1 카메라들(811)에게 보이도록 들고 동시에 동영상 촬영하도록 한다. 특히 본 발명에서는 제1 카메라들(811) 사이의 중첩 영역 안에 패턴 이미지가 반드시 들어가도록 하며, 정확도 향상을 위해 카메라부터의 거리를 달리하며 패턴 이미지를 반복 촬영하도록 한다.

그러면 패턴 분석부(1011)는 제1 카메라(811) 각각으로 촬영된 동영상을 분석하여 패턴 이미지를 검출하고, 프레임 정보 및 동시에 보이는 카메라 정보를 기반으로 매칭 정보를 생성한다.

그리고 카메라 파라미터 계산부(1012)는 매칭 정보를 기반으로 인접한 두 대의 카메라 사이의 상대적인 카메라 파라미터들을 계산하고, 카메라 파라미터 최적화부(1013)는 카메라 파라미터 계산부(1012)를 통해 계산된 모든 제1 카메라의 파라미터들을 매칭 정보를 기반으로 비-선형 최적화를 통해 개선한 후, 이들 모두의 정보를 포함하는 제1 캘리브레이션 정보를 생성하도록 한다. 즉, 제1 카메라들(811)간 위치 관계에 대한 정보를 가지는 제1 캘리브레이션 정보를 생성하도록 한다.

다시 도 8을 참조하면, 파노라마 영상 생성부(830)는 제1 캘리브레이션 수행부(821)를 통해 획득된 제1 카메라들(811)간 위치 관계를 기반으로 제1 카메라들(811)을 통해 획득된 전방위 영상들을 하나의 영상으로 정합하여 파노라마 영상을 생성하도록 한다. 파노라마 영상 생성부(830)는 제1 캘리브레이션 정보를 기반으로 파노라마 영상을 정합한다.

보다 상세하게는, 도 11은 일 실시예에 따른 시스템의 구성도이다. 도 11을 참조하면, 파노라마 영상 생성부(830)는 초점 매칭부(1110), 색상 매칭부(1120), 특징점 매칭부(1130), 스티칭부(1140), 와핑부(1150) 및 랜더링부(1160) 등을 포함하여, 이하와 같은 방식으로 파노라마 영상을 생성할 수 있다.

먼저, 초점 매칭부(1110)는 제1 캘리브레이션 동작을 통해 제1 카메라들의 위치 관계를 기반으로 각 영상들의 초기 정렬을 진행하며, 색상 매칭부(1120)는 각 영상들의 색상을 보정하도록 한다. 그리고 특징점 매칭부(1130)는 특징점 추출 알고리즘을 각 영상 내 특징점을 구하고, 특징점에 대한 디스크립터로 이미지 특징점간의 대응점을 찾도록 한다. 이때, 특징점 추출 알고리즘으로는 공지된 기술에 따른 모든 알고리즘이 적용될 수 있을 것이다.

스티칭부(1140)는 특징점 매칭부(1130)를 통해 획득된 특징점간의 대응점을 사용하여 각 영상의 중첩 부분을 접합하고, 와핑부(1150)는 접합된 두 영상을 자연스럽게 만들기 위해 픽셀의 위치를 이동시키는 기하학적 처리를 진행하도록 한다. 그리고 영상 단일화부(1160)는 사용자 등에 의해 입력되는 콤포지션 정보를 기반으로 복수 개의 영상의 단일화 작업을 수행한다.

다시 도 8을 참조하면, 영상 콘텐츠 제공부(850)는 제1 카메라(811), 파노라마 영상 생성부(830) 각각을 통해 획득되는 영상에 대한 정보 모두를 포함하는 영상 콘텐츠를 생성하여 제공하도록 한다.

도 12는 일 실시예에 따른 구형 영상을 생성하는 방법을 나타낸 흐름도이다. 본 발명의 내용을 정리하면, 도 12를 참조하면, 리그에 고정된 서로 상이한 촬영 시점을 가지는 복수의 카메라들을 이용하여 하나의 구형 영상을 제작하는 방법에 있어서, 상기 복수의 카메라들로부터 얻어진 영상들을 파라미터 정보를 이용하여 미리 정해진 비정형 폐쇄곡면형의 프로젝션 면으로 투사시켜 하나의 영상을 획득하는 스티칭 단계(1210)를 포함하는, 다수의 카메라를 이용한 최적의 구형 영상 획득 방법을 제공한다. 이하, 구형 영상은 다면 영상을 포함할 수 있다. 여기에서, 상기 폐쇄곡면의 프로젝션 면은 각각의 영상들이 가지는 깊이(depth)에 따라 변화가 가능한 것을 특징으로 한다.

또한, 상기 획득된 하나의 영상을 각 영역별로 불균일한 샘플링 과정을 통해 사각 프레임으로 피팅하는 렌더링 단계(1220)를 더 포함하는, 다수의 카메라를 이용한 최적의 구형 영상 획득 방법을 제공한다. 이 경우, 상기 렌더링 단계에서, 영상이 중요하다고 판단되는 영역에서는 더 높은 해상도를 갖도록 픽셀을 배열하는 것을 특징으로 한다.

또한, 도 13은 일 실시예에 따른 렌더링 방법을 나타낸 흐름도이다. 도 13을 참조하면, 실시예들은 스티칭(1210)과 렌더링(1220) 사이에, 초기 구형 메쉬 투사 이미지를 획득하고(1310), 이미지 내 중요 영역을 분석하며(1320), 레이 메쉬를 최적화(1330)하는 단계들을 더 포함할 수 있다.

또한, 도 14는 일 실시예에 따른 뷰잉 방법을 나타낸 흐름도이다. 도 14를 참조하면, 영상을 재생하는 방법에 있어서, 불균일 렌더링을 통하여 생성된 레이 메쉬 시퀀스를 복원하는 단계(1410); 및 복원된 영상을 재생하는 단계(1420)를 포함하는, 영상 재생 방법을 제공한다.

레이 메쉬 시퀀스는 샘플된 영상과 메쉬에 관한 정보를 포함한다. 여기서, 메쉬에 관한 정보는 메쉬에 포함된 사각 페이스들의 크기에 관한 정보를 포함할 수 있다. 레이 메쉬 시퀀스를 복원하는 단계(1410)는 사각 페이스들의 크기에 관한 정보에 기초하여, 메쉬에 포함된 꼭지점들을 상기 뷰잉 스피어에 포함된 꼭지점들로 매핑하는 단계를 포함할 수 있다.

일 실시예에 따르면, 복원하는 단계(1410)에서 메쉬 정보에 기초한 텍스쳐 매핑이 이용될 수 있다. 예를 들어, 가상의 3D 스피어에 텍스쳐 매핑 시, 불균일 렌더링 결과가 복원되도록 메쉬 정보를 이용하여 u,v 값을 조절할 수 있다.

또한, 도 15는 일 실시예에 따른 리마스터링 방법을 나타낸 흐름도이다. 도 15를 참조하면, 불균일 렌더링을 통한 기존 콘텐츠 리마스터링 방법에 대한 것으로서, 기존 360도 영상을 리마스터링하여 쓰면 더 적은 해상도를 고품질로 표현이 가능하다. 예를 들어, 8K의 기존 360도 영상을 불균일 렌더링 방법을 이용하여 4K로 만들어서 보게 되면 일반적인 다운 샘플링으로 만든 4K 영상보다 중요한 영역을 더 고품질로 관람이 가능하다.

이를 위하여, 다수의 카메라를 이용한 최적의 구형 영상 획득 방법은 기존의 360도 영상을 획득하여 초기 구형 메쉬 투사 이미지를 획득하는 단계(1510); 이미지 내 중요영역을 분석하는 단계(1520); 레이 메쉬를 최적화하는 단계(1530); 및 렌더링을 통하여 레이 메쉬 시퀀스를 생성하는 단계(1540)를 포함할 수 있다.

또한, 도 16은 일 실시예에 따른 스티칭 방법을 나타낸 흐름도이다. 도 16을 참조하면, 영상 제공 방법은 초기 구형 메쉬 투사 이미지를 획득하는 단계(1610); 중첩 영역 내 시차 대응점을 분석하는 단계(1620); 3차원 점을 복원하는 단계(1630); 메쉬를 최적화하는 단계(1640); 및 영상을 투사하는 단계(1650)를 포함한다.

도 12 내지 도 16에 도시된 각 단계들에는 도 1 내지 도 11을 통하여 전술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (15)

1. 상이한 촬영 시점을 가지는 복수의 카메라들로부터 영상들을 획득하는 단계;
   상기 복수의 카메라들의 파라미터 정보를 이용하여 상기 영상들을 비정형 폐쇄곡면형의 프로젝션 면으로 투사하는 단계; 및
   상기 비정형 폐쇄곡면형의 프로젝션 면을 따라 설정된 메쉬에 기초하여, 상기 투사된 영상을 렌더링하는 단계
   를 포함하고,
   상기 렌더링하는 단계는
   상기 메쉬에 포함된 사각 페이스의 중요도들에 기초하여, 상기 사각 페이스의 타겟 크기를 결정하는 단계;
   상기 사각 페이스의 타겟 크기에 기초하여 상기 사각 페이스의 크기를 결정하는 단계; 및
   상기 사각 페이스의 크기에 기초하여, 상기 투사된 영상을 샘플링하는 단계
   를 포함하는,
   구형 영상 생성 방법.
   
2. 제1항에 있어서,
   상기 영상들의 깊이(depth)에 기초하여, 상기 비정형 폐쇄곡면형의 프로젝션 면을 결정하는 단계
   를 더 포함하는,
   구형 영상 생성 방법.
3. 제2항에 있어서,
   상기 비정형 폐쇄곡면형의 프로젝션 면은 복수의 메쉬 포인트들을 포함하고,
   상기 비정형 폐쇄곡면형의 프로젝션 면을 결정하는 단계는
   인접 영상들 사이의 중첩 영역에서 추출되고, 대상 메쉬 포인트와 인접한 특징점의 깊이에 기초하여, 대상 프레임 내 상기 대상 메쉬 포인트의 깊이를 결정하는 단계
   를 포함하는,
   구형 영상 생성 방법.
   
4. 상이한 촬영 시점을 가지는 복수의 카메라들로부터 영상들을 획득하는 단계;
   상기 영상들의 깊이(depth)에 기초하여, 비정형 폐쇄곡면형의 프로젝션 면- 상기 비정형 폐쇄곡면형의 프로젝션 면은 복수의 메쉬 포인트들을 포함함- 을 결정하는 단계
   상기 복수의 카메라들의 파라미터 정보를 이용하여 상기 영상들을 상기 비정형 폐쇄곡면형의 프로젝션 면으로 투사하는 단계
   를 포함하고,
   상기 비정형 폐쇄곡면형의 프로젝션 면을 결정하는 단계는
   인접 영상들 사이의 중첩 영역에서 추출되고, 대상 메쉬 포인트와 인접한 특징점의 깊이에 기초하여, 대상 프레임 내 상기 대상 메쉬 포인트의 깊이를 결정하는 단계를 포함하고,
   상기 대상 메쉬 포인트의 깊이를 결정하는 단계는
   상기 대상 메쉬 포인트와 인접한 메쉬 포인트의 깊이, 및 상기 대상 프레임과 인접한 프레임에서 상기 대상 메쉬 포인트에 대응하는 메쉬 포인트의 깊이 중 적어도 하나에 더 기초하여, 상기 대상 메쉬 포인트의 깊이를 결정하는 단계
   를 포함하는,
   구형 영상 생성 방법.
   
5. 삭제
6. 제1항에 있어서,
   상기 렌더링하는 단계는
   상기 투사된 영상 내 중요한 영역에서 더 높은 해상도를 갖도록 픽셀을 배열하는 단계
   를 포함하는,
   구형 영상 생성 방법.
   
7. 삭제
8. 상이한 촬영 시점을 가지는 복수의 카메라들로부터 영상들을 획득하는 단계;
   상기 복수의 카메라들의 파라미터 정보를 이용하여 상기 영상들을 비정형 폐쇄곡면형의 프로젝션 면으로 투사하는 단계; 및
   상기 비정형 폐쇄곡면형의 프로젝션 면을 따라 설정된 메쉬에 기초하여, 상기 투사된 영상을 렌더링하는 단계
   를 포함하고,
   상기 렌더링하는 단계는
   상기 메쉬에 포함된 사각 페이스의 중요도들에 기초하여, 상기 사각 페이스의 타겟 크기를 결정하는 단계;
   상기 사각 페이스의 타겟 크기에 기초하여 상기 사각 페이스의 크기를 결정하는 단계; 및
   상기 사각 페이스의 크기에 기초하여, 상기 투사된 영상을 샘플링하는 단계
   를 포함하고,
   상기 사각 페이스의 크기를 결정하는 단계는
   상기 사각 페이스의 유사성 변형 항목, 상기 사각 페이스 내 수직 및 수평 방향 왜곡 방지 항목, 및 상기 사각 페이스의 시간 평활화 항목 중 적어도 하나에 더 기초하여, 상기 사각 페이스의 크기를 결정하는 단계
   를 포함하는,
   구형 영상 생성 방법.
   
9. 상이한 촬영 시점을 가지는 복수의 카메라들로부터 얻어진 영상들을 이용하여 생성된 360도 영상을 획득하는 단계; 및
   상기 획득된 영상을 각 영역별로 불균일한 샘플링 과정을 통해 사각 프레임으로 피팅하는 렌더링 단계
   를 포함하고,
   상기 렌더링 단계는
   상기 사각 프레임의 중요도들에 기초하여, 상기 사각 프레임의 타겟 크기를 결정하는 단계;
   상기 사각 프레임의 타겟 크기에 기초하여 상기 사각 프레임의 크기를 결정하는 단계; 및
   상기 사각 프레임의 크기에 기초하여, 투사된 영상을 샘플링하는 단계
   를 포함하며,
   상기 사각 프레임의 크기를 결정하는 단계는
   상기 사각 프레임의 유사성 변형 항목, 상기 사각 프레임 내 수직 및 수평 방향 왜곡 방지 항목, 및 상기 사각 프레임의 시간 평활화 항목 중 적어도 하나에 더 기초하여, 상기 사각 프레임의 크기를 결정하는 단계
   를 포함하는,
   구형 영상 생성 방법.
   
10. 제9항에 있어서,
    상기 렌더링 단계는
    상기 획득된 영상 내 중요한 영역에서 더 높은 해상도를 갖도록 픽셀을 배열하는 단계
    를 포함하는,
    구형 영상 생성 방법.
11. 삭제
12. 삭제
13. 불균일 렌더링을 통해 생성된 메쉬에 관한 정보를 획득하는 단계;
    상기 불균일 렌더링을 통해 샘플된 영상을 획득하는 단계; 및
    상기 메쉬에 관한 정보- 상기 메쉬에 관한 정보는 상기 메쉬에 포함된 사각 페이스들의 크기에 관한 정보를 포함함-에 기초하여, 상기 샘플된 영상을 뷰잉 스피어로 매핑하는 뷰잉 단계
    를 포함하고,
    상기 뷰잉 단계는
    상기 사각 페이스들의 크기에 관한 정보에 기초하여, 상기 메쉬에 포함된 꼭지점들을 상기 뷰잉 스피어에 포함된 꼭지점들로 매핑하는 단계
    를 포함하는,
    구형 영상 재생 방법.
    
14. 삭제
15. 제1항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.

Images