KR20210036795A - 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법 - Google Patents

Abstract

본 발명에 따른 이머시브 영상 처리 방법은, 소스 시점 영상들에 대한 프루닝 우선 순위를 결정하는 단계, 상기 프루닝 우선 순위에 기초하여, 추가 시점 영상에 대한 잔차 영상을 생성하는 단계, 상기 잔차 영상을 기초로 생성된 패치를 아틀라스 영상에 패킹하는 단계, 및 상기 아틀라스 영상을 부호화하는 단계를 포함한다.

Description

이머시브 영상 처리 방법 및 이머시브 영상 합성 방법{METHOD FOR PROCESSING IMMERSIVE VIDEO AND METHOD FOR PRODUCING IMMVERSIVE VIDEO}

본 발명은 회전 및 병진 움직임에 대한 운동 시차를 지원하는 이머시브 영상의 처리/출력 방법에 관한 것이다.

가상현실(virtual reality) 서비스는 전방위 영상을 실사 혹은 CG (Computer Graphics) 형태로 생성하여 HMD, 스마트폰 등에 재생함으로써 몰입감 및 현장감이 극대화된 서비스를 제공하는 방향으로 진화하고 있다. 현재 HMD를 통해 자연스럽고 몰입감 있는 전방위 영상을 재생하려면 6 자유도 (DoF: Degrees of Freedom)를 지원해야 하는 것으로 알려져 있다. 6DoF 영상은 (1) 좌우 회전, (2) 상하 회전, (3) 좌우 이동, (4) 상하 이동 등 여섯 방향에 대해 자유로운 영상을 HMD 화면을 통해 제공해야 한다. 하지만 현재 실사에 기반한 대부분의 전방위 영상은 회전운동만을 지원하고 있다. 이에, 6DoF 전방위 영상의 획득, 재현 기술 등의 분야에 대한 연구가 활발히 진행 중에 있다.

본 발명에서는 운동시차를 지원하는 대용량의 이머시브 영상 서비스 제공을 위해, 최소한의 비디오 및 메타데이터 전송 만으로 운동시차를 지원하는 영상 재현이 가능한 파일 포맷을 제공하는 것을 목적으로 한다.

또한, 본 발명은 추가 시점 영상들 간 중복 데이터를 제거하는 방법을 제공하는 것을 목적으로 한다.

또한, 본 발명은 추가 시점 영상들 간 프루닝 우선 순위를 결정하는 방법을 제공하는 것을 목적으로 한다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명에 따른 이머시브 영상 처리 방법은, 본 발명에 따른 이머시브 영상 처리 방법은, 소스 시점 영상들에 대한 프루닝 우선 순위를 결정하는 단계, 상기 프루닝 우선 순위에 기초하여, 추가 시점 영상에 대한 잔차 영상을 생성하는 단계, 상기 잔차 영상을 기초로 생성된 패치를 아틀라스 영상에 패킹하는 단계, 및 상기 아틀라스 영상을 부호화하는 단계를 포함할 수 있다. 이때, 상기 프루닝 우선 순위를 결정하는 단계는, 상기 소스 시점 영상들 중 기본 시점 영상을 결정하는 단계, 및 상기 기본 시점 영상을 제외한 추가 시점 영상들의 프루닝 우선 순위를 결정하는 단계를 포함할 수 있다.

본 발명에 따른 이머시브 영상 처리 방법에 있어서, 상기 기본 시점 영상은, 상기 프루닝 우선 순위가 가장 높은 것일 수 있다.

본 발명에 따른 이머시브 영상 처리 방법에 있어서, 상기 추가 시점 영상들의 프루닝 우선 순위는 상기 기본 시점 영상과의 중복 영역의 크기를 기초로 결정될 수 있다.

본 발명에 따른 이머시브 영상 처리 방법에 있어서, 상기 추가 시점 영상들 중 적어도 하나에 대한 프루닝 우선 순위가 결정된 경우, 잔여 추가 시점 영상들에 대한 프루닝 우선 순위는, 선순위 시점 영상들 과의 중복 영역의 크기를 기초로 결정되고, 상기 선순위 시점 영상은, 상기 기본 시점 영상 및 프루닝 우선 순위가 결정된 적어도 하나의 추가 시점 영상을 포함할 수 있다.

본 발명에 따른 이머시브 영상 처리 방법에 있어서, 상기 잔여 추가 시점 영상들에 대한 프루닝 우선 순위는, 상기 선순위 시점 영상들 각각에 대한 중복 영역을 합산한 영역의 크기를 기초로 결정될 수 있다.

본 발명에 따른 이머시브 영상 처리 방법에 있어서, 상기 추가 시점 영상들에 대한 프루닝 우선 순위는, 추가 시점 영상이 관심 영역을 포함하고 있는지 여부에 기초하여 결정될 수 있다.

본 발명에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 발명의 상세한 설명의 예시적인 양상일 뿐이며, 본 발명의 범위를 제한하는 것은 아니다.

본 발명에 의하면, 최소한의 비디오 및 메타데이터 전송 만으로 운동시차를 지원하는 영상 재현이 가능한 파일 포맷을 제공할 수 있다.

본 발명에 의하면, 추가 시점 영상들 간 중복 데이터를 제거함으로써, 이머시브 영상 처리를 위한 데이터량을 줄일 수 있다.

본 발명에 의하면, 추가 시점 영상들 간 프루닝 우선 순위를 적응적으로 결정하여, 이머시브 영상 처리 효율을 향상시킬 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 이머시브 영상 처리 장치의 블록도이다.
도 2는 소스 시점 영상들 간 프루닝 우선 순위를 나타낸 것이다.
도 3은 잔차 데이터의 군집화 및 패킹 과정을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 이머시브 영상 출력 장치의 블록도이다.
도 5는 추가 시점 영상들 간 프루닝 우선 순위에 따라, 상이한 잔차 데이터가 생성되는 예를 도시한 것이다.
도 6은 후보 시점 영상들의 프루닝 우선 순위를 결정하기 위한 일 실시예를 설명하기 위한 도면이다.
도 7은 후보 시점 영상들의 프루닝 우선 순위를 결정하기 위한 일 실시예를 설명하기 위한 도면이다.
도 8은 후보 시점 영상들의 프루닝 우선 순위를 결정하기 위한 일 실시예를 설명하기 위한 도면이다.
도 9는 후보 시점 영상들의 프루닝 우선 순위를 결정하기 위한 일 실시예를 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시예에 따른, 프루닝 우선 순위 결정 방법의 흐름도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다. 후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.

본 발명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 발명의 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결 되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 즉, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

본 발명의 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하고, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

이머시브 영상은, 사용자의 시청 위치가 변경될 경우, 뷰 포트도 동적으로 변경될 수 있는 영상을 의미한다. 이머시브 영상은 3DoF (Degree of Freedom), 3DoF+, Windowed-6DoF 또는 6DoF 타입 등으로 분류될 수 있다.

3DoF 영상은 뷰포트의 움직임을 3개의 회전 움직임(rotational movements)(예컨대, yaw, roll, picth)으로 표현하는 영상을 의미한다. 3DoF+ 영상은 3DoF 영상에 제한적인 병진 움직임(translation movements)를 추가한 영상을 의미한다. 6DoF 영상은 뷰포트의 움직임을 3개의 회전 움직임과 3개의 병진 움직임(예컨대, (x, y, z) 벡터)으로 표현하는 영상을 의미한다.

3DoF+ 및 6DoF 영상은 회전 운동뿐만 아니라, 제한적인 또는 다양한 병진 운동(예컨대, 좌우/상하/앞뒤)에 대한 운동시차를 사용자에게 제공할 수 있다.

사용자에게 운동 시차를 제공할 수 있는 3DoF+ 또는 6DoF 이머시브 영상은, 텍스처 정보 및 깊이 정보를 포함할 수 있다. 반면, 운동 시차를 제공하지 않는 3DoF 이머시브 영상은, 텍스처 정보 만으로 구성될 수 있다.

후술되는 실시예에서, 이머시브 영상은 3DoF+, Windowed-6DoF 또는 6DoF와 같이 운동 시차를 제공할 수 있는 형태인 것으로 가정한다. 다만, 후술되는 실시예들은 3DoF와 같이 텍스처 정보 기반의 이머시브 영상에도 적용될 수 있다. 후술되는 실시예들을 텍스처 정보 기반의 이머시브 영상에 적용하는 경우, 뎁스 정보의 처리 및 재현에 대한 부분은 생략될 수 있다.

본 발명에서, '시점'은 카메라의 촬영 위치 또는 시청자의 시청 위치 등 이머시브 영상 생성/감상을 위한 위치를 가리킨다. '시점 영상'은 특정 시점의 시야/화각을 커버하는 영상을 나타낸다. 일 예로, 시점 영상은 특정 시점에서 촬영된 영상, 특정 시점을 중심으로 합성된 영상 또는 특정 시점에서 보이는 영역을 포함하는 영상을 가리킬 수 있다.

시점 영상은 텍스처 영상 및 깊이 영상을 포함할 수 있다.

시점 영상은 타입 또는 용도에 따라, 다양하게 명명될 수 있다. 일 예로, 특정 시점에 위치한 카메라가 촬영한 영상 또는 특정 시점에서 최고의 품질을 갖는 시점 영상을 '소스 시점 영상'이라 호칭할 수 있다. 후술되는 실시예들에서는, 시점 영상의 종류 또는 용도에 따라, 시점 영상 앞에 '소스', '추가', '참조' 또는 '기준'과 같은 첨두어를 붙이기로 한다.

상이한 시점을 갖는 시점 영상들은 '제1' 또는 '제2'와 같은 첨두어를 붙여 구분하기로 한다.

이하, 본 발명에 대해 상세히 설명하기로 한다.

이머시브 영상을 구현하기 위해, 다중 시점 영상들이 요구된다. 또한, 3DoF+ 또는 6DoF 기반의 이머시브 영상을 구현을 위해, 평면 데이터(예컨대, 텍스처 영상)뿐만 아니라, 공간 데이터(예컨대, 깊이 영상 및/또는 카메라 정보)가 요구된다.

다중 시점 영상 데이터를 기반으로 이머시브 영상이 구현되는 바, 이머시브 영상의 획득, 생성, 전송 및 재현을 위해서는 대용량 영상 데이터의 효과적인 저장 및 압축 기술이 요구된다.

본 발명에서는, 3DoF 기반의 이머시브 영상과의 호환성을 유지하면서, 운동 시차를 지원하는 3DoF+ 또는 6DoF 이머시브 영상의 저장 및 압축이 가능한 이머시브 영상 생성 포맷 및 압축 기술을 제공한다.

도 1은 본 발명의 일 실시예에 따른 이머시브 영상 처리 장치의 블록도이다.

도 1을 참조하면, 본 발명에 따른 이머시브 영상 처리 장치는 시점 최적화부(View Optimizer, 110), 아틀라스(Atlas) 영상 생성부(120), 메타데이터 생성부(130), 영상 인코더부(140) 및 비트스트림 생성부(150)를 포함할 수 있다.

평면비디오를 기반으로 하는 Windowed-6DoF 영상에서, 각 소스 시점 영상은 2D 영상일 수 있다. 반면, 전방위 영상을 기반으로 하는 3DoF+ 또는 6DoF 영상에서, 각 소스 시점 영상은 텍스처 영상 및 뎁스 영상을 포함하는 3D 또는 3DoF 영상일 수 있다.

시점 최적화부(110)는 복수의 소스 시점 영상들을 기본 시점 영상과 추가 시점 영상으로 분류한다. 추가 시점 영상은, 기본 시점 영상으로 선택되지 않은 소스 시점 영상을 가리킨다.

구체적으로, 시점 최적화부(110)는 복수의 소스 시점 영상들 중 적어도 하나를 기본 시점 영상으로 선택할 수 있다. 일 예로, 시점 최적화부(110)는 복수의 소스 시점 영상들 중 시점이 중심 위치의 소스 시점 영상을 기본 시점 영상으로 선택할 수 있다.

또는, 시점 최적화부(110)는 카메라 파라미터에 기초하여, 기본 시점 영상을 결정할 수 있다. 구체적으로, 시점 최적화부(110)는 영상 인덱스, 카메라간의 우선 순위, 카메라의 위치 또는 관심 영역 카메라인지 여부에 기초하여 기본 시점 영상을 결정할 수 있다.

일 예로, 시점 최적화부(110)는 영상 인덱스가 가장 작은(또는 가장 큰) 소스 시점 영상, 기 정의된 인덱스를 갖는 소스 시점 영상, 우선순위가 가장 높은(또는 가장 낮은) 카메라를 통해 촬영된 소스 시점 영상, 특정 위치(예컨대, 중심 위치)의 카메라를 통해 촬영된 소스 시점 영상 또는 관심 영역 카메라를 통해 촬영된 소스 시점 영상을 기본 시점 영상으로 결정할 수 있다. 영상 인덱스는, 카메라 인덱스와 동일하게 설정될 수도 있다.

또는, 시점 최적화부(110)는 소스 시점 영상들의 품질을 기초로 기본 시점 영상을 선택할 수 있다. 일 예로, 시점 최적화부(110)는 소스 시점 영상들 중 최고 품질을 갖는 소스 시점 영상을 기본 시점 영상으로 선택할 수 있다.

또는, 시점 최적화부(110)는 소스 시점 영상들 간의 중복 정도를 검사하고, 타 소스 시점 영상들과 중복 데이터가 높은 순서(또는 낮은 순서)에 기초하여 기본 시점 영상을 선택할 수 있다.

또는, 시점 최적화부(110)는 외부에서 입력되는 데이터(예컨대, 메타데이터)를 기초로, 기본 시점 영상을 선택할 수 있다. 외부로부터 입력되는 데이터는, 복수의 카메라들 중 적어도 하나를 특정하는 인덱스, 복수의 촬영 시점들 중 적어도 하나를 특정하는 인덱스 또는 복수의 소스 시점 영상들 중 적어도 하나를 특정하는 인덱스 중 적어도 하나를 포함할 수 있다.

복수개의 소스 시점 영상들이 기본 시점 영상으로 선택될 수도 있다.

아틀라스 영상 생성부(120)는 기본 시점 영상과 추가 시점 영상을 차분하여 추가 시점 영상의 잔차 데이터를 생성하고, 잔차 데이터를 기초로 아틀라스 영상을 생성할 수 있다.

추가 시점 영상에서, 기본 시점 영상에 존재하는 화소, 즉, 기본 시점 영상과의 중복 영역을 제거하는 것을 프루닝(Pruning)이라 호칭할 수 있다.

아틀라스 영상 생성부(120)는 프루닝부(Pruning unit, 122) 및 패치 집합부(Patch Aggreegation Unit, 124)를 포함할 수 있다.

프루닝부(122)는 추가 시점 영상에 대해 프루닝을 수행한다. 프루닝은 추가 시점 영상 내 기본 시점 영상과의 중복 데이터를 제거하기 위한 것일 수 있다.

프루닝 수행 결과, 추가 시점 영상에 대한 잔차 데이터가 생성될 수 있다.

상이한 시점에서 동일한 피사체를 촬영하여 생성된 소스 시점 영상들은 서로 중복되는 데이터를 가질 수 있다. 이에 따라, 추가 시점 영상에서 기본 시점 영상을 차분하게 되면, 기본 시점 영상에 포함되어 있지 않은 데이터가 추가 시점 영상에 대한 잔차 데이터로 생성될 수 있다.

중복 데이터는, 추가 시점 영상을 기본 시점 영상의 위치로 워핑(warping) 한 뒤, 기본 시점 영상과 워핑된 영상 사이의 화소값을 비교함으로써 결정될 수 있다. 이때, 중복 데이터 판별에 이용되는 화소는 텍스처 화소 또는 깊이 화소 중 하나일 수 있다.

일 예로, 하기 수학식 1을 고려하여, 중복 데이터인지 여부를 결정할 수 있다.

수학식 1에서, z는 비교 대상 위치(예컨대, 기본 시점 영상 내 화소의 위치)의 깊이값을 나타낸다. z_p는 제거 대상 위치(에컨대, 워핑된 영상 내 화소의 위치)의 깊이값을 나타낸다. 변수 RedundancyFactor는 중복 데이터 판정 범위 보정값을 나타낸다. z 및 z_p 차분의 절대값이 변수 RedundancyFactor보다 작은 경우, 제거 대상 위치의 데이터는 비교 대상 위치의 데이터와 중복인 것으로 결정될 수 있다.

중복 데이터를 판별하기 위한 문턱값(예컨대, 변수 RedundancyFactor)은, 비트 뎁스, 컬러 포맷 또는 영상 크기 중 적어도 하나에 기초하여 결정될 수 있다. 또는, 이머시브 영상 처리 장치에 기 저장된 디폴트 값을 문턱값으로 설정할 수 있다.

복수개의 기본 시점 영상들이 존재하는 경우, 추가 시점 영상에서 복수개의 기본 시점 영상들 각각을 차분하여, 추가 시점 영상에 대한 잔차 데이터를 생성할 수 있다. 또는, 복수개의 기본 시점 영상들 중 적어도 하나를 선택하고, 추가 시점 영상에서 선택된 기본 시점 영상을 차분하여 추가 시점 영상에 대한 잔차 데이터를 생성할 수 있다.

추가 시점 영상과 기본 시점 영상간의 중복 데이터를 제거하여 잔차 데이터를 생성하는 경우, 추가 시점 영상간의 중복 데이터는 제거되지 않는 문제점이 있다.

추가 시점 영상들 간 중복 데이터 제거를 위해, 추가 시점 영상들 중 적어도 일부에 대해서는, 타 추가 시점 영상을 이용하여 추가 프루닝을 수행할 수 있다. 그 결과, 추가 시점 영상의 잔차 데이터는 기본 시점 영상과의 중복 데이터 및 타 추가 시점 영상과의 중복 데이터를 제거하여 생성될 수 있다.

이하, 추가 시점 영상의 프루닝에 이용되는 소스 시점 영상들을 참조 시점 영상이라 호칭하기로 한다. 일 예로, 참조 시점 영상은, 추가 시점 영상의 프루닝 우선 순위에 따라, 기본 시점 영상 만을 포함하거나, 기본 시점 영상 및 타 추가 시점 영상을 포함할 수 있다.

도 2는 소스 시점 영상들 간 프루닝 우선 순위를 나타낸 것이다.

프루닝 우선 순위가 낮은 추가 시점 영상에 대한 프루닝은, 프루닝 우선 순위가 높은 소스 시점 영상을 참조 시점 영상으로 이용하여 수행될 수 있다.

기본 시점 영상은 프루닝 우선 순위가 가장 높은 소스 시점 영상을 나타낸다.

제1 추가 시점 영상이, 추가 시점 영상들 중 가장 높은 프루닝 우선 순위를 가질 경우(예컨대, 도 2의 v2), 제1 추가 시점 영상의 프루닝은 기본 시점 영상만을 이용하여 수행될 수 있다.

반면, 제2 추가 시점 영상의 프루닝 우선 순위보다, 프루닝 우선 순위가 높은 적어도 하나의 추가 시점 영상이 존재하는 경우, 제2 추가 시점 영상에 대해, 기본 시점 영상 및 제2 추가 시점 영상 보다 프루닝 우선 순위가 높은 추가 시점 영상이 참조 시점 영상으로 설정될 수 있다. 일 예로, 도 2에 도시된 예에서, 추가 시점 영상 v3에 대한 프루닝은, 기본 시점 영상 v0, 기본 시점 영상 v1 및 추가 시점 영상 v2를 참조 시점 영상으로 설정하여 수행될 수 있다. 추가 시점 영상 v4에 대한 프루닝은, 기본 시점 영상 v0, 기본 시점 영상 v1, 추가 시점 영상 v2 및 추가 시점 영상 v3를 참조 시점 영상으로 설정하여 수행될 수 있다.

요약하면, 추가 시점 영상의 프루닝은, 기본 시점 영상과의 프루닝을 거친 뒤, 프루닝 우선 순위에 따라 타 추가 시점 영상과의 프루닝을 추가적으로 거쳐 수행될 수 있다.

기본 시점 영상과의 프루닝은, 추가 시점 영상들 간 의존성이 요구되지 않는다. 이에 따라, 추가 시점 영상들과 기본 시점 영상과의 프루닝은, 병렬 수행될 수 있다. 즉, 추가 시점 영상 v2, v3 및 v4 각각의 기본 시점 영상에 대한 프루닝이 병렬 수행될 수 있다.

반면, 추가 시점 영상들 간의 프루닝은, 추가 시점 영상들 간 프루닝 우선 순위에 따라 순차적으로 수행되어야 한다.

추가 시점 영상들 간의 프루닝 우선 순위는, 영상 인덱스 또는 카메라 인덱스를 기초로 결정될 수 있다. 일 예로, 영상 인덱스 또는 카메라 인덱스의 오름 차순 또는 내림 차순으로 프루닝 우선 순위가 결정될 수 있다.

또는, 기본 시점 영상과 중복되는 데이터량을 고려하여, 추가 시점 영상들 간의 프루닝 우선 순위가 결정될 수 있다. 일 예로, 기본 시점 영상과의 중복 데이터가 많은 순서 또는 기본 시점 영상과의 중복 데이터가 적은 순서로 추가 시점 영상들 간의 프루닝 우선 순위를 결정할 수 있다.

프루닝 수행 결과, 참조 시점 영상과의 중복 데이터가 제거된 잔차 영상이 생성된다. 잔차 영상은 유효 영역와 무효 영역을 구분하는 마스크 영상일 수 있다. 잔차 영상은 패치 집합부(124)로 입력되고, 패치 집합부(124)는 인트라-피리어드(intraperiod) 단위로 잔차 데이터을 군집화할 수 있다.

도 3은 잔차 데이터의 군집화 및 패킹 과정을 설명하기 위한 도면이다.

프루닝 수행 결과, 추가 시점 영상 내 무효 영역과 유효 영역을 구분하는 마스크 영상이 생성된다. 무효 영역은 참조 시점 영상과 중복되는 데이터가 분포된 영역을 나타내고, 유효 영역은 참조 시점 영상과 중복되지 않는 데이터가 분포된 영역을 나타낸다.

기존 2D 부호화/복호화기와의 호환을 위해, 잔차 영상을 사각 형태의 영상으로 가공하는 전처리 과정을 적용할 수 있다.

전처리 과정 동안, 군집화 과정을 거쳐, 사각 형태의 패치(310)가 생성될 수 있다. 패치는 유효 영역의 데이터를 포함하는 사각 형태의 영역을 가리킨다. 패치는 마스크 영역이라 호칭될 수도 있다.

비 사각 형태의 유효 영역의 데이터를 사각 형태의 패치로 가공함에 따라, 패치는 유효 영역의 데이터뿐만 아니라, 무효 영역의 데이터도 일부 포함할 수 있다.

각 패치들을 사각 형태의 영상에 패킹할 수 있다. 패킹 시, 패치의 크기 변환, 회전 또는 플립 등의 변형이 수반될 수 있다. 패치들이 패킹된 영상을 아틀라스 영상이라 호칭할 수 있다.

각 패치의 마스크 정보에 기초하여, 텍스처 데이터 및/또는 깊이 데이터를 추출할 수 있다. 여기서, 마스크 정보는 패치 내 유효 영역의 데이터와 무효 영역의 데이터를 구분하기 위한 것일 수 있다.

추출된 텍스처 데이터 및/또는 깊이 데이터를 아틀라스 영상 내 패치 위에 덧씌워 아틀라스 영상을 생성할 수 있다.

텍스처 영상 및 깊이 영상 각각에 대해 별개의 아틀라스 영상을 생성할 수도 있다.

메타데이터 생성부(130)는 시점 영상 합성을 위한 메타데이터를 생성한다. 구체적으로, 메타데이터 생성부(130)는 아틀라스로 패킹되는 잔차 영상 관련 부가 정보를 포맷팅할 수 있다.

메타데이터는 시점 영상 합성을 위한 다양한 정보를 포함할 수 있다.

일 예로, 메타데이터는 기본 시점 영상 정보를 포함할 수 있다. 기본 시점 영상 정보는, 기본 시점 영상으로 선택된 소스 시점 영상을 특정하기 위한 정보 또는 기본 시점 영상들의 개수를 나타내는 정보 중 적어도 하나를 포함할 수 있다.

메타데이터는 프루닝 우선 순위 정보를 포함할 수 있다. 프루닝 우선 순위 정보는, 소스 시점 영상이 리프 노드인지 여부를 나타내는 정보를 포함할 수 있다. 상기 소스 시점 영상을 참조 시점 영상으로 사용하는 추가 시점 영상이 존재하지 않는 경우, 소스 시점 영상이 리프 노드인 것으로 결정될 수 있다.

상기 소스 시점 영상이 리프 노드가 아닌 경우, 상기 소스 시점 영상의 자식 노드 정보가 추가 부호화될 수 있다. 여기서, 자식 노드는, 상기 소스 시점 영상 보다 프루닝 우선 순위가 한단계 낮은 추가 시점 영상을 의미할 수 있다.

자식 노드 정보는, 상기 소스 시점 영상을 참조 시점 영상으로 이용하는 소스 시점 영상들의 개수에 대한 정보 또는 상기 소스 시점 영상을 참조 시점 영상으로 이용하는 소스 시점 영상을 특정하기 위한 정보 중 적어도 하나를 포함할 수 있다.

또는, 프루닝 우선 순위 정보가, 소스 시점 영상이 루트 노드인지 여부를 나타내는 정보를 포함하도록 구성할 수 있다. 루트 노드는 부모 노드가 없는 소스 시점 영상을 나타낸다. 이에 따라, 루트 노드는 프루닝이 수행되지 않는 기본 시점 영상일 수 있다.

소스 시점 영상이 루트 노드가 아닌 경우, 상기 소스 시점 영상의 부모 노드 정보가 추가 부호화될 수 있다. 여기서, 부모 노드는, 상기 소스 시점 영상 보다 프루닝 우선 순위가 한단계 높은 추가 시점 영상 또는 루트 시점에 해당하는 기본 시점을 의미할 수 있다.

부모 노드 정보는, 상기 소스 시점 영상이 참조 시점으로 이용하는 선순위 시점 영상들의 개수에 대한 정보 또는 상기 소스 시점 영상이 참조 시점 영상으로 이용하는 소스 시점 영상을 특정하기 위한 정보 중 적어도 하나를 포함할 수 있다.

영상 인코더부(140)는 기본 시점 영상 및 아틀라스 영상을 인코딩한다. 영상 인코더부는 텍스처 영상을 위한 텍스처 영상 인코더부(142) 및 뎁스 영상을 위한 뎁스 영상 인코더부(144)를 포함할 수 있다.

비트스트림 생성부(150)는 인코딩된 영상 및 메타데이터를 기초로 비트스트림을 생성한다. 생성된 비트스트림은 이머시브 영상 출력 장치로 전송될 수 있다.

도 4는 본 발명에 따른 이머시브 영상 출력 장치의 블록도이다.

도 4를 참조하면, 본 발명에 따른 이머시브 영상 출력 장치는 비트스트림 파싱부(210), 영상 디코딩부(220), 메타데이터 처리부(230) 및 영상 합성부(240)를 포함할 수 있다.

비트스트림 파싱부는 비트스트림으로부터 영상 데이터 및 메타데이터를 파싱한다. 영상 데이터는 부호화된 기본 시점 영상의 데이터 및 부호화된 아틀라스 영상의 데이터를 포함할 수 있다.

영상 디코딩부(220)는 파싱된 영상 데이터를 복호화한다. 영상 디코딩부(220)는 텍스처 영상을 디코딩하기 위한 텍스처 영상 디코딩부(222) 및 뎁스 영상을 디코딩하기 위한 뎁스 영상 디코딩부(224)를 포함할 수 있다.

메타데이터 처리부(230)는 파싱된 메타데이터를 언포맷팅한다.

언포맷팅된 메타데이터는 시점 영상을 합성하는데 이용될 수 있다. 일 예로, 메타데이터 처리부(230)는 사용자의 시청 위치(viewing position)에 대응하는 뷰포트 영상을 합성하기 위해, 메타데이터를 이용하여 아틀라스 영상 내 뷰포트 영상 합성에 필요한 패치들의 위치/크기를 결정할 수 있다.

영상 합성부(240)는 사용자의 시청 위치에 해당하는 뷰포트 영상을 동적으로 합성할 수 있다. 뷰포트 영상 합성을 위해, 영상 합성부(240)는 아틀라스 영상으로부터 뷰포트 영상을 합성하는데 필요한 패치들을 추출할 수 있다. 구체적으로, 메타데이터 처리부(230)에서 언포맷팅된 메타데이터를 기초로, 사용자의 시청 위치와 부합하는 소스 시점 영상의 인덱스, 아틀라스 영상 내 각 패치들의 위치/크기 정보 또는 카메라 파라미터 등을 추출할 수 있다.

사용자의 시청 위치와 부합하는 소스 시점 영상이 결정되면, 아틀라스 영상에 포함된 패치들 중 결정된 소스 시점 영상에 대응하는 시점 영상들로부터 추출된 패치들 및 이들에 대한 위치/크기를 결정할 수 있다.

그리고 나서, 결정된 위치/크기에 대응하는 패치를 필터링하여 아틀라스 영상으로부터 분리할 수 있다. 뷰포트 영상의 합성에 필요한 패치들이 추출되면, 기본 시점 영상 및 패치들을 합성하여, 뷰포트 영상을 생성할 수 있다.

구체적으로, 기본 시점 영상 및 패치들을 뷰포트의 좌표계로 워핑 및/또는 변환한 뒤, 워핑 및/또는 변환된 기본 시점 영상 및 워핑 및/또는 변환된 패치들을 머징(merging)하여, 뷰포트 영상을 생성할 수 있다.

상술한 설명에 기초하여, 본 개시에서 제안하는 영상 처리 방법에 대해 더욱 상세히 살펴보기로 한다.

추가 시점 영상들 간 프루닝 우선 순위에 따라, 잔차 데이터의 크기 및/또는 품질이 상이할 수 있다.

도 5는 추가 시점 영상들 간 프루닝 우선 순위에 따라, 상이한 잔차 데이터가 생성되는 예를 도시한 것이다.

도시된 예에서, View1은 기본 시점 영상이고, View 2 및 View 3는 추가 시점 영상들인 것으로 가정한다.

도 5의 (a)는 각 소스 시점 영상을 예시한 것이다.

도 5의 (b)에서, 굵은 실선은 피사체의 윤곽을 나타내고, 가는 실선은 피사체의 윤곽 중 소스 시점 영상에 포함되는 부분을 나타낸다. 또한, 도 5의 (c) 및 (d)에서, 추가 시점 영상에 대한 점선은, 프루닝 수행의 결과로 획득되는 잔차 데이터를 나타낸다.

도 5의 (c)는 제1 추가 시점 영상 View2의 프루닝 우선 순위가 제2 추가 시점 영상 View3 보다 높은 예를 나타낸다.

제1 추가 시점 영상 View2의 잔차 영상은, 기본 시점 영상 View1과의 중복 데이터를 제거함으로써 생성될 수 있다. 일 예로, 도 5의 (c)에 도시된 예에서와 같이, 제1 추가 시점 영상 View2에 대한 잔차 영상은, 기본 시점 영상 View1 및 제1 추가 시점 영상 View2에서 공통으로 보이는 부분을 제거하고, 제1 추가 시점 영상 View2에만 존재하는 영역을 포함하여 생성될 수 있다.

제2 추가 시점 영상 View3의 잔차 영상은, 기본 시점 영상 View1 및 제1 추가 시점 영상 View2와의 중복 데이터를 제거함으로써 생성될 수 있다. 일 예로, 도 5의 (c)에 도시된 예에서와 같이, 제2 추가 시점 영상 View3에 대한 잔차 영상은, 기본 시점 영상 View1 및 제2 추가 시점 영상 View3에서 공통으로 보이는 부분과, 제1 추가 시점 영상 View2 및 제2 추가 시점 영상 View3에서 공통으로 보이는 부분을 제거하여 생성될 수 있다. 이에 따라, 제2 추가 시점 영상에 대한 잔차 영상은 제2 추가 시점 영상 View3에만 존재하는 영역을 포함하여 생성될 수 있다.

도 5의 (d)는 제2 추가 시점 영상 View3의 프루닝 우선 순위가 제1 추가 시점 영상 View2 보다 높은 예를 나타낸다.

제2 추가 시점 영상 View3의 잔차 영상은, 기본 시점 영상 View1과의 중복 데이터를 제거함으로써 생성될 수 있다. 일 예로, 도 5의 (d)에 도시된 예에서와 같이, 제2 추가 시점 영상 View3에 대한 잔차 영상은, 기본 시점 영상 View1 및 제2 추가 시점 영상 View3에서 공통으로 보이는 부분을 제거하고, 제2 추가 시점 영상 View3에만 존재하는 영역을 포함하여 생성될 수 있다.

제1 추가 시점 영상 View2의 잔차 영상은, 기본 시점 영상 View1 및 제2 추가 시점 영상 View3와의 중복 데이터를 제거함으로써 생성될 수 있다. 일 예로, 도 5의 (d)에 도시된 예에서와 같이, 제1 추가 시점 영상 View2에 대한 잔차 영상은, 기본 시점 영상 View1 및 제1 추가 시점 영상 View3에서 공통으로 보이는 부분과, 제1 추가 시점 영상 View2 및 제2 추가 시점 영상 View3에서 공통으로 보이는 부분을 제거하여 생성될 수 있다. 이에 따라, 제2 추가 시점 영상에 대한 잔차 영상은 제2 추가 시점 영상 View3에만 존재하는 영역을 포함하여 생성될 수 있다.

도 5에 도시된 예에서, 기본 시점 영상 View 1에서는 보이지 않지만, 제2 추가 시점 영상 View3에는 보이는 부분이, 기본 시점 영상 View 1에서는 보이지 않지만, 제1 추가 시점 영상 View2에는 보이는 부분을 포함한다. 이에 따라, 제1 추가 시점 영상에 대한 잔차 데이터는, 도 5의 (c)에 도시된 예에서와 같이 프루닝 우선 순위를 설정하는 경우보다, 도 5의 (d)에 도시된 예에서와 같이 프루닝 우선 순위를 설정하는 경우 더 작은 크기를 갖는다.

즉, 소스 시점 영상들 간 프루닝 우선 순위에 따라, 하나의 객체를 구성하는 화소들의 파편화 정도가 결정된다. 일 예로, 도 5의 (c)에 도시된 예에서, 원통형 객체(530)에 대한 데이터는, 제1 추가 시점 영상 View2의 잔차 영상 및 제2 추가 시점 영상 View3의 잔차 영상에 분산 저장된다. 반면, 도 5의 (d)에 도시된 예에서, 원통형 객체(530)에 대한 데이터는 제2 추가 시점 영상 View3의 잔차 영상에만 저장되고, 제1 추가 시점 영상 View2의 잔차 영상에는 저장되지 않는다.

하나의 객체에 대한 데이터가 다수의 잔차 영상에 분포하는 것보다, 소수의 잔차 영상에 집중 분포하는 것이, 영상 합성 품질을 향상시킬 수 있다. 하나의 객체에 대한 데이터가 다수의 잔차 영상에 분포되어 있을 경우, 영상 합성 시, 영상 혼합 과정 (View Blending)에서 품질 저하가 발생하기 때문이다. 이에 따라, 유사도가 높은 화소들(예컨대, 동일한 영역에 포함된 화소들 또는 동일한 객체를 구성하는 화소들)의 군집화가 가능하도록, 소스 시점 영상 간 프루닝 우선 순위를 결정할 필요가 있다.

이하, 본 개시에서 제안하는 프루닝 우선 순위를 결정하는 방법에 대해 상세히 살펴보기로 한다.

본 발명의 일 실시예에 따르면, 추가 시점 영상의 프루닝 우선 순위는 프루닝 우선 순위가 기 결정된 시점 영상과의 중복되는 영역의 크기를 기초로 결정될 수 있다. 구체적으로, 추가 시점 영상의 크기와 추가 시점 영상 내 프루닝 우선 순위가 기 결정된 시점 영상과 중복되는 화소의 개수 사이의 비율에 기초하여 프루닝 우선 순위가 결정될 수 있다.

설명의 편의를 위해, 프루닝 우선 순위가 아직 결정되지 않은 시점 영상을 후보 시점 영상 또는 순번이 부여되지 않은(Not-ordered) 영상이라 호칭하기로 한다. 또한, 프루닝 우선 순위가 결정된 시점 영상을 선순위 영상 또는 순번이 부여된(Ordered) 영상이라 호칭하기로 한다.

기본 시점 영상과 중복 영역이 작은 추가 시점 영상은 상대적으로 기본 시점 영상에서 보이지 않는 데이터를 더 많이 포함하는 것으로 가정할 수 있다. 이에 따라, 추가 시점 영상들 중 기본 시점 영상과의 중복 영역이 적은 추가 시점 영상에 가장 높은 프루닝 우선 순위를 부여할 수 있다.

복수개의 기본 시점 영상들이 존재하는 경우, 추가 시점 영상과 각 기본 시점 영상에 대한 중복 영역을 계산할 수 있다. 각 기본 시점 영상과의 중복 영역을 합산한 뒤, 추가 시점 영상 내 합산된 영역이 차지하는 비율에 기초하여 프루닝 우선 순위를 결정할 수 있다.

잔여 추가 시점 영상들의 프루닝 우선 순위는 프루닝 우선 순위가 기 결정된 참조 시점 영상들과 중복 영역을 고려하여 결정될 수 있다.

도 6은 후보 시점 영상들의 프루닝 우선 순위를 결정하기 위한 일 실시예를 설명하기 위한 도면이다.

도 6에서, 'Ordered Views'는 프루닝 우선 순위가 결정된 선순위 영상들을 나타내고, 'Not-ordered Views'는 프루닝 우선 순위가 결정되지 않은 후보 시점 영상들을 나타낸다.

기본 시점 영상과의 중복되는 영역의 비율이 가장 낮은 추가 시점 영상에 추가 시점 영상들 중 가장 높은 프루닝 우선 순위를 부여할 수 있다. 이처럼, 프루닝 우선 순위가 결정된 추가 시점 영역은 'Not-ordered Views' 영역에서 'Ordered Views'로 이동할 수 있다(도 6의 (a) 및 (b) 참조). 잔여 추가 시점 영상들(즉, 'Not-ordered Views 영역에 속하는 시점 영상)에 대해서는 선순위 영상(즉, 'Ordered Views' 영역에 속하는 시점 영상)들과의 중복되는 영역 비율을 계산함으로써, 프루닝 우선 순위가 결정될 수 있다.

즉, 순번이 부여되지 않은 후보 시점 영상들 모두의 프루닝 우선 순위가 결정될 때까지, 'Ordered Views' 영역에 속하는 시점 영상들과 'Not-Ordered Views' 영역에 속하는 시점 영상들 사이의 중복되는 영역 비율을 계산하는 것이 반복적으로 수행될 수 있다. 일 예로, 소스 시점 영상의 개수가 N개이고, 기본 시점 영상의 개수가 b개인 경우, (N-b-1)회 반복하여 'Ordered Views' 영역에 속하는 시점 영상들과 'Not-Ordered Views'영역에 속하는 시점 영상들 사이의 중복되는 영역 비율을 계산할 수 있다.

도 7은 후보 시점 영상들의 프루닝 우선 순위를 결정하기 위한 일 실시예를 설명하기 위한 도면이다.

도 7에서 점선 윤곽의 영역(710, 720, 730)은, 후보 시점 영상 1 (View 1)과 각 선순위 시점 영상 사이의 중복 영역을 나타낸 것이다.

후보 시점 영상의 깊이 정보를 이용하여, 후보 시점 영상을 선순위 영상의 좌표계로 3D 워핑할 수 있다. 3D 워핑의 결과, 2차원 좌표계(x-y)에서, 후보 시점 영상과 선순위 영상 사이의 중복 영역을 계산할 수 있다.

복수의 선순위 영상들이 존재하는 경우, 후보 시점 영상과 선순위 영상들 각각에 대한 중복 영역을 계산할 수 있다. 일 예로, 선순위 영상들 3개가 존재하는 경우, 후보 시점 영상과 3개의 선순위 시점 영상들 각각의 중복 영역을 계산할 수 있다.

그리고 나서, 선순위 영상들 각각과의 중복 영역을 합산할 수 있다. 일 예로, 도 7에 도시된 예에서, 후보 시점 영상 1 (View 1)에 대해, 후보 시점 영상 1 (View 1)과 제1 선순위 영상 Basic View 0와의 중복 영역(710), 후보 시점 영상 1과 제2 선순위 영상 Basic View 1과의 중복 영역(720) 및 후보 시점 영상 1과 제3 선순위 영상 View 2와의 중복 영역 각각을 단순 합산할 수 있다.

이후, 각 후보 시점 영상들의 합산된 영역의 면적에 기초하여 후보 시점 영상들 간의 우선 순위를 결정할 수 있다. 구체적으로, 후보 시점 영상들 중 합산된 영역의 면적이 가장 작은 후보 시점 영상에 가장 높은 프루닝 우선 순위를 부여할 수 있다.

도 8은 후보 시점 영상들의 프루닝 우선 순위를 결정하기 위한 일 실시예를 설명하기 위한 도면이다.

도 8에서 'Ordered View' 영역에 표시된 점선 윤곽의 영역(810, 820, 830)은, 후보 시점 영상 1 (View 1)과 각 선순위 시점 영상 사이의 중복 영역을 나타낸 것이다. 또한, 'Not-Ordered View' 영역에 표시된 점선 윤곽의 영역(840)은, 후보 시점 영상 1 내 상기 중복 영역들의 위치를 나타낸다.

후보 시점 영상과 선순위 영상 사이의 중복 영역 판단 시, 후보 시점 영상과 선순위 영상 사이의 깊이 정보를 이용할 수 있다. 일 예로, 후보 시점 영상 내 선순위 영상과의 깊이값 차분이 문턱값 이하인 화소는, 선순위 영상과 중복되는 데이터인 것으로 결정될 수 있다.

일 예로, 도 8에서, z_i는 후보 시점 영상 내 깊이값을 나타내고, z는 선순위 영상 내 깊이값을 나타낸다. 변수 RedundancyFactor는 중복 데이터 판정 보정값을 나타낸다.

후보 시점 영상 내 깊이값과 선순위 영상 내 깊이값 차분의 절대값이 문턱값보다 작은 경우, 후보 시점 영상 내 화소는 선순위 영상과 중복된 데이터인 것으로 결정될 수 있다.

선순위 영상들이 복수개 존재하는 경우, 후보 시점 영상과 복수의 선순위 영상들 각각에 대한 중복 영역을 계산할 수 있다. 그리고 나서, 선순위 영상들 각각에 대한 중복 영역을 합산할 수 있다.

이때, 합산된 영역의 면적 계산시, 동일한 위치의 화소는 누적 계산되지 않도록 설정할 수 있다. 즉, 합집한 연산을 통해 합산된 영역의 면적을 산출할 수 있다. 예컨대, 하나의 화소가 복수의 선순위 영상들과 중복되는 경우, 합산된 영역의 면적 계산시 상기 화소는 1회만 참조하도록 설정할 수 있다.

합산된 영역의 면적에 기초하여 후보 시점 영상들 간의 우선 순위를 결정할 수 있다. 구체적으로, 후보 시점 영상들 중 합산된 영역의 면적이 가장 작은 후보 시점 영상에 가장 높은 프루닝 우선 순위를 부여할 수 있다.

도 9는 후보 시점 영상들의 프루닝 우선 순위를 결정하기 위한 일 실시예를 설명하기 위한 도면이다.

선순위 영상을 기초로, 후보 시점 영상들을 프루닝하고, 프루닝된 후보 시점 영상들을 이용하여, 후보 시점 영상들의 프루닝 우선 순위를 결정할 수 있다.

이때, 후보 시점 영상들의 프루닝은 기본 시점 영상만을 이용하여 수행될 수 있다. 일 예로, 도 9에 도시된 예에서, 후보 시점 영상들에 대한 프루닝은 제1 기본 시점 영상 (Basic view 0)를 이용하여 수행될 수 있다.

또는, 복수개의 선순위 시점 영상을 이용하여 후보 시점 영상들에 대한 프루닝을 수행하거나, 복수개의 기본 시점 영상을 이용하여 후보 시점 영상들에 대한 프루닝을 수행할 수도 있다.

프루닝 결과, 후보 시점 영상들 각각의 잔차 영상이 생성될 수 있다. 잔차 영상은 선순위 영상과 중복되지 않는 데이터(즉, 선순위 영상에서 보이지 않는 데이터)를 포함할 수 있다. 도 9에서 'Ordered View' 영역에 표기된 점선의 윤곽은 각 후보 시점 영상에 대한 잔차 데이터를 나타낸다.

각 후보 시점 영상들의 잔차 영상을 동일한 좌표계로 3D 워핑할 수 있다. 일 예로, 후보 시점 영상들의 잔차 영상을 기본 시점 영상 0의 좌표계로 3D 워핑할 수 있다.

이때, 선순위 영상 내 하나의 화소에, 복수개 잔차 영상들의 화소가 중복하여 사상(mapping)되는 경우가 발생할 수 있다. 이는, 잔차 영상들 간의 중복 데이터를 나타낸다.

일 예로, 제1 후보 시점 영상(View 1), 제2 후보 시점 영상(View 3) 및 제3 후보 시점 영상(View 4)의 잔차 영상들을 동일한 좌표계로 와핑함에 따라, 제1 후보 시점 영상과 제2 후보 시점 영상 사이의 중복 영역(910), 제1 후보 시점 영상과 제3 후보 시점 영상의 사이의 중복 영역(920), 및 제2 후보 시점 영상과 제3 후보 시점 영상 사이의 중복 영역(930)이 검출될 수 있다.

후보 시점 영상이, 후보 시점 영상들 간 중첩되는 영역의 크기가 큰 것은, 해당 후보 시점 영상이 선순위 영상에서는 보이지 않는 영역에 대한 데이터를 많이 포함하는 것으로 이해될 수 있다. 이에 따라, 후보 시점 영상들 간 중첩되는 영역의 크기 또는 개수에 기초하여, 후보 시점 영상들 간 프루닝 우선 순위를 결정할 수 있다. 일 예로, 후보 시점 영상 내 후보 시점 영상들의 데이터가 2번 이상 중첩되어 사상되는 영역의 크기 또는 개수에 기초하여, 해당 후보 시점 영상의 프루닝 우선 순위를 결정할 수 있다.

상술한 프루닝 우선 순위 결정 방법은, 모든 후보 시점 영상들의 프루닝 우선 순위가 결정될 때까지 반복적으로 수행될 수 있다.

시점 영상의 개수가 많을 경우, 이상적인 군집화를 위해, 영상 내 모든 영역을 고려하는 것은, 이미지 처리 복잡도가 크게 증가하게 된다. 이에 따라, 관심 영역과 인접한 임의의 시점에서 영상 합성 품질을 높이기 위해, 관심 영역을 설정하고, 관심 영역을 이용하여 프루닝 우선 순위를 결정하는 방법을 고려할 수 있다. 이하, 관심 영역에 기반한 프루닝 우선 순위 결정 방법에 대해 상세히 설명하기로 한다.

도 10은 본 개시의 일 실시예에 따른, 프루닝 우선 순위 결정 방법의 흐름도이다.

먼저, 관심 영역을 결정할 수 있다(S1010). 복수의 시점 영상 중 적어도 하나를 관심 영역으로 설정하거나, 시점 영상이 포함하는 소정의 공간 영역, 3D 공간상 소정의 영역 또는 소정 객체를 관심 영역으로 설정할 수 있다.

이때, 관심 영역은 장면을 촬영하는 제작자의 의도에 따라 미리 선택되어 이머시브 영상 처리 장치에 입력될 수 있다.

또는, 복수의 시점 영상을 분석하여 관심 영역이 결정될 수 있다. 일 예로, 장면 내 움직임이 많은 객체를 포함하는 시점 영상/영역 또는 깊이 정보에 기초하여 시청자에 비교적 가까운 객체가 많이 포진된 시점 영상/영역 중 적어도 하나를 관심 영역으로 설정할 수 있다.

전체 추가 시점 영상들에 대한 전역 순서(Global Order)를 결정할 수 있다(S1020). 전역 순서는 기본 시점 영상과 중첩되는 영역의 크기/비율에 기초하여 결정될 수 있다.

일 예로, 각 추가 시점 영상들의 잔차 영상은 기본 시점 영상에는 보이지 않는 영역, 예컨대, 기본 시점 영상에 등장하는 객체에 의해 가려진 영역(Ocluded Area)의 데이터를 포함한다. 기본 시점 영상에 등장하는 객체에 의해 가려진 영역을 중심으로 잔차 데이터들이 군집화될 수 있도록, 기본 시점 영상과의 중첩 영역이 적은 순서대로 추가 시점 영상들의 전역 순서가 결정될 수 있다.

또는, 기본 시점 영상에서 보이지 않는 가려진 영역의 크기 순으로 추가 시점 영상들의 전역 순서를 결정할 수 있다.

또는, 앞서, 도 6 내지 도 9를 통해 설명한 실시예들 중 적어도 하나를 이용하여, 전역 순서를 결정할 수 있다.

관심 영역과 유관한 추가 시점 영상을 결정할 수 있다(S1030). 관심 영역과 유관한 추가 시점 영상을 관심 영역 시점 영상이라 호칭할 수 있다.

시점 영상이 관심 영역으로 지정된 경우, 해당 시점 영상을 관심 영역 시점 영상으로 결정할 수 있다. 또한, 관심 영역으로 지정된 시점 영상과 공간적으로 인접하는 추가 시점 영상 또는 관심 영역으로 지정된 시점 영상에 포함된 객체와 중복되는 객체를 갖는 추가 시점 영상을 추가로 관심 영역 시점 영상으로 결정할 수도 있다.

소정 공간이 관심 영역으로 지정된 경우, 상기 공간에 대한 데이터를 포함하는 추가 시점 영상을 관심 영역 시점 영상으로 결정할 수 있다.

관심 영역 시점 영상들이 복수개 존재하는 경우, 상기 관심 영역 시점 영상들 간 우선 순위를 결정할 수 있다(S1040).

일 예로, 관심 영역이 시점 영상으로 지정된 경우, 상기 시점 영상과 공간적으로 인접하는 순서 또는 상기 시점 영상과 중첩되는 영역의 비율에 기초하여, 관심 영역 시점 영상들 간 우선 순위를 결정할 수 있다.

또는, 관심 영역이 소정 공간으로 지정된 경우, 각 추가 시점 영상들 내 관심 영역이 포함된 비중을 고려하여, 관심 영역 시점 영상들 간 우선 순위를 결정할 수 있다. 일 예로, 관심 영역의 포함 비율이 가장 큰 추가 시점 영상을 가장 선순위로 설정할 수 있다.

관심 영역 시점 영상들의 우선 순위 및 전역 순서에 기초하여, 추가 시점 영상들 간 프루닝 우선 순위를 결정할 수 있다(S1050).

관심 영역 시점 영상들의 프루닝 우선 순위를 관심 영역과 무관한 추가 시점 영상들 보다 높게 설정할 수 있다. 또한, 관심 영역 시점 영상들 간 프루닝 우선 순위는 단계 S1040에서 결정된 관심 영역 시점 영상들 간 우선 순위를 기초로 결정되고, 관심 영역과 무관한 추가 시점 영상들 간 프루닝 우선 순위는 단계 S1020에서 결정된 전역 순서를 기초로 결정될 수 있다.

상술한 실시예에서와 같이, 관심 영역 포함 비율이 높은 추가 시점 영상의 프루닝 우선 순위를 높게 설정하는 경우, 관심 영역에 대한 잔차 화소들이 군집화되어, 관심 영역을 포함하는 영상 합성 시 품질이 향상될 수 있다.

다만, 관심 영역 포함 비율 순으로 추가 시점 영상들 간 프루닝 우선 순위가 결정되는 경우, 관심 영역에 대한 데이터는 포함하지 않으나, 관심 영역에 인접하는 가려짐 영역의 정보를 포함하는 추가 시점 영상의 프루닝 우선 순위가 후순위로 밀리게 된다. 이에 따라, 상기 가려짐 영역에 대한 정보가 선순위 참조 시점 영상에 의해 제거되는 경우가 발생할 수 있다.

또한, 깊이 정보에 기초하여 중복 영역을 판단하는 경우, 잡음에 의해 제거되지 않아야 하는 영역이 제거될 수도 있다. 이들은, 합성 영상의 품질을 저해하는 요인이 될 수 있다.

위와 같은 문제점을 해소하기 위해, 관심 영역에 인접하는 가려짐 영역을 포함하는 추가 시점 영상도 관심 영역 시점 영상으로 결정할 수 있다. 이에 따라, 관심 영역에 인접하는 가려짐 영역을 포함하는 추가 시점 영상의 프루닝 우선 순위도 높은 순위에 랭크될 수 있다.

프루닝 우선 순위가 결정되면, 결정된 프루닝 우선 순위에 기초하여 각 추가 시점 영상들에 대한 잔차 영상을 생성할 수 있다. 잔차 영상은 추가 시점 영상과 참조 시점 영상 간 중복 데이터가 제거된 마스크 영상일 수 있다.

프루닝 과정 동안 잡음에 의해, 의도치 않게 중요 부분이 중복 영역으로 오판단되어 제거될 수 있다. 위와 같은 문제점을 해소하기 위해, 마스크 영역의 크기를 확장할 수 있다.

또한, 영상 합성 시 관심 영역에 대한 품질 향상을 위해, 잔차 영역 내 관심 영역과 관련 있는 마스크 영역의 크기를 적응적으로 확장할 수 있다.

이때, 마스크 영역이 확장되는 크기는, 마스크 영역 내 화소값, 깊이값 또는 카메라 정보를 고려하여, 적응적으로 결정될 수 있다.

상술한 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (11)

1. 소스 시점 영상들에 대한 프루닝 우선 순위를 결정하는 단계;
   상기 프루닝 우선 순위에 기초하여, 추가 시점 영상에 대한 잔차 영상을 생성하는 단계;
   상기 잔차 영상을 기초로 생성된 패치를 아틀라스 영상에 패킹하는 단계; 및
   상기 아틀라스 영상을 부호화하는 단계를 포함하되,
   상기 프루닝 우선 순위를 결정하는 단계는,
   상기 소스 시점 영상들 중 기본 시점 영상을 결정하는 단계; 및
   상기 기본 시점 영상을 제외한 추가 시점 영상들의 프루닝 우선 순위를 결정하는 단계를 포함하는 것을 특징으로 하는, 이머시브 영상 처리 방법.
2. 제1 항에 있어서,
   상기 기본 시점 영상은, 상기 프루닝 우선 순위가 가장 높은 것을 특징으로 하는, 이머시브 영상 처리 방법.
3. 제2 항에 있어서,
   상기 추가 시점 영상들의 프루닝 우선 순위는 상기 기본 시점 영상과의 중복 영역의 크기를 기초로 결정되는 것을 특징으로 하는, 이머시브 영상 처리 방법.
4. 제2 항에 있어서,
   상기 추가 시점 영상들 중 적어도 하나에 대한 프루닝 우선 순위가 결정된 경우,
   잔여 추가 시점 영상들에 대한 프루닝 우선 순위는, 선순위 시점 영상들 과의 중복 영역의 크기를 기초로 결정되고,
   상기 선순위 시점 영상은, 상기 기본 시점 영상 및 프루닝 우선 순위가 결정된 적어도 하나의 추가 시점 영상을 포함하는 것을 특징으로 하는, 이머시브 영상 처리 방법.
5. 제4 항에 있어서,
   상기 잔여 추가 시점 영상들에 대한 프루닝 우선 순위는, 상기 선순위 시점 영상들 각각에 대한 중복 영역을 합산한 영역의 크기를 기초로 결정되는 것을 특징으로 하는, 이머시브 영상 처리 방법.
6. 제1 항에 있어서,
   상기 추가 시점 영상들에 대한 프루닝 우선 순위는, 추가 시점 영상이 관심 영역을 포함하고 있는지 여부에 기초하여 결정되는 것을 특징으로 하는, 이머시브 영상 처리 방법.
7. 비트스트림으로부터 영상 데이터 및 메타데이터를 파싱하는 단계;
   상기 영상 데이터를 복호화하여 단계; 및
   상기 영상 데이터를 복호화하여 생성된 아틀라스 영상 및 기본 시점 영상을 기초로, 뷰포트 영상을 합성하는 단계를 포함하되,
   상기 메타데이터는 소스 시점 영상 들에 대한 프루닝 우선 순위 정보를 포함하는 것을 특징으로 하는, 이머시브 영상 합성 방법.
8. 제7 항에 있어서,
   상기 프루닝 우선 순위 정보는, 소스 시점 영상이 리프 노드인지 여부를 나타내는 정보를 포함하는, 이머시브 영상 합성 방법.
9. 제8 항에 있어서,
   상기 소스 시점 영상이 상기 리프 노드가 아닌 경우, 상기 프루닝 우선 순위 정보는, 상기 추가 시점 영상의 자식 노드 정보를 더 포함하는, 이머시브 영상 합성 방법.
10. 제7 항에 있어서,
    상기 프루닝 우선 순위 정보는, 소스 시점 영상이 루트 노드인지 여부를 나타내는 정보를 포함하는, 이머시브 영상 합성 방법.
11. 제10 항에 있어서,
    상기 소스 시점 영상이 상기 루트 노드가 아닌 경우, 상기 프루닝 우선 순위 정보는, 상기 소스 시점 영상의 부모 노드 정보를 더 포함하는, 이머시브 영상 합성 방법.

Images