KR101910286B1

KR101910286B1 - 360도 영상 부호화 방법, 이를 수행하기 위한 기록 매체 및 장치

Info

Publication number: KR101910286B1
Application number: KR1020170104574A
Authority: KR
Inventors: 안희준; 이명진
Original assignee: 서울과학기술대학교 산학협력단; 한국항공대학교산학협력단
Priority date: 2017-08-18
Filing date: 2017-08-18
Publication date: 2018-10-19

Abstract

360도 영상 부호화 방법, 이를 수행하기 위한 기록 매체 및 장치가 개시된다.
360도 영상을 부호화하는 방법에 있어서, 부호화 대상 영상인 현재 프레임에 대한 참조 프레임의 레이아웃을 재구성하되, 각각의 부호화 영역과 실제 공간상에서 물리적으로 인접한 신호가 주위에 위치하도록 상기 참조 프레임의 레이아웃을 재구성하는 단계; 상기 레이아웃이 재구성된 참조 프레임을 이용하여 화면간 예측 또는 화면내 예측을 수행하여 예측 영상을 생성하는 단계; 및 상기 현재 프레임과 상기 예측 영상 간의 잔차 영상을 생성하여 부호화를 수행하는 단계;를 포함하는 것이 바람직하다.

Description

360도 영상 부호화 방법, 이를 수행하기 위한 기록 매체 및 장치{METHOD FOR ENCORDING 360-DEGREE VIDEO, RECORDING MEDIUM AND APPARATUS FOR PERFORMING THE METHOD}

본 발명은 360도 영상 부호화 방법, 이를 수행하기 위한 기록 매체 및 장치에 관한 것이다.

VR(Virtual Reality:가상현실)은 컴퓨터가 만들어낸 실세계와 유사한 3차원 가상 세계를 사용자에게 제공하고, 그 가상 세계와 실시간으로 상호 작용할 수 있는 입력 수단을 사용자가 조작하게 되면, 사용자의 조작에 대응하는 실제적인 오감(5 senses) 정보를 제공하여, 사용자가 실제와 유사한 감각적 체험을 할 수 있도록 한다.

이중, 시각 정보는 사람이 상황 정보를 취득하는 가장 중요한 수단으로, 기존의 영상이 고정된 시각만을 제공하는 반면, 360도 VR 영상 방식은 모든 또는 사람 눈이 볼 수 있는 시각 이상의 넓은 시각의 영상을 제공하고, 시청자가 원하는 시점에서의 정보를 선택할 수 있게 하는 방식으로, VR을 구현하기 위한 방법 중 대표적인 방법이다.

이와 같이 시공간의 제약을 극복하는 360도 VR은 기술의 발달에 따라 VR 여행 컨텐츠, VR 전시관 서비스, VR 쇼핑몰, VR 테마파크, VR 교육 서비스 등 다양한 경험을 제공할 수 있게 된다.

또한, 카메라 기술, 콘텐츠 전송 기술의 발전으로 VR 컨텐츠의 제작과 배포도 상당히 높아져 유튜브, 페이스북 등에서도 360도 VR 영상 서비스를 제공한다.

360도 VR 영상은 렌즈가 사방에 있는 카메라를 이용하여 촬영한 뒤, 화상을 소프트웨어적으로 합성하면 된다.

한편, 동영상은 용량이 매우 크기 때문에 제한된 대역폭을 가진 네트워크 채널에서 데이터를 전송하거나 저장하는데 어려움이 있다.

이에 따라, 동영상을 작은 정보로 압축시키는 기술이 활발히 연구되어 MPEG-1, 2, 4, H.263, H.264(MPEG-4/AVC), H.265(HEVC) 등의 표준 방식이 제정되어 사용되고 있다.

전술한 기존의 동영상 압축 기법은 모두 직사각형 형태의 평면 투영(Linear Projection) 포맷의 입력 영상을 가정으로 개발되었다.

동영상 압축 성능은 정보 예측 기법에 크게 의존하는데, 도 1에 도시하는 바와 같이 하나 이상의 이전 또는 이후 화면을 참조하여 현재 화면 내의 현재 블록을 예측함으로써 예측 블록을 현재 블록과의 차분값을 부호화하는 화면간 예측 부호화 방식과, 도 2에 도시하는 바와 같이 현재 부호화를 수행하는 현재 화면 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 화면내 예측 부호화 방식이 있다.

전술한 두 방식 모두, 부호화기와 복호화기에서 이전 동영상 비트열에서 복호화를 통하여 재구성한 참조 프레임을 바탕으로 예측이 행해진다. 참조 프레임으로는 참조에 사용되는 시간적으로 이전(t-1) 또는 이후(t+1) 화면뿐 아니라 현재(t) 화면의 이미 부호화가 끝난 영역도 저장되어 예측에 사용될 수 있다.

여기서, 예측 효율과 시스템 복잡도를 고려하여 예측하려는 화소에 공간적으로 근접한 화소들을 사용하여 예측이 수행되므로, 예측에 사용하는 참고 프레임의 구성시 예측하려는 화소와 예측에 사용되는 화소 간의 거리가 작을수록 보다 효과적인 예측이 가능하다.

또한, 기존 표준 부호화 방식들에서 움직임 보상 예측 방법에 사용되는 움직임 벡터는 2차원 평면 이동만을 가정하여 수직, 수평 방향으로 예측되므로, 예측하는 화소와 예측하려는 화소가 동일 선형 투영면에 존재하게 되면, 보다 효과적인 예측이 가능하다.

전술한 동영상 압축 기법을 이용하여 360도 영상을 압축하기 위한 기존의 방식은 360도 시각 정보를 ERP(EquiRectangular Projection), EAP(Equal-Area Projection) 등과 같은 극좌표 투영 방식으로 2차원 직사각형 평면에 투영하거나, CMP(CubeMap Projection), OHP(OctaHedron Projection), ISP(IcoSahedron Projection) 등의 삼차원 다면체 평면 투영 방식을 사용하여, 도 3에 도시하는 바와 같이 360도 영상을 하나의 2차원 평면 영상 또는 다수의 평면으로 투영한 후, 이를 2차원 직사각형 평면에 매핑하고, 기존의 동영상 압축 기법을 통해 압축한다.

여기서, 2차원 평면 형태로 변환된 영상을 직사각형 형태로 매핑하는 방식으로는, 도 4a에 도시하는 바와 같이 빈 영역을 검은색으로 채워 직사각형 형태로 매핑하는 방식(언패킹 방식)과 도 4b에 도시하는 바와 같이 각 영역을 재배치하여 직사각형 형태로 매핑하는 방식(패킹 방식)이 있다. 도 4a에서 검은색으로 채워진 영역은 영상 정보를 포함하지 않는다.

이와 같이 360도 영상을 2차원 평면 영상으로 변환하여 기존의 동영상 압축 기법을 통해 압축을 수행하게 되는 경우, 도 4a 및 도 4b에 도시하는 바와 같이, 실제 공간상에서는 물리적으로 서로 인접해 있는 참조 프레임의 화소 정보와 부호화하려는 대상의 화소 정보가 영상 투영과 패킹의 결과 매핑된 영상에서는 좌표 공간상 떨어지게 되어 예측에 활용되기 어렵거나 불가능해 진다.

또한, 도 5에 도시하는 바와 같이 물체의 이동으로 인해 참조 프레임(이전 프레임(t-1))에서 오른쪽 끝단 영역에 위치한 물체가 현재 프레임(t)에서 왼쪽 끝단 영역에 위치하게 되는 경우, 실제 공간상에서는 물리적으로 서로 인접해 있는 두 화소 정보가 떨어지게 되어 예측 정확도가 떨어지게 된다.

또한, 도 6에 도시하는 바와 같이 물체가 오른쪽 끝단 영역과 왼쪽 끝단 영역에 걸쳐 있는 경우에도, 실제 공간상에서는 물리적으로 서로 인접해 있는 화소 정보가 떨어지게 되어 예측 정확도가 떨어지게 된다.

이와 같이, 실제 공간상에서는 물리적으로 서로 인접해 있는 화소 정보가 투영 결과 좌표 상에서 떨어지게 되고, 영역간 상관도가 떨어지게 되면, 예측 정확도가 떨어지게 되고, 그 결과 예측이 잘 수행되지 않는 영역이 존재하게 된다.

이로 인해, 원래의 화소 값과 예측된 화소 값의 차이를 증가시켜 결과적으로 압축 효율을 저하시키게 되는 문제점이 있다.

한국등록특허공보 제10-0732958호(공고일 2007.06.27.)

JVET-F1003, "Algorithm descriptions of projection format conversion and video quality metrics in 360Lib", Joint Video Exploration Team (JVET) of ITU-T SG　16 WP　3 and ISO/IEC JTC　1/SC　29/WG　11, 6th Meeting: Hobart, AU, 31 March - 7 April 2017.

본 발명은 이러한 문제점을 해결하기 위해 안출된 것으로, 360도 영상 부호화 시에 부호화 대상 영역에 물리적으로 인접한 신호가 위치하도록 참조 프레임의 레이아웃을 재구성하여 화면간 예측 및 화면내 예측이 용이하도록 하는 360도 영상 부호화 방법, 이를 수행하기 위한 기록 매체 및 장치를 제공함에 그 목적이 있다.

전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 360도 영상 부호화 방법은, 360도 영상을 부호화하는 방법에 있어서, 부호화 대상 영상인 현재 프레임에 대한 참조 프레임의 레이아웃을 재구성하되, 각각의 부호화 영역과 실제 공간상에서 물리적으로 인접한 신호가 주위에 위치하도록 상기 참조 프레임의 레이아웃을 재구성하는 단계; 상기 레이아웃이 재구성된 참조 프레임을 이용하여 화면간 예측 또는 화면내 예측을 수행하여 예측 영상을 생성하는 단계; 및 상기 현재 프레임과 상기 예측 영상 간의 잔차 영상을 생성하여 부호화를 수행하는 단계;를 포함하는 것이 바람직하다.

본 발명의 일 실시예에서, 상기 참조 프레임의 레이아웃을 재구성하는 단계는, 상기 현재 프레임이 하나의 평면으로 투영되어 전개된 영상인 경우, 상기 참조 프레임의 오른쪽 끝단 영역과 왼쪽 끝단 영역이 서로 인접하도록 상기 참조 프레임의 레이아웃을 재구성하는 단계인 것이 바람직하다.

본 발명의 일 실시예에서, 상기 참조 프레임의 레이아웃을 재구성하는 단계는, 상기 현재 프레임이 복수의 평면으로 투영되어 전개된 영상인 경우, 부호화 대상 영역에 대응하는 참조 프레임의 투영 영역별로, 각각의 투영 영역과 실제 공간상에서 물리적으로 인접한 신호가 주위에 위치하도록 투영 영역의 배치를 재구성하여 상기 참조 프레임의 레이아웃을 재구성하는 단계인 것이 바람직하다.

본 발명의 일 실시예에서, 상기 참조 프레임의 레이아웃을 재구성하는 단계는, 상기 현재 프레임이 복수의 평면으로 투영되어 전개된 영상인 경우, 부호화 대상 영역에 대응하는 참조 프레임의 투영 영역별로, 각각의 투영 영역과 실제 공간상에서 물리적으로 인접한 신호가 주위에 위치하도록 투영 영역의 배치를 재구성하여 상기 참조 프레임의 레이아웃을 재구성하고, 상기 각 투영 영역의 각 꼭지점에서 발생하는 영상 정보가 없는 빈 공간에 대해, 각 꼭지점에 연결된 투영 영역의 단면의 신호를 이용하여 외삽(extrapolation) 방식으로 화소를 채워 넣는 단계인 것이 바람직하다.

본 발명의 일 실시예에서, 상기 참조 프레임의 레이아웃을 재구성하는 단계는, 상기 현재 프레임이 복수의 평면으로 투영되어 전개된 영상인 경우, 부호화 대상 영역에 대응하는 참조 프레임의 투영 영역별로, 참조 대상 영역을 확장하여 상기 참조 프레임의 레이아웃을 재구성하는 단계이고, 상기 참조 대상 영역은, 부호화 대상 영역에 대응하는 참조 프레임의 투영 영역과 확장 영역으로 이루어지는 것이 바람직하다.

본 발명의 일 실시예에서, 상기 확장 영역의 각 화소 위치에 들어가는 화소 값은, 부호화 대상 영역에 대응하는 참조 프레임의 투영 영역과 실제 공간상에서 물리적으로 인접한 신호가 존재하는 인접 투영 영역의 화소 값을 이용하여 산출되되, 상기 확장 영역의 각 화소 위치에 대해 대응하는 인접 투영 영역의 화소 위치를 계산하여 파악하고, 파악된 화소 위치의 화소 값을 상기 확장 영역의 화소 값으로 사용하는 것이 바림직하다.

본 발명의 일 실시예에서, 상기 확장 영역의 각 화소 위치에 대해 대응하는 인접 투영 영역의 화소 위치는, 상기 확장 영역의 화소 위치 p(u, v)에 대한 3차원 공간 좌표값 (x, y, z)을 구한 다음, 원점과 3차원 공간 좌표값 (x, y, z)을 잇는 선분과 만나는 인접 투영 영역 상의 3차원 공간 좌표값 (x', y', z')을 계산하고, 상기 3차원 공간 좌표값 (x', y', z')에 대응하는 화면 좌표값 (u', v')를 산출하여, 상기 확장 영역의 화소 위치 p(u, v)에 대응하는 인접 투영 영역의 화소 위치 p'(u', v')를 구하는 것이 바림직하다.

본 발명의 일 실시예에서, 상기 3차원 공간 좌표값 (x', y', z')에 대응하는 화면 좌표값 (u', v')이 정수 값이 아닌 경우에는, 인접 투영 영역의 신호를 이용하여 내삽(interpolation) 방식으로 화소 값을 계산하고, 상기 계산된 화소 값을 상기 확장 영역의 화소 위치 p(u, v)의 화소 값으로 사용하는 것이 바람직하다.

한편, 본 발명의 일 실시예에 따른 360도 영상 부호화 장치는, 360도 영상을 부호화하는 장치에 있어서, 부호화 대상 영상인 현재 프레임에 대한 참조 프레임의 레이아웃을 재구성하되, 각각의 부호화 영역과 실제 공간상에서 물리적으로 인접한 신호가 주위에 위치하도록 상기 참조 프레임의 레이아웃을 재구성하는 레이아웃 재구성부; 상기 레이아웃 재구성부를 통해 재구성된 참조 프레임을 이용하여 화면간 예측 또는 화면내 예측을 수행하여 예측 영상을 생성하는 예측부; 및 상기 현재 프레임과 상기 예측부를 통해 생성된 예측 영상 간의 잔차 영상을 생성하는 감산부;를 포함하는 것이 바람직하다.

본 발명의 일 실시예에서, 상기 레이아웃 재구성부는, 상기 현재 프레임이 하나의 평면으로 투영되어 전개된 영상인 경우, 상기 참조 프레임의 오른쪽 끝단 영역과 왼쪽 끝단 영역이 서로 인접하도록 상기 참조 프레임의 레이아웃을 재구성하는 것이 바람직하다.

본 발명의 일 실시예에서, 상기 레이아웃 재구성부는, 상기 현재 프레임이 복수의 평면으로 투영되어 전개된 영상인 경우, 부호화 대상 영역에 대응하는 참조 프레임의 투영 영역별로, 각각의 투영 영역과 실제 공간상에서 물리적으로 인접한 신호가 주위에 위치하도록 투영 영역의 배치를 재구성하여 상기 참조 프레임의 레이아웃을 재구성하는 것이 바람직하다.

본 발명의 일 실시예에서, 상기 레이아웃 재구성부는, 상기 현재 프레임이 복수의 평면으로 투영되어 전개된 영상인 경우, 부호화 대상 영역에 대응하는 참조 프레임의 투영 영역별로, 각각의 투영 영역과 실제 공간상에서 물리적으로 인접한 신호가 주위에 위치하도록 투영 영역의 배치를 재구성하여 상기 참조 프레임의 레이아웃을 재구성하고, 상기 각 투영 영역의 각 꼭지점에서 발생하는 영상 정보가 없는 빈 공간에 대해, 각 꼭지점에 연결된 투영 영역의 단면의 신호를 이용하여 외삽(extrapolation) 방식으로 화소를 채워 넣는 것이 바람직하다.

본 발명의 일 실시예에서, 상기 레이아웃 재구성부는, 상기 현재 프레임이 복수의 평면으로 투영되어 전개된 영상인 경우, 부호화 대상 영역에 대응하는 참조 프레임의 투영 영역별로, 참조 대상 영역을 확장하여 상기 참조 프레임의 레이아웃을 재구성하되, 상기 참조 대상 영역은, 부호화 대상 영역에 대응하는 참조 프레임의 투영 영역과 확장 영역으로 이루어지는 것이 바람직하다.

본 발명의 일 실시예에서, 상기 확장 영역을 구성하는 각 화소 위치에 들어가는 화소 값은, 부호화 대상 영역에 대응하는 참조 프레임의 투영 영역과 실제 공간상에서 물리적으로 인접한 신호가 존재하는 인접 투영 영역의 화소 값을 이용하여 산출되되, 상기 확장 영역의 각 화소 위치에 대해 대응하는 인접 투영 영역의 화소 위치를 계산하여 파악하고, 파악된 화소 위치의 화소 값을 상기 확장 영역의 화소 값으로 사용하는 것이 바람직하다.

본 발명의 360도 영상 부호화 방법, 이를 수행하기 위한 기록 매체 및 장치는, 360도 영상 부호화 시에 부호화 대상 영역에 물리적으로 인접한 신호가 위치하도록 참조 프레임의 레이아웃을 재구성하여 화면간 예측 및 화면내 예측 효율이 최적이 되도록 하여 압축 효율을 높일 수 있게 된다.

도 1은 화면간 예측 부호화 방식을 설명하기 위한 도면이다.
도 2는 화면내 예측 부호화 방식을 설명하기 위한 도면이다.
도 3은 투영 포맷 형태를 예시적으로 보인 도면이다.
도 4a 내지 도 6은 종래 360도 영상 부호화 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 360도 영상 부호화 방법을 설명하기 위한 처리도이다.
도 8 내지 도 13은 본 발명의 일 실시예에 따른 360도 영상 부호화 방법을 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시예에 따른 360도 영상 부호화 장치의 구성을 개략적으로 보인 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하에서는 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예에 따른 360도 영상 부호화 방법, 이를 수행하기 위한 기록 매체 및 장치에 대해서 상세하게 설명하기로 한다.

도 7은 본 발명의 일 실시예에 따른 360도 영상 부호화 방법을 설명하기 위한 처리도이다.

우선, 360도 영상 부호화 장치는 투영되어 2차원 평면 영상으로 전개된 360도 영상을 입력받는다(S10).

360도 영상은 복수의 카메라로 촬영된 영상을 스티칭(stitching)하여 획득한 영상이다.

이와 같이 획득한 360도 영상은 ERP, EAP, CMP, OHP, ISP 등으로 투영되어 2차원 평면 영상으로 전개될 수 있다.

상기한 단계 S10을 통해 2차원 평면 영상으로 전개된 360도 영상을 입력받은 360도 영상 부호화 장치는, 입력받은 영상을 부호화하는데, 우선 부호화 대상 영상인 현재 프레임에 대한 참조 프레임의 레이아웃을 재구성한다(S20).

상기한 단계 S20에서 참조 프레임의 레이아웃을 재구성할 때, 현재 프레임의 부호화 영역에 대응하는 참조 프레임의 영역별로, 각각의 영역(현재 프레임의 부호화 영역에 대응하는 참조 프레임의 영역)과 실제 공간상에서 물리적으로 인접한 신호가 주위에 위치하도록 참조 프레임의 레이아웃을 재구성할 수 있다.

예를 들어, 현재 프레임이 ERP, EAP 등에 의해 투영되어 전개된 영상인 경우, ERP, EAP 등에 의해 투영되어 전개된 영상은 하나의 면(Face)으로 이루어지므로, 이를 부호화하는 경우 오른쪽 끝단 영역과 왼쪽 끝단 영역의 화소 정보(신호)는 실제 공간상에서는 물리적으로 서로 인접해 있으나, 투영 결과 좌표 상에서는 떨어지게 된다.

이에 따라, ERP, EAP 등에 의해 단일 평면으로 투영되어 전개된 영상의 오른쪽 끝단 영역과 왼쪽 끝단 영역을 부호화하는 경우, 도 8에 도시하는 바와 같이 현재 프레임에 대한 참조 프레임의 레이아웃을 재구성할 수 있다.

도 8에서 하단에 위치하는 영상은 부호화 대상 영상인 현재 프레임(t)이고, 상단에 위치하는 영상은 현재 프레임을 부호화하는데 참조되는 참조 프레임으로, 기본 참조 프레임은 왼쪽 영역(Left), 중앙 영역(Center), 오른쪽 영역(Right) 순으로 배치된다. 본 발명의 실시예에서는 참조 프레임을 세 영역으로 나눠 왼쪽 영역, 중앙 영역, 오른쪽 영역으로 구분하였으나, 참조 프레임을 두 영역으로 나눠 왼쪽 영역과 오른쪽 영역으로 구분할 수도 있는바, 이에 한정되지 않는다.

여기서, 참조 프레임은 이전 프레임(t-1)으로 이루어질 수도 있고, 이후 프레임(t+1)으로 이루어질 수도 있고, 현재 프레임(t)으로 이루어질 수도 있다.

현재 프레임의 부호화하고자 하는 대상 영역이 왼쪽 끝단 영역에 위치하는 경우에는, 도 8의 (a)에 도시하는 바와 같이 참조 프레임의 오른쪽 끝단 영역과 왼쪽 끝단 영역이 서로 인접하도록 참조 프레임을 오른쪽 영역, 왼쪽 영역, 중앙 영역 순으로 재구성하여, 왼쪽 끝단 영역에 위치하는 부호화 영역과 실제 공간상에서 물리적으로 인접한 신호가 주위에 위치하도록 할 수 있다.

그리고 현재 프레임의 부호화하고자 하는 대상 영역이 중앙 영역에 위치하는 경우에는, 부호화 영역과 실제 공간상에서 물리적으로 인접한 신호가 주위에 위치하므로, 도 8의 (b)에 도시하는 바와 같이 참조 프레임의 레이아웃을 재구성하지 않고 그대로 이용할 수 있다.

그리고 현재 프레임의 부호화하고자 하는 대상 영역이 오른쪽 끝단 영역에 위치하는 경우에는, 도 8의 (c)에 도시하는 바와 같이 참조 프레임의 오른쪽 끝단 영역과 왼쪽 끝단 영역이 서로 인접하도록 참조 프레임을 오른쪽 영역, 왼쪽 영역, 중앙 영역 순 또는 중앙 영역, 왼쪽 영역, 오른쪽 영역, 왼쪽 영역 순으로 재구성하여, 오른쪽 끝단 영역에 위치하는 부호화 영역과 실제 공간상에서 물리적으로 인접한 신호가 주위에 위치하도록 할 수 있다.

도 8에서 참조 프레임과 현재 프레임에 걸쳐 있는 화살표는 화면간 예측을 나타내고, 현재 프레임 내의 화살표는 화면내 예측을 나타낸다.

또한, 상기한 단계 S20에서 부호화 대상 영상인 현재 프레임에 대한 참조 프레임의 레이아웃을 재구성할 때, 현재 프레임이 CMP, OHP, ISP 등에 의해 복수의 평면으로 투영되어 전개된 영상인 경우, 부호화하고자 하는 대상 영역에 대응하는 참조 프레임의 투영 영역별로, 각 투영 영역과 실제 공간상에서 물리적으로 인접한 신호가 주위에 위치하도록 투영 영역의 배치를 재구성하여 참조 프레임의 레이아웃을 재구성할 수 있다.

예를 들어, CMP에 의해 투영되어 전개된 영상은 6개의 면(투영 영역)으로 이루어질 수 있으며, 도 9에 도시하는 바와 같이 투영 영역별로, 각 투영 영역과 실제 공간상에서 물리적으로 인접한 신호가 주위에 위치하도록 투영 영역의 배치를 재구성하여 참조 프레임의 레이아웃을 재구성할 수 있다.

구체적으로, 현재 프레임의 부호화하고자 하는 대상 영역이 앞쪽 영역인 경우에는 앞쪽 영역과 물리적으로 인접해 있는 오른쪽 영역, 왼쪽 영역, 위쪽 영역, 아래쪽 영역이 주위에 위치하도록 투영 영역의 배치를 재구성하고, 현재 프레임의 부호화하고자 하는 대상 영역이 왼쪽 영역인 경우에는 왼쪽 영역과 물리적으로 인접해 있는 앞쪽 영역, 뒤쪽 영역, 위쪽 영역, 아래쪽 영역이 주위에 위치하도록 투영 영역의 배치를 재구성하고, 현재 프레임의 부호화하고자 하는 대상 영역이 뒤쪽 영역인 경우에는 뒤쪽 영역과 물리적으로 인접해 있는 왼쪽 영역, 오른쪽 영역, 위쪽 영역, 아래쪽 영역이 주위에 위치하도록 투영 영역의 배치를 재구성하고, 현재 프레임의 부호화하고자 하는 대상 영역이 오른쪽 영역인 경우에는 오른쪽 영역과 물리적으로 인접해 있는 뒤쪽 영역, 앞쪽 영역, 위쪽 영역, 아래쪽 영역이 주위에 위치하도록 투영 영역의 배치를 재구성하고, 현재 프레임의 부호화하고자 하는 대상 영역이 위쪽 영역인 경우에는 위쪽 영역과 물리적으로 인접해 있는 뒤쪽 영역, 앞쪽 영역, 왼쪽 영역, 오른쪽 영역이 주위에 위치하도록 투영 영역의 배치를 재구성하고, 현재 프레임의 부호화하고자 하는 대상 영역이 아래쪽 영역인 경우에는 아래쪽 영역과 물리적으로 인접해 있는 앞쪽 영역, 뒤쪽 영역, 오른쪽 영역, 왼쪽 영역이 주위에 위치하도록 투영 영역의 배치를 재구성할 수 있다.

또한, OHP에 의해 투영되어 전개된 영상은 8개의 면(투영 영역)으로 이루어질 수 있으며, 도 10에 도시하는 바와 같이 부호화 대상인 투영 영역별로, 각 투영 영역과 실제 공간상에서 물리적으로 인접한 신호가 주위에 위치하도록 투영 영역의 배치를 재구성하여 참조 프레임의 레이아웃을 재구성할 수 있다. 도 10과 같이 투영 영역별로 투영 영역의 배치가 재구성되는 참조 프레임의 레이아웃은 하나의 실시예로, 투영 영역의 배치는 다양하게 변형되어 구현될 수 있다.

이와 같이, 부호화 대상 영상인 현재 프레임에 대한 참조 프레임의 레이아웃을 재구성할 때, 부호화 대상인 투영 영역별로, 각각의 투영 영역과 실제 공간상에서 물리적으로 인접한 신호가 주위에 위치하도록 투영 영역의 배치를 재구성하여 참조 프레임의 레이아웃을 재구성하는데, 각 투영 영역의 각 꼭지점에서 영상 정보가 없는 빈 공간이 발생할 수 있다.

이러한 빈 공간에 대해서는 도 9 및 도 10에 각각 도시하는 바와 같이 각 꼭지점에 연결된 투영 영역의 단면의 신호를 이용하여 외삽(extrapolation) 방식으로 화소를 채워 넣는 것이 바람직하다.

또한, 상기한 단계 S20에서 부호화 대상 영상인 현재 프레임에 대한 참조 프레임의 레이아웃을 재구성할 때, 현재 프레임이 CMP, OHP, ISP 등에 의해 복수의 평면으로 투영되어 전개된 영상인 경우, 현재 프레임의 부호화 영역에 대응하는 참조 프레임의 투영 영역별로, 참조 대상 영역을 확장하여 참조 프레임의 레이아웃을 재구성할 수 있다.

여기서, 현재 프레임의 부호화 영역에 대응하는 참조 프레임의 투영 영역에 대해 도 11에 도시하는 바와 같이 참조 대상 영역을 확장할 수 있다.

도 11에 도시하는 바와 같이 확장된 참조 대상 영역은 현재 프레임의 부호화 영역에 대응하는 참조 프레임의 투영 영역과 확장 영역으로 구분될 수 있다.

여기서, 확장 영역은 사용자에 의해 범위가 지정될 수 있으며, 대략 투영 영역의 110%~120%로 확장 영역의 범위가 정해질 수 있다.

예를 들어, 투영 영역의 크기가 100×100이라고 가정했을 때, 확장된 참조 대상 영역의 크기는 120×120이 될 수 있다.

여기서, 확장 영역의 각 픽셀(화소 위치)에 들어가는 화소 값은, 전개된 영상이 CMP에 의해 투영되어 전개된 영상인 경우, 도 12에 도시하는 바와 같이 각 투영 영역과 실제 공간상에서 물리적으로 인접한 신호가 존재하는 인접 투영 영역의 화소 값을 이용하여 산출될 수 있다.

예를 들어, 도 12에 도시하는 바와 같이 현재 프레임의 부호화하고자 하는 대상 영역이 앞쪽 영역인 경우에는 앞쪽 영역과 물리적으로 인접한 신호가 존재하는 오른쪽 영역, 왼쪽 영역, 위쪽 영역, 아래쪽 영역의 화소 값을 이용하여 확장 영역의 각 픽셀(화소 위치)에 들어가는 화소 값을 구할 수 있다.

구체적으로, 확장 영역의 각 화소 위치에 대해 대응하는 인접 투영 영역의 화소 위치를 계산하여 파악하고, 파악된 화소 위치의 화소 값을 확장 영역의 해당 화소 위치의 화소 값으로 적용시킨다.

확장 영역의 각 화소 위치와 대응하는 인접 투영 영역의 화소 위치의 관계를 살펴보면, 도 13에 도시하는 바와 같이 확장 영역의 화소 위치 p(u, v)에 대응하는 인접 투영 영역의 화소 위치 p'(u', v')는 카메라 중심점(원점)에서 확장 영역의 화소 위치 p(u, v)를 연결하는 선분과 인접 투영 영역이 만나는 점이다.

여기서, 확장 영역에 매핑되는 인접 투영 영역의 화소 위치는 일예로 다음과 같이 구할 수 있다.

확장 영역의 화소 위치 p(u, v)에 매핑되는 인접 투영 영역의 화소 위치 p'(u', v')를 구하기 위해서는 우선, 확장 영역의 화소 위치 p(u, v)에 대한 3차원 공간 좌표값 (x, y, z)을 구한다.

이와 같이, 확장 영역의 화소 위치 p(u, v)에 대한 3차원 공간 좌표값 (x, y, z)을 구한 후에는, 카메라 중심점(원점)과 3차원 공간 좌표값 (x, y, z)을 잇는 선분과 만나는 인접 투영 영역 상의 3차원 공간 좌표값 (x', y', z')을 계산한다.

여기서, 카메라 중심점(원점)과 3차원 공간 좌표값 (x, y, z)을 잇는 선분과 만나는 인접 투영 영역 상의 3차원 공간 좌표값 (x', y', z')은, 3차원 공간 좌표값 (x, y, z)을 바탕으로 극좌표값

를 계산하고, 이 극좌표값을 해당 인접 투영 영역 상에 투영하여 3차원 공간 좌표값 (x', y', z')을 얻을 수 있다.

이후에는, 3차원 공간 좌표값 (x', y', z')에 대응하는 화면 좌표값 (u', v')를 산출하여, 확장 영역의 화소 위치 p(u, v)에 매핑되는 인접 투영 영역의 화소 위치 p'(u', v')를 구한다.

이와 같이, 확장 영역의 화소 위치 p(u, v)에 매핑되는 인접 투영 영역의 화소 위치 p'(u', v')가 구해지면, 해당 화소 위치 p'(u', v')의 화소 값을 확장 영역의 화소 위치 p(u, v)의 화소 값으로 사용한다.

여기서, 3차원 공간 좌표값 (x', y', z')에 대응하는 화면 좌표값 (u', v')이 정수값이 아닌 경우에는 인접 투영 영역의 신호를 이용하여 내삽(interpolation) 방식으로 화소 값을 계산하고, 이 계산된 화소 값을 확장 영역의 화소 위치 p(u, v)의 화소 값으로 사용하는 것이 바람직하다.

본 발명의 일 실시예에서는 CMP에 의해 투영되어 전개된 영상을 예를 들어 설명하였으나, 본 발명은 CMP에 의해 투영되어 전개된 영상뿐 아니라 OHP, ISP 등에 의해 투영되어 전개된 영상에도 적용 가능한 것으로 이에 한정하는 것은 아니다.

위에서 살펴본 바와 같이 상기한 단계 S20을 통해 부호화 대상 영상인 현재 프레임에 대한 참조 프레임의 레이아웃이 재구성되면, 레이아웃이 재구성된 참조 프레임을 이용하여 화면간 예측 또는 화면내 예측을 수행하여 예측 영상을 생성한다(S30).

그리고 상기한 단계 S10을 통해 입력받은 현재 프레임과 상기한 단계 S30를 통해 생성된 예측 영상 간의 잔차 영상을 생성한다(S40).

이후에는 상기한 단계 S40을 통해 생성된 잔차 영상을 공간 영역에서 주파수 영역으로 변환하고, 주파수 영역으로 변환된 데이터(주파수 계수)에 대해 양자화를 수행한다(S50).

그리고 상기한 단계 S50을 통해 산출된 양자화된 결과값을 엔트로피 부호화함으로써 비트스트림을 생성하고, 생성된 비트스트림을 출력한다(S60).

본 발명의 일 실시예에 따른 360도 영상 부호화 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.

상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다.

도 14는 본 발명의 일 실시예에 따른 360도 영상 부호화 장치의 구성을 개략적으로 보인 도면이다.

도 14에서, 감산부(110)는 ERP, EAP, CMP, OHP, ISP 등으로 투영되어 2차원 평면 영상으로 전개된 360도 영상을 입력받으며, 입력 영상인 부호화 대상 영상으로부터 예측부(155)에 의해 생성된 예측 영상을 감산하여, 현재 프레임과 예측 영상 간의 잔차 영상(residue image)를 생성하고, 생성된 잔차 영상을 변환부(115)로 인가한다.

변환부(115)는 감산부(110)에 의해 생성된 잔차 영상을 공간 영역에서 주파수 영역으로 변환한다.

전술한 변환부(115)는 하다마드 변환, 이산 여현 변환(Discrete Cosine Transform), 이산 정현 변환(Discrete Sine Transform) 등과 같이 공간축의 화상 신호를 주파수축으로 변환하는 기법을 이용하여 잔차 영상을 주파수 영역으로 변환할 수 있다.

양자화부(120)는 변환부(115)로부터 제공되는 변환된 데이터(주파수 계수)에 대해 양자화를 수행한다. 즉, 양자화부(120)는 변환부(115)에 의해 변환된 데이터인 주파수 계수들을 양자화 스텝사이즈(Quantization Step-Size)로 나누어 근사화하여 양자화 결과값을 산출한다.

엔트로피 부호화부(125)는 양자화부(120)에서 산출된 양자화 결과값을 엔트로피 부호화함으로써 비트스트림을 생성하고, 영상을 복호화하는데 필요한 정보인 참조 프레임의 색인정보, 움직임 벡터 정보 등을 엔트로피 부호화할 수 있다.

역양자화부(130)는 양자화부(120)에 의해 산출된 양자화 결과값을 역양자화 한다. 즉, 역양자화부(130)는 양자화 결과값으로부터 주파수 영역의 값(주파수 계수)를 복원한다.

역변환부(135)는 역양자화부(130)로부터 제공받은 주파수 영역의 값(주파수 계수)을 주파수 영역에서 공간 영역으로 변환함으로써 잔차 영상을 복원한다.

가산부(140)는 예측부(155)에 의해 생성된 예측 영상에 역변환부(135)에 의해 복원된 잔차 영상을 가산함으로써 입력 영상의 복원 영상을 생성한다.

메모리부(145)는 가산부(140)에서 생성된 복원 영상을 저장한다.

레이아웃 재구성부(150)는 예측 효율을 높일 수 있도록 메모리부(145)에 저장되어 있는 부호화 대상 영상인 현재 프레임에 대한 참조 프레임의 레이아웃을 재구성한다.

전술한, 레이아웃 재구성부(150)는 부호화 대상 영상인 현재 프레임의 부호화 영역에 대응하는 참조 프레임의 영역별로, 각각의 영역(현재 프레임의 부호화 영역에 대응하는 참조 프레임의 영역)과 실제 공간상에서 물리적으로 인접한 신호가 주위에 위치하도록 참조 프레임의 레이아웃을 재구성할 수 있다.

예를 들어, 현재 프레임이 ERP 또는 EAP에 의해 투영되어 전개된 영상이 하나의 면으로 이루어지고, 부호화 영역이 세로로 3등분되어 있는 경우에는, 도 8에 도시하는 바와 같이 현재 프레임에 대한 참조 프레임의 레이아웃을 재구성할 수 있다.

또한, 현재 프레임이 CMP, OHP, ISP 등에 의해 복수의 평면으로 투영되어 전개된 영상인 경우에는, 부호화하고자 하는 대상 영역에 대응하는 참조 프레임의 투영 영역별로, 각 투영 영역과 실제 공간상에서 물리적으로 인접한 신호가 주위에 위치하도록 투영 영역의 배치를 재구성하여 참조 프레임의 레이아웃을 재구성할 수 있다.

예를 들어, 도 9 및 도 10에 도시하는 바와 같이 투영 영역별로, 각 투영 영역과 실제 공간상에서 물리적으로 인접한 신호가 주위에 위치하도록 투영 영역의 배치를 재구성하여 참조 프레임의 레이아웃을 재구성할 수 있다.

이때, 각 투영 영역의 각 꼭지점에서 발생하는 영상 정보가 없는 빈 공간에 대해서는 각 꼭지점에 연결된 투영 영역의 단면의 신호를 이용하여 외삽(extrapolation) 방식으로 화소를 채워 넣을 수 있다.

또한, 레이아웃 재구성부(150)는 현재 프레임이 CMP, OHP, ISP 등에 의해 복수의 평면으로 투영되어 전개된 영상인 경우, 현재 프레임의 부호화 영역에 대응하는 참조 프레임의 투영 영역별로, 참조 대상 영역을 확장하여 참조 프레임의 레이아웃을 재구성할 수 있다.

확장된 참조 대상 영역은 현재 프레임의 부호화 영역에 대응하는 참조 프레임의 투영 영역과 확장 영역으로 이루어지며, 확장 영역은 참조 프레임의 투영 영역과 실제 공간상에서 물리적으로 인접한 신호가 존재하는 인접 투영 영역의 화소 값을 이용하여 산출된 화소로 채워진다.

즉, 확장 영역의 각 화소 위치에 대해 대응하는 인접 투영 영역의 화소 위치를 계산하여 파악하고, 파악된 화소 위치의 화소 값을 확장 영역의 해당 화소 위치의 화소 값으로 적용시킨다.

여기서, 확장 영역의 각 화소 위치에 대해 대응하는 인접 투영 영역의 화소 위치를 계산한 결과, 그 결과 값이 정수 값이 아닌 경우에는 인접 투영 영역의 신호를 이용하여 내삽(interpolation) 방식으로 화소 값을 계산하고, 이 계산된 화소 값을 확장 영역의 해당 화소 위치의 화소 값으로 사용하는 것이 바람직하다.

예측부(155)는 재구성부(150)를 통해 레이아웃이 재구성된 참조 프레임과 현재 프레임을 이용하여 현재 프레임에 대한 예측 영상을 생성하고, 생성된 예측 영상을 감산부(110)로 인가한다.

전술한, 예측부(155)는 화면간 예측 또는 화면내 예측을 수행하여 현재 프레임에 대한 예측 영상을 생성할 수 있다.

이러한 예측부(155)는 하나 이상의 이전 또는 이후 프레임을 참조하여 현재 프레임 내의 예측 영상을 생성하는 화면간 예측부와 현재 프레임 내에서 이전에 부호화되고 복호화되어 복원된 영상들의 픽셀을 이용하여 예측 영상을 생성하는 화면내 예측부를 포함하여 구성될 수 있다.

앞서 설명한 바와 같이 엔트로피 부호화부(125)에서 비트스트림으로 부호화된 영상은 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB:Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송된다.

영상 부호화 장치로부터 비트스트림을 전송받은 영상 복호화 장치는 비트스트림을 복호화하여 복원 영상을 생성한다.

이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100. 360도 영상 부호화 장치, 110. 감산부,
115. 변환부, 120. 양자화부,
125. 엔트로피 부호화부, 130. 역양자화부,
135. 역변환부, 140. 가산부,
145. 메모리부, 150. 레이아웃 재구성부,
155. 예측부

Claims

360도 영상을 부호화하는 방법에 있어서,
부호화 대상 영상인 현재 프레임에 대한 참조 프레임의 레이아웃을 재구성하되, 각각의 부호화 영역과 실제 공간상에서 물리적으로 인접한 신호가 주위에 위치하도록 상기 참조 프레임의 레이아웃을 재구성하는 단계;
상기 레이아웃이 재구성된 참조 프레임을 이용하여 화면간 예측 또는 화면내 예측을 수행하여 예측 영상을 생성하는 단계; 및
상기 현재 프레임과 상기 예측 영상 간의 잔차 영상을 생성하여 부호화를 수행하는 단계;를 포함하고,
상기 참조 프레임의 레이아웃을 재구성하는 단계는,
상기 현재 프레임이 복수의 평면으로 투영되어 전개된 영상인 경우,
부호화 대상 영역에 대응하는 참조 프레임의 투영 영역별로, 각각의 투영 영역과 실제 공간상에서 물리적으로 인접한 신호가 주위에 위치하도록 투영 영역의 배치를 재구성하여 상기 참조 프레임의 레이아웃을 재구성하고,
상기 각 투영 영역의 각 꼭지점에서 발생하는 영상 정보가 없는 빈 공간에 대해, 각 꼭지점에 연결된 투영 영역의 단면의 신호를 이용하여 외삽(extrapolation) 방식으로 화소를 채워 넣는, 360도 영상 부호화 방법.
제1항에 있어서,
상기 참조 프레임의 레이아웃을 재구성하는 단계는,
상기 현재 프레임이 하나의 평면으로 투영되어 전개된 영상인 경우,
상기 참조 프레임의 오른쪽 끝단 영역과 왼쪽 끝단 영역이 서로 인접하도록 상기 참조 프레임의 레이아웃을 재구성하는 단계인, 360도 영상 부호화 방법.
삭제
삭제
제1항에 있어서,
상기 참조 프레임의 레이아웃을 재구성하는 단계는,
상기 현재 프레임이 복수의 평면으로 투영되어 전개된 영상인 경우,
부호화 대상 영역에 대응하는 참조 프레임의 투영 영역별로, 참조 대상 영역을 확장하여 상기 참조 프레임의 레이아웃을 재구성하는 단계이고,
상기 참조 대상 영역은,
부호화 대상 영역에 대응하는 참조 프레임의 투영 영역과 확장 영역으로 이루어지는, 360도 영상 부호화 방법.
제5항에 있어서,
상기 확장 영역의 각 화소 위치에 들어가는 화소 값은,
부호화 대상 영역에 대응하는 참조 프레임의 투영 영역과 실제 공간상에서 물리적으로 인접한 신호가 존재하는 인접 투영 영역의 화소 값을 이용하여 산출되되,
상기 확장 영역의 각 화소 위치에 대해 대응하는 인접 투영 영역의 화소 위치를 계산하여 파악하고, 파악된 화소 위치의 화소 값을 상기 확장 영역의 화소 값으로 사용하는, 360도 영상 부호화 방법.
제6항에 있어서,
상기 확장 영역의 각 화소 위치에 대해 대응하는 인접 투영 영역의 화소 위치는,
상기 확장 영역의 화소 위치 p(u, v)에 대한 3차원 공간 좌표값 (x, y, z)을 구한 다음,
원점과 3차원 공간 좌표값 (x, y, z)을 잇는 선분과 만나는 인접 투영 영역 상의 3차원 공간 좌표값 (x', y', z')을 계산하고,
상기 3차원 공간 좌표값 (x', y', z')에 대응하는 화면 좌표값 (u', v')를 산출하여, 상기 확장 영역의 화소 위치 p(u, v)에 대응하는 인접 투영 영역의 화소 위치 p'(u', v')를 구하는, 360도 영상 부호화 방법.
제7항에 있어서,
상기 3차원 공간 좌표값 (x', y', z')에 대응하는 화면 좌표값 (u', v')이 정수 값이 아닌 경우에는,
인접 투영 영역의 신호를 이용하여 내삽(interpolation) 방식으로 화소 값을 계산하고, 상기 계산된 화소 값을 상기 확장 영역의 화소 위치 p(u, v)의 화소 값으로 사용하는, 360도 영상 부호화 방법.
제1항 및 제2항, 제5항 내지 제8항 중 어느 하나의 항에 따른 360도 영상 부호화 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
360도 영상을 부호화하는 장치에 있어서,
부호화 대상 영상인 현재 프레임에 대한 참조 프레임의 레이아웃을 재구성하되, 각각의 부호화 영역과 실제 공간상에서 물리적으로 인접한 신호가 주위에 위치하도록 상기 참조 프레임의 레이아웃을 재구성하는 레이아웃 재구성부;
상기 레이아웃 재구성부를 통해 재구성된 참조 프레임을 이용하여 화면간 예측 또는 화면내 예측을 수행하여 예측 영상을 생성하는 예측부; 및
상기 현재 프레임과 상기 예측부를 통해 생성된 예측 영상 간의 잔차 영상을 생성하는 감산부;를 포함하고,
상기 레이아웃 재구성부는,
상기 현재 프레임이 복수의 평면으로 투영되어 전개된 영상인 경우,
부호화 대상 영역에 대응하는 참조 프레임의 투영 영역별로, 각각의 투영 영역과 실제 공간상에서 물리적으로 인접한 신호가 주위에 위치하도록 투영 영역의 배치를 재구성하여 상기 참조 프레임의 레이아웃을 재구성하고,
상기 각 투영 영역의 각 꼭지점에서 발생하는 영상 정보가 없는 빈 공간에 대해, 각 꼭지점에 연결된 투영 영역의 단면의 신호를 이용하여 외삽(extrapolation) 방식으로 화소를 채워 넣는, 360도 영상 부호화 장치.
제10항에 있어서,
상기 레이아웃 재구성부는,
상기 현재 프레임이 하나의 평면으로 투영되어 전개된 영상인 경우,
상기 참조 프레임의 오른쪽 끝단 영역과 왼쪽 끝단 영역이 서로 인접하도록 상기 참조 프레임의 레이아웃을 재구성하는, 360도 영상 부호화 장치.
삭제
삭제
제10항에 있어서,
상기 레이아웃 재구성부는,
상기 현재 프레임이 복수의 평면으로 투영되어 전개된 영상인 경우,
부호화 대상 영역에 대응하는 참조 프레임의 투영 영역별로, 참조 대상 영역을 확장하여 상기 참조 프레임의 레이아웃을 재구성하되,
상기 참조 대상 영역은,
부호화 대상 영역에 대응하는 참조 프레임의 투영 영역과 확장 영역으로 이루어지는, 360도 영상 부호화 장치.
제14항에 있어서,
상기 확장 영역을 구성하는 각 화소 위치에 들어가는 화소 값은,
부호화 대상 영역에 대응하는 참조 프레임의 투영 영역과 실제 공간상에서 물리적으로 인접한 신호가 존재하는 인접 투영 영역의 화소 값을 이용하여 산출되되,
상기 확장 영역의 각 화소 위치에 대해 대응하는 인접 투영 영역의 화소 위치를 계산하여 파악하고, 파악된 화소 위치의 화소 값을 상기 확장 영역의 화소 값으로 사용하는, 360도 영상 부호화 장치.