KR20160120535A - 라이트 필드 데이터 압축방법 및 압축장치 - Google Patents

Abstract

라이트 필드 데이터 압축방법 및 압축장치가 개시된다. 본 발명의 일 면에 따른 라이트 필드 데이터 압축방법은, 복수의 마이크로 영상을 포함하는 라이트 필드 영상을 획득하는 단계; 상기 복수의 마이크로 영상을 시점 별로 분류하여 2차원 배열하는 단계; 배열된 복수의 마이크로 영상 중 어느 하나의 영상을 I-프레임으로 부호화하는 단계; 상기 I-프레임으로 부호화된 마이크로 영상을 기준으로 제1 방향으로 P-프레임을 생성하는 단계; 상기 I-프레임과 상기 P-프레임을 기준으로 제2 방향으로 P-프레임을 생성하는 단계; 상기 I-프레임과 상기 P-프레임 사이에 위치한 마이크로 영상을 B-프레임으로 부호화하는 단계; 및 부호화되지 않은 나머지 영상을 B-프레임으로 부호화하는 단계를 포함한다.

Description

라이트 필드 데이터 압축방법 및 압축장치{METHOD AND APPARATUS FOR COMPRESSION OF LIGHT-FIELD IMAGES}

본 발명은 라이트 필드 데이터 압축방법 및 압축장치에 관한 것으로서, 보다 상세하게는 시점 별 라이트 필드 영상 데이터를 2차원적 연관성을 이용하여 압축하는 방법 및 그 장치에 관한 것이다.

깊이감 있는 영상을 표시할 수 있는 3D 디스플레이 장치의 발전 및 수요 증가와 함께 3D 컨텐츠의 중요성이 부각되고 있다. 이에 따라, 일반 사용자가 3D 컨텐츠를 직접 제작할 수 있는 다양한 3차원 영상 획득 장치가 연구되고 있다.

3차원 영상 획득 장치에서 물체까지의 거리 정보를 얻는 방법으로는 크게 능동(active) 방식과 수동(passive) 방식으로 나눌 수 있다. 능동 방식은, 예를 들어, 물체에 빛을 조사하고 물체로부터 반사되어 돌아온 빛을 감지하여 빛의 이동 시간을 알아내는 광시간비행법(Time-of-Flight; TOF)과 센서로부터 일정 거리에 있는 다수의 광원에 의해 조사되고 물체로부터 반사된 빛의 위치를 감지하여 거리를 계산하는 삼각 측량법(triangulation)이 대표적이다. 또한, 수동 방식으로는, 예를 들어, 빛을 조사하지 않고 2대 이상의 카메라로 촬영한 영상 정보만 을 이용하여 물체까지의 거리를 계산하는 스테레오 카메라 방식이 대표적이다. 그런데, 능동 방식은 빛을 물체에 조사하기 위한 별도의 광원과 광학계가 필요하고 스테레오 카메라 방식은 정확한 거리 정보를 얻기가 어렵다.

최근에는, 별도의 광원과 광학계를 사용하지 않으면서 정확한 거리 정보를 얻기 위하여 라이트 필드 영상 획득 방식이 제안되고 있다. 라이트 필드 영상 획득 방식은 다수의 마이크로 렌즈들을 이용하여 많은 시점의 영상들을 한꺼번에 취득한 후에, 각각의 영상들을 분석하여 깊이 정보를 추출하는 방식이다.

예를 들어, 마이크로 렌즈 어레이 내의 다수의 마이크로 렌즈들은 그 상대적인 위치에 따라 조금씩 서로 다른 시점들을 가지므로, 각각의 마이크로 렌즈들로부터 얻은 다수의 영상들은 서로 다른 깊이감을 가질 수 있다.

이렇게 획득된 영상을 기존 카메라와 같이 (x,y)평면에 방향성을 갖는 (u,v)정보를 포함하여 4D영상이라고 부른다. 따라서, 획득한 영상에서의 시점이동이 광학적으로 계산되고, 초점을 촬영 후에 맞출 수 있고, 다양한 위치에 초점을 맞출 수 있는 재초점 기능도 제공한다.

도 1은 종래 기술에 따라 라이트 필드 카메라에서 라이트 필드 영상을 획득하는 과정을 설명하기 위한 개념도이다.

도 1을 참조하면, 메인 렌즈(미도시)는 이미지 센서(20)를 향해 입사광을 집광시킨다. 메인 렌즈와 이미지 센서(20) 사이의 거리는 메인 렌즈의 초점 거리보다 짧을 수 있다. 즉, 이미지 센서(20)는 메인 렌즈와 상기 메인 렌즈의 초점 사이에 위치할 수 있다.

마이크로 렌즈 어레이(10)는 메인 렌즈에 의해 집광되는 빛을 이미지 센서(20) 상에 포커싱한다. 메인 렌즈를 통해 여러 방향으로 입사되는 빛은 마이크로 렌즈 어레이(10), 보다 상세하게는 마이크로 렌즈 어레이 중 어느 하나의 렌즈를 통과해서 이미지 센서(20)의 여러 개의 셀(cell)에 포커싱된다.

여기서, 마이크로 렌즈 어레이(10)의 다수의 마이크로 렌즈들과 이미지 센서(20)의 다수의 셀(cell)을이 각각 1:1로 대응할 수 있다. 예를 들어, 각각의 화소마다 그에 대응하는 마이크로 렌즈가 하나씩 배치될 수 있다.

다른 예로, 마이크로 렌즈 어레이(10)의 마이크로 렌즈들과 다수의 셀은 n:1의 관계를 가질 수 있다. 이는 하나의 마이크로 렌즈를 중심으로 이미지 센서(20)의 상대적인 셀의 위치에 따라 빛이 들어오는 각도(방향 벡터)를 연산할 수 있다는 것을 의미한다. 빛이 들어오는 각도를 알 수 있으면, 다양한 초점에서의 이미지를 역으로 계산할 수 있게 된다.

한편, 라이트 필드 영상 데이터는 일반 영상 데이터와는 달리, 영상의 각 픽셀에 들어오는 빛의 정보를 각 방향 별로 기록한다. 즉, 기존의 영상이 각 픽셀 위치 (x, y)에 해당하는 RGB값을 저장하였다면, 라이트 필드 영상 데이터는 각 픽셀 위치 (x, y)와, 빛이 들어오는 방향 (u, v)을 결합하여, (x, y, u, v)에 해당하는 RGB값을 기록한다. 라이트 필드에 대한 표현에서는 일반적으로 렌즈상에 빛이 통과하는 좌표를 (u, v)로 정의한다.

영상의 픽셀 위치 (x, y)를 고정하고 방향 성분 (u, v)를 변경하면, 각 픽셀에 해당하는 마이크로 이미지들이 정의되며, 방향 성분 (u, v)를 고정하고 픽셀 위치 (x, y)를 변경하면 렌즈상의 각 시점 별 영상들이 생성된다.

라이트 필드 영상 데이터의 저장 시에는 시점 별 영상들을 시점 개수만큼 저장하는 방식을 사용할 수 있고, 픽셀 별 마이크로 이미지들을 모아 한 장의 영상으로 만들어 저장하는 방식을 사용할 수도 있다. 일반적으로 카메라 어레이를 이용하여 취득한 라이트 필드 영상 데이터는 시점 별 영상을 개별적으로 저장하는 방식을 많이 사용하며, 마이크로 렌즈 어레이를 이용한 라이트 필드 영상 데이터는 마이크로 이미지들이 모여있는 영상을 사용한다.

라이트 필드 영상 데이터는 방향 별로 영상들이 생성되기 때문에, 일반 카메라 영상에 비해 데이터 사이즈가 훨씬 크게 된다. 기존의 방법에서는, 카메라 어레이를 이용할 때에는 시점 별 영상들을 개별적으로 영상 압축하여 PNG 등의 압축 파일로 저장하는 방식을 사용하였으며, 마이크로렌즈 어레이를 이용할 때에는 마이크로 이미지가 모인 전체 영상을 PNG 또는 JPG등의 영상으로 저장하는 방법이 많이 사용되었다.

본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여, 라이트 필드 영상 데이터를 2차원적 연관성을 이용하여 압축함으로써, 라이트 필드 영상 데이터를 높은 압축률로 압축하여 저장할 수 있는 압축방법 및 압축장치를 제공하는 것을 목적으로 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 면에 따른 라이트 필드 데이터 압축방법은, 복수의 마이크로 영상을 포함하는 라이트 필드 영상을 획득하는 단계; 상기 복수의 마이크로 영상을 시점 별로 분류하여 2차원 배열하는 단계; 배열된 복수의 마이크로 영상 중 어느 하나의 영상을 I-프레임으로 부호화하는 단계; 상기 I-프레임으로 부호화된 마이크로 영상을 기준으로 제1 방향으로 P-프레임을 생성하는 단계; 상기 I-프레임과 상기 P-프레임을 기준으로 제2 방향으로 P-프레임을 생성하는 단계; 상기 I-프레임과 상기 P-프레임 사이에 위치한 마이크로 영상을 B-프레임으로 부호화하는 단계; 및 부호화되지 않은 나머지 영상을 B-프레임으로 부호화하는 단계를 포함한다.

이상 상술한 바와 같은 본 발명에 따르면, 라이트 필드 영상 데이터의 2차원적인 연관성을 이용하여 압축할 수 있기 때문에 라이트 필드 영상 데이터를 높은 압축률로 압축하여 저장할 수 있다.

또한, 시점 별 영상 데이터를 동영상의 각 프레임을 압축하는 방법과 동일한 방법을 사용하여 압축하기 때문에, 동영상 압축을 지원하는 하드웨어가 제공될 경우, 그 하드웨어를 바로 적용하여 빠른 속도로 라이트 필드 영상 데이터를 압축할 수 있다.

도 1은 종래 기술에 따라 라이트 필드 카메라에서 라이트 필드 영상을 획득하는 과정을 설명하기 위한 개념도.
도 2는 본 발명의 실시예에 따른 라이트 필드 데이터 압축장치를 도시한 블록도.
도 3a 내지 도 3e는 본 발명의 실시예에 따라 라이트 필드 영상 데이터가 압축되는 과정을 설명하기 위한 개념도.
도 4는 본 발명의 실시예에 따른 라이트 필드 데이터 압축방법을 도시한 흐름도.
도 5는 본 발명의 실시예에 따른 라이트 필드 데이터 압축방법이 사용되는 컴퓨터 시스템의 구성을 도시한 블록도.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.

본 발명의 실시예를 설명하기 앞서, 본 명세서에 기재되는 용어에 대한 정의를 기재한다.

I-프레임: 압축 부호화 시, 다른 프레임에 종속되지 않고, 해당 프레임의 데이터만 이용하여 압축 부호화하는 프레임

P-프레임: 압축 부호화 시, 이전의 I-프레임이나, P-프레임의 데이터를 이용하여 압축 부호화하는 프레임

B-프레임: 압축 부호화 시, 이전 또는 이후의 I-프레임이나 P-프레임을 이용하여 압축 부호화하는 프레임

라이트 필드 영상: 서로 다른 방향으로 입사하는 빛의 정보에 해당하는 2차원 영상들의 배열(집합), 상기 2차원 영상들은 마이크로 영상으로 일컬어진다.

도 2는 본 발명의 실시예에 따른 라이트 필드 데이터 압축장치를 도시한 블록도이다.

도 2를 참조하면, 본 발명의 실시예에 따른 라이트 필드 데이터 압축장치는, 라이트 필드 영상 획득부(100), 시점별 영상 배열부(200), I-프레임 부호화부(300), P-프레임 부호화부(400), B-프레임 부호화부(500)를 포함하여 이루어진다.

도 2에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들은 갖는 라이트 필드 데이터 압축장치가 구현될 수도 있다.

이하, 상기 구성요소들에 대해 차례로 살펴본다.

라이트 필드 영상 획득부(100)는 라이트 필드 카메라 등으로부터 라이트 필드 영상을 획득한다. 상기 라이트 필드 영상(혹은 영상 데이터)은 각 픽셀에 들어오는 빛의 정보를 각 빛의 방향 별로 기록한다. 즉, 기존의 영상이 각 픽셀 위치(x,y)에 해당하는 RGB 값을 저장하였다면, 라이트 필드 영상은 각 픽셀 위치(x,y)와, 빛이 들어오는 방향(u,v)를 결합하여, (x,y,u,v)에 해당하는 RGB 값을 기록한다. 라이트 필드 영상은 일반적으로 렌즈 상에 빛이 통과하는 좌표 (u,v)에 의해 정의된다.

즉, 라이트 필드 영상은 빛이 통과하는 좌표(u,v)만큼 상이한 시점을 갖는 2차원 마이크로 영상의 집합으로 구성된다. 예컨대, 빛의 방향 성분(u,v)를 고정하고 픽셀 위치(x,y)를 변경하면 렌즈 상의 각 시점 별 영상들이 생성된다.

다시 말해, 라이트 필드 영상은 일반적인 2차원 영상과는 달리, 각 빛의 방향으로부터 입사하는 빛의 정보를 저장하므로 같은 2차원 해상도의 경우, 방향 성분이 nxm 개라고 하였을 때, 데이터의 양이 nxm 배로 증가하게 된다. 각 방향의 영상을 일반적인 2차원 영상으로 저장하면 데이터의 양은 nxm 배로 증가하지만, 방향 성분의 영상들은 서로 연관성이 높기 때문에, 이를 이용하면 압축률을 높일 수 있다.

각 시점 별 영상들 간의 연관성을 이용하면서 기존의 하드웨어 가속을 이용하는 방법으로서, 영상들을 동영상의 프레임들로 취급하는 방법을 제안할 수 있다. 동영상 압축 부호화도 각 프레임 간의 연관성을 이용하므로, 라이트 필드 영상에도 동영상 압축 부호화 방식을 적용할 수 있다.

도 3a에는 7x7 개의 시점을 갖는 라이트 필드 영상을 시점 (u,v)을 기준으로 각 시점 영상으로 분류하여 배열한 형태가 도시된다. 본 발명의 실시예에 따르면, 시점 별 영상들의 연관성을 이용하여 압축 부호화하기 위해, 복수의 라이트 필드 영상들을 일정한 기준으로 정렬한 후, 동영상의 각 프레임으로서 압축 부호화하는 방식을 이용한다.

이를 위해, 시점별 영상 배열부(200)는 획득한 라이트 필드 영상을 시점 별 영상으로 분류한 후, 일정한 기준으로 정렬한다. 예컨대, 상기 시점별 영상 배열부(200)는 라이트 필드 영상을 시점 (u,v) 기반의 영상 집합으로 변환하고, 압축 부호화를 수행할 nxn개의 2차원 블록들로 정렬할 수 있다. 이때, n은 압축 파라메타로서, 사용자에 의해 설정 및 변경이 가능하다. 도 3a에는 시점 기반으로 분류된 영상들이 row major 순서(가로 방향)으로 정렬된 예가 도시된다.

한편, 도 3a와 같이 2차원 정렬된 시점 별 영상들을 일반적인 동영상 압축 부호화 방식으로 압축 부호화한다면, 가로 방향으로 배열된 영상들은 인접 프레임으로 간주되어 연관성을 이용하여 압축될 수 있다. 그러나, 세로 방향은 동영상 프레임 순서에서 인접하지 않은 것으로 판단되기 때문에, 세로 방향의 연관성을 이용되지 않는다. 즉, 동영상은 1차원 연관성만 이용하여 압축 부호화되는 것이다. 이와 달리, 라이트 필드 영상은 가로 방향의 연관성뿐만 아니라, 세로 방향의 연관성도 존재한다. 따라서, 일반적인 동영상 압축 부호화 방식과는 달리, 새로운 압축 부호화 방식, 즉 2차원 연관성을 이용하는 압축 부호화 방식이 라이트 필드 영상의 압축 부호화에 사용될 필요가 있다. 본 발명의 실시예에서 제안하는 새로운 압축 부호화 방식을 도 3b 내지 도 3e를 참조하여 설명한다.

본 발명의 실시예에 따르면, 상기 I-프레임 부호화부(300)는 도 3a와 같이 2차원 정렬된 시점 별 영상들 중 어느 하나의 영상을 I-프레임으로 압축 부호화한다. 도 3b에는 2차원 배열된 영상들 중에서 첫 번째 프레임을 I-프레임으로 압축 부호화하는 예가 도시되었지만, 본 발명의 실시예는 이에 한정되지 않는다. 즉, 2차원 배열된 영상들 중 임의의 영상이 I-프레임으로 압축 부호화될 수 있으며, 이는 사용자의 설정에 따른다. 이하에서는, 설명의 편의를 위해 첫 번째 영상이 I-프레임으로 압축 부호화되는 것으로 가정한다.

상기 P-프레임 부호화부(400)는 상기 I-프레임 부호화부(300)에서 압축 부호화된 I-프레임을 기준으로 P-프레임을 생성한다. 예컨대, 상기 P-프레임 부호화부(400)는 동영상 압축 방식과 동일하게 3개의 영상 단위마다 하나의 P-프레임을 생성할 수 있다. 도 3b에는 I-프레임을 기준으로 4번째 영상과 7번째 영상이 P-프레임으로 압축 부호화된 예가 도시된다. 이는 하나의 실시예일뿐이며, 본 발명의 실시가 이에 한정되는 것은 아니다. 즉, P-프레임의 생성 단위는 사용자의 설정에 따라 변경될 수 있으며, 사용자에 의해 설정된 영상 단위마다 하나의 P-프레임이 생성된다.

또한, 상기 P-프레임 부호화부(400)는 상기 I-프레임과, 상기 I-프레임을 기준으로 가로 방향으로 생성된 P-프레임을 기준으로 세로 방향으로 P-프레임을 생성한다. 도 3c에는 3개의 영상 단위마다 하나의 P-프레임이 생성된 예가 도시된다. 이에 따라, 첫 번째 영상이 압축 부호화된 I-프레임을 기준으로 세로 방향으로 4번째 영상과 7번째 영상이 P-프레임으로 압축 부호화되고, 가로 방향으로 4번째 영상이 압축 부호화된 P-프레임을 기준으로 세로 방향으로 4번째 영상과 7번째 영상이 P-프레임으로 압축 부호화되며, 가로 방향으로 7번째 영상이 압축 부호화된 P-프레임을 기준으로 세로 방향으로 4번째 영상과 7번째 영상이 P-프레임으로 압축 부호화 된다. 이는 하나의 실시예일뿐이며, 본 발명의 실시가 이에 한정되는 것은 아니다.

상기 B-프레임 부호화부(500)는 상기 I-프레임과 상기 P-프레임(가로 방향으로 생성된 P-프레임과, 세로 방향으로 생성된 P-프레임을 포함) 사이에 위치한 영상을 B-프레임으로 압축 부호화한다.

도 3d에는 2차원 배열의 첫 번째 가로 라인에서 2번째, 3번째, 5번째, 6번째 영상이 B-프레임으로 압축 부호화되고, 일곱 번째 가로 라인에서 2번째, 3번째, 5번째, 6번째 영상이 B-프레임으로 압축 부호화되고, 첫 번째, 네 번째, 일곱 번째 세로 라인에서 세로 방향으로 2번째, 3번째, 5번째, 6번째 영상이 B-프레임으로 압축 부호화된 예가 도시된다.

또한, 상기 B-프레임 부호화부(500)는 압축 부호화되지 않은 나머지 영상들을 B-프레임으로 압축부호화 한다. 나머지 영상들까지 B-프레임으로 압축 부호화된 예가 도 3e에 예시적으로 도시된다.

이상에서는 본 발명의 실시예에 따른 라이트 필드 데이터 압축장치를 설명하였다. 이하에서는, 전술한 라이트 필드 데이터 압축장치가 라이트 필드 영상을 압축 부호화하는 과정을 도 2 및 도 4를 참조하여 설명한다. 도 4는 본 발명의 실시예에 따른 라이트 필드 데이터 압축방법을 도시한 흐름도이다.

도 2 및 도 4를 참조하면, 먼저 라이트 필드 영상 획득부(100)는 라이트 필드 카메라 등으로부터 라이트 필드 영상을 획득한다(S100).

상기 라이트 필드 영상은 빛이 통과하는 좌표(u,v)만큼 상이한 시점을 갖는 2차원 마이크로 영상의 집합으로 구성된다. 예컨대, 빛의 방향 성분(u,v)를 고정하고 픽셀 위치(x,y)를 변경하면 렌즈 상의 각 시점 별 영상들이 생성된다.

이어, 시점별 영상 배열부(200)는 획득한 라이트 필드 영상을 시점 별 영상으로 분류한 후, 일정한 기준으로 정렬한다(S200). 예컨대, 상기 시점별 영상 배열부(200)는 라이트 필드 영상을 시점 (u,v) 기반의 영상 집합으로 변환하고, 압축 부호화를 수행할 nxn개의 2차원 블록들로 정렬할 수 있다. 이때, n은 압축 파라메타로서, 사용자에 의해 설정 및 변경이 가능하다.

이어, I-프레임 부호화부(300)는 2차원 정렬된 시점 별 영상들 중 어느 하나의 영상을 I-프레임으로 압축 부호화한다(S300).

이어, P-프레임 부호화부(400)는 상기 I-프레임 부호화부(300)에서 압축 부호화된 I-프레임을 기준으로 가로 방향으로 P-프레임을 생성한다(S400). 예컨대, 상기 P-프레임 부호화부(400)는 동영상 압축 방식과 동일하게 3개의 영상 단위마다 하나의 P-프레임을 생성할 수 있다.

즉, 2차원 배열된 시점 별 영상들 중에서 첫 번째 영상이 I-프레임으로 압축 부호화된 경우라면, 상기 I-프레임을 기준으로 가로 방향으로 4번째 영상 및 7번째 영상을 P-프레임으로 압축 부호화한다.

그리고, 상기 P-프레임 부호화부(400)는 상기 I-프레임과, 가로 방향으로 생성된 P-프레임을 기준으로 세로 방향으로 P-프레임을 생성한다(S500).

그 결과, 2차원 배열된 시점 별 영상들 중에서, 첫 번째 네 번째, 일곱 번째 세로 라인에서 세로 방향으로 4번째 영상 및 7번째 영상이 P-프레임으로 압축 부호화된다.

이어, B-프레임 부호화부(500)는 상기 I-프레임과 상기 P-프레임(가로 방향으로 생성된 P-프레임과, 세로 방향으로 생성된 P-프레임을 포함) 사이에 위치한 영상을 B-프레임으로 압축 부호화한다(S600).

그리고, 상기 B-프레임 부호화부(500)는 부호화되지 않은 나머지 영상들을 B-프레임으로 압축 부호화한다(S700).

이상 상술한 바와 같은 본 발명에 따르면, 라이트 필드 영상 데이터의 2차원적인 연관성을 이용하여 압축할 수 있기 때문에 라이트 필드 영상 데이터를 높은 압축률로 압축하여 저장할 수 있다.

또한, 시점 별 영상 데이터를 동영상의 각 프레임을 압축하는 방법과 동일한 방법을 사용하여 압축하기 때문에, 동영상 압축을 지원하는 하드웨어가 제공될 경우, 그 하드웨어를 바로 적용하여 빠른 속도로 라이트 필드 영상 데이터를 압축할 수 있다.

한편, 본 발명의 실시예에 따른 라이트 필드 데이터 압축방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 도 5에는 컴퓨터 시스템의 간단한 실시예가 도시된다. 도시된 바와 같이, 컴퓨터 시스템은 적어도 하나 이상의 프로세서(121)와, 메모리(123)와, 사용자 입력 장치(126)와, 데이터 통신 버스(122)와, 사용자 출력 장치(127)와, 저장소(128) 등을 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스(122)를 통해 데이터 통신을 한다.

또한, 컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스(129)를 더 포함할 수 있다. 상기 프로세서(121)는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리(123) 및/또는 저장소(128)에 저장된 명령어를 처리하는 반도체 장치일 수 있다.

상기 메모리(123) 및 상기 저장소(128)는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 상기 메모리(123)는 ROM(124) 및 RAM(125)을 포함할 수 있다.

따라서, 본 발명의 실시예에 따른 라이트 필드 데이터 압축방법은 컴퓨터 시스템에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 라이트 필드 데이터 압축방법이 컴퓨터 시스템에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 제작 방법을 수행할 수 있다.

다른 한편으로, 상술한 본 발명에 따른 라이트 필드 데이터 압축방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 라이트 필드 영상 획득부
200 : 시점별 영상 배열부
300 : I-프레임 부호화부
400 : P-프레임 부호화부
500 : B-프레임 부호화부

Claims (1)

1. 복수의 마이크로 영상을 포함하는 라이트 필드 영상을 획득하는 단계;
   상기 복수의 마이크로 영상을 시점 별로 분류하여 2차원 배열하는 단계;
   배열된 복수의 마이크로 영상 중 어느 하나의 영상을 I-프레임으로 부호화하는 단계;
   상기 I-프레임으로 부호화된 마이크로 영상을 기준으로 제1 방향으로 P-프레임을 생성하는 단계;
   상기 I-프레임과 상기 P-프레임을 기준으로 제2 방향으로 P-프레임을 생성하는 단계;
   상기 I-프레임과 상기 P-프레임 사이에 위치한 마이크로 영상을 B-프레임으로 부호화하는 단계; 및
   부호화되지 않은 나머지 영상을 B-프레임으로 부호화하는 단계
   를 포함하는 라이트 필드 데이터 압축방법.

Images