KR101483052B1

KR101483052B1 - 3d 동영상을 코딩/디코딩하기 위한 장치 및 그 방법

Info

Publication number: KR101483052B1
Application number: KR1020130081626A
Authority: KR
Inventors: 이철희
Original assignee: 연세대학교 산학협력단
Priority date: 2013-07-11
Filing date: 2013-07-11
Publication date: 2015-01-16

Abstract

본 발명에 의한 3D 동영상을 코딩하기 위한 장치 및 그 방법이 개시된다.
본 발명에 따른 3D 동영상을 코딩하기 위한 장치는 하나의 영상에 대한 좌영상과 우영상을 입력 받는 영상 입력부; 입력 받은 상기 좌영상과 상기 우영상을 기반으로 인접한 좌영상의 화소와 우영상의 화소를 교차 배열하여 하나의 제1 영상 프레임을 생성하는 제1 영상 프레임 생성부; 생성된 상기 제1 영상 프레임 내 좌영상의 화소와 우영상의 화소를 재배열 및 보간하여 상기 좌영상과 상기 우영상을 상하 또는 좌우로 병합하는 하나의 제2 영상 프레임을 생성하는 제2 영상 프레임 생성부; 및 생성된 상기 하나의 제2 영상 프레임을 코딩하는 영상 코딩부를 포함한다.

Description

3D 동영상을 코딩/디코딩하기 위한 장치 및 그 방법{APPARATUS FOR CODING/DECODING 3D VIDEO AND METHOD THEREOF}

본 발명은 3D 동영상 코딩/디코딩 방법에 관한 것으로, 특히, 인접하는 좌영상의 화소와 우영상의 화소를 서로 교차 배열한 후 좌영상 화소 값 또는 우영상 화소 값을 주변의 화소 값으로부터 산출하여 산출된 화소 값을 기반으로 좌영상의 화소와 우영상의 화소를 재배열하도록 하는 3D 동영상을 코딩/디코딩하기 위한 장치 및 그 방법에 관한 것이다.

3D TV에 대한 관심이 지속되는 가운데 이제는 휴대폰, PC 등에서도 3D 영상(3차원 입체영상)을 구현하기 위한 움직임이 본격화되고 있다. 장차 모든 2D 영상을 3D 영상으로 구현할 수 있도록 TV, 휴대폰 등의 표시장치에 대한 연구개발도 꾸준히 진행되고 있다.

3D 기술이란 좌/우로 분리된 2장의 영상을 좌안영상은 좌안으로, 우안영상은 우안으로 각각 보게 하여, 뇌가 이를 하나의 입체영상으로 인식하도록 하는 것을 말하며, 최근 3D 기술을 활용해 TV(television), SW(software), 컨텐츠(contents) 등 3D 제품과 영화, 의료 등 3D 응용서비스를 창출하는 고부가가치 산업을 형성하고 있다.

이때, 3D기술을 구현하기 위해서는, 3D 영상 인풋(input)(영상촬영 및 편집) 3D 영상 인코딩(encoding), 전송, 3D영상 디코딩(decoding), 3D 영상 아웃풋(output) 기술이 필요하다. 즉, 영상신호 전송 장치에서 3D 영상을 TV, PC 등의 다양한 표시 장치로 전송하고, 그 표시 장치는 전송 받은 3D영상을 표시 패널(panel)에 디스플레이하게 된다.

도 1a 내지 도 1b는 종래 기술에 따른 3D 동영상을 코딩하기 위한 대표적인 방법을 나타내는 도면이다.

도 1a 내지 도 1b에 도시한 바와 같이, 기존의 2D 방송과 호환성을 유지하면서 3D 동영상을 부호화하는 방법으로는 도 1a처럼 좌안영상과 우안영상을 상/하로 병합하는 top-down 방식, 도 1b처럼 좌/우로 병합하는 side-by-side 방식 등이 있다.

송신측에서는 이렇게 좌안영상과 우안영상이 병합된 3D 영상을 송신하게 되고, 수신측에서는 수신된 3D 영상을 3D 포맷터(formatter)를 이용하여 좌안영상과 우안영상으로 다시 분리 즉, 디코딩하고 디스플레이의 해상도에 맞도록 스케일링(scaling)하여 표시하게 된다.

그러나 이와 같은 기존의 3D 동영상 코딩 방법은 좌/우로 병합하는 side-by-side 방식인 경우 수평 해상도가 절반으로 감소하게 되고 상/하로 병합하는 top-down 방식인 경우 수직 해상도가 절반으로 감소하게 되는 문제점이 있다.

따라서 이러한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 인접하는 좌영상의 화소와 우영상의 화소를 서로 교차 배열한 후 좌영상 화소 값 또는 우영상 화소 값을 주변의 화소 값으로부터 산출하여 산출된 화소 값을 기반으로 좌영상의 화소와 우영상의 화소를 재배열하도록 하는 3D 동영상을 코딩/디코딩하기 위한 장치를 제공하는데 있다.

본 발명의 다른 목적은 인접하는 좌영상의 화소와 우영상의 화소를 서로 교차 배열한 후 좌영상 화소 값 또는 우영상 화소 값을 주변의 화소 값으로부터 산출하여 산출된 화소 값을 기반으로 좌영상의 화소와 우영상의 화소를 재배열하도록 하는 3D 동영상을 코딩/디코딩하기 위한 방법을 제공하는데 있다.

그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적들을 달성하기 위하여, 본 발명의 한 관점에 따른 3D 동영상을 코딩하기 위한 장치는 하나의 영상에 대한 좌영상과 우영상을 입력 받는 영상 입력부; 입력 받은 상기 좌영상과 상기 우영상을 기반으로 인접한 좌영상의 화소와 우영상의 화소를 교차 배열하여 하나의 제1 영상 프레임을 생성하는 제1 영상 프레임 생성부; 생성된 상기 제1 영상 프레임 내 좌영상의 화소와 우영상의 화소를 재배열 및 보간하여 상기 좌영상과 상기 우영상을 상하 또는 좌우로 병합하는 하나의 제2 영상 프레임을 생성하는 제2 영상 프레임 생성부; 및 생성된 상기 하나의 제2 영상 프레임을 코딩하는 영상 코딩부를 포함할 수 있다.

바람직하게, 상기 제1 영상 프레임 생성부는 상기 제1 영상 프레임 내 좌영상의 화소들 또는 우영상의 화소들 간에는 인접하지 않도록 교차 배열되는 것을 특징으로 한다.

바람직하게, 상기 제1 영상 프레임 생성부는 상기 제1 영상 프레임 내 각 행 라인 상에서 좌영상 화소와 우영상 화소를 교차되도록 배열하되, 인접한 행 라인들 간의 좌영상 화소와 우영상 화소가 지그재그 형태가 되도록 배열하는 것을 특징으로 한다.

바람직하게, 상기 제2 영상 프레임 생성부는 상기 좌영상과 상기 우영상을 상하로 병합하고, 상기 제 2 영상 프레임 내 좌영상 화소는 상기 제1 영상 프레임 내 홀수 행 라인의 좌영상의 화소를 기반으로 생성하게 되고, 상기 제2 영상 프레임 내 우영상 화소는 상기 제1 영상 프레임 내 짝수 행 라인의 우영상의 화소를 기반으로 생성되는 것을 특징으로 한다.

바람직하게, 상기 제2 영상 프레임 생성부는 상기 제1 영상 프레임의 홀수 행 라인들의 좌영상 화소값과 우영상 화소의 주변의 인접한 행 라인에 있는 좌영상 화소값들에서 상기 우영상 화소 위치의 좌영상 화소값을 보간하여 상기 제2 영상 프레임의 좌영상 화소를 생성하고, 상기 제1 영상 프레임의 짝수 행 라인들의 우영상 화소값과 좌영상 화소의 주변의 인접한 행 라인에 있는 우영상 화소값들에서 상기 좌영상 화소 위치의 우영상 화소 값을 보간하여 상기 제2 영상 프레임의 우영상 화소를 생성하는 것을 특징으로 한다.

바람직하게, 상기 제2 영상 프레임 생성부는 상기 제1 영상 프레임의 홀수 행 라인들의 좌영상 화소값과 우영상 화소의 주변의 인접한 행 라인에 있는 좌영상 화소값의 평균값으로 상기 우영상 화소 위치의 좌영상 화소값을 보간하여 상기 제2 영상 프레임의 좌영상 화소를 생성하고, 상기 제1 영상 프레임의 짝수 행 라인들의 우영상 화소값과 좌영상 화소의 주변의 인접한 행 라인에 있는 우영상 화소값의 평균값으로 상기 좌영상 화소 위치의 우영상 화소값을 보간하여 상기 제2 영상 프레임의 우영상 화소를 생성하는 것을 특징으로 한다.

바람직하게, 상기 제2 영상 프레임 생성부는 상기 좌영상과 상기 우영상을 좌우로 병합하고, 상기 제1 영상 프레임의 홀수 열 라인들의 좌영상 화소값과 우영상 화소의 주변의 인접한 열 라인에 있는 좌영상 화소값들에서 상기 우영상 화소 위치의 좌영상 화소값을 보간하여 상기 제2 영상 프레임의 좌영상 화소를 생성하고, 상기 제1 영상 프레임의 짝수 열 라인들의 우영상 화소값과 좌영상 화소의 주변의 인접한 열 라인에 있는 우영상 화소값들에서 상기 좌영상 화소 위치의 우영상 화소값을 보간하여 상기 제2 영상 프레임의 우영상 화소를 생성하는 것을 특징으로 한다.

상기 제2 영상 프레임 생성부는 상기 좌영상과 상기 우영상을 좌우로 병합하고, 상기 제1 영상 프레임의 홀수 열 라인들의 좌영상 화소값과 우영상 화소의 주변의 인접한 열 라인에 있는 좌영상 화소값의 평균값으로 상기 우영상 화소 위치의 좌영상 화소값을 보간하여 상기 제2 영상 프레임의 좌영상 화소를 생성하고, 상기 제1 영상 프레임의 짝수 열 라인들의 우영상 화소값과 좌영상 화소의 주변의 인접한 열 라인에 있는 우영상 화소값의 평균값으로 상기 좌영상 화소 위치의 우영상 화소값을 보간하여 상기 제2 영상 프레임의 우영상 화소를 생성하는 것을 특징으로 한다.

바람직하게, 상기 제2 영상 프레임 생성부는 상기 좌영상과 상기 우영상을 상하로 보간하여 병합하고 전체영상을 복수개의 영역으로 분할하여, 상기 제1 영상 프레임의 홀수 행 라인들의 좌영상 화소값과 우영상 화소의 주변의 인접한 행 라인에 있는 좌영상 화소값들에서 상기 우영상 화소 위치의 좌영상 화소 값을 보간하는데 있어 상기 우영상 화소를 포함하는 영역의 화소만을 사용하여 상기 좌영상 화소를 보간하여 상기 제2 영상 프레임의 좌영상 화소를 생성하고, 상기 제1 영상 프레임의 짝수 행 라인들의 우영상 화소값과 좌영상 화소의 주변의 인접한 행 라인에 있는 우영상 화소값들에서 상기 좌영상 화소 위치의 우영상 화소 값을 보간하는데 있어 상기 좌영상 화소를 포함하는 영역의 화소만을 사용하여 상기 우영상 화소를 보간하여 상기 제2 영상 프레임의 우영상 화소를 생성하는 것을 특징으로 한다.

바람직하게, 상기 제2 영상 프레임 생성부는 상기 좌영상과 상기 우영상을 좌우로 보간하여 병합하고 전체영상을 복수개의 영역으로 분할하여, 상기 제1 영상 프레임의 홀수 열 라인들의 좌영상 화소값과 우영상 화소의 주변의 인접한 열 라인에 있는 좌영상 화소값들에서 상기 우영상 화소 위치의 좌영상 화소 값을 보간하는데 있어 상기 우영상 화소를 포함하는 영역의 화소만을 사용하여 상기 좌영상 화소를 보간하여 상기 제2 영상 프레임의 좌영상 화소를 생성하고, 상기 제1 영상 프레임의 짝수 열 라인들의 우영상 화소값과 좌영상 화소의 주변의 인접한 열 라인에 있는 우영상 화소값들에서 상기 좌영상 화소 위치의 우영상 화소 값을 보간하는데 있어 상기 좌영상 화소를 포함하는 영역의 화소만을 사용하여 상기 우영상 화소를 보간하여 상기 제2 영상 프레임의 우영상 화소를 생성하는 것을 특징으로 한다.

본 발명의 다른 한 관점에 따른 3D 동영상을 디코딩하기 위한 장치는 좌영상의 화소와 우영상의 화소를 지그재그로 배열하여 하나의 제1 영상 프레임을 생성하고 상기 제1 영상 프레임 내 좌영상의 화소와 우영상의 화소를 재배열 및 보간하여 상기 좌영상과 상기 우영상을 상하 또는 좌우로 병합하여 생성된 제2 영상 프레임을 부호화한 부호화데이터를 입력 받는 입력부; 상기 부호화데이터를 복호화하여 제2 영상 복호화 프레임를 생성하는 복호화부; 상기 제2 영상 복호화 프레임에 상기 재배열 및 보간 작업을 역수행하여 제1 영상 복호화 프레임을 생성하는 프레임 생성부; 및 상기 제1 영상 복호화 프레임을 좌우 영상으로 분리하여 보간기법을 적용하여 디스플레이에 맞는 좌우 영상을 생성하는 보간부를 포함할 수 있다.

본 발명의 또 다른 한 관점에 따른 3D 동영상을 코딩하기 위한 방법은 하나의 영상에 대한 좌영상과 우영상을 입력 받는 영상 입력단계; 입력 받은 상기 좌영상과 상기 우영상을 기반으로 인접한 좌영상의 화소와 우영상의 화소를 교차 배열하여 하나의 제1 영상 프레임을 생성하는 제1 영상 프레임 생성단계; 생성된 상기 제1 영상 프레임 내 좌영상의 화소와 우영상의 화소를 재배열 및 보간하여 상기 좌영상과 상기 우영상을 상하 또는 좌우로 병합하는 하나의 제2 영상 프레임을 생성하는 제2 영상 프레임 생성단계; 및 생성된 상기 하나의 제2 영상 프레임을 코딩하는 영상 코딩단계를 포함할 수 있다.

바람직하게, 상기 제1 영상 프레임 생성단계는 상기 제1 영상 프레임 내 좌영상의 화소들 또는 우영상의 화소들 간에는 인접하지 않도록 교차 배열되는 것을 특징으로 한다.

바람직하게, 상기 제1 영상 프레임 생성단계는 상기 제1 영상 프레임 내 각 행 라인 상에서 좌영상 화소와 우영상 화소를 교차되도록 배열하되, 인접한 행 라인들 간의 좌영상 화소와 우영상 화소가 지그재그 형태가 되도록 배열하는 것을 특징으로 한다.

바람직하게, 상기 제2 영상 프레임 생성단계는 상기 좌영상과 우영상을 상하로 병합하고, 상기 제 2 영상 프레임 내 좌영상 화소는 상기 제1 영상 프레임 내 홀수 행 라인의 좌영상의 화소를 기반으로 생성하게 되고, 상기 제2 영상 프레임 내 우영상 화소는 상기 제1 영상 프레임 내 짝수 행 라인의 우영상의 화소를 기반으로 생성되는 것을 특징으로 한다.

바람직하게, 상기 제2 영상 프레임 생성단계는 상기 제1 영상 프레임의 홀수 행 라인들의 좌영상 화소값과 우영상 화소의 주변의 인접한 행 라인에 있는 좌영상 화소값들에서 상기 우영상 화소 위치의 좌영상 화소값을 보간하여 상기 제2 영상 프레임의 좌영상 화소를 생성하고, 상기 제1 영상 프레임의 짝수 행 라인들의 우영상 화소값과 좌영상 화소의 주변의 인접한 행 라인에 있는 우영상 화소값들에서 상기 좌영상 화소 위치의 우영상 화소값을 보간하여 상기 제2 영상 프레임의 우영상 화소를 생성하는 것을 특징으로 한다.

바람직하게, 상기 제2 영상 프레임 생성단계는 상기 제1 영상 프레임의 홀수 행 라인들의 좌영상 화소값과 우영상 화소의 주변의 인접한 행 라인에 있는 좌영상 화소값의 평균값으로 상기 우영상 화소 위치의 좌영상 화소값을 보간하여 상기 제2 영상 프레임의 좌영상 화소를 생성하고, 상기 제1 영상 프레임의 짝수 행 라인들의 우영상 화소값과 좌영상 화소의 주변의 인접한 행 라인에 있는 우영상 화소값의 평균값으로 상기 좌영상 화소 위치의 우영상 화소값을 보간하여 상기 제2 영상 프레임의 우영상 화소를 생성하는 것을 특징으로 한다.

바람직하게, 상기 제2 영상 프레임 생성단계는 상기 좌영상과 상기 우영상을 좌우로 병합하고, 상기 제1 영상 프레임의 홀수 열 라인들의 좌영상 화소값과 우영상 화소의 주변의 인접한 열 라인에 있는 좌영상 화소값들에서 상기 우영상 화소 위치의 좌영상 화소 값을 보간하여 상기 제2 영상 프레임의 좌영상 화소를 생성하고, 상기 제1 영상 프레임의 짝수 열 라인들의 우영상 화소값과 좌영상 화소의 주변의 인접한 열 라인에 있는 우영상 화소값들에서 상기 좌영상 화소 위치의 우영상 화소 값을 보간하여 상기 제2 영상 프레임의 우영상 화소를 생성하는 것을 특징으로 한다.

바람직하게, 상기 제2 영상 프레임 생성단계는 상기 좌영상과 상기 우영상을 좌우로 병합하고, 상기 제1 영상 프레임의 홀수 열 라인들의 좌영상 화소값과 우영상 화소의 주변의 인접한 열 라인에 있는 좌영상 화소값의 평균값으로 상기 우영상 화소 위치의 좌영상 화소 값을 보간하여 상기 제2 영상 프레임의 좌영상 화소를 생성하고, 상기 제1 영상 프레임의 짝수 열 라인들의 우영상 화소값과 좌영상 화소의 주변의 인접한 열 라인에 있는 우영상 화소값의 평균값으로 상기 좌영상 화소 위치의 우영상 화소 값을 보간하여 상기 제2 영상 프레임의 우영상 화소를 생성하는 것을 특징으로 한다.

바람직하게, 상기 제2 영상 프레임 생성단계는 상기 좌영상과 상기 우영상을 상하로 보간하여 병합하고 전체영상을 복수개의 영역으로 분할하여, 상기 제1 영상 프레임의 홀수 행 라인들의 좌영상 화소값과 우영상 화소의 주변의 인접한 행 라인에 있는 좌영상 화소값들에서 상기 우영상 화소 위치의 좌영상 화소 값을 보간하는데 있어 상기 우영상 화소를 포함하는 영역의 화소만을 사용하여 상기 좌영상 화소를 보간하여 상기 제2 영상 프레임의 좌영상 화소를 생성하고, 상기 제1 영상 프레임의 짝수 행 라인들의 우영상 화소값과 좌영상 화소의 주변의 인접한 행 라인에 있는 우영상 화소값들에서 상기 좌영상 화소 위치의 우영상 화소 값을 보간하는데 있어 상기 좌영상 화소를 포함하는 영역의 화소만을 사용하여 상기 우영상 화소를 보간하여 상기 제2 영상 프레임의 우영상 화소를 생성하는 것을 특징으로 한다.

바람직하게, 상기 제2 영상 프레임 생성단계는 상기 좌영상과 상기 우영상을 좌우로 보간하여 병합하고 전체영상을 복수개의 영역으로 분할하여, 상기 제1 영상 프레임의 홀수 열 라인들의 좌영상 화소값과 우영상 화소의 주변의 인접한 열 라인에 있는 좌영상 화소값들에서 상기 우영상 화소 위치의 좌영상 화소 값을 보간하는데 있어 상기 우영상 화소를 포함하는 영역의 화소만을 사용하여 상기 좌영상 화소를 보간하여 상기 제2 영상 프레임의 좌영상 화소를 생성하고, 상기 제1 영상 프레임의 짝수 열 라인들의 우영상 화소값과 좌영상 화소의 주변의 인접한 열 라인에 있는 우영상 화소값들에서 상기 좌영상 화소 위치의 우영상 화소 값을 보간하는데 있어 상기 좌영상 화소를 포함하는 영역의 화소만을 사용하여 상기 우영상 화소를 보간하여 상기 제2 영상 프레임의 우영상 화소를 생성하는 것을 특징으로 한다.

본 발명의 또 다른 한 관점에 따른 3D 동영상을 디코딩하기 위한 방법은 좌영상의 화소와 우영상의 화소를 지그재그로 배열하여 하나의 제1 영상 프레임을 생성하고 상기 제1 영상 프레임 내 좌영상의 화소와 우영상의 화소를 재배열 및 보간하여 상기 좌영상과 상기 우영상을 상하 또는 좌우로 병합하여 생성된 제2 영상 프레임을 부호화한 부호화데이터를 입력 받는 단계; 상기 부호화데이터를 복호화하여 제2 영상 복호화 프레임를 생성하는 단계; 상기 제2 영상 복호화 프레임에 상기 재배열 및 보간 작업을 역수행하여 제1 영상 복호화 프레임을 생성하는 단계; 및 상기 제1 영상 복호화 프레임을 좌우 영상으로 분리하여 보간기법을 적용하여 디스플레이에 맞는 좌우 영상을 생성하는 단계를 포함할 수 있다.

이를 통해, 본 발명은 인접하는 좌영상의 화소와 우영상의 화소를 서로 교차 배열한 후 좌영상 화소 값 또는 우영상 화소 값을 주변의 화소 값으로부터 산출하여 산출된 화소 값을 기반으로 좌영상의 화소와 우영상의 화소를 재배열하도록 함으로써, 기존의 2D 방송과의 호환성을 유지할 수 있는 효과가 있다.

또한, 본 발명은 인접하는 좌영상의 화소와 우영상의 화소를 서로 교차 배열한 후 좌영상 화소 값 또는 우영상 화소 값을 상하 또는 좌우 화소 값으로부터 산출하여 산출된 화소 값을 기반으로 좌영상의 화소와 우영상의 화소를 재배열하도록 함으로써, 기존의 top-down 방식이나 side-by-side 방식에서 발생하고 있는 수직 해상도 또는 수평 해상도의 감소로 인한 열화를 줄일 수 있는 효과가 있다.

도 1a 내지 도 1b는 종래 기술에 따른 3D 동영상을 코딩하기 위한 대표적인 방법을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 3D 동영상을 코딩하기 위한 장치를 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 화소를 교차 배열하는 원리를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 화소를 상하로 재배열하는 원리를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 3D 동영상을 코딩하기 위한 방법을 나타내는 도면이다.
도 6a 내지 도 6b는 도 3의 화소 배치에서 좌영상 또는 우영상을 분리하는 예를 보여주는 도면이다.
도 7a 내지 도 7c는 좌영상 또는 우영상을 상하로 재배치하는 예를 보여주는 도면이다.
도 8a 내지 도 8c는 좌영상 또는 우영상을 좌우로 재배치하는 예를 보여주는 도면이다.
도 9는 행렬의 행을 다시 원영상의 형태로 표시하는 예를 보여주는 도면이다.
도 10은 역행렬의 행에서 non-zero인 구간이 국부적으로 발생하는 예를 설명하기 위한 도면이다.
도 11은 역행렬의 행에서 non-zero인 구간이 거의 모든 영역에서 발생하는 예를 설명하기 위한 도면이다.
도 12는 영상을 복수개의 strip로 나누어 각 strip내의 화소 값을 예측하는 경우 동일 strip의 화소만을 사용하는 예를 보여주는 도면이다.
도 13은 영상을 복수개의 블록으로 나누어 각 블록내의 화소 값을 예측하는 경우 동일 블록의 화소만을 사용하는 예를 보여주는 도면이다.
도14는 본 발명의 일 실시예에 따른 3D 동영상을 디코딩하기 위한 장치를 나타내는 도면이다.

이하에서는, 본 발명의 실시예에 따른 3D 동영상을 코딩/디코딩하기 위한 장치 및 그 방법을 첨부한 도 2 내지 도 14를 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 상세히 설명한다.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 불구하고 동일한 참조부호를 부여할 수도 있다. 그러나, 이와 같은 경우라 하더라도 해당 구성 요소가 실시예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시예에서의 각각의 구성요소에 대한 설명에 기초하여 판단하여야 할 것이다.

특히, 본 발명에서는 인접하는 좌영상의 화소와 우영상의 화소를 서로 교차 배열한 후 좌영상 화소 값 또는 우영상 화소 값을 주변의 화소 값으로부터 산출하여 산출된 화소 값을 기반으로 좌영상의 화소와 우영상의 화소를 재배열하도록 함으로써 기존의 2D 방송과의 호환성을 유지하면서 수직 해상도 또는 수평 해상도가 감소하는 문제점을 해결하는 새로운 3D 동영상 코딩 방안을 제안한다.

도 2는 본 발명의 일 실시예에 따른 3D 동영상을 코딩하기 위한 장치를 나타내는 도면이다.

도 2에 도시한 바와 같이, 본 발명에 따른 3D 동영상을 코딩하기 위한 장치는 영상 입력부(110), 제1 영상 프레임 생성부(120), 제2 영상 프레임 생성부(130), 영상 코딩부(140)를 포함하여 구성될 수 있다.

영상 입력부(110)는 하나의 영상에 대한 좌영상과 우영상을 입력 받을 수 있다.

제1 영상 프레임 생성부(120)는 입력 받은 좌영상과 우영상을 기반으로 인접한 좌영상의 화소와 우영상의 화소를 교차 배열하여 하나의 제1 영상 프레임을 생성할 수 있다. 이러한 경우 도 3과 같이 좌영상 또는 우영상 화소는 모든 행과 열에 존재하게 된다.

도 3은 본 발명의 일 실시예에 따른 화소를 교차 배열하는 원리를 설명하기 위한 도면이다.

도 3에 도시한 바와 같이, 본 발명에 따라 교차 배열된 제1 영상 프레임을 보여주고 있다. 예컨대, 영상 프레임 내 제1 행 라인에서 좌영상의 화소 1, 3, 5, 7, 9, 11과 우영상의 화소 2, 4, 6, 8, 10, 12가 교차 배열되어 있는 것을 알 수 있다. 물론 화소 1, 3, 5, 7, 9, 11가 우영상 화소일 수 있고 화소 2, 4, 6, 8, 10, 12가 좌영상 화소가 될 수 있다.

또한, 영상 프레임 내 각 행 라인 상에서 좌영상 화소와 우영상 화소를 교대로 배열하되, 인접한 행 라인 간의 좌영상 화소와 우영상 화소를 지그재그 형태로 배열한다. 즉, 행 라인 방향으로 좌영상 화소와 우영상 화소가 교차 배열하되 열 라인 방향으로도 좌영상 화소와 우영상 화소가 교차되도록 배열된다.

이때, 좌영상의 화소들 또는 우영상의 화소들 간에는 인접하지 않도록 교차 배열된다. 예컨대, 좌영상의 화소 14의 주변에는 우영상의 화소들 2, 13, 15, 26이 배열되고, 우영상의 화소 15의 주변에는 좌영상의 화소들 3, 14, 16, 27이 배열된다.

이렇게 배열된 영상 프레임은 기존의 코덱을 사용하는 것이 불가능하기 때문에 이러한 문제를 해결하기 위하여 좌영상의 화소와 우영상의 화소를 재배열한다. 즉 도3의 화소 배치에서는 좌영상 또는 우영상 화소를 분리하는 경우, 도 6a 및 도 6b와 같이 된다. 기존 부호화기로는 이러한 형태의 영상은 직접 부호화할 수 없고 이를 도 7a 및 도 7b와 같이 좌영상과 우영상을 상하로 재배치하여, 도 7c와 같이 병합하여 부호화하여야 한다. 그러나 서로 다른 행이 있는 화소를 같은 행에 배치함으로 불필요한 고주파 성분이 발생하여 부호화 효율이 저하하게 된다. 물론 도 8a, 도 8b 및 도8c와 같이 좌영상과 우영상을 좌우로 재배열하는 것도 가능하다.

좌우영상을 상하로 병합하는 경우 제2 영상 프레임 생성부(130)는 2개의 행을 기준으로 상기 제 1 영상 프레임 내 다른 행에 위치하는 좌영상 화소를 보간을 통하여 동일한 행에 위치하도록 하는 것을 특징으로 한다. 동일한 방법으로 다른 행에 위치하는 우영상 화소를 보간을 통하여 동일한 행에 위치하도록 하는 것을 특징으로 한다. 즉 상기 제2 영상 프레임 생성부가 모든 좌영상 화소는 홀수행에 배치하고 모든 우영상 화소는 짝수행에 배치하는 경우, 상기 제2 영상 프레임 생성부는 상기 제 1 영상 프레임 내 짝수행의 좌영상 화소를 사용하여 홀수행의 좌영상 화소를 보간하고, 상기 제 1 영상 프레임 내 홀수행의 우영상 화소를 사용하여 짝수행의 우영상 화소를 보간하여 이를 상하로 병합하여 제2 영상 프레임을 생성한다.

또한 좌우로 재배치하는 경우 이를 열방향으로 적용하는 것도 가능하며, 이 실시예에서는 상기 제2 영상 프레임 생성부는 2개의 열을 기준으로 상기 제 1 영상 프레임 내 다른 열에 위치하는 좌영상 화소를 보간을 통하여 동일한 열에 위치하도록 하는 것을 특징으로 한다. 동일한 방법으로 다른 열에 위치하는 우영상 화소를 보간을 통하여 동일한 열에 위치하도록 하는 것을 특징으로 한다. 즉 상기 제2 영상 프레임 생성부가 모든 좌영상 화소는 홀수열에 배치하고 모든 우영상 화소는 짝수열에 배치하는 경우, 상기 제2 영상 프레임 생성부는 상기 제 1 영상 프레임 내 짝수열의 좌영상 화소를 사용하여 홀수열의 좌영상 화소를 보간하고, 상기 제 1 영상 프레임 내 홀수열의 우영상 화소를 사용하여 짝수열의 우영상 화소를 보간하여 이를 좌우로 병합하여 제2 영상 프레임을 생성한다.

다시 설명하면, 상하로 재배치하는 경우 상기 제2 영상 프레임 생성부는 상기 제1 영상 프레임의 홀수 행의 원래 존재하였던 좌영상 화소값과 상기 제1 영상 프레임의 짝수 행의 좌영상 화소를 사용하여 동일 열의 홀수행 화소를 보간하여 구한 보간 홀수행 좌영상 화소를 사용하여 상기 제2 영상 프레임의 좌영상 화소를 생성한다. 물론 상기 제2 영상 프레임 생성부는 상기 제1 영상 프레임의 원래 존재하였던 짝수 행의 좌영상 화소값과 상기 제1 영상 프레임의 홀수 행의 좌영상 화소를 사용하여 동일 열의 짝수행 화소를 보간하여 구한 보간 짝수행 좌영상 화소를 사용하여 상기 제2 영상 프레임의 좌영상 화소를 생성하는 것도 가능하다. 동일한 방법으로 상기 제2 영상 프레임 생성부는 상기 제2 영상 프레임의 우영상 화소를 생성한다.

제2 영상 프레임 생성부는 보간 시 상하 또는 좌우 화소를 이용하여 새로운 화소를 보간하여 생성한다.

도 4는 본 발명의 일 실시예에 따른 화소를 상하로 재배열하는 원리를 설명하기 위한 도면이다.

도 4에 도시한 바와 같이, 본 발명에 따라 재 배열된 제2 영상 프레임을 보여주고 있다. 예컨대, 제1 행 라인부터 제4 행 라인까지에는 좌영상의 화소들이 배열되고, 제5 행 라인부터 제8 행 라인까지는 우영상의 화소들이 배열되는 것을 알 수 있다.

구체적으로, 제2 영상 프레임 내 좌영상의 홀수 행 라인은 도 3의 제1 영상 프레임 내 홀수 행 라인으로부터 생성되고, 제2 영상 프레임 내 좌영상의 짝수행 라인은 도 3의 제1 영상 프레임 내 짝수행 라인을 기반으로 생성된다.

마찬가지로, 제2 영상 프레임 내 우영상의 홀수 행 라인은 도 3의 제1 영상 프레임 내 홀수 행 라인을 기반으로 생성되고, 제2 영상 프레임 내 우영상의 짝수 행 라인은 도 3의 제1 영상 프레임 내 짝수 행 라인으로부터 생성된다.

이때, 제1 영상 프레임 내에 교차 배열된 화소들과 제2 영상 프레임 내에 재 배열된 화소들 간에는 다음과 같은 [수학식 1]과 [수학식 2]의 관계가 성립될 수 있다.

[수학식 1]

[수학식 2]

여기서, 도3을 기준으로 A는 96X96 매트릭스를 나타내고, 제1 영상 프레임의 96개의 Y 화소를 벡터로 표시하며, 제2 영상 프레임의 96개의 Z 화소를 벡터로 각각 표시한다. 그리고 화소 Y와 Z 각각의 아래 첨자는 영상 프레임 내 화소의 위치를 나타낸다. 만일 간단한 bilinear interpolation을 사용하고, 좌우 영상을 상하로 병합한다면, 도3과 도4을 기준으로 Z 화소는 다음의 [수학식 3]과 같이 구할 수 있다.

[수학식 3]

Z13 = Y25

Z14 = (Y14+Y38)/2

Z15 = Y27

Z16 = (Y16+Y40)/2

Z61 = Y37

Z62 = (Y26+Y50)/2

Z63 = Y39

Z64 = (Y28+Y52)/2

만일 간단한 bilinear interpolation을 사용하고, 좌우 영상을 좌우로 병합한다면, 도 3과 도 4를 기준으로 Z 화소는 다음의 [수학식 4]와 같이 구할 수 있다.

[수학식 4]

Z2 = Y3

Z14 = (Y14+Y16)/2

Z26 = Y27

Z38 = (Y38+Y40)/2

Z8 = Y4

Z20 = (Y15+Y17)/2

Z32 = Y28

Z44 = (Y39+Y41)/2

이와 같은 방법으로 생성된 행렬 A를 제1프레임 영상 벡터에 곱하면, 제2프레임 영상 벡터를 구할 수 있다. 물론 여기서 bilinear interpolation대신에 cubic interpolation 등과 같이 우수한 성능의 선형예측함수를 적용할 수 있다. 여기서 [수학식 2]에서 볼 수 행렬 A의 역행열을 Z 행열에 곱하면 Y 행열을 구할 수 있다. 즉 복호화부에서는 수신된 제2프레임 영상에 행렬 A의 역행열을 곱하여 제1프레임 영상을 구할 수 있다. 제1프레임 영상에서는 좌우 화소가 지그재그 형태로 배열되어 있음으로 도6a 및 도6b와 같이 좌우 영상을 분리하여 디스플레이에 따라 보간하여 출력한다. 예로 도6a 및 도6b에 기존의 보간법을 적용하여 full resolution 좌영상 및 동영상을 생성하여 디스플레이할 수 있다.

일반적으로 동영상의 화소수는 매우 큰 값을 갖는다. 예로 HDTV의 경우 약 200백만 화소가 존재하고 이 경우 행렬A는 약 2,000,000 x 2,000,000가 되어 역행렬을 계산하는 것이 거의 불가능하게 된다. 그러나 선형 예측 수행 시, 행렬A 및 행렬A의 역행렬에서는 non-zero값을 갖는 구간이 국부적으로 발생하도록 선형 예측 함수를 선택할 수 있다. 예로 좌우 영상을 상하로 병합하고 bilinear interpolation을 사용하면 특정 위치의 제2영상 화소를 계산하는 데 사용되는 행렬A의 행을 다시 원영상의 형태로 표시하면 도9와 같은 패턴을 갖게 할 수 있다. 이를 해당하는 역행렬 행을 다시 원영상의 형태로 표시하면 도 10과 같이 주어진다 (일부만 표시, zero 또는 매우 작은 값을 갖는 구간 생략). 즉 중간영역에서는 동일한 패턴이 반복적으로 발생함으로 구현이 가능한 일정 크기 행렬(예, 30 x 30 정도의 행렬)을 사용하여 역행열을 구하여 이를 HDTV 크기의 영상에는 적용할 수 있다. 경계 행(row) 또는 열(colume)의 경우, 이에 맞게 처리하여야 함은 물론이다. 물론 사용된 선형함수에 따라 행렬크기를 변경할 수 있음은 물론이다. 만일 도 11과 같이 non-zero인 구간이 국부적으로 발생하지 않는 경우 선형 예측 함수를 조정하여야 한다.

일반적으로 FIR filter의 inverse filter는 IIR filter 형태로 나타난다. 따라서 이론적으로 non-zero인 구간이 영상 전체를 차지하게 되나 대부분의 값이 매우 작은 값을 갖도록 하는 것이 가능하여 FIR filter로 근사화 하여도 잔여 오차를 무시할 수 있을 정도로 감소시키는 것이 가능하다.

또 다른 실시 예로 본 발명에서는 non-zero인 구간이 도11과 영상 전체를 차지하는 것 (즉, 역행렬의 행의 element가 거의 모두 non-zeor가 되는 것)을 방지하기 위하여 선형예측을 수행할 때, 전체 영상을 분할하여 각 분할 영역의 화소값을 예측할 때 동일 영역에 속하는 화소만을 사용하여 예측한다. 예로 도 12에서는 영상을 복수개의 strip로 나누어 특정 strip내의 화소 값을 예측하는 경우 동일 strip의 화소만을 사용하여 선형 예측을 수행한다. 이 경우 역행렬 행의 non-zero인 구간을 국부적으로 제한할 수 있다. 또한 strip를 세로축 방향으로 구성할 수 있음은 물론이다.

도 13은 영상을 복수개의 블록으로 분할하여 예각 블록내의 화소 값을 예측하는 경우 동일 블록의 화소만을 사용하는 예를 보여 준다. 이와 같이 영상을 분할하여 선형예측함수를 적용하는 경우 좀더 복잡하고 정교한 예측함수를 사용할 수 있다. 일반적으로 복잡한 선형 예측함수를 사용하는 경우 역행렬 행(row)의 non-zero인 구간이 영상 전체를 차지하게 되어 HDTV와 같은 대화면 분야에 적용하는 것이 불가능하게 된다.

복호화장치에서는 좌우영상이 병합된 수신된 제2프레임 영상에 상기 행렬A이 역행렬을 곱하여 좌우영상 화소가 지그재그로 배열된 상기 제1프레임와 같은 구조의 좌우영상을 생성한다. 제1프레임 영상에서는 좌우 화소가 지그재그 형태로 배열되어 있음으로 도6a 및 도6b와 같이 좌우 영상을 분리하여 디스플레이에 따라 보간하여 출력한다. 예로 도6a 및 도6b에 기존의 보간법을 적용하여 full resolution 좌영상 및 동영상을 생성하여 디스플레이할 수 있다.

도 5는 본 발명의 일 실시예에 따른 3D 동영상을 코딩하기 위한 방법을 나타내는 도면이다.

도 5에 도시한 바와 같이, 본 발명에 따른 3D 동영상을 코딩하기 위한 장치(이하 코딩 장치라고 한다)는 하나의 영상에 대한 좌영상과 우영상을 입력 받을 수 있다(S510).

다음으로, 코딩 장치는 입력 받은 좌영상과 우영상을 기반으로 인접한 좌영상의 화소와 우영상의 화소를 교차 배열하여 하나의 제1 영상 프레임을 생성할 수 있다(S520).

이때, 좌영상의 화소들 또는 우영상의 화소들 간에는 인접하지 않도록 교차 배열된다.

다음으로, 코딩 장치는 생성된 제1 영상 프레임 내 각 행 라인에 위치하는 좌영상 화소 값 또는 우영상 화소 값을 주변의 우영상 화소 값 또는 좌영상 화소 값으로부터 산출하여 산출된 화소 값을 기반으로 좌영상의 화소와 우영상의 화소를 재배열하여 좌영상과 우영상을 상하 또는 좌우로 병합하는 하나의 제2 영상 프레임을 생성할 수 있다(S530).

즉, 코딩 장치는 제1 영상 프레임의 홀수 행 라인들의 좌영상 화소값과 우영상 화소의 주변에 있는 화소값을 기반으로 제2 영상 프레임의 좌영상 화소 값을 산출하고, 제1 영상 프레임의 짝수 행 라인들의 우영상 화소값과 좌영상 화소의 주변에 있는 화소값을 기반으로 제2 영상 프레임의 우영상 화소 값을 산출하게 된다.

다음으로, 코딩 장치는 생성된 제2 영상 프레임을 코딩 또는 부호화할 수 있다(S540).

복호화장치에서는 좌우영상이 병합된 수신된 제2프레임 영상에 상기 행렬A이 역행렬을 곱하여 좌우영상 화소가 지그재그로 배열된 상기 제1프레임와 같은 구조의 좌우영상을 생성한다. 제1프레임 영상에서는 좌우 화소가 지그재그 형태로 배열되어 있음으로 도6a 및 도6b와 같이 좌우 영상을 분리하여 디스플레이에 따라 보간하여 출력한다. 예로 도6a 및 도6b에 기존의 보간법을 적용하여 full resolution 좌영상 및 동영상을 생성하여 디스플레이할 수 있다. 도14는 이러한 과정을 보여준다.

도14는 본 발명의 일 실시예에 따른 3D 동영상을 디코딩하기 위한 장치를 나타내는 도면이다.

도 14에 도시한 바와 같이, 본 발명에 따른 3D 동영상을 디코딩하기 위한 장치는 입력부(1410), 복호화부(1420), 프레임 생성부(1430), 및 보간부(1440) 등을 포함하여 구성될 수 있다.

입력부(1410)는 좌영상의 화소와 우영상의 화소를 지그재그로 배열하여 하나의 제1 영상 프레임을 생성하고 상기 제1 영상 프레임 내 좌영상의 화소와 우영상의 화소를 재배열 및 보간하여 상기 좌영상과 상기 우영상을 상하 또는 좌우로 병합하여 생성된 제2 영상 프레임을 부호화한 부호화데이터를 입력 받을 수 있다.

복호화부(1420)는 입력 받은 부호화데이터를 복호화하여 제2 영상 복호화 프레임를 생성할 수 있다.

프레임 생성부(1430)는 복호화부(1420)에서 생성된 제2 영상 복호화 프레임에 재배열 및 보간 작업을 역수행하여 제1 영상 복호화 프레임을 생성할 수 있다.

보간부(1440)는 프레임 생성부(1430)에서 생성된 제1 영상 복호화 프레임을 좌우 영상으로 분리하여 보간기법을 적용하여 디스플레이에 맞는 좌우 영상을 생성할 수 있다.

이상에서 설명한 실시예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

110: 영상 입력부
120: 제1 영상 프레임 생성부
130: 제2 영상 프레임 생성부
140: 영상 코딩부

Claims

하나의 영상에 대한 좌영상과 우영상을 입력 받는 영상 입력부;
입력 받은 상기 좌영상과 상기 우영상을 기반으로 인접한 좌영상의 화소와 우영상의 화소를 교차 배열하여 하나의 제1 영상 프레임을 생성하는 제1 영상 프레임 생성부;
생성된 상기 제1 영상 프레임 내 인접하지 않도록 교차 배열된 좌영상의 화소와 우영상의 화소를 동일한 열 또는 행에 재배열하기 위하여 선형 보간하되, 보간되어 재배열된 화소에서 원 화소를 구하는 역보간 행렬의 영(zero)이 아닌 구간이 국부영역에만 존재하도록 선형 보간한 후 보간된 상기 좌영상과 상기 우영상을 상하 또는 좌우로 병합하는 하나의 제2 영상 프레임을 생성하는 제2 영상 프레임 생성부; 및
생성된 상기 하나의 제2 영상 프레임을 코딩하는 영상 코딩부;
를 포함하는 3D 동영상을 코딩하기 위한 장치.
삭제
제1 항에 있어서,
상기 제1 영상 프레임 생성부는,
상기 제1 영상 프레임 내 각 행 라인 상에서 좌영상 화소와 우영상 화소를 교차되도록 배열하되, 인접한 행 라인들 간의 좌영상 화소와 우영상 화소가 지그재그 형태가 되도록 배열하는 것을 특징으로 하는 3D 동영상을 코딩하기 위한 장치.
제1 항에 있어서,
상기 제2 영상 프레임 생성부는,
상기 좌영상과 상기 우영상을 상하로 병합하고,
상기 제 2 영상 프레임 내 좌영상 화소는 상기 제1 영상 프레임 내 홀수 행 라인의 좌영상의 화소를 기반으로 생성하게 되고,
상기 제2 영상 프레임 내 우영상 화소는 상기 제1 영상 프레임 내 짝수 행 라인의 우영상의 화소를 기반으로 생성되는 것을 특징으로 하는 3D 동영상을 코딩하기 위한 장치.
제4 항에 있어서,
상기 제2 영상 프레임 생성부는,
상기 제1 영상 프레임의 홀수 행 라인들의 좌영상 화소값과 우영상 화소의 주변의 인접한 행 라인에 있는 좌영상 화소값들에서 상기 우영상 화소 위치의 좌영상 화소 값을 보간하되 보간되어 재배열된 화소에서 원 화소를 구하는 역보간 행렬의 영(zero)이 아닌 구간이 국부영역에만 존재하도록 선형 보간한 후 상기 제2 영상 프레임의 좌영상 화소를 생성하고,
상기 제1 영상 프레임의 짝수 행 라인들의 우영상 화소값과 좌영상 화소의 주변의 인접한 행 라인에 있는 우영상 화소값들에서 상기 좌영상 화소 위치의 우영상 화소 값을 보간하되 보간되어 재배열된 화소에서 원 화소를 구하는 역보간 행렬의 영(zero)이 아닌 구간이 국부영역에만 존재하도록 선형 보간한 후 상기 제2 영상 프레임의 우영상 화소를 생성하는 것을 특징으로 하는 3D 동영상을 코딩하기 위한 장치.
제4 항에 있어서,
상기 제2 영상 프레임 생성부는,
상기 제1 영상 프레임의 홀수 행 라인들의 좌영상 화소값과 우영상 화소의 주변의 인접한 행 라인에 있는 좌영상 화소값의 평균값으로 상기 우영상 화소 위치의 좌영상 화소 값을 보간하되 보간되어 재배열된 화소에서 원 화소를 구하는 역보간 행렬의 영(zero)이 아닌 구간이 국부영역에만 존재하도록 선형 보간한 후 상기 제2 영상 프레임의 좌영상 화소를 생성하고,
상기 제1 영상 프레임의 짝수 행 라인들의 우영상 화소값과 좌영상 화소의 주변의 인접한 행 라인에 있는 우영상 화소값의 평균값으로 상기 좌영상 화소 위치의 우영상 화소 값을 보간하되 보간되어 재배열된 화소에서 원 화소를 구하는 역보간 행렬의 영(zero)이 아닌 구간이 국부영역에만 존재하도록 선형 보간한 후 상기 제2 영상 프레임의 우영상 화소를 생성하는 것을 특징으로 하는 3D 동영상을 코딩하기 위한 장치.
제4 항에 있어서,
상기 제2 영상 프레임 생성부는,
상기 좌영상과 상기 우영상을 좌우로 병합하고,
상기 제1 영상 프레임의 홀수 열 라인들의 좌영상 화소값과 우영상 화소의 주변의 인접한 열 라인에 있는 좌영상 화소값들에서 상기 우영상 화소 위치의 좌영상 화소 값을 보간하되 보간되어 재배열된 화소에서 원 화소를 구하는 역보간 행렬의 영(zero)이 아닌 구간이 국부영역에만 존재하도록 선형 보간한 후 상기 제2 영상 프레임의 좌영상 화소를 생성하고,
상기 제1 영상 프레임의 짝수 열 라인들의 우영상 화소값과 좌영상 화소의 주변의 인접한 열 라인에 있는 우영상 화소값들에서 상기 좌영상 화소 위치의 우영상 화소 값을 보간하되 보간되어 재배열된 화소에서 원 화소를 구하는 역보간 행렬의 영(zero)이 아닌 구간이 국부영역에만 존재하도록 선형 보간한 후 상기 제2 영상 프레임의 우영상 화소를 생성하는 것을 특징으로 하는 3D 동영상을 코딩하기 위한 장치.
제4 항에 있어서,
상기 제2 영상 프레임 생성부는,
상기 좌영상과 상기 우영상을 좌우로 병합하고,
상기 제1 영상 프레임의 홀수 열 라인들의 좌영상 화소값과 우영상 화소의 주변의 인접한 열 라인에 있는 좌영상 화소값의 평균값으로 상기 우영상 화소 위치의 좌영상 화소 값을 보간하되 보간되어 재배열된 화소에서 원 화소를 구하는 역보간 행렬의 영(zero)이 아닌 구간이 국부영역에만 존재하도록 선형 보간한 후 상기 제2 영상 프레임의 좌영상 화소를 생성하고,
상기 제1 영상 프레임의 짝수 열 라인들의 우영상 화소값과 좌영상 화소의 주변의 인접한 열 라인에 있는 우영상 화소값의 평균값으로 상기 좌영상 화소 위치의 우영상 화소 값을 보간하되 보간되어 재배열된 화소에서 원 화소를 구하는 역보간 행렬의 영(zero)이 아닌 구간이 국부영역에만 존재하도록 선형 보간한 후 상기 제2 영상 프레임의 우영상 화소를 생성하는 것을 특징으로 하는 3D 동영상을 코딩하기 위한 장치.
제1 항에 있어서,
상기 제2 영상 프레임 생성부는,
상기 좌영상과 상기 우영상을 복수개의 영역으로 분할하고,
상기 인접하지 않도록 교차 배열된 좌영상의 화소와 우영상의 화소를 동일한 열 또는 행에 재배열하기 위하여 선형 보간하되 보간하는데 있어 보간 대상 화소를 포함하는 영역의 화소만을 사용하는 것을 특징으로 하는 3D 동영상을 코딩하기 위한 장치.
삭제
좌영상의 화소와 우영상의 화소를 지그재그로 배열하여 하나의 제1 영상 프레임을 생성하고 상기 제1 영상 프레임 내 인접하지 않도록 교차 배열된 좌영상의 화소와 우영상의 화소를 동일한 열 또는 행에 재배열하기 위하여 선형 보간하되 재배열된 화소에서 원 화소를 구하는 역보간 행렬의 영(zero)이 아닌 구간이 국부영역에만 존재하도록 선형 보간한 후 보간된 상기 좌영상과 상기 우영상을 상하 또는 좌우로 병합하여 생성된 제2 영상 프레임을 부호화한 부호화데이터를 입력 받는 입력부;
상기 부호화데이터를 복호화하여 좌영상과 우영상이 상하 또는 좌우로 병합된 제1 영상 복호화 프레임를 생성하는 복호화부;
상기 제1 영상 복호화 프레임에 대하여 상기 재배열 및 보간 작업을 역수행하여 좌영상의 화소와 우영상의 화소가 인접하지 않도록 교차 배열된 제2 영상 복호화 프레임을 생성하는 프레임 생성부; 및
상기 제2 영상 복호화 프레임을 좌우 영상으로 분리하여 각 보간기법을 적용하여 디스플레이에 맞는 좌우 영상을 생성하는 보간부;
를 포함하는 3D 동영상을 디코딩하기 위한 장치.
하나의 영상에 대한 좌영상과 우영상을 입력 받는 영상 입력단계;
입력 받은 상기 좌영상과 상기 우영상을 기반으로 인접한 좌영상의 화소와 우영상의 화소를 교차 배열하여 하나의 제1 영상 프레임을 생성하는 제1 영상 프레임 생성단계;
생성된 상기 제1 영상 프레임 내 인접하지 않도록 교차 배열된 좌영상의 화소와 우영상의 화소를 동일한 열 또는 행에 재배열하기 위하여 선형 보간하되, 보간되어 재배열된 화소에서 원 화소를 구하는 역보간 행렬의 영(zero)이 아닌 구간이 국부영역에만 존재하도록 선형 보간한 후 보간된 상기 좌영상과 상기 우영상을 상하 또는 좌우로 병합하는 하나의 제2 영상 프레임을 생성하는 제2 영상 프레임 생성단계; 및
생성된 상기 하나의 제2 영상 프레임을 코딩하는 영상 코딩단계;
를 포함하는 3D 동영상을 코딩하기 위한 방법.
삭제
제12 항에 있어서,
상기 제1 영상 프레임 생성단계는,
상기 제1 영상 프레임 내 각 행 라인 상에서 좌영상 화소와 우영상 화소를 교차되도록 배열하되, 인접한 행 라인들 간의 좌영상 화소와 우영상 화소가 지그재그 형태가 되도록 배열하는 것을 특징으로 하는 3D 동영상을 코딩하기 위한 방법.
제12 항에 있어서,
상기 제2 영상 프레임 생성단계는,
상기 좌영상과 상기 우영상을 상하로 병합하고,
상기 제 2 영상 프레임 내 좌영상 화소는 상기 제1 영상 프레임 내 홀수 행 라인의 좌영상의 화소를 기반으로 생성하게 되고,
상기 제2 영상 프레임 내 우영상 화소는 상기 제1 영상 프레임 내 짝수 행 라인의 우영상의 화소를 기반으로 생성되는 것을 특징으로 하는 3D 동영상을 코딩하기 위한 방법.
제15 항에 있어서,
상기 제2 영상 프레임 생성단계는,
상기 제1 영상 프레임의 홀수 행 라인들의 좌영상 화소값과 우영상 화소의 주변의 인접한 행 라인에 있는 좌영상 화소값들에서 상기 우영상 화소 위치의 좌영상 화소값을 보간하되 보간되어 재배열된 화소에서 원 화소를 구하는 역보간 행렬의 영(zero)이 아닌 구간이 국부영역에만 존재하도록 선형 보간한 후 상기 제2 영상 프레임의 좌영상 화소를 생성하고,
상기 제1 영상 프레임의 짝수 행 라인들의 우영상 화소값과 좌영상 화소의 주변의 인접한 행 라인에 있는 우영상 화소값들에서 상기 좌영상 화소 위치의 우영상 화소값을 보간하되 보간되어 재배열된 화소에서 원 화소를 구하는 역보간 행렬의 영(zero)이 아닌 구간이 국부영역에만 존재하도록 선형 보간한 후 상기 제2 영상 프레임의 우영상 화소를 생성하는 것을 특징으로 하는 3D 동영상을 코딩하기 위한 방법.
제15 항에 있어서,
상기 제2 영상 프레임 생성단계는,
상기 제1 영상 프레임의 홀수 행 라인들의 좌영상 화소값과 우영상 화소의 주변의 인접한 행 라인에 있는 좌영상 화소값의 평균값으로 상기 우영상 화소 위치의 좌영상 화소값을 보간하되 보간되어 재배열된 화소에서 원 화소를 구하는 역보간 행렬의 영(zero)이 아닌 구간이 국부영역에만 존재하도록 선형 보간한 후 상기 제2 영상 프레임의 좌영상 화소를 생성하고,
상기 제1 영상 프레임의 짝수 행 라인들의 우영상 화소값과 좌영상 화소의 주변의 인접한 행 라인에 있는 우영상 화소값의 평균값으로 상기 좌영상 화소 위치의 우영상 화소값을 보간하되 보간되어 재배열된 화소에서 원 화소를 구하는 역보간 행렬의 영(zero)이 아닌 구간이 국부영역에만 존재하도록 선형 보간한 후 상기 제2 영상 프레임의 우영상 화소를 생성하는 것을 특징으로 하는 3D 동영상을 코딩하기 위한 방법.
제15 항에 있어서,
상기 제2 영상 프레임 생성단계는,
상기 좌영상과 상기 우영상을 좌우로 병합하고,
상기 제1 영상 프레임의 홀수 열 라인들의 좌영상 화소값과 우영상 화소의 주변의 인접한 열 라인에 있는 좌영상 화소값들에서 상기 우영상 화소 위치의 좌영상 화소 값을 보간하되 보간되어 재배열된 화소에서 원 화소를 구하는 역보간 행렬의 영(zero)이 아닌 구간이 국부영역에만 존재하도록 선형 보간한 후 상기 제2 영상 프레임의 좌영상 화소를 생성하고,
상기 제1 영상 프레임의 짝수 열 라인들의 우영상 화소값과 좌영상 화소의 주변의 인접한 열 라인에 있는 우영상 화소값들에서 상기 좌영상 화소 위치의 우영상 화소 값을 보간하되 보간되어 재배열된 화소에서 원 화소를 구하는 역보간 행렬의 영(zero)이 아닌 구간이 국부영역에만 존재하도록 선형 보간한 후 상기 제2 영상 프레임의 우영상 화소를 생성하는 것을 특징으로 하는 3D 동영상을 코딩하기 위한 방법.
제15 항에 있어서,
상기 제2 영상 프레임 생성단계는,
상기 좌영상과 상기 우영상을 좌우로 병합하고,
상기 제1 영상 프레임의 홀수 열 라인들의 좌영상 화소값과 우영상 화소의 주변의 인접한 열 라인에 있는 좌영상 화소값의 평균값으로 상기 우영상 화소 위치의 좌영상 화소 값을 보간하되 보간되어 재배열된 화소에서 원 화소를 구하는 역보간 행렬의 영(zero)이 아닌 구간이 국부영역에만 존재하도록 선형 보간한 후 상기 제2 영상 프레임의 좌영상 화소를 생성하고,
상기 제1 영상 프레임의 짝수 열 라인들의 우영상 화소값과 좌영상 화소의 주변의 인접한 열 라인에 있는 우영상 화소값의 평균값으로 상기 좌영상 화소 위치의 우영상 화소 값을 보간하되 보간되어 재배열된 화소에서 원 화소를 구하는 역보간 행렬의 영(zero)이 아닌 구간이 국부영역에만 존재하도록 선형 보간한 후 상기 제2 영상 프레임의 우영상 화소를 생성하는 것을 특징으로 하는 3D 동영상을 코딩하기 위한 방법.
제12 항에 있어서,
상기 제2 영상 프레임 생성단계는,
상기 좌영상과 상기 우영상을 복수개의 영역으로 분할하고,
상기 인접하지 않도록 교차 배열된 좌영상의 화소와 우영상의 화소를 동일한 열 또는 행에 재배열하기 위하여 선형 보간하되 보간하는데 있어 보간 대상 화소를 포함하는 영역의 화소만을 사용하는 것을 특징으로 하는 3D 동영상을 코딩하기 위한 방법.
삭제
좌영상의 화소와 우영상의 화소를 지그재그로 배열하여 하나의 제1 영상 프레임을 생성하고 상기 제1 영상 프레임 내 인접하지 않도록 교차 배열된 좌영상의 화소와 우영상의 화소를 동일한 열 또는 행에 재배열하기 위하여 선형 보간하되 재배열된 화소에서 원 화소를 구하는 역보간 행렬의 영(zero)이 아닌 구간이 국부영역에만 존재하도록 선형 보간한 후 보간된 상기 좌영상과 상기 우영상을 상하 또는 좌우로 병합하여 생성된 제2 영상 프레임을 부호화한 부호화데이터를 입력 받는 단계;
상기 부호화데이터를 복호화하여 좌영상과 우영상이 상하 또는 좌우로 병합된 제1 영상 복호화 프레임를 생성하는 단계;
상기 제1 영상 복호화 프레임에 대하여 상기 재배열 및 보간 작업을 역수행하여 좌영상의 화소와 우영상의 화소가 인접하지 않도록 교차 배열된 제2 영상 복호화 프레임을 생성하는 단계; 및
상기 제2 영상 복호화 프레임을 좌우 영상으로 분리하여 각 보간기법을 적용하여 디스플레이에 맞는 좌우 영상을 생성하는 단계;
를 포함하는 3D 동영상을 디코딩하기 위한 방법.