KR101078525B1

KR101078525B1 - 다중시점 영상의 부호화 방법

Info

Publication number: KR101078525B1
Application number: KR1020090132052A
Authority: KR
Inventors: 최민수; 김진상; 이수호; 조원경
Original assignee: 경희대학교 산학협력단
Priority date: 2009-12-28
Filing date: 2009-12-28
Publication date: 2011-10-31
Also published as: KR20110075568A

Abstract

본 발명은 다중 시점 영상의 부호화 방법 및 그 장치에 관한 것으로, 보다 구체적으로 다중 시점의 영상 중 적어도 1개 이상의 기준 시점 영상을 결정하고, 기준 시점의 영상에 대한 예측 부호화 모드를 이용하여 참조 시점의 영상을 부호화하는 방법에 관한 것이다.

본 발명에 따른 다중시점 영상의 부호화 방법은 기준 시점 영상의 예측 부호화 모드를 참조 시점 영상의 예측 부호화 모드로 이용함으로써, 참조 시점 영상의 예측 부호화 모드를 결정하는데 사용되는 연산량과 시간을 줄일 수 있다. 또한 본 발명에 따른 다중시점 영상의 부호하 방법은 다중 시점 중 기준 시점의 위치를 변경하거나 다수의 기준 시점을 선택함으로써, 압축 부호화되는 영상 화질이 저하되는 것을 방지할 수 있다.

다중시점, 3D 영상, 시차 예측, 압축 부호화

Description

다중시점 영상의 부호화 방법{Method for coding of multi-view video}

디지털 영상 서비스는 HD(High definition)급 영상에서 UD(Ultra definition)급으로 발전하면서 3차원 서비스가 도입되고 있다. 2001년부터 3DAV(3 Dimensional Audio Vidio) 그룹에서는 MPEG 표준화에 포함될 3차원 오디오·비디오 기술의 새로운 표준화 작업을 수행하여 2008년도에 기존의 H.264 표준에 기반한 3차원 다중 시점 영상 표준을 제정하였다. 앞으로 3차원 다중 시점 영상을 응용한 다양한 어플리케이션이 활발하게 개발될 것으로 예상된다.

3차원 다중 시점 영상이란 단일 시점 카메라를 이용하여 2차원의 평면적인 장면을 획득하는 기존의 영상 획득 방법과는 달리, 여러 대의 카메라를 이용하여 획득한 입체적인 동영상을 의미한다. 다중 시점 영상 부호화를 포함한 3차원 영상에 대한 압축 기술의 핵심은 전통적인 시간 및 공간상의 중복성뿐만 아니라 카메라 시점 사이의 중복성을 이용하여 보다 효과적으로 3차원 영상을 부호화 압축하는 것이다.

그러나 3차원 다중 시점 영상의 부호화 압축시 가장 큰 문제점은 다중 시점에 비례하여 다수의 카메라에서 획득한 영상 사이의 시간, 공간, 시점의 예측 부호화를 수행하는 것이며, 3차원 다중 시점 영상의 부호화 압축에서 다수의 영상 사이의 시간, 공간, 시점의 예측 부호화를 수행하는데 전체 부호화 압축 연산의 70% 내지 80%를 차지하여 전체 부호화 압축 연산량이 크게 증가하게 된다.

도 1은 종래 통상적인 다중 시점 영상의 압축 부호화 방법을 설명하기 위한 기능 블록도이다.

도 1을 참고로 살펴보면, 다수의 카메라로부터 획득한 다수의 영상(S1, S2,..., Sn)은 각각 부호화되어 비트스트림으로 생성된다. 다수의 카메라로부터 획득한 다수의 영상들 중 제1 카메라로부터 획득한 제1 영상의 부호화 장치(10)를 살펴보면, 움직임 추정부(11)는 단위 매크로 블록 크기로 입력되는 현재 단위 매크로 블록의 움직임을 추정한다. 즉, 현재 단위 매크로 블록의 움직임 추정은 단위 매크로 블록과 일치하는 단위 매크로 블록을 찾기 위하여 참조 프레임의 영역을 탐색한다. 단위 매크로 블록과 참조 프레임의 탐색 영역 내의 가능한 단위 매크로 블록의 모두 또는 일부를 비교하여, 그 중 가장 일치하는 후보 매크로 블록을 선택한다. 여기서 단위 매크로 블록의 크기는 4×4, 4×8, 8×4, 8×8, 8×16, 16×8, 16×16이다.

움직임 보상부(13)는 현재 단위 매크로 블록과 선택한 후보 매크로 블록을 서로 차감하여 오차값을 생성한다. 현재 단위 매크로 블록에 대한 움직임 추정과 움직임 보상은 4×4, 4×8, 8×4, 8×8, 8×16, 16×8, 16×16 크기의 단위 매크로 블록 크기로 수행되며, 예측 모드 결정부(15)는 각 단위 매크로 블록의 움직임 추정과 움직임 보상을 수행하여 생성된 오차값에 기초하여 각 단위 매크로 블록의 부호화 예측 모드, 즉 단위 매크로 블록의 부호화 압축 크기를 결정한다.

부호화부(17)는 결정한 부호화 예측 모드에 따라 생성된 오차값과 단위 매크로 블록의 움직임 벡터를 DCT, 웨이블렛 등과 같은 변환 방식으로 변환하고, 변환 데이터를 양자화하여 공간적 중복 요소를 제거한다. 부호화부(17)는 오차 블록과 단위 매크로 블록의 움직임 벡터를 변환, 양자화 과정을 통하여 제1 영상의 비트스트림을 생성한다. 한편, 제1 카메라로부터 획득한 제1 영상의 부호화 장치는 양자화된 데이터를 다시 디코딩하여 이후의 영상 예측을 위한 참조 프레임을 생성한다. 이에 대한 구체적인 설명은 H.264 표준에 명확하게 기재되어 있으므로 이에 대한 설명은 생략한다.

다중 카메라로부터 획득한 영상 중 제2 카메라로부터 획득한 제2 영상의 부호화 장치(20)에 대해 살펴보면, 제2 영상의 부호화 장치(20)는 크게 시차 예측 부분과 시간 예측 부분으로 나누어진다. 여기서 시차 예측 부분은 제2 영상과 제1 영상 사이의 시점 차이에 기초하여 제2 영상의 오차값을 계산하며, 시간 예측 부분은 제2 영상 자체에서 참조 프레임과 현재 매크로 블록 사이의 움직임 보상을 통한 시간 차이에 기초한 제2 영상의 오차값을 계산한다.

제2 영상의 시차 예측 부분을 먼저 살펴보면, 시차 추정부(21)는 제1 영상의 단위 매크로 블록과 제2 영상의 단위 매크로 블록 사이의 시점 차이, 즉 시차를 추정한다. 즉, 시차 추정부(21)는 제2 카메라를 통해 획득한 제2 영상의 단위 매크로 블록에 일치하는 제1 카메라를 통해 획득한 제1 영상의 단위 매크로 블록을 검색한다. 시차 보상부(22)는 검색한 제1 영상의 단위 매크로 블록과 제2 영상의 단위 매크로 블록을 차감하여 제2 영상의 단위 매크로 블록에 대한 오차값을 생성한다.

다음으로 제2 영상의 시간 예측 부분을 살펴보면, 제2 영상의 움직임 추정부(23)는 단위 매크로 블록 크기로 입력되는 제2 영상의 현재 단위 매크로 블록의 움직임을 추정한다. 제2 영상의 현재 프레임의 단위 매크로 블록과 제2 영상의 참조 프레임의 탐색 영역 내의 가능한 단위 매크로 블록의 모두 또는 일부를 비교하여, 그 중 가장 일치하는 후보 매크로 블록을 선택한다.

여기서 단위 매크로 블록의 크기는 4×4, 4×8, 8×4, 8×8, 8×16, 16×8, 16×16이다.

움직임 보상부(25)는 제2 영상의 현재 단위 매크로 블록과 선택한 후보 단위 매크로 블록을 서로 차감하여 오차값을 생성한다. 현재 단위 매크로 블록에 대한 움직임 추정과 움직임 보상은 4×4, 4×8, 8×4, 8×8, 8×16, 16×8, 16×16 크기의 단위 매크로 블록으로 수행한다.

예측 모드 결정부(27)는 시차 보상부(22)와 움직임 보상부(25)에서 계산한 오차값에 기초하여 제2 영상 매크로 블록의 부호화를 위한 예측 모드를 결정한다. 즉, 예측 모드 결정부(27)는 제2 영상을 보다 적은 데이터로 압축하기 위하여 제2 영상의 단위 매크로 블록을 시차 예측 부호화 모드로 부호화할 것인지 또는 시간 예측 부호화 모드로 부호화할 것인지 판단한다. 부호화부(29)는 예측 모드 결정부(27)에서 결정한 예측 부호화 모드에 따라 제2 영상의 단위 매크로 블록의 오차값을 DCT, 웨이블렛 등의 방식으로 변환하고 변환한 오차 데이터를 양자화하여 제2 영상의 비트스트림을 생성한다.

다수의 카메라를 통해 획득한 다수의 영상들 중 제1 영상을 제외한 다른 영상들은 위에서 설명한 제2 영상의 부호화 방법과 동일한 방법으로 부호화되어 각 영상의 비트스트림이 생성된다.

그러나 도 1을 참고로 설명한 종래 다중시점 영상의 부호화 방법은 다수의 카메라를 통해 획득한 각 시점의 영상에 대해 시차 예측과 시간 예측을 모두 수행하여 각 영상의 부호화 예측 모드를 결정함으로써, 다중 시점 영상의 부호화에 많은 연산량을 요구한다는 문제점을 가진다.

도1 에서 설명한 종래 다중 시점 영상의 부호화 방법이 가지는 문제점을 해결하기 위하여 인접 시점의 예측 정보를 이용하는 방법(이하 '종래기술 2'라 언급함)이 제안되었다. 종래 기술2는 다중 시점 영상들 중 서로 인접하고 있는 영상들은 높은 상관성을 가진다는 특징에 기반하여, 만약 시점 간의 거리가 가깝고 큰 움직임을 가지는 영상이 아니라면 인접한 시점 및 시간의 예측 정보를 해당 시점의 예측 정보로 사용한다. 즉, 인접 시점의 매크로 블록의 예측 부호화 모드, 움직임 벡터와 같은 예측 정보를 인접 시점에 대한 주변 시점의 예측 부호화 모드, 움직임 벡터로 동일하게 그대로 사용함으로써 다중 시점의 영상을 압축 부호화하는데 연산량을 크게 줄일 수 있다.

한편, 도1 에서 설명한 종래 다중 시점 영상의 부호화 방법이 가지는 문제점을 해결하기 위하여 배경과 움직이는 객체를 분리하여 예측 부호화 모드를 달리 적용하는 방법(이하 '종래기술3'라 언급함)이 제안되었다. 종래 기술3은 모든 영상은 움직임이 적은 배경과 움직임이 많은 객체를 포함한다는 사실에 기반하여, 움직임이 작은 배경은 시간 예측 부호화 모드로 부호화하며 움직이는 객체는 시점 예측 부호화 모드로 부호화하여 다중 시점의 영상을 보다 효율적으로 압축 부호화할 수 있다.

그러나 종래 기술2는 인접 시점의 영상에 대한 예측 정보를 그대로 동일하게 사용함으로써 인접 영상과 해당 영상 사이의 동일성에 크게 차이가 나는 경우가 발생하며 이로 인하여 해당 시점의 모든 매크로 블록에 인접 영상의 예측 정보를 그대로 사용할 수 없으며, 인접 영상과 해당 영상의 동일성을 판단하는데 오히려 많은 연산량을 필요로 한다는 문제점을 가진다. 한편, 종래 기술3은 영상에서 배경과 움직이는 객체를 구분하는데 많은 연산량을 필요로 한다는 문제점을 가진다.

따라서 본 발명은 종래 기술이 가지는 문제점을 극복하기 위한 것으로, 본 발명이 이루고자 하는 목적은 다중 시점 영상을 적은 연산량으로 부호화하는 방법을 제공하는 것이다.

본 발명이 이루고자 하는 다른 목적은 다중 시점의 영상을 적은 연산량으로 정확하게 부호화하는 방법을 제공하는 것이다.

본 발명이 이루고자 하는 또 다른 목적은 기준 시점의 예측 부호화 모드를 이용하여 참조 시점의 예측 부호화 모드를 결정하는 방법을 제공하는 것이다.

본 발명의 목적을 달성하기 위하여, 본 발명에 따른 다중시점 영상의 부호화 방법은 다중 시점 중 기준 시점 영상의 매크로 블록에 대한 부호화 예측 모드를 결정하는 단계와, 결정한 기준 시점 영상의 매크로 블록에 대한 부호화 예측 모드를 참조 시점 영상의 매크로 블록에 대한 부호화 예측 모드로 결정하는 단계 및 결정 한 참조 시점 영상의 매크로 블록에 대한 부호화 예측 모드로 참조 시점 영상의 매크로 블록을 부호화하는 단계를 포함한다.

다중 시점 중 제1 시점의 영상은 시간 예측만을 수행하여 부호화하며, 기준 시점의 영상은 제1 시점 영상의 참조 프레임을 기준으로 단방향 시점(disparity) 예측과 시간 예측을 수행하여 부호화 예측 모드를 결정하며, 참조 시점의 영상은 기준 시점의 영상에 대한 부호화 예측 모드를 참조 시점의 영상에 대한 부호화 예측 모드로 결정한다.

바람직하게, 기준 시점은 다중 시점 중 중간 시점으로 선택되거나, 다중 시점 중 적어도 2개 이상의 기준 시점이 선택되는 것을 특징으로 한다.

본 발명에 따른 다중 시점의 예측 부호화 모드를 결정하는 방법은 다중 시점 중 시간 예측만을 수행하여 영상을 부호화하는 제1 시점에서 생성된 참조 영상의 매크로 블록에 기초하여 기준 시점 영상의 매크로 블록에 대한 시점 예측을 수행하는 단계와, 기준 시점 영상의 매크로 블록에 대한 시간 예측을 수행하는 단계와, 기준 시점 영상의 매크로 블록에 대한 시점 예측과 시차 예측 값에 기초하여 기준 시점 영상의 매크로 블록에 대한 부호화 예측 모드를 결정하는 단계 및 결정한 기준 시점 영상의 매크로 블록에 대한 부호화 예측 모드를 참조 시점 영상의 매크로 블록에 대한 부호화 예측 모드로 결정하는 단계를 포함한다.

본 발명에 따른 다중시점 영상의 부호화 방법은 종래 다중시점 영상의 부호화 방법과 비교하여 다음과 같은 다양한 효과들을 가진다.

첫째, 본 발명에 따른 다중시점 영상의 부호화 방법은 기준 시점 영상의 예측 부호화 모드를 참조 시점 영상의 예측 부호화 모드로 이용함으로써, 참조 시점 영상의 예측 부호화 모드를 결정하는데 사용되는 연산량과 시간을 줄일 수 있다.

둘째, 본 발명에 따른 다중시점 영상의 부호화 방법은 참조 시점 영상의 예측 부호화 모드를 기준 시점 영상의 예측 부호화 모드로 결정할 뿐, 결정한 참조 시점 영상의 예측 부호화 모드에 따라 참조 시점 영상의 오차값을 직접 계산함으로써 참조 시점의 영상을 정확하게 부호화할 수 있다.

셋째, 본 발명에 따른 다중시점 영상의 부호하 방법은 다중 시점 중 기준 시점의 위치를 변경하거나 다수의 기준 시점을 선택함으로써, 압축 부호화되는 영상 화질이 저하되는 것을 방지할 수 있다.

이하 첨부한 도면을 참고로 본 발명에 따른 다중시점 영상의 부호화 방법에 대해 보다 구체적으로 설명한다.

도 2는 본 발명에 따른 다중시점 영상의 부호화 장치를 설명하기 위한 기능 블록도이다.

도 2를 참고로 보다 구체적으로 살펴보면, 다수의 카메라로부터 획득한 다수의 영상(S1, S2,..., Sn)은 각각 압축 부호화되어 비트스트림으로 생성된다. 다수의 카메라로부터 획득한 다수의 영상들 중 제1 카메라로부터 획득한 제1 영상의 부호화 장치(100)를 살펴보면, 움직임 추정부(110)는 4×4, 4×8, 8×4, 8×8, 8×16, 16×8, 16×16 크기의 매크로 블록 단위로 현재 프레임의 단위 매크로 블록과 일치하는 단위 매크로 블록을 참조 프레임에서 탐색하여 현재 프레임의 단위 매크로 블록과 가장 일치하는 참조 프레임의 후보 매크로 블록을 선택한다.

움직임 보상부(120)는 현재 단위 매크로 블록과 선택한 후보 매크로 블록을 서로 차감하여 오차값을 생성하며, 예측 모드 결정부(130)는 각 단위 매크로 블록의 움직임 추정과 움직임 보상을 수행하여 생성된 오차값에 기초하여 각 단위 매크로 블록의 부호화 예측 모드, 즉 단위 매크로 블록의 부호화 압축 크기를 결정한다. 부호화부(140)는 결정한 부호화 예측 모드에 따라 생성된 오차값과 단위 매크로 블록의 움직임 벡터를 DCT, 웨이블렛 등과 같은 변환 방식으로 변환하고, 변환 데이터를 양자화하여 제1 영상의 비트스트림을 생성한다.

다중 카메라로부터 획득한 영상 중 기준 시점인 제2 카메라로부터 획득한 제2 영상의 부호화 장치(200)에 대해 살펴보면, 제2 영상의 부호화 장치(200)는 크게 시차 예측 부분과 시간 예측 부분으로 나누어진다. 제2 영상의 시차 예측 부분을 먼저 살펴보면, 시차 추정부(210)는 제1 영상의 매크로 블록과 제2 영상의 매크로 블록 사이의 시차를 추정한다. 즉, 시차 추정부(210)는 기준 시점인 제2 카메라를 통해 획득한 제2 영상의 단위 매크로 블록에 일치하는 제1 카메라를 통해 획득한 제1 영상의 매크로 블록을 검색한다. 시차 보상부(22)는 검색한 제1 영상의 단위 매크로 블록과 제2 영상의 단위 매크로 블록을 차감하여 제1 영상과 제2 영상의 오차값을 생성한다.

다음으로 제2 영상의 시간 예측 부분을 살펴보면, 제2 영상의 움직임 추정부(230)는 단위 매크로 블록 크기로 입력되는 제2 영상의 현재 단위 매크로 블록의 움직임을 추정한다. 제2 영상의 단위 매크로 블록과 제2 영상에 대한 참조 프레임의 탐색 영역 내의 가능한 단위 매크로 블록의 모두 또는 일부를 비교하여, 그 중 가장 일치하는 후보 매크로 블록을 선택한다. 여기서 단위 매크로 블록의 크기는 4×4, 4×8, 8×4, 8×8, 8×16, 16×8, 16×16이다.

움직임 보상부(240)는 제2 영상의 현재 단위 매크로 블록과 선택한 후보 매브로 블록을 서로 차감하여 오차값을 생성한다. 현재 단위 매크로 블록에 대한 움직임 추정과 움직임 보상은 4×4, 4×8, 8×4, 8×8, 8×16, 16×8, 16×16 크기의 단위 매크로 블록으로 수행한다.

예측 모드 결정부(250)는 시차 보상부(220)와 움직임 보상부(240)에서 계산한 오차값에 기초하여 제2 영상 매크로 블록의 부호화를 위한 부호화 예측 모드를 결정한다. 즉, 예측 모드 결정부(250)는 제2 영상의 단위 매크로 블록을 보다 적은 데이터로 압축하기 위하여 제2 영상의 단위 매크로 블록을 시차 예측 부호화 모드로 부호화할 것인지 또는 시간 예측 부호화 모드로 부호화할 것인지 판단한다. 부호화부(260)는 예측 모드 결정부(250)에서 결정한 예측 부호화 모드에 따라 제2 영상의 단위 매크로 블록의 오차값을 DCT, 웨이블렛 등의 방식으로 변환하고 변환한 오차 데이터를 양자화하여 제2 영상의 비트스트림을 생성한다. 예측 모드 결정부(250)는 기준 시점인 제2 영상의 예측 부호화 모드를 기준 시점을 제외한 인접 시점, 즉 참조 시점의 다수 카메라를 통해 획득한 영상의 압축 부호화에 이용하기 위하여, 제2 영상의 예측 부호화 모드를 참조 시점의 카메라를 통해 획득한 영상의 부호화 장치로 제공한다.

도 3은 참조 시점의 카메라를 통해 획득한 영상의 부호화 장치를 보다 구체적으로 도시하고 있는 기능 블록도이다.

도 3을 참고로 살펴보면, 예측 모드 판단부(310)는 기준 시점인 제2 영상의 단위 매크로 블록에 대한 예측 부호화 모드가 시차 예측 부호화 모드인지 아니면 시간 예측 부호화 모드인지 판단한다. 예측 모드 제어부(320)는 판단한 제2 영상의 단위 매크로 블록에 대한 예측 부호화 모드에 따라 참조 시점인 제3 카메라를 통해 획득한 제3 영상의 예측 부호화 모드를 결정한다. 즉, 예측 모드 제어부(320)는 제3 영상의 매크로 블록에 대한 예측 부호화 모드를 기준 시점인 제2 영상의 매크로 블록에 대한 예측 부호화 모드로 결정하며, 제3 영상의 매크로 블록에 대한 예측 부호화 모드를 결정하기 위한 별도의 연산을 하지 않는다. 예측 모드 제어부(320)는 결정한 제3 영상의 매크로 블록에 대한 예측 부호화 모드에 따라 제3 영상의 매크로 블록에 대한 예측 부호화 모드가 시차 예측 부호화 모드로 결정되는 경우, 시차 추정부(330)와 시차 보상부(340)를 통해 제3 영상의 매크로 블록에 대한 오차값을 계산하도록 제어한다. 한편, 예측 모드 제어부(320)는 결정한 제3 영상의 매크로 블록에 대한 예측 부호화 모드가 시간 예측 부호화 모드로 결정되는 경우, 움직임 추정부(350)와 움직임 보상부(360)를 통해 제3 영상의 매크로 블록에 대한 오차값을 계산하도록 제어한다.

이와 같이 본 발명에 따른 다중시점 영상의 부호화 장치는 참조 시점 영상의 매크로 블록에 대한 예측 부호화 모드를 결정하기 위하여 시차 예측과 시간 예측을 모두 수행하는 대신 기준 시점 영상의 매크로 블록에 대한 예측 부호화 모드를 참 조 시점 영상의 매크로 블록에 대한 예측 부호화 모드로 동일하게 이용함으로써, 참조 시점 영상의 매크로 블록에 대한 예측 부호화 모드를 결정하는데 소요되는 연산량을 줄일 수 있는 장점을 가진다. 더욱이, 기준 시점 영상의 매크로 블록에 대한 예측 부호화 모드를 참조 시점 영상의 매크로 블록에 대한 예측 부호화 모드로 결정할 뿐, 참조 시점 영상의 매크로 블록에 대한 오차값을 결정한 예측 부호화 모드로 직접 계산함으로써 영상의 디코딩시 영상 화질이 저하되는 것을 방지할 수 있다.

도 4는 본 발명에 따른 다중시점 영상 부호화 장치에서 기준 시점 영상의 예측 부호화 모드를 결정하는 방법을 보다 구체적으로 설명하기 위한 흐름도이다.

도 4를 참고로 살펴보면, 기준 시점의 카메라를 통해 입력된 기준 시점 영상의 매크로 블록에 대한 시차 예측을 수행하며, 이와 동시에 기준 시점 영상의 매크로 블록에 대한 시간 예측을 수행한다. 먼저, 시차 예측 과정을 살펴보면 기준 시점의 카메라를 통해 입력된 기준 시점의 제2 영상 매크로 블록과 일치하는 제1 영상의 후보 매크로 블록을 제1 영상의 참조 프레임에서 검색하여 제2 영상의 매크로 블록에 대한 시차 추정을 수행한다(S12). 시차 추정을 통해 선택한 제1 영상의 후보 매크로 블록과 제2 영상의 매크로 블록 사이의 오차 값을 계산하여 제2 영상의 매크로 블록에 대한 시차 보상을 수행한다(S13).

다음으로 시간 예측 과정을 살펴보면, 기준 시점의 카메라를 통해 입력된 기준 시점의 제2 영상에 대한 현재 매크로 블록과 일치하는 제2 영상의 후보 매크로 블록을 제2 영상의 이전 참조 프레임에서 검색하여 제2 영상의 현재 매크로 블록에 대한 움직임 추정을 수행한다(S15). 움직임 추정을 통해 선택한 제2 영상의 후보 매크로 블록과 제2 영상의 매크로 블록 사이의 오차 값을 계산하여 제2 영상의 매크로 블록에 대한 움직임 보상을 수행한다(S16).

시차 예측과 시간 예측을 통해 생성한 오차 값 중 더 적은 양을 가지는 예측 모드를 기준 시점의 제2 영상의 매크로 블록을 부호화하기 위한 예측 부호화 모드를 결정한다(S17). 결정한 예측 부호화 모드로 생성된 오차 값을 웨이블렛변환, DCT 변환 등과 변환 방식으로 변환하고 변환한 데이터를 양자화하여 제2 영상의 매크로 블록을 압축 부호화한다(S18).

도 5는 본 발명에 따른 다중시점 부호화 장치에서 참조 시점 영상의 예측 부호화 모드를 선택하는 방법을 보다 구체적으로 설명하기 위한 흐름도이다.

도 5를 참고로 살펴보면, 기준 시점의 제2 영상에 대한 매크로 블록의 예측 부호화 모드를 판단하고(S21), 판단한 제2 영상에 대한 매크로 블록의 예측 부호화 모드를 참조 시점의 제3 영상 매크로 블록의 예측 부호화 모드로 선택한다(S23). 즉, 제2 영상에 대한 매크로 블록의 예측 부호화 모드가 시차 예측 부호화 모드인 경우 제3 영상 매크로 블록의 예측 부호화 모드를 시차 예측 부호화 모드로 선택하고 제2 영상에 대한 매크로 블록의 예측 부호화 모드가 시간 예측 부호화 모드인 경우 제3 영상 매크로 블록의 예측 부호화 모드를 시간 예측 부호화 모드로 선택한다.

선택한 제3 영상 매크로 블록의 예측 부호화 모드가 시차 예측 부호화 모드인지 판단하여(S24), 제3 영상 매크로 블록의 예측 부호화 모드가 시차 예측 부호 화 모드인 경우 제3 영상의 매크로 블록을 제2 영상의 참조 프레임에 기초하여 시차 추정을 수행하여 제2 영상의 후보 매크로 블록을 선택하고(S25), 제3 영상의 매크로 블록과 제2 영상의 후보 매크로 블록 사이의 오차 값을 계산하여 시차 보상을 수행한다(S26). 한편, 선택한 제3 영상 매크로 블록의 예측 부호화 모드가 시간 예측 부호화 모드인 경우 제3 영상의 매크로 블록을 제3 영상의 참조 프레임에 기초하여 움직임 추정을 수행하여 제3 영상의 후보 매크로 블록을 선택하고(S27), 제3 영상의 매크로 블록과 제3 영상의 후보 매크로 블록 사이의 오차 값을 계산하여 움직임 보상을 수행한다(S28).

선택한 제3 영상의 예측 부호화 모드로 계산한 오차 값을 웨이블렛 변환, DCT 변환 등과 같은 변환 방식으로 변환하고, 변환한 데이터를 양자화하여 제3 영상의 매크로 블록을 압축 부호화한다(S29).

도 6 내지 도 8은 본 발명에 따른 다중시점 영상의 부호화 방법에 대한 예를 설명하기 위한 도면이다.

도 6을 참고로 살펴보면, 총 9대의 카메라를 통해 영상을 획득한다고 가정하면 첫번째 순서에 위치하는 제1 카메라를 통해 획득한 제1 영상(S0)에 대해서는 시간 예측만을 수행하여 제1 영상의 I 프레임을 부호화하며, 두번째 순서에 위치하는 기준 시점 카메라인 제2 카메라를 통해 획득한 제2 영상(S1)에 대해서는 제1 영상을 참조 프레임으로 하여 단 방향 시간 예측과 시점 예측을 수행하여 제2 영상의 P 프레임을 부호화한다. 한편, 세번째 순서에 위치하는 기준 시점 카메라인 제3 카메라를 통해 획득한 제3 영상(S2)에 대해서는 제1 영상과 제2 영상을 참조 프레임 으로 하여 양방향 시간 예측과 시점 예측을 수행하여 제3 영상의 B 프레임을 부호화한다.

제2 영상(S1)을 기준 시점의 영상으로하여, 제4 영상(S3), 제6 영상(S5), 제8 영상(S7)은 제2 영상의 예측 부호화 모드를 제4 영상(S3), 제6 영상(S5), 제8 영상(S7)의 예측 부호화 모드로 선택하여 제4 영상(S3), 제6 영상(S5), 제8 영상(S7)의 P 프레임을 각각 압축 부호화한다.

또한 제3 영상(S2)을 기준 시점의 영상으로하여, 제5 영상(S5), 제7 영상(S6), 제9 영상(S8)은 제3 영상의 예측 부호화 모드를 제5 영상(S5), 제7 영상(S6), 제9 영상(S8)의 예측 부호화 모드로 선택하여 제5 영상(S5), 제7 영상(S6), 제9 영상(S8)의 B 프레임을 각각 압축 부호화한다.

그러나 도 6을 참고로 설명한 본 발명의 일 실시예에 따른 다중시점 영상의 부호화 방법은 종래 다중시점 영상의 부호화 방법과 비교하여 연산량이 줄어든다는 효과는 있지만 기준시점의 영상(S1, S2)과 기준시점의 인접시점 영상(S3 내지 S8) 사이의 시점 거리가 늘어날수록 시점 사이의 차이가 커짐으로 인하여 예측 효율이 떨어진다는 문제점이 있다.

도 7을 참고로 본 발명의 다른 실시예에 따른 다중시점 영상의 부호화 방법을 살펴보면, 9개의 카메라 중 중간에 위치하는 카메라를 통해 획득한 영상(S3, S4)를 각각 기준 시점으로 설정한다. 제4 영상(S3)의 P 프레임을 기준 시점의 영상으로 하여, 제2 영상(S1), 제6 영상(S5), 제8 영상(S7)은 제4 영상의 예측 부호화 모드를 제2 영상(S1), 제6 영상(S5), 제8 영상(S7)의 예측 부호화 모드로 선택 하여 제2 영상(S1), 제6 영상(S5), 제8 영상(S7)의 P 프레임을 각각 압축 부호화한다. 한편, 제5 영상(S4)의 B 프레임을 기준 시점의 영상으로 하여, 제3 영상(S2), 제7 영상(S6), 제9 영상(S8)은 제5 영상의 예측 부호화 모드를 제3 영상(S2), 제7 영상(S6), 제9 영상(S8)의 예측 부호화 모드로 선택하여 제3 영상(S2), 제7 영상(S6), 제9 영상(S8)의 B 프레임을 각각 압축 부호화한다.

도 7을 참고로 설명한 본 발명의 다른 실시예에 따른 다중시점 영상의 부호화 방법은 기준 시점을 다수의 카메라들 중 중간에 위치한 카메라로 설정함으로써, 기준 시점의 영상(S3, S4)과 기준 시점의 인접 시점 영상 사이의 시점 거리를 줄일 수 있으며 따라서 예측 효율을 높일 수 있는 효과가 있다.

도 8을 참고로 본 발명의 다른 실시예에 따른 다중시점 영상의 부호화 방법을 살펴보면, 9개의 카메라를 통해 획득한 영상들 중 다수개의 영상(S1, S2, S5, S6)을 기준 시점으로 설정한다. 제2 영상(S1)의 P 프레임을 기준 시점의 영상으로 하여 기준 시점의 인접 시점에서 획득한 제4 영상(S3)에 대해서는 제2 영상의 예측 부호화 모드를 제4 영상의 예측 부호화 모드로 선택하여 제4 영상(S3)의 P 프레임을 압축 부호화하며, 제6 영상(S5)의 P 프레임을 또 다른 기준시점의 영상으로 기준 시점의 인접 시점에서 획득한 제8 영상(S7)에 대해서는 제6 영상(S5)의 예측 부호화 모드를 제8 영상(S7)의 예측 부호화 모드로 선택하여 제8 영상(S7)의 P 프레임을 압축 부호화한다.

한편, 제3 영상(S2)의 B 프레임을 기준 시점의 영상으로 설정하여 기준 시점의 인접 시점에서 획득한 제5 영상(S4)에 대해서는 제3 영상의 예측 부호화 모드를 제5 영상의 예측 부호화 모드로 선택하여 제5 영상(S4)의 B 프레임을 압축 부호화하며, 제7 영상(S6)의 B 프레임을 또 다른 기준시점의 영상으로 설정하여 기준 시점의 인접 시점에서 획득한 제9 영상(S8)에 대해서는 제7 영상(S6)의 예측 부호화 모드를 제9 영상(S8)의 예측 부호화 모드로 선택하여 제9 영상(S8)의 B 프레임을 압축 부호화한다.

도 8을 참고로 설명한 본 발명의 또 다른 실시예에 따른 다중시점 영상의 부호화 방법은 다수의 기준 시점을 설정하여 기준 시점 영상의 예측 부호화 모드를 결정하는데 연산량이 증가하는 단점이 있지만, 종래 다중시점 영상의 부호하 방법과 비교하여 적은 연산량으로 다중시점의 영상을 부호화할 수 있으며 보다 높은 예측 성능으로 높은 화질을 보장할 수 있다.

한편, 상술한 본 발명의 일 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.

상기 컴퓨터로 읽을 수 있는 기록 매체는 마그네틱 저장 매체(예를 들어, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들어, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

도 1은 종래 통상적인 다중 시점 영상의 부호화 압축 방법을 설명하기 위한 기능 블록도이다.

도 6은 본 발명에 따른 다중시점 영상의 부호화 방법에 대한 일 예를 설명하기 위한 도면이다.

도 7은 본 발명에 따른 다중시점 영상의 부호화 방법에 대한 다른 예를 설명하기 위한 도면이다.

도 8은 본 발명에 따른 다중시점 영상의 부호화 방법에 대한 또 다른 예를 설명하기 위한 도면이다.

<도면의 주요 부분에 대한 설명>

310: 예측 모드 판단부 320: 예측 모드 제어부

330: 시차 추정부 340: 시차 보상부

350: 움직임 추정부 360: 움직임 보상부

370: 부호화부

Claims

(a) 다중 시점 중 기준 시점 영상의 매크로 블록에 대한 부호화 예측 모드를 결정하는 단계;

(b) 결정한 상기 기준 시점 영상의 매크로 블록에 대한 부호화 예측 모드를 참조 시점 영상의 매크로 블록에 대한 부호화 예측 모드로 선택하는 단계;

(c) 선택한 상기 참조 시점 영상의 매크로 블록에 대한 부호화 예측 모드로 상기 참조 시점 영상의 매크로 블록에 대한 오차값을 계산하여 상기 참조 시점 영상의 매크로 블록을 부호화하는 단계를 포함하는 다중 시점 영상 부호화 방법.
제 1 항에 있어서, 상기 다중 시점 중

제1 시점의 영상은 시간 예측만을 수행하여 부호화하며,

상기 기준 시점 영상은 상기 제1 시점 영상의 참조 프레임을 기준으로 단방향 시점(disparity) 예측과 시간 예측을 수행하여 부호화 예측 모드를 결정하며,

상기 참조 시점 영상은 상기 기준 시점 영상에 대한 부호화 예측 모드를 상기 참조 시점의 영상에 대한 부호화 예측 모드로 결정하는 것을 특징으로 하는 다중 시점 영상 부호화 방법.
제 2 항에 있어서, 상기 제1 시점의 영상은

I 프레임에 대한 시간 예측만을 수행하여 부호화하는 것을 특징으로 하는 다 중 시점 영상 부호화 방법.
제 2 항에 있어서, 상기 (a) 단계는

상기 제1 시점에서 생성된 참조 프레임의 매크로 블록에 기초하여 상기 기준 시점 영상의 매크로 블록에 대한 시차 예측을 수행하는 단계;

상기 기준 시점 영상의 매크로 블록에 대한 시간 예측을 수행하는 단계;

상기 기준 시점 영상의 매크로 블록에 대한 시차 예측과 시차 예측의 오차값에 기초하여 상기 기준 시점 영상의 매크로 블록에 대한 부호화 예측 모드를 결정하는 단계를 포함하는 것을 특징으로 하는 다중 시점 영상 부호화 방법.
제 4 항에 있어서, 상기 기준 시점은

상기 다중 시점 중 중간 시점으로 선택되는 것을 특징으로 하는 다중 시점 영상 부호화 방법.
제 4 항에 있어서, 상기 기준 시점은

상기 다중 시점 중 적어도 2개 이상 존재하는 것을 특징으로 하는 다중 시점 영상 부호화 방법.
다중 시점 중 시간 예측만을 수행하여 영상을 부호화하는 제1 시점에서 생성된 참조 영상의 매크로 블록에 기초하여 기준 시점 영상의 매크로 블록에 대한 시점 예측을 수행하는 단계;

상기 기준 시점 영상의 매크로 블록에 대한 시간 예측을 수행하는 단계;

상기 기준 시점 영상의 매크로 블록에 대한 시점 예측과 시간 예측 값에 기초하여 상기 기준 시점 영상의 매크로 블록에 대한 부호화 예측 모드를 결정하는 단계; 및

결정한 상기 기준 시점의 매크로 블록에 대한 부호화 예측 모드를 참조 시점의 매크로 블록에 대한 부호화 예측 모드로 결정하는 단계를 포함하는 예측 모드 결정 방법.
다중 시점 중 기준 시점 영상의 매크로 블록에 대한 부호화 예측 모드를 판단하는 예측 모드 판단부;

판단한 상기 기준 시점의 매크로 블록에 대한 부호화 예측 모드를 참조 시점영상의 매크로 블록에 대한 부호화 예측 모드로 결정하고, 결정한 상기 참조 시점 영상의 매크로 블록에 대한 부호화 예측 모드로 현재 매크로 블록의 오차 매크로 블록을 생성 제어하는 예측 모드 제어부; 및

상기 생성한 오차 매크로 블록을 부호화하는 부호화부를 포함하는 다중 시점 영상 부호화 장치.