KR19980028347A - 움직임예측 및 시차예측을 적용하는 경우의 화질열화억제를 위한 입체동영상의 압축방법 - Google Patents

Abstract

본 발명은 입체동영상의 압축시 움직임예측을 사용함으로써 발생하는 GOP 내의 예측오차누적현상과, 획득영상에 신호특성의 급격한 변환이 존재할 때 발생하는 재현영상의 화질 열화를 미연에 방지하기 위해 안출된 입체영상의 압축방법으로서, 본 발명은 움직임예측에 의해 입체영상신호를 압축함에 있어서, 움직임예측을 사용함에 따른 GOP 중반 이후의 예측오차 누적현상 또는 획득영상에 신호특성의 급격한 변환이 존재할 때 발생하는 재현영상의 화질열화를 줄이기 위해서, 시차가 다른 각도에서 획득된 입체영상들을 기준영상열과 예측영상열로 구분하는 1단계와, 기준영상열은 종래의 움직임 예측방식에 의하여 압축하며, 예측영상열은 기준영상열을 기준으로한 시차예측을 포함하여 압축토록 하는 2단계와, 상기 단계에서 상술된 원인에 의해 예상되는 화질열화를 줄이기 위해 압축비트 할당량 증대(압축을 감소), 인트라압축 등을 설정된 GOP 사이의 해당하는 예측영상에 적용하여 해당예측영상의 화질을 개선하며 개선된 예측영상을 기준으로 해당위치의 기준영상을 시차예측하여 이후의 기준영상열과 예측영상열의 화질을 개선시키는 GOP 구조를 설정하여 압축하는 3단계를 포함시킴으로써 풍부하고 생동감있는 화질이 보장되어 고품질 3차원 입체 영상서비스가 기대된다.

Description

움직임 예측 및 시차예측을 적용하는 경우의 화질열화억제를 위한 입체동영상의 압축 방법

본 발명은 움직임과 시차예측을 이용하여 디지틀 입체동영상 신호를 압축하는 경우 재현영상의 화질을 향상시기기 위한 압축방식에 관한 것이다.

인간이 살아가면서 취득하는 정보의 80% 이상은 대부분 시각을 통해서 획득되고 시각을 통해서 정보를 전달하는 방법은 인간에게 가장 친숙한 정보획득의 수단이며, 대량의 정보를 짧은시간에 전달할 수 있다는 장점이 있다.

이러한 영상정보의 전달수단으로 개발된 것이 영상매체이며, 영상매체의 개발은 주로 인간에게 자연스럽게 인식되고 사실적으로 표현할 수 있는 기능들을 포함시키는 방향으로 진행되어 왔으며, 장래의 영상매체도 이러한 기능을 추구하게될 것이다.

지금까지 개발/발전되어 그 응용이 주를 이루고 있는 2차원 영상매체들 보다 사실적이고 풍부한 화질을 제공할 수 있기 때문에, 3차원 영상매체는 다음 세대의 중요한 영상매체로 각광받으면서 많은 연구가 수행되고 있으며 현재 3차원 영상처리 기술을 응용한 매체는 주로 편광안경을 사용한 입체영화, 가상현실(VR;virtual reality)게임 등을 예로 들 수 있는 한편 의료, 측량 등의 정밀한 영상 데이터가 필요한 부분에서도 제한적으로 사용되고 있다.

특히 최근에 개발되어 서비스 준비중인 고화질 텔레비젼(HDTV)이후의 텔레비젼은 3차원 텔레비젼(TV)이 될 것으로 예상되며, 이 기술이 실용화 될 경우는 그 기술적 파급효과가 가전은 물론 통신, 우조, 항공, 예술, 자동차산업 등 모든 분야에 영향을 미치게 될 것이다.

그러나 영상데이타는 정보량이 크기 때문에 저장과 전송에 어려움이 따르게 되며 1990년대에 들어서 전자기술의 비약적인 발전으로 대용량의 하드디스크나, 데이터의 처리속도가 빠른 프로세서가 등장하여 저장매체의 용량과 데이터에의 접근속도면에서 많은 향상이 있었지만, 영상데이타와 같은 많은 데이터를 실제 사용자에게 전송할 때, 현재까지 개발된 정보전송 선로를 활용하기에는 부족한 점이 많을뿐만 아니라 많은 분야에서 동영상 서비스의 제공 필요성이 증가함에 따라 더많은 데이터를 저장할 수 있는 저장매체가 필요하게 되었고, 보다 빠르게 작동하는 프로세서가 요구되기에 이르렀다.

영상데이터를 처리함에 있어서 나타나는 이러한 문제점들을 해결하기 위한 다른 방법으로 데이터 압축기술이 요구되어, VQ, JPEG, JBIG, MPEG1, MPEG2, H.261, H.262 등의 다양한 압축방식이 개발되었고 현재도 MPEG4, MHEG 등 많은 연구가 수행되고 있으며 이러한 방식들은 반도체칩으로 구현하기가 유리한 이산여현직교변환(discrete cosine transform;DCT)과 양자화를 기반으로하는 차등펄스부호변조방식(DPCM)을 채택하고 있는 것이 보통이다.

보통 영상신호는 도 3에서 보는 바와같이 일반적으로 이산여현변환(DCT) 등의 직교변환과 양자화에 의해서 영상신호(301)내에 자체적으로 존재하는 유사성(이하 중복성:redundancy)이라 함), 즉, 공간중복성(spatial redundancy)을 변환 및 양자화부(30)에서 제거하게 되고, 양자화된 신호(303)는 허프만 방식, 산술 부호화방식 등에 의하여 부호(code)를 할당하는 부호할당부(304)를 거쳐 압축된 신호(305)로 나타난다.

이때 부호할당은 정의된 부호할당표 등을 참조(이하 참조표)하여 수행되고 압축된 신호는 상기 과정의 역과정을 거쳐서 복원되는데, 우선 압축된 신호(305)로부터 참조표를 이용하여 부호해석부(306)에서 부호를 해석(306)하므로써 양자화된 신호(307)를 생성하고 이를 역직교변환 및 역양자화부(308)를 거쳐 본래의 영상신호(309)를 복원한 후 수상기 등의 재생장치(310)를 이용하여 재현하게 된다.

일반적으로 역변환/역양자화부(308)를 거쳐 복원된 영상신호(309)는 양자화등에 의하여 오염되므로 재현영상의 화질이 본래의 영상신호(301) 화질보다 떨어지는 것이 보통이다.

MPEG2는 기존의 MPEG1을 기반으로 하여 매우 광범위한 응용영역을 지원할 수 있도록 MPEG이라 지칭되는 ITU-T(통신에 관한 국제표준화기구)의 비디오 전문가 그룹(SG-9)을 중심으로 개발된 동영상 압축방식으로 직교변환, 양자화, 움직임보상예측(MCP;Motion Compensated Prediction)등 MPEG1과 많은 점에서 유사성을 갖고 있으며 현재 이 두 방식은 사용화가 완료되어 많은 응용분야에 널리 보급되고 있는 실정이다.

개발초기 MPEG2는 MPEG1을 개선하여 10Mbps까지의 전송률을 갖는 알고리즘 개발을 목표로 출발하였으나, MPEG3가 그 이상의 전송률을 갖는 것으로 정의되므로써, MPEG2의 전송률에 대한 10Mbps의 제한이 없어지게됨에 따라 향후 예상되는 HDTV까지도 포함하는 것으로 기능이 확장되어, 현재 개발되어 있는 CD-롬, DTV, EDTV, HDTV 등 거의 모든 영상매체에서 표준압축방식으로 채택되거나 채택예정으로 있다.

영상데이타는 하나의 프레임내에 존재하는 공간중복성 외에도, 동영상일 경우는 시간적으로 인접한 영상간에도 상당한 유사성이 존재하는데 이를 시간중복성(temporal redundancy)이라고 하며, MPEG과 H.261등의 일반적인 동영상 부호화방식은 효과적으로 영상의 중복성을 제거하고 고압축율을 실현하기 위해 DCT등의 직교변환외에도 도 4에서 보는 바와 같은 움직임 보상예측을 사용하여 시간중복성을 제거하고 있다.

움직임 보상예측 기법은 시간적으로 연속되는 영상신호(406 내지 407, 501내지 502, 503 내지 504 등)간에 존재하는 중복성을 효과적으로 제거하여 영상데이타의 양을 대폭 줄이기 위한 것으로서, MPEG1, MPEG2, H.261, H.262(이하 MPEG,H.26x)등 동영상압축의 핵심기술이라고 할 수 있으며 정확하고 신속한 움직임 추정이 보장될 때 전체적인 동영상 압축성능을 향상시킬 수 있게 된다.

영상간의 정확한 움직임을 추정하기 위한 방법으로는 일정한 블록별로 움직임을 예측하는 블록 정합방식(BMA:Block Matching Alogorithm), 화소값의 변화를 검출하여 움직임을 예측하는 화소순환(Pel-recursive)방식 등 많은 기법들이 있으나, 추정 알고리즘이 간단하고 하드웨어 구현이 용이하므로 MPEG, H.26x 등의 동영상압축 방법에서는 블록 정합 방식을 채택하고 있다.

블록 정합 방식은 움직임을 추정하고자 하는 예측영상(406)을 일정한 크기의 단위블록(401)으로 나눈 후, 각 블록을 기준영상(407)의 탐색영역(search range)내(405)에 있는 모든 블록(402 내지 403 등)과 비교하여, 평균제곱오차값(MSE,mean square error) 등의 기준에 따라 최적의 정합블록(matched block)을 찾으므로써 각 블록의 움직임값으로 정의하는 것이다.

보통 움직임추정의 단위가 되는 블록을 마크로블럭(MB;Macro Block,401 내지 402)이라고 하며 예측영상의 마크로블럭과 동일한 위치를 중심으로 기준영상내의 일정한 범위(탐색범위:보통은 가로, 세로 각각 15∼30 화소:405)를 설정하고, 그 범위내에서 기준영상의 마크로블럭과 가장 유사한 데이터가 분포한 곳을 탐색하게 되며, 가장 유사한 지점이 찾아지면 기준영상의 마크로블럭 위치에서 그 지점까지의 영상의 움직임값(404)으로 정의하는데 이와같은 방식을 전탐색(full search)방식이라 한다.

도 5는 시간중복성 제거에 의해 동영상 압축을 수행하는 경우의 움직임예측 및 동영상압축단위(GOP;Group of Picture)의 설명도이다.

움직임 예측에는 보통 순방향예측(forward prediction:506,507)과 양방향 예측(bidirectional prediction:508)의 두가지 방식이 있으며, 전자를 수행하는 예측영상을 P-픽쳐(504), 후자의 경우를 B-픽쳐(502,503)라 하고 P-픽쳐(504)는 예측을 수행함에 있어 보통은 I-픽쳐 또는 P-픽쳐 중 시간적으로 가장 앞선 영상을 기준영상(501)으로 하는 예측영상(504)을 칭하며 B-픽쳐(502,503)는 I-픽쳐, 또는 P-픽쳐 중 시간적으로 가장앞선 영상(501)외에도 시간적으로 예측영상 이후에 획득된 영상(504)까지도 기준영상으로 참고하는 영상을 칭한다.

따라서 순방향예측(506)만을 하는 P-픽쳐 외에 순방향예측(507)과 역방향예측(508)을 포함한 양방향예측을 수행하는 B-픽쳐(502,503 등)를 고려하는 MPEG,H.26x 등의 동영상 압축방식은 정확한 움직임 추정을 위해 많은 계산량이 필요하여 방송통신 등의 실시간 처리가 요구되는 응용에서 문제의 소지가 있지만 전자소자 및 마이크로프로세서의 발달로 그 한계가 극복되고 있다.

P-픽쳐 및 B-픽쳐의 두 경우에 있어서 그 화질은 기준영상의 화질에 크게 영향을 받게 되므로 기준영상의 화질을 개선하면 P-픽쳐 및 B-픽쳐의 화질도 개선할 수 있으며 압축된 영상의 화질을 개선하는 일반적인 방법은 압축영상에 많은 비트가 할당되도록 하는 것이다.

한편 저장매체 등의 응용에서 원하는 영상데이타에 신속하게 접근하고(random access) 고속재생(FF:Fast Forward) 및 역탐색(FR:Fast Reverse)등에의 응용과 지속적인 예측수행에 의한 오류누적을 감소시키기 위해서는 주기적(509)으로 아무런 예측없이 영상내 중복성 제거만을 통해 압축할 필요가 있으며(505), 이렇게 예측없이 영상자체적으로 압축하는 영상들을 통틀어서 I-픽쳐(501 내지 505)라고 하며 이러한 압축방법을 인트라압축이라고 하며 I-픽쳐는 기존의 영상압축 방법과 유사하게 움직임 예측을 수행하지 않고 직교변환에 의한 공간중복성 제거 및 양자화 등만에 의해 압축을 수행하게 된다.

I-픽쳐(501)와 다음의 첫 번째 I-픽쳐(505)까지를 GOP(509)라고 하며 이는 움직임예측 및 동영상 압축의 단위가 되고 GOP는 P-픽쳐와 B-픽쳐의 배열형태에 따라 IBBP(M=3), IBP(M=2), IP(M=1) 형태로 구분되며 이 단위를 특히 부 GOP(510)라고 하여 움직임 예측의 형식을 결정하는 기준으로 삼는다.

한편 한 영상내에서도 마크로 블록별로 예측특성이 달라지며, 특히 영상내의 드러나는 영역(uncovered region)이나 움직임이 큰 마크로블럭은 예측이 어렵기 때문에 예측없이 압축하게 되는데, I-픽쳐의 압축방법과 유사하기 때문에 이러한 마크로블럭을 인트라 마크로블럭(intra MB)이라고 한다.

도 5는 M=3(IBBP 구조)인 경우에 대한 GOP구조의 설명도로써, 각 픽쳐의 입력시간 순서는 설명도의 좌측픽쳐가 우선하고, MPEG, H.26x 등의 압축방법에서는 각 픽쳐는 I-픽쳐(501,505), B-픽쳐(502,503), P-픽쳐(504) 중 반드시 한가지의 예측형식을 취하게 된다.

이렇게 MPEG에서는 압축하고자하는 동영상신호 열들의 움직임 예측형식(I,P, B-픽쳐)을 다르게 하므로써 영상의 부호화 순서가 영상의 입력 및 실제의 재생순서와 다르게 되므로 압축처리 과정을 수행하는데 따르는 지연(coding delay)외에도 영상의 재배열(reordering)에 따르는 부가적인 지연이 수반하지만, 예측없이 인트라압축만을 수행하는 경우 보다 압축효율과 부호와 성능면에서 우수하게 된다.

상술된 예측형식(I-픽쳐, P-픽쳐, B-픽쳐)의 차이로 각 픽쳐별로 압축되어 발생하는 결과 비트량은 불규칙하며, 불규칙적으로 발생하는 영상데이타를 한정된(band limited)채널을 통해 전송하기 위해서는 출력비트를 일정 수준에서 유지할 필요가 있다.

따라서 MPEG, H.26x 등의 압축 표준은 가상버퍼(virtual buffer)의 상태를 체크하여(feed back) GOP단위로 출력비트를 일정하게 유지시키는 비트율 제어방식을 사용한다.

즉 MPEG, H.26x 등은 출력비트율을 일정하게(constant bit rate;CBR)유지하기 위하여 GOP(Group of Picture)구조에 따라 각 픽쳐에 이전 프레임의 부호화 과정에서 발생한 비트율을 고려하여 압축결과 예상비트를 할당하고, 픽쳐의 특성과 버퍼여분 비트량을 계산해서 이들을 변수로 양자화 정밀도를 조정한 후, 마크로블럭(401)별 특성을 고려하여 국부적인 마크로블럭별로 적응적 양자화를 수행한다.

상술된 과정에서 압축결과 예상비트를 참고하게 된다.

B-픽쳐는 P-픽쳐나 I-픽쳐로부터 양방향 예측되며 P-픽쳐는 다른 P-픽쳐나 I-픽쳐로부터 순방향 예측된다.

따라서 예측영상의 화질은 기준영상의 화질에 크게 좌우되므로 압축하고자 하는 예측영상에 대한 기준영상의 화질을 개선하므로써 P-픽쳐 및 B-픽쳐의 화질을 향상시킬 수 있다.

압축영상의 화질을 개선하는 방법은 압축대상 영상에 많은 압축결과 비트가 할당되도록 하여 압축영상의 정밀도를 높이는 것이다.

즉 압축될 영상에 압축결과 예상비트를 많이 할당할수록 양자화의 정밀도가 증가되어 압축결과 비트도 증가되고, 압축영상의 화질도 개선시킬 수 있게 된다.

정보화시대의 도래와 함께 인간들의 정보서비스에 대한 욕구도 고급화, 다양화되어가고 있는 추세이며, 영상정보서비스는 이러한 욕구를 충족시켜주는 수단으로 간주되어 많은 연구개발이 수행되고 있다.

특히 MPEG은 영상서비스제공 매체의 총아라 할 수 있는 HDTV 이후의 21세기 영상서비스는 홀로그램과 같은 입체영상서비스로 대체될 것으로 예측하고, 입체영상의 처리방식을 MPEG4 등 표준화 활동에 포함시켜 각국의 제안과 연구결과에 대한검토작업을 활발히 진행하고 있는 실정이다.

디지틀 3차원 영상서비스 제공체계는 다른 영상서비스와 마찬가지로 크게 영상획득계, 전송계, 재현계로 구분할 수 있다.

영상획득계는 도 1처럼 2대 이상의 카메라(102,103)를 통해 입체영상 데이터를 획득한 후 디지틀화하여 압축, 보정 등의 영상신호처리를 수행하며, 전송계는 적당한 데이터 전송선로를 선택하여 재현계에 영상신호를 전송해준다.

재현계에 도달된 영상신호는 일반적으로 영상획득계의 역처리 과정을 거쳐 본래의 영상으로 재현할 수 있다.

이러한 기능은 3차원 영상 수상기를 통해서 수행되며 특수안경을 이용하거나 영상재현면을 특수가공해서 또는 홀로그램 방식 등으로 재현할 수 있다.

디지틀 3차원 영상서비스의 원활한 제공을 위해서는 영상신호 획득 등을 포함한 영상신호처리와 재현방법이 규정되어야 한다.

특히 디지틀 3차원 동영상 데이터는 정보량이 크기 때문에 전송과 저장을 위해서는 반드시 압축을 하여야 하며, 이에는 MPEG, H.26x 등 처럼 움직임 예측방식을 적용하고 있는 일반적인 동영상 압축방법이 사용될 것으로 기대된다.

상기와 같은 동영상 압축방식들은 복잡한 영상이거나, 영상신호 특성의 변화가 클 경우에 재현화질의 변동이 큰 단점이 있는 것으로 알려져 있으며, 이런 현상은 상기 압축방식들을 적용하여 3차원 영상신호를 처리하는 경우에도 문제가 된다.

본 발명은 상기와 유사한 일반적인 동영상 압축방식을 응용하여 3차원 디지틀 영상신호를 압축하는 경우, 높은 압축률을 유지하면서 화질변동을 줄여 재현화질을 개선할 수 있는 3차원 디지틀 영상신호의 압축방식에 관한 것이다.

입체영상은 동일한 피사체에 대해 상이한 각도에서 영상을 획득하고, 획득된 영상들로부터 깊이정보를 추출하므로써 획득된다.

입체영상 재현을 위한 상이한 시차의 영상획득은 도 1과 같이 다수의 카메라(102,103)를 일정한 시차(S)만큼 거리(106)를 두고 촬영하는 방법이 이용된다.

이렇게 획득된 영상신호(203 내지 204,701 내지 702,803 내지 804,901 내지 902)는 도 7처럼 각각 신호의 형태변환 및 보정 등을 수행하는 전처리부(703,903)과정을 거쳐 독립적으로 압축부(704,705)에서 압축된다.

신호의 형태변환이라 함은 영상신호의 처리를 용이하게 하기 위하여 카메라에서 획득된 아날로그 형태의 신호를 압축이 용이한 형태의 신호(708 내지 709)로 바꾸기 위해 이산형태의 디지틀 신호로 변환하는 A/D(아날로그/디지탈)변환을 수행하거나, 영상신호의 색상(빨강, 녹색, 파랑)간에 존재하는 중복성 제거 등을 수행하는 일련의 처리과정을 지칭하며, 입체 영상데이타 처리뿐만 아니라 일반적인 영상 데이터의 처리과정에서 보편적으르 수행되는 방식이다.

보정은 도 2에서 보듯이 동일한 피사체 일지라도 카메라의 시차에 의하여 변형된 형태로 획득되는 영상들(203,204 내지 801,802)을 보간 교삽 등에 의하여 시차가 없는 경우에 얻을 수 있는 공간 해상도(104 내지 202 내지 803,804)로 교정(206)하는 등의 일련의 처리과정(205)을 지칭한다.

상기와 같이 전처리된 영상신호는 데이터량이 크기 때문에 아무런 조치없이 처리(저장 및 전송)하기 어렵다.

따라서 압축을 하여 처리하여야 할 필요성이 있으며, 입체영상신호의 압축은 시차가 상이한 각 신호(701 내지 702, 901 내지 902)별로 수행하게 된다.

이때 영상신호(708,709)의 압축(710,711)은 압축부(704,705)에서 여러 가지 방법으로 수행되며 정지화의 경우 벡터양자화(VQ), JPEG 등의 기법이 사용되고 동화의 경우에는 MPEG, H.26x 등의 압축기법이 사용된다.

이러한 압축방식들은 상술한 바와 같이 이산여현변환(DCT) 등의 직교변환과 양자화에 의해서 압축하고자 하는 영상신호(301)내에 자체적으로 존재하는 공간중복성(spatial redundancy)을 변환 및 양자화부(302)에서 제거하게 되고, 양자화된 신호(303)는 허프만 방식, 산술 부호화 방식 등에 의하여 부호할당부(304)에서 부호(code)를 할당하는 일련의 처리과정을 수행하여 압축된 신호(305)를 얻는다.

입체 동영상은 이상의 과정과 함께 일반적인 동영상 압출방식에 적용되는 상기의 움직임 예측을 도 6에서 처럼 각각의 획득 영상별(601∼609, 610∼618)로 적용하여 압축할 수 있으며, 각 영상렬에 대해서 기준영상으로는 시간적으로 가장 가까운 I-픽쳐나 P-픽쳐를 사용하게 되는데, 상술된 일반 동영상 압축방법 처럼 P-픽쳐(604/613)는 이전의 I-픽쳐(601/610)나 P-픽쳐 중 시간적으로 바로 이전의 픽쳐(601/610)로부터 움직임을 예측(621)하여 압축하고, B-픽쳐(602 내지 603/611 내지 612)는 이전과 이후의 I-픽쳐(601 내지 609/610 내지 618)나, P-픽쳐(604 내지 606/613 내지 615)중 시간적으로 가장 인접한 이전의 픽쳐(601/610)와, 이후의 I-픽쳐(609/618)나 P-픽쳐(604 내지 606/613 내지 615)중 시간적으로 가장 인접한 픽쳐(604/613)의 두 픽쳐로부터 움직임을 예측(619 및 620)하여 압축한다.

나머지 P-픽쳐(606/615)나 B-픽쳐(607 내지 608/616 내지 617)도 동일한 움직임 예측방식(622 내지 619 및 620)에 의해 압축한다.

상기와 같은 방법에 의해서 압축된 각각의 영상신호들(710 내지 711)은 저장 및 전송을 위해서 부호할당 및 혼합부(706)를 통해 하나의 압축된 신호(707)로 만들어지며, 복호기는 일반적으로 상기 압축과정의 역순에 의해 원래의 신호를 찾게되고 이로부터 입체영상을 재현하게 된다.

즉 참조표를 이용하여 부호 해석 및 분리부(712)에서 두 신호열로 분리하여 양자화된 신호(713 내지 714)를 생성한 후 각각의 신호에 대해 역직교변환 및 역양자화 및 움직임 보상 등을 통해 압축해제부(715,716)에서 압축해제하여 본래의 획득영상 A열 및 획득영상 B열의 두 신호열(717 내지 718)을 복원한 후 입체 재현을 위한 형태의 신호(720)로 후처리부(719)에서 변환(719)하여 단말장치(721)를 통해 입체영상을 재생한다.

그러나 이러한 방법은 도 6, 도 7에서 본 바와같이 시차가 상이한 각 신호별로 상기와 같은 일련의 압축과정을 독립적으로 수행하게 되므로 혼합기에서 최종적으로 출력되는 압축신호열(707)이 차지하는 데이터량은 영상획득에 사용되는 카메라 수의 배수만큼 증가하게 되는 단점이 있다.

입체영상을 획득하기 위해서는 동일한 피사체에 대해서 다른 위치에서 촬영한 영상들이 필요하므로 압축을 하여도 일반적인 영상데이타 보다 영상 획득에 소요되는 카메라 수의 배이상 많은 데이터가 발생하게 됨은 상술한 바와 같다.

따라서 일반적인 입체동영상의 압축방법으로 도 6, 도 7에서 본 바와 같이 시차가 상이한 각 신호별로 MPEG, H.26x 등의 동영상 압축방식에서 처럼 시간적으로 차이가 있는 영상간의 움직임을 예측하여 압축률을 높히는 방법을 사용하는데, 시차예측을 이용한 입체동영상의 압축방법(도 9)은 각각의 획득영상에 대해 독립적으로 압축을 수행하던 종래의 입체동영상 압축방식보다 압축율을 높이기 위하여 각각의 획득영상열(901,902)을 전처리부(903)에서 기준영상열(910)과 예측영상열(911)로 구분하는 단계를 거쳐, 기준영상열(910)은 압축부(905)에서 기존의 압축방식을 사용하여 압축을 수행하고, 예측영상열(911)은 압축부(906)에서 동영상 압축방법의 움직임 예측과 유사하게 압축대상 영상(803)의 압축대상 블록(805)위치(807)에 대해서 일정한 탐색범위(806)내에서 기준영상내(804)의 가장 유사한 부분(808)을 찾는 방식으로 시차예측부(904)에서 시차를 예측하여, 예측된 시차값(809)와 예측된 위치에서의 기준영상과의 차(907)신호(912)만을 압축부(906)에서 압축하는 방법으로 압축율을 높힌다.

도 8과 같은 시차(809)를 예측하기 위해서는 일반적인 동영상 압축방식(MPEG, H.26x)에 적용되는 전탐색 등의 방식이 적용될 수 있으나 시차가 다른 입체영상간에서는 동일한 시간대에 서로 다른 위치에서 획득된 영상간(803 내지 804)의 공간차를 찾은게 되므로, 이 값은 일반적인 동영상 압축방식에서의 움직임(404)과는 다른 시차(809)가 된다.

일단의 탐색방법에 의하여 입체영상에서도 기준영상의 단위블럭에 대한 예측영상의 시차가 예측되면 예측영상에 대해서는 예측된 시차값(Q)과 기준영상과의 차값만 을 압축하므로서 압축율을 높일 수 있다.

즉 기준영상에 대해서는 종래의 압축방법을 거의 그대로 적용하여 압축하므로 기존의 압축방식과 비교하여 압축된 데이터량에 큰 차이가 없으나, 예측영상에 대해서는 압축된 데이터에 시차값(Q)과 차신호의 정보만을 포함하면 족하므로 데이터량을 크게 줄일 수 있고, 결국 부호할당 및 혼합부(908)에서 최종적으로 발생하는 전체 데이터량(909)은 종래의 방식에 비교해서 큰폭(0.5)으로 줄어들게 된다.

시차예측을 이용하여 압축된 입체영상신호(909)로부터 본래의 입체영상신호를 복원하기 위해서는 우선 분리기(915)에서 기준영상 신호(913)와 예측영상 신호(914)로 분리한 후(915), 각 신호에 대해서 압축 해제부(916,917)에서 압축 해제를 수행하며, 압축 해제된 예측영상 신호(919)는 본래 그 성분이 기준영상(910)과 예측영상(911)간의 차신호(912)로 이루어져 있기 때문에 시차값(Q)을 이용하여 기준영상(918)에 대한 보상을 하여야 한다.(920 및 925)

보상된 예측영상(921)과 기준영상(918)을 처리하기 용이한 형태로 바꾸거나 입체영상 재현을 위해서는 영상내의 사물간 거리 및 깊이 정보를 추출하는 후처리(922)과정을 수행하여야 하며, 후처리 된 신호(923)로써 단말장치(924)를 통해 입체영상을 재현하게 된다.

도 10 및 도 11은 시차예측을 적용한 일반적인 입체 동영상신호의 압축에 대한 일예이다.

도 10은 입체영상을 압축함에 있어 예측 영상열 압축에 예측하고자 하는 영상의 이전 영상(1022)을 이용하여 움직임 예측과 기준영상열의 영상(1021)을 사용하는 시차예측을 혼합하는 경우의 압축방식을 설명한 것이다.

즉, 기준영상열은 움직임 예측방식을 적용하는 기존의 동영상 압축방식에 의하여 I-픽쳐(1010,1018), P-픽쳐(1013,1015), B-픽쳐(1011,1012,1014,1016,1017)를 구분한 후 각각 인트라압축(I-픽쳐), 순방향예측(1021), 양방향예측(1019 내지 1020)을 통해 압축하며, 예측영상열의 영상신호는 예측영상열내의 예측하고자하는 영상의 이전영상에 대한 움직임 예측(1022)과 기준영상열의 영상에 대한 시차예측(1023)을 사용한다.

이전영상이 없어 움직임 예측(1022)을 수행하지 않고 시차예측(1023)만을 수행하므로써 일반적인 동영상 압축방식의 P-픽쳐와 유사한(P')압축형태를 취할 수 밖에 없는 예측영상열의 첫 번째 영상신호(1001)를 제외하고, 나머지 예측영상 신호들은(1002∼1009)시간적으로 동일한 시점에서 획득된 기준영상열의 영상을 사용한 시차예측과 바로 이전의 예측영상열 신호를 참고한 움직임 예측을 동시에 적용하여 압축하므로써 일반적인 동영상압축방식의 B-픽쳐와 유사한(B')압축방식을 취하게 된다.

도 11은 예측영상열 압축시 시차예측을 수행함에 있어서 시차예측의 기준영상으로 기준영상열내의 예측하고자 하는 영상의 이후 영상과 기준영상열내의 동일시점에서 획득된 영상을 사용(1122)하는 압축방법을 설명한 것이다.

즉 기준영상열은 움직임 예측방식을 적용하는 기존의 동영상 압축방식에 의하여 I-픽쳐(1110,1118), P-픽쳐(1113,1115), B-픽쳐(1111,1112,1114,1116,1117)를 구분한 후 각각 인트라압축(I-픽쳐), 순방향예측(1121), 양방향예측(1119 내지 1120)을 통해 압축하며, 예측영상열의 영상신호는 기준영상열내의 예측하고자하는 영상의 이후영상과 기준영상열내의 동일시점에서 획득된 영상을 사용(1122)한다.

이 방식은 예측 영상열내의 모든 영상을 일반적인 동영상 압축방식의 B-픽쳐와 유사한(B')압축 방식만으로 압축할 수 있어(1101∼1109)구현이 간단하고, 압축률의 변화를 최소화할 수 있다는 장점이 있다.

한편 MPEG, H.26x등 움직임보상예측을 적용하는 동영상 압축방식들은 복잡한 영상이거나, 영상신호 특성의 변화가 클 경우에 재현영상의 화질을 열화시키는 단점이 있는 것으로 알려져 있으며, 상기에서 언급한 바와같이 입체영상도 일반적인 동영상 압축방식을 응용하여 압축함에 따라 동일한 문제가 발생한다.

MPEG,H.26x 등은 움직임 예측방식을 적용하여 압축율을 높이고 있지만 GOP크기가 커지면 예측오차가 누적되어 GOP의 끝부분으로 갈수록 화질이 떨어지는 단점이 있다.

즉 상기의 동영상 압축방식들은 영상을 압축하기 전에 압축대상 영상의 특성(분산값 따위)을 예측하여 GOP 내에 미리 압축결과 비트를 할당하고, 이를 I,P,B 각 픽쳐별로 4:2:1 비율로 고르게 할당하는데 GOP 내에 영상특성이 고르지 못하거나 영상내 사물의 움직임이 빠른 경우 GOP 끝부분에서는 압축에 필요한 비트를 충분히 할당할 수가 없어 화질이 떨어지게 된다.

이러한 현상은 GOP 크기가 클수록 심하게 발생하므로 MPEG, H.26x 등의 동영상 압축방식은 GOP 크기를 12 또는 15 정도로 제한하고 있다.

따라서 GOP 설정과 움직임예측에 의해 입체영상을 압축하는 경우도 이런 문제점은 피할 수 없게 된다.

한편 일반적인 동영상 압축방법인 H.26x, MPEG 등은 보통의 영상에 대해서 우수한 부호화 성능을 나타내지만, 영상을 보호화하는 중간에 영상내에서 줌(zoom)현상이나 카메라의 급격한 움직임에 의해서 발생하는 팬(pan)현상 또는 신호특성이 전혀 다른 영상이 입력되면, 더 이상 특성이 전혀 상이한 영상간의 움직임 예측이 효율적이지 못하게 되고 대부분의 마크로블럭은 예측없이 자신만의 정보로 부호화(인트라(intra)마이크로블럭)하게 되므로 많은 부호화 비트가 필요로 함에도 불구하고 현재까지의 동영상 압축알고리즘은 이런 현실을 고려하지 않고 있어서 재현영상의 화질이 급격히 열화되어 오랜시간(약 1초)지속되는 단점이 있다.

이러한 화질열화 현상은 특성이 바뀐 픽쳐의 위치에 따라 그 영향의 정도는 차이가 있으며, 보통 1 GOP 정도의 시간이 경과한 후에야 안정적인 화질을 얻을 수 있게 되며, 이 현상은 부호화된 영상의 실시간 복원시 시각적인 불쾌감을 유발하는 원인이 된다.

움직임 예측방식을 채택하여 영상신호를 압축하는 기존의 입체동영상 압축방법도 보통의 입체동영상에 대해서 우수한 부호화 성능을 나타내지만 영상을 압축하는 중간에 영상특성이 급변하게 되면 이전의 영상을 기준으로 수행된 움직임 예측이 효과적이지 못하게 되고, 재현영상의 화질이 열화되는 현상을 발생시킨다.

이렇게 MPEG에서는 압축하고자하는 동영상신호 열들의 움직임 예측형식(I,P,B-픽쳐)을 다르게 하므로써 영상의 부호화 순서가 영상의 입력 및 실제의 재생순서와 다르게 되므로 압축처리 과정을 수행하는데 따르는 지연외에도 영상의 재배열에 따르는 부가적인 지연이 수반하지만, I-팩쳐로만 부호화하는 경우 보다 압축효율과 부호화 성능면에서 우수하게 된다.

본 발명은 입체동영상의 압축시 움직임예측을 사용함으로써 발생하는 GOP 내의 예측오차 누적현상과, 획득영상에 신호특성의 급격한 변환이 존재할때 발생하는 재현영상의 화질 열화를 방지하기위해 안출된 것으로, 상기 원인에 의해 화질열화가 예상되는 예측영상에 대해서는 많은 비트가 할당되도록 하거나 움직임 예측을 최대한 억제하여 압축하므로써 예측영상 및 기준영상의 예측오차 누적에 의한 화질감소 현상과, 획득영상 특성의 급변에 따른 심각한 화질열화 현상을 극복하여 재현영상의 화질을 고르게 유지하는 것을 목적으로 한다.

상기의 목적을 달성하기 위하여 본 발명은 움직임예측에 의해 입체영상신호를 압축함에 있어서, 움직임예측을 사용함에 따른, GOP 중반이후의 예측오차 누적현상 또는 획득영상에 신호특성의 급격한 변환이 존재할 때 발생하는 재현영상의 화질 열화를 줄이기 위해서, 시차가 다른 각도에서 획득된 입체영상들을 기준영상열(701)과 예측영상열(702)로 구분하는 1단계와, 기준영상열은 종래의 움직임 예측방식에 의하여 압축하며, 예측영상열은 기준영상열을 기준으로한 시차예측을 포함하여 압축토록 하는 2단계와, 상기 단계에서 상술된 원인에 의해 화질열화가 기대되는 예측영상의 화질을 개선한 후 개선된 예측영상을 기준으로 해당위치의 기준영상을 시차예측하여 이후의 기준영상열과 예측영상열의 화질을 개선시키도록 하는 GOP구조를 설정하여 압축하는 3단계를 포함하여 이루어지는 것을 특징으로 한다.

도 1은 입체영상 획득 개념도

도 2는 시차예측 개념을 이해하기 위한 입체영상 보정의 개념도

도 3은 일반적인 영상신호의 압축 및 복원방식의 개념도

도 4는 움직임 예측방식의 설명도

도 5는 동영상 압축방식 및 영상구조의 설명도

도 6은 일반적인 입체동영상의 GOP 구조 개념도

도 7은 일반적인 입체동영상 압축 및 복원방식의 개념도

도 8은 시차예측 설명도

도 9는 시차예측을 적용하는 압축하는 경우의 입체동영상 압축 및 복원방식 개념도

도 10은 시차예측을 적용한 기존의 입체동영상 압축방식의 일예도

도 11은 시차예측을 적용한 기존의 입체동영상 압축방식의 일예도

도 12는 본 발명에 의한 입체동영상 압축방식의 흐름도

도 13은 본 발명에 의한 입체동영상 압축방식의 일실시예

도 14는 본 발명에 의한 입체동영상 압축방식의 다른 일실시예

* 도면의 주요부분에 대한 부호의 설명

302 : 변환 및 양자화부 304 : 부호할당부

306 : 부호해석부 308 : 역변환/역양자화부

703,903 : 전처리부 704,705,905,906 : 압축부

706,908 : 부호할당 및 혼합부 712 : 부호해석 및 분리부

715,716,916,917 : 압축해제부 719,922 : 후처리부

904 : 시차예측부 915:분리기

도 12는 본 발명에 의한 입체동영상 압축시 기준영상과 예측영상에 대한 압축방법의 흐름도이다.

기존의 입체동영상 압축방식은 시차를 달리하여 획득된 영상신호들을 압축함에 있어서 기준영상열은 종래의 동영상 압축방법으로 압축하고 예측영상열은 예측영상열 자체의 움직임예측외에 기준영상열에 대해 시차를 예측하므로써 압축 효율을 높이고 있으나, 전술한 바와 같은 문제점이 있다.

따라서 본 발명에 의한 입체동영상 압축방법은 상기의 문제점을 해결하기 위하여 전술된 원인들에 의하여 화질열화가 예상되는 예측영상(I')의 화질을 개선시킨 후 해당위치의 기준영상을 이 영상을 참고하여 시차예측을 적용하므로써 이후 영상들의 화질을 개선한다.

상술한 바와같이 움직임 예측 및 시차예측 등을 적용하여 압축하는 예측영상(1307 내지 1407)의 화질을 개선하는 방법은 압축대상 영상을 움직임이나 시차예측을 적용하지 않고 압축하거나 예측에 의해 압축하더라도 압축대상 영상에 많은 비트를 부여하여 압축률을 줄이는 것이다.

즉 본 발명은 입체영상을 압축하기 위해서(1201) 우선 기준영상열과 예측영상열을 구분한 후 일정한 압축결과 비트를 할당, GOP 크기, 예측영상열 내의 화질 개선 대상영상의 위치결정 등을 포함하도록 GOP 구조를 설정하며(1202), 1단계, GOP 내에서 부 GOP 단위로 화질개선 대상영상이 있는지 검사한 후(1203) 대상영상이 없으면 먼저 기준영상열(1204)을 기존의 동영상 압축방식에 의해 압축한 후(1205), 예측영상열(1206)을 압축(1209)하고, 2단계, 대상영상이 있는 경우(1203)는 대상예측영상의 화질을 개선한 후(1207) 이를 기준으로 해당 기준영상을 시차예측 압축하는 본 발명의 압축방식을 적용하며(1208), 현재 GOP내의 잔여 압축대상영상 유무 및 다음 GOP의 지속여부를 검통하여(1210)최종 영상까지(1211)상술된 방식에 의한 압축을 수행하므로써, 영상신호 특성의 급격한 변화 및 GOP 중반 이후에 발생하는 화질열화 현상의 극복을 위한 입체영상의 압축방식이다. 3 단계

이하 본 발명의 실시예를 첨부된 도면에 따라 상술한다.

도 13 및 도 14는 본 발명에 의한 입체동영상 압축의 일실시예이다.

도 13은 움직임예측(1301)과 시차예측(1302 내지 1303)을 압축하는 경우 우선 비트 할당량 증가 및 인트라 압축 등을 통해 예측영상(1304)의 화질을 개선한 후 같은 위치의 기준영상(1305)을 기준영상열내의 이전 P-픽쳐(1307)를 기준으로한 움직임예측을 수행하지 않고, 예측 영상열내의 본 발명에 의해 화질이 개선된 영상(1304)을 기준으로한 시차예측(1306)을 수행하여 압축하므로써 두 영상(1304 내지 1305)의 화질은 물론 이후의 예측영상열 및 기준영상열의 화질까지도 개선하는 입체영상의 압축방식이다.

도 14의 본 발명 적용예는 입체영상의 예측영상열과 기준영상열간에 시차예측(1403 내지 1404)만을 적용하여 압축하는 경우의 적용예로써, 도 13의 경우와 같이 화질개선대상 영상들(1401 내지 1402)을 압축하는 경우 우선 비트할당량 증가 및 인트라 압축 등을 통해 예측영상(1401)을 기준으로한 시차예측(1405)을 수행하여 압축하므로써 두영상(1401 내지 1402)의 화질을 개선함은 물론 이후에 압축될 예측영상열 및 기준영상열의 화질까지 개선하는 입체영상의 압축방식이다.

이같이 본 발명을 적용하여 입체영상을 압축하는 경우 GOP 중반 이후에서 발생되는 화질열화나 영상의 급격한 변화에 따른 영상들의 화질열화를 미연에 방지할 수가 있게 된다.

본 발명은 입체 동영상의 압축시 움직임 예측을 사용하므로써 발생하는 GOP내의 예측오차 누적현상과, 획득영상에 신호특성의 급격한 변환이 존재할 때 발생하는 재현영상의 화질열화를 미연에 방지하기 위한 것이다.

Claims (2)

1. 움직임예측 및 시차예측을 적용하여 입체동영상 데이터를 압축함에 있어서, 움직임 예측을 사용함에 따른 GOP 중반이후의 예측오차누적현상 또는 획득영상에 신호특성의 급격한 변환이 존재할 때 이후의 재현영상에서 나타나는 화질열화를 줄이기 위해서, 시차가 다른 각도에서 획득된 입체영상들을 기준영상열과 예측영상열로 구분하는 1단계와, 기준영상열은 종래의 움직임 예측방식에 의하여 압축하며, 예측영상열은 기준영상열을 기준으로한 시차예측을 포함하여 압축토록 하는 2단계와, 상기 단계에서 상술된 원인에 의해 화질열화가 기대되는 예측영상의 화질을 개선하며, 개선된 예측영상을 기준으로 해당위치의 기준영상을 시차예측하므로써 이후의 기준영상열과 예측영상열의 화질을 개선시키는 GOP 구조를 설정하여 압축하는 3단계를 포함하여 이루어지는 움직임 예측 및 시차예측을 적용하는 경우의 화질열화억제를 위한 입체동영상의 압축방법.
2. 청구항 1에 있어서, 화질개선대상 위치에 해당하는 예측영상 및 이후 영상들의 화질을 개선하기 위해서 해당예측영상을 압축함에 있어서 많은 비트(2 내지 10배)를 할당하여 압축률을 줄이거나, 움직임예측 및 시차예측 등을 적용치 않는 등 일련의 예측방식을 최대한 억제하여 압축하는 움직임 예측 및 시차예측을 적용하는 경우의 화질열화억제를 위한 입체동영상의 압축방법.