KR100335608B1

KR100335608B1 - 형상정보의압축및/또는복원방법및이를이용한엔코더및/또는디코더

Info

Publication number: KR100335608B1
Application number: KR1019960053182A
Authority: KR
Inventors: 조대성; 신재섭
Original assignee: 삼성전자 주식회사
Priority date: 1996-11-09
Filing date: 1996-11-09
Publication date: 2002-10-12
Also published as: KR19980034980A

Abstract

형상 정보의 압축 및/또는 복원방법 및 이를 이용한 엔코더 및/또는 디코더가 개시된다. 이를 위하여, 임의 영상의 형상 정보를 소정의 블록 단위로 추출하는 단계, 상기 추출된 각 블록에 대해 기준선을 설정하는 단계 및 상기 기준선에 대한 상기 형상 정보의 투영값을 이용하여 상기 형상 정보를 부호화 및/또는 복호화하는 단계를 구비한다. 따라서, 형상 정보를 블록 단위로 처리함으로써 형상 정보의 복원에 소요되는 지연 현상을 줄일 수 있으며, 형상 정보를 투영에 의하여 일차원 데이타로 만들어 기존의 동영상 압축에 이용하는 방식과 유사한 방식으로 구현할 수 있어 비교적 간단한 구조를 제공하며 형상을 고려한 동영상 부호화 및 정지 영상부호화에 효과적으로 적용할 수 있다.

Description

형상 정보의 압축 및/또는 복원방법 및 이를 이용한 엔코더 및/또는 디코더

본 발명은 디지탈 비디오 데이터에서 형상 정보의 압축 및/또는 복원방법 및 이를 이용한 엔코더 및/또는 디코더에 관한 것으로서, 특히 한 프레임에 존재하는 형상 정보를 부호화함에 있어서 정해진 임의의 N × N 블록으로 분할하여 처리하는 형상 정보의 압축 및/또는 복원방법 및 이를 이용한 엔코더 및/또는 디코더에 관한 것이다.

근래 들어, 멀티미디어 영상데이타가 다양해지고 사용자들의 실시간 대화형 시스템에 대한 요구가 높아지면서 객체에 대한 형상 부호화(Shape coding)는 정지영상 및 동영상에서 객체를 단위로 한 부호화에 있어서 중요한 역할을 한다. 특히, 저전송률 부호화의 경우에는 형상의 부호화에 따르는 부담을 최대한 줄여야 하기 때문에 원래의 형상과 비슷하게 재현하면서도 압축효과가 높아야 한다. 현재까지 일반적으로 사용되고 있는 형상 부호화 방법은 체인코딩(chain coding)이라고 하는 것으로 각 방향에 대하여 부호를 정의하고, 외곽선을 일정한 방향으로 따라가면서 부호화하는 방법이다. 체인코딩은 외곽선에 대한 정보를 전혀 잃지 않기 때문에 원래의 외곽선과 같이 재생할 수 있는 장점을 갖는다. 그러나 압축 효과가 낮기 때문에 특별히 원래의 외곽선과 같은 재생 외곽선을 필요로 하지 않는 경우에 보다 높은 압축효과를 갖는 외곽선 부호화 방법이 개발되었다. 다각형 근사화(polygonal approximation)방법과 스플라인 근사화(spline approximation)방법이 이러한 목적으로 개발되었는데 다각형 근사화 방법과 스플라인 근사화 방법은 재현성과 처리의 복잡도에서 문제점이 지적되었으며, 상기의 방법들은 전체의 프레임을 대상으로 처리를 해야하기 때문에 각각의 소규모 블록단위로 처리하는 것에 대해 지연이 발생하는 단점도 있다.

즉, 종래 기술에서 사용하는 형상부호화 방식들은 크게 한 프레임을 처리 단위로 하는 체인코딩(Chain coding), 정점기반 부호화(Vertex-based coding)등이 있고, 한 프레임에서 형상 정보가 존재하는 부분을 선택해서 이들을 일정한 크기의 블록으로 분할하여 처리하는 매크로블록기반 부호화(MacroBlock-based coding)가 있다. 그러나, 상기와 같은 종래 기술에서는 프레임 단위로 처리함으로써 한 프레임에 대한 처리가 종료되기 이전에는 결과를 볼 수가 없기 때문에 지연현상이 발생하고, 매크로블록 단위로 처리하게 됨으로써 비트량이 과다발생하게 되는 문제점이 있었다.

따라서, 본 발명의 목적은 한 프레임에 존재하는 형상 정보를 부호화함에 있어서 정해진 임의의 N × N 블록으로 분할하여 처리함으로써 재현성이 높으면서도 오차의 전파를 막을 수 있고, 필요에 따라 비트량을 쉽게 조절할 수 있도록 하는 형상 정보의 압축 및/또는 복원방법을 제공하는데 있다.

또한, 본 발명의 다른 목적은 형상 정보의 압축 및/또는 복원방법을 이용한엔코더 및/또는 디코더를 제공하는데 있다.

상기 목적들을 달성하기 위하여 본 발명에 의하면, (a) 임의 영상의 형상 정보를 소정의 블록 단위로 추출하는 단계; (b) 상기 추출된 각 블록에 대해 기준선을 설정하는 단계; 및 (c) 상기 기준선에 대한 상기 형상 정보의 투영값을 이용하여 상기 형상 정보를 부호화 및/또는 복호화하는 단계를 구비하는 것을 특징으로 한다.

특히, 본 발명은 비디오 영상에서 객체들의 외곽선 부호화에 우수한 성능을 갖는 영상간(inter frame) 외곽선 부호화로 간단하게 확장할 수 있다는 장점을 가지고 있다. 따라서 본 발명은 정지 영상에서의 외곽선 부호화 뿐아니라 동영상에서의 외곽선 부호화도 매우 효과적으로 수행할 수 있다.

도 1은 본 발명에 의해서 동작하는 엔코더의 블록도.

도 2는 본 발명에 의해서 동작하는 디코더의 블록도.

도 3은 입력된 형상 정보의 일례를 나타낸 도면.

도 4는 한 프레임(frame) 중에 형상 정보 만을 블록 단위로 추출한 경우를 나타낸 도면.

도 5는 각 블록의 타입(MacroBlock Type)를 나타낸 도면.

도 6은 블록 데이타 투영(projection)을 위한 기준선(baseline)을 잡는 방법을 나타낸 도면.

도 7은 각 블록에 존재하는 형상 정보의 종류에 따라 시작점과 끝점을 결정해 주는 방법을 나타낸 도면.

도 8a 내지 8d는 각 블록의 형상 정보에 대한 투영결과의 일례를 나타낸 도면.

도 9a, 9b는 각 블록의 형상 정보에서 형태 정보와 비형태 정보를 추출한 과정을 나타낸 도면.

도 10a는 DCT를 이용한 투영 데이타의 복원시 없던 정보의 생성으로 인한 오류를 나타낸 도면이고, 도 10b 는 DCT를 이용한 투영 데이타의 복원시 있던 정보의 소멸로 인한 오류를 나타낸 도면.

도 11a는 DCT에서 오류를 막기위한 투영데이타의 구획화 과정을 나타낸 도면이고, 도 11b는 DCT를 이용한 투영데이타의 부호화를 위한 비트 흐름 문법(bitstream syntax)을 나타낸 도면.

도 12는 투영 데이타의 부호화를 위한 비트 흐름 문법을 나타낸 도면.

도 13a는 형태 정보의 투영 데이타의 블록간 예측 부호화 과정을 나타낸 도면이고, 도 13b는 비형태 정보의 투영 데이타의 블록내 예측 부호화 과정을 나타낸 도면.

도 14는 DPCM 구조에서 투영 데이타의 양자화후의 복원 데이타의 오류예.

도 15a, 15b는 DPCM 구조에서 투영 데이타의 값이 모두 같은 값을 갖는 경우의 부호화 기법을 나타낸 도면.

도 16a는 샘플링된 데이타의 쌍일차 보간(bilinear interpolation)에 의한 제1복원 오류예이고, 도 16b 는 샘플링된 데이타의 쌍일차 보간에 의한 제2복원 오류예.

도 17a는 샘플링된 데이타의 반복(repetitive) 값에 의한 제1복원예이고,

도17b는 샘플링된 데이타의 반복값에 의한 제2복원예.

도 18은 프레임과 블록간의 상호관계를 나타낸 도면.

도 19는 블록단위의 움직임 예측을 통해 형상 정보의 움직임 벡터(Motion Vector)를 구하는 과정을 나타낸 도면.

도 20은 인접 블록의 형상 정보의 움직임 벡터를 이용하여 움직임 예측의 초기 위치를 설정하는 방법을 설명하는 도면.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 일실시예에 대하여 상세히 설명하기로 한다.

본 발명에 의해 동작하는 시스템의 기본 블록도를 도 1 과 도 2 에 도시한다. 도 1에 도시된 엔코더는, 입력되는 한 프레임의 형상 정보(101)를 정해진 임의의 블록으로 분할하기 위한 블록 추출기(102), 블록 추출기(102)에 의해 나누어진 블록 데이타를 일차원 데이타로 투영하는 블록 투영기(104), 블록 투영기(104)에서 투영된 데이타들의 집합에 대해 예측부호화를 실시하는 DPCM(Differential Pulse Codle Modulation) 혹은 DCT(Discrete Cosine Transform)(105)부, 예측 부호화된 데이타를 일정량의 값으로 양자화 하는 양자화기(106), 양자화된 데이타를 전송하기에 앞서 엔트로피 부호화하는 엔트로피 부호화기(Entropy Encoder;107)를 구비한다. 여기서, 양자화기(106)에서 형상 정보의 손실 부호화가 가능하고 원하는 비트량으로 조절할 수 있다. 또한, 양자화기(106)는 투영 데이타의 샘플링 기능도 포함한다. 즉, 양자화기(106)는 양자화와 샘플링에 의해 손실 부호화하는 구조로 되어있다. 상기와 같은 구조는 매 프레임마다 원래의 형상 정보를 처리하는 것으로, 이를 인트라 코딩(intra coding)이라고 한다.

인트라 코딩과 병행하여 프레임과 프레임 사이의 유사성을 이용하여 보다 적은 정보량으로 형상을 묘사할 수 있도록 하기 위해 즉, 인터 코딩(inter coding)에 사용할 수 있도록 하기 위하여, 움직임 예측을 수행하는 움직임 추정기(112), 양자화기(106)에서 양자화된 데이터를 역양자화하는 역양자화기(108), 역양자화기(108)에서 역양자화한 데이터를 역DPCM 혹은 역DCT하는 역DPCM 혹은 역DCT부(109), 역DPCM 혹은 역DCT부(109)의 출력되는 투영에 의해 만들어 졌던 일차원 데이타로 부터 각각의 블록 데이타를 만들어낼 수 있는 블록 형성기(110), 블록 형성기(110)의 출력데이타를 저장하는 프레임 메모리(111), 프레임 메모리(11)의 출력데이타와 움직임 추정기(112)의 출력데이터로 부터 형상 정보의 움직임을 보상하는 움직임 보상기(113)와, 블록 추출기(102)의 출력데이타와 움직임 보상기(113)의 출력데이타에 대하여 감산 연산을 수행하는 감산기(103)를 구비한다. 즉, 움직임 추정기(112)에서 프레임 메모리(111)에 저장되어있는 재현된 이전 프레임 데이타와 현재 프레임의 블록 데이타로 부터 정확한 형상의 움직임을 예측하여 엔트로피 부호화기(107)로 보냄과 동시에, 움직임 보상기(113)를 통해 움직임을 보상한 다음,이것을 현재의 블록 데이타에 대해 감산기(103)에서 감산 연산을 실시하여 그 차 성분에 대한 처리를 별도로 할 수 있도록 구성되어 있다. 따라서, 도 1 의 엔코더에서는 인트라/인터 코딩을 모두 지원해 줄 수 있도록 구성되어 있다.

한편, 형상 정보의 인터 코딩의 경우는 차 성분을 부호화 하는 것이 비트량 증가에 크게 작용할 수 있으므로 이 경우는 차성분까지 보내지 않고 형상 정보의 움직임 성분에 의한 보상만을 행할 수 있다. 즉, 인터 코딩의 경우 움직임 보상만 하거나 아니면 차 성분을 추가로 보낼 수 있다.

도 2에 도시된 디코더는, 도 1의 엔코더에서 전송되어져 온 데이터 스트림으로 부터 데이타를 읽어 들여서 역양자화기(202)에서 역양자화를 실시하고 역DPCM 혹은 역DCT부(203)에서 역 예측 복호화를 실시한다. 다음, 투영되었던 일차원 데이타로 부터 원래의 블록 데이타를 재현하는 블록 형성기(204)를 거쳐서 프레임 메모리(206)에 저장됨과 동시에 디스플레이(208)도 되며, 이때 프레임 메모리(206)에 저장된 데이타는 다음 프레임의 움직임 보상을 위해 사용된다. 상기한 내용은 인트라 모드로 코딩을 할 경우이고, 인터 모드로 코딩을 할 경우에는 엔트로피 복호화기(Entropy Decoder;201)에서 읽혀진 움직임 벡터를 이용하여 프레임 메모리(206)에 저장된 이전 프레임의 데이타로 부터 움직임 보상부(207)에서 움직임을 보상하고 역양자화기(202), 역DPCM/DCT부(203) 및 블록 형성기(204)에서 만들어진 오차 데이타를 가산기(205)에서 가산한 다음 프레임 메모리(206)에 현재의 재현된 형상을 저장한다. 도 1 의 인코더에서와 마찬가지로 인터 코딩의 경우는 가산기(205)에서의 가산연산을 하지 않는 것도 가능하다.

도 3은 한 프레임 내의 형상 정보의 일례를 도시한 그림이다. 이것은 도 1의 소스화상(101)에 해당한다. 프레임(301)에 형상 정보 값(303)이 존재하고 이를 부호화하기 위해 블록(302)의 형태로 나눈다.

도 4는 도 3의 한 프레임 내의 형상 정보만을 블록 단위(401)로 추출한 결과를 보여준다. 여기서 한 블록 내에 형상 정보의 값이 하나 이상 존재 하면 형상이 존재한다. 이것은 도 1의 블록 추출기(102)에 해당한다.

도 5는 블록 단위로 부호화 하기 위해 블록의 타입(macroblock type)을 정의한 그림이다. 형상 정보가 없는 블록(501)이나 블록내의 모든 점이 형상 정보를 갖고 있는 블록(503)의 경우, 따로 형상을 부호화할 필요없이 그 블록의 타입만을 보내 주면 된다. 본 발명에서 다루는 블록은 블록(502)와 같이 블록 내에 형상 정보가 일부분 존재하여 블록 내의 각 화소의 형상 정보의 유무를 부호화해야 할 경우만을 고려한다.

도 6은 블록 내의 형상 정보를 투영하기 위한 기준선(baseline)을 인접 블록의 정보를 이용하여 결정하는 방법을 나타낸다. 투영하기 위한 기준선은 수평/수직의 두 방향으로 결정된다. 먼저, 블록(601)의 형상 정보를 부호화할 때 블록(602)의 영역(603)과 블록(604)의 영역(605) 내에 형상 정보가 존재하는가를 시험한다. 만약 이전에 부호화한 블록이 수평(혹은 수직) 방향의 기준선에 의해 투영하고 그 데이타를 부호화하였다면 우선 영역(605 혹은 603)에서 형상 정보 유무를 시험하고, 있으면 수평(혹은 수직) 방향을 그대로 유지한다. 만약 영역(605 혹은 603)서 형상 정보가 존재하지 않으면 다시 영역(603 혹은 605)를 검사한다. 이 영역에서형상 정보가 존재하면 수직(혹은 수평) 방향의 기준선을 잡고 그렇지 않으면 기준선의 방향을 바꾸지 않는다. 이 블록내의 형상 정보의 기준선 설정은 도 1 의 블록 추출기 (102)에서 수행된다.

도 7은 각 블록의 형상 정보의 종류에 따라 기준선(baseline)에서 형상 정보의 시작점과 끝점을 결정해주는 방법을 도식한 그림이다. 블록(701, 703, 706)은 수평 방향의 기준선을 사용한 예를 나타낸다. 형상 정보의 시작점과 끝점은 각각 기준선의 맨 처음과 맨 마지막으로부터의 상대적인 거리를 실제 부호화한다. 블록(701)의 경우의 시작점은 기준선의 맨 처음과 일치하고 끝점은 기준선의 맨 마지막으로부터 거리(702)를 갖는다. 블록(703)의 시작점은 상대적인 거리(704)를, 끝점은 상대적인 거리(705)를 갖는다. 블록(706)의 경우는 시작점이 상대적인 거리(707)를 갖고 끝점은 기준선의 마지막과 일치한다. 이 시작점, 끝점의 선정은 도 1의 블록 투영기(104)에서 이루어지며 이 값은 도 1 의 DPCM/DCT부(105), 양자화기(106), 역양자화기(108), 역DPCM/역DCT부(109), 블록 형성기(110)에서의 투영 데이타 처리에 이용된다. 그리고 이 값은 엔트로피 부호화기(107)에 의하여 부호화된다.

도 8a 내지 8d은 각 블록의 형상 정보에 대한 기준선에 대한 투영 결과의 일례를 도식한 그림이다. 도 8a의 블록(801)을 따로 고려하면 블록(801-1)과 같다. 형상 정보의 경우 기준선에 수직인 방향으로 항상 짝수 개의 투영 값을 갖는다. 기준선으로부터 수직 방향으로 먼 거리에 있는 형상 정보만을 투영하여 얻는, 참조번호 801-2와 같은 데이타 Hp(High Position)와, 기준선으로부터 수직 방향으로 가까운 거리에 있는 형상 정보만을 투영하여 얻는, 참조번호 801-3과 같은 데이타 Lp(Low Position)가 존재하게 된다. 투영 데이타 Hp, Lp는 일차원 값으로서 기존의 변환 부호화 방법을 그대로 적용하여 압축할 수 있다. 블록(802 혹은 803)을 고려한 블록(802-1 혹은 803-1)의 경우 802-2(혹은 803-2)와 같은 데이타 Hp와 802-3(혹은 803-3)와 같은 데이타 Lp를 얻게 된다. 이 투영 과정은 도 1 의 블록 투영기(104)에서 이루어진다.

도 9a, 9b는 도 8 에서의 Hp, Lp에 의한 투영 값 만으로는 완전 복원이 불가능한 형상 정보를 포함하는 블록을 처리하는 과정을 보여준다. 블록(901) 내의 형상(902)의 경우는 903과 같은 투영 데이타 Hp와 904와 같은 투영 데이타 Lp 에 의한 복원과정(905)에 의해 나타나는 블록(906)의 형상은 907와 같은 올바른 복원 결과 이외에 908과 같은 형상이 추가로 나타난다. 여기서, 형상(907과 908)은 투영값에 의해 일차적으로 나타나는 것으로 이것을 형태 정보라고 한다. 따라서 실제의 형상을 복원하기 위해서는 블록(906)의 형태 정보로부터 형상(902)을 빼내야 한다(909단계). 이렇게 얻어진 정보(910)을 비형태 정보라고 부른다. 블록(911) 내의 형상(912)도 913에 의한 Hp데이타와 모두 0인 Lp데이타에 의한 복원과정(914)에 의해 블록(915) 내에 형태 정보(916과 917)와 이 정보에서 형상(912)을 빼서(918단계) 얻은 비형태 정보(919)로 이루어진다. 이러한 형태 정보와 비형태 정보의 추출은 블록 투영기(104)에서의 형상 정보 투영 과정 및 블록 형성기(110)의 블록 형성과정의 반복에 의해서 얻는다. 블록 투영기(104)의 투영 블록은 블록 형성기(110)과 같은 블록 형성기능을 동시에 갖는다. 비형태 정보에 비형태 정보가 다시 포함되는 경우가 있다. 이 경우는 첫번째로 나온 비형태 정보를 형태 정보를 다루는 방식대로 한뒤, 다시 비형태 정보를 추출하고 이 경우나온 비형태 정보는 첫번째 형태 정보에 더해 주어 원래 형상을 복원한다.

도 10a, 10b는 DCT에 의한 부호화 후의 복원 형상의 오류를 나타낸 그림이다. 도 10a에서 기준선(1001)을 잡았을 때 형상 정보(1002)는 위의 블록에서는 두개로 나뉘어 지게 된다. 이를 DCT하고 양자화한후 다시 역양자화와 역 DCT를 거친후 복원하면(1003단계), 없던 데이타(1004)가 생겨나서 복원 형상의 화질에 큰 영향을 미치게 된다. 이것은 0인 데이타와 그렇지 않은 데이타가 같이 있는 데이타를 DCT부호화할 경우 손실이 생겨 0인 데이타가 0이 아닌 다른 데이타로 바뀔 경우가 생기기 때문이다. 형상(1006)과 같이 기준선(1005)을 사용했을 때 블록간 형상이 걸쳐 있을 경우 그 경계 부분에서 손실이 일어나 있던 데이타(1008)가 손상된 경우를 나타낸다.

도 11a 는 DCT에 의한 압축/복원 과정에서의 오류를 막기 위한 투영 데이타의 구획화 과정을 도시한 그림이다. 수평 기준선에 대해 Hp 데이타는 인접 블록에도 존재하는 형상 정보로 이루어진 구간, 즉 N × N 블록의 경우 투영 데이타의 값이 모두 N인 구간 즉 구역(1101)과 그렇지 않은 데이타로 이루어진 구간 즉 구역(1102)으로 나누어서 처리된다. 구간(1101)은 DCT값을 이용하지 않고 바로 그 구간의 길이 정보만으로도 복원이 가능하다. Lp 데이타의 경우도 마찬가지로 구역을 나눌 수 있다. 이 경우 데이타의 값이 모두 0으로 이루어진 구역(1104와 1106)과 그렇지 않은 구역(1105)으로 나누어 처리한다. 구역(1105)만 DCT에 의한 압축을하고 그렇지 않은 영역은 길이 정보만을 부호화한다. 참조번호 103-1은 투영 데이타의 시작 위치이고 107-1은 투영 데이타의 마지막 위치를 나타낸다. 도 11b 는 도 11a의 구획화를 구현하기 위한 비트 흐름 문법 (bitstream syntax)를 나타낸다. 기준선의 시작점(1103-2)은 103-1의 위치를 나타내고, 기준선의 끝점(1107-2)는 107-1의 위치를 나타낸다. DCT 인에이블/Eob 플래그(1108)는 DCT가 필요한가의 여부와 처리하고자 하는 구역이 투영 데이타의 마지막 여부를 나타내는 비트이다. 이것은 4가지의 조합으로 이루어져 있다. DCT가 필요하고 투영 데이타의 마지막이 아닌 경우, 또는 투영 데이타의 마지막인 경우, DCT가 필요 없고 투영 데이타의 마지막이 아닌 경우, 또는 투영 데이타의 마지막인 경우이다. 만약 DCT 인에이블/Eob 플래그(1108)에서 현재 부호화하는 구역이 투영 데이타의 마지막인 경우는 기준선의 끝점(1107-2)에 의하여 길이를 알 수 있으므로 한 구역의 길이인 데이타길이(1109)는 필요치 않게 된다. 세그먼트 데이타(1110)은 DCT 인에이블/Eob 플래그(1108)에서 DCT가 필요하다고 처리 되었을 때 고려되는 실제 처리된 DCT에 의한 부호화된 데이타를 나타낸다.

도 12 는 투영 데이타의 부호화 후 발생하는 비트 흐름(bitstream)을 나타낸 그림이다. 1201은 도 9a 및 도 9b에서와 같은 형태 정보가 블록 내에 존재하는 갯수를 나타낸다. 기준선에 대한 투영에 의해서는 모든 형태 정보를 추출할 수 없다. 따라서 블록 내에 형상 정보에 대해서 먼저 레이블링(Labeling)에 의해 여러 형상정보를 따로 분리해 낸다. 각각의 형상 정보에 대해 투영하여 형태 정보와 비형태 정보를 분리해 낸다. 1202는 블록 내의 비형태 정보의 수를 나타낸다. 1203, 1204는 각각의 형태, 비형태 정보의 시작점과 끝점의 위치를 나타낸다. 1205와 1206은 각각 투영 데이타 Lp, Hp의 값들을 처리한 결과이다. 이것은 도 1 의 DPCM/DCT부(105)와 양자화기(106)의 처리 결과를 나타낸다. 복원 시에는 역양자화기(108)과 역DPCM/역DCT부(109)의 처리 결과 및 도 2 의 역양자화기(202)과 역DPCM/역DCT부(203)의 처리 결과를 나타낸다.

도 13a 는 도 1 의 엔트로피 부호화기(107)의 엔트로피 부호화 과정에서의 효율을 높이기 위한 블록간 형태 정보의 투영 데이타의 예측 방법을 도시한 그림이다. 두 인접한 블록과 그 블록 내 형상 정보의 투영 값이 도시되어 있다. 좌측 하단의 투영 데이타는 이전에 복원된 형상 정보이다. 여기서 Hp(Lp)의 마지막 값(1301)(혹은 1303)은 우측 블록의 Hp(혹은 Lp) 투영 값의 첫번째 값(1302)(혹은 1304)와 유사한 값을 갖는다. 따라서 값(1302)(혹은 1304)을 인접 블록의 1361(혹은 1303)로부티 예측이 가능하다. 여기서 기준선은 수평 방향으로 이것은 1301과 1303이 존재하므로 설정된 기준선의 방향이라고 할 수 있다(도 6 참조).

도 13b 의 경우는 비형태 데이타의 예측 방법을 도시한 그림이다. 비형태 데이타의 경우는 형태 데이타의 내부에 존재하므로 블록간의 연관성이 적다. 대신, 블록내의 Hp와 Lp 데이타 간의 예측을 한다. 주로 형태 데이타는 블록 내의 중앙에 위치하는 경우가 대부분이다. Lp 데이타의 첫번째 값(1306)은 블록의 중앙 위치 값(1305)으로부터 예측한다. 그리고 Hp 데이타의 첫번째 값 (1307)은 1308과 같이 1306으로부터 예측한다.

도 14 는 도 1 에서 DPCM을 사용할 경우의 양자화 후의 역 양자화에 의한 복원에서 발생할 수 있는 오류를 나타낸다. 형상(1401)과 같이 인접 블록간에 서로 연결되어 있을 경우 투영 데이타의 Hp 값은 N × N 블록의 경우 N을 갖는다. 그러나 이 값을 N/Qp와 같이 양자화 크기(Qp)로 나눈후 다시 복원한 값((N/Qp) × Qp)는 N과 같지 않다. 따라서 복원후(1402단계)에는 1403과 1404와 같이 블록간 형상 정보가 서로 분리되게 되어 시각적으로 좋지 않은 결과를 보인다. 이런 현상을 막기 위해서 각각의 Qp에 대해 N/Qp를 N으로 복원하도록 복원 데이타 값을 늘려 준다.

도 15a, 15b 는 DPCM에서 투영 데이타의 값이 모두 같은 값을 갖는 경우의 부호화 기법을 나타낸다. 좌측 형상 정보의 값(1501)을 투영한 점들(1502)의 Lp 값은 모든 값이 0이다. 이 경우는 DPCM하지 않고 특정 코드를 할당한다. 우측 형상 정보의 값(1503)을 투영한 점들(1504)의 Hp 데이타는 모든 같이 N (N × N 블록의 경우)이다. 이 경우 1502와 같은 코드를 할당한다.

도 16a, 16b 는 샘플링된 데이타의 쌍일차 보간(bilinear interpolation)에 의한 복원 오류의 예를 나타낸다. 샘플링은 2:1로 한 결과를 나타낸다. 도 16a 의 경우는 Lp 값이 올바로 복원되지 않은 결과를 보여준다. 여기서 "X"는 샘플링된 Hp의 복원 값을, "0"는 샘플링된 Lp의 복원값을 나타낸다. 먼저 형태 정보에 대해서 1601(혹은 1602)는 시각적으로 Lp(혹은 Hp)값의 올바른 복원 결과를 보여준다. 그러나 Lp 데이타의 두 샘플(1603과 1604)가 존재할 경우 그 사이의 없어진 값에 대한 쌍일차 보간에 의한 복원 결과는 1605와 같다. 이것은 원래 값과는 큰 차이를 보인다. 형태 정보의 복원 후(1608단계) 비형태 정보를 복원하여 빼면(1610단계)1605에 의한 오류가 1611과 같이 나타난다. 이것은 시각적으로도 갑자기 튀어나온 형상 정보에 의해 나쁜 결과를 보인다. 샘플링은 1606과 1609와 같이 샘플링 율에 상관 없이 끝점은 항상 샘플링하여 복원상의 오차를 감소시켜야 한다. 1607의 복원 결과의 경우도 인접한 두 샘플의 값의 차가 크면 1612와 같이 복원 형상이 깍이는 결과를 보일 수 도 있다. 도 16a 의 복원 오류의 경우는 비형태 정보가 형태 정보안에 존재할 경우 발생한다. 비형태 정보가 존재하지 않을 경우의 쌍일차 보간은 시각적으로 좋은 결과를 보인다.

도 16a 는 Hp 데이타의 복원 오류를 나타낸다. 여기서 "0"는 샘플링된 Hp의 복원 값을, "X"는 샘플링된 Lp의 복원값을 나타낸다. 1614와 1613은 올바른 복원을 나타낸다. 그러나 1615와 1616 의 Hp 데이타가 존재할 경우의 1617의 복원 데이타 값의 경우는 원래의 값과는 큰 차이를 보인다. 형태 정보의 복원 후 (1618단계) 비형태 정보를 복원하여 빼면(1620단계) 1617에 의한 오류가 1622과 같이 나타난다. 1621은 1612와 같은 복원 후 형상이 깍이는 현상을 보여준다. 1619는 1606과 1609와 같이 항상 끝점은 샘플링한다는 규칙을 적용하여 샘플링한 결과를 나타낸다. 이러한 샘플링은 도 1 의 블록투영기(104), DPCM/DCT부(105)에서 행해지며 복원은 블록 형성기(110)에서 이루어진다.

도 17a, 17b 는 도 16a 와 도 16b 의 오류를 감소시키기 위한 복원의 개선방법을 도시한 것이다. 형태 정보 내에 비형태 정보가 존재하는 경우만을 고려한 것이다. 그렇지 않은 경우는 도 16a, 16b 와 같이 쌍일차 보간을 한다. 도 17a 의 경우는 Lp 데이타의 오류를 막기 위한 방법을 도시한 그림이다. 1701, 1702는 각각Lp, Hp 데이타의 올바른 복원을 보여준다. 1703, 1704의 Lp 샘플 데이타가 존재할 경우 둘 사이의 값은 1705와 같이 두 값 중 큰 값을 샘플로 채워 넣어 복원한다(반복 복원). 1705와 같이 작은 값으로 채워 넣을 경우 쌍일차 보간보다 더 큰 오류를 나타낸다. 형태 정보 복원 후(1709단계) 비형태 정보를 복원하여 빼면(1711단계) 쌍일차 보간과 같은 큰 시각적 화질 저하(1611 참조)는 일어나지 않는다. 1712 와 1713은 1702와 1708로부터 깍임 현상이 나타난 결과이다. 1714도 마찬가지 결과를 나타낸다. 이러한 깍임 현상은 복원 영상에서 블록 현상을 크게 하므로 전 형상에 대해 적용하지 않고 비형태 정보가 존재하는 경우에만 적용한다.

도 17b 는 Hp 데이타의 복원 오류를 나타낸다. 1715, 1716은 Lp, Hp의 올바른 복원을 보여준다. 1717과 1718 샘플 사이를 복원할 경우 Lp 데이타와는 달리 두 샘플 중 가장 작은 값인 1720을 복원할 샘플 값으로 한다(반복 복원). 1719를 복원 값으로 설정하면 쌍일차 보간보다도 나쁜 시각적 결과를 보여준다. 형태 정보 복원후(1721단계) 비형태 정보를 복원하여 빼면(1723단계) 시각적으로 큰 화질 저하 없는 결과를 얻을 수 있다. 1724, 1725는 1712, 1713, 1714와 마찬가지로 반복 복원에 의한 깍임 현상을 나타낸다.

도 18은 프레임과 블록간의 상호 관계를 도식한 그림이다. M × N 프레임(1801)이 있을 때 P × Q의 블록(1802)으로 프레임을 나눌 수 있다. 로우(Row) 방향(1804) 으로는 N/Q 개의 블록을, 칼럼(Column) 방향(1803)으로는 M/P개의 블록이 존재한다.

도 19는 블록 단위의 움직임 예측을 통해 형상 정보의 움직임 벡터를 구하는과정을 나타낸다. 이전 프레임(1901)이 존재하여 현재 프레임(1902)내의 형상 블록(1903)을 예측하는데 이용한다. 움직임을 찾기 위하여 탐색 영역 Sp × Sq (1904)내에서 참조번호 1905의 위치를 초기 위치로 하여 가장 작은 오차를 갖는 블록(1906)을 찾는다. 이때 Sp 방향으로 최적인 움직임 MVy (1908)과 Sq 방향으로 최적인 움직임 MVx (1907) 을 찾을 수 있다. 이것은 도 1 의 프레임 메모리(111)에 저장된 이전 프레임을 이용하여 움직임 추정기(112)에서 시행된다. 움직임 보상기(113)에서는 찾아진 움직임 벡터에 의해 현재의 형상 정보를 복원하는 것이다.

도 20은 인접 블록의 형상 정보의 움직임 벡터를 이용하여 움직임 예측의 초기 위치를 설정하는 기법을 나타낸다. 현재 블록의 움직임(2101)을 추정하기 위하여 인접 블록의 음직임 벡터 MV1 (2102), MV2 (2103), 그리고 MV3 (2104) 을 각 방향으로 메디안 필터링하여 움직임 벡터의 예측 벡터(MVPx, MVPy)를 구한다. 이렇게 움직임 벡터를 예측하는 것은 도 19 의 1905의 위치를 설정하는데 이용된다. 2106과 같이 프레임의 경계가 놓여진 경우는 MV1(2102)의 움직임 벡터를 참조번호 2107과 같이 (0,0)으로 설정한다. 2108과 같은 경계에서는 MV2(2103)와 MV3(2104)의 움직임 벡터를 참조번호 2109와 2110과 같이 MV1의 움직임 벡터로 가정한다. 2111과 같은 경계에서는 2112와 같이 MV3(2104)를 (0,0)으로한 뒤 움직임의 초기 위치를 예측한다. 만약 경계 이외에 인접 블록이 인트라 부호화되었을 경우는 그 블록의 움직임은 0으로한다.

본 발명은 형상 정보를 블록 단위로 처리함으로써 형상 정보의 복원에 소요되는 지연 현상을 줄일 수 있다. 또한, 형상 정보를 투영에 의하여 일차원 데이타로 만들어 기존의 동영상 압축에 이용하는 방식과 유사한 방식으로 구현할 수 있어 비교적 간단한 구조를 제공하며 형상을 고려한 동영상 부호화 및 정지 영상부호화 에 효과적으로 적용할 수 있다. 또한, 형상의 특성에 따른 투영 데이타를 얻으므로 이러한 형상의 특성을 블록 마다 달리 적용하여 형상의 특성에 맞는 부호화가 가능하다.

Claims

(a) 임의 영상의 형상 정보를 소정의 블록 단위로 추출하는 단계;

(b) 상기 추출된 각 블록에 대해 기준선을 설정하는 단계; 및

(c) 상기 기준선에 대한 상기 형상 정보의 투영값을 이용하여 상기 형상 정보를 부호화 및/또는 복호화하는 단계를 구비하는 것을 특징으로 하는 형상 정보의 압축 및/또는 복원방법.
제 1 항에 있어서, 상기 (c) 단계에서는 상기 형상 정보의 투영을 위해 각 블록 마다 기준선을 설정할 때, 기준선의 방향은 인접 블록의 인접한 형상 정보의 유무에 따라 절정하는 것을 특징으로 하는 형상 정보의 압축 및/또는 복원방법.
제 1 항에 있어서, 상기 (c) 단계에서는 상기 각 블륵 내의 여러 형상 정보를 뽑아내어 각 형상 정보에 대하여 시작점과 끝점을 잡는 것을 특징으로 하는 형상 정보의 압축 및/또는 복원방법.
제 1 항에 있어서, 상기 (c) 단계에서는 각 블록내의 형태 정보와 비형태 정보를 추출하고 각각의 값을 부호화하는 것을 특징으로 하는 형상 정보의 압축 및/또는 복원방법.
제 1 항에 있어서, 상기 (c) 단계에서는 각 블록내의 형상 정보를 구획화 하고 DCT를 이용하는 것을 특징으로 하는 형상 정보의 압축 및/또는 복원방법.
제 1 항에 있어서, 상기 (c) 단계에서는 DPCM과 같은 예측 부호화 기법에 있어서 블록간의 형상 정보의 예측을 이용하는 것을 특징으로 하는 형상 정보의 압축 및/또는 복원방법.
제 1 항에 있어서, 상기 (c) 단계에서는 DPCM과 같은 예측 부호화 기법에 있어서 블록 내의 형상 정보간의 예측을 이용하는 것을 특징으로 하는 형상 정보의 압축 및/또는 복원방법.
제 1 항에 있어서, 상기 (c) 단계에서는 DPCM과 같은 예측 부호화 기법의 양자화에 의한 오류를 없애기 위해 최대 투영값의 손실 없이 양자화하여 복원하는 것을 특징으로 하는 형상 정보의 압축 및/또는 복원방법.
제 1 항에 있어서, 상기 (c) 단계에서는 비형태 정보가 없는 형상 정보에 대해 샘플링된 후 손실된 값의 복원을 위해 쌍일차 보간을 수행하는 것을 특징으로 하는 형상 정보의 압축 및/또는 복원방법.
제 1 항에 있어서, 상기 (c) 단계에서는 비형태 데이타가 존재하는 형상 정보에 대해 샘플링된 후 손실된 값의 복원을 위해 인접한 한 샘플중에 데이타의 특성에 따라 하나의 값으로 반복적으로 복원하는 것을 특징으로 하는 형상 정보의 압축 및/또는 복원방법.
제 1 항에 있어서, 상기 (c) 단계에서는 움직임 예측을 위해 인접블록의 움직임의 메디안 값을 이용하여 움직임의 초기 위치로 선정하는 것을 특징으로 하는 형상 정보의 압축 및/또는 복원방법.
임의 영상의 형상 정보를 소정의 블록 단위로 추출하는 단계;

상기 추출된 각 블록에 대해 기준선을 설정하는 단계; 및

상기 기준선에 대한 투영값을 이용하여 상기 형상 정보를 부호화 및/또는 복호화하는 단계를 구비하는 것을 특징으로 하는 형상 정보의 엔코더 및/또는 디코더.