KR100316766B1 - 객체의 외곽선 움직임 평가 및 보상방법 및이를 이용한 외곽선 부호화 및/또는 복호화방법 - Google Patents

Abstract

본 발명은 객체의 외곽선 움직임 평가 및 보상방법과 이를 이용한 객체의 외곽선 부호화 및/또는 복호화방법에 관한 것이다. 이를 위하여 객체의 외곽선 부호화 및 복호화방법은 객체 내부에 결정된 중심점으로부터 소정의 방향으로 시작하여 소정의 증가각도만큼 각도를 변화시키면서 객체의 외곽선과 만나는 점까지의 거리를 구하는 단계; 일정한 구간으로 중심점에서 부터 외곽선까지의 거리정보를 구분하고, 구분된 거리정보에 대하여 이전에 재생된 거리정보를 참조하여 회전운동에 대한 움직임 평가 및 보상을 수행하는 단계; 움직임 보상된 거리정보와 이전영상에서 추출된 거리정보의 차를 부호화하는 단계; 부호화된 외곽선 정보를 복호화하는 단계; 및 복호화 결과 생성되는 움직임 변위값, 이미 재생되어 있는 이전 외곽선 정보와 역변환된 거리정보의 차를 더하여 최종적인 외곽선 정보를 생성하는 단계를 구비한다. 따라서, 객체의 움직임이 있을 경우 회전운동에 대한 움직임 평가 및 보상을 수행함으로써 보다 부호화할 정보를 줄일 수 있어 효율적인 부호화가 가능하다.

Description

객체의 외곽선 움직임 평가 및 보상방법과 이를 이용한 객체의 외곽선 부호화 및/또는 복호화방법

본 발명은 영상 부호화방법에 관한 것으로서, 특히 객체의 외곽선 움직임 평가 및 보상방법과 이를 이용한 객체의 외곽선 부호화 및/또는 복호화방법에 관한 것이다.

객체에 대한 외곽선의 부호화는 정지영상 및 동영상에서 객체를 단위로 하는 부호화에 있어서 중요한 역할을 한다. 특히, MPEG4 등과 같은 저전송률 부호화의 경우에는 외곽선이 부호화에 따르는 부담을 최대한 줄여야 하기 때문에 원래의 외곽선과 비슷하게 재현하면서도 압축효과가 높아야 한다.

현재까지 일반적으로 사용되고 있는 외곽선 부호화방법은 컴퓨터 비젼에서 널리 사용되고 있는 체인 코딩(chain coding) 방법으로서, 각 방향에 대하여 코드를 미리 정의하고, 외곽선을 일정한 방향으로 추적하면서 추적방향에 대해 미리 정의된 코드를 사용하여 부호화하는 방법이다. 이 체인 코딩방법은 외곽선에 대한 정보를 전혀 잃지 않기 때문에 원래의 외곽선과 똑같이 재생할 수 있는 장점을 가지나, 부호화에 의하여 발생되는 비트발생량이 많고 비디오와 같은 시퀀스에서 시간적인 중복성을 고려하기 힘든 단점을 가진다. 이러한 체인 코딩방법의 단점을 극복하기 위하여 재현성과 비트발생량을 절충하는 방법이 제안되었다. 그러나, 이러한경우 비트발생량은 절감할 수 있지만 체인 코딩방법의 근본적인 단점을 극복하지 못한다.

영상처리분야에서는 아주 정확한 외곽선 재현을 요구하지 않는 많은 응용분야들이 있다. 이러한 응용분야에서는 비트발생량이 많은 체인 코딩방법이 큰 부담으로 작용하기 때문에 완전하게 외곽선정보를 재현하지 않지만 비트발생량에서 효과적인 외곽선 부호화방법들이 제안되었다. 이러한 방법들중의 하나가 다각형 근사화(polgonal approximation)방법으로서, 하나의 객체에 관련된 전체 외곽선에 대하여 내부 또는 외부에 다각형으로 근사시키는 방법이다. 그러나, 다각형 근사화방법은 비트발생면에서 매우 효과적이긴 하나 재현성이 떨어지는 단점을 가진다.

이러한 단점을 극복하기 위하여 스플라인 근사화(spline approximation)방법이 사용되었다. 전통적인 다각형 근사화방법이 외곽선에 대하여 직선으로 근사화시키는 것에 비하여 스플라인 근사화방법은 곡선으로 근사화함으로써 동일한 비트발생량에 대하여 보다 높은 재현성을 실현할 수 있다.

한편, 스플라인 기법대신 이산사인변환(Discrete Sine Transform:이하 DST라 약함)을 사용하여 비트발생량에서 다각형 근사화방법의 효율성을 유지하면서 보다 복잡한 모양의 외곽선에 대해서도 높은 재현성을 갖는 부호화방법이 개발되었다.

제1도는 다각형 근사화방법과 DST를 사용하여 외곽선을 부호화하는 방법을 개념적으로 도시한 것으로서, 우선 다각형 근사화방법에 의하여 외곽선을 근사화시키고, 다각형과 외곽선과의 차이에 대하여 다각형의 한 직선당 일정수로 샘플링한 후, 샘플링된 에러값에 대하여 DST와 양자화를 수행하여 부호화한다. 이 방법에 의하면 비트발생량이 적을 뿐 아니라 보다 복잡한 외곽선까지 재현할 수 있는 장점을 가진다. 그러나 상기 언급한 여러가지의 외곽선 부호화방법들은 모두 정지영상에서의 외곽선 부호화를 수행하는 방법들이다.

동영상에서 각 객체들은 인접한 시간내에서는 대체로 비슷한 모양과 위치에 있기 때문에 일반적인 동영상에서와 같이 각 객체들의 외곽선들도 시간적인 중복성을 갖는다. 따라서 동영상의 외곽선에 대하여 시간적인 중복성을 이용하여 부호화함으로써 부호화 효율을 높일 수 있다. 동영상에서의 외곽선 부호화방법의 예로는, k번째 프레임의 객체에 대하여 k-1 번째 프레임의 객체를 움직임 평가를 통하여 움직임 평가하고 이를 보상함으로써, 객체를 중첩시켜 중첩되지 않는 부분에서 부호화되어야할 외곽선을 추출하여 이를 제인 코딩방법을 통하여 부호화하는 것이다. 그러나, 이 방법은 움직임이 발생된 객체들의 외곽선이 매우 복잡하게 변하는 경우에는 부호화되어야 할 외곽선이 작은 길이로 많이 발생함으로써 외곽선의 시작점 좌표가 빈번하게 부호화되어야 하므로 비효율적인 단점이 있다.

이러한 단점을 개선하기 위하여 동일 출원인에 의해 선출원된 바 있는 중심점을 이용한 객체의 외곽선 부호화방법에서는 중심점으로 부터 외곽선까지의 거리는 일정한 각도 범위내에서는 비슷한 경향을 갖는 성질을 이용한 것이다. 이러한 성질은 이산여현변환과 같은 변환에 의하여 효과적으로 에너지 집중을 기대할 수 있다. 또한, 프레임간의 외곽선 부호화에 있어서도 인접한 프레임간의 외곽선의 변화가 심하지 않은 경향이 있기 때문에 인접한 프레임에서와 같은 방식에 의하여 결정된 중심점으로 부터 산출된 외곽선까지의 거리정보는 비숫하다. 따라서 이들간의값의 차이값은 작기 때문에 이들의 차이값을 산출하여 이산여현변환을 통하여 효과적인 부호화를 수행할 수 있다.

제2A도는 종래의 외곽선 부호화장치를 나타낸 블럭도로서, 거리추출기(150), 이산여현변환기(151), 양자화기 (152), 가변길이부호화기(153), 역양자화기(154), 역이산여현변환기 (155), 메모리(156), 감산기(157)와 가산기(158)로 구성된다.

거리추출기(150)는 중심점으로 부터 외곽선까지의 거리를 구하기 위한 것이고, DCT(151), 양자화기(Q:152) 및 가변길이부호화기(VLC:153)도 구해진 거리를 부호화하기 위한 것이다. 한편, 중심점을 부호화하기 위하여 이전영상의 복원된 중심점 좌표와 현재 영상의 중심점 좌표의 차를 부호화한다. 따라서 제2A도의 부호화장치를 이용하여 정지영상의 경우에 있어서도 구조의 수정없이 그대로 외곽선 부호화가 가능하다. 역양자화기(IQ:154)는 양자화된 DCT 계수들을 다시 양자화하기 위한 것이며, IDCT(155)는 IQ(154)에서 역양자화된 데이타를 역이산여현변환하기 위한 것이다.

동영상의 경우 첫번째 영상이나 새로 객체가 나타난 것이 아닌 경우에는 감산기(157)에서 이미 이전에 복원되어 메모리(156)에 저장되어 있는 객체의 외곽선과의 차가 구해져서 DCT(151)에 인가된다. 따라서, 이러한 경우 IDCT(155)에서 생성된 데이타는 외곽선 차에 대한 역이산여현변환값이 되므로, 가산기(158)에 의해 메모리(156)에 저장되어 있는 외곽선과 더해져서 새로운 외곽선이 재생되며, 이것은 다시 메모리(156)에 저장되어 다음에 오는 외곽선 정보의 부호화에 참조된다.

제2B도는 제2A도의 부호화장치에 의해 부호화된 외곽선정보에 대한 복호화장치를 나타낸 블럭도로서, 가변길이복호화기(160), 역양자화기(161), 역이산여현변환기(162), 메모리(163) 및 가산기(164)로 구성된다.

가변길이복호화기(VLD;160)에서는 입력되는 비트스트림을 해석하여 외곽선 정보의 DCT 계수값인지 또는 중심점에 대한 정보인지를 판단한다. 역양자화기(IQ;161) 및 IDCT(162)에서는 각각 제2A도의 양자화기(154) 및 IDCT(155)에서와 같이 외곽선 정보의 DCT 계수에 대하여 역양자화 및 역이산여현변환을 수행한다. 가산기(164)는 제2A도의 가산기(158)에서와 같이 재생되어 메모리(163)에 저장되어 있는 외곽선 정보에 역이산여현변환된 외곽선 정보를 더하여 새로운 외곽선 정보를 생성하고 다시 메모리(163)에 저장한다.

한편, 산출된 중심점이 객체 내부에 없는 경우에는 제3도에서 같이 새로운 중심점 (Cx',Cy')을 구한다. 제3도에 있어서 (tx,ty)는 객체(110)의 외곽을 포함하는 가장 작은 사각형(111)의 중심점이다. 새로운 중심점 (Cx',Cy')은 상기 식에 의해 산출된 좌표 (Cx,Cy)에서 (tx,ty)로의 반대 방향의 직선상에서 객체 내부의 점들 중 가운데에 있는 점으로 한다.

한편 결정된 중심점으로 부터 미리 정해진 방향으로 외곽선의 경계화소를 탐색하여 중심점에서부터 외곽선까지의 거리를 구한다. 이때, 먼저 제4A도에서 화살표(200)와 같이 가장 멀리 있는 외곽선까지의 거리를 구한다. 그 이유는 가장 멀리 있는 외곽선까지의 거리를 사용했을때 1차적으로 재생된 외곽선(제4B도)이 객체의 대부분을 포함할 수 있기 때문이다. 만일 보다 정확한 외곽선을 재생하기 위해서는 제4C도에서와 같이 1차적으로 재생된 외곽선(제4B도)과 원래의 객체간의 차이영역을 구하고 차이가 일정한 크기 이상일 경우에는 제2도의 전체 과정을 거쳐 차이영역에 대한 외곽선을 부호화한다. 이 과정은 외곽선의 재생의 정확도에 따라 계속적으로 반복될 수 있다. 이러한 차이영역에 대한 부호화과정에서 샘플링을 위한 증가각도는 1차에서보다 크게 할 수 있기 때문에 많은 비트 발생을 초래하지 않는다. 최종적인 외곽선의 재생을 위해서는 1차적으로 만들어진 재생 외곽선에서 2차 이후의 재생 외곽선을 빼 줌으로써 점차적으로 원래의 외곽선과 같은 외곽선이 재생될 수 있다.

제5도는 증가각도를 d로 하여 중심점으로 부터 외곽선까지의 거리를 산출하는 과정을 나타낸 예이고, 제6A도는 산출된 거리값들을 나타낸 예이며, 제6B도는 산출된 거리값들이 DCT 영역으로 변환된 것을 나타낸다. 또한, 제7도는 제2A도의 거리추출기(150)에서 추출한 k번째 객체의 외곽선과 중심점, 샘플링된 각도 및 거리의 예를 나타낸 것이며, 이때 k-1 번째 객체의 정보들은 제2A도의 메모리(156)에 저장되어 있다. 제8A도는 k번째와 k-1 번째 객체들에 있어서 중심점으로 부터 외곽선까지의 거리를 샘플링된 각도에 의하여 나타낸 것이며, 제8B도는 제8A도에서 각각의 차를 산출한 것이며, 제8B도의 신호에 대하여 1차원 DCT를 수행한 결과를 나타낸 것이다.

그러나, 상술한 중심점을 이용힌 외곽선 부호화방법은 동영상에서의 거리의 차를 구하기 위하여 중심점으로부터 같은 각도의 거리정보의 차를 추출하고 있다. 따라서 객체의 움직임 작더라도 약간의 회전이 발생하면 차가 많이 발생할 수 있는 문제점이 있다.

따라서 본 발명의 목적은 상술한 문제점을 해결하기 위하여 동영상에서 객체의 외곽선 부호화시 거리의 차를 구하기 전에, 일정한 구간으로 중심점에서 부터 외곽선까지의 거리정보를 구분하고, 구분된 거리정보에 대하여 이전에 재생된 거리정보를 참조하여 움직임 평가 및 보상을 수행하는 움직임 평가 및 보상방법을 제공하는데 있다.

본 발명의 다른 목적은 상기 움직임 평가 및 보상방법을 이용한 외곽선 부호화 및/또는 복호화방법을 제공하는데 있다.

상기 목적을 달성하기 위하여 본 발명에 의한 객체의 외곽선 움직임 평가 및 보상방법은

동영상에서 객체의 중심점에서 부터 외곽선까지의 거리정보들에 대하여 일정한 구간별로 각각 일정한 움직임 평가 범위내에서 모든 경우에 매칭시키는 단계:

상기 각 매칭된 거리정보들의 차를 더하는 단계; 및

상기 가산 결과 가장 작은 차의 합이 발생된 경우의 움직임 변위값을 해당 구간에서의 거리정보의 움직임 변위로 설정하는 단계를 구비하는 것을 특징으로 한다.

상기 다른 목적을 달성하기 위하여 본 발명에 의한 객체의 외곽선 부호화 및 복호화방법은

객체 내부에 결정된 중심점으로 부터 소정의 방향으로 시작하여 소정의 증가각도만큼 각도를 변화시키면서 상기 객체의 외곽선과 만나는 점까지의 거리를 구하는 단계;

일정한 구간으로 중심점에서 부터 외곽선까지의 거리정보를 구분하고, 구분된 거리정보에 대하여 이전에 재생된 거리정보를 참조하여 회전운동에 대한 움직임 평가 및 보상을 수행하는 단계:

상기 움직임 보상된 거리정보와 이전영상에서 추출된 거리정보의 차를 부호화하는 단계;

상기 부호화된 외곽선 정보를 복호화하는 단계; 및

상기 복호화 결과 생성되는 움직임 변위값, 이미 재생되어 있는 이전 외곽선 정보와 역변환된 거리정보의 차를 더하여 최종적인 외곽선 정보를 생성하는 단계를 구비하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명하기로 한다.

제9A도 및 제9B도는 본 발명에 의한 객체의 외곽선 움직임 평가 및 보상방법을 적용한 외곽선 부호화 및 복호화방법을 설명하기 위한 장치도로서, 제2A도 및 제2B도의 구조에 움직임 평가 및 보상부(500,501,502)를 부가한 것이다.

제9A도를 참조하면, 거리추출기(150)에서 추출된 거리정보들은 회전에 대한 움직임 평가기(500)에서 일정한 구간 단위로 회전에 대한 움직임 평가에 사용된다. 회전에 대한 움직임 평가기(500)에서 평가된 움직임 변위값은 회전에 대한 움직임 보상기(501)에 보내지고, 회전에 대한 움직임 보상기(501)에서는 이미 재생되어 있는 전영상의 외곽선 정보를 참조하여 움직임 보상 외곽선 정보를 만들고, 감산기(157)에서 원 외곽선 정보와의 차를 산출하여 DCT(151), Q(502), VLC(153)에서 부호화가 수행된다. 이때에는 중심점의 좌표와 함께 회전에 대한 움직임 평가기(500)에서 생성된 움직임 변위값도 VLC가 수행된다. IQ(154), IDCT(155)는 감산기(157)에서 생성되어 변환 및 양자화된 데이타를 다시 역으로 복원하여 메모리(156)에서 재생된 외곽선 정보를 갖도록 한다.

한편, 제9B도를 참조하면, VLD(160)에서는 거리 차에 대하여 VLD가 수행되어 부호들이 해석되고, IQ(161), IDCT(162)를 순차적으로 거친다. 이때, VLD(160)에서 추출된 움직임 변위의 값은 이미 재생되어 있는 메모리(163)의 이전 외곽선 정보에 역변환된 거리 차 정보를 더하여 최종적인 외곽선 정보를 완성하며 또한, 다시 메모리(163)에 외곽선 정보를 저장한다.

제10도는 본 발명에 의한 외곽선 움직임 평가의 예를 나타낸 도면으로, 참조번호 601은 재생된 이전 외곽선의 거리정보를 각도에 대한 순서에 따라서 나타낸 것이고, 참조번호 600은 현재의 부호화할 외곽선의 거리 정보를 각도에 대한 순서에 따라 나타낸 것으로 일정한 구간별로 나눈 움직임 평가의 단위를 나타낸 것이다. 참조번호 600의 거리정보들은 각각 일정한 움직임 평가 범위(예에서는 -8부터 8까지)내에서 모든 경우에 매칭을 하고, 각 매칭된 거리정보들의 차가 더해진다. 이때 가장 작은 차의 합이 발생된 경우의 움직임 변위값을 해당 구간에서의 거리정보의 움직임 변위로 한다.

상술한 바와 같이 본 발명에 의한 객체의 외곽선 움직임 평가 및 보상방법과 이를 이용한 객체의 외곽선 부호화 및/또는 복호화방법에 의하면, 객체의 움직임이 있을 경우 대부분 회전운동을 동반하기 때문에 지금까지 중심점을 이용한 외곽선부호화방법에서 사용하지 않는 회전운동을 보상하기 위하여, 회전운동에 대한 움직임 평가 및 보상을 수행함으로써 보다 부호화할 정보를 줄일 수 있어 효율적인 부호화가 가능하다.

제1도는 다각형 근사와 DST를 이용한 외곽선 부호화의 예를 나타낸 도면.

제2도는 종래의 객체의 외곽선 부호화 및 복호화방법을 보여주는 블럭도.

제3도는 중심점이 객체 내부에 존재하지 않는 경우 새로운 중심점을 선정하는 예를 나타낸 도면.

제4A 내지 4C도는 한 각도에 대하여 다수의 외곽선이 있을때 가장 먼 것을 선택하는 예와 복원되었을때의 에러의 예

제5도는 일정한 각도에 따라서 중심점으로 부터 외곽선까지 거리를 산출하는 방법을 설명하기 위한 도면.

제6A,6B도는 제5도에 도시된 방법에 의해 산출된 정보를 DST 변환한 예를 나타낸 도면.

제7도는 연속된 영상에서 두 객체에 대하여 중심점으로 부터 외곽선까지의 거리를 산출하는 방법을 설명하는 도면.

제8A,8B,8C도는 제7도에서와 같이 시간적으로 연속된 두 객체에 다한 거리정보의 차를 변환하여 부호화한 예.

제9도는 본 발명에 의한 객체의 외곽선 움직임 평가 및 보상방법을 적용한외곽선 부호화 및 복호화방법을 설명하기 위한 장치도.

제10도는 본 발명에 의한 외곽선 움직임 평가의 예를 나타낸 도면.

Claims (4)

1. 동영상에서 객체의 중심점에서 부터 외곽선까지의 거리정보들에 대하여 일정한 구간별로 각각 일정한 움직임 평가 범위내에서 모든 경우에 매칭시키는 단계;

   상기 각 매칭된 거리정보들의 차를 더하는 단계; 및

   상기 가산 결과 가장 작은 차의 합이 발생된 경우의 움직임 변위값을 해당 구간에서의 거리정보의 움직임 변위로 설정하는 단계를 구비하는 것을 특징으로 하는 객체의 외곽선 움직임 평가 및 보상방법.
2. 객체 내부에 결정된 중심점으로 부터 소정의 방향으로 시작하여 소정의 증가각도만큼 각도를 변화시키면서 상기 객체의 외곽선과 만나는 점까지의 거리를 구하는 단계;

   일정한 구간으로 중심점에서 부터 외곽선까지의 거리정보를 구분하고, 구분된 거리정보에 대하여 이전에 재생된 거리정보를 참조하여 회전운동에 대한 움직임 평가 및 보상을 수행하는 단계; 및

   상기 움직임 보상된 거리정보와 이전영상에서 추출된 거리정보의 차를 부호화하는 단계를 구비하는 것을 특징으로 하는 객체의 외곽선 부호화방법.
3. 제2항과 같은 방법에 의해 부호화된 외곽선 정보를 복호화하는 단계; 및

   상기 복호화 결과 생성되는 움직임 변위값, 이미 재생되어 있는 이전 외곽선정보와 역변환된 거리정보의 차를 더하여 최종적인 외곽선 정보를 생성하는 단계를 구비하는 것을 특징으로 하는 객체의 외곽선 복호화방법.
4. 객체 내부에 결정된 중심점으로 부터 소정의 방향으로 시작하여 소정의 증가각도만큼 각도를 변화시키면서 상기 객체의 외곽선과 만나는 점까지의 거리를 구하는 단계;

   일정한 구간으로 중심점에서 부터 외곽선까지의 거리정보를 구분하고, 구분된 거리정보에 대하여 이전에 재생된 거리정보를 참조하여 회전운동에 대한 움직임 평가 및 보상을 수행하는 단계;

   상기 움직임 보상된 거리정보와 이전영상에서 추출된 거리정보의 차를 부호화하는 단계;

   상기 부호화된 외곽선 정보를 복호화하는 단계; 및

   상기 복호화 결과 생성되는 움직임 변위값, 이미 재생되어 있는 이전 외곽선 정보와 역변환된 거리정보의 차를 더하여 최종적인 외곽선 정보를 생성하는 단계를 구비하는 것을 특징으로 하는 객체의 외곽선 부호화 및 복호화방법.