KR19980076590A - 윤곽선 영상 부호화에서의 윤곽선 복호화 장치 - Google Patents

Abstract

본 발명에서 제안된 윤곽선 정보 복호화기는 부호화된 윤곽선 정보를 받아 재생된 윤곽선 정보를 출력하는 장치로서 부호화된 윤곽선 정보를 각각 윤곽선 정보와 윤곽선 유형 정보로 나누는 디멀티플렉서; 상기 윤곽선 정보를 복호화하는 수단; 상기 윤곽선 유형 정보를 복호화하는 수단; 복호화된 윤곽선 정보와 복호화된 윤곽선 유형 정보를 입력으로 받아 복호화된 윤곽선 유형 정보에 따라 외부 윤곽선 재생 수단 혹은 내부 윤곽선 재생 수단을 구동하고 입력된 정보를 구동된 수단으로 전달하는 스위치; 현재 재생할 윤곽선의 위치에 있는 이미 재생된 윤곽선과 현재 재생할 윤곽선이 하나로 합쳐지지 않도록 저장 수단에 저장된 이전에 재생된 윤곽선 정보를 참조하여 현재의 윤곽선을 재생하여 저장 수단과 내부 윤곽선 재생 수단에 제공하는 외부 윤곽선 재생 수단; 외부 윤곽선에서 제공된 재생된 윤곽선 정보 중 복호화된 윤곽선 유형 정보에 따라 현재 재생할 내부 윤곽선을 포함하는 외부 윤곽선을 찾아 외부 윤곽선 밖으로 내부 윤곽선이 돌출하지 않도록 내부 윤곽선을 재생하여 저장 수단에 제공하는 내부 윤곽선 재생 수단; 및 외부 윤곽선 재생 수단과 내부 윤곽선 재생 수단으로부터 재생된 윤곽선 정보를 받아 저장하여 외부 윤곽선 재생 수단에 제공하고, 모든 윤곽선의 재생이 끝나면 저장된 정보를 재생된 윤곽선 정보로 제공하는 저장 수단을 포함한다.

Description

윤곽선 영상 부호화에서의 윤곽선 복호화 장치

본 발명은 영상 신호 부호화기에서 사용하기 위한 윤곽선 부호화방법 및 장치에 관한 것으로, 특히 복호화기에서 사용하는 윤곽선 재구성 장치에 관한 것이다.

영상 전화, 원격회의(teleconference) 및 고선명 텔레비젼 시스템과 같은 디지탈 텔레비젼 시스템에 있어서, 영상 프레임 신호의 영상 라인 신호는 화소값이라 불리는 디지탈 데이터의 시퀀스(sequence)를 포함하므로, 각 영상 프레임 신호를 규정하는데 상당량의 디지탈 데이터가 필요하다. 그러나, 통상의 전송채널의 이용가능한 주파수 대역폭은 제한되어 있으므로, 특히 영상 전화와 원격회의 시스템과 같은 저전송 영상 신호 부호화기(low bit-rate video signal encoder)에서는 다양한 데이터 압축기법을 통해 상당량의 데이터를 줄여야 한다.

저전송 부호화시스템의 영상 신호를 부호화하기 위한 부호화방법 중의 하나는 소위 객체지향 해석 및 합성 부호화기법(object-oriented analysis-synthesis coding technique)이다.

상기 객체지향 해석 및 합성 부호화기법에 따르면, 입력 영상 이미지는 객체들로 나뉘어지고, 각 객체들의 움직임, 윤곽선 그리고 화소 데이터를 정의하는 인자들은 각기 상이한 부호화채널을 통해 처리된다.

특히, 객체의 윤곽선 이미지를 처리하는데 있어서, 윤곽선 정보는 객체의 형상을 해석하고 합성하는데 중요하게 작용하며, 윤곽선 정보를 나타내는데 사용되는 통상의 부호화방법은 체인 부호화(chain coding)방법으로, 상기의 방법은 비록 윤곽선 정보의 손실은 없지만 윤곽선을 부호화하는데 상당량의 비트를 필요로한다.

이에 따라, 상기 체인 부호화방법의 단점을 보완하기 위하여 다각형 근사(polygonal approximation)방법을 이용한 윤곽선 부호화방법이 제안되었다.

상기 다각형 근사방법은 우선, 다수개의 윤곽선 화소로 구성된 윤곽선 상에 두개의 시작정점(start vertex)을 선택하게 되는데, 만약에 인가된 윤곽선이 개곡선이면, 두 끝점을 시작정점으로 선택하고, 윤곽선이 폐곡선이면 윤곽선 상에서 가장 멀리 떨어진 두 점을 시작정점으로 선택한다. 두 시작정점들 사이에 직선의 라인 세그먼트(line segment)를 긋고, 상기 라인 세그먼트에 대응하는 윤곽선 세그먼트 상의 각 윤곽선 화소로부터 상기 라인 세그먼트까지의 수직거리를 측정하여 가장 먼 거리에 위치하고 그 거리가 기준값 Dmax 보다 큰 윤곽선 화소를 새로운 정점으로 결정한다. 새로운 정점이 결정되면 각각의 정점을 연결하여 윤곽선을 다각형 근사화시키고, 인접하는 두 정점에 의해 형성된 새로운 라인 세그먼트와 그에 대응하는 윤곽선 세그먼트 간에 상기한 바와 같은 정점 결정과정을 반복 적용하여 라인 세그먼트로부터 그에 대응하는 윤곽선 세그먼트 까지의 최대 수직거리가 상기 기준값 Dmax와 같거나 작아질 때까지 정점을 구하여 상기 윤곽선에 대한 다각형 근사화를 수행한다.

그러나, 상기한 다각형 근사방법을 적용하여 부호화하면 윤곽선 부호화과정에서 소모되는 비트량은 크게 감소시킬 수는 있으나, 복호화기에서 부호화된 윤곽선을 복호화하여 재생할 때 재생된 윤곽선 이미지가 정확하지 못하다는 문제가 있다.

이런 문제점들이 도 3과 도 4에 예시되어 있다. 도 3은 두 개의 윤곽선이 서로 따로 따로 한 프레임에 존재하는 외부 윤곽선(exterior contour)들의 경우이고, 도 4는 두 윤곽선이 한 프레임 내에 존재하되, 하나의 윤곽선이 다른 것에 포함되는 내부 윤곽선(interior contour)의 경우이다. 도 3a와 같이 한 프레임 내에 두 개의 따로 떨어진 객체들이 존재할 때 이들이 복호화기에서 재생될 때 도 3B에서와 같이 하나의 외부 윤곽선으로 재생되는 경우가 있다. 또한 도 4a와 같이 한 객체가 다른 한 객체 안에 들어 있을 때, 안에 있는 객체의 경계인 내부 윤곽선이 도 4b와 같이 바깥쪽 객체의 경계인 외부 윤곽선 밖으로 튀어나오는 방식으로 잘못 재생될 수 있다.

따라서, 본 발명에서는 복호화기에서 윤곽선을 재생할 때 생기는 상기와 같은 오류를 외부 윤곽선과 내부 윤곽선으로 윤곽선의 유형을 나누어 각기 다른 방식으로 윤곽선을 재생하는 복호화기를 제안한다.

본 발명은 윤곽선 부호화기에서 한 프레임 내에 있는 두 개의 윤곽선이 하나로 합쳐져 부호화되거나 한 윤곽선에 들어있는 또하나의 윤곽선이 본래의 윤곽선에 들어있지 않고, 본래의 윤곽선 바깥쪽으로 돌출되어 부호화되는 경우와 같이 잘못 부호화될 경우 복호화 과정에서 이를 극복하는 방식으로 윤곽선을 재생하는 복호화 장치를 제공하는 데 그 목적이 있다.

상기 목적을 달성하기 위하여, 본 발명에서 제안된 윤곽선 정보 복호화기는 부호화된 윤곽선 정보를 받아 재생된 윤곽선 정보를 출력하는 장치로서 부호화된 윤곽선 정보를 각각 윤곽선 정보와 윤곽선 유형 정보로 나누는 디멀티플렉서; 상기 윤곽선 정보를 복호화하는 수단; 상기 윤곽선 유형 정보를 복호화하는 수단; 복호화된 윤곽선 정보와 복호화된 윤곽선 유형 정보를 입력으로 받아 복호화된 윤곽선 유형 정보에 따라 외부 윤곽선 재생 수단 혹은 내부 윤곽선 재생 수단을 구동하고 입력된 정보를 구동된 수단으로 전달하는 스위치; 현재 재생할 윤곽선의 위치에 있는 이미 재생된 윤곽선과 현재 재생할 윤곽선이 하나로 합쳐지지 않도록 저장 수단에 저장된 이전에 재생된 윤곽선 정보를 참조하여 현재의 윤곽선을 재생하여 저장 수단과 내부 윤곽선 재생 수단에 제공하는 외부 윤곽선 재생 수단; 외부 윤곽선에서 제공된 재생된 윤곽선 정보 중 복호화된 윤곽선 유형 정보에 따라 현재 재생할 내부 윤곽선을 포함하는 외부 윤곽선을 찾아 외부 윤곽선 밖으로 내부 윤곽선이 돌출하지 않도록 내부 윤곽선을 재생하여 저장 수단에 제공하는 내부 윤곽선 재생 수단; 및 외부 윤곽선 재생 수단과 내부 윤곽선 재생 수단으로부터 재생된 윤곽선 정보를 받아 저장하여 외부 윤곽선 재생 수단에 제공하고, 모든 윤곽선의 재생이 끝나면 저장된 정보를 재생된 윤곽선 정보로 제공하는 저장 수단을 포함한다.

도 1은 일반적인 윤곽선 부호화기의 간략한 블럭도,

도 2는 본 발명의 바람직한 실시예에 따른 윤곽선 복호화 장치의 블럭도,

도 3A, 3B, 및 3C는 외부 윤곽선을 복호화했을 때를 예를 도시한 도면,

도 4A, 4B, 및 4C는 내부 윤곽선을 복호화했을 때를 예를 도시한 도면.

*도면의 주요부분에 대한 부호의 설명*

21 : 디멀티플렉서22 : 윤곽선 유형 복호화부

23 : 윤곽선 복호화부 24 : 스위치

25 : 외부 윤곽선 재생부26 : 내부 윤곽선 재생부

27 : 메모리28 : 매스크 재생부

본 발명의 상기 및 기타 목적과 여러가지 장점은 이 기술분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시예로 부터 더욱 명확하게 될 것이다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.

도 1은 일반적인 윤곽선 부호화기를 간략한 도식으로 예시한 것이다. 도 1의 윤곽선 부호화기(10)에는 윤곽선 추출부(11), 윤곽선 부호화부(12), 윤곽선 유형 부호화부(14), 멀티플렉서(16)가 포함되어 있다.

도 1을 참조하면, 윤곽선 추출부(11)는 윤곽선 매스크 이미지를 입력으로 받아 그 중 윤곽선 만을 추출하여 윤곽선 부호화부(12)와 윤곽선 유형 부호화부(14)에 각각 제공한다. 윤곽선 부호화부(12)는 예를 들면 상기에서 설명한 다각형 근사 등을 통해 제공된 윤곽선을 부호화하여 멀티플렉서(16)에 입력한다.

또한, 윤곽선 유형 부호화부(14)는 입력된 윤곽선들의 유형을 외부 윤곽선인가, 내부 윤곽선인가를 가려내어 먼저 각각에 인덱스를 부여한다. 예를 들면, 한 프레임 내에 3개의 외부 윤곽선들이 있다면 이들이 입력되는 순서에 따라 E(1), E(2), E(3)으로 구별한다. 그리고, 내부 윤곽선들에는 자신이 속한 외부 윤곽선의 인덱스가 자신의 인덱스로 주어진다. 예를 들어, 앞의 E(1)과 E(3)에 각각 한 개 씩의 내부 윤곽선이 포함되어 있다면 이들 내부 윤곽선들에는 I(1), I(3)라는 인덱스가 주어진다. 이렇게 정해진 윤곽선들의 인덱스는 부호화되어 멀티플렉서(16)에 입력된다.

그리고, 멀티플렉서(16)에서는 입력된 부호화된 윤곽선 정보와 인덱스로 표현된 윤곽선 유형 정보가 전송기(도시되지 않음)를 통해 수신측에 전송될 수 있도록 멀티플렉싱된다.

도 2는 본 발명의 바람직한 실시예에 따른 윤곽선 재생 방법을 포함하는 윤곽선 복호화기이다. 윤곽선 복호화기(20)에는 디멀티플렉서(21), 윤곽선 유형 복호화기(22), 윤곽선 복호화부(23), 스위치(24), 외부 윤곽선 재생부(25), 내부 윤곽선 재생부(26), 메모리(27), 매스크 재생부(28)가 포함되어 있다.

디멀티플렉서(21)에는 부호화된 윤곽선 정보가 입력되고, 디멀티플렉서(21)는 입력된 정보를 윤곽선 유형 정보와 윤곽선 정보로 나누어 각각 윤곽선 유형 복호화부(22)와 윤곽선 복호화부(23)에 제공한다. 윤곽선 유형 복호화부(22)는 윤곽선 유형 정보를 앞에서 예를 든 인덱스들로 다시 복호화하여 이를 스위치(24)에 입력한다. 윤곽선 복호화부(23)는 입력된 윤곽선 정보를 복호화하여 마찬가지로 이를 스위치(24)에 입력한다.

스위치(24)는 윤곽선 유형 복호화부(22)에서 입력되는 인덱스가 외부 윤곽선을 나타내는 것인가(예를 들면, E(1), E(2), E(3)) 내부 윤곽선을 나타내는 것인가(예를 들면 I(1), I(3))에 따라 각각 외부 윤곽선 재생부(25)나 내부 윤곽선 재생부(26)을 구동하고 입력된 인덱스를 구동된 윤곽선 재생부에 제공한다. 이때 스위치(24)에 입력된 윤곽선 복호화부(23)로부터의 L10 상의 복호화된 윤곽선 정보도 스위치에 의해 구동된 윤곽선 재생부에 입력된다. 따라서, 외부 윤곽선를 나타내는 인덱스가 스위치(24)에 입력되면 인덱스 정보와 L10 상의 복호화된 윤곽선 정보가 외부 윤곽선 재생부(25)에 입력된다. 마찬가지로 내부 윤곽선을 나타내는 인덱스가 스위치(24)에 입력되면 인덱스 정보와 L10 상의 복호화된 윤곽선 정보가 내부 윤곽선 재생부(26)에 입력된다.

스위치(24)가 외부 윤곽선 재생부(25)를 구동하면 외부 윤곽선 재생부(25)는 입력된 복호화된 윤곽선 정보로부터 외부 윤곽선을 재생하는데, 서로 다른 외부 윤곽선들이 하나의 윤곽선으로 합쳐지는 것을 방지하기 위해 메모리(27)에 저장된 이미 재생된 윤곽선 정보를 참조로 한다. 즉, 외부 윤곽선 재생부(25)는 현재 입력된 윤곽선을 재생하기 위해 메모리(27)에서 이전에 재생된 윤곽선 정보를 갖다 보고, 이미 재생된 윤곽선들 중 현재의 윤곽선의 위치에 있는 것이 있으면 둘이 하나로 합쳐지지 않는 방법으로 현재의 윤곽선을 재생한다. 예를 들면, 같은 위치에 있는 이미 재생된 윤곽선과 현재의 윤곽선의 접점을 찾아 그 접점들이 이루는 라인 세그먼트가 이미 재생된 윤곽선에 포함되는 것으로 이미 재생된 윤곽선을 변형시킨다. 그리고 두 윤곽선의 접점들을 한 화소씩 현재의 윤곽선 방향으로 움직였을 때 생기는 화소들을 양끝으로 하는 라인 세그먼트를 포함하도록 현재의 윤곽선을 재생한다. 이와 같은 방법으로 외부 윤곽선을 재생하게 되면 결과적으로 두 개의 윤곽선이 하나로 합쳐지지 않고 도 3c와 같이 분리된다. 이런 방법으로 재생된 윤곽선 정보는 메모리(27)에 저장되어 외부 윤곽선 재생부(25)가 다시 다른 윤곽선을 재생할 때 참조하게 된다. 또한 재생된 외부 윤곽선 정보는 그것에 포함된 내부 윤곽선을 재생할 때 필요하므로 내부 윤곽선 재생부(26)에도 입력된다.

한편, 스위치(24)에 의해 내부 윤곽선 재생부(26)가 구동되면 내부 윤곽선 재생부(26)는 입력된 윤곽선 인덱스 정보, 복호화된 윤곽선 정보, 그리고 외부 윤곽선 재생부(26)에서 입력된 재생된 외부 윤곽선 정보를 바탕으로 내부 윤곽선을 재생한다. 이때, 내부 윤곽선이 자신이 포함된 외부 윤곽선 바깥으로 벗어나지 않는 방법으로 재생한다. 이를 위해 내부 윤곽선 재생부(26)로 내부 윤곽선 인덱스와 L10 상의 복호화된 윤곽선 정보가 입력되면 내부 윤곽선 재생부(26)는 재생된 외부 윤곽선들 중 같은 번호를 갖는 것에 대한 정보를 찾는다. 즉, I(1)이 스위치(24)를 통해 내부 윤곽선 재생부(26)로 입력되면 내부 윤곽선 재생부(26)는 외부 윤곽선 재생부(25)에서 입력된 재생된 윤곽선 정보 중 E(1)에 대한 정보를 찾는다. 그리고, 만약 I(1)이 E(1) 내에 포함되지 않고, 예를 들어 도 4B처럼 돌출될 경우에는 E(1)과 I(1)이 만나는 접점을 찾아, 그 두 접점들 사이에서는 I(1)의 윤곽선을 이미 재생된 E(1)의 윤곽선으로 한다. 이런 방식으로 재생된 내부 윤곽선 정보는 메모리(27)에 입력되어 외부 윤곽선 재생부(25)가 참조하게 된다.

메모리(27)는 외부 윤곽선 재생부(25)와 내부 윤곽선 재생부(26)으로부터 재생된 윤곽선 정보를 받아 모두 저장하고 있다가 외부 윤곽선 재생부(25)가 현재의 윤곽선을 재생할 때 참조로 하도록 외부 윤곽선 재생부(25)에 제공해 주고, 모든 윤곽선들의 재생이 끝났을 때에는 재생된 윤곽선 정보를 매스크 재생부(28)에 제공한다.

매스크 재생부(28)는 메모리(27)에서 제공된 재생된 윤곽선 정보를 바탕으로 윤곽선을 중심으로 객체에 해당하는 부분에는 화소값 대신 1을 채우고, 바탕(background)에 해당하는 부분에는 0을 채우는 방법으로 매스크를 재생하여 매스크 이미지로 출력한다.

이상 설명한 바와같이, 본 발명에 따르면, 윤곽선 정보를 재생함으로써 윤곽선이 왜곡되어 재생되는 것을 방지하여 복호화시 좀 더 정확한 이미지를 복원할 수 있다.

Claims (4)

1. 부호화된 윤곽선 정보를 받아 재생된 윤곽선 정보를 출력하는 윤곽선 정보 복호화 장치로서,

   부호화된 윤곽선 정보를 각각 윤곽선 정보와 윤곽선 유형 정보로 나누는 디멀티플렉서;

   상기 윤곽선 정보를 복호화하는 수단과; 상기 윤곽선 유형 정보를 복호화하는 수단;

   복호화된 윤곽선 정보와 복호화된 윤곽선 유형 정보를 입력으로 받아 복호화된 윤곽선 유형 정보에 따라 외부 윤곽선 재생 수단 혹은 내부 윤곽선 재생 수단을 구동하고 입력된 정보를 구동된 수단으로 전달하는 스위치;

   현재 재생할 윤곽선의 위치에 있는 이미 재생된 윤곽선과 현재 재생할 윤곽선이 하나로 합쳐지지 않도록 저장 수단에 저장된 이전에 재생된 윤곽선 정보를 참조하여 현재의 윤곽선을 재생하여 저장 수단과 내부 윤곽선 재생 수단에 제공하는 외부 윤곽선 재생 수단;

   외부 윤곽선에서 제공된 재생된 윤곽선 정보 중 복호화된 윤곽선 유형 정보에 따라 현재 재생할 내부 윤곽선을 포함하는 외부 윤곽선을 찾아 외부 윤곽선 밖으로 내부 윤곽선이 돌출하지 않도록 내부 윤곽선을 재생하여 저장 수단에 제공하는 내부 윤곽선 재생 수단;

   외부 윤곽선 재생 수단과 내부 윤곽선 재생 수단으로부터 재생된 윤곽선 정보를 받아 저장하여 외부 윤곽선 재생 수단에 제공하고, 모든 윤곽선의 재생이 끝나면 저장된 정보를 재생된 윤곽선 정보로 제공하는 저장 수단으로 이루어진 윤곽선 복호화 장치.
2. 제 1 항에 있어서, 상기 외부 윤곽선 재생 수단은,

   상기 저장 수단으로부터 이전에 재생된 윤곽선 정보를 입력받아 현재 재생해야 할 외부 윤곽선의 위치에 있는 이미 재생된 윤곽선이 있으면 두 윤곽선의 접점을 찾아 접점을 잇는 라인 세그먼트를 이미 재생된 윤곽선이 포함하도록 이미 재생된 윤곽선을 변형하고, 상기 접점들에서 현재 재생해야 할 윤곽선 방향으로 한 화소씩 이동한 화소들을 잇는 라인 세그먼트를 현재 재생해야 할 윤곽선이 포함하도록 하는 것을 특징으로 하는 윤곽선 복호화 장치.
3. 제 1 항에 있어서, 상기 내부 윤곽선 재생 수단은,

   재생해야 할 내부 윤곽선과 그 내부 윤곽선이 포함된 외부 윤곽선의 접점들을 찾아 이 접점들 사이에서는 이미 재생된 외부 윤곽선을 현재 재생해야 할 내부 윤곽선으로 하는 것을 특징으로 하는 윤곽선 복호화 장치.
4. 제 1 항에 있어서, 상기 윤곽선 복호화 장치는,

   상기 저장 수단에서 제공된 재생된 윤곽선 정보를 바탕으로 객체에 포함되는 부분의 화소값 대신 1을 채우고, 배경에 해당하는 부분에는 0을 채워 재생된 매스크 이미지를 제공하는 매스크 재생 수단을 더 포함하는 것을 특징으로 하는 윤곽선 복호화 장치.