KR0174439B1 - 특징점 기반 움직임 보상에서의 에지선 세선화 방법 및 장치 - Google Patents

Abstract

본 발명은 특징점 기반 움직임 보상에 있어서, 움직임 보상의 정확도를 개선하기 위하여 특징점 추출을 위한 에지선을 효과적으로 세선화할 수 있도록한 특징점 기반 움직임 보상에서의 에지선 세선화 기법에 관한 것으로, 이를 위하여 본 발명은, 재구성된 이전 프레임 신호에 대하여 소정의 오퍼레이터를 적용하여 영상의 에지점들에 대한 화소값들을 검출하고, 검출된 에지선의 화소값들에 대하여 기설정된 임계값에 의거하여 그 노이즈 성분을 제거하며, 에지선을 이루는 대상 화소값과 그 주변 8 화소값들중 적어도 연속되는 주변 3 화소값들과의 순차적인 비교에 의거하여 대상 화소값의 제거를 결정하는 과정을 에지선을 이루는 모든 화소값들에 적용하여 검출된 에지선을 세선화한다. 따라서, 본 발명은 불필요한 데이타의 발생을 억제함으로서 특징점 기반 움직임 보상 영상의 부호화 효율을 향상 시킬 수 있는 것이다.

Description

특징점 기반 움직임 보상에서의 에지선 세선화 방법 및 장치

제1도는 특징점 기반 움직임 추정/보상을 위한 본 발명에 따른 에지선 세선화 장치를 갖는 전형적인 비디오 신호 부호화 시스템에 대한 블럭구성도.

제2도는 본 발명의 바람직한 실시예에 따라 특징점 기반 움직임 추정등을 통해 움직임 보상을 수행하는 제1도의 현재 프레임 예측 블럭에 대한 세부적인 블럭구성도.

제3도는 제2도의 에지 검출 및 세선화 블럭에 대한 세부적인 블럭구성도.

제4도는 본 발명의 바람직한 실시예에 따른 에지선의 세선화를 위해 적용되는 각 오퍼레이터를 도시한 도면.

제5도는 본 발명의 바람직한 실시예에 따라 검출된 에지선이 최종적으로 세선화되는 것을 일예로서 보여주는 예시도.

제6도는 종래의 소벨 오퍼레이터를 도시한 도면.

제7도는 종래의 소벨 오퍼레이터를 적용하여 검출한 에지선의 일예를 도시한 도면.

* 도면의 주요부분에 대한 부호의 설명

10,17,1823,1826 : 프레임 메모리 11 : 감산기

12 : 영상신호 부호화 블럭 13 : 엔트로피 부호화 블럭

14 : 버퍼 15 : 영상신호 복호화 블럭

16 : 가산기 18 : 현재 프레임 예측 블럭

182 : 에지 검출 및 세선화 블럭 184 : 특징점 선택 블럭

186 : 움직임 추정 블럭 188 : 움직임 보상 블럭

1821 : 에지 검출기 1822 : 노이즈 제거기

1824 : 시프트 레지스터 1825 : 비교기

본 발명은 특징점 기반 움직임 추정기법을 이용하여 비디오 신호를 부호화하는 방법 및 장치에 관한 것으로, 특히, 비디오 신호의 부호화를 위해 특징점을 기반으로 하여 움직임 보상을 수행하는데 이용되는 에지선을 세선화할 수 있도록 한 에지선 세선화 방법 및 장치에 관한 것이다.

이 기술분야에 잘 알려진 바와같이 이산된 화상신호의 전송은 아날로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 이미지 프레임 으로 구성된 비디오 신호가 디지탈 형태로 표현될 때, 특히 고품질 테레비젼의 경우 상당한 양의 데이타가 전송되어야 한다. 그러나 종래의 전송 채널의 사용 가능한 주파수 영역은 제한되어 있으므로, 많은 양의 디지탈 데이타를 전송하기 위해서는 전송되는 데이타를 압축하여 그 양을 줄일 필요가 있다. 이와같이 데이타를 압축하는 다양한 압축 기법중에서, 확률적 부호화 기법과 시간적, 공간적 압축기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있다.

대부분의 하이브리드 부호화 기법은 움직임 보상 DCPM (차분 펄스 부호 변조), 2차원 DCT(이산 코사인 변환), DCT 계수의 양자화, VLC(가변장부호화)등을 이용한다. 움직임보상 DPCM 은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분신호를 만들어내는 방법이다. 이 방법은 예를 들어 Staffan Ericsson 의 Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding, IEEE Transactions on Communication, COM-33, NO.12 (1985년, 12월), 또는 Ninomiy와 Ohtsuka의 A motion Compensated Interframe Coding Scheme for Television Pictures, IEEE Transactions on Communication, COM-30, NO.1 (1982년, 1월)에 기재되어 있다.

일반적으로, 이차원 DCT 는 영상 데이타간의 공간적 리던던시를 이용하거나 제거하는 것으로서, 디지탈 영상 데이타 블럭, 예를 들면 8 X 8 블럭을 DCT 변환계수로 변환한다. 이 기법은 Chen 과 Pratt 의 Scene Adaptive Coder, IEEE Transactions on Communication, COM-32, NO.3 (1984년, 3월)에 개시되어 있다. 이러한 DCT 변환계수는 양자화기, 지그재그 주사, VLC 등을 통해 처리됨으로써 전송할 데이타의 양을 효과적으로 감축할 수 있다.

보다 상세하게, 움직임보상 DPCM 에서는 현재 프레임과 이전 프레임간에 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로 부터 예측한다. 이와같이 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임 벡터로 나타낼 수 있다.

통상적으로, 물체의 변위를 추정하는 데에는 여러가지 접근방법이 있다. 이들은 일반적으로 두개의 타입으로 분류되는데 하나는 블럭단위 움직임 추정방법이고 다른 하나는 화소단위 움직임 추정방법이다.

한편, 블럭단위 움직임추정에서는, 현재 프레임의 블럭을 이전 프레임의 블럭들과 비교하여 최적 정합블럭을 결정하며, 이것으로부터, 전송되는 현재 프레임에 대해 블럭 전체에 대한 프레임간 변위벡터(프레임간에 블럭이 이동한 정도)가 추정된다. 그러나, 블럭단위 움직임추정에서는 움직임 보상과정에서 블럭경계에 블럭킹효과(blocking effect)가 발생할 수 있고; 블럭내의 모든 화소가 한 방향으로 이동하지 않는 경우에는 추정값이 올바르지 않아서 그 결과 부호화 효율이 감소한다는 단점이 있다.

한편, 화소단위 움직임 추정방법을 이용하면 변위는 각각의 화소 전부에 대해 구하여진다. 이러한 방법은 화소값을 더 정확히 추정할 수 있고 스케일변화(예를들어, 영상면에 수직한 움직임인 주밍(zooming))도 쉽게 다룰 수 있다는 장점을 갖는 반면에, 움직임 벡터가 모든 화소 각각에 대해 결정되기 때문에, 실질적으로 모든 움직임 벡터를 수신기로 전송하는 것은 불가능하다.

따라서, 화소단위 움직임 추정방법에 있어서는 선택된 한 세트(set)의 화소(즉, 특징점)에 대한 움직임벡터를 수신측에 전송하는데, 이때 특징점은 인접 화소들을 대표할 수 있는 화소들로서 수신기에서 비특징점에 대한 움직임벡터는 특징점에 대한 움직임벡터로 부터 복원될 수 있다.

동일인에 의해 1995 년 2 월 28 일자로 출원되어 현재 계류중인 대한민국 특허 출원번호 95-3955 호의 화소단위 움직임 예측을 이용한 비디오 신호 부호화 방법 및 장치 (Method and Apparatus for Encoding a Video Signal Using Pixel-by-pixel Motion Estimation)에 개시된, 특징점을 이용한 움직임 추정기법을 채용한 부호화기에서는 우선 이전 프레임에 포함된 모든 화소로 부터 특징점이 선택된다. 그리고 난후, 선택된 각 특징점에 대한 움직임벡터가 결정되는데 이때 각 움직임벡터는 이전 프레임의 하나의 특징점과 현재 프레임의 해당 정합점간의 변위이다. 보다 상세하게, 각각의 특징점에 대한 정합점을 현재 프레임의 탐색영역에서 찾는데 이때 탐색영역은 해당 탐색점의 위치를 포함하는 기설정된 넓이의 영역으로 정의할 수 있다.

한편, 특징점을 선택하는데 있어서, 에지검출 기법과 그리드 기법이 함께 사용하여 특징점을 선택하는 기법에 있어서, 그리드와 이동체의 에지간의 교차점이 특징점으로 선택된다. 여기에서의 특징점 선택은 기존의 특징점을 이용한 영상신호 부호화 방법에서와 같이 각각의 그리드 점(삼각형의 꼭지점을 이루는 점)을 영상의 에지로 이동시키면서 수행된다.

한편, 상술한 바와같은 화소단위 움직임 추정기법에서 움직임 추정에 이용되는 특징점은 주로 물체의 에지부분에 집중되며, 이러한 특징점 추출을 위해서는 먼저 물체의 에지 검출이 수행되어야 하는데, 이러한 에지 검출에 관해서는 현재 상당히 많은 연구가 이루어져 있는 실정이다. 이 기술분야에 잘 알려진 전형적인 에지의 검출방법으로는 구배도(gradient)를 이용하는 방법, 화소 공간에서의 명암도를 면함수로 보고 적당한 면함수에 적합시키는 방법, 2 계 비분에 의한 방법, 색깔을 이용하는 방법 등이 있으며, 이러한 방법들중 본 발명은 가장 간단한 에지 검출방법중의 하나인 구배도를 이용한 에지 검출방법에 관련된다.

본 발명에 관련되는 구배도를 이용한 에지 검출에서 에지의 판단은 구배도가 기설정된 임의의 역치값을 초과하는지의 여부에 따른다. 화소 공간에서 구배도를 구하는 방식은 아래의 식으로 부터 유추한 다음 구배 마스크를 이용함으로서 얻을 수 있다. 여기에서 사용되는 구배 마스크는 여러가지로 설정될 수가 있는데 그중에서 흔히 쓰이는 것은 로버트(Robert) 마스크와 소벨(Sovel) 마스크이다. 즉, 물체의 에지 검출을 위해 제6도에 도시된 바와같은 소벨 마스크를 이용하는 경우, x 방향의 구배와 y 방향의 구배를 구한 다음 소벨 마스크를 (x,y) 위치의 화소에 적용함으로서 물체의 에지를 판단, 즉 최종적으로 구해진 구배도의 크기가 기설정된 역치값 보다 큰 경우에 해당 화소 (x,y)는 물체의 에지상의 화소로 간주된다.

이와같이, 3 × 3 크기의 오퍼레이터를 적용시켜 물체의 에지, 즉 급격한 인텐시티(intensity : gray 값)의 변화가 있는 부분을 구하는 기존의 방법은, 일예로서 제7도에 도시된 바와같이, 적어도 에지의 넓이(width)가 2 이상으로 된다. 따라서, 상술한 바와같은 종래의 방법은 에지의 넓이가 큰, 즉 2 이상의 화소들로 이루어진 에지 데이타에 의거하여 움직임 보상을 위한 특징점을 추출하므로서 영상의 움직임 보상시에 그 정확도가 저하되어 결과적으로 복원 영상에서의 화질열화가 야기될 수 있다. 그러므로, 특징점 추출에 이용되는 물체의 에지는 세선화, 즉 그 넓이를 줄일 필요가 있다.

통상적으로, 물체에 대한 에지의 세선화라는 것은 개념적으로 볼 때 두 가지로 분류할 수가 있다. 그 하나로서는 에지의 검출과정에서의 세선화이고, 다른 하나로서는 골격선 표시과정에서의 세선화이다. 대부분의 에지 검출은 역치값의 설정에 따라 좌우된다. 따라서, 역치값을 너무 적게 설정하는 경우 에지점으로 판별되는 화소들이 많아져 에지가 두껍게 되므로 용도에 따라 적정한 역치값으로 설정할 필요가 있다.

상기한 바와 같은 에지선과 관련되는 통상적인 세선화 방안으로서는 아래와 같은 경우가 있다.

1) 역치값을 높여 검출되는 에지점들의 수를 줄이고, 이를 통해 얻어진 에지점들만으로 에지선을 형성하는 방법.

2) 마스크등를 이용하여 구해진 두꺼운 에지선으로 부터 에지선 바깥 부분의 에지점들을 하나씩 제거해 나가는 방법.

3) 에지점들에 있어서의 구배 방향을 고려하여 구배 방향과 수직 방향으로의 이웃 에지점들만을 취하는 방법.

따라서, 본 발명의 목적은 상기한 점들을 고려하여 안출한 것으로, 특징점 기반 움직임 보상에 있어서, 움직임 보상의 정확도 개선을 위해 특징점 추출을 위한 에지선을 효과적으로 세선화할 수 있는 특징점 기반 움직임 보상에서의 에지선 세선화 방법 및 장치를 제공하는데 있다.

상기 목적을 달성하기 위한 일관점에 따른 본 발명은, 현재 프레임과 재구성된 이전 프레임간의 특징점 기반 움직임 추정/보상을 위해 영상의 에지를 검출하고, 이 검출된 에지선에 의거하여 움직임 보상을 위한 특징점을 추출하는 영상 부호화 시스템에서 영상의 에지선을 세선화하는 방법에 있어서, 상기 재구성된 이전 프레임 신호에 대하여 소정의 오퍼레이터를 적용하여 영상의 에지점들에 대한 화소값들을 검출하는 단계; 상기 검출된 에지선의 화소값들에 대하여 기설정된 임계값에 의거하여 그 노이즈 성분을 제거하여 한 프레임 단위로 메모리에 저장하는 단계; 상기 에지선을 이루는 대상 화소값과 그 주변 8 화소값들중 적어도 연속되는 주변 3 화소값들과의 순차적인 비교에 의거하여 상기 대상 화소값의 제거를 결정하는 과정을 상기 에지선을 이루는 모든 화소값들에 적용함으로서 상기 검출된 에지선을 세선화하는 단계; 및 상기 재구성된 이전 프레임에서 검출된 상기 세선화된 에지선에서 상기 움직임 추정/보상을 위한 특징점들을 선택하는 단계로 이루어진 특징점 기반 움직임 보상에서의 에지선 세선화 방법을 제공한다.

상기 목적을 달성하기 위한 다른 관점에 따른 본 발명은, 현재 프레임과 재구성된 이전 프레임간의 특징점 기반 움직임 추정/보상을 위해 영상의 에지를 검출하고, 이 검출된 에지선에 의거하여 움직임 보상을 위한 특징점을 추출하는 영상 부호화 시스템에서 영상의 에지선을 세선화하는 장치에 있어서, 상기 재구성된 이전 프레임 신호에 대하여 소정의 오퍼레이터를 적용하여 영상의 에지점들에 대한 화소값들을 검출하기 위한 에지 검출기; 상기 검출된 에지선의 화소값들에 대하여 기설정된 임계값에 의거하여 그 노이즈 성분을 제거하기 위한 노이즈 제거기; 상기 노이즈 성분이 제거된 상기 에지선에 대한 화소값들을 한 프레임 단위로 저장하기 위한 제1 프레임 메모리; 상기 에지선을 이루는 화소값들에 포함되는 대상 화소값 주변의 8 화소값들을 한 화소씩 순차적으로 시프트하여 저장하는 시프트 레지스터; 세선화를 위해 상기 대상 화소값의 제거를 결정하기 위하여 상기 제1 프레임 메모리로 부터 제공되는 상기 대상 화소값과 상기 시프트 레지스터로 부터 제공되는 연속되는 주변 3 화소값들 각각을 순차적으로 비교하고, 그 비교결과에 상응하여 상기 에지선을 세선화하기 위한 비교기; 및 상기 움직임 추정/보상을 위한 특징점 추출을 위하여 상기 세선화된 에지선에 대한 에지 데이타를 한 프레임 단위로 저장하기 위한 제2 프레임 메모리로 이루어진 특징점 기반 움직임 보상에서의 에지선 세선화 장치를 제공한다.

본 발명의 상기 및 기타 목적과 여러가지 장점은 이 기술분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시예로 부터 더욱 명확하게 될 것이다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.

제1도는 특징점 기반 움직임 추정/보상을 위한 본 발명에 따른 에지선 세선화 장치를 갖는 전형적인 비디오 신호 부호화 시스템에 대한 블럭구성도를 나타낸다. 동도면에 도시된 바와같이, 비디오 신호 부호화 시스템은 제1 프레임 메모리(10), 감산기(11), 영상신호 부호화 블럭(12), 엔트로피 부호화 블럭(13), 버퍼(14), 영상신호 복호화 블럭(15), 가산기(16), 제2 프레임 메모리(17), 현재 프레임 예측 블럭(17)을 포함한다. 여기에서, 본 발명에 실질적으로 관련되는 현재 프레임 예측 블럭(18)은 물체의 에지점과 그리드를 이용하여 선택되는 특징점을 의거하여 예측된 현재 프레임 신호를 발생하는 장치로서, 그 세부적인 구성은 제2도에 도시되어 있다.

제1도를 참조하면, 입력되는 현재 프레임 신호는 제1 프레임 메모리(10)에 저장된 다음 라인 L11 및 L10 을 통해 감산기(11)와 현재 프레임 예측 블럭(18)에 각각 제공된다.

먼저, 현재 프레임 예측 블럭(18)에서는 제1 프레임 메모리(10)로 부터 제공되는 라인 L10 상의 현재 프레임 신호와 제2 프레임 메모리(17)로 부터 제공되는 라인 L14 상의 재구성된 이전 프레임 신호에 기초하여 특징점 기반 움직임 보상등을 통해 화소단위로 현재 프레임을 예측한 다음 라인 L15 상에 예측된 현재 프레임 신호를 발생하여 상술한 감산기(11)와 가산기(16)에 각각 제공하며, 또한 라인 L16 상에 선택되는 특징점에 대한 움직임벡터들의 세트를 발생하여 엔트로피 부호화 블럭(13)에 제공한다.

상술하면, 현재 프레임 예측 블럭(18)에서는 라인 L14 를 통해 제공되는 제2 프레임 메모리(17)로 부터의 이전 프레임 신호에서 검출되는 에지 데이타와 움직임 영역에 상응하여 형성되는 그리드에 의거하여 움직임 영역에서의 특징점들을 선택한다. 이때, 이 기술분야에 잘 알려진 에지검출 기법과 그리드 기법이 함께 사용되는 경우에는 그리드와 이동체의 에지간의 교차점이 특징점으로 선택된다. 여기에서의 특징점 선택은 기존의 특징점을 이용한 영상신호 부호화 방법에서와 같이 각각의 그리드 점(삼각형의 꼭지점을 이루는 점)을 영상의 에지로 이동시키면서 수행된다. 이러한 현재 프레임 예측 블럭(18)의 상세한 설명은 제2도 및 제3도를 참조하여 후에 상세히 기술될 것이다.

따라서, 현재 프레임 예측 블럭(18)에서는 선택된 특징점 정보에 의거하여 선택된 각 특징점에 대한 특징점 움직임벡터들의 세트를 검출한다. 여기에서, 검출되는 각각의 특징점 움직임벡터 세트들은 라인 L14 를 통해 제2 프레임 메모리(17)에서 제공되는 이전 프레임의 특징점과 라인 L10 을 통해 제1 프레임 메모리(10)에서 제공되는 현재 프레임에서 가장 유사한 화소간의 변위이다. 또한, 현재 프레임 예측 블럭(18)은 라인 L16 상에 각각의 특징점에 대한 움직임벡터들의 세트를 발생하여 엔트로피 부호화 블럭(13)에 제공한다.

그런다음, 현재 프레임 예측 블럭(18)에서는 선택된 특징점과 이들을 이용해 검출되는 각각의 특징점 움직임벡터들의 세트를 이용하여 예측하고자 하는 현재 프레임에 포함될 화소값을 라인 L14 상의 재구성된 이전 프레임으로 부터 인출하여, 화소단위로 현재 프레임을 예측한 다음 라인 L15 상에 예측된 현재 프레임 신호를 발생하여 감산기(12)와 가산기(16)에 각각 제공한다.

제1도를 참조하면, 감산기(11)에서는 라인 L11 을 통해 제1 프레임 메모리(10)에서 제공되는 현재 프레임 신호로 부터 라인 L15를 통해 상술한 현재 프레임 예측 블럭(18)으로 부터 제공되는 예측된 현재 프레임 신호를 감산하며, 그 결과 데이타, 즉 차분화소값을 나타내는 에러신호는 영상신호 부호화 블럭(12)을 통해 이산 코사인 변환(DCT)과 이 기술분야에서 잘 알려진 양자화 방법들중의 어느 하나를 이용함으로서, 일련의 양자화된 변환계수들로 부호화된다. 이때, 영상신호 부호화 블럭(12)에서의 에러신호에 대한 양자화는 출력측의 버퍼(14)로 부터의 데이타 충만도(QP)에 의거하여 그 스텝사이즈가 조절된다.

그런다음, 이와같이 양자화된 변환계수들은 엔트로피 부호화 블럭(13)과 영상신호 복호화 블럭(15)으로 각각 보내진다. 여기에서, 엔트로피 부호화 블럭(13)에 제공된 양자화된 변환계수들은, 예를들면 가변길이 부호화 기법등을 통해 부호화되어 출력측의 버퍼(14)에 제공되며, 이와같이 부호화된 영상신호는 수신측으로의 전송을 위해 전송기(도시생략)로 전달된다.

한편, 영상신호 부호화 블럭(12)으로 부터 영상신호 복호화 블럭(15)에 제공되는 양자화된 변환계수들은 역양자화 및 역이산 코사인 변환을 통해 다시 재구성된 프레임 신호로 변환된 다음, 가산기(16)에 제공되며, 가산기(16)에서는 영상신호 복호화 블럭(15)으로 부터의 재구성된 프레임 신호와 전술한 현재 프레임 예측 블럭(18)으로 부터 제공되는 예측된 현재 프레임신호를 가산하여 재구성된 이전 프레임신호를 생성하며, 이와같이 재구성된 이전 프레임 신호는 제2 프레임 메모리(17)에 저장된다. 따라서, 이러한 경로를 통해 부호화 처리되는 매 프레임에 대한 바로 이전 프레임 신호가 계속적으로 갱신되며, 이와같이 갱신된 이전 프레임 신호는 움직임 보상을 위해 전술한 현재 프레임 예측 블럭(18)으로 제공된다.

제2도에는 제1도에 도시된 현재 프레임 예측 블럭(18)에 대한 상세한 블럭구성도가 도시되어 있다. 동도면에 도시된 바와같이, 본 발명에 따른 현재 프레임 예측 블럭(18)은 에지 검출 및 세선화 블럭(182), 특징점 선택 블럭(184), 움직임 추정 블럭(186) 및 움직임 보상 블럭(188)을 포함한다.

제2도에 있어서, 에지 검출 및 세선화 블럭(182)은, 본 발명에서 가장 핵심적이고 특징적인 기술부분으로서, 라인 L14 를 통해 제1도의 제2 프레임 메모리(17)로 부터 제공되는 재구성된 이전 프레임 신호에 대해, 예를들면, 전술한 소벨 오퍼레이터에서와 같이 3 × 3 크기의 오퍼레이터를 적용시켜 물체의 에지, 즉 급격한 인텐시티(intensity : gray 값)의 변화가 있는 부분을 구하여 물체의 에지선을 검출한 다음 그 에지선의 넓이를 세선화하는 것으로, 검출된 에지선을 세선화(에지의 두께가 하나의 화소로 된 에지선)하는 것에 대한 구체적인 설명은 첨부된 제3도를 참조하여 후에 상세하게 기술될 것이다.

한편, 특징점 선택 블럭(184)에서는 상기한 에지 검출 및 세선화 블럭(182)으로 부터 제공되는 에지 데이타(제1도의 제2 프레임 메모리(17)로 부터의 재구성된 이전 프레임의 에지 데이타)와 그리드에 의거하여 에지선에 대한 특징점들을 선택한다. 여기에서, 에지검출 기법과 그리드 기법이 함께 사용되는 경우에는 그리드와 이동체의 에지간의 교차점이 특징점으로 선택된다. 여기에서의 특징점 선택은 기존의 특징점을 이용한 영상신호 부호화 방법에서와 같이 각각의 그리드 점(삼각형의 꼭지점을 이루는 점)을 영상의 에지로 이동시키면서 수행되며, 이때 각 그리드가 꼬이지 않게 하고, 또한 삼각형이 매우 작거나 한점으로 모이지 않게 주의할 필요가 있다.

다른한편, 움직임 추정 블럭(186)에서는 특징점 선택 블럭(184)으로 부터 제공되는 선택된 특징점 정보에 의거하여 선택된 각 특징점들에 대한 특징점 움직임벡터들의 세트를 검출한다. 여기에서, 검출되는 각각의 특징점 움직임벡터 세트들은 라인 L14 를 통해 제2 프레임 메모리(17)에서 제공되는 이전 프레임의 특징점과 라인 L10 을 통해 제1 프레임 메모리(10)에서 제공되는 현재 프레임에서 가장 유사한 화소간의 변위를 나타낸다. 또한, 움직임 추정 블럭(186)은 이동물체를 갖는 블럭들에서의 각각의 특징점에 대한 움직임벡터들의 세트를 라인 L16 상에 발생하여 제1도의 엔트로피 부호화 블럭(13)에 제공한다.

다음에, 움직임 보상 블럭(188)에서는 상기한 특징점 선택 블럭(184)으로 부터 제공되는 선택된 특징점과 움직임 추정 블럭(186)으로 부터 제공되는 각각의 특징점 움직임벡터들의 세트를 이용하여 예측하고자 하는 현재 프레임에 포함될 화소값을 라인 L14 상의 재구성된 이전 프레임으로 부터 인출하여, 화소단위로 현재 프레임을 예측한 다음 라인 L15 상에 예측된 현재 프레임 신호를 발생하여 감산기(12)와 가산기(16)에 각각 제공한다.

상술한 바와같이 특징점을 이용하여 움직임 보상을 수행하는 방법은 본 출원인에 의해 1995 년 3 월 20 일에 대한민국 특허출원 제 95-5868 호로서 출원되어 현재 계류중인 비디오 신호 부호화 장치 에 상세하게 개시되어 있다. 이 방법에서는 직각 그리드 또는 육각 그리드와 같은 여러가지 형태의 그리드를 이용하는 그리드 기법에 의해 특징점을 결정하거나 또는 에지 검출과 그리드 기법을 함께 사용하여 특징점을 결정한다. 이때, 전자의 경우에는 그리드의 노드에 특징점이 위치하게 되고, 후자의 경우에는 그리드와 에지와의 교차점이 특징점으로 선택된다.

제3도는 제2도에 도시된 에지 검출 및 세선화 블럭(182)에 대한 세부적인 블럭구성도를 나타낸다. 동도면에 도시된 바와같이, 본 발명의 바람직한 실시예에 따른 에지 검출 및 세선화 장치는 에지 검출기(1821), 노이즈 제거기(1822), 제3 프레임 메모리(1823), 시프트 레지스터(1824), 비교기(1825), 제4 프레임 메모리(1826)를 포함한다.

상기한 구성부재로 이루어진 본 발명에 따른 에지선 세선화 장치에 있어서, 에지선을 이루는 부분은 실질적으로 에지선을 이루는 화소군중에서 경사(급격한 인텐시티의 변화부분)의 윗부분을 차지하는 화소값들이 된다. 즉, 에지선으로서의 고려대상인 화소의 크기를 I(x,y)라 할 때, 본 발명에서는 제4도(a)에 도시된 바와같은 방식을 적용하여 인텐시티의 변화를 구하며, 여기에서의 에지점은 아래의 식과 같다. 즉, 인텐시티의 차값이 가장 큰 값이 그 위치의 에지값으로 된다.

Edge(x,y) = max[I(x,y) - I(x+i,y+j)]

(여기에서, -1 ≤ i,j ≤ 1 임)

그런다음, 상기한 바와같이 인텐시티의 차가 주어질 때 영상의 노이즈 성분을 제거하기 위하여 기설정된 노이즈 임계값 이하의 것은 제거한다. 일반적으로 노이즈 제거를 위한 임계값은 6 정도가 바람직하다.

한편, 상기한 오퍼레이터를 적용하여 검출된 에지선을 본 발명에 따라 세선화하는 방법은 전술한 기존기술에서와 같이 에지의 검출시에 단순히 에지부분 전체를 에지선으로 선택하는 것이 아니라 에지의 넓이를 작게 하기 위하여 선정된 대상 에지점과 그 주변 8 에지점들간의 관계(인텐시티의 차값 비교)를 고려하여 에지점들을 하나씩 제거함으로서 에지선의 세선화를 수행한다.

상술한 바와같이, 영상의 에지를 검출하고 또한 이 검출된 에지선을 세선화하는 본 발명의 바람직한 실시예에 대하여 제3도를 참조하여 상세하게 설명한다.

제3도를 참조하면, 에지 검출기(1821)에서는, 이 기술분야에 잘 알려진 소벨 오퍼레이터 또는 가우시안 오퍼레이터 등을 이용하여 라인 L14 를 통해 제1도의 제2 프레임 메모리(17)로 부터 제공되는 프레임 신호에서 영상의 에지부분을 검출한다. 다음에, 노이즈 제거기(1822)에서는 검출된 에지점들에서 노이즈 성분을 제거하기 위하여 기설정된 임계값, 예를들면 6 이하의 값들을 제거하며, 이와같이 노이즈 성분이 제거된 에지점들에 대한 화소값들은 제3 프레임 메모리(1823)에 저장된다.

다음에, 상술한 바와같이 제3 프레임 메모리(1823)에 저장된 노이즈가 제거된 에지 데이타는 에지선의 세선화를 위해 다음단의 시프트 레지스터(1824)와 비교기(1825)에 제공된다.

상술하면, 선정된 대상 화소값은 라인 L31 을 통해 비교기(1825)에 입력되고, 대상 화소값의 주변 8 화소값들은 라인 L32 를 통해 시프트 레지스터(1824)에 순차적으로 입력되며, 이와같이 시프트 레지스터(1824)에 저장된 주변 화소값들은 제4도(b)에 도시된 바와같은 순서로 연속되는 3 개의 에지값씩 순차적으로 비교기(1825)로 입력된다.

따라서, 비교기(1825)에서는 대상 화소값과 연속되는 각 주변 3 화소값들의 크기를 비교하여 비교되는 주변 3 화소값 모두가 대상 화소값 보다 크면 대상 화소가 메인 에지가 아닌 것으로 판단하여 해당 대상 화소값을 제거한다. 즉, 비교기(1825)는 1,2,3 의 주변 3 화소값, 2,3,4 의 주변 3 화소값, 3,4,5 의 주변 3 화소값등의 순서로 주변 3 화소값들과 대상 화소값을 비교하여 상기한 조건이 충족되면 대상 화소값을 제거한다. 이와같이 세선화된 에지선에 대한 에지 데이타들은 특징점 기반 움직임 보상을 위한 특징점 추출을 위해 제4 프레임 메모리(1826)에 저장된다.

일예로서, 제5도(a)에 도시된 바와같은 형태의 에지선이 영상에서 검출되고, 각 에지점의 값이 동도의 제5도(b)에 도시된 바와같은 크기를 갖는 것으로 가정한다.

따라서, a1 내지 a4 의 화소값은 본 발명에 따른 오퍼레이팅의 조건이 충족되지 않으므로 제거되지 않고 그대로 유지되며, 7 값을 갖는 a5 의 화소값은 8,1,2 번과의 조건이 충족되어 제거된다. 마찬가지로, 8 값을 갖는 a6 의 화소값은 2,3,4 번과의 조건, 6 값을 갖는 a8 의 화소값은 3,4,5 번 또는 4,5,6 번과의 조건, 5값을 갖는 a11 의 화소값은 3,4,5 번 또는 4,5,6 번과의 조건, 4 값을 갖는 a16의 화소값은 6,7,8 번, 7,8,1 번 또는 8,1,2 번과의 조건, 7값을 갖는 a20 의 화소값은 8,1,2 번과의 조건, 5 값을 갖는 a21 의 화소값은 6,7,8 번 또는 7,8,1 번과의 조건, 6 값을 갖는 a22 의 화소값은 2,3,4 번과의 조건, 6 값을 갖는 a25 의 화소값은 2,3,4 번과의 조건이 각각 충족되어 제거된다. 그 결과, 본 발명에 따른 세선화 오퍼레이팅을 수행함으로서 보다 세선화된 에지선을 얻을 수가 있다.

그 결과, 특징점 선택 블럭(184)에서는 상술한 바와 같은 에지 검출 및 세선화 블럭(182)내의 제4 프레임 메모리(1826)로 부터 제공되는 제1도의 제2 프레임 메모리(17)로 부터의 재구성된 이전 프레임의 세선화된 에지선에서 움직임 추정 보상을 위한 특징점 추출을 수행하게 된다.

따라서, 움직임 추정 블럭(186)과 움직임 보상 블럭(188)에서는 상기한 특징점 선택 블럭(184)으로 부터 제공되는 선택된 특징점 정보에 의거하여 선택된 각 특징점에 대한 특징점 움직임벡터들의 세트를 검출하며, 각각의 특징점 움직임벡터들의 세트를 이용하여 예측하고자 하는 현재 프레임에 포함될 화소값을 라인 L14 상의 재구성된 이전 프레임으로 부터 인출하여, 화소단위로 현재 프레임을 예측한 다음 라인 L15 상에 예측된 현재 프레임 신호를 발생하여 제1도의 감산기(12)와 가산기(17)에 각각 제공한다.

이상과 같이 본 발명에 따르면, 특징점 기반 움직임 보상에서 특징점 추출을 위한 에지선을 효과적으로 세선화할 수 있어, 불필요한 데이타의 발생을 억제함으로서 결과적으로 특징점 기반 움직임 보상 영상의 부호화 효율을 향상 시킬 수 있다.

Claims (5)

1. 현재 프레임과 재구성된 이전 프레임간의 특징점 기반 움직임 추정/보상을 위해 영상의 에지를 검출하고, 이 검출된 에지선에 의거하여 움직임 보상을 위한 특징점을 추출하는 영상 부호화 시스템에서 영상의 에지선을 세선화하는 방법에 있어서, 상기 재구성된 이전 프레임 신호에 대하여 소정의 오퍼레이터를 적용하여 영상의 에지점들에 대한 화소값들을 검출하는 단계; 상기 검출된 에지선의 화소값들에 대하여 기설정된 임계값에 의거하여 그 노이즈 성분을 제거하여 한 프레임 단위로 메모리에 저장하는 단계; 상기 에지선을 이루는 대상 화소값과 그 주변 8 화소값들중 적어도 연속되는 주변 3 화소값들과의 순차적인 비교에 의거하여 상기 대상 화소값의 제거를 결정하는 과정을 상기 에지선을 이루는 모든 화소값들에 적용함으로서 상기 검출된 에지선을 세선화하는 단계; 및 상기 재구성된 이전 프레임에서 검출된 상기 세선화된 에지선에서 상기 움직임 추정/보상을 위한 특징점들을 선택하는 단계로 이루어진 특징점 기반 움직임 보상에서의 에지선 세선화 방법.
2. 제1항에 있어서, 상기 노이즈 성분의 제거를 위해 기설정되는 상기 임계값은 6 인 것을 특징으로 하는 특징점 기반 움직임 보상에서의 에지선 세선화 방법.
3. 현재 프레임과 재구성된 이전 프레임간의 특징점 기반 움직임 추정/보상을 위해 영상의 에지를 검출하고, 이 검출된 에지선에 의거하여 움직임 보상을 위한 특징점을 추출하는 영상 부호화 시스템에서 영상의 에지선을 세선화하는 장치에 있어서, 상기 재구성된 이전 프레임 신호에 대하여 소정의 오퍼레이터를 적용하여 영상의 에지점들에 대한 화소값들을 검출하기 위한 에지 검출기(1821); 상기 검출된 에지선의 화소값들에 대하여 기설정된 임계값에 의거하여 그 노이즈 성분을 제거하기 위한 노이즈 제거기(1822); 상기 노이즈 성분이 제거된 상기 에지선에 대한 화소값들을 한 프레임 단위로 저장하기 위한 제1 프레임 메모리(1823); 상기 에지선을 이루는 화소값들에 포함되는 대상 화소값 주변의 8 화소값들을 한 화소씩 순차적으로 시프트하여 저장하는 시프트 레지스터(1824); 세선화를 위해 상기 대상 화소값의 제거를 결정하기 위하여 상기 제1 프레임 메모리로 부터 제공되는 상기 대상 화소값과 상기 시프트 레지스터로 부터 제공되는 연속되는 주변 3 화소값들 각각을 순차적으로 비교하고, 그 비교결과에 상응하여 상기 에지선을 세선화하기 위한 비교기(1825); 및 상기 움직임 추정/보상을 위한 특징점 추출을 위하여 상기 세선화된 에지선에 대한 에지 데이타를 한 프레임 단위로 저장하기 위한 제2 프레임 메모리(1826)로 이루어진 특징점 기반 움직임 보상에서의 에지선 세선화 장치.
4. 제3항에 있어서, 상기 노이즈 성분의 제거를 위해 기설정되는 상기 임계값은 6 인 것을 특징으로 하는 특징점 기반 움직임 보상에서의 에지선 세선화 장치.
5. 제3항 또는 제4항에 있어서, 상기 비교기는 상기 주변 8 화소값들중 한 화소씩 시프트 되어 입력되는 연속되는 상기 주변 3 화소값들중 어느 하나의 주변 3 화소값 모두가 상기 대상 화소값 보다 크면 상기 대상 화소값을 제거하는 것을 특징으로 하는 특징점 기반 움직임 보상에서의 에지선 세선화 장치.