KR0178230B1 - 특징점에 의한 움직임 추정을 이용한 영상 처리 장치 - Google Patents

특징점에 의한 움직임 추정을 이용한 영상 처리 장치 Download PDF

Info

Publication number
KR0178230B1
KR0178230B1 KR1019950024377A KR19950024377A KR0178230B1 KR 0178230 B1 KR0178230 B1 KR 0178230B1 KR 1019950024377 A KR1019950024377 A KR 1019950024377A KR 19950024377 A KR19950024377 A KR 19950024377A KR 0178230 B1 KR0178230 B1 KR 0178230B1
Authority
KR
South Korea
Prior art keywords
feature point
edge
point
similar
current frame
Prior art date
Application number
KR1019950024377A
Other languages
English (en)
Other versions
KR970014390A (ko
Inventor
이민섭
Original Assignee
배순훈
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배순훈, 대우전자주식회사 filed Critical 배순훈
Priority to KR1019950024377A priority Critical patent/KR0178230B1/ko
Priority to US08/527,612 priority patent/US5625417A/en
Priority to JP23978695A priority patent/JP3067608B2/ja
Priority to CNB951173413A priority patent/CN100384257C/zh
Publication of KR970014390A publication Critical patent/KR970014390A/ko
Application granted granted Critical
Publication of KR0178230B1 publication Critical patent/KR0178230B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Abstract

움직임 보상 비디오 신호 부호기에 사용되며, 디지털 비디오 신호의 현재 프레임과 이전 프레임에 근거하여 예측된 현재 프레임을 결정하는 장치에 있어서; 이전 프레임에서의 에지를 형성하는 화소들을 나타내는 에지점과 에지점 중에서 특징점을 선택하는 수단(209)(210); 특징점에 대한 제1세트 움직임 벡터(MV)를 검출하는 수단(212); 제1세트 MV 및 에지점을 이용하여 비선택 에지점에 대한 제2세트 MV를 검출하는 수단(214)(216); 제1 및 제2세트의 MV에 근거하여, 이에 대응하는 현재 프레임에서의 유사 특징점 및 유사 에지점에 대한 제3 및 제4 MV 검출하는 수단(218); 현재 프레임에서의 모든 비유사 에지 및 비유사 특징점에 대한 유사 특징점의 범위를 결정하고, 유사 특징점 범위를 이용하여 유사 특징점을 선택하여 비유사 에지 및 비유사 특징점에 대해서 제5세트 MV를 검출하는 수단(220)(222)을 포함한다.

Description

특징점에 의한 움직임 추정을 이용한 영상 처리 장치
제1도는 본 발명의 현재 프레임 예측 블럭을 포함한 영상 신호 부호기장치의 블럭도.
제2도는 제1도의 현재 프레임 예측 블럭의 상세 블럭도.
제3a도 내지 3c도는 각각의 에지에서 특징점 범위를 결정하는 방법을 도시하는 도면.
제4도는 비유사점에 대한 움직임 벡터를 검출하는 방법을 도시하는 도면.
* 도면의 주요부분에 대한 부호의 설명
100 : 제1프레임 메모리 105 : 영상 신호 부호기
107 : 엔트로피 부호기 113 : 영상 신호 복호기
124 : 제2프레임 메모리 150 : 현재 프레임 예측 블럭
209 : 에지 검출기 210 : 특징점 검출기
212 : 특징점 움직임 벡터 검출기 214 : 범위 검출기
216 : 에지점 움직임 벡터 검출기 218 : 유사점 검출기
220 : 유사 특징점 범위 결정기 222 : 비유사점 움직임 벡터 검출기
224 : 배열 블럭 226 : 움직임 보상기
본 발명은 비디오 신호를 부호화하는 장치에 관한 것으로서, 특히 특징점에 근거한 화소단위 움직임 추정을 이용한 영상 처리 장치에 관한 것이다.
주지된 바와 같이, 이산화된 영상 신호의 전송은 아나로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 이미지 프레임으로 구성된 이미지 신호가 디지털 형태로 표현될 때, 특히 고품질 텔레비젼의 경우 상당한 양의 데이터가 전송되어야 한다. 그러나 종래의 전송 채널의 사용 가능한 주파수 영역은 제한되어 있으므로, 많은 양의 디지털 데이터를 전송하기 위해서는 전송되는 데이터를 압축하여 그 양을 줄일 필요가 있다. 다양한 압축 기법중에서, 확률적 부호화 기법과 시간적, 공간적 압축 기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있다.
대부분의 하이브리드 부호화 기법은 움직임 보상 DPCM(차분 펄스 부호 변조), 2차원 DCT(이산 코사인 변환), DCT계수의 양자화, VLC(가변장 후보화) 등을 이용한다. 움직임 보상 DPCM은 현재 프레임과 이전 프레임간의 물체를 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측 프레임간의 차이를 나타내는 차분 신호를 만들어내는 방법이다. 이 방법은 예를 들어 Staffan Ericsson의 Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding, IEEE Transactions on Communication, COM-33, NO.12(1985년, 12월), 또는 Ninomi ya와 Ohtsuka의 A motion compensated Interframe Coding Scheme for Televi sion Pictures, IEEE Transactions on Communication, COM-30, NO.1(1982년, 1월)에 기재되어 있다.
특히, 움직임 보상 DPCM에서는 현재 프레임과 이전 프레임간에 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로부터 예측한다. 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임 벡터로 나타낼 수 있다.
물체의 변위를 추정하는 데에는 여러 가지 접근 방법이 있다. 이들은 일반적으로 두 개의 타입으로 분류되는데 하나는 블럭 단위 방법이고 또 하나는 화소단위 움직임 추정이다.
블럭 단위 움직임 추정에서는, 현재 프레임내의 하나의 블럭은 이전 프레임의 블럭들과 비교되어 가장 정합이 잘된 블럭이 결정된다. 이로부터 전체 블럭에 대한 프레임간 변위 벡터(프레임간의 블럭의 움직임 정도를 나타냄)가 추정된다. 하지만, 블럭 단위 움직임 추정에서는 블럭 내의 모든 화소가 한 방향으로 이동하지 않는 경우에는 추정 값이 올바르지 않아서 그 결과 부호화 효율이 감소한다.
한편, 화소단위 움직임 추정에서는 변위는 각각의 화소 전부에 대해 구하여진다. 따라서, 이 방법은 화소값을 더 정확히 추정할 수 있고 스케일 변화(예를 들어, 영상 면에 수직한 움직임인 주밍(zooming)도 쉽게 다룰 수 있다. 그러나, 화소단위 추정 방법에서는, 움직임 벡터가 모든 화소 각각에 대해 결정되기 때문에 사실상 모든 움직임 벡터 데이터를 수신기에 전송하는 것은 불가능하다.
화소단위 추정 방법에 기인한 과도한 전송 데이터를 처리하기 위한 문제를 극복하기 위한 기법중 하나가 특징점을 근거로 한 움직임 추정기법이다.
특징점을 근거로 한 움직임 추정 기법에서는 한 세트의 선택된 화소, 즉 특징점에 대한 움직임 벡터가 수신기로 전송되는데, 각각의 특징점은 그 특징점의 이웃 화소들을 표현할 수 있는 화소로 규정되므로, 수신기에서는 그 특징점으로부터 그 특징점 주위에 있는 비특징점에 대한 움직임 벡터를 복구되거나 예측할 수 있다.
본 출원인이 출원하여 계류중인 미합중국 특허 제 08/367,520호에 Method and Apparatus for Encoding a Video Signal Using Pixel-by-Pixel Motion Estim ation이란 명칭으로 개시된 바와 같이, 특징점에 근거한 움직임 추정을 적용하고 있는 부호기에서는, 먼저, 이전 프레임에 포함되어 있는 화소로부터 다수의 특징점이 먼저 선택된다. 그 다음에는, 선택된 특징점에 대한 제1세트 움직임 벡터가 결정되는데, 각각의 움직임 벡터는 이전 프레임의 한 특징점과 그것의 대응점인 현재 프레임의 가장 유사한 화소간의 공간적 변위를 나타낸다. 현대 프레임의 가장 유사한 화소를 유사 특징점(quasi-feature point)라고 한다. 그 다음으로는, 제1세트의 움직임 벡터를 이용하여, 현재 프레임에 포함된 모든 화소들에 대한 제2세트의 움직임 벡터를 결정한다. 즉, 유사 특징점에 대한 제2세트 움직임 벡터의 일부분은 제1세트 움직임 벡터 각각의 방향만 반대로 전환하면 되고; 현재 프레임에서 유사 특징점을 제외한 비유사 특징점에 대한 제2세트 움직임 벡터의 나머지 부분은, 사전 설정된 크기의 원형 영역내에 위치하는 유사 특징점에 대한 움직임 벡터를 평균함으로써 구해진다.
이때, 비유사 특징점에 대한 제2세트 움직임 벡터의 나머지 부분이 물체의 실제 움직임과 관련한 실제 정보를 하나도 고려하지 않기 때문에 비유사 특징점에 대한 움직임 벡터를 정확히 추정하는 것은 불가능하다.
따라서, 본 발명의 주 목적은 상기한 문제점을 해결하기 위한 것으로서, 에지 정보를 이용하여 비유사 특징점에 대한 움직임 벡터를 정확히 추정하기 위한 특징점에 근거한 화소단위 움직임 추정을 이용한 영상 신호 부호화 장치를 제공하는데 있다.
이상과 같은 본 발명의 목적은, 움직임 보상 비디오 신호 부호기에 사용되며, 디지털 비디오 신호의 현재 프레임과 이전 프레임에 근거하여 예측된 현재 프레임을 결정하는 장치에 있어서;
상기 이전 프레임에서의 영상의 에지(edge)를 형성하는 화소들을 나타내는 에지점(edge points)을 검출하는 수단과;
상기 이전 프레임의 에지점 중에서 다수의 화소를 특징점(feature points)으로 선택하는 수단과;
상기 특징점에 대한 제1세트 움직임 벡터를 검출하되, 상기 제1세트의 움직임 벡터의 각각은 하나의 특징점과 이 특징점과 가장 유사한 현재 프레임의 한 화소간의 공간적 변위를 나타내는 제1세트 움직임 벡터 검출 수단과;
상기 특징점 각각에 대한 특징점 범위를 결정하는 수단으로서, 여기서, 상기 특징점 범위는 하나의 동일한 에지에서 하나의 특징점과 하나 이상의 비선택 에지점을 포함하고, 상기 특징점 범위 내에서 비선택 에지점과 상기 특징점간의 에지 경로를 따른 에지 거리는 상기 특징점 범위내의 각각의 비선택 에지점과 다른 특징점범위의 특징점간의 에지 경로를 따라 에지 거리 미만인 특징점 범위 결정 수단과;
상기 특징점 범위 내에서 특징점과 각각의 비선택 에지점간의 거리를 검출하고, 상기 거리를 상기 각각의 비선택 에지점에 대한 탐색 범위로 세팅하는 수단과;
상기 동일한 에지에서, 상기 에지점 각각으로부터 상기 탐색범위 내에 분산되어 있는 하나 이상의 특징점 범위를 결정하고, 상기 하나 이상의 특징점 범위에 포함된 특징점의 움직임 벡터를 평균함으로써, 상기 비선택 에지점에 대한 제2세트의 움직임 벡터를 검출하는 수단과;
상기 제1세트의 움직임 벡터 각각에 근거하여, 상기 특징점에 대응하는 현재 프레임에서의 유사 특징점 및 상기 유사 특징점에 대한 제3세트 움직임 벡터를 검출하고, 상기 제2세트 움직임 벡터 각각에 근거하여, 상기 현재 프레임에서의 유사 에지점 및 상기 유사 에지점에 대한 제4세트 움직임 벡터를 검출하는 수단과;
유사 특징점 및 유사 에지점을 제외한 현재 프레임에서의 잔존 화소를 그것의 가장 근접한 유사 특징점으로 표시함으로써 각각의 유사 특징점에 대한 유사 특징점 범위를 결정하는 수단과;
상기 유사 특징점 범위 내에서 유사 특징점과 각각의 잔존 화소간의 거리를 검출하고, 상기 거리를 상기 각각의 잔존 화소에 대한 탐색 범위로 세팅하는 수단과;
각각의 잔존 화소로부터 그것의 탐색 범위내에 분산되어 있는 하나 이상의 유사 특징점 범위를 결정하고, 상기 하나 이상의 유사 특징점 범위에 포함된 특징점의 움직임 벡터를 평균함으로써, 상기 잔존 화소에 대한 제5세트의 움직임 벡터를 검출하는 수단과;
상기 제3, 제4 및 제5세트의 움직임 벡터를 배열하여 상기 현재 프레임의 모든 화소에 대한 한 그룹의 움직임 벡터를 결정하는 수단과;
상기 현재 프레임의 화소 각각의 위치 데이터 및 상기 현재 프레임의 각 화소의 움직임 벡터에 근거하여 상기 이전 프레임으로부터 화소값을 제공함으로써 상기 예측된 현재 프레임을 결정하는 수단을 포함하는 것을 특징으로 하는 특징점에 근거한 화소단위 움직임 추정을 이용한 화상 처리 장치에 의해 달성된다.
제1도는 본 발명에 따른 영상 신호 부호화 장치의 바람직한 실시예가 도시되어 있다. 제1도에 도시된 바와 같이, 현재 프레임 신호가 제1프레임 메모리(100)에 저장된다. 현재 프레임 메모리는 라인 L9를 통해 감산기(102)와 연결되고, 또한 라인 L10을 통해 현재 프레임 예측 블럭(150)에 연결된다.
현재 프레임 예측 블럭(150)에서는, 제1프레임 메모리(100)로부터 판독된 라인 L10상의 현재 프레임과 제2프레임 메모리(124)로부터 검색된 라인 L12상의 재구성된 이전 프레임 신호를 처리하여 예측된 현재 프레임 신호를 라인 L30상으로 발생시키고, 특징점에 대한 움직임 벡터 세트를 L20상으로 발생시킨다. 현재 프레임 예측블럭의 상세한 것은 제2도에서 상세히 설명될 것이다.
감산기(102)에서는 라인 L30상의 예측된 현재 프레임 신호의 라인 L9로부터의 현재 프레임 신호의 차이가 계산되고, 그 결과 데이터, 즉, 차분 화소값을 나타내는 오차 신호는 영상 신호 부호기(105)로 입력되어, 오차 신호는 이산 코사인 변환(DCT)과 양자화 방법을 이용하여 일련의 양자화된 변환 계수로 부호화된다. 이 이후에 양자화된 변환 계수는 엔트로피 부호기(107)와 영상 신호 복호기(113)로 전송된다. 엔트로피 부호기(107)에서는 영상 신호 부호기(105)로부터의 양자화된 변환 계수와 현재 프레임 예측 블럭(150)으로부터 라인 L20을 통해 입력된 움직임 벡터가, 런렝쓰(run-length)부호화와 가변 길이 부호화의 결합 등의 방법을 통해 부호화되고 전송기(도시안됨)로 전송된다.
한편, 영상 신호 복호기(113)는 영상 신호 부호기(105)로부터 입력된 양자화된 변환 계수들을 역양자화 및 역변환을 통해 차분 오차 신호로 복원한다. 영상 복호기(113)로부터의 복원된 오차 신호와 현재 프레임 예측 블럭(150)으로부터 라인 L30을 통해 제공되는 예측된 현재 프레임 신호는 가산기(115)에서 합쳐져서 복원된 현재 프레임 신호가 되어 제2프레임 메모리(124)에 이전 프레임으로 저장된다.
제2도를 참조하면, 제1도에 도시된 현재 프레임 예측 블럭(150)의 상세한 도면이 제시되어 있다. 제2도에 도시된 바와 같이, 라인 L12상의 이전 프레임 신호는 에지 검출기(209) 및 특징점 움직임 벡터 검출기(212)로 각각 제공된다. 에지 검출기(209)에서는 이전 프레임의 영상의 에지를 형성하는 화소를 나타내는 다수의 에지점이 통상적인 에지 검출 기법에 의해 검출된다. 이전 프레임의 에지점은 라인 L13을 통해 특징점 검출기(210), 범위 검출기(214) 및 유사점 검출기(218)로 제공된다.
특징점 검출기(210)에서는 에지 검출기(209)로부터 제공된 에지점중에서 다수의 특징점이 검출된다. 본 발명의 바람직한 실시예에서는 특징점이 그리드 점과 에지점과의 교차점에서 검출된다. 특징점 검출 방법은 본 출원인이 출원하여 계류중인 Method and Apparatus for Encoding a Video Signal Using Pixel-by-Pixel Motion Estimation이란 명칭의 미합중국 특허 제 08/367,520호에 게시되며, 이는 본 특허에 참조된다. 특징점 검출기(2102)로부터의 특징점은 라인 L14를 통해 특징점 움직임 벡터 검출기(212) 및 범위 검출기(214)로 제공된다.
특징점 움직임 벡터 검출기(212)에서는 특징점에 대한 제1세트의 움직임 벡터가 검출된다. 제1세트 움직임 벡터 각각은 이전 프레임의 특징점과 현재 프레임의 유사 특징점간의 변위를 나타낸다. 특징점과 유사 특징점간의 움직임 벡터를 검출하기 위해서는 블럭 정합 알고리즘을 사용한다. 즉, 특징점 검출기(210)로부터 특징점이 수신되면, 그 특징점을 중심으로 하는 5×5 화소 크기의 특징점 블럭을 이전 프레임에 형성하고 그 데이터를 라인 L12를 통해 제2프레임 메모리(124)(제1도에 도시됨)로부터 판독한다. 이후, 특징점 블럭보다 큰 탐색 영역내에서 특징점 블럭과 동일한 크기의 다수의 후보 블럭과 특징점 블럭간의 유사도를 계산하여 움직임 벡터를 결정하는데, 탐색 영역은 현재 프레임내에 형성되며 그 크기는 예를 들면, 10×10 화소이다. 특징점 블럭에 대해 결정된 움직임 벡터가 그 특징점 블럭 내에 포함된 특징점의 움직임 벡터가 된다.
모든 특징점에 대한 움직임 벡터가 검출되면, 제1세트 움직임 벡터는 라인 L20을 통해 특징점 움직임 벡터 검출기(216), 유사점 검출기(218) 및 엔트로피 부호기(107)로 제공된다.
한편, 범위 검출기(214)에서는, 다수의 특징점을 가진 각각의 에지가 대응된 수의 특징점 범위로 분할된다. 이 분할은, 각각의 에지에서, 모든 에지점을 에지 경로로 가장 가까운 특징점으로 표시함으로써 분할된다.
제3a도 내지 제3c도를 참조하면, 각각의 에지상의 특징점 범위를 결정하는 방법이 도시되어 있다. 제3a도에 도시된 바와 같이, 특징점이, 예를 들면, FP1 내지 FP5가 세 개의 에지 EDGE 1, EDGE2, EDGE 3을 따라 분포되어 있을 때, EDGE 2의 에지점 EP는 특징점 FP1 또는 FP5와 에지점간의 유사도에 따라 둘 중에 하나로 표시된다. 예를 들면, 제3b도에 도시된 바와 같이, 에지점 EP가 특징점 FP1 및 FP5로부터 각각 5 및 3화소씩 떨어져 있을 경우, 에지점 EP는 특징점 FP5로 표시된다. 에지점이 두 개의 특징점의 중간에 위치하는 경우에는 두 개의 이웃 특징점중 어느 하나로 표시된다. 하나의 특징점과 그 특징점으로 표시된 에지점이 하나의 특징점 영역을 구성한다. 즉, 하나의 에지상의 각각의 특징점 범위는 하나의 특징점 및 하나 이상의 에지점을 포함하며, 각각의 에지점은 그 특징점과 에지 경로를 따라 가장 근접해 있다. 제3c도를 참조하면, 에지 EDGE 1, EDGE 2, EDGE 3상의 특징점 범위를 도시한다.
각각의 에지상에서 특징점의 범위가 결정되면, 에지점이 속하는 특징점 범위를 나타내는 범위 정보가 에지점 움직임 벡터 검출기(216)로 제공된다. 에지점 움직임 벡터 검출기(216)에서는 먼저 탐색 반경, 즉 동일한 특징점 범위에서 에지점과 특징점간의 거리를 구하고, 동일 에지상에서 하나 이상의 영향력있는 특징점을 검출하고 그 영향력 있는 특징점의 움직임 벡터를 근거로 에지점의 움직임 벡터를 계산한다. 제3b도에 도시된 바와 같이, 에지점 EP의 탐색 반경이 r이고 동일 에지 EDGE 2상의 특징점 범위 FPR1 및 FPR5에 포함된 에지점이 탐색 반경 r로 규정된 그 범위내에 포함되어 있을 경우, 특징점 FP1 및 FP5가 에지점 EP의 영향력있는 특징점으로 결정된다. 에지점 EP에 대한 움직임 벡터 MVEP는 다음과 같이 계산된다.
여기서, MVj는 j번째 특징점의 움직임 벡터이고, M은 r내의 특징점 범위의 수이고, Lj는 j번째 특징점과 에지점 EP간의 거리이며, Wj는 j번째 특징점의 가중치이다. 주어진 특징점이 영향력있는 특징점이라면, 가중치는 1이고, 그렇지 않을 경우 0이다. 식(1)에 의해서, 에지점 EP에 대한 움직임 벡터 MVEP는 두 개의 특징점 FP1 및 FP5의 움직임 벡터의 평균에 의해 결정된다. 에지점 움직임 벡터(216)는 특징점을 제외한 에지점에 대한 제2세트의 움직임 벡터를 제공한다.
에지 검출기(209)로부터의 에지점 정보 및 특징점 움직임 벡터 검출기(212) 및 에지점 움직임 벡터 검출기(216)로부터의 제1 및 제2세트의 움직임 벡터에 근거하여, 유사점 검출기(218)는 각각의 특징점 및 각각의 에지점을 해당 움직임 벡터만큼 이동시킴으로써 현재 프레임에서 유사 특징점 및 유사 에지점을 결정하고, 유사 특징점에 대한 제3세트 움직임 벡터 및 유사 에지점에 대한 제4세트 움직임 벡터를 제공한다. 제1 및 제2세트의 움직임 벡터 각각은 현재 프레임의 한 화소 점과 그것에 대응하는 이전 프레임의 화소 점간의 변위를 나타내기 때문에, 제3 및 제4세트의 각 움직임 벡터의 크기는 제1 및 제2세트의 움직임 벡터와 크기는 동일하며, 방향만 반대이다. 유사점 검출기(218)로부터의 제3 및 제4세트의 움직임 벡터는 라인 L16을 통해 유사 특징점 범위 결정기(220), 비유사점 움직임 벡터 검출기(222) 및 배열 블럭(224)으로 제공된다.
유사 특징점 범위 결정기(220)는 현재 프레임에서의 각각의 비유사 에지 및 비유사 특징점이 유사 특징점 범위로 할당된다. 비유사 에지 및 비유사 특징점은 현재 프레임에서 유사 특징점 및 유사 에지점을 제외한 모든 화소 점을 나타내는 것으로서, 이후부터는 비유사점으로 칭한다. 제4a도에 도시된 바와 같이, 유사 에지 EDGE 4 및 EDGE 5가 유사 특징점 QF1 내지 QF4 및 다수의 유사 에지점에 의해 형성될 때, 유사 에지 EDGE 4와 유사 에지 EDGE 5간의 비유사점은 4개의 유사 특징점 범위 즉, QFR1 내지 QFR4로 나누어진다. 유사 특징점 범위 QFR1 내지 QFR4는 각각의 비유사점을 그것의 가장 근접한 유사 특징점으로 표시함으로써 나누어지는데, 비유사점과 그것의 가장 근접한 유사 특징점간에는 아무런 유사 에지가 없어야 하는 조건이 전제된다. 즉, 각각의 유사 특징점 범위는 하나의 유사 특징점과 다수의 비유사점을 포함하는데, 각각의 비유사점은 그 특징점에 가장 근접해 있다.
현재 프레임에서 모든 비유사점에 대한 유사 특징점 범위가 결정된 후에는, 유사 특징점 범위에 대한 정보가 비유사점 움직임 벡터 검출기(222)로 입력된다.
비유사점 움직임 벡터 검출기(222)에서는 유사 특징점 범위에 근거하여 비유사점에 대한 제5세트 움직임 벡터가 검출된다. 먼저, 각각의 비유사점과 유사 특징점간의 거리는 동일한 유사 특징점 범위에서 결정되고, 그 결정된 거리는 비유사점에 대한 탐색 범위로 세트된다. 그 탐색 범위를 근거로 하여 비유사점에 대한 움직임 벡터가 결정된다. 즉, 먼저, 하나의 비유사점에 대해서 그 비유사점의 탐색 범위를 형성하는 원형 경계선내에 포함되어 있는 하나 이상의 유사 특징점 범위가 결정된다. 결정된 하나 이상의 유사 특징점 범위내의 유사 특징점을 그 비유사점에 대한 영향력 있는 유사 특징점으로 결정한다. 예를 들면, 제4b도에 도시된 바와 같이, 유사 특징점 범위 QFR1 내지 QFR4가, 탐색 범위가 r이고 그 중앙에 비유사점 NQP를 갖는 원내에 포함되어 있는 경우, 유사 특징점 QF1 내지 QF4가 비유사점 NQP에 대한 영향력있는 유사 특징점으로 결정된다. 비유사점 NQP에 대한 움직임 벡터 MVNQP는 다음과 같이 계산된다.
여기서, MVi는 i번째 유사 특징점의 움직임 벡터이고, N은 탐색 범위 r내의 유사 특징점 범위의 전체 수이고, Li는 i번째 유사 특징점과 비유사 특징점간의 거리이며, Wi는 i번째 유사 특징점의 가중치이다. 주어진 유사 특징점이 영향력있는 유사 특징점이라면, 가중치는 1이고, 그렇지 않을 경우 0이다. 비유사점에 대한 제5세트의 움직임 벡터는 배열 블럭(224)으로 제공된다.
배열 블럭(224)은 유사 특징점에 대한 제3세트 움직임 벡터, 유사 에지점에 대한 제4세트의 움직임 벡터 및 비유사점에 대한 제5세트의 움직임 벡터를 배열하여 현재 프레임의 모든 화소에 대한 한 그룹의 움직임 벡터를 결정한다. 현재 프레임의 모든 화소에 대한 한 그룹의 움직임 벡터는 움직임 보상기(226)로 제공된다.
움직임 보상기(226)는 현재 프레임의 화소 각각의 위치 데이터 및 현재 프레임의 각 화소의 움직임 벡터에 근거하여 이전 프레임 메모리 124(제1도에 도시됨)에 저장된 이전 프레임으로부터 화소값을 제공함으로써 예측된 현재 프레임을 결정한다.

Claims (2)

  1. 움직임 보상 비디오 신호 부호기에 사용되며, 디지털 비디오 신호의 현재 프레임과 이전 프레임에 근거하여 예측된 현재 프레임을 결정하는 장치에 있어서; 상기 이전 프레임에서의 영상의 에지(edge)를 형성하는 화소들을 나타내는 에지점(edge points)을 검출하는 수단과; 상기 이전 프레임의 에지점 중에서 다수의 화소를 특징점(feature points)으로 선택하는 수단과; 상기 특징점에 대한 제1세트 움직임 벡터를 검출하되, 상기 제1세트의 움직임 벡터의 각각은 하나의 특징점과 이 특징점과 가장 유사한 현재 프레임의 한 화소간의 공간적 변위를 나타내는 제1세트 움직임 벡터 검출 수단과; 상기 제1세트 움직임 벡터 및 상기 에지점을 이용하여 상기 특징점에서 제외된 상기 이전 프레임의 비선택 에지점에 대한 제2세트 움직임 벡터 검출수단과; 상기 제1세트의 움직임 벡터 각각에 근거하여, 상기 특징점에 대응하는 현재 프레임에서의 유사 특징점 및 상기 유사 특징점에 대한 제3세트 움직임 벡터를 검출하고, 상기 제2세트 움직임 벡터 각각에 근거하여, 상기 현재 프레임에서의 유사 에지점 및 상기 유사 에지점에 대한 제4세트 움직임 벡터를 검출하는 수단과; 유사 특징점 및 유사 에지점을 제외한 현재 프레임에서의 잔존 화소를 그것의 가장 근접한 유사 특징점으로 표시함으로써 각각의 유사 특징점에 대한 유사 특징점 범위를 결정하는 수단과; 상기 유사 특징점 범위 내에서 유사 특징점과 각각의 잔존 화소간의 거리를 검출하고, 상기 거리를 상기 각각의 잔존 화소에 대한 탐색 범위로 세팅하는 수단과; 각각의 잔존 화소로부터 그것의 탐색 범위내에 분산되어 있는 하나 이상의 유사 특징점 범위를 결정하고, 상기 하나 이상의 유사 특징점 범위에 포함된 특징점의 움직임 벡터를 평균함으로써, 상기 잔존 화소에 대한 제5세트의 움직임 벡터를 검출하는 수단과; 상기 제3, 제4 및 제5세트의 움직임 벡터를 배열하여 상기 현재 프레임의 모든 화소에 대한 한 그룹의 움직임 벡터를 결정하는 수단과; 상기 현재 프레임의 화소 각각의 위치 데이터 및 상기 현재 프레임의 각 화소의 움직임 벡터에 근거하여 상기 이전 프레임으로부터 화소값을 제공함으로써 상기 예측된 현재 프레임을 결정하는 수단을 포함하는 것을 특징으로 하는 특징점에 의한 움직임 추정을 이용한 영상 처리 장치.
  2. 제1항에 있어서, 상기 제2세트 움직임 벡터 검출 수단은, 상기 특징점 각각에 대한 특징점 범위를 결정하는 수단으로서, 여기서, 상기 특징점 범위는 하나의 동일한 에지에서 하나의 특징점과 하나 이상의 비선택 에지점을 포함하고, 상기 특징점 범위 내에서 비선택 에지점과 상기 특징점간의 에지 경로를 따른 에지 거리는 상기 특징점 범위 내의 각각의 비선택 에지점과 다른 특징점 범위의 특징점간의 에지 경로를 따른 에지 거리 미만인 특징점 범위 결정 수단과; 상기 특징점 범위 내에서 특징점과 각각의 비선택 에지점간의 거리를 검출하고, 상기 거리를 상기 각각의 비선택 에지점에 대한 탐색 범위로 세팅하는 수단과; 상기 동일한 에지에서, 상기 에지점 각각으로부터 상기 탐색 범위 내에 분산되어 있는 하나 이상의 특징점 범위를 결정하고, 상기 하나 이상의 특징점 범위에 포함된 특징점의 움직임 벡터를 평균함으로써, 상기 비선택 에지점에 대한 제2세트의 움직임 벡터를 검출하는 수단을 포함하는 특징점에 의한 움직임 추정을 이용한 영상 처리 장치.
KR1019950024377A 1995-08-08 1995-08-08 특징점에 의한 움직임 추정을 이용한 영상 처리 장치 KR0178230B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1019950024377A KR0178230B1 (ko) 1995-08-08 1995-08-08 특징점에 의한 움직임 추정을 이용한 영상 처리 장치
US08/527,612 US5625417A (en) 1995-08-08 1995-09-13 Image processing system using a feature point-based motion estimation
JP23978695A JP3067608B2 (ja) 1995-08-08 1995-09-19 映像信号符号化装置
CNB951173413A CN100384257C (zh) 1995-08-08 1995-09-20 应用基于特征点的运动估算的图象处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019950024377A KR0178230B1 (ko) 1995-08-08 1995-08-08 특징점에 의한 움직임 추정을 이용한 영상 처리 장치

Publications (2)

Publication Number Publication Date
KR970014390A KR970014390A (ko) 1997-03-29
KR0178230B1 true KR0178230B1 (ko) 1999-05-01

Family

ID=19423059

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950024377A KR0178230B1 (ko) 1995-08-08 1995-08-08 특징점에 의한 움직임 추정을 이용한 영상 처리 장치

Country Status (4)

Country Link
US (1) US5625417A (ko)
JP (1) JP3067608B2 (ko)
KR (1) KR0178230B1 (ko)
CN (1) CN100384257C (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012015275A2 (ko) * 2010-07-29 2012-02-02 에스케이텔레콤 주식회사 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5751378A (en) * 1996-09-27 1998-05-12 General Instrument Corporation Scene change detector for digital video
US5995671A (en) * 1996-11-08 1999-11-30 Hughes Electronics Corporation Efficient representation of texture for gray scale alpha maps
CN1058120C (zh) * 1997-03-04 2000-11-01 力捷电脑股份有限公司 数字扫描之运动失真补偿装置与操作方法
JP4656680B2 (ja) * 1998-11-30 2011-03-23 シャープ株式会社 画像検索情報記録装置及び画像検索装置
CN1317898C (zh) * 2004-11-30 2007-05-23 北京中星微电子有限公司 一种视频编解码过程中进行运动估计搜索计算的方法
CN101540902B (zh) * 2008-03-20 2011-02-02 华为技术有限公司 运动矢量的缩放方法和装置、编解码方法和系统
JP5149861B2 (ja) * 2009-05-01 2013-02-20 富士フイルム株式会社 中間画像生成装置およびその動作制御方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3023961B2 (ja) * 1989-10-04 2000-03-21 三菱電機株式会社 符号化器及び復号化器
JP2919115B2 (ja) * 1991-04-26 1999-07-12 三菱電機株式会社 動き検出器
JPH06162193A (ja) * 1992-11-26 1994-06-10 Nippon Telegr & Teleph Corp <Ntt> 動きベクトル抽出方法
JP2797891B2 (ja) * 1993-04-06 1998-09-17 日本ビクター株式会社 多次元画像構造圧縮方法
JP3764494B2 (ja) * 1993-10-25 2006-04-05 ソニー株式会社 動画像分析合成装置
KR0181063B1 (ko) * 1995-04-29 1999-05-01 배순훈 특징점을 이용한 움직임 보상에서의 그리드 형성방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012015275A2 (ko) * 2010-07-29 2012-02-02 에스케이텔레콤 주식회사 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치
KR20120011428A (ko) * 2010-07-29 2012-02-08 에스케이 텔레콤주식회사 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2012015275A3 (ko) * 2010-07-29 2012-05-03 에스케이텔레콤 주식회사 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치

Also Published As

Publication number Publication date
KR970014390A (ko) 1997-03-29
JPH0955944A (ja) 1997-02-25
JP3067608B2 (ja) 2000-07-17
CN1142733A (zh) 1997-02-12
CN100384257C (zh) 2008-04-23
US5625417A (en) 1997-04-29

Similar Documents

Publication Publication Date Title
KR0171154B1 (ko) 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화하는 방법 및 장치
KR0171146B1 (ko) 특징점을 이용한 움직임 벡터 검출 장치
KR0171118B1 (ko) 비디오신호 부호화 장치
US5617144A (en) Image processing system using pixel-by-pixel motion estimation and frame decimation
US5689306A (en) Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction
US5694487A (en) Method and apparatus for determining feature points
US5760846A (en) Apparatus for estimating motion vectors for feature points of a video signal
KR100209793B1 (ko) 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치
US5673339A (en) Method for encoding a video signal using feature point based motion estimation
US20040114688A1 (en) Device for and method of estimating motion in video encoder
KR0178229B1 (ko) 특징점에 근거한 화소단위 움직임 추정을 이용한 영상 처리 장치
US5638129A (en) Image processing apparatus using a pixel-by-pixel motion estimation based on feature points
EP0721284A1 (en) An image processing system using pixel-by-pixel motion estimation and frame decimation
KR0178230B1 (ko) 특징점에 의한 움직임 추정을 이용한 영상 처리 장치
US5731851A (en) Method for determining feature points based on hierarchical block searching technique
EP0731612B1 (en) Apparatus for encoding a video signal using search grids for motion estimation and compensation
US6020925A (en) Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction
US5710603A (en) Method for detecting motion vectors
KR0174455B1 (ko) 화소단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치
KR0159374B1 (ko) 서치 그리드를 이용한 영상신호 부호화 장치
KR0178228B1 (ko) 이미지 신호 복호화용 개선된 움직임 벡터 추정 방법 및 장치
EP0720381A1 (en) Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction
KR0174956B1 (ko) 픽셀단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치
KR0174462B1 (ko) 프레임 데시메이션과 화소단위 움직임 추정을 이용하는 영상처리 시스템
KR100207399B1 (ko) 움직임 추정장치

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121031

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20131101

Year of fee payment: 16

FPAY Annual fee payment

Payment date: 20141107

Year of fee payment: 17

EXPY Expiration of term