KR0174454B1 - 특징점 기반 움직임 보상에서의 에지 검출, 세선화 방법 및 장치 - Google Patents
특징점 기반 움직임 보상에서의 에지 검출, 세선화 방법 및 장치 Download PDFInfo
- Publication number
- KR0174454B1 KR0174454B1 KR1019950018649A KR19950018649A KR0174454B1 KR 0174454 B1 KR0174454 B1 KR 0174454B1 KR 1019950018649 A KR1019950018649 A KR 1019950018649A KR 19950018649 A KR19950018649 A KR 19950018649A KR 0174454 B1 KR0174454 B1 KR 0174454B1
- Authority
- KR
- South Korea
- Prior art keywords
- edge
- value
- values
- target pixel
- pixel
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000003708 edge detection Methods 0.000 claims abstract description 27
- 230000002093 peripheral effect Effects 0.000 claims description 24
- 239000000284 extract Substances 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 5
- 239000013598 vector Substances 0.000 description 21
- 238000010586 diagram Methods 0.000 description 9
- 238000006073 displacement reaction Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- APTGJECXMIKIET-WOSSHHRXSA-N Norethindrone enanthate Chemical compound C1CC2=CC(=O)CC[C@@H]2[C@@H]2[C@@H]1[C@@H]1CC[C@](C#C)(OC(=O)CCCCCC)[C@@]1(C)CC2 APTGJECXMIKIET-WOSSHHRXSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
- H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Abstract
본 발명은 기반 움직임 보상에 있어서, 움직임 보상의 정확도를 개선하기 위하여 특징점 추출을 위한 에지선을 효과적으로 세선화할 수 있는 특징점 기반 움직임 보상에서의 에지 검출 및 세선화 기법에 관한 것으로, 이를 위하여 본 발명은, 재구성된 이전 프레임내의 대상 화소값과 그 주변 8화소값들과의 인텐시티 차값에 의거하여 최대 오차값을 검출하여 대상 화소의 에지값으로 설정하여 에지점들로 된 에지선을 검출하고, 각 화소의 에지값과 그 주변 8에지값들중 적어도 서로 연결된 다수군으로 무리지어진 에지값들과의 차값에 의거하여 각 화소에 대한 에지값 제거를 결정하는 과정을 상기 에지선을 이루는 모든 에지값들에 적용하여 검출된 에지선을 세선화함으로서, 재구성된 이전 프레임에서 검출된 세선화된 에지선에서 움직임 추정/보상을 위한 특징점들을 선택한다. 따라서, 본 발명은 불필요한 데이터의 발생을 억제함으로서 특징점 기반 움직임 보상 영상의 부호화 효율을 향상 시킬 수 있는 것이다.
Description
제1도는 특징점 기반 움직임 추정/보상을 위한 본 발명에 따른 에지선 세선화 장치를 갖는 전형적인 비디오 신호 부호화 시스템에 대한 블록구성도.
제2도는 본 발명의 바람직한 실시예에 따라 특징점 기반 움직임 추정등을 통해 움직임 보상을 수행하는 제1도의 현재 프레임 예측 블록에 대한 세부적인 블록구성도.
제3도는 제2도의 에지 검출 및 세선화 블록에 대한 세부적인 블록구성도.
제4도는 본 발명에 따른 오퍼레이팅에 따라 산출되는 각 에지점들의 인텐시티 값들에 대한 일예를 보여주는 도면.
제5도는 본 발명의 바람직한 실시예에 따른 에지선의 세선화를 위해 적용되는 각 오퍼레이터를 도시한 도면.
제6도는 본 발명의 바람직한 실시예에 따라 검출된 에지선이 최종적으로 세선화되는 것을 일예로서 보여주는 예시도.
제7도는 종래의 소벨 오퍼레이터를 도시한 도면.
제8도는 종래의 소벨 오퍼레이터를 적용하여 검출한 에지선의 일예를 도시한 도면.
* 도면의 주요부분에 대한 부호의 설명
10,17,1825,1827 : 프레임 메모리 11,1822 : 감산기
12 : 영상신호 부호화 블록 13 : 엔트로피 부호화 블록
14 : 버퍼 15 : 영상신호 복호화 블록
16 : 가산기 18 : 현재 프레임 예측 블록
182 : 에지 검출 및 세선화 블록 184 : 특징점 선택 블록
186 : 움직임 추정 블록 188 : 움직임 보상 블록
1821,1824,1826-1 : 레지스터 1823,1826-2 : 비교기
1826 : 세선화 블록 OP1-OP4 : 오퍼레이터
NOR : 노아 게이트 AND : 앤드 게이트
본 발명은 특징점 기반 움직임 추정기법을 이용하여 비디오 신호를 부호화하는 방법 및 장치에 관한 것으로, 특히, 비디오 신호의 부호화를 위해 특징점을 기반으로 하여 움직임 보상을 수행하는데 이용되는 에지선을 세선화할 수 있도록 한 에지선 세선화 방법 및 장치에 관한 것이다.
이 기술분야에 잘 알려진 바와같이 이산된 화상신호의 전송은 아날로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 이미지 프레임 으로 구성된 비디오 신호가 디지탈 형태로 표현될 때, 특히 고품질 테레비젼의 경우 상당한 양의 데이터가 전송되어야 한다. 그러나 종래의 전송 채널의 사용 가능한 주파수 영역은 제한되어 있으므로, 많은 양의 디지털 데이터를 전송하기 위해서는 전송되는 데이터를 압축하여 그 양을 줄일 필요가 있다. 이와같이 데이터를 압축하는 다양한 압축 기법 중에서, 확률적 부호화 기법과 시간적, 공간적 압축기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있다. 대부분의 하이브리드 부호화 기법은 움직임 보상 DCPM(차분펄스 부호 변조), 2차원 DCT(이산 코사인 변환), DCT 계수의 양자화, VLC(가변장부호화)등을 이용한다. 움직임보상 DPCM은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분신호를 만들어내는 방법이다. 이 방법은 예를 들어 Staffan Ericsson 의 Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding, IEEE Transactions on Communication, COM-33, NO.12(1985년,12월), 또는 Ninomiy와 Ohtsuka의 A motion Compensated Interframe Coding Scheme for Television Pictures, IEEE Transactions on Communication, COM-30, NO.1(1982년, 1월)에 기재되어 있다.
일반적으로, 이차원 DCT는 영상 데이터간의 공간적 리던던시를 이용하거나 제거하는 것으로서, 디지털 영상 데이터 블록, 예를 들면 8×8 블록을 DCT 변환계수로 변환한다. 이 기법은 Chen 과 Pratt 의 Scene Adaptive Coder, IEEE Transactions on Communication, COM-32, NO.3(1984년, 3월)에 개시되어 있다. 이러한 DCT 변환계수는 양자화기, 지그재그 주사, VLC 등을 통해 처리됨으로써 전송할 데이터의 양을 효과적으로 감축할 수 있다.
보다 상세하게, 움직임보상 DPCM 에서는 현재 프레임과 이전 프레임간에 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로부터 예측한다. 이와같이 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임 벡터로 나타낼 수 있다.
통상적으로, 물체의 변위를 추정하는 데에는 여러 가지 접근방법이 있다. 이들은 일반적으로 두 개의 타입으로 분류되는데 하나는 블록단위 움직임 추정방법이고 다른 하나는 화소단위 움직임 추정방법이다.
한편, 블록단위 움직임추정에서는, 현재 프레임의 블록을 이전 프레임의 블록들과 비교하여 최적 정합블럭을 결정하며, 이것으로부터, 전송되는 현재 프레임에 대해 블록 전체에 대한 프레임간 변위벡터(프레임간에 블록이 이동한 정도)가 추정된다. 그러나, 블록단위 움직임추정에서는 움직임 보상과정에서 블록경계에 블록킹효과(blocking effect)가 발생할 수 있고; 블록내의 모든 화소가 한 방향으로 이동하지 않는 경우에는 추정값이 올바르지 않아서 그 결과 부호화 효율이 감소한다는 단점이 있다.
한편, 화소단위 움직임 추정방법을 이용하면 변위는 각각의 화소 전부에 대해 구하여진다. 이러한 방법은 화소값을 더 정확히 추정할 수 있고 스케일변화(예를들어, 영상면에 수직한 움직임인 주밍(zooming))도 쉽게 다룰 수 있다는 장점을 갖는 반면에, 움직임 벡터가 모든 화소 각각에 대해 결정되기 때문에, 실질적으로 모든 움직임 벡터를 수신기로 전송하는 것은 불가능하다.
따라서, 화소단위 움직임 추정방법에 있어서는 선택된 한 세트(set)의 화소(즉, 특징점)에 대한 움직임벡터를 수신측에 전송하는데, 이때 특징점은 인접 화소들을 대표할 수 있는 화소들로서 수신기에서 비특징점에 대한 움직임벡터는 특징점에 대한 움직임 벡터로부터 복원될 수 있다.
동일인에 의해 1995년 2월 28일자로 출원되어 현재 계류중인 대한민국 특허 출원번호 95-3955 호의 화소단위 움직임 예측을 이용한 비디오 신호 부호화 방법 및 장치(Method and Apparatus for Encoding a Video Signal Using Pixel-by-pixel Motion Estimation)에 개시된, 특징점을 이용한 움직임 추정기법을 채용한 부호화기에서는 우선 이전 프레임에 포함된 모든 화소로부터 특징점이 선택된다. 그리고 난후, 선택된 각 특징점에 대한 움직임벡터가 결정되는데 이때 각 움직임벡터는 이전 프레임의 하나의 특징점과 현재 프레임의 해당 정합점간의 변위이다. 보다 상세하게, 각각의 특징점에 대한 정합점을 현재 프레임의 탐색영역에서 찾는데 이때 탐색영역은 해당 탐색점의 위치를 포함하는 기설정된 넓이의 영역으로 정의할 수 있다.
한편, 특징점을 선택하는데 있어서, 에지검출 기법과 그리드 기법이 함께 사용하여 특징점을 선택하는 기법에 있어서, 그리드와 이동체의 에지간의 교차점이 특징점으로 선택된다. 여기에서의 특징점 선택은 기존의 특징점을 이용한 영상신호 부호화 방법에서와 같이 각각의 그리드 점(삼각형의 꼭지점을 이루는 점)을 영상의 에지로 이동시키면서 수행된다.
한편, 상술한 바와같은 화소단위 움직임 추정기법에서 움직임 추정에 이용되는 특징점은 주로 물체의 에지부분에 집중되며, 이러한 특징점 추출을 위해서는 먼저 물체의 에지 검출이 수행되어야 하는데, 이러한 에지 검출에 관해서는 현재 상당히 많은 연구가 이루어져 있는 실정이다. 이 기술분야에 잘 알려진 전형적인 에지의 검출방법으로는 구배도(gradient)를 이용하는 방법, 화소 공간에서의 명암도를 면함수로 보고 적당한 면함수에 적합시키는 방법, 2계 비분에 의한 방법, 색깔을 이용하는 방법 등이 있으며, 이러한 방법들중 본 발명은 가장 간단한 에지 검출방법중의 하나인 구배도를 이용한 에지 검출방법에 관련된다.
본 발명에 관련되는 구배도를 이용한 에지 검출에서 에지의 판단은 구배도가 기설정된 임의의 역치값을 초과하는지의 여부에 따른다. 화소 공간에서 구배도를 구하는 방식은 아래의 식으로부터 유추한 다음 구배 마스크를 이용함으로서 얻을 수 있다. 여기에서 사용되는 구배 마스크는 여러 가지로 설정될 수가 있는데 그중에서 흔히 쓰이는 것은 로버트(Robert) 마스크와 소벨(Sovel) 마스크이다. 즉, 물체의 에지 검출을 위해 제7도에 도시된 바와같은 소벨 마스크를 이용하는 경우, x 방향의 구배와 y 방향의 구배를 구한 다음 소벨 마스크를 (x,y) 위치의 화소에 적용함으로서 물체의 에지를 판단, 즉 최종적으로 구해진 구배도의 크기가 기설정된 역치값 보다 큰 경우에 해당 화소(x,y) 는 물체의 에지상의 화소로 간주된다.
이와같이, 3×3 크기의 오퍼레이터를 적용시켜 물체의 에지, 즉 급격한 인텐시티(intensity : gray 값)의 변화가 있는 부분을 구하는 기존의 방법은, 일예로서 제8도에 도시된 바와같이, 적어도 에지의 넓이(width)가 2 이상으로 된다. 따라서, 상술한 바와같은 종래의 방법은 에지의 넓이가 큰, 즉 2 이상의 화소들로 이루어진 에지 데이터에 의거하여 움직임 보상을 위한 특징점을 추출하므로서 영상의 움직임 보상시에 그 정확도가 저하되어 결과적으로 복원 영상에서의 화질열화가 야기될 수 있다. 그러므로, 특징점 추출에 이용되는 물체의 에지는 세선화, 즉 그 넓이를 줄일 필요가 있다.
통상적으로, 물체에 대한 에지의 세선화라는 것은 개념적으로 볼 때 두 가지로 분류할 수가 있다. 그 하나로서는 에지의 검출과정에서의 세선화이고, 다른 하나로서는 골격선 표시과정에서의 세선화이다. 대부분의 에지 검출은 역치값의 설정에 따라 좌우된다. 따라서, 역치값을 너무 적게 설정하는 경우 에지점으로 판별되는 화소들이 많아져 에지가 두껍게 되므로 용도에 따라 적정한 역치값으로 설정할 필요가 있다.
상기한 바와같은 에지선과 관련되는 통상적인 세선화 방안으로서는 아래와 같은 경우가 있다.
1) 역치값을 높여 검출되는 에지점들의 수를 줄이고, 이를 통해 얻어진 에지점들만으로 에지선을 형성하는 방법.
2) 마스크등을 이용하여 구해진 두꺼운 에지선으로부터 에지선 바깥 부분의 에지점들을 하나씩 제거해 나가는 방법.
3) 에지점들에 있어서의 구배 방향을 고려하여 구배 방향과 수직 방향으로의 이웃 에지점들만을 취하는 방법.
따라서, 본 발명의 목적은 상기한 점들을 고려하여 안출한 것으로, 특징점 기반 움직임 보상에 있어서, 움직임 보상의 정확도 개선을 위해 특징점 추출을 위한 에지선을 효과적으로 세선화할 수 있는 특징점 기반 움직임 보상에서의 에지 검출, 세선화 방법 및 장치를 제공하는데 있다.
상기 목적을 달성하기 위한 일관점에 따른 본 발명은, 현재 프레임과 재구성된 이전 프레임간의 특징점 기반 움직임 추정/보상을 위해 영상의 에지를 검출하고, 이 검출된 에지선에 의거하여 움직임 보상을 위한 특징점을 추출하는 영상 부호화 시스템에서 영상의 에지를 검출하고 그 에지선을 세선화하는 방법에 있어서, 상기 재구성된 이전 프레임내의 대상 화소값과 그 주변 8 화소값들과의 인텐시티 차값에 의거하여 최대 오차값을 검출한 다음 이 검출된 최대 오차값을 상기 대상 화소의 에지값으로 설정하여 에지점들로 된 에지선을 검출하는 단계; 상기 검출된 에지선에 대한 에지 데이터를 한 프레임 단위로 저장하는 단계; 상기 각 화소의 에지값과 그 주변 8 에지점들의 에지값들중 적어도 서로 연결된 다수군으로 무리지어진 에지점들의 에지값들에 의거하여 상기 에지선을 이루는 각 에지값의 제거를 결정하는 과정을 상기 에지선을 이루는 모든 에지값에 적용함으로서 상기 검출된 에지선을 세선화하는 단계; 및 상기 재구성된 이전 프레임에서 검출된 상기 세선화된 에지선에서 상기 움직임 추정/보상을 위한 특징점들을 선택하는 단계로 이루어진 특징점 기반 움직임 보상에서의 에지 검출 및 세선화 방법을 제공한다.
상기 목적을 달성하기 위한 다른 관점에 따른 본 발명은, 상기 재구성된 이전 프레임내의 대상 화소값과 그 주변 8 화소값들과의 인텐시티 차값에 의거하여 최대 오차값을 검출한 다음 이 검출된 최대 오차값을 상기 대상 화소의 에지값으로 설정하여 에지점들로 된 에지선을 검출하기 위한 수단; 상기 검출된 에지선에 대한 에지 데이터를 한 프레임 단위로 저장하기 위한 제1메모리 수단; 상기 각 화소의 에지값과 그 주변 8 화소의 에지값들중 적어도 서로 연결된 다수군으로 무리지어진 에지값들과의 차값에 의거하여 상기 에지선을 이루는 각 에지값의 제거를 결정함으로서 상기 검출된 에지선을 세선화하기 위한 수단; 및 상기 움직임 추정/보상을 위한 특징점 추출을 위하여 상기 세선화된 에지선에 대한 에지 데이터를 한 프레임 단위로 저장하기 위한 제2메모리 수단으로 이루어진 특징점 기반 움직임 보상에서의 에지 검출 및 세선화 장치를 제공한다.
본 발명의 상기 및 기타 목적과 여러 가지 장점은 이 기술분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시예로부터 더욱 명확하게 될 것이다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.
제1도는 특징점 기반 움직임 추정/보상을 위한 본 발명에 따른 에지선 세선화 장치를 갖는 전형적인 비디오 신호 부호화 시스템에 대한 블록구성도를 나타낸다. 동도면에 도시된 바와같이, 비디오 신호 부호화 시스템은 제1프레임 메모리(10), 감산기(11), 영상신호 부호화 블록(12), 엔트로피 부호화 블록(13), 버퍼(14), 영상신호 복호화 블록(15), 가산기(16), 제2프레임 메모리(17), 현재 프레임 예측 블록(18)을 포함한다. 여기에서, 본 발명에 실질적으로 관련되는 현재 프레임 예측 블록(18)은 물체의 에지점과 그리드를 이용하여 선택되는 특징점을 의거하여 예측된 현재 프레임 신호를 발생하는 장치로서, 그 세부적인 구성은 제2도에 도시되어 있다.
제1도를 참조하면, 입력되는 현재 프레임 신호는 제1프레임 메모리(10)에 저장된 다음 라인 L11 및 L10을 통해 감산기(11)와 현재 프레임 예측 블록(18)에 각각 제공된다.
먼저, 현재 프레임 예측 블록(18)에서는 제1 프레임 메모리(10)로부터 제공되는 라인 L10상의 현재 프레임 신호와 제2프레임 메모리(17)로부터 제공되는 라인 L14상의 재구성된 이전 프레임 신호에 기초하여 특징점 기반 움직임 보상등을 통해 화소단위로 현재 프레임을 예측한 다음 라인 L15상에 예측된 현재 프레임 신호를 발생하여 상술한 감산기(11)와 가산기(16)에 각각 제공하며, 또한 라인 L16 상에 선택되는 특징점에 대한 움직임벡터들의 세트를 발생하여 엔트로피 부호화 블록(13)에 제공한다.
상술하면, 현재 프레임 예측 블록(18)에서는 라인 L14를 통해 제공되는 제2프레임 메모리(17)로 부터의 이전 프레임 신호에서 검출되는 에지 데이터와 움직임 영역에 상응하여 형성되는 그리드에 의거하여 움직임 영역에서의 특징점들을 선택한다. 이때, 이 기술분야에 잘 알려진 에지검출 기법과 그리드 기법이 함께 사용되는 경우에는 그리드와 이동체의 에지간의 교차점이 특징점으로 선택된다. 여기에서의 특징점 선택은 기존의 특징점을 이용한 영상신호 부호와 방법에서와 같이 각각의 그리드 점(삼각형의 꼭지점을 이루는 점)을 영상의 에지로 이동시키면서 수행된다. 이러한 현재 프레임 예측 블록(18)의 상세한 설명은 제2도 및 제3도를 참조하여 후에 상세히 기술될 것이다.
따라서, 현재 프레임 예측 블록(18)에서는 선택된 특징점 정보에 의거하여 선택된 각 특징점에 대한 특징점 움직임벡터들의 세트를 검출한다. 여기에서, 검출되는 각각의 특징점 움직임벡터 세트들은 라인 L14를 통해 제2프레임 메모리(17)에서 제공되는 이전 프레임의 특징점과 라인 L10을 통해 제1프레임 메모리(10)에서 제공되는 현재 프레임에서 가장 유사한 화소간의 변위이다. 또한, 현재 프레임 예측 블록(18)은 라인 L16상에 각각의 특징점에 대한 움직임벡터들의 세트를 발생하여 엔트로피 부호화 블록(13)에 제공한다.
그런다음, 현재 프레임 예측 블록(18)에서는 선택된 특징점과 이들을 이용해 검출되는 각각의 특징점 움직임벡터들의 세트를 이용하여 예측하고나 하는 현재 프레임에 포함될 화소값을 라인 L14 상의 재구성된 이전 프레임으로부터 인출하여, 화소단위로 현재 프레임을 예측한 다음 라인 L15상에 예측된 현재 프레임 신호를 발생하여 감산기(12)와 가산기(16)에 각각 제공한다.
제1도를 참조하면, 감산기(11)에서는 라인 L11을 통해 제1프레임 메모리(10)에서 제공되는 현재 프레임 신호로부터 라인 L15를 통해 상술한 현재 프레임 예측 블록(18)으로부터 제공되는 예측된 현재 프레임 신호를 감산하며, 그 결과 데이터, 즉 차분화소값을 나타내는 에러신호는 영상신호 부호화 블록(12)을 통해 이산 코사인 변환(DCT)과 이 기술분야에서 잘 알려진 양자와 방법들중의 어느 하나를 이용함으로서, 일련의 양자화된 변환계수들로 부호화된다. 이때, 영상신호 부호화 블록(12)에서의 에러신호에 대한 양자화는 출력측의 버퍼(14)로 부터의 데이터 충만도(QP)에 의거하여 그 스텝사이즈가 조절된다.
그런다음, 이와같이 양자화된 변환계수들은 엔트로피 부호화 블록(13)과 영상신호 복호화 블록(15)으로 각각 보내진다. 여기에서, 엔트로피 부호화 블록(13)에 제공된 양자화된 변환계수들은, 예를들면 가변길이 부호화 기법등을 통해 부호화되어 출력측의 버퍼(14)에 제공되며, 이와같이 부호화된 영상신호는 수신측으로의 전송을 위해 전송기(도시생략)로 전달된다.
한편, 영상신호 부호화 블록(12)으로부터 영상신호 복호화 블록(15)에 제공되는 양자화된 변환계수들은 역양자화 및 역이산 코사인 변환을 통해 다시 재구성된 프레임 신호로 변환된 다음, 가산기(16)에 제공되며, 가산기(16)에서는 영상신호 복화 블록(15)으로 부터의 재구성된 프레임 신호와 전술한 현재 프레임 예측 블록(18)으로부터 제공되는 예측된 현재 프레임신호를 가산하여 재구성된 이전 프레임 신호를 생성하며, 이와같이 재구성된 이전 프레임신호는 제2프레임 메모리(17)에 저장된다. 따라서, 이러한 경로를 통해 부호화 처리되는 매 프레임에 대한 바로 이전 프레임 신호가 계속적으로 갱신되며, 이와같이 갱신된 이전 프레임 신호는 움직임 보상을 위해 전술한 현재 프레임 예측 블록(18)으로 제공된다.
제2도에는 제1도에 도시된 현재 프레임 예측 블록(18)에 대한 상세한 블록구성도가 도시되어 있다. 동도면에 도시된 바와같이, 본 발명에 따른 현재 프레임 예측 블록(18)은 에지 검출 및 세선화 블록(182), 특징점 선택 블록(184), 움직임 추정 블록(186) 및 움직임 보상 블록(188)을 포함한다.
제2도에 있어서, 에지 검출 및 세선화 블록(182)은, 본 발명에서 가장 핵심적이고 특징적인 기술부분으로서, 라인 L14를 통해 제1도의 제2프레임 메모리(17)로부터 제공되는 재구성된 이전 프레임 신호에 대해, 예를들면, 전술한 소벨 오퍼레이터에서와 같이 3×3 크기의 오퍼레이터를 적용시켜 물체의 에지, 즉 급격한 인텐시티(intensity : gray 값)의 변화가 있는 부분을 구하여 물체의 에지선을 검출한 다음 그 에지선의 넓이를 세선화하는 것으로, 검출된 에지선을 세선화(에지의 두께가 하나의 화소로 된 에지선)하는 것에 대한 구체적인 설명은 첨부된 제3도를 참조하여 후에 상세하게 기술될 것이다.
한편, 특징점 선택 브럭(184)에서는 상기한 에지 검출 및 세선화 블록(182)으로부터 제공되는 에지 데이터(제1도의 제2프레임 메모리(17)로 부터의 재구성된 이전 프레임의 에지 데이터)와 그리드에 의거하여 에지선에 대한 특징점들을 선택한다. 여기에서, 에지검출 기법과 그리드 기법이 함께 사용되는 경우에는 그리드와 이동체의 에지간의 교차점이 특징점으로 선택된다. 여기에서의 특징점 선택은 기존의 특징점을 이용한 영상신호 부호화 방법에서와 같이 각각의 그리드 점(삼각형의 꼭지점을 이루는 점)을 영상의 에지로 이동시키면서 수행되며, 이때 각 그리드가 꼬이지 않게 하고, 또한 삼각형이 매우 작거나 한점으로 모이지 않게 주의할 필요가 있다.
다른한편, 움직임 추정 블록(186)에서는 특징점 선택 블록(184)으로부터 제공되는 선택된 특징점 정보에 의거하여 선택된 각 특징점들에 대한 특징점 움직임벡터들의 세트를 검출한다. 여기에서, 검출되는 각각의 특징점 움직임벡터 세트들은 라인 L14를 통해 제2프레임 메모리(17)에서 제공되는 이전 프레임의 특징점과 라인 L10을 통해 제1프레임 메모리(10)에서 제공되는 현재 프레임에서 가장 유사한 화소간의 변위를 나타낸다. 또한, 움직임 추정 블록(186)은 이동 물체를 갖는 블록들에서의 각각의 특징점에 대한 움직임벡터들의 세트를 라인 L16 상에 발생하여 제1도의 엔트로피 부호화 블록(13)에 제공한다.
다음에, 움직임 보상 블록(188)에서는 상기한 특징점 선택블럭(184)으로부터 제공되는 선택된 특징점과 움직임 추정 블록(186)으로부터 제공되는 각각의 특징점 움직임벡터들의 세트를 이용하여 예측하고자 하는 현재 프레임에 포함될 화소값을 라인 L14 상의 재구성된 이전 프레임으로부터 인출하여, 화소단위로 현재 프레임을 예측한 다음 라인 L15 상에 예측된 현재 프레임 신호를 발생하여 감산기(12)와 가산기(16)에 각각 제공한다.
상술한 바와같이 특징점을 이용하여 움직임 보상을 수행하는 방법은 본 출원인에 의해 1995년 3월 20일에 대한민국 특허출원 제 95-5868 호로서 출원되어 현재 계류중인 비디오 신호 부호화 장치에 상세하게 개시되어 있다. 이 방법에서는 직각 그리드 또한 육각 그리드와 같은 여러 가지 형태의 그리드를 이용하는 그리드 기법에 의해 특징점을 결정하거나 또는 에지 검출과 그리드 기법을 함께 사용하여 특징점을 결정한다. 이때, 전자의 경우에는 그리드의 노드에 특징점이 위치하게 되고, 후자의 경우에는 그리드와 에지와의 교차점이 특징점으로 선택된다.
제3도는 제2도에 도시된 에치 검출 및 세선화 블록(182)에 대한 세부적인 블록구성도를 나타낸다. 동도면에 도시된 바와같이, 본 발명의 바람직한 실시예에 따른 에지 검출 및 세선화 장치는 제1레지스터(1821), 감산기(1822), 제1비교기(1823), 제2레지스터(1824), 제3프레임 메모리(1825), 세선화 블록(1826) 및 제4프레임 메모리(1827)를 포함한다. 또한, 제3도에서 점선으로 블록화된 세선화 블록(1826)은 레지스터군(1826-1), 4개의 오퍼레이터(OP1 내지 OP4), 4 입력 노아 게이트(NOR), 앤드 게이트(AND) 및 제2비교기(1826-2)를 포함한다.
상기한 구성부재로 이루어진 본 발명에 따른 장치에 있어서, 본 발명의 방법에 의해 검출되어 에지선을 이루는 부분은 실질적으로 에지선을 이루는 화소군중에서 경사(급격한 인텐시티의 변화부분)의 윗부분을 차지하는 화소값들이 된다. 즉, 에지선으로서의 고려대상인 화소의 크기를 I(x,y)라 하고, 이 대상 화소 바로 주위의 8 화소들을 I(x+i, y+j)라 하면, 아래의 식과 같이 대상 화소 I(x,y)와 주변 화소들간의 인텐시티(intensity) 차이중 가장 큰 값을 그 위치의 에지값으로 선택한다. 여기에서 에지의 최저값은 0이다.
Edge(x,y) = I(x,y) - I(x+i, y+j)
(여기에서, -1≤i, j≤1 임)
일예로서, 급격한 인텐시티의 변화에 의해 검출된 에지선에 대하여 중심 화소값과 주변 8 화소값들이 제4a도에 도시된 바와같은 경우, 본 발명의 오퍼레이터를 적용하면 고려대상인 100의 값을 갖는 중심 에지의 차값은, 제4b도에서 40이 될 것이다. 따라서, 본 발명은 일차적으로 이러한 오퍼레이타를 고려대상의 각 화소들에 적용함으로서 전체 영상의 에지선을 검출하게 된다. 여기에서, 검출되는 에지선의 각 화소값들은 0에서 255범위의 값을 갖게 될 것이다.
한편, 상기한 오퍼레이터를 적용하여 검출된 에지선을 본 발명에 따라 세선화하는 방법은 전술한 기존기술에서와 같이 에지의 검출시에 단순히 에지부분 전체를 에지선으로 선택하는 것이 아니라 에지의 넓이를 작게 하기 위하여 여러개의 오퍼레이터, 예를들면 제5도에 도시된 바와같이, 고려대상 화소의 주변 8 화소들에 3×3 으로 된 4개의 오퍼레이터를 적용하여 검출된 에지선의 세선화를 수행한다.
상술한 바와같이, 영상의 에지를 검출하고 또한 이 검출된 에지선을 세선화하는 본 발명의 바람직한 실시예에 대하여 제3도를 참조하여 상세하게 설명한다.
제3도를 참조하면, 라인 L14를 통해 제1도의 제2프레임 메모리(17)로부터 제공되는 프레임 신호에서 에지선으로서의 고려대상인 중심 화소값은 제1레지스터(1821)에 저장된 다음 감산기(1822)로 입력되고, 고려대상인 중심 화소의 주변 8 화소값들은 제1레지스터(1821)를 경유하지 않고 순차적으로 바로 감산기(1822)로 입력된다. 일예로서, 제4c도에 도시된 바와같은 경우, 대상 화소인 1번 화소값은 제1레지스터(1821)를 경유하여 감산기(1822)로 입력되고 주변 화소값들은 2번부터 9번 까지 순차적으로 바로 감산기(1822)로 입력된다.
한편, 감산기(1822)에서는 제1레지스터(1821)로부터 제공된 중심 화소값과 순차적으로 입력되는 각 주변 화소값들을 각각 감산한 다음 그 감산된 각 화소의 인텐시티 차값들을 순차적으로 비교기(1823)에 제공한다. 즉, 제4a도 및 제4b도에 일예로서 도시된 바와같이, 감산기(1822)는 대상 화소인 1번 화소값에서 2번 내지 9번의 주변 8 화소값들을 각각 감산하여 인텐시티의 차이값을 구한 다음 순차적으로 다음단의 제1비교기(1823)로 출력한다.
다음에, 제1비교기(1823)에서는 현재 입력된 차이값과 바로 다음에 들어올 차이값의 크기(인텐시티의 차)를 비교하여 두 값중 그 차이값이 큰 값을 출력하여 다음단의 제2레지스터(1824)에 저장한다. 이때, 제2레지스터(1824)의 출력은 제3프레임 메모리(1825)에 연결됨과 동시에 분기되어 상술한 제1비교기(1823)의 일측입력에 연결된다. 즉, 제2레지스터(1824)의 각 출력신호(차이값)는 연속적으로 제1비교기(1823)로 피드백된다.
상술하면, 일예로서 제4c도에 도시된 바와같은 경우 제1비교기(1823)에서는 감산기(1822)로부터 2번의 차이값이 들어오면 이를 제2레지스터(1824)에 저장하고, 이어서 3번의 차이값이 들어오면 이 값과 제2레지스터(1824)에서 피드백되어 들어오는 2번의 차이값을 비교하여 그 값이 큰, 인텐시티의 차가 큰 값을 제2레지스터(1824)에 저장한다. 이와같이 제1비교기(1823)는 연속적으로 대상 화소의 주변 8 화소에 대한 인텐시티차를 비교한 다음 그 중에서 인텐시티의 차가 가장 큰 값을 최종적으로 제2레지스터(1824)에 저장하며, 이 값을 대상 화소(중심 화소)의 에지값(제4b도의 경우 에지값은 40이 됨)으로 설정되어 제3프레임 메모리(1825)에 저장된다. 따라서, 이러한 과정을 통해 제1도의 제2프레임 메모리(17)로부터 제공되는 재구성된 이전 프레임 전체에 대한 에지가 검출되며, 이와같이 검출된 에지 데이타는 다음 처리를 위해 제3프레임 메모리(1825)에 저장된다.
다음에, 상술한 바와같이 본 발명에 따라 검출되어 제3프레임 메모리(1825)에 저장된 에지 데이터는 에지선의 세선화를 위해 다음단의 세선화 블록(1826)에 제공된다.
먼저, 제3프레임 메모리(1825)로부터 출력되어 여러개의 레지스터 세트들로 된 레지스터군(1826-1)에 입력된 대상 화소의 인텐시티 차값과 그 주변 8 화소의 인텐시티 차값들에 대한 에지 데이터들은 다음단의 제2비교기(1826-2)와 4개의 오퍼레이터(OP1-OP4)로 각각 입력된다. 여기에서 각 오퍼레이터들중 제1오퍼레이터(OP1)는 제5a도에 도시된 바와같고, 제2오퍼레이터(OP2)는 제5b도에 도시된 바와같으며, 제3오퍼레이터(OP3)는 제5c도에 도시된 바와같고, 제4오퍼레이터(OP4)는 제5d도에 도시된 바와같다. 제5도에 있어서, 참조부호 a는 제거 여부의 결정을 위한 고려대상인 중심 화소를 나타내고, b는 그 주변의 3 화소들을 나타낸다.
상술하면, 레지스터군(1826-1)에서 출력되는 대상 화소(중심 화소)의 인텐시티 차값은 제2비교기(1826-2)로 입력되고, 일예로서 제4c도에 도시된 1번의 중심 화소의 에지값과 2,3,5번의 주변 화소의 에지값은 제1오퍼레이터(OP1)에 입력되며, 1번의 중심 화소의 에지값과 3,4,6번의 주변 화소의 에지값은 제2오퍼레이터(OP2)에 입력되고, 1번의 중심 화소의 에지값과 6,8,9 번의 주변 화소의 에지값은 제3오퍼레이터(OP3)에 입력되며, 1번의 중심 화소의 에지값과 5,7,8번의 주변 화소의 에지값은 제4오퍼레이터(OP4)에 입력된다.
그런다음, 각 오퍼레이터에서는 주변 3 화소의 에지값들 모두가 중심의 에지값 보다 크면 그 중심 에지값을 0으로 하기 위하여 논리 1 값을 출력하고, 반대의 경우에는 0 값을 출력한다. 즉, 해당 중심 에지가 에지선의 중심을 이루는 부분이 아니라고 간주하여 해당 에지값을 제거하는 것이다.
한편, 각 오퍼레이터의 출력은 노아 게이터(NOR)의 입력에 연결된다. 따라서 상기한 각 오퍼레이터중의 어느 하나만이라도 조건이 충족되면, 즉 하나의 오퍼레이터에서라도 논리 1값이 출력되면 해당 중심 에지값은 제거되는 것이다. 따라서, 상기한 오퍼레이터중 하나만이라도 조건이 충족되어 논리 1 값을 출력하는 경우 노아 게이트(NOR)의 출력은 논리 1값이 되며, 이 값은 앤드 게이트(AND)의 일측 입력으로 연결된다.
다른한편, 제2비교기(1926-2)에서는 레지스터군(1826-1)으로부터 입력되는 해당 대상 화소의 에지값을 체크하여 그 값이 기설정된 6 보다 크면 논리 1 값을 앤드 게이트(AND)의 타측 입력에 제공하고, 해당 대상 화소의 에지값이 1 보다 작으면 논리 1 값을 앤드 게이트(AND)의 타측 입력에 제공한다. 여기에서, 비교를 위한 기준값을 6으로 하는 이유는 영상에서의 노이즈 성분을 제거하기 위해서이며, 통상적으로 임계값으로는 6 정도가 바람직하다. 따라서, 본 발명에 따르면, 중심 화소의 에지값이 기설정된 값 6 보다 크고, 각 오퍼레이터의 조건에 해당되지 않는 화소의 에지값만이 에지선으로서 선택되고, 이와같이 선택된 세선화된 에지선은 다음단에서의 처리를 위해 제4프레임 메모리(1827)에 저장된 다음 특징점 추출을 위해 제2도의 특징점 선택블럭(184)으로 제공된다.
일예로서, 제6a도에 도시된 바와같은 형태의 에지선이 본 발명에 따라 영상에서 검출되고, 각 에지점의 값이 동도의 b에 도시된 바와같은 크기를 갖는 것으로 가정한다.
따라서, a1 내지 a4 화소의 에지값은 4개의 오퍼레이터의 어느 조건도 충족되지 않으므로 제거되지 않고 그대로 유지되며, 7 값을 갖는 a6 화소의 에지값은 제1오퍼레이터(OP1)의 조건이 충족되어 제거된다. 마찬가지로, 8 값을 갖는 a 화소의 에지값은 제2오퍼레이터(OP2)의 조건, 6 값을 갖는 a8 화소의 에지값은 제3오퍼레이터(OP3)의 조건, 5 값을 갖는 a11 화소의 에지값은 제3오퍼레이터(OP3)의 조건, 4 값을 갖는 a16 화소의 에지값은 제1오퍼레이터(OP1)의 조건 및 제4오퍼레이터(OP4)의 조건, 7 값을 갖는 a20 화소의 에지값은 제1오퍼레이터(OP1)의 조건, 5 값을 갖는 a21 화소의 에지값은 제4오퍼레이터(OP4)의 조건, 6 값을 갖는 a22 화소의 에지값은 제2오퍼레이터(OP2)의 조건, 6 값을 갖는 a25 화소의 에지값은 제2오퍼레이터(OP2)의 조건이 각각 충족되어 제거된다. 그 결과, 본 발명에 따른 오퍼레이팅을 수행함으로서 보다 세선화된 에지선을 얻을 수가 있다.
그 결과, 특징점 선택 블록(184)에서는 상술한 바와 같은 에지검출 및 세선화 블록(182)으로부터 제공되는 제1도의 제2프레임 메모리(17)로 부터의 재구성된 이전 프레임의 세선화된 에지선에서 움직임 추정 보상을 위한 특징점 추출을 수행하게 된다.
따라서, 움직임 추정 블록(186)과 움직임 보상 블록(188)에서는 상기한 특징점 선택 블록(184)으로부터 제공되는 선택된 특징점 정보에 의거하여 선택된 각 특징점에 대한 특징점 움직임벡터들의 세트를 검출하며, 각각의 특징점 움직임벡터들의 세트를 이용하여 예측하고자 하는 현재 프레임에 포함될 화소값을 라인 L14 상의 재구성된 이전 프레임으로부터 인출하여, 화소단위로 현재 프레임을 예측한 다음 라인 L15 상에 예측된 현재 프레임 신호를 발생하여 제1도의 감산기(12)와 가산기(17)에 각각 제공한다.
이상과 같이 본 발명에 따르면, 특징점 기반 움직임 보상에서 특징점 추출을 위한 에지선을 효과적으로 세선화할 수 있어, 불필요한 데이터의 발생을 억제함으로서 결과적으로 특징점 기반 움직임 보상 영상의 부호화 효율을 향상 시킬 수 있다.
Claims (13)
- 현재 프레임과 재구성된 이전 프레임간의 특징점 기반 움직임 추정/보상을 위해 영상의 에지를 검출하고, 이 검출된 에지선에 의거하여 움직임 보상을 위한 특징점을 추출하는 영상 부호화 시스템에서 영상의 에지를 검출하고 그 에지선을 세선화하는 방법에 있어서, 상기 재구성된 이전 프레임내의 대상 화소값과 그 주변 8 화소값들과의 인텐시티 차값에 의거하여 최대 오차값을 검출한 다음 이 검출된 최대 오차값을 상기 대상 화소의 에지값을 설정하여 에지점들로 된 에지선을 검출하는 단계; 상기 검출된 에지선에 대한 에지 데이터를 한 프레임 단위로 저장하는 단계; 상기 각 화소의 에지값과 그 주변 8 에지점들의 에지값들중 적어도 서로 연결된 다수군으로 무리지어진 에지점들의 에지값들에 의거하여 상기 에지선을 이루는 각 에지값의 제거를 결정하는 과정을 상기 에지선을 이루는 모든 에지값에 적용함으로서 상기 검출된 에지선을 세선화하는 단계; 및 상기 재구성된 이전 프레임에서 검출된 상기 세선화된 에지선에서 상기 움직임 추정/보상을 위한 특징점들을 선택하는 단계로 이루어진 특징점 기반 움직임 보상에서의 에지 검출 및 세선화 방법.
- 제1항에 있어서, 상기 에지선 검출단계는, 상기 대상 화소값과, 그 주변 8 화소값들을 각각 감산하여 각 화소값들에 대한 각각의 인텐시티 차값들을 산출하는 단계; 상기 산출된 각각의 인텐시티 차값들에 대하여 현재 입력 차값과 바로 이어지는 다음 차값을 비교하여 인텐시티 오차값이 큰 오차값을 결정하는 단계; 상기 결정된 큰 차값과 다음에 이어지는 차값과의 비교를 통해 새로운 큰 차값을 결정하는 단계; 상기 주변 화소들에 대한 인텐시티 차값들에 대하여 상기 새로운 큰 차값결정 단계를 반복 수행함으로서 최대 오차값을 결정하여 상기 대상 화소의 에지값으로 설정하는 단계로 된 것을 특징으로 하는 특징점 기반 움직임 보상에서의 에지 검출 및 세선화 방법.
- 제1항에 있어서, 상기 에지선 세선화 단계는, 상기 검출된 각 에지값들과 기설정된 임계값을 비교함으로서 노이즈 성분에 대한 에지값을 제거하는 단계를 더 포함하는 것을 특징으로 하는 특징점 기반 움직임 보상에서의 에지 검출 및 세선화 방법.
- 제3항에 있어서, 상기 노이즈 성분의 제거를 위해 기설정되는 상기 임계값은 6인 것을 특징으로 하는 특징점 기반 움직임 보상에서의 에지 검출 및 세선화 방법.
- 제1항, 제3항 또는 제4항에 있어서, 상기 에지선 세선화 단계는, 상기 에지선중 대상 화소에 대한 에지값과 그 주변 8 화소에 대한 에지값을 레지스터군에 저장하는 단계; 상기 저장된 대상 화소의 에지값과 서로 연결된 제1의 주변 화소의 에지점군 각각의 에지값을 비교하여 소정의 설정조건을 체크하는 단계; 상기 대상 화소의 에지값과 적어도 하나의 주변 에지점이 상기 제1의 주변 에지점군중의 하나에 포함되는 제2의 주변 에지점군 각각의 에지값을 비교하여 소정의 설정조건을 체크하는 단계; 상기 대상 화소의 에지값과 적어도 하나의 주변 에지점이 상기 제2의 주변 에지점군중의 하나에 포함되는 제3의 주변 에지점군 각각의 에지값을 비교하여 소정의 설정조건을 체크하는 단계; 상기 대상 화소의 에지값과 적어도 하나의 주변 에지점이 상기 제3의 주변 에지점중의 하나에 포함되는 제4의 주변 에지점군 각각의 에지값을 비교하여 소정의 설정조건을 체크하는 단계; 상기 각 설정조건중의 어느 하나라도 충족되면 상기 대상 화소의 에지값을 0으로 결정하는 단계; 및 상기 에지선을 이루는 각 에지점들에 대하여 상기 각 단계를 모두 수행함으로서 상기 에지선을 세선화하는 단계로 이루어진 것을 특징으로 하는 특징점 기반 움직임 보상에서의 에지 검출 및 세선화 방법.
- 제5항에 있어서, 상기 각각의 설정조건은 상기 각 에지점군을 이루는 각각의 에지값이 상기 대상 화소의 에지값 보다 큰 경우 상기 대상 화소의 에지값을 0으로 결정하도록 설정된 것을 특징으로 하는 특징점 기반 움직임 보상에서의 에지 검출 및 세선화 방법.
- 현재 프레임과 재구성된 이전 프레임간의 특징점 기반 움직임 추정/보상을 위해 영상의 에지를 검출하고, 이 검출된 에지선에 의거하여 움직임 보상을 위한 특징점을 추출하는 영상 부호화 시스템에서 영상의 에지를 검출하고 그 에지선을 세선화하는 장치에 있어서, 상기 재구성된 이전 프레임내의 대상 화소값과 그 주변 8 화소값들과의 인텐시티 차값에 의거하여 최대 오차값을 검출한 다음 이 검출된 최대 오차값을 상기 대상 화소의 에지값으로 설정하여 에지점들로 된 에지선을 검출하기 위한 수단(1821, 1822, 1823, 1824); 상기 검출된 에지선에 대한 에지 데이터를 한 프레임 단위로 저장하기 위한 제1메모리 수단(1825); 상기 각 화소의 에지값과 그 주변 8 화소의 에지값들중 적어도 서로 연결된 다수군으로 무리지어진 에지값들과의 차값에 의거하여 상기 에지선을 이루는 각 에지값의 제거를 결정함으로서 상기 검출된 에지선을 세선화하기 위한 수단(1826); 및 상기 움직임 추정/보상을 위한 특징점 추출을 위하여 상기 세선화된 에지선에 대한 에지 데이터를 한 프레임 단위로 저장하기 위한 제2메모리 수단(1827)으로 이루어진 특징점 기반 움직임 보상에서의 에지 검출 및 세선화 장치.
- 제7항에 있어서, 상기 에지선 검출수단은, 상기 대상 화소값을 저장하는 제1레지스터; 상기 제1레지스터로 부터의 상기 대상 화소값과 그 주변 8 화소값들과의 각각의 감산을 통해 8개의 인텐시티 차값을 산출하는 감산기; 상기 산출되는 각각의 인텐시티 차값들에 대하여 현재 입력 차값과 바로 이어지는 다음 차값을 크기를 비교하기 위한 비교기; 상기 비교기로부터 출력되는 인텐시니 오차값이 큰 차값을 저장하고, 상기 주변 8 화소값들의 인텐시티 차값의 최대 오차값이 검출될 때까지 상기 큰 오차값을 상기 비교기에 피드백하는 제2레지스터; 상기 검출된 최대 오차값을 상기 대상 화소의 에지값으로 결정하여 검출되는 에지선에 대한 에지 데이터를 저장하기 위한 프레임 메모리로 구성된 것을 특징으로 하는 특징점 기반 움직임 보상에서의 에지 검출 및 세선화 장치.
- 제7항에 있어서, 상기 에지선 세선화 수단은, 레지스터 세트로 구성되어 상기 에지선중 하나의 대상 화소의 에지값과 그 주변 8 화소의 에지값들을 저장하기 위한 레지스터군; 상기 레지스터군으로부터 제공되는 상기 대상 화소의 에지값이 정수값인지를 체크하여 그 체크결과에 상응하는 제1의 논리신호를 발생하는 비교기; 상기 에지선의 세선화를 위해 상기 레지스터군으로부터 제공되는 상기 대상 화소의 에지값과 그 주변 8 화소의 에지값들중 서로가 하나의 중첩되는 값을 갖는 다수의 에지군과의 오퍼레이팅을 수행하여 각 설정조건에 상응하는 각각의 제2의 논리신호를 발생하는 오퍼레이터군; 상기 비교기로 부터의 제1의 논리신호와 상기 오퍼레이터군으로 부터의 제2의 논리신호에 의거하여 상기 대상 화소의 에지값 제거를 결정하는 제3의 논리신호를 발생하는 논리수단; 상기 논리수단으로 부터의 제3의 논리신호에 상응하여 세선화된 에지선에 대한 에지 데이터를 저장하기 위한 프레임 메모리로 구성된 것을 특징으로 하는 특징점 기반 움직임 보상에서의 에지 검출 및 세선화 장치.
- 제9항에 있어서, 상기 비교기는 노이즈 성분의제거를 위해 기설정된 소정의 임계값을 가지며, 상기 대상 화소의 에지값이 상기 임계값 보다 큰 경우 정의 논리신호를 발생하는 것을 특징으로 특징점 기반 움직임 보상에서의 에지 검출 및 세선화 장치.
- 제9항에 있어서, 상기 오퍼레이터군은 각 설정조건에 따라 상기 대상 화소의 에지값과 주변 8 화소의 에지점들중 주변 3 에지점의 에지값들과의 오퍼레이팅을 각각 수행하는 4개의 오퍼레이터로 구성된 것을 특징으로 하는 특징점 기반 움직임 보상에서의 에지 검출 및 세선화 장치.
- 제11항에 있어서, 상기 각각의 오퍼레이터의 각 설정조건은 상기 주변 3 에지점들의 각각의 에지값이 상기 대상 화소의 에지값 보다 모두 큰 경우 상기 대상 화소의 에지값을 0으로 결정하기 위한 논리신호를 발생하는 것을 특지으로 하는 특징점 기반 움직임 보상에서의 에지 검출 및 세선화 장치.
- 제9항, 제11항 또는 제12항에 있어서, 상기 논리수단은, 상기 오퍼레이터군으로 부터의 제2의 논리신호군을 입력으로 하는 노아 게이트와, 상기 비교기로 부터의 제1의 논리신호를 일측 입력으로 하고 상기 노아 게이트로 부터의 논리신호를 타측 입력으로 하여 그에 상응하는 상기 제3의 논리신호를 발생하는 앤드 게이트로 구성된 것을 특징으로 하는 특징점 기반 움직임 보상에서의 에지 검출 및 세선화 장치.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019950018649A KR0174454B1 (ko) | 1995-06-30 | 1995-06-30 | 특징점 기반 움직임 보상에서의 에지 검출, 세선화 방법 및 장치 |
| US08/518,411 US5650828A (en) | 1995-06-30 | 1995-08-23 | Method and apparatus for detecting and thinning a contour image of objects |
| JP24527195A JP4049831B2 (ja) | 1995-06-30 | 1995-08-29 | 客体の輪郭映像検知／細線化装置及びその方法 |
| CNB951166913A CN1162005C (zh) | 1995-06-30 | 1995-08-31 | 检测及修细目标的轮廓图象的方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019950018649A KR0174454B1 (ko) | 1995-06-30 | 1995-06-30 | 특징점 기반 움직임 보상에서의 에지 검출, 세선화 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR970004890A KR970004890A (ko) | 1997-01-29 |
| KR0174454B1 true KR0174454B1 (ko) | 1999-03-20 |
Family
ID=19419096
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019950018649A KR0174454B1 (ko) | 1995-06-30 | 1995-06-30 | 특징점 기반 움직임 보상에서의 에지 검출, 세선화 방법 및 장치 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5650828A (ko) |
| JP (1) | JP4049831B2 (ko) |
| KR (1) | KR0174454B1 (ko) |
| CN (1) | CN1162005C (ko) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100235343B1 (ko) * | 1994-12-29 | 1999-12-15 | 전주범 | 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치 |
| JP3341549B2 (ja) * | 1995-11-14 | 2002-11-05 | ミノルタ株式会社 | ３次元形状データ処理装置 |
| US5764283A (en) * | 1995-12-29 | 1998-06-09 | Lucent Technologies Inc. | Method and apparatus for tracking moving objects in real time using contours of the objects and feature paths |
| US6658145B1 (en) * | 1997-12-31 | 2003-12-02 | Cognex Corporation | Fast high-accuracy multi-dimensional pattern inspection |
| US7016539B1 (en) | 1998-07-13 | 2006-03-21 | Cognex Corporation | Method for fast, robust, multi-dimensional pattern recognition |
| WO2000057631A1 (fr) * | 1999-03-24 | 2000-09-28 | Matsushita Electric Industrial Co., Ltd. | Dispositif de traitement d'images et procede de traitement associe |
| US7171028B2 (en) * | 2002-11-22 | 2007-01-30 | The Boeing Company | Method and apparatus for covertly determining the rate of relative motion between two objects |
| WO2004056087A1 (en) * | 2002-12-18 | 2004-07-01 | Koninklijke Philips Electronics N.V. | Method and apparatus for generating thin lines in video images |
| US7190834B2 (en) | 2003-07-22 | 2007-03-13 | Cognex Technology And Investment Corporation | Methods for finding and characterizing a deformed pattern in an image |
| US8081820B2 (en) | 2003-07-22 | 2011-12-20 | Cognex Technology And Investment Corporation | Method for partitioning a pattern into optimized sub-patterns |
| US20060221240A1 (en) * | 2003-12-10 | 2006-10-05 | Koninklijke Philips Electronics N.V. | Method and apparatus for generating thin lines in video images |
| CN1707477B (zh) * | 2004-05-31 | 2011-08-17 | 株式会社东芝 | 组信息生成系统和组信息生成方法 |
| US8437502B1 (en) | 2004-09-25 | 2013-05-07 | Cognex Technology And Investment Corporation | General pose refinement and tracking tool |
| US20070040065A1 (en) * | 2005-08-19 | 2007-02-22 | Von Thal German | Flexible refueling boom extendable tube |
| US8132759B2 (en) * | 2007-03-21 | 2012-03-13 | The Boeing Company | System and method for facilitating aerial refueling |
| US7959110B2 (en) * | 2007-04-11 | 2011-06-14 | The Boeing Company | Methods and apparatus for resisting torsional loads in aerial refueling booms |
| US8036468B2 (en) * | 2007-12-24 | 2011-10-11 | Microsoft Corporation | Invariant visual scene and object recognition |
| US8358830B2 (en) * | 2010-03-26 | 2013-01-22 | The Boeing Company | Method for detecting optical defects in transparencies |
| US8942917B2 (en) | 2011-02-14 | 2015-01-27 | Microsoft Corporation | Change invariant scene recognition by an agent |
| KR101793283B1 (ko) * | 2011-04-20 | 2017-11-02 | 엘지디스플레이 주식회사 | 재깅 개선방법과 이를 이용한 입체영상 표시장치 |
| CN102707879A (zh) * | 2012-04-17 | 2012-10-03 | 上海量明科技发展有限公司 | 选择截图区域图像轮廓的方法、客户端及系统 |
| US9679224B2 (en) | 2013-06-28 | 2017-06-13 | Cognex Corporation | Semi-supervised method for training multiple pattern recognition and registration tool models |
| WO2017011798A1 (en) * | 2015-07-16 | 2017-01-19 | Vizio Inscape Technologies, Llc | Detection of common media segments |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB1171627A (en) * | 1966-10-07 | 1969-11-26 | Post Office | Improvements in or relating to Character Recognition Machines |
| US4574357A (en) * | 1984-02-21 | 1986-03-04 | Pitney Bowes Inc. | Real time character thinning system |
| KR940007346B1 (ko) * | 1991-03-28 | 1994-08-13 | 삼성전자 주식회사 | 화상 처리 시스템의 엣지 검출 장치 |
| US5335298A (en) * | 1991-08-19 | 1994-08-02 | The United States Of America As Represented By The Secretary Of The Army | Automated extraction of airport runway patterns from radar imagery |
| KR0149517B1 (ko) * | 1992-07-18 | 1998-10-15 | 강진구 | 에지 검출과 노이즈 제거를 위한 다단식 비선형 필터 |
-
1995
- 1995-06-30 KR KR1019950018649A patent/KR0174454B1/ko active IP Right Grant
- 1995-08-23 US US08/518,411 patent/US5650828A/en not_active Expired - Lifetime
- 1995-08-29 JP JP24527195A patent/JP4049831B2/ja not_active Expired - Lifetime
- 1995-08-31 CN CNB951166913A patent/CN1162005C/zh not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP4049831B2 (ja) | 2008-02-20 |
| CN1162005C (zh) | 2004-08-11 |
| KR970004890A (ko) | 1997-01-29 |
| US5650828A (en) | 1997-07-22 |
| CN1139862A (zh) | 1997-01-08 |
| JPH0916783A (ja) | 1997-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR0174454B1 (ko) | 특징점 기반 움직임 보상에서의 에지 검출, 세선화 방법 및 장치 | |
| KR0171118B1 (ko) | 비디오신호 부호화 장치 | |
| KR0171154B1 (ko) | 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화하는 방법 및 장치 | |
| KR0181063B1 (ko) | 특징점을 이용한 움직임 보상에서의 그리드 형성방법 및 장치 | |
| US5760846A (en) | Apparatus for estimating motion vectors for feature points of a video signal | |
| US5689306A (en) | Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction | |
| KR0171146B1 (ko) | 특징점을 이용한 움직임 벡터 검출 장치 | |
| KR0171120B1 (ko) | 특징점 기반 움직임 보상을 이용한 비디오 신호 부호화에서의 움직임 영역 설정방법 및 장치 | |
| US5587741A (en) | Apparatus and method for detecting motion vectors to half-pixel accuracy | |
| US7822231B2 (en) | Optical flow estimation method | |
| KR100209793B1 (ko) | 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치 | |
| KR20010013198A (ko) | 비선형 피라미드를 사용하여 계층적인 모션 추정을실행하기 위한 장치 및 방법 | |
| KR0181031B1 (ko) | 움직임 보상된 인터폴레이션에서의 엣지 보상 장치 | |
| US5627591A (en) | Image processing system using a pixel-by-pixel motion estimation based on feature points | |
| KR100229803B1 (ko) | 움직임 벡터 검출 방법 및 장치 | |
| JP3681784B2 (ja) | 映像信号符号化装置 | |
| US6020925A (en) | Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction | |
| US5625417A (en) | Image processing system using a feature point-based motion estimation | |
| KR0174439B1 (ko) | 특징점 기반 움직임 보상에서의 에지선 세선화 방법 및 장치 | |
| KR0174455B1 (ko) | 화소단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치 | |
| EP0720373A1 (en) | Method and apparatus for encoding a video signal using region-based motion vectors | |
| JP2001346208A (ja) | 画像信号復号化装置および方法 | |
| KR0174956B1 (ko) | 픽셀단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치 | |
| KR100207397B1 (ko) | 영상 부호화 시스템의 움직임 예측장치 및 방법 | |
| KR100204465B1 (ko) | 특징점 추출방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20121019 Year of fee payment: 15 |
|
| FPAY | Annual fee payment |
Payment date: 20131017 Year of fee payment: 16 |
|
| FPAY | Annual fee payment |
Payment date: 20141022 Year of fee payment: 17 |