KR970002964B1 - 영상신호의 시간축 내삽필터 - Google Patents

영상신호의 시간축 내삽필터 Download PDF

Info

Publication number
KR970002964B1
KR970002964B1 KR1019930029434A KR930029434A KR970002964B1 KR 970002964 B1 KR970002964 B1 KR 970002964B1 KR 1019930029434 A KR1019930029434 A KR 1019930029434A KR 930029434 A KR930029434 A KR 930029434A KR 970002964 B1 KR970002964 B1 KR 970002964B1
Authority
KR
South Korea
Prior art keywords
processing element
motion vector
filter
unit processing
unit
Prior art date
Application number
KR1019930029434A
Other languages
English (en)
Other versions
KR950022977A (ko
Inventor
김종훈
김근환
천상훈
이병욱
Original Assignee
대우전자 주식회사
배순훈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대우전자 주식회사, 배순훈 filed Critical 대우전자 주식회사
Priority to KR1019930029434A priority Critical patent/KR970002964B1/ko
Priority to US08/270,137 priority patent/US5541660A/en
Publication of KR950022977A publication Critical patent/KR950022977A/ko
Application granted granted Critical
Publication of KR970002964B1 publication Critical patent/KR970002964B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

내용없음.

Description

영상신호의 시간축 내삽필터
제1도는 본 발명이 적용되는 영상신호의 이동보상내삽장치의 블럭구성을 설명하는 도면,
제2도는 제1도에 도시된 영상신호의 이동보상내삽장치에서 수행되는 이동보상에 기초하는 영역분류를 설명하는 도면,
제3도는 제1도에 도시된 영상신호의 이동보상내삽장치에서 화소에 대한 시간축 내삽의 원리를 설명하는 도면,
제4도는 제1도에 도시된 영상신호의 이동보상재삽장치에 적용가능한 화소의 내삽동작을 설명하는 플로우차트,
제5도는 본 발명에 따른 영상신호의 시간축 내삽필터의 블럭구성도,
제6도(a) 내지 제6도(c)는 본 발명에 따른 영상신호의 시간축 내삽필터의 설명에 적용되는 단위처리소자의 기본적인 구성을 나타낸 도면,
제7도(a)는 본 발명에 따른 영상신호의 시간축 내삽필터를 구성하는 단위처리소자의 일예를 설명하는 도면,
제7도(b)는 본 발명에 따른 영상신호의 시간축 내삽필터를 구성하는 단위처리소자의 다른 예를 설명하는 도면이다.
* 도면의 주요부분에 대한 부호의 설명
11 : 움직임추정부 12 : 이동벡터보정부
13 : 이동영역검출부 14 : 영역분류부
15 : 내삽필터
본 발명은 영상신호의 시간축 내삽필터에 관한 것으로, 보다 상세하게는 영상신호의 시간축 내삽필터를 시스토릭어레이에 의해 구현하여 영상신호에 대한 시간축내삽필터링에 필요한 부가적인 메모리를 포함하는 하드웨어적인 구성요소를 최소화하고 영상신호의 시간축 내삽에 대한 실시간 구현이 가능하도록 된 영상신호의 시간축 내삽필터에 관한 것이다.
최근들어 영상데이터의 압축/복원에 관한 연구가 활발히 진행되고 있는 바, 그러한 영상데이터의 압축/복원처리시 영상데이터의 압축을 위해서는 영상의 이동정보를 추출하고, 그 추출된 영상의 이동정보를 근거로 예측오차를 전송하게 된다. 이러한 영상데이터의 압축 및 이동정보에 근거하는 예측오차의 전송에는 주지의 DCT(Discrete Cosine Transform)처리에 의한 영상데이터의 고압측이 가능한 알고리즘이 채용된다.
그러한 알고리즘에 더하여 영상데이터의 압축을 위한 가장 간단한 방법으로서는 프레임스킵핑(Frame Skipping)방식이 고려될 수 있는 바, 이 프레임스킵핑방식에 따르면 프레임 전숭율을 임의 배수로 감소시키면 그 프레임 전송율의 배수만큼 영상압축효과를 기대할 수 있게 되지만, 그러한 프레임스킵핑방식을 효율적으로 적용하기 위해서는 수신단에서 그 프레임스킵핑에 의해 스킵된 프레임을 완벽하게 재구성할 수 있어야 되고, 그러한 프레임스킵핑방식은 통상적으로 저전송율 비디오 코덱이나 스탠다드컨버터(Standard Converter) 등에서 많이 이용된다.
여기서, 전자의 경우는 상술한 바와 같이 영상데이터에 대한 압축율을 증대시키기 위해 적용되는 방식으로, 송신단에서 프레임속도(Frame Rate)를 감소시키고 수신단에서는 감소된 프레임속도만큼 역으로 프레임 속도를 증가시키게 된다. 그에 대해, 후자의 경우는 이종간의 비디오데이터형식을 교환하기 위해서 반드시 필요한 처리과정으로, 프레임속도가 적절하게 되도록 원하는 시간구가내에 인접프레임을 이용하여 프레임을 재구성하는 처리가 포함된다. 그러한 상황으로부터, 인접 프레임을 이용한 프레임 재구성에는 이동보상내삽장치가 널리 채용되는 바, 그 내삽장치에 따르면 인접한 2개의 프레임과 내삽하고자 하는 위치의 이동벡터를 가지고서 주어진 수식에 따라 용이하게 수행할 수 있게 된다.
제1도는 본 발명이 적용되는 영상신호의 이동보상내삽장치의 구성을 나타낸 블럭구성도로서, 입력영상신호의 움직임을 추정하는 움직임추정부(11)와, 이 움직임추정부(11)에서 출력되는 해당 입력영상신호의 움직임추정 결과를 기초로 이동벡터를 보정하여 그 보정된 이동벡터를 추출하는 이동벡터보정부(12), 상기 입력영상신호에 대해 연속프레임간에서의 움직임부분을 검출하는 이동영역검출부(13), 상기 이동벡터보정부(12)에서 추출된 이동벡터를 상기 이동영역검출부(13)에서 검출된 움직임부분에 의해 마스킹(Masklng)되는 결과를 기초로 영상신호의 영역정보를 제공하는 영역분류부(Segmentator; 14) 및, 상기 이동벡터보정부(12)에서 추출되는 이동벡터와 상기 영역분류부(14)에서 제공되는 영역정보를 기초로 상기 입력영상신호의 내삽필터링을 수행하는 내삽필터(interpolation filter; 15)를 갖추어 구성된다.
상기한 구성의 일반적인 이동보상내삽장치에서는 움직임추정부(11)에서 입력 영상데이터로부터 이동벡터를 추출하게 되고, 상기 이동벡터보정부(12)에서는 그 추출된 이동벡터에 포함된 잡음성분 등을 제거하여 실제 이동에 근사한 영상으로 되도록 후처리하는 이동벡터보정과정을 수행하게 된다. 그후, 상기한 이동벡터보정과정에 의해 처리된 이동벡터는 상기 이동영역검출부(13)에 의해 검출되는 프레임간에서의 움직임부분에 기초하여 마스킹되어 움직이지 않는 부분의 이동벡터는 제거되고, 최종적으로 상기 내삽필터(15)에서는 상기 이동벡터보정부(12)에서 검출된 이동벡터와 상기 영역분류부(14)에서 검출된 영역특성에 따라 내삽필터링을 수행하게 된다.
현재, 입력영상데이터에 대한 효과적인 내삽필터링의 처리를 위해 진행되는 기존의 연구는 그 이동보상내삽기의 전체적인 하드웨어 구성보다는 제1도에 도시된 이동벡터추정부(11)라든지 이동영역검출부(13) 또는 영역분류부(14) 등의 성능개선을 주요점으로 진행되는 실정이고, 그에 따라 최근에 제안되는 영상신호의 내삽필터링에 관한 효율적인 알고리즘의 캐발에 관련해서 그러한 이동보상내삽기는 거의 제1도에 도시된 구성을 벗어나지 않는 실정이다. 여기서, 제 1도에 도시된 영역분류부(14)와 내삽필터(15)의 동작에 대해 개략적으로 설명한다.
대체로, 이동보상내삽작용은 영상신호의 이동성분 및 이동영역의 특징에 따라 그 방법이 다르게 된다. 여기서, 제 2도를 참조하면, 상기 영역분류부(14)에 의해 실행되는 영역분류과정이 설명되는 바, 그 제 2도에서 'nth'는 힌재의 프레임을 나타내고, '(n-1)th'는 선행의 프레임올 나타내며, '(n-τ)th'는 내삽될 프래임을 나타낸다. 또한, 현재프레임(nth)에서 사선으로 표시된 영역이 움직임부분이고, 화살표는 '(n-τ)th'에
나타나는 상기 움직임부분의 각 화소에 할당되는 이동벡터를 나타내며, 이동백터 D(z, n-τ)는 상기 '(n-τ)th'프레임의 위치 'z'상의 화소를 통하는 이동벡터를 나타내는 반면, ZD와 ZD'는 이동벡터 'D(z, n-τ)'와 현재프레임(nth) 및 선행프레임(n-lth)사이의 교차점을 나타낸다. 또한, 제 2도에서 이동성분을 가지는 영상신호를 고려하는 경우, 그러한 영상신호의 내삽필터링과정에서는 내삽위치에서 영역이 새로이 생성되거나 그와 반대로 영역이 사라지게 되는 바, 그러한 영상신호에 대해서는 영역의 특징에 따라 제 2도에 도시된 바와 같이 영역을 분류하여 내삽을 다르게 수행해야만 된다. 제 2도에 도시된 바와 같이 이동성분을 포함하는 영상신호에 대해서는 영상신호의 이동이 없는 정지영역(Stationary area : SA)과 이동영역(Moving area : MA), 새로이 생성되는 영역(Uncovered area : UA) 및 사라지는 영역(Cotered area : CA)으로 영역분류되고, 그 분류된 영역에 대해서는 그 특징에 따라 후술하는 내삽이 수행된다.
즉, (a) 정지영역(SA):
I(z, n-τ) = τ· I(z, n-1) + (1-τ)·I(z, n)‥‥‥‥‥‥‥‥‥‥‥‥‥(1)
(0＜ τ ＜1)
여기서, I(z, n-τ)는(z, n-τ) 위치에서의 화소값으로, 이는 인접 프레임의 가중평균으로 대치된다. 또, I(z, n-1)는 선행프레임(n-1)th상의동일화소위치에서의 화소값을나타내고, I(z, n)는현재프레임(nth)에서 동일화 소위치에서의 화소값을 나타낸다.
(b) 이동영역(MA)
I(z, n-τ)= τ· I(z+(1-τ)· D(z, n-τ), n-1)
+(1-τ)·I(z-τ ·D(z, n-τ), n)‥‥‥‥‥‥‥‥‥‥‥‥‥ (2)
상기 식(2)에서 D(z, n-τ)는 n번께 프레임에서 (n-1)프레임을 이용하여 구한 이동벡터중 (z, n-τ)를 지나는 이동 벡터이고, 그에 따라 내삽되는 값은 식(2) 에서와 같이 이동보상 화소간의 가중평균으로 된다.
(c)생성되는 영역(UA) :
I(z, n- τ ) = l(z, n)‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ (3)
이 영역에 대한 정보는 새로 생기는 영역이므로 n번째 프레임에서만 구해야 된다.
(d) 사라지는 영역(CA) :
I(z, n-τ) = I(z, n-l)‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ (4)
이 영역은 상기한 생성되는 영역에 대한 내삽과는 달리 사라지는 영역이므로 선행프레임에서 화소값을 추정해야 된다.
상기한 식중에서 이동보상내삽과정이 식(2)에 잘 표현되어 있고, 그에 대한 설명이 제 3도에 도시되어 있다. 즉, 제 3도에서 볼 수 있는 바와 같이, 프레임간의 이동백터를 정수(Integer)의 정확도를 갖고 추정하더라도 이동백터가 인접 프레임의 위치로 연결되면 화소그리드(Pixel Grid)의 위치로 연결되기가 어렵게 되고, 이 점을 해결하기 위해서는 제 3도에 도시된 바와 같이 양방향 직선성(bilinear)필터링에 따라 비-그리드(non-grid pixel) 화소값을 추정해야 된다. 즉, 비-그리드 화소 I(z- τ·D(z, n-τ))는 다음과 같이 인접한 4개 화소의 가중평균으로 이루어지게 된다.
I(z-τ·D(z, n-τ), n)=(1-Δx)·(1-Δy)· I(z1, n)
+Δx·(1-Δy)·I(z2, n)
+ (1-Δx)·Δy·I(z3, n)
+Δx·Δy·I(z4, n)‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ (5)
그런데, 현재에도 진행되는 이동보상내삽기에 대한 연구에서 상기 식에 의해 표현되는 개념은 거의 고정된 상태이고, 그에 따라 이동보상내삽기를 구현하기 위해서는 필연적으로 제 1도에 도시된 구성에 의해 상기한 식 (1)∼(5)의 방법을 따라 수행해야 된다.
상기한 바와 같이, 통상적으로 이동보상내삽기의 구성은 결국 제 1도에 도시된 내삽필터(15)의 구성과 밀접한 관계를 가지게 되고, 상기한 식(2)를 근거로 제 1도에 도시된 영역분류부(14)의 결과를 이용하여 이동벡터를 조절하거나 또는 내삽방향을 결정하여 그 결과를 얻을 수 있음에 따라, 식(2)를 효과적으로 구현하면 내삽필터의 구현이 가능하다고 할 수 있다.
식(2)를 구현하기 위한 가장 바람직한 방법은 제 4도에 도시된 수순에 따라 수행하는 것이다. 즉, 식(5)에서 처럼 내삽에 이용되는 화소값을 계산하기 위해서는 각 방향으로 매 위치마다 4회씩 메모리를 접근하는 방법(방법l)과, 각 방향의 화소들로 접근하는 방법(방법2)으로, 여기서 각 방법에 필요한 계산량은 다음과 같게 된다.
우선, 방법 1을 제 4도에 도시된 수순에 따라 필요한 계산량을 계산해 보면, 그 제 4도에 설명된 4단계에 필요한 각각의 계산은 다음과 같다.(그 계산에서 MUL은 곱셈을, ADD는 덧셈을 나타낸다.).
(단계 I ) : MUL 1회 + ADD 1회
(단계 Ⅱ) : (메모리 접근 1회 + MUL 1회 + ADD1회) X 4
(단계 Ⅲ) : MUL 1회
(단계 Ⅳ) : ADD 1회
그러므로, 총 계산량은
메모리 접근 4회 + MUL6회 + ADD6회‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ (6)
으로 계산된다.
반면에, 방법2의 경우에는 단계Ⅱ에서의 횟수가 1회로 되므로 총계산량은
메모리 접근 1회 + MUL 3회 + ADD 3회‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥(7)로 된다.
만일 화소클럭속도로 내삽을 수행해야 되는 경우애는 화면의 치수가 증가될수록 상기한 식(6)과 (7)의 계상시간이 단축되어야 되는데, 이에 대해서는 화면을 다수개로 분할하여 병렬처리하는 방안도 고려할 수 있기는 하지만, 이러한 조건이 아닌 경우이면 방법 1에서는 메모리의 접근회수가 매우 중대한 문제로 된다. 또한, 방법2에서는 다수개의 메모리를 사용하기 때문에 가격면에서 단점을 갖게 되고, 그 이외에도 상기한 식(6)과 (7)에서의 단 순계산량만 고려하여도 상당한 속도를 요구하게 되며, 다음의 표 1은 상기한 방법1과 방법2를 비교한 결과이다.
표 1
(단, TADD : 가산소요시간)
이 표 1에서는 곱셈시 12비트연산을 수행하는 경우를 가정하여 곱셈기로서 부스(Booth)곱셈기를 이용하고 곱셈의 계산시간을 덧셈기의 6배정도로 가정하여 나타낸 것으로, 그 표1에서 알 수 있는 바와 같이 상당한 정도의 계산시간을 필요로 한다는 불리함이 있다.
따라서, 본 발명은 상기한 종래 기술을 감안하여 이루어진 것으로, 콘볼루션(Convolution)과 같이 계산량은 많으나 간단한 연산을 반복적으로 수행하는 경우에 효율적으로 적용되는 시스토릭어레이를 이용하여 구현되는 시간축 내삽필터를 제공함에 그 목적이 있다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 양태에 따르면, 입력영상신호의 움직임을 추정하는 움직임추정부와, 이 움직임추정부에서의 움직임추정결과를 기초로 이동벡터를 보정/추출하는 이동벡터보정부, 상기 입력영상신호에 대해 연속프레임간에서의 움직임부분을 검출하는 이동영역검출부, 상기 이동벡터보정부에서 추출된 이동벡터를 상기 이동영역검출부에서 검출된 움직임부분분에 의해 마스킹되는 결과를 기초로 영상신호의 영역분류정보를 제공하는 영역분류부 및 상기 이동벡터보정부에서 추출되는 이동벡터와 상기 내삽필터링을 수행하는 내삽필터를 갖추어 구성된 내삽필터장치에 있어서, 상기 내삽필터는 상기 이동벡터에 기초하여 현재프레임으로부터의 제 1가중 화소값을 제공하기 위한 시스토릭어레이형태로 배열된 2차원 단위처리소자를 갖춘 제 1의 2차원 필터와, 상기 영역분류정보와 상기 이동벡터에 기초하여 선행프레임으로부터의 제 2가중화소값을 제공하기 위한 2차원 단위처리소자를 갖춘 제 2의 2차원 필터 및 , 상기 제 1 및 제 2의 2차원필터의 가중화소값을 가산하여 내삽될 프레임의 각 화소들에 대한 내삽화소값을 발생하는 가산기(20c)로 구성된 영상신호의 시간축 내삽필터가 제공된다.
바람직하게, 상기 단위처리소자는 상기 이동벡터에 기초하여 필터계수를 발생하는 룩업테이블과, 열(列)방향에서 선행의 단위처리소자로부터의 화소값을 2H지연시켜 후행의 단위처리소자측으로 출력하는 제 1지연소자, 상기 필터계수와 2H지연된 화소값을 승산하는 승산기, 선행의 단위처리소자로부터의 가산결과를 1H지연시키는 제 2지연소자, 상기 이동벡터를 1H지연시켜 행방향에서의 하위의 단위처리소자에 인가하는 제 3지연소자 및, 상기 승산기의 승산결과와 제 2지연소자에 의해 지연된 상기 선행의 단위처리소자로부터의 가산결과를 가산하여 후행의 단위처리소자측으로 출력하는 가산기를 갖추어 구성된다. 바람직하게, 상기 내삽필터의 필터윈도우는 상기 이동벡터의 크기보다 크게 설정된다.
또, 본 발명의 다른 양태에 따르면, 입력영상신호의 움직임을 추정하는 움직임추정부와, 이 움직임추정부에서의 움직임추정결과를 기초로 이동벡터를 보정/추출하는 이동벡터보정부, 상기 입력영상신호에 대해 연속프레임간에서의 움직임부분을 검출하는 이동영역검출부, 상기 이동벡터보정부에서 추출된 이동벡터를 상기 이동영역검출부에서 검출된 움직임부분분에 의해 마스킹되는 결과를 기초로 영상신호의 영역분류정보를 제공하는 영역분류부 및 상기 이동벡터보정부에서 추출되는 이동벡터와 상기 영역분류부에서 제공되는 영역분류정보를 기초로 상기 입력영상신호의 내삽필터링을 수행하는 내삽필터를 갖추어 구성된 내삽필터장치에 있어서, 상기 내삽필터는 상기 이동벡터와 영역분류정보에 기초하여 현재프레임으로부터의 제 1가중화소값을 제공하기 위한 시스토릭어레이형태로 배역된 2차원 단위처리서자를 갖춘 제 l의 2차원 필터와, 상기영역분류정보와 상기 이동벡터에 기초하여 선행프레임으로부터의 제 2가중화소값을 제공하기 위한 2차원 단위처리소자를 갖춘 제 2의 2차원 필터 및, 상기 제 1 및 제 2의 2차원필터의 가중화소값을 가산하여 내삽될 프레임의 각 화소들에 대한 내삽화소값을 발생하는 가산기로 구성된 영상신호의 시간측 내삽필터가 제공된다.
바람직하게, 상기 단위처리소자는 상기 이동벡터에 기초하여 필터계수를 발생하는 룩업테이블과, 열방향에서 선행의 단위처리소자로부터의 화소값을 2H지연시켜 후행의 단위처리소자측으로 출력하는 제 1지연소자, 상기 필터계수와 2H지연된 화소값을 승산하는 승산기, 선행의 단위처리소자로부터의 가산결과를 1H지연시키는 제 2지연소자, 상기 이동벡터를 1H지연시켜 행방향에서 하위의 단위처리소자로 출력하는 제 3지연소자, 상기 영역분류정보에 기초하여 상기 승산기의 승산결과를 멀티플렉싱하는 멀티플렉서, 상기 제 2지연소자에서 지연된 상기 가산결과와 상기 멀티플렉서의 출력을 가산하는 가산기 및, 상기 영역분류정보를 1H지연시켜 하위의 단위처리소자로 출력하는 제 4지연소자를 갖추어 구성된다.
상기와 같이 구성된 본 발명에 따른 영상신호의 시간축 내삽필터에 의하면, 영상신호의 시가축내삽필터를 시스토릭어레이를 이용하여 구현하게 되고, 그에 따라 부가적인 하드웨어라든지 메모리의 용량 증가없이 단지 영상신호를 라스터스캐닝(Raster Scanning)하면서 이동영상보상을 위한 내삽필터링이 가능하게 된다.
이하, 본 발명에 대해 첨부도면을 참조하여 상세하게 설명한다.
먼저, 본 발명에 따른 시스토릭어레이를 이용한 내삽필터의 구현과정에 대해 설명하면, 주지된 바와 같이 본 발명에 적용되는 시스토릭어레이는 디지탈 신호처리, 특히 콘볼루숀(convolution)과 같이 계산량은 많으나 간단한 연산을 반복적으로 하는 경우에 효율적으로 이용되는 바, 그러한 이유로부터 만일 식(2)의 내삽필터가 콘볼루숀의 형태로 표현되는 경우에는 그에 대한 시스토릭어레이화는 상당히 용이하게 된다. 이하에 상기 식(2)를 2차원 FIR필터(2D- filter)의 형태로 전환하는 과정과, 그 결과를 시스토릭 어레이로 묘사한 결과를 설명하게 된다.
우선, 상기 식(2)의 n번째 프레임(현재프레임)과 관련된 제 2항을 상기식(5)와 같이 양방향 선형필터를 이용하여 표현하면 다음과 같게 된다. 즉, 상기 식(2)의 제 2항은,
이 식(8)은 제 3도와 다음의 가정에 따라 유도된다.
따라서, 상기 식(8)은 다음과 같은 성질을 갖는 델타함수(Δ-function)를 이용하여 다음과 같이 표현될 수 있다.
여기서, 상기식(8)에 식(9)를 조합하여 표현하면,
으로 표현되고, 이 경우 상기 k1, k2는 임의의 구간을 갖게 된다.
그런데, 상기 식(10)의 제 4항들은 동일한 k1, k2에 대하여 동시에 존재할 수 없다. 식(10)의 의미를 고려하면, 그 식(10)에서 내삽에 사용되는 가중치는 2차원 필터의 필터링 계수로 가정할 수 있고, 그에 따라 다음과 같이 2차원 필터의 형태로 표현될 수 있다.
이상의 결과는 내삽필터에서 일측 프레임에 대한 결과이고, 그 식(1O)에서 필터윈도우(filter window)의 크기는 임의로 설정된다. 단, N은 이동벡터의 크기보다 크게 설정된다.
마찬가지로, 식(2)의 제 1항도 상기한 방법과 동일하게 유도하여 다음과 같이 표현할 수 있다.
상기한 식(11)과 식(12)는 내삽필터의 2차원 표현으로서, 결국 식(2)는 2개의 2차원 필터로 표현이 가능하게 되고, 본 발명에서는 그러한 2차원 필터를 구현하는 방법으로 시스토릭어레이를 이용하여 효율적으로 구성하게 된다. 그리고, 상기 식(11)과 식(12)는 이동벡터에 따라 필터 계수가 변해야하는 조건부 2차원 필터이다.
제 5도는 상기 식(11)과 식(12)에 기초하여 구현되는 본 발명에 따른 영상신호의 시간축 내삽필터의 구성을 나타내는 바, 그 시간측 내삽필터는 시스토릭어레이를 갖춘 1조의 2차원 필터(20a,20b)를 구비하게 되는 바, z(x, y)의 화소에 대한 영역분류 및 이동벡터 D(x,y,n- τ)가 상기 각 필터(20a,20b)에 인가된다. 여기서, 상기 2차원 필터(20a)는 영역분류정보와 이동벡터 D(x, y, n-τ)에 기초하여 그 2차원 필터(20a)에 구성된 화소들로부터 현재프레임(nth)의 ZD'의 가중화소값을 산출하게 되고, 상기 2차원 필터(20b)는 유사한 과정에 의해 그 2차원 필터(20b)에 구성된 화소들로부터 (n-1)번째 프레임의 ZD'의 가중화소값을 산츨하게 된다.
여기서, 제 5도에 도시된 시스토릭어레이를 이용한 2차원 필터의 구성을 고려하면, 그 기본 개념은 1차원 필터를 2차원으로 확장하는 것으로서, 2차원 필터를 제 6도(a)에 도시된 1차원 횡방향필터의 확장으로 생각하면 제 6도(b)에 도시된 바와 같이 표시될 수 있다. 여기서, 제 6도에서 블럭'L'은 라인단위로 입력디지탈 신호를 지연시키는 라인지연블럭을 나타내고, 블럭'2H + 2L'은 상기 입력이동벡터 D(x, y, n-τ)를 '2L +2H'시간만큼 지연시켜서 전체의 단위처리소자(PE)에 동시적으로 그 지연된 이동벡터를 인가하는 작용을 행하게 된다.
그리고, 그 제 6도(b)에 도시된 2차원 FIR필터는 상기 식(11) 또는 식(12)를 구현한다는 가정하에 이동벡터에 조건부에 필터 계수를 발생시키도록 구성하게 되는 바, 이는 필터계수를 발생하는 룩업테이블(Look-Up-Table; LUT)로 구성이 가능하게 된다.여기서, 그 경우에는 전체 계산속도가 모든 곱셈기 및 덧셈기의 속도에 영향을 미치게 된다. 만일 필터윈도우의 크기가 (2N+1) x(2N+l)이라면, 계산 시간은 다음과 같은 식에 의하여 결정된다.
(2N +1)·(TLU+ TTMU1+ TADD) + 2N· TADD‥‥‥‥‥‥‥‥‥‥‥‥‥ (13)
따라서, 만일 필터의 윈도우 크기가 커진다면 계산시간이 그에 비례하여 증가하게 된다.
이러한 점은 제 6도에 도시된 구성에서 필터계수의 연산이 수행되는 위치를 중심으로 시간적 국부화를 취하면 해결된다. 즉, 제 7도(a)에 도시된 바와 같이 단위처리소자(Processing Element:PE)에 시간적 국부화를 취하면, 단위처리시간이 단지 몇개의 연산에만 의존하기 때문에 수행 시간이 단축되고, 그에 따른 연상의 소요시간은 다음과 같다.
TLU+ TTMU1+ TADD‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥ (14)
물론, 전체적으로 그룹지연(group delay)이 발생되기는 하지만, 이는 구현 측면에서는 간단하게 해결된다.
즉, 제 6도(a)에 도시된 바와 같이 구성된다면 상기 식(14)와 표1을 비교하여 알 수 있는 바와 같이 구현상의 문제점들이 모두 해결되고, 또한 규칙적인 배열을 갖게 되므로 하드웨어의 구현시 이점을 갖는다.
제 7도(a)는 상기 식(2)에 따라 구현되는 내삽필터를 구성하는 단위처리소자(Processing element; PE)의 구성을 나타낸 도면으로, 제 1도에 도시된 상기 이동벡터보정부(12)로부터 제공되는 이동벡터(또는 상위의 단위처리소자로부터의 이동벡터)에 기초하여 필터계수를 발생하는 룩업테이블(61)과, 열(列)방향에서 선행의 단위처리소자로부터의 화소값을 2H지연시켜 후행의 단위처리소자측으로 출력하는 제 1지연소자(63), 상기 필터계수와 2H지연된 화소값을 승상하는 승산기(65), 선행의 단위처리소자로부터의 가산결과를 lH지연시키는 제 2지연소자(67), 상기 이동벡터를 1H지연시켜 행방향에서의 하위의 단위처리소자에 인가하는 제3지연소자(69) 및, 상기 승산기(65)의 승산결과와 제 2지연소자(67)에 의해 지연된 상기 선행의 단위처리소자로부터의 가산결과를 가산하여 후행의 단위처리소자측으로 출력하는 가산기(70)를 갖추어 구성된다.
또, 제 7도(b)는 상기한 바와 같이 영역의 특성에 따라 영상신호에 대해 다르게 내삽을 수행해야 하는 경우에 본 발명에 따른 시가축 내삽픽터의 단위처리소자(PE)의 변형을 나타낸 도면으로, 상기 단위처리소자는 제 1도에 도시된 상기 이동벡터보정부(12) 또는 상위의 단위처리소자로부터의 이동벡터에 기초하여 필터계수를 발생하는 룩업테이블(7l)과, 선행의 단위처리소자로부터의 화소값을 2H지연시켜 후행의 단위처리소자측으로 출력하는 제 1지연소자(73), 상기 필터계수와 2H지연된 화소값을 승산하는 승산기(75), 선행의 단위처리소자로부터의 가산결과를 1H지연시키는 제 2지연소자(77), 상기 이동벡터를 1H지연시켜 하위의 단위처리소자로 출력하는 제 3지연소자(79), 영역분류정보에 기초하여 상기 승산기(75)의 승산결과를 멀티플렉싱하는 멀티플랙서(81), 상기 제 2지연소자(77)에서 지연된 상기 가산결과와 상기 멀티플렉서(81)의 출력을 가산하는 가산기(83) 및, 상기 영역분류정보를 1H지연시켜 하위의 단위처리소자로 출력하는 제 4지연소자(85)를 갖추어 구성된다.
따라서, 본 발명에 따르면 시스토릭어레이를 사용하여 시간측 내삽필터를 구형하게 되므로 부가적인 하드웨어의 설계라든지 부가적인 메모리용량의 증가 없이 실시간으로 영역의 특성에 따른 시간측 내삽필터링이 가능한 내삽필터가 제공된다.

Claims (5)

  1. 입력영상신호의 움직임을 추정하는 움직임추정부(11)와, 이움직임추정부(11)에서의 움직임추정결과를 기초로 이동벡터를 보정/추출하는 이동벡터보정부(12), 상기 입력영상신호에 대해 연속프레임간에서의 움직임부분을 검출하는 이동영역검출부(13), 상기 이동벡터보정부(12)에서 추출된 이동벡터를 상기 이동영역검출부(13)에서 검출된 움직임부분분에 의해 마스킹되는 결과를 기초로 영상신호의 영역분류정보를 제공하는 영역분류부(14) 및 상기 이동백터보정부(12)에서 추출되는 이동벡터와 상기 영역분류부(14)에서 제공되는 영역분류정보를 기초로 상기 입력영상신호의 내삽필터링을 수행하는 내삽필터(15)를 갖추어 구성된 내삽필터 장치에 있어서, 상기 내삽필터(15)는 상기 이동벡터에 기초하여 현재프레임으로부터의 제 1가중화소값을 제공하기 위한 시스토릭어래이형태로 배역된 2차원 단위처리소자를 갖춘 제 1의 2차원 필터(20a)와, 상기 영역분류정보와 상기 이동백터에 기초하여 선행프레임으로부터의 제 2가중화소값을 제공하기 위한 2차원 단위처리소자를 갖춘 제 2의 2차원 필터(20b) 및, 상기 제 l 및 제 2의 2차원필터(20a, 20b)의 가중화소값을 가산하여 내삽될 프레임의 각 화소들에 대한 내삽화소값올 발생하는 가산기(20c)로 구성된 것을 특징으로 하는 영상신호의 시간축 내삽필터.
  2. 제 1항에 있어서, 상기 단위처리소자는 상기 이동벡터에 기초하여 필터계수를 발생하는 룩업테이블(61)과, 열(列)방향에서 선행의 단위 처리소자로부터의 화소값을 2H지연시켜 후행의 단위처리소자측으로 출력하는 제 l지연소자(63), 상기 필터계수와 2H지연된 화소값을 승산하는 숭산기(65), 선행의 단위처리소자로부터의 가산결과를 1H지연시키는 제 2지연소자(67), 상기 이동벡터를 1H지연시켜 행방향에서의 하위의 단위처리소자에 인가하는 제 3지연소자(69) 및, 상기 승산기(65)의 승산결과와 제 2지연소자(67)에 의해 지연된 상기 선행의 단위처리소자로부터의 가산결과를 가산하여 후행의 단위처리소자측으로 출력하는 가산기(70)를 갖추어 구성된 것을 특징으로 하는 영상신호의 시간축 내삽필터.
  3. 제 l하에 또는 제 2하에 있어서, 상기 내삽필터(15)의 필터윈도우는 상기 이동벡터의 크기보다 크게 설정되는 것을 특징으로 하는 영상신호의 시간축 내삽필터.
  4. 입력영상신호의 움직인을 추정하는 움직임추정부(11)와, 이 움직임추정부(11)에서의 움직임추정결과를 기초로 이동벡터를 보정/추출하는 이동벡터보정부(12), 상기 입력영상신호에 대해 연속프레임간에서의 움직임부분을 검출하는 이동영역검출부(13), 상기 이동벡터보정부(12)에서 추출된 이동벡터를 이동영역검출부(l3)에서 검출된 움직임부분분에 의해 마스킹되는 결과를 기초로 영상신호의 영역분류정보를 제공하는 영역분류부(14) 및 상기 이동벡터보정부(l2)에서 추출되는 이동벡터와 상기 영역분류뷰(14)에서 제공되는 영역분류정보를 기초로 상기 입력영상신호의 내삽필터링을 수행하는 내삽필터(l5)를 갖추어 구성된 내삽필터 장치에 있어서, 상기 내삽필터(15)는 상기 이동벡터와 영역분류정보에 기초하여 현재프레임으로부터의 제 l가중화소값을 제공하기 위한 시스토릭어레이형태로 배열된 2차원 단위처리소자를 갖춘 제 1의 2차원 필터(20a)와, 상기 영역분류정보와 상기 이동벡터에 기초하여 선행프레임으로부터의 제 2가중화소값을 제공하기 위한 2차원 단위처리소자를 갖춘 제 2의 2차원 필터(20b) 및, 상기 제 1 및 제 2의 2차원필터(20a, 20b)의 가중화소값을 가산하여 내삽될 프레임의 각 화소들에 대한 내삽화소값을 발생하는 가산기(20c)로 구성된 것을 특징으로 하는 영상신호의 시간축 내삽필터.
  5. 제 4항에 있어서, 상기 단위처리소자는 상기 이동벡터에 기초하여 필터계수를 발생하는 룩업테이블(71)과, 열방향에서 선행의 단위처리소자로부터의 화소값을 2H지연시켜 후행의 단위처리소자측으로 출력하는 제 1지연소자(73), 상기 필터계수와 2H지연된 화소값을 승산하는 승산기(75), 선행의 단위처리소자로부터의 가산결과를 1H지연시키는 제 2지연소자(77), 상기이동벡터를 lH지연시켜 행방향에서 하위의 단위처리소자로 출력하는 제 3지연소자(79), 상기 영역분류정보에 기초하여 상기 승산기(75)의 승산결과를 멀티플렉싱하는 멀티플레서(81), 상기 제 2지연소자(77)에서 지연된 상기 가산 결과와 상기 멀티플렉서(81)의 출력을 가산하는 가산기(83) 및, 상기 영역분류정보를 1H지연시켜 하위의 단위처리소자로 출력하는 제 4지연소자(85)를 갖추어 구성된 것을 특징으로 하는 영상신호의 시간측 내삽필터.
KR1019930029434A 1993-12-24 1993-12-24 영상신호의 시간축 내삽필터 KR970002964B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1019930029434A KR970002964B1 (ko) 1993-12-24 1993-12-24 영상신호의 시간축 내삽필터
US08/270,137 US5541660A (en) 1993-12-24 1994-07-01 Systolic realization of motion compensated interpolation filter

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019930029434A KR970002964B1 (ko) 1993-12-24 1993-12-24 영상신호의 시간축 내삽필터

Publications (2)

Publication Number Publication Date
KR950022977A KR950022977A (ko) 1995-07-28
KR970002964B1 true KR970002964B1 (ko) 1997-03-13

Family

ID=19372480

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019930029434A KR970002964B1 (ko) 1993-12-24 1993-12-24 영상신호의 시간축 내삽필터

Country Status (2)

Country Link
US (1) US5541660A (ko)
KR (1) KR970002964B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100576736B1 (ko) * 2004-08-21 2006-05-03 학교법인 포항공과대학교 시스톨릭 배열 구조를 가지는 미지 신호 분리 장치

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5943096A (en) * 1995-03-24 1999-08-24 National Semiconductor Corporation Motion vector based frame insertion process for increasing the frame rate of moving images
US5668608A (en) * 1995-07-26 1997-09-16 Daewoo Electronics Co., Ltd. Motion vector estimation method and apparatus for use in an image signal encoding system
KR100197793B1 (ko) * 1995-12-23 1999-06-15 정선종 선형 단축 배열 구조를 이용한 블록정합 움직임 추정장치
DE19730305A1 (de) * 1997-07-15 1999-01-21 Bosch Gmbh Robert Verfahren zur Erzeugung eines verbesserten Bildsignals bei der Bewegungsschätzung von Bildsequenzen, insbesondere eines Prädiktionssignals für Bewegtbilder mit bewegungskompensierender Prädiktion
US6480632B2 (en) * 1998-12-03 2002-11-12 Intel Corporation Method and apparatus to interpolate video frames
CN100452668C (zh) * 2002-07-09 2009-01-14 诺基亚有限公司 用于在视频编码中选择插值滤波器类型的方法和系统
NZ532757A (en) * 2004-05-04 2005-07-29 Canterprise Method and apparatus for identifying a maximum subarray
US7567294B2 (en) * 2005-03-28 2009-07-28 Intel Corporation Gradient adaptive video de-interlacing
US7478222B2 (en) * 2005-03-29 2009-01-13 Karl M. Fant Programmable pipeline array
EP1977395B1 (en) * 2006-01-27 2018-10-24 Imax Corporation Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality
CN102685533B (zh) 2006-06-23 2015-03-18 图象公司 对2d电影进行转换用于立体3d显示的方法和系统
US8175163B2 (en) * 2009-06-10 2012-05-08 Samsung Electronics Co., Ltd. System and method for motion compensation using a set of candidate motion vectors obtained from digital video
US8837592B2 (en) * 2010-04-14 2014-09-16 Mediatek Inc. Method for performing local motion vector derivation during video coding of a coding unit, and associated apparatus
US20120008686A1 (en) * 2010-07-06 2012-01-12 Apple Inc. Motion compensation using vector quantized interpolation filters
US9628821B2 (en) 2010-10-01 2017-04-18 Apple Inc. Motion compensation using decoder-defined vector quantized interpolation filters

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3685589T2 (de) * 1986-03-19 1993-02-04 British Broadcasting Corp Videosignal-verarbeitung fuer bandbreitenverringerung.
EP0294959B1 (en) * 1987-06-09 1994-10-05 Sony Corporation Television standards converters
EP0294958B1 (en) * 1987-06-09 1995-08-23 Sony Corporation Motion compensated interpolation of digital television images
DE3851786T2 (de) * 1987-06-09 1995-03-09 Sony Corp Auswahl eines Bewegungsvektors in Fernsehbildern.
GB2208056A (en) * 1987-08-10 1989-02-15 Philips Electronic Associated Television transmission system
DE68909472T2 (de) * 1988-04-15 1994-04-07 Philips Nv Einrichtung zur Dekodierung von Signalen, die eine Folge von Bildern darstellen und Übertragungssystem von Fernsehbildern mit hoher Auflösung mit einer solchen Einrichtung.
US4989089A (en) * 1988-11-08 1991-01-29 U.S. Philips Corporation Television picture coding device and corresponding decoding device, a television picture transmission system incorporating such devices, and transmission and receiving stages of such a system
US5072293A (en) * 1989-08-29 1991-12-10 U.S. Philips Corporation Method of estimating motion in a picture signal
US4937666A (en) * 1989-12-04 1990-06-26 Bell Communications Research, Inc. Circuit implementation of block matching algorithm with fractional precision
DE69114791T2 (de) * 1990-09-03 1996-06-27 Philips Electronics Nv Verfahren und Anordnung zum Verarbeiten eines Bildsignals.
GB2263601B (en) * 1992-01-24 1995-05-24 Sony Broadcast & Communication Motion compensated video signal processing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100576736B1 (ko) * 2004-08-21 2006-05-03 학교법인 포항공과대학교 시스톨릭 배열 구조를 가지는 미지 신호 분리 장치

Also Published As

Publication number Publication date
US5541660A (en) 1996-07-30
KR950022977A (ko) 1995-07-28

Similar Documents

Publication Publication Date Title
KR970002964B1 (ko) 영상신호의 시간축 내삽필터
EP0629083B1 (en) Interlaced-to-progressive scanning converter having a double-smoothing function and a method therefor
KR0165497B1 (ko) 블럭화현상 제거를 위한 후처리장치 및 그 방법
US5802218A (en) Method, post-processing filter, and video compression system for suppressing mosquito and blocking atrifacts
KR100541953B1 (ko) 움직임 보상을 위한 화소값 선택 장치 및 방법
US8111332B2 (en) Noise suppression method, noise suppression method program, recording medium recording noise suppression method program, and noise suppression apparatus
US20050249288A1 (en) Adaptive-weighted motion estimation method and frame rate converting apparatus employing the method
KR19990077701A (ko) 디지털 신호의 보간 방법 및 시스템
US8675128B2 (en) Image processing method and system with repetitive pattern detection
JP2003174628A (ja) 動き補償補間のための画素値選択装置及び方法
KR20040108053A (ko) 움직임 벡터 생성 장치 및 방법
EP0644696A2 (en) Method for temporal filtering of video signals using a motion adaptive spatial filter
KR100605746B1 (ko) 블럭 기반의 움직임 보상 장치 및 방법
JPH07303241A (ja) インターレースされた映像信号のための適応フィールド／フレームフィルタ
US4630114A (en) Method for determining the displacement of moving objects in image sequences and arrangement as well as uses for implementing the method
JPH1098695A (ja) 画像情報変換装置および方法並びに積和演算装置
KR960008224B1 (ko) 움직임 적응공간 필터링을 이용하는 시간축 대역제한 필터
JPS61140291A (ja) 動画像信号の動静分離装置
KR970008531B1 (ko) 시간축 내삽기
JPH1153530A (ja) 画像補間装置
JPS6234317B2 (ko)
JPH03132278A (ja) 映像信号変換装置
Halbach et al. Multidimensional Adaptive Non-Linear Filters for Concealment of Interlaced Video
JP3699171B2 (ja) 電子ズーム処理装置および電子ズーム処理方法
JPH0865550A (ja) 雑音除去装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
G160 Decision to publish patent application
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110302

Year of fee payment: 15

LAPS Lapse due to unpaid annual fee