KR20040058391A - 프레임 레이트 변환 장치 및 방법 - Google Patents

프레임 레이트 변환 장치 및 방법 Download PDF

Info

Publication number
KR20040058391A
KR20040058391A KR1020020084079A KR20020084079A KR20040058391A KR 20040058391 A KR20040058391 A KR 20040058391A KR 1020020084079 A KR1020020084079 A KR 1020020084079A KR 20020084079 A KR20020084079 A KR 20020084079A KR 20040058391 A KR20040058391 A KR 20040058391A
Authority
KR
South Korea
Prior art keywords
value
pixel
motion vector
reference block
error
Prior art date
Application number
KR1020020084079A
Other languages
English (en)
Other versions
KR100532099B1 (ko
Inventor
손영욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR10-2002-0084079A priority Critical patent/KR100532099B1/ko
Priority to AU2003264647A priority patent/AU2003264647B2/en
Priority to CNB2003101247357A priority patent/CN1249994C/zh
Publication of KR20040058391A publication Critical patent/KR20040058391A/ko
Application granted granted Critical
Publication of KR100532099B1 publication Critical patent/KR100532099B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 신호변환 장치 및 방법에 관한 것으로, 보다 상세하게는 입력되는 영상의 프레임 레이트 변환 시에 정상 움직임 벡터에 의해 보상된 영역과 에러가 발생된 움직임 벡터에 의해 출력되는 블록 경계에서 블록킹 아티팩트를 없애도록 하는 프레임 레이트 변환 장치 및 방법에 관한 것이다. 프레임 레이트 변환 장치는 입력되는 이전 영상의 기준 블록과 현재 영상의 탐색 영역으로부터 매칭 에러가 적은 기준 블록의 움직임 벡터를 추정하는 움직임 추정수단, 상기 기준 블록의 움직임 벡터와 주변 움직임 벡터의 불균일성 조사, 상기 기준 블록이 상기 서치 영역 내에서 이동한 위치에서의 픽셀 차이값 조사 및 외부에서 입력되는 픽셀 에러 값에 따라 전체 영상의 픽셀 에러 유무를 판단하고, 상기 전체 영상을 소정 윈도우 내에서 에러 개수를 카운트하여 정상 움직임 벡터에 의한 보상값의 가중치 및 앞뒤 입력 영상의 픽셀 평균값의 가중치를 다르게 적용하여 새로 합성된 영상을 출력하는 움직임 보상수단을 포함한다. 본 발명에 따르면, 영상의 프레임 레이트 변환 시에 정상 움직임 벡터에 의해 보상된 영역과 에러가 발생된 움직임 벡터에 의해 출력되는 블록 경계에서 블록킹 아티팩트 없이 부드럽게 연결되어 출력 화면의 화질이 더욱 좋아지게 된다.

Description

프레임 레이트 변환 장치 및 방법{Apparatus and method for converting frame rate}
본 발명은 신호변환 장치 및 방법에 관한 것으로, 보다 상세하게는 입력되는 영상의 프레임 레이트 변환 시에 정상 움직임 벡터에 의해 보상된 영역과 에러가 발생된 움직임 벡터에 의해 출력되는 블록 경계에서 블록킹 아티팩트(Blocking Artifact)를 없애도록 하는 프레임 레이트 변환 장치 및 방법에 관한 것이다.
움직임 추정 기법을 이용한 프레임 레이트 변환기는 텔레비전 수직 주파수가다른 지역의 방송을 변환하는데 사용될 수 있다. 예를 들어 수직 주파수가 50Hz인 유럽 지역의 방송을 미국(수직 주파수가 60Hz)에서 보려고 하면, 영상 5장마다 1장의 영상이 더 추가되어야 한다. 이때 움직임 추정 및 보상 방법을 사용하여 해당 시간에 맞는 움직임 위치에 물체를 옮겨서 영상을 새로 만들 수 있다.
그러나 이러한 방법은 현재까지 움직임 추정 과정에서 움직임 에러로 인해 많이 사용되지 못하고 있다. 그 주된 이유는 움직임 벡터의 에러 때문인데, 이 움직임 벡터는 물체가 변형되지 않고 수직/수평 방향으로 선형적으로 움직일 경우 움직임 위치를 정확하게 찾아서 표현할 수 있다. 그러나, 만약 물체가 변형되었거나(또는 장면의 전환), 조명이 바뀌었거나, 수직/수평이 아닌 회전등의 움직임을 했을 경우, 이전 영상과 현재 영상 사이에 정확하게 매칭되는 움직임 벡터가 없고 잘못된 위치에서 움직임 벡터를 찾을 수가 있다. 이러한 경우 물체가 깨져 보이고 경계선이 불연속하게 나타나는 블록킹 아티팩트 현상이 발생한다.
이러한 블록킹 아티팩트 현상을 처리할 수 있는 방법이 미국 특허 공보 제5,534,946호에 기재되어 있으며, 도 1을 참조하여 이를 설명한다.
도 1에서, lo및 ro는 움직임 벡터=0에서의 이전 및 현재 픽셀값을, lv및 rv는 및 움직임 벡터에 의해 움직임 보상된 이전 및 현재 픽셀값을 나타낸다. p는 Temporal Interpolation Factor 이며, c는 Mixing Coefficient 이다.
4개의 입력(lo, ro, lv, rv) 중에서 움직임 보상되지 않은 픽셀값 (lo, ro)와 움직임 보상된 픽셀값 (lv, rv)는 p, c coefficient에 의해 가중치가 부여된 후에,각각의 원래값과 함께 제1 및 제2 미디언 필터(100, 101)에 입력되어 지며, 그 출력은 다시 제3 미디언 필터(102)에 입력된다. 여기서 p, c는 MAE(Mean Absolute Error) 등의 값으로 결정되어 지는데, 만일 움직임 에러가 발생했을 경우 제3 미디언 필터(102)는 4개의 입력과 가중치가 부여된 값 중에서 중간값을 출력하게 됨으로써 시각적으로 에러가 많이 상쇄되는 것처럼 보간 할 수 있다. 블록킹 아티팩트도 이러한 과정에서 많이 감소된다.
그러나 위의 방법은 잘못된 움직임 벡터에 의한 화소 값이 미디언 필터에서 오히려 중간 값으로 선택되어 올바른 결과를 왜곡할 가능성이 있다. 즉, 실제 움직임 벡터 에러와 보간 결과의 상관성을 예측하기 힘든 문제점이 발생한다.
본 발명이 이루고자 하는 기술적인 과제는 영상의 프레임 레이트 변환 시에 정상 움직임 벡터에 의해 보상된 영역과 에러가 발생된 움직임 벡터에 의해 출력되는 블록 경계에서 블록킹 아티팩트를 없애도록 하는 프레임 레이트 변환 장치 및 방법을 제공하는데 있다.
도 1은 종래의 블록킹 아티팩트 처리 장치의 구성을 보이는 블록도 이다.
도 2는 본 발명에 따른 프레임 레이트 변환 장치의 구성을 보이는 블록도 이다.
도 3은 도 2 중 움직임 보상부의 상세도 이다.
도 4∼도 6은 도 3의 움직임 보상부를 설명하기 위한 도면이다.
도 7은 본 발명에 따른 프레임 레이트 변환 방법의 동작을 보이는 흐름도 이다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 프레임 레이트 변환 장치는 입력되는 이전 영상의 기준 블록과 현재 영상의 탐색 영역으로부터 매칭 에러가 적은 기준 블록의 움직임 벡터를 추정하는 움직임 추정수단; 및 상기 기준 블록의 움직임 벡터와 주변 움직임 벡터의 불균일성 조사, 상기 기준 블록이 상기 서치 영역 내에서 이동한 위치에서의 픽셀 차이값 조사 및 외부에서 입력되는 픽셀에러 값에 따라 전체 영상의 픽셀 에러 유무를 판단하고, 상기 전체 영상을 소정 윈도우 내에서 에러 개수를 카운트하여 정상 움직임 벡터에 의한 보상값의 가중치 및 앞뒤 입력 영상의 픽셀 평균값의 가중치를 다르게 적용하여 새로 합성된 영상을 출력하는 움직임 보상수단을 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 움직임 보상수단은 상기 기준 블록의 움직임 벡터와 주변 움직임 벡터들을 비교하여 상기 기준 블록의 움직임 벡터에 대한 불균일성을 검출하는 제1 검출부; 상기 기준 블록이 상기 서치 영역 내에서 이동한 위치에서의 픽셀 차이값을 검출하는 제2 검출부; 상기 제1 검출부의 출력값, 상기 제2 검출부의 출력값 및 외부에서 입력되는 픽셀 에러 값을 비교하여 전체 영상의 픽셀 에러 유무를 출력하는 비교부; 및 에러 유무가 판단된 상기 전체 영상의 픽셀에 소정의 윈도우를 적용하여 상기 윈도우 내의 에러 개수에 따라 정상 움직임 벡터에 의한 보상값의 가중치 및 앞뒤 입력 영상의 픽셀 평균값의 가중치를 다르게 적용하여 새로 합성된 영상을 출력하는 제어부를 포함하는 것이 바람직하다.
본 발명에 있어서, 상기 비교부에서 출력되는 상기 전체 영상의 픽셀 에러 유무 값을 저장하는 저장부를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 저장부의 전체 영상 픽셀에 적용된 소정의 윈도우 내의 에러 개수를 카운트하는 카운터를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 비교부는 상기 기준 블록의 움직임 벡터에 대한 불균일성이 제1 기준값 보다 크고, 상기 기준 블록이 상기 서치 영역 내에서 이동한 위치에서의 픽셀 차이값이 제2 기준값 보다 크거나 외부에서 입력되는 픽셀 에러값이 제3 기준값 보다 큰 경우 상기 픽셀에 에러가 발생되었다고 판단하는 것을 특징으로 한다.
본 발명에 있어서, 상기 비교부는 상기 기준 블록의 움직임 벡터에 대한 불균일성이 제1 기준값 보다 크고, 상기 기준 블록이 상기 서치 영역 내에서 이동한 위치에서의 픽셀 차이값이 제2 기준값 보다 크더라도, 외부에서 입력되는 픽셀 에러 값이 제3 기준값인 경우 상기 픽셀은 정상 픽셀이라고 판단하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는 상기 윈도우 내의 에러 개수가 일정 개수 이상이면, 상기 앞뒤 입력 영상의 픽셀 평균값에 더 많은 가중치를 적용하는 것을 특징으로 한다.
본 발명에 있어서, 상기 제어부는 상기 윈도우 내의 에러 개수가 일정 개수 이하이면, 상기 정상 움직임 벡터에 의한 보상값에 더 많은 가중치를 적용하는 것을 특징으로 한다.
본 발명이 이루고자 하는 다른 기술적인 과제를 해결하기 위한 프레임 레이트 변환 방법은 (a) 입력되는 이전 영상의 기준 블록과 현재 영상의 탐색 영역으로부터 매칭 에러가 적은 기준 블록의 움직임 벡터를 추정하는 단계; (b) 상기 기준 블록의 움직임 벡터와 주변 움직임 벡터의 불균일성, 상기 기준 블록이 상기 서치 영역 내에서 이동한 위치에서의 픽셀 차이값 및 외부에서 입력되는 픽셀 에러 값에 따라 전체 영상의 픽셀 에러 유/무를 판단하는 단계; 및 (d) 상기 에러 유무가 판단된 전체 영상 픽셀에 소정 윈도우를 적용하여 에러 개수를 카운트하고, 그 결과에 따라 정상 움직임 벡터에 의한 보상값의 가중치 및 앞뒤 입력 영상의 픽셀 평균값의 가중치를 다르게 적용하여 새로 합성된 영상을 출력하는 단계를 포함하는 것이 바람직하다.
본 발명에 있어서, (c) 보간될 영상 전체의 픽셀 에러 유/무를 판단값을 저장하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 (b)단계에서 상기 기준 블록의 움직임 벡터에 대한 불균일성이 제1 기준값 보다 크고, 상기 기준 블록이 상기 서치 영역 내에서 이동한 위치에서의 픽셀 차이값이 제2 기준값 보다 크거나 외부에서 입력되는 픽셀 에러 값이 제3 기준값 보다 큰 경우 상기 픽셀에 에러가 발생되었다고 판단하는 것을 특징으로 한다.
본 발명에 있어서, 상기 (b)단계에서 상기 기준 블록의 움직임 벡터에 대한 불균일성이 제1 기준값 보다 크고, 상기 기준 블록이 상기 서치 영역 내에서 이동한 위치에서의 픽셀 차이값이 제2 기준값 보다 크더라도, 외부에서 입력되는 픽셀 에러 값이 제3 기준값인 경우 상기 픽셀은 정상 픽셀이라고 판단하는 것을 특징으로 한다.
본 발명에 있어서, 상기 (d)단계에서 상기 윈도우 내의 에러 개수가 일정 개수 이상이면, 상기 앞뒤 입력 영상의 픽셀 평균값에 더 많은 가중치를 적용하는 것을 특징으로 한다.
본 발명에 있어서, 상기 (d)단계에서 상기 윈도우 내의 에러 개수가 일정 개수 이하이면, 상기 정상 움직임 벡터에 의한 보상값에 더 많은 가중치를 적용하는것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.
도 2는 본 발명에 따른 프레임 레이트 변환 장치(200)의 구성을 보이는 블록도로서, 움직임 추정부(200-1) 및 움직임 보상부(200-2)로 구성된다.
도 3은 도 2 중 움직임 보상부의 상세도로서, 제1 검출부(200-21), 제2 검출부(200-22), 비교부(200-23), 프레임 또는 필드 메모리(200-24), 카운터(200-25), 제어부(200-26)로 구성된다.
도 4∼도 6은 도 3의 움직임 보상부를 설명하기 위한 도면이다.
도 7은 본 발명에 따른 프레임 레이트 변환 방법의 동작을 보이는 흐름도로서, 움직임 변화량(MV) 및 DFD를 계산하는 단계(700), MV>Th1 & │DFD│>Th2 OR Eexr>0 인가를 판단하는 단계(701), 픽셀 에러=1을 지정하는 단계(702), 픽셀 에러=0을 지정하는 단계(703), 프레임 또는 필드 메모리에 지정된 픽셀 에러값을 저장하는 단계(704), M×N 윈도우 내에서 DFD 에러를 카운트하는 단계(705), 카운트 개수에 비례하여 MC/TA 픽셀값의 가중치를 변화시켜 생성된 영상을 출력하는 단계(706)로 구성된다.
이어서, 도 2∼도 7을 참조하여 프레임 레이트 변환 장치 및 방법을 상세히 설명한다.
먼저, 프레임 레이트 변환 장치를 설명한다. 움직임 추정부(200-1)는 이전 영상의 기준 블록(M×N)과 현재 영상의 서치 영역으로부터 매칭 에러가 가장 적은움직임 벡터를 구한다. 도 4에 이전 영상의 기준 블록과 현재 영상의 서치 영역을 도시하고 있으며, 기준블록이 서치영역 내에서 움직인 거리가 움직임 벡터가 된다. 움직임 벡터는 물체가 변형되지 않고 수직/수평 방향으로 선형적으로 움직일 경우, 움직인 위치를 정확하게 찾아서 표현할 수 있다. 그러나, 만일 물체가 변형되었거나, 조명이 바뀌었거나, 수직/수평이 아닌 회전등의 움직임을 했을 경우에는 이전 영상과 현재 영상 사이에 정확하게 매칭되는 움직임 벡터가 없고, 잘못된 위치에서 움직임 벡터를 찾을 수 있다.
움직임 보상부(200-2)는 기준 블록 단위의 움직임 벡터와 주변 움직임 벡터의 불균일성을 조사하고, 상기 기준 블록이 상기 서치 영역 내에서 이동한 위치에서의 픽셀 차이값을 조사하고, 외부에서 입력되는 픽셀 에러 값에 따라 보간될 영상 전체의 픽셀 에러 유무를 판단하며, 상기 보간될 영상의 소정 윈도우 내에서 에러 개수를 카운트하여 정상 움직임 벡터에 의한 보상값의 가중치 및 앞뒤 입력 영상의 픽셀 평균값의 가중치를 다르게 적용하여 최종 보간 영상 즉, 블록킹 아티팩트가 없는 영상을 출력한다.
움직임 보상부(202-2)는 제1 검출부(200-21), 제2 검출부(200-22), 비교부(200-23), 프레임 또는 필드 메모리(200-24), 카운터(200-25) 및 제어부(200-26)로 구성된다.
제1 검출부(202-21)는 움직임 추정부(200-1)에서 추정된 기준 블록 단위의 움직임 벡터와 주변 움직임 벡터들을 비교하여 기준 블록단위의 움직임 벡터에 대한 불균일성을 검출한다. 수학식 1은 임의의 블록 A×B에서 움직임 벡터의 불균일성을 계산하는 식이다.
[수학식 1]
수학식 1에서 MV(i,j)는 (i,j)블록에서 움직임 벡터를, MEANMV는 (i,j)번째 주변 A×B 블록들의 평균 움직임 벡터이다. 하드웨어를 고려한다면, 수학식 1은 제곱을 빼로 더 간단한 식으로 줄일 수 있다. 수학식 1에서, 움직임 벡터의 불균일성이 일정 기준값(제1 기준값)보다 작으면, 주변 움직임 벡터와 현재의 움직임 벡터가 대체로 일치한다고 볼 수 있으므로 신뢰할 수 있는 움직임 값으로 판단한다. 그러나, 움직임 벡터의 불균일성이 일정 기준값(제1 기준값)보다 크면, 주변 움직임 벡터와 현재의 움직임 벡터가 다른 것이므로 움직임 에러일 확률이 어느 정도 있는 것을 가정할 수 있다.
제2 검출부(200-22)는 도 5에 도시된 바와 같이 움직임 벡터에 의해 기준 블록이 서치 영역 내에서 이동한 위치에서의 픽셀 차이값인 DFD(Displacement Frame(또는 Field) Difference) 값을 검출한다. 수학식 2는 DFD를 계산하는 식이다.
[수학식 2]
수학식 2에서 Prefblock(x, y)는 기준 블록 (x, y) 위치에서 픽셀 값(Intensity value of pixel)을, PSAera(x, y)는 서치 영역에서의 픽셀 값을, 그리고, vx, vy는움직임 벡터값(MV(i,j)=(vx(i,j), vy(i,j))이다. DFD 값은 기준 블록의 픽셀 단위로 계산하는데, DFD 값이 일정 기준값(제2 기준값) 보다 크면, 해당 픽셀을 에러로 간주하고, DFD 값이 일정 기준값(제2 기준값) 보다 작으면, 해당 픽셀을 정상 픽셀로 간주한다.
또한 실제 영상에서, 움직임 벡터의 불균일성 및 DFD 만으로는 모든 움직임 에러를 감지할 수 없다. 따라서, 외부에 별도의 픽셀 에러 검출회로(미도시)를 만들어 그 회로의 출력으로부터 에러 마크값이 나온다고 가정한다. 에러 마크 값은 에러일 경우 0보다 큰 값, 에러가 아닐 경우 0이 온다고 가정한다.
비교부(200-23)는 제1 검출부(200-21)에서 출력되는 기준 블록의 움직임 벡터에 대한 불균일성, 제2 검출부(200-22)에서 출력되는 DFD 값 및 출력값 및 외부의 픽셀 에러 검출회로에서 출력되는 에러 마크값을 비교하여 픽셀 에러 유무를 출력한다. 비교부(200-23)는 기준 블록의 움직임 벡터에 대한 불균일성이 제1 기준값 보다 크고, 상기 기준 블록이 상기 서치 영역 내에서 이동한 위치에서의 픽셀 차이값이 제2 기준값 보다 크거나 외부에서 입력되는 픽셀 에러 마크값이 0보다 큰 경우 보간될 영상의 픽셀에 에러가 발생되었다고 판단한다. 에러가 발생된 픽셀에 대해 소정의 값(예를 들어 1)이 부여된다. 비교부(200-23) 기준 블록의 움직임 벡터에 대한 불균일성이 제1 기준값 보다 크고, 상기 기준 블록이 상기 서치 영역 내에서 이동한 위치에서의 픽셀 차이값이 제2 기준값 보다 크더라도, 외부에서 입력되는 픽셀 에러 마크 값이 0인 경우 보간될 영상의 픽셀은 정상 픽셀이라고 판단한다. 에러가 발생되지 않은 픽셀에 대해 소정의 값(예를 들어 0이외의 값)이 부여된다.
움직임 벡터의 불균일성은 기준 블록 단위로 에러가 판단되고, DFD 값은 기준 블록 내의 픽셀 단위로 에러가 판단되는 에러이다. 따라서, 만약 기준 블록이 K×L 개수의 픽셀로 구성되어 있다면, 제1 검출부(200-21)를 통해 검출된 움직임 벡터의 불균일성은 기분 블록내의 모든 K×L 개수의 픽셀에 동일하게 적용된다. 외부의 픽셀 에러 검출회로에서 출력되는 에러 마크값은 기준 블록 단위 또는 픽셀 단위일 수 있다.
전체 영상에 대해 에러 판단을 하여 소정의 값이 부여되면(픽셀 에러 데이터라고 가정), 이 값은 프레임 또는 필드 메모리(200-24)에 저장된다.
프레임 또는 필드 메모리(200-24)에 전체 영상에 대한 픽셀 에러 데이터가 저장되면, 카운터(200-25)는 화면의 첫 픽셀부터 N×M 윈도우를 적용하여 윈도의 내의 DFD 에러 픽셀 개수를 카운트한다. 카운트 결과 값을 p라고 가정한다. p값은 N×M 윈도우의 크기로 나뉘어져서 0≤p≤1의 기준 범위를 갖는다.
제어부(200-26)는 카운터(200-25)에서 출력되는 p 값으로 도 6에 도시된 바와 같이 정상 움직임 벡터에 의한 보상값(Motion-Compensated Pixel Value : MC-B+C/2)의 가중치 및 앞뒤 입력 영상의 픽셀 평균값(Temporal Averaging Value : TA-A+B/2)의 가중치를 다르게 적용하여 최종 보간 영상을 출력한다. 카운터(200-25)에서 출력되는 p 값이 크면(기준 범위를 초과하는 경우), 에러 픽셀이 많다는 의미이며, 이때에 제어부(200-26)는 앞뒤 입력 영상의 픽셀 평균값에 더 많은 가중치를 적용한다. p 값이 작으면(기준 범위 내에 있는 경우) 움직임 벡터에 의한 에러 픽셀이 적은 것이므로 움직임 벡터를 그대로 사용해도 된다고 가정하여, 제어부(200-26)는 움직임 벡터에 의한 보상값에 더 많은 가중치를 적용한다. 수학식 3은 제어부(200-26)에서 출력되는 최종 보간 영상을 출력하기 위해 가중치가 적용된 수학식이다.
[수학식 3]
수학식 3에서 MC는 움직임 벡터에 의해 이동된 픽셀 값이므로 이 값이 많이 반영될수록 또렷한 영상으로 합성된다. Temporal Avg값은 현재 픽셀 위치에서의 이전/현재 입력 영상 값인데, 이 값은 Temporal Blurring의 의미를 갖는다고 볼 수 있다.
이어서, 프레임 레이트 변환 방법을 설명한다.
움직임 추정부(200-1)는 이전 영상의 기준 블록(M×N)과 현재 영상의 서치 영역으로부터 매칭 에러가 가장 적은 움직임 벡터를 구한다. 움직임 벡터는 기준블록이 서치영역 내에서 움직인 거리가 움직임 벡터가 된다.
움직임 보상부(200-2)는 움직임 벡터의 불균일성(움직임 변화량(MV)) 및 DFD를 계산한다(700단계). 제1 검출부(200-21)는 기준 블록 단위의 움직임 벡터와 주변 움직임 벡터들을 비교하여 기준 블록단위의 움직임 벡터에 대한 불균일성을 검출하며 수학식 1에 나타나 있다. 움직임 벡터의 불균일성이 일정 기준값(제1 기준값)보다 작으면, 주변 움직임 벡터와 현재의 움직임 벡터가 대체로 일치한다고 볼 수 있으므로 신뢰할 수 있는 움직임 값으로 판단한다. 그러나, 움직임 벡터의 불균일성이 일정 기준값(제1 기준값)보다 크면, 주변 움직임 벡터와 현재의 움직임 벡터가 다른 것이므로 움직임 에러일 확률이 어느 정도 있는 것을 가정할 수 있다. 현재의 움직임 벡터가 움직임 에러일 확률이 어느 정도 있다면, 제2 검출부(200-22)는 움직임 벡터에 의해 기준 블록이 서치 영역 내에서 이동한 위치에서의 픽셀 차이값인 DFD 값을 검출하며 수학식 2에 나타나 있다. DFD 값은 기준 블록의 픽셀 단위로 계산하는데, DFD 값이 일정 기준값(제2 기준값) 보다 크면, 해당 픽셀을 에러로 간주하고, DFD 값이 일정 기준값(제2 기준값) 보다 작으면, 해당 픽셀을 정상 픽셀로 간주한다.
비교부(200-23)는 MV>Th1 & │DFD│>Th2 OR Eexr>0 인가를 판단한다(701단계). 기준 블록의 움직임 벡터에 대한 불균일성(MV)이 제1 기준값(Th1) 보다 크고, 상기 기준 블록이 상기 서치 영역 내에서 이동한 위치에서의 픽셀 차이값(│DFD│)이 제2 기준값(Th2) 보다 크거나 외부에서 입력되는 픽셀 에러 마크값(Eexr)이 0보다 큰 경우 보간될 영상의 픽셀에 에러가 발생되었다고 판단한다. 기준 블록의 움직임 벡터에 대한 불균일성(MV)이 제1 기준값(Th1) 보다 크고, 상기 기준 블록이 상기 서치 영역 내에서 이동한 위치에서의 픽셀 차이값(│DFD│)이 제2 기준값(Th2) 보다 크더라도, 외부에서 입력되는 픽셀 에러 마크 값(Eexr)이 0인 경우 보간될 영상의 픽셀은 정상 픽셀이라고 판단한다.
비교부(200-23)는 에러가 발생된 픽셀에 대해 소정의 값(예를 들어 1)을 지정한다(702단계)
비교부(200-23)는 에러가 발생되지 않은 픽셀에 대해 소정의 값(예를 들어 0)을 지정한다(703단계).
프레임 또는 필드 메모리(200-24)에 전체 영상 픽셀에 대해 지정된 픽셀 에러값을 저장한다(704단계).
카운터(200-25)는 프레임 또는 필드 메모리(200-24)에 저장된 전체 영상 픽셀에 대해 M×N 윈도우를 적용하고, M×N 윈도우 내에서 DFD 에러를 카운트한다(705단계). 카운트 결과 값을 p라고 가정한다. p값은 N×M 윈도우의 크기로 나뉘어져서 0≤p≤1의 범위를 갖는다.
제어부(200-26)는 p 값에 따라 MC/TA 픽셀값의 가중치를 변화시켜 새로 합성된 영상을 출력한다(706단계). 카운터(200-25)에서 출력되는 p 값이 크면(기준 범위를 초과하는 경우), 에러 픽셀이 많다는 의미이며, 이때에 제어부(200-26)는 앞뒤 입력 영상의 픽셀 평균값에 더 많은 가중치를 적용한다. p 값이 작으면(기준 범위 내에 있는 경우) 움직임 벡터에 의한 에러 픽셀이 적은 것이므로 움직임 벡터를 그대로 사용해도 된다고 가정하여, 제어부(200-26)는 움직임 벡터에 의한 보상값에 더 많은 가중치를 적용한다. 수학식 3에서 MC는 움직임 벡터에 의해 이동된 픽셀 값이므로 이 값이 많이 반영될수록 또렷한 영상으로 합성된다. Temporal Avg값은 현재 픽셀 위치에서의 이전/현재 입력 영상 값인데, 이 값은 Temporal Blurring의 의미를 갖는다고 볼 수 있다.
본 발명은 상술한 실시 예에 한정되지 않으며 본 발명의 사상 내에서 당업자에 의한 변형이 가능함은 물론이다.
상술한 바와 같이 본 발명에 따르면, 영상의 프레임 레이트 변환 시에 정상 움직임 벡터에 의해 보상된 영역과 에러가 발생된 움직임 벡터에 의해 출력되는 블록 경계에서 블록킹 아티팩트 없이 부드럽게 연결되어 출력 화면의 화질이 더욱 좋아지게 된다.

Claims (14)

  1. 입력되는 이전 영상의 기준 블록과 현재 영상의 탐색 영역으로부터 매칭 에러가 적은 기준 블록의 움직임 벡터를 추정하는 움직임 추정수단; 및
    상기 기준 블록의 움직임 벡터와 주변 움직임 벡터의 불균일성 조사, 상기 기준 블록이 상기 서치 영역 내에서 이동한 위치에서의 픽셀 차이값 조사 및 외부에서 입력되는 픽셀 에러 값에 따라 전체 영상의 픽셀 에러 유무를 판단하고, 상기 전체 영상을 소정 윈도우 내에서 에러 개수를 카운트하여 정상 움직임 벡터에 의한 보상값의 가중치 및 앞뒤 입력 영상의 픽셀 평균값의 가중치를 다르게 적용하여 새로 합성된 영상을 출력하는 움직임 보상수단을 포함하는 프레임 레이트 변환 장치.
  2. 제 1항에 있어서, 상기 움직임 보상수단은
    상기 기준 블록의 움직임 벡터와 주변 움직임 벡터들을 비교하여 상기 기준 블록의 움직임 벡터에 대한 불균일성을 검출하는 제1 검출부;
    상기 기준 블록이 상기 서치 영역 내에서 이동한 위치에서의 픽셀 차이값을검출하는 제2 검출부;
    상기 제1 검출부의 출력값, 상기 제2 검출부의 출력값 및 외부에서 입력되는 픽셀 에러 값을 비교하여 전체 영상의 픽셀 에러 유무를 출력하는 비교부; 및
    에러 유무가 판단된 상기 전체 영상의 픽셀에 소정의 윈도우를 적용하여 상기 윈도우 내의 에러 개수에 따라 정상 움직임 벡터에 의한 보상값의 가중치 및 앞뒤 입력 영상의 픽셀 평균값의 가중치를 다르게 적용하여 새로 합성된 영상을 출력하는 제어부를 포함하는 것을 특징으로 하는 프레임 레이트 변환 장치.
  3. 제 2항에 있어서,
    상기 비교부에서 출력되는 상기 전체 영상의 픽셀 에러 유무 값을 저장하는 저장부를 더 포함하는 것을 특징으로 하는 프레임 레이트 변환 장치.
  4. 제 3항에 있어서, 상기 저장부의 전체 영상 픽셀에 적용된 소정의 윈도우 내의 상기 에러 개수를 카운트하는 카운터를 더 포함하는 것을 특징으로 하는 프레임 레이트 변환 장치.
  5. 제 2항에 있어서, 상기 비교부는
    상기 기준 블록의 움직임 벡터에 대한 불균일성이 제1 기준값 보다 크고, 상기 기준 블록이 상기 서치 영역 내에서 이동한 위치에서의 픽셀 차이값이 제2 기준값 보다 크거나 외부에서 입력되는 픽셀 에러 값이 제3 기준값 보다 큰 경우 상기픽셀에 에러가 발생되었다고 판단하는 것을 특징으로 하는 프레임 레이트 변환 장치.
  6. 제 2항에 있어서, 상기 비교부는
    상기 기준 블록의 움직임 벡터에 대한 불균일성이 제1 기준값 보다 작거나 상기 기준 블록이 상기 서치 영역 내에서 이동한 위치에서의 픽셀 차이값이 제2 기준값 보다 작더라도, 외부에서 입력되는 픽셀 에러 값이 제3 기준 값보다 작은 경우 상기 픽셀은 정상 픽셀이라고 판단하는 것을 특징으로 하는 프레임 레이트 변환 장치.
  7. 제 2항에 있어서, 상기 제어부는
    상기 윈도우 내의 에러 개수가 일정 개수 이상이면, 상기 앞뒤 입력 영상의 픽셀 평균값에 더 많은 가중치를 적용하는 것을 특징으로 하는 프레임 레이트 변환 장치.
  8. 제 2항에 있어서, 상기 제어부는
    상기 윈도우 내의 에러 개수가 일정 개수 이하이면, 상기 정상 움직임 벡터에 의한 보상값에 더 많은 가중치를 적용하는 것을 특징으로 하는 프레임 레이트 변환 장치.
  9. (a) 입력되는 이전 영상의 기준 블록과 현재 영상의 탐색 영역으로부터 매칭 에러가 적은 기준 블록의 움직임 벡터를 추정하는 단계;
    (b) 상기 기준 블록의 움직임 벡터와 주변 움직임 벡터의 불균일성, 상기 기준 블록이 상기 서치 영역 내에서 이동한 위치에서의 픽셀 차이값 및 외부에서 입력되는 픽셀 에러 값에 따라 전체 영상의 픽셀 에러 유/무를 판단하는 단계; 및
    (d) 상기 에러 유무가 판단된 전체 영상 픽셀에 소정 윈도우를 적용하여 에러 개수를 카운트하고, 그 결과에 따라 정상 움직임 벡터에 의한 보상값의 가중치 및 앞뒤 입력 영상의 픽셀 평균값의 가중치를 다르게 적용하여 새로 합성된 영상을 출력하는 단계를 포함하는 프레임 레이트 변환 방법.
  10. 제 9항에 있어서,
    (c) 보간될 영상 전체의 픽셀 에러 유/무를 판단값을 저장하는 단계를 더 포함하는 것을 특징으로 하는 프레임 레이트 변환 방법.
  11. 제 9항에 있어서, 상기 (b)단계에서
    상기 기준 블록의 움직임 벡터에 대한 불균일성이 제1 기준값 보다 크고, 상기 기준 블록이 상기 서치 영역 내에서 이동한 위치에서의 픽셀 차이값이 제2 기준값 보다 크거나 외부에서 입력되는 픽셀 에러 값이 제3 기준값 보다 큰 경우 상기 픽셀에 에러가 발생되었다고 판단하는 것을 특징으로 하는 프레임 레이트 변환 방법.
  12. 제 9항에 있어서, 상기 (b)단계에서
    상기 기준 블록의 움직임 벡터에 대한 불균일성이 제1 기준값 보다 크고, 상기 기준 블록이 상기 서치 영역 내에서 이동한 위치에서의 픽셀 차이값이 제2 기준값 보다 크더라도, 외부에서 입력되는 픽셀 에러 값이 제3 기준값인 경우 상기 픽셀은 정상 픽셀이라고 판단하는 것을 특징으로 하는 프레임 레이트 변환 방법.
  13. 제 9항에 있어서, 상기 (d)단계에서
    상기 윈도우 내의 에러 개수가 일정 개수 이상이면, 상기 앞뒤 입력 영상의 픽셀 평균값에 더 많은 가중치를 적용하는 것을 특징으로 하는 프레임 레이트 변환 방법.
  14. 제 9항에 있어서, 상기 (d)단계에서
    상기 윈도우 내의 에러 개수가 일정 개수 이하이면, 상기 정상 움직임 벡터에 의한 보상값에 더 많은 가중치를 적용하는 것을 특징으로 하는 프레임 레이트 변환 방법.
KR10-2002-0084079A 2002-12-26 2002-12-26 프레임 레이트 변환 장치 및 방법 KR100532099B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR10-2002-0084079A KR100532099B1 (ko) 2002-12-26 2002-12-26 프레임 레이트 변환 장치 및 방법
AU2003264647A AU2003264647B2 (en) 2002-12-26 2003-12-02 Apparatus and method for converting frame rate
CNB2003101247357A CN1249994C (zh) 2002-12-26 2003-12-26 转换帧频的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0084079A KR100532099B1 (ko) 2002-12-26 2002-12-26 프레임 레이트 변환 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20040058391A true KR20040058391A (ko) 2004-07-05
KR100532099B1 KR100532099B1 (ko) 2005-11-29

Family

ID=34270557

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0084079A KR100532099B1 (ko) 2002-12-26 2002-12-26 프레임 레이트 변환 장치 및 방법

Country Status (3)

Country Link
KR (1) KR100532099B1 (ko)
CN (1) CN1249994C (ko)
AU (1) AU2003264647B2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100699261B1 (ko) * 2005-06-24 2007-03-27 삼성전자주식회사 움직임 에러 검출장치와 이를 포함하는 움직임 에러보정장치와 이에 의한 움직임 에러 검출방법 및 움직임에러 보정방법
KR101107256B1 (ko) * 2007-03-27 2012-01-19 삼성전자주식회사 모션 벡터에 기반한 적응적 프레임율 변환 방법 및 장치 및적응적 프레임율 변환 기능을 가지는 디스플레이 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2907301A1 (fr) 2006-10-12 2008-04-18 Thomson Licensing Sas Procede d'interpolation d'une image compensee en mouvement et dispositif pour la mise en oeuvre dudit procede
US20090153743A1 (en) * 2007-12-18 2009-06-18 Sony Corporation Image processing device, image display system, image processing method and program therefor
CN101969568B (zh) * 2010-11-16 2012-05-02 上海大学 面向帧速率上变换的运动估计方法
CN111046778B (zh) * 2019-12-06 2023-07-04 北京路通天元科技有限公司 一种c80车门状态智能识别及安全风险自动报警方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100255748B1 (ko) * 1997-07-19 2000-05-01 전주범 가중된 블럭 정합 알고리즘에 의한 움직임 추정 방법 및장치
KR100708091B1 (ko) * 2000-06-13 2007-04-16 삼성전자주식회사 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100699261B1 (ko) * 2005-06-24 2007-03-27 삼성전자주식회사 움직임 에러 검출장치와 이를 포함하는 움직임 에러보정장치와 이에 의한 움직임 에러 검출방법 및 움직임에러 보정방법
KR101107256B1 (ko) * 2007-03-27 2012-01-19 삼성전자주식회사 모션 벡터에 기반한 적응적 프레임율 변환 방법 및 장치 및적응적 프레임율 변환 기능을 가지는 디스플레이 장치
US8437398B2 (en) 2007-03-27 2013-05-07 Samsung Electronics Co., Ltd. Method and apparatus for adaptively converting frame rate based on motion vector, and display device with adaptive frame rate conversion function

Also Published As

Publication number Publication date
AU2003264647A1 (en) 2004-07-15
CN1249994C (zh) 2006-04-05
AU2003264647B2 (en) 2005-03-03
KR100532099B1 (ko) 2005-11-29
CN1512766A (zh) 2004-07-14

Similar Documents

Publication Publication Date Title
US8144778B2 (en) Motion compensated frame rate conversion system and method
US5784115A (en) System and method for motion compensated de-interlacing of video frames
KR101127220B1 (ko) 움직임 보상 적응형 순차주사화 장치 및 그 방법
US6141056A (en) System for conversion of interlaced video to progressive video using horizontal displacement
US20100271554A1 (en) Method And Apparatus For Motion Estimation In Video Image Data
US20060291561A1 (en) Motion error detector, motion error compensator comprising the same, and method for detecting and compensating motion error using the motion error compensator
US8340186B2 (en) Method for interpolating a previous and subsequent image of an input image sequence
US20050232357A1 (en) Motion vector estimation at image borders
KR20070069615A (ko) 움직임 추정장치 및 움직임 추정방법
KR20020064440A (ko) 영상 움직임 보상 장치 및 방법
JPH07105949B2 (ja) 画像の動きベクトル検出装置および揺れ補正装置
KR101000612B1 (ko) 신호 처리 장치 및 신호 처리 방법
GB2450121A (en) Frame rate conversion using either interpolation or frame repetition
US5793430A (en) Method and apparatus for correcting motion vectors
GB2480006A (en) Motion compensated video interpolation calculation that is time shifted (scaled) relative to desired output interpolation timings
KR20060093074A (ko) 전역 모션 적응성 디인터레이싱 방법 및 시스템
US20090115845A1 (en) Method and System for Inverse Telecine and Scene Change Detection of Progressive Video
KR100532099B1 (ko) 프레임 레이트 변환 장치 및 방법
US20120288001A1 (en) Motion vector refining apparatus
EP0647919B1 (en) Method and apparatus for correcting motion vectors
JPH08163573A (ja) 動きベクトル検出装置、およびこの装置を用いた順次走査変換装置
EP1870857A1 (en) Global motion estimation
US10587840B1 (en) Image processing method capable of deinterlacing the interlacing fields
JP2008109625A (ja) 画像表示装置及び方法、画像処理装置及び方法
KR20080032491A (ko) 움직임 추정장치 및 움직임 추정방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121030

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20131030

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20141030

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20151029

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20161028

Year of fee payment: 12

LAPS Lapse due to unpaid annual fee