KR101299196B1 - 동영상 신호의 프레임율을 증가 변환하기 위한 장치 및 그 방법 - Google Patents

동영상 신호의 프레임율을 증가 변환하기 위한 장치 및 그 방법 Download PDF

Info

Publication number
KR101299196B1
KR101299196B1 KR1020110094876A KR20110094876A KR101299196B1 KR 101299196 B1 KR101299196 B1 KR 101299196B1 KR 1020110094876 A KR1020110094876 A KR 1020110094876A KR 20110094876 A KR20110094876 A KR 20110094876A KR 101299196 B1 KR101299196 B1 KR 101299196B1
Authority
KR
South Korea
Prior art keywords
motion vector
interpolation
frame
block
flattened
Prior art date
Application number
KR1020110094876A
Other languages
English (en)
Other versions
KR20130031132A (ko
Inventor
선우명훈
김운섭
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020110094876A priority Critical patent/KR101299196B1/ko
Publication of KR20130031132A publication Critical patent/KR20130031132A/ko
Application granted granted Critical
Publication of KR101299196B1 publication Critical patent/KR101299196B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

본 발명에 의한 동영상 신호의 프레임율을 증가 변환하기 위한 장치 및 그 방법이 개시된다.
본 발명에 따른 동영상 신호의 프레임율을 증가 변환하기 위한 장치는 정방향 움직임 벡터 필드와 역방향 움직임 벡터 필드에 대하여 처리하고자 하는 블록의 예상 움직임 벡터를 구하고, 그 구한 예상 움직임 벡터를 이용하여 상기 정방향 움직임 벡터 필드와 상기 역방향 움직임 벡터 필드 각각에 대한 평탄화를 수행하여 평탄화된 정방향 움직임 벡터와 평탄화된 역방향 움직임 벡터를 구하는 평탄화 수행부; 상기 평탄화된 정방향 움직임 벡터와 상기 평탄화된 역방향 움직임 벡터에 대한 영상 보간을 각각 수행하여 정방향 보간 프레임과 역방향 보간 프레임을 생성하는 보간 수행부; 상기 정방향 보간 프레임과 상기 역방향 보간 프레임을 조합하는 프레임 조합부; 및 인트라 예측을 이용하여 조합된 하나의 보간 프레임에 대한 홀 보간을 수행하는 홀보간 수행부를 포함한다.
이를 통해, 본 발명은 효율적으로 아웃라이어(outlier)를 제외시킬 수 있고, 중첩영역에 의해 발생되는 블록화를 완화시킬 수 있으며, 물체의 경계나 특정 패턴이 있는 영역에서도 부드러운 보간을 수행할 수 있다.

Description

동영상 신호의 프레임율을 증가 변환하기 위한 장치 및 그 방법{APPARATUS FOR UP-CONVERTING FRAME RATE OF VIDEO SIGNAL AND METHOD THEREOF}
본 발명은 프레임율 증가 변환 방법에 관한 것으로, 특히, 이전에 연산된 주변 블록의 움직임 벡터 평탄화 결과를 이용하여 예상 움직임 벡터를 구하고 그 구한 예상 움직임 벡터를 이용하여 움직임 벡터를 평탄화할 수 있도록 하는 동영상 신호의 프레임율을 증가 변환하기 위한 장치 및 그 방법에 관한 것이다.
최근 디지털 디스플레이어와 멀티미디어 디바이스들의 발전 및 대중화는 디지털 영상의 종류와 다양한 영상 포맷의 급격한 발전을 불러 왔고 이러한 기술적 발전에 의해 다양한 양상 포맷들 사이에서의 효과적인 상호 변환 알고리즘이 중요 시 되고 있다. 더불어 무선 통신에서 대역폭(bandwidth)과 모바일 기기의 전력 한계에 의해 디지털 영상은 화질 열화에도 불구하고 제한된 데이터로 처리될 수밖에 없는 상황이며 이에 따라 영상의 화질을 높이기 위한 다양한 프레임율 증가 변환 알고리즘(frame rate up-conversion algorithm)이 개발되고 있다.
프레임율 증가 변환 알고리즘이란 영상을 구성하고 있는 프레임 사이에 새로운 프레임을 만들어 넣어 그 영상의 프레임 수를 증가 시키는 기술이다. 이 기술을 통해 영상의 움직임을 더욱 부드럽게 표현 할 수 있게 되는데 format conversion, low bit rate video coding, slow motion playback 등에서 많이 사용 되고 있으며 특히 LCD 모니터와 디지털 TV의 발전으로 근래에 크게 주목 받고 있다.
지금까지 많은 단방향 움직임 추정을 이용한 프레임율 증가 변환 알고리즘들이 소개 되어 왔다. 단방향 움직임 추정이란 코덱에서도 많이 사용 되는 일반적인 움직임 추정 방식으로 이를 사용 할 경우 중첩영역과 홀이 발생하게 되는데 이러한 문제를 다루기 위해 image and motion field segmentation 방법이 소개되기도 하였다. 이중 영상의 depth order를 결정해 보간 시 발생하는 중첩영역 문제를 해결 한 것들도 있으며 image inpainting 기법을 통한 보간 방법도 있다. 하지만 이러한 알고리즘들이 높은 영상 품질을 제공하는 대신 상당히 복잡한 연산을 필요로 한다.
중첩영역과 홀 문제를 해결하기 위한 또 다른 접근 방식으로 양방향 움직임 추정을 들 수 있다. 양방향 움직임 추정이란 새로 만들고자 하는 프레임을 기준으로 움직임 추정을 하는 방식으로 이 경우 중첩영역과 홀이 발생하지 않는 장점이 있다. 지금까지 양방향 움직임 추정을 사용한 알고리즘들이 많이 소개 되어 왔으나 이들은 존재하지 않는 프레임을 기준으로 움직임 추정을 하게 되므로 보간 된 영상의 화질이 떨어진다는 단점을 가지고 있다. 더불어 양방향 움직임 추정의 화질을 개선시키기 위해 OBMC(Overlapped Block Motion Compensation) 기법이 소개되기도 하였으나 연산량 및 연산 복잡도의 증가에 비해 영상의 화질 개선 정도가 상대적으로 적다.
이처럼 현재 제안되고 있는 프레임율 증가 변환 알고리즘들은 높은 성능을 얻기 위해 너무 복잡한 연산을 수행하거나 낮은 연산 복잡도를 가질 경우 성능이 크게 떨어지게 된다. 따라서 실제 어플리케이션에서 사용되어질 수 있는 낮은 연산 복잡도를 가지면서도 높은 성능을 보이는 새로운 프레임율 증가 변환 알고리즘이 필요하다.
따라서 이러한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 이전에 연산된 주변 블록의 움직임 벡터 평탄화 결과를 이용하여 예상 움직임 벡터를 구하고 그 구한 예상 움직임 벡터를 이용하여 움직임 벡터를 평탄화할 수 있도록 하는 동영상 신호의 프레임율을 증가 변환하기 위한 장치 및 그 방법을 제공하는데 있다.
또한, 본 발명의 다른 목적은 움직임 벡터를 통한 프레임 보간에 있어 화소 위치를 고려하여 선택적으로 평균 보간을 수행할 수 있도록 하는 동영상 신호의 프레임율을 증가 변환하기 위한 장치 및 그 방법을 제공하는데 있다.
또한, 본 발명의 또 다른 목적은 홀 보간 과정에서 수직, 수평, 좌하, 우하 네 가지 방향에 대한 주변 화소와의 연관성을 고려하여 홀 보간을 수행할 수 있도록 하는 동영상 신호의 프레임율을 증가 변환하기 위한 장치 및 그 방법을 제공하는데 있다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적들을 달성하기 위하여, 본 발명의 한 관점에 따른 동영상 신호의 프레임율을 증가 변환하기 위한 장치는 정방향 움직임 벡터 필드와 역방향 움직임 벡터 필드에 대하여 처리하고자 하는 블록의 예상 움직임 벡터를 구하고, 그 구한 예상 움직임 벡터를 이용하여 상기 정방향 움직임 벡터 필드와 상기 역방향 움직임 벡터 필드 각각에 대한 평탄화를 수행하여 평탄화된 정방향 움직임 벡터와 평탄화된 역방향 움직임 벡터를 구하는 평탄화 수행부; 상기 정방향 움직임 벡터와 상기 역방향 움직임 벡터에 대한 영상 보간을 각각 수행하여 정방향 보간 프레임과 역방향 보간 프레임을 생성하는 보간 수행부; 상기 정방향 보간 프레임과 상기 역방향 보간 프레임을 조합하는 프레임 조합부; 및 인트라 예측을 이용하여 조합된 하나의 보간 프레임에 대한 홀 보간을 수행하는 홀보간 수행부를 포함할 수 있다.
바람직하게, 상기 평탄화 수행부는 상기 정방향 움직임 벡터 필드와 상기 역방향 움직임 벡터 필드에 대하여 처리하고자 하는 블록의 주변 블록의 이전에 연산된 움직임 벡터 평탄화 결과를 평균하여 상기 예상 움직임 벡터를 구할 수 있다.
바람직하게, 상기 주변 불록은 상기 처리하고자 하는 블록의 좌측 블록, 상측 블록, 좌상측 블록을 포함할 수 있다.
바람직하게, 상기 평탄화 수행부는 상기 정방향 움직임 벡터 필드와 상기 역방향 움직임 벡터 필드에 대하여 처리하고자 하는 블록의 예상 움직임 벡터를 구하고, 구한 상기 예상 움직임 벡터와 가장 큰 차이가 나는 적어도 하나의 움직임 벡터를 주변 블록의 움직임 벡터들로부터 추출한 후 나머지 움직임 벡터를 평균하여 상기 평탄화된 정방향 움직임 벡터와 상기 평탄화된 역방향 움직임 벡터를 구할 수 있다.
바람직하게, 상기 보간 수행부는 상기 정방향 또는 상기 역방향 움직임 벡터에 의해 블록의 위치가 결정되고 중첩영역이 발생할 경우 처리하고자 하는 블록의 최외각 기 설정된 개수의 줄에 한하여 평균 보간을 수행할 수 있다.
바람직하게, 상기 홀보간 수행부는 상기 하나의 보간 프레임에서 처리하고자 하는 블록에서 홀인 부분과 화소가 있는 부분을 구분하고, 상기 화소가 있는 부분에 한하여 방향성별로 예측 화소와의 SAD(Sum of Absolute Difference) 값을 계산한 후 가장 작은 SAD 값을 갖는 방향을 그 블록의 방향성으로 결정하며, 결정된 상기 방향성에 따라 주변 화소들에 가중치를 적용하여 상기 홀 보간을 수행할 수 있다.
본 발명의 다른 한 관점에 따른 동영상 신호의 프레임율을 증가 변환하기 위한 장치는 정방향 움직임 벡터 필드와 역방향 움직임 벡터 필드에 대하여 처리하고자 하는 블록의 예상 움직임 벡터를 구하고, 그 구한 예상 움직임 벡터를 이용하여 상기 정방향 움직임 벡터 필드와 상기 역방향 움직임 벡터 필드 각각에 대한 평탄화를 수행하여 평탄화된 정방향 움직임 벡터와 평탄화된 역방향 움직임 벡터를 구하는 평탄화 수행부; 상기 정방향 움직임 벡터와 상기 역방향 움직임 벡터에 대한 영상 보간을 각각 수행하여 정방향 보간 프레임과 역방향 보간 프레임을 생성하는 보간 수행부; 상기 정방향 보간 프레임과 상기 역방향 보간 프레임을 조합하는 프레임 조합부; 및 조합된 하나의 보간 프레임에 대한 홀 보간을 수행하는 홀보간 수행부를 포함할 수 있다.
본 발명의 또 다른 한 관점에 따른 동영상 신호의 프레임율을 증가 변환하기 위한 방법은 (a)정방향 움직임 벡터 필드와 역방향 움직임 벡터 필드에 대하여 처리하고자 하는 블록의 예상 움직임 벡터를 구하고, 그 구한 예상 움직임 벡터를 이용하여 상기 정방향 움직임 벡터 필드와 상기 역방향 움직임 벡터 필드 각각에 대한 평탄화를 수행하여 평탄화된 정방향 움직임 벡터와 평탄화된 역방향 움직임 벡터를 구하는 단계; (b)상기 정방향 움직임 벡터와 상기 역방향 움직임 벡터에 대한 영상 보간을 각각 수행하여 정방향 보간 프레임과 역방향 보간 프레임을 생성하는 단계; (c)상기 정방향 보간 프레임과 상기 역방향 보간 프레임을 조합하는 단계; 및 (d)인트라 예측을 이용하여 조합된 하나의 보간 프레임에 대한 홀 보간을 수행하는 단계를 포함할 수 있다.
바람직하게, 상기 (a) 단계는 상기 정방향 움직임 벡터 필드와 상기 역방향 움직임 벡터 필드에 대하여 처리하고자 하는 블록의 주변 블록의 이전에 연산된 움직임 벡터 평탄화 결과를 평균하여 상기 예상 움직임 벡터를 구할 수 있다.
바람직하게, 상기 주변 불록은 상기 처리하고자 하는 블록의 좌측 블록, 상측 블록, 좌상측 블록을 포함할 수 있다.
바람직하게, 상기 (a) 단계는 상기 정방향 움직임 벡터 필드와 상기 역방향 움직임 벡터 필드에 대하여 처리하고자 하는 블록의 예상 움직임 벡터를 구하고, 구한 상기 예상 움직임 벡터와 가장 큰 차이가 나는 적어도 하나의 움직임 벡터를 주변 블록의 움직임 벡터들로부터 추출한 후 나머지 움직임 벡터를 평균하여 상기 평탄화된 정방향 움직임 벡터와 상기 평탄화된 역방향 움직임 벡터를 구할 수 있다.
바람직하게, 상기 (b) 단계는 상기 정방향 또는 상기 역방향 움직임 벡터에 의해 블록의 위치가 결정되고 중첩영역이 발생할 경우 처리하고자 하는 블록의 최외각 기 설정된 개수의 줄에 한하여 평균 보간을 수행할 수 있다.
바람직하게, 상기 (d) 단계는 상기 하나의 보간 프레임에서 처리하고자 하는 블록에서 홀인 부분과 화소가 있는 부분을 구분하고, 상기 화소가 있는 부분에 한하여 방향성별로 예측 화소와의 SAD(Sum of Absolute Difference) 값을 계산한 후 가장 작은 SAD 값을 갖는 방향을 그 블록의 방향성으로 결정하며, 결정된 상기 방향성에 따라 주변 화소들에 가중치를 적용하여 상기 홀 보간을 수행할 수 있다.
본 발명의 또 다른 한 관점에 따른 동영상 신호의 프레임율을 증가 변환하기 위한 방법은 (a)정방향 움직임 벡터 필드와 역방향 움직임 벡터 필드에 대하여 처리하고자 하는 블록의 예상 움직임 벡터를 구하고, 그 구한 예상 움직임 벡터를 이용하여 상기 정방향 움직임 벡터 필드와 상기 역방향 움직임 벡터 필드 각각에 대한 평탄화를 수행하여 평탄화된 정방향 움직임 벡터와 평탄화된 역방향 움직임 벡터를 구하는 단계; (b)상기 정방향 움직임 벡터와 상기 역방향 움직임 벡터에 대한 영상 보간을 각각 수행하여 정방향 보간 프레임과 역방향 보간 프레임을 생성하는 단계; (c)상기 정방향 보간 프레임과 상기 역방향 보간 프레임을 조합하는 단계; 및 (d)조합된 하나의 보간 프레임에 대한 홀 보간을 수행하는 단계를 포함할 수 있다.
이를 통해, 본 발명은 이전에 연산된 주변 블록의 움직임 벡터 평탄화 결과를 이용하여 예상 움직임 벡터를 구하고 그 구한 예상 움직임 벡터를 이용하여 움직임 벡터를 평탄화함으로써, 효율적으로 아웃라이어(outlier)를 제외시킬 수 있는 효과가 있다.
또한, 본 발명은 움직임 벡터를 통한 프레임 보간에 있어 화소 위치를 고려하여 선택적으로 평균 보간을 수행함으로써, 중첩영역에 의해 발생되는 블록화를 완화시킬 수 있는 효과가 있다.
또한, 본 발명은 홀 보간 과정에서 수직, 수평, 좌하, 우하 네 가지 방향에 대한 주변 화소와의 연관성을 고려하여 홀 보간을 수행함으로써, 물체의 경계나 특정 패턴이 있는 영역에서도 부드러운 보간을 수행할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 프레임율을 증가 변환하기 위한 방법을 나타내는 예시도이다.
도 2는 본 발명의 실시예에 따른 정방향 움직임 추정과 역방향 움직임 추정을 보여주는 예시도이다.
도 3은 본 발명의 실시예에 따른 예상 움직임 벡터를 구하는 원리를 설명하기 위한 예시도이다.
도 4는 본 발명의 실시예에 따른 움직임 벡터 평탄화를 수행하는 원리를 설명하기 위한 예시도이다.
도 5는 본 발명의 실시예에 따른 중첩영역 화소 보간을 수행하는 원리를 설명하기 위한 예시도이다.
도 6은 본 발명의 실시예에 따른 블록 내 평균 보간의 적용 위치를 나타내는 예시도이다.
도 7은 본 발명의 실시예에 따른 프레임 조합 전후의 홀을 비교하기 위한 예시도이다.
도 8은 본 발명의 실시예에 따른 인트라 예측을 위한 화소들의 위치를 나타내는 예시도이다.
도 9는 본 발명의 실시예에 따른 원본 블록과 예측된 블록을 나타내는 예시도이다.
도 10은 본 발명의 실시예에 따른 가중치 평균을 통한 홀 보간을 설명하기 위한 예시도이다.
도 11은 본 발명의 실시예에 따른 메디안 필터와 제안한 알고리즘을 비교하기 위한 예시도이다.
도 12는 본 발명의 실시예에 따른 프레임율을 증가 변환하기 위한 장치를 나타내는 예시도이다.
이하에서는, 본 발명의 실시예에 따른 동영상 신호의 프레임율을 증가 변환하기 위한 장치 및 그 방법을 첨부한 도 1 내지 도 12를 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 상세히 설명한다. 명세서 전체를 통하여 각 도면에서 제시된 동일한 참조 부호는 동일한 구성 요소를 나타낸다.
본 발명에서는 1)이전에 연산된 주변 블록의 움직임 벡터 평탄화 결과를 이용하여 예상 움직임 벡터를 구하고 그 구한 예상 움직임 벡터를 이용하여 움직임 벡터를 평탄화하고, 2)움직임 벡터를 통한 프레임 보간에 있어 화소 위치를 고려하여 선택적으로 평균 보간을 수행하며, 3)홀 보간 과정에서 수직, 수평, 좌하, 우하 네가지 방향에 대한 주변 화소와의 연관성을 고려하여 홀 보간을 수행하여 낮은 연산 복잡도를 가지면서도 높은 성능을 보이는 새로운 알고리즘을 제안한다.
도 1은 본 발명의 실시예에 따른 프레임율을 증가 변환하기 위한 방법을 나타내는 예시도이다.
도 1에 도시한 바와 같이, 본 발명에 따른 프레임율을 증가 변환하기 위한 장치(이하 변환 장치라고 한다)는 프레임으로부터 정방향 움직임 벡터 필드(forward motion vector field)와 역방향 움직임 벡터 필드(backward motion vector field)를 구할 수 있다(S110).
이때, 본 발명은 높은 품질의 영상을 얻기 위해 단방향 움직임 추정을 이용하고 더불어 보다 정확한 움직임 추정 결과를 구하고 발생하는 홀의 개수를 줄이기 위해 정방향 움직임 추정과 역방향 움직임 추정을 조합하여 사용할 수 있다.
도 2는 본 발명의 실시예에 따른 정방향 움직임 추정과 역방향 움직임 추정을 보여주는 예시도이다.
도 2에 도시한 바와 같이, 그림 (a)에서처럼 정방향 움직임 추정은 현재의 프레임(current frame)에 속하는 블록을 참조 프레임(reference frame)에서 찾는 것이고, 그림 (b)에서처럼 역방향 움직임 추정은 참조 프레임에 속하는 블록을 현재의 프레임에서 찾는 것임을 알 수 있다.
다음으로, 변환 장치는 정방향 움직임 벡터 필드와 역방향 움직임 벡터 필드 각각에 대한 평탄화를 수행하여 정방향 또는 역방향 움직임 벡터를 구할 수 있다(S120). 먼저, 변환 장치는 처리하고자 하는 블록의 예상 움직임 벡터를 구하게 되는데, 이는 움직임을 반영하는 실제 움직임 벡터가 주변 블록의 움직임 벡터와 유사하다는 성질을 이용하기 위함이다.
이때 주변 블록의 움직임 벡터를 이용함에 있어 이용되는 주변 블록이 잘못된 움직임 벡터를 가지고 있을 수도 있기 때문에 이들을 제한할 수 있어야 한다. 이를 위해, 본 발명은 이전에 연산된 주변 블록의 움직임 벡터 평탄화 결과를 이용하게 된다.
도 3은 본 발명의 실시예에 따른 예상 움직임 벡터를 구하는 원리를 설명하기 위한 예시도이다.
도 3에 도시한 바와 같이, 본 발명에 따른 변환 장치는 현재 처리하고 있는 블록 V0의 좌측, 상측, 좌상측 블록의 움직임 벡터 평탄화 결과를 평균하여 예상 움직임 벡터 Vpre를 구하게 된다. 여기서, V0는 현재 처리하고 있는 블록의 움직임 벡터이고, V1', V2', V4'은 각각 V1, V2, V3의 움직임 벡터 평탄화의 결과이다.
변환 장치는 현재 처리 블록과 주변 블록들 중에서 잘못된 움직임 벡터들을 제외시키기 위하여, 구한 예상 움직임 벡터와 가장 큰 차이가 나는 5개의 움직임 벡터를 추출하고 나머지 4개의 움직임 벡터를 평균하여 움직임 벡터를 구하게 된다.
도 4는 본 발명의 실시예에 따른 움직임 벡터 평탄화를 수행하는 원리를 설명하기 위한 예시도이다.
도 4에 도시한 바와 같이, V0는 현재 처리하고 있는 블록의 움직임 벡터를 나타내고 V1~V8은 그 주변 블록의 움직임 벡터를 나타내며, Vpre는 예상 움직임 벡터를 나타낼 수 있다.
전체 움직임 벡터 V0~V8 중에서 움직임 벡터 V2, V3, V5, V6, V7은 예상 움직임 벡터 Vpre와의 차가 커서 평균 연산에서 제외되기 때문에 나머지 움직임 벡터 V0, V1, V4, V8가 움직임 벡터 평탄화를 위한 후보들로 선정될 수 있다. 따라서 움직임 벡터 V0, V1, V4, V8를 평균하여 평탄화된 정방향 또는 역방향 움직임 벡터 Vrefine을 구하게 된다.
다음으로, 변환 장치는 정방향 움직임 벡터 필드와 역방향 움직임 벡터 필드 각각으로부터 구한 평탄화된 정방향 움직임 벡터와 평탄화된 역방향 움직임 벡터에 대한 영상 보간을 각각 수행하여 정방향 보간 프레임과 역방향 보간 프레임을 생성할 수 있다(S130).
먼저, 예비 정방향 보간 프레임과 예비 역방향 보간 프레임을 구하는 식은 다음의 [수학식 1], [수학식 2]와 같이 나타낼 수 있다.
[수학식 1]
Figure 112011073236681-pat00001
[수학식 2]
Figure 112011073236681-pat00002
여기서, Ffi는 정방향 보간 프레임을 나타내고, (x,y)는 화소(pixel)의 공간 좌표를 나타낼 수 있다. 또한 정방향 보간 프레임의 화소 Ffi(x,y)에서
Figure 112011073236681-pat00003
는 현재 프레임 화소를 나타내고
Figure 112011073236681-pat00004
는 참조 프레임 화소를 나타낼 수 있다. 또한 역방향 보간 프레임의 화소 Fbi(x,y)에서
Figure 112011073236681-pat00005
는 현재 프레임 화소를 나타내고
Figure 112011073236681-pat00006
는 참조 프레임 화소를 나타낼 수 있다.
이때, 정방향 보간 프레임의 화소 Ffi(x,y)는 현재 프레임의 화소와 참조 프레임의 화소의 평균으로 구하게 되고, 마찬가지로 역방향 보간 프레임의 화소 Fbi(x,y)도 현재 프레임의 화소와 참조 프레임의 화소의 평균으로 구하게 된다.
이때, 중첩 영역에 의한 화질 열화를 완화하기 위하여 이미지 복원 단계에서 화소의 위치를 고려하여 평균 보간을 하게 되는데, 이를 도 5 내지 도 6을 참조하여 설명한다.
도 5는 본 발명의 실시예에 따른 중첩영역 화소 보간을 수행하는 원리를 설명하기 위한 예시도이고, 도 6은 본 발명의 실시예에 따른 블록 내 평균 보간의 적용 위치를 나타내는 예시도이다.
도 5를 참조하면, 움직임 벡터에 의해 블록 A의 위치가 결정되고 중첩영역이 발생할 경우 최외각 두 개 줄에 한하여 평균 보간을 수행하게 된다. 즉, 빗금친 부분이 평균에 의해 보간되는 영역을 보여주고 있다.
또한, 도 6에서는 8X8 블록 내에서 평균 연산이 적용되는 위치를 보여주고 있다.
이때, 본 발명은 최외각 두 개 줄에 한하여 평균 보간을 수행하고 있지만 반드시 이에 한정되지 않고 필요에 따라 최외각 한 개 줄 이상에 한하여 평균 보간을 수행할 수 있다.
따라서 정방향 보간 프레임과 역방향 보간 프레임은 다음의 [수학식 3], [수학식 4]과 같이 다시 정리할 수 있다.
[수학식 3]
Figure 112011073236681-pat00007
[수학식 4]
Figure 112011073236681-pat00008
여기서, O는 평균 연산 범위 즉, 블록 내 최외각 줄의 개수를 나타낼 수 있다.
정방향 보간 프레임의 화소 Ff(x,y)는 [수학식 1]에서 보간된 화소 Ff1(x,y)와 이전 연산에서 구하여 위치가 결정된 화소 Ff2(x,y)를 이용하여 구하게 되는데, Ff1(x,y)가 도 6의 빗금친 부분인 평균 연산 범위 O에 포함될 경우 Ff1(x,y)와 Ff2(x,y)를 평균하게 되고, 그렇지 않을 경우 Ff1(x,y)을 사용하게 된다.
또한, 역방향 보간 프레임의 화소 Fb(x,y)도 동일하게 구하게 된다.
다음으로, 변환 장치는 정방향 보간 프레임과 역방향 보간 프레임을 조합할 수 있다(S140). 정방향 보간 프레임과 역방향 보간 프레임을 합하여 만든 하나의 보간 프레임은 다음의 [수학식 5]와 같이 나타낼 수 있다.
[수학식 5]
Figure 112011073236681-pat00009
여기서, Fi(x,y)는 조합된 보간 프레임의 화소를 나타내며, Ff(x,y)와 Fb(x,y)는 각각 정방향 보간 프레임의 화소와 역방향 보간 프레임의 화소를 각각 나타낼 수 있다.
즉, 만약 정방향 보간 프레임과 역방향 보간 프레임의 같은 위치에 해당하는 화소들이 모두 홀(hole)이 아니라면 Ff(x,y)와 Fb(x,y)를 평균하게 된다. 만약 두 개의 화소 중 어느 하나가 홀인 경우는 홀이 아닌 화소 Ff(x,y) 또는 Fb(x,y)를 선택하게 된다. 그리고 만약 두 개의 화소 모두 홀이라면 그 화소는 홀로 남겨두게 된다.
이렇게 두 개의 프레임을 조합할 경우 홀의 발생 빈도를 감소시킬 수 있다.
도 7은 본 발명의 실시예에 따른 프레임 조합 전후의 홀을 비교하기 위한 예시도이다.
도 7에 도시한 바와 같이, 좌측에서는 프레임 조합 전 정방향 보간 프레임의 결과를 보여주고 우측에서는 정방향 보간 프레임과 역방향 보간 프레임의 조합 후 결과를 보여주고 있다. 그 그림들에서 흰색으로 보이는 불규칙한 선들과 점들이 홀이며 조합 전후를 비교하였을 때 홀의 개수가 상당히 줄어드는 것을 확인할 수 있다.
다음으로, 변환 장치는 인트라 예측(intra prediction)을 이용하여 조합된 하나의 보간 프레임에 대한 홀 보간을 수행할 수 있다(S150). 즉, 변환 장치는 보간 프레임을 구성하는 블록의 수직(vertical), 수평(horizontal), 좌하(down left), 우하(down right) 네가지 방향에 대한 주변 화소와의 연관성을 고려하여 홀 보간을 수행하게 된다.
먼저, 변환 장치는 처리하고자 하는 블록에서 홀인 부분과 화소가 있는 부분을 구분하고, 홀이 아닌 부분에 한하여 방향성별로 예측 화소와의 SAD(Sum of Absolute Difference) 값을 계산한 후 가장 작은 SAD 값을 갖는 방향을 그 블록의 방향성으로 결정하게 된다.
도 8은 본 발명의 실시예에 따른 인트라 예측을 위한 화소들의 위치를 나타내는 예시도이다.
도 8에 도시한 바와 같이, 참조 화소들과 예측 화소들의 위치를 보여주고 있으며, 여기서 M, u0 ~ u7, I0 ~ I3은 인트라 예측을 위한 참조 화소들이고 a ~ p는 참조 화소들에 의해 만들어지는 예측화소들을 나타낼 수 있다.
이러한 참조 화소들을 이용하여 구한 예측 화소들 즉, 수직 방향의 예측화소 PV-pre, 수평 방향의 예측 화소 PH-pre, 좌하 방향의 예측 화소 PDL-pre, 우하 방향의 예측 화소 PDR-pre은 다음의 [수학식 6] ~ [수학식 9]과 같이 나타낼 수 있다.
[수학식 6]
Figure 112011073236681-pat00010
[수학식 7]
Figure 112011073236681-pat00011
[수학식 8]
Figure 112011073236681-pat00012
[수학식 9]
Figure 112011073236681-pat00013
이때, PV-pre는 u0 ~ u3의 값을 수직 방향으로 복사하여 a ~ p를 만들고, PH-pre는 I0 ~ I3의 값을 수평 방향으로 복사하여 만들며, PDL-pre은 좌하 방향으로 u0 ~ u7과 I0 ~ I3의 평균을 적용하여 a ~ p를 만들며, PDR-pre는 우하 방향으로 u0 ~ u7과 I0 ~ I3의 평균을 적용하여 a ~ p를 만들게 된다.
각 방향성마다 이렇게 구한 예측화소와 홀이 아닌 부분의 SAD 값을 구하게 된다.
도 9는 본 발명의 실시예에 따른 원본 블록과 예측된 블록을 나타내는 예시도이다.
도 9에 도시한 바와 같이, 두 개의 홀을 가지고 있는 경우를 보여주고 있다. 여기에서 빗금친 a'~ p'은 원본 블록에서 값을 가지고 있는 화소들을 나타내고 있다. 각 방향성마다 원본 화소 a'~ p'과 예측 화소 a ~ p의 차이를 더하여 SAD 값 즉, 수직 방향의 SADv, 수평 방향의 SADh, 좌하 방향의 SADdl, 우하 방향의 SADdr을 구하게 된다.
SADv, SADh, SADdl, SADdr는 다음의 [수학식 10] 내지 [수학식 13]과 같이 각각 나타낼 수 있다.
[수학식 10]
Figure 112011073236681-pat00014
[수학식 11]
Figure 112011073236681-pat00015
[수학식 12]
Figure 112011073236681-pat00016
[수학식 13]
Figure 112011073236681-pat00017
여기서, P(i,j)는 원본 블록에서 홀이 아닌 화소를 나타내고, PV-pre(i,j), PH-pre(i,j), PDL-pre(i,j), PDR-pre(i,j)는 예측 화소들을 나타내고 있다.
이렇게 구한 SADv, SADh, SADdl, SADdr 중 최소값을 가지는 방향을 블록의 최종 방향성으로 선택하게 되는데, 이를 다음의 [수학식 14]와 같이 나타낼 수 있다.
[수학식 14]
Figure 112011073236681-pat00018
이후, 이렇게 블록의 방향성이 결정되면, 변환 장치는 결정된 방향성에 따라 주변 화소들에 가중치를 적용하여 홀 보간을 수행하게 된다. 이를 도 10을 참조하여 설명한다.
도 10은 본 발명의 실시예에 따른 가중치 평균을 통한 홀 보간을 설명하기 위한 예시도이다.
도 10에 도시한 바와 같이, 블록 H의 방향성이 수평일 경우 홀을 보간할 값은 주변 화소들 f'~ p'의 평균으로 구할 수 있는데, 홀을 보간할 값 H는 다음의 [수학식 15]와 같이 나타낼 수 있다.
[수학식 15]
Figure 112011073236681-pat00019
여기서, W는 평균화를 위한 변수를 나타낼 수 있다. 이때, 수평 방향에 있는 화소들 j'과 I'은 가중치 4가 곱해지게 되는데, 반드시 이에 한정되고 필요에 따라 변경될 수 있다.
이처럼 인트라 예측을 이용한 홀의 보간 방식은 물체의 경계면이나 특정 패턴이 있는 곳에서 탁월한 효과를 보이게 되는데, 이를 도 11을 참조하여 설명한다.
도 11은 본 발명의 실시예에 따른 메디안 필터와 제안한 알고리즘을 비교하기 위한 예시도이다.
도 11에 도시한 바와 같이, 352X288 크기의 고속도로 영상이며 일반 메디안 필터(median filter) 적용시와 제안 알고리즘 적용시의 차이를 보여주고 있다. 특히, 그림에서 동그라미로 표시한 부분이 경계가 있는 곳을 보간한 것인데, (a)일반 메디안 필터를 적용한 경우에는 아래 방향으로 색이 침투하는 것을 확인할 수 있는데, (b)제안 알고리즘을 적용한 경우 에는 색 침투 현상이 확연히 줄어듦을 볼 수 있다.
도 12는 본 발명의 실시예에 따른 프레임율을 증가 변환하기 위한 장치를 나타내는 예시도이다.
도 12에 도시한 바와 같이, 본 발명에 따른 프레임율을 증가 변환하기 위한 장치는 필드 획득부(100), 평탄화 수행부(200), 보간 수행부(300), 프레임 조합부(400), 및 홀보간 수행부(500) 등을 포함하여 구성될 수 있다.
필드 획득부(100)는 프레임으로부터 정방향 움직임 벡터 필드와 역방향 움직임 벡터 필드를 구할 수 있다.
평탄화 수행부(200)는 정방향 움직임 벡터 필드와 역방향 움직임 벡터 필드 각각에 대한 평탄화를 수행하여 평탄화된 정방향 및 역방향 움직임 벡터를 구할 수 있다. 구체적으로, 평탄화 수행부(200)는 정방향 움직임 벡터 필드 또는 역방향 움직임 벡터 필드에 대하여 처리하고자 하는 블록의 예상 움직임 벡터를 구하고, 그 구한 예상 움직임 벡터와 가장 큰 차이가 나는 적어도 하나의 움직임 벡터를 주변 블록의 움직임 벡터들로부터 추출한 후 나머지 움직임 벡터를 평균하여 평탄화된 정??향 및 역방향 움직임 벡터를 구하게 된다.
보간 수행부(300)는 정방향 움직임 벡터 필드와 역방향 움직임 벡터 필드 각각으로부터 구한 평탄화된 정방향 움직임 벡터와 평탄화된 역방향 움직임 벡터에 대한 영상 보간을 각각 수행하여 정방향 보간 프레임과 역방향 보간 프레임을 생성할 수 있다. 이때, 보간 수행부(300)는 움직임 벡터에 의해 블록의 위치가 결정되고 중첩영역이 발생할 경우 처리하고자 하는 블록의 최외각 기 설정된 개수의 줄에 한하여 평균 보간을 수행하게 된다.
프레임 조합부(400)는 정방향 보간 프레임과 역방향 보간 프레임을 조합할 수 있다. 이때, 1)프레임 조합부(400)는 만약 정방향 보간 프레임과 역방향 보간 프레임의 같은 위치에 해당하는 화소들이 모두 홀이 아니라면 정방향 보간 프레임의 화소와 역방향 보간 프레임의 화소를 평균하게 된다. 2)프레임 조합부(400)는 만약 두 개의 화소 중 어느 하나가 홀인 경우는 홀이 아닌 정방향 보간 프레임의 화소 또는 역방향 보간 프레임을 선택하게 된다. 그리고 3)프레임 조합부(400)는 만약 두 개의 화소 모두 홀이라면 그 화소는 홀로 그대로 남겨두게 된다.
홀보간 수행부(500)는 인트라 예측을 이용하여 조합된 하나의 보간 프레임에 대한 홀 보간을 수행할 수 있다. 구체적으로, 홀보간 수행부(500)는 처리하고자 하는 블록에서 홀인 부분과 화소가 있는 부분을 구분하고, 홀이 아닌 부분 즉, 화소가 있는 부분에 한하여 방향성별로 예측 화소와의 SAD 값을 계산한 후 가장 작은 SAD 값을 갖는 방향을 그 블록의 방향성으로 결정하게 된다. 그리고 홀보간 수행부(500)는 결정된 방향성에 따라 주변 화소들에 가중치를 적용하여 홀 보간을 수행하게 된다.
본 발명에 의한 동영상 신호의 프레임율을 증가 변환하기 위한 장치 및 그 방법이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 필드 획득부
200: 평탄화 수행부
300: 보간 수행부
400: 프레임 조합부
500: 홀보간 수행부

Claims (14)

  1. 정방향 움직임 벡터 필드와 역방향 움직임 벡터 필드에 대하여 처리하고자 하는 블록의 예상 움직임 벡터를 구하고, 그 구한 예상 움직임 벡터를 이용하여 상기 정방향 움직임 벡터 필드와 상기 역방향 움직임 벡터 필드 각각에 대한 평탄화를 수행하여 평탄화된 정방향 움직임 벡터와 평탄화된 역방향 움직임 벡터를 구하는 평탄화 수행부;
    상기 평탄화된 정방향 움직임 벡터와 상기 평탄화된 역방향 움직임 벡터 각각에 대한 보간을 수행하여 정방향 보간 프레임과 역방향 보간 프레임을 생성하는 보간 수행부;
    상기 정방향 보간 프레임과 상기 역방향 보간 프레임을 조합하는 프레임 조합부; 및
    인트라 예측을 이용하여 조합된 하나의 보간 프레임에 대한 홀 보간을 수행하는 홀보간 수행부;
    를 포함하는 동영상 신호의 프레임율을 증가 변환하기 위한 장치.
  2. 제1 항에 있어서,
    상기 평탄화 수행부는,
    상기 정방향 움직임 벡터 필드와 상기 역방향 움직임 벡터 필드에 대하여 처리하고자 하는 블록의 주변 블록의 이전에 연산된 움직임 벡터 평탄화 결과를 평균하여 상기 예상 움직임 벡터를 구하는 것을 특징으로 하는 동영상 신호의 프레임율을 증가 변환하기 위한 장치.
  3. 제2 항에 있어서,
    상기 주변 불록은, 상기 처리하고자 하는 블록의 좌측 블록, 상측 블록, 좌상측 블록인 것을 특징으로 하는 동영상 신호의 프레임율을 증가 변환하기 위한 장치.
  4. 제1 항에 있어서,
    상기 평탄화 수행부는,
    상기 정방향 움직임 벡터 필드와 상기 역방향 움직임 벡터 필드에 대하여 처리하고자 하는 블록의 예상 움직임 벡터를 구하고, 구한 상기 예상 움직임 벡터와 가장 큰 차이가 나는 적어도 하나의 움직임 벡터를 주변 블록의 움직임 벡터들로부터 추출한 후 나머지 움직임 벡터를 평균하여 상기 평탄화된 정방향 움직임 벡터와 상기 평탄화된 역방향 움직임 벡터를 구하는 것을 특징으로 하는 동영상 신호의 프레임율을 증가 변환하기 위한 장치.
  5. 제1 항에 있어서,
    상기 보간 수행부는,
    상기 정방향 또는 상기 역방향 움직임 벡터에 의해 블록의 위치가 결정되고 중첩영역이 발생할 경우 처리하고자 하는 블록 내 기 설정된 개수의 최외각 화소에 한하여 평균 보간을 수행하는 것을 특징으로 하는 동영상 신호의 프레임율을 증가 변환하기 위한 장치.
  6. 제1 항에 있어서,
    상기 홀보간 수행부는,
    상기 하나의 보간 프레임에서 처리하고자 하는 블록에서 홀인 부분과 화소가 있는 부분을 구분하고, 상기 화소가 있는 부분에 한하여 방향성별로 예측 화소와의 SAD(Sum of Absolute Difference) 값을 계산한 후 가장 작은 SAD 값을 갖는 방향을 그 블록의 방향성으로 결정하며,
    결정된 상기 방향성에 따라 주변 화소들에 가중치를 적용하여 상기 홀 보간을 수행하는 것을 특징으로 하는 동영상 신호의 프레임율을 증가 변환하기 위한 장치.
  7. 정방향 움직임 벡터 필드와 역방향 움직임 벡터 필드에 대하여 처리하고자 하는 블록의 예상 움직임 벡터를 구하고, 그 구한 예상 움직임 벡터를 이용하여 상기 정방향 움직임 벡터 필드와 상기 역방향 움직임 벡터 필드 각각에 대한 평탄화를 수행하여 평탄화된 정방향 움직임 벡터와 평탄화된 역방향 움직임 벡터를 구하는 평탄화 수행부;
    상기 평탄화된 정방향 움직임 벡터와 상기 평탄화된 역방향 움직임 벡터 각각에 대한 보간을 수행하여 정방향 보간 프레임과 역방향 보간 프레임을 생성하는 보간 수행부;
    상기 정방향 보간 프레임과 상기 역방향 보간 프레임을 조합하는 프레임 조합부; 및
    조합된 하나의 보간 프레임에 대한 홀 보간을 수행하는 홀보간 수행부;
    를 포함하는 동영상 신호의 프레임율을 증가 변환하기 위한 장치.
  8. (a)정방향 움직임 벡터 필드와 역방향 움직임 벡터 필드에 대하여 처리하고자 하는 블록의 예상 움직임 벡터를 구하고, 그 구한 예상 움직임 벡터를 이용하여 평탄화된 정방향 움직임 벡터와 평탄화된 역방향 움직임 벡터를 구하는 단계;
    (b)상기 평탄화된 정방향 움직임 벡터와 상기 평탄화된 역방향 움직임 벡터 각각에 대한 보간을 수행하여 정방향 보간 프레임과 역방향 보간 프레임을 생성하는 단계;
    (c)상기 정방향 보간 프레임과 상기 역방향 보간 프레임을 조합하는 단계; 및
    (d)인트라 예측을 이용하여 조합된 하나의 보간 프레임에 대한 홀 보간을 수행하는 단계;
    를 포함하는 동영상 신호의 프레임율을 증가 변환하기 위한 방법.
  9. 제8 항에 있어서,
    상기 (a) 단계는,
    상기 정방향 움직임 벡터 필드와 상기 역방향 움직임 벡터 필드에 대하여 처리하고자 하는 블록의 주변 블록의 이전에 연산된 움직임 벡터 평탄화 결과를 평균하여 상기 예상 움직임 벡터를 구하는 것을 특징으로 하는 동영상 신호의 프레임율을 증가 변환하기 위한 방법.
  10. 제9 항에 있어서,
    상기 주변 불록은, 상기 처리하고자 하는 블록의 좌측 블록, 상측 블록, 좌상측 블록인 것을 특징으로 하는 동영상 신호의 프레임율을 증가 변환하기 위한 방법.
  11. 제8 항에 있어서,
    상기 (a) 단계는,
    상기 정방향 움직임 벡터 필드와 상기 역방향 움직임 벡터 필드에 대하여 처리하고자 하는 블록의 예상 움직임 벡터를 구하고, 구한 상기 예상 움직임 벡터와 가장 큰 차이가 나는 적어도 하나의 움직임 벡터를 주변 블록의 움직임 벡터들로부터 추출한 후 나머지 움직임 벡터를 평균하여 상기 평탄화된 정방향 움직임 벡터와 상기 평탄화된 역방향 움직임 벡터를 구하는 것을 특징으로 하는 동영상 신호의 프레임율을 증가 변환하기 위한 방법.
  12. 제8 항에 있어서,
    상기 (b) 단계는,
    상기 정방향 또는 상기 역방향 움직임 벡터에 의해 블록의 위치가 결정되고 중첩영역이 발생할 경우 처리하고자 하는 블록 내 기 설정된 개수의 최외각 화소에 한하여 평균 보간을 수행하는 것을 특징으로 하는 동영상 신호의 프레임율을 증가 변환하기 위한 방법.
  13. 제8 항에 있어서,
    상기 (d) 단계는,
    상기 하나의 보간 프레임에서 처리하고자 하는 블록에서 홀인 부분과 화소가 있는 부분을 구분하고, 상기 화소가 있는 부분에 한하여 방향성별로 예측 화소와의 SAD(Sum of Absolute Difference) 값을 계산한 후 가장 작은 SAD 값을 갖는 방향을 그 블록의 방향성으로 결정하며,
    결정된 상기 방향성에 따라 주변 화소들에 가중치를 적용하여 상기 홀 보간을 수행하는 것을 특징으로 하는 동영상 신호의 프레임율을 증가 변환하기 위한 방법.
  14. (a)정방향 움직임 벡터 필드와 역방향 움직임 벡터 필드에 대하여 처리하고자 하는 블록의 예상 움직임 벡터를 구하고, 그 구한 예상 움직임 벡터를 이용하여 평탄화된 정방향 움직임 벡터와 평탄화된 역방향 움직임 벡터를 구하는 단계;
    (b)상기 평탄화된 정방향 움직임 벡터와 상기 평탄화된 역방향 움직임 벡터 각각에 대한 보간을 수행하여 정방향 보간 프레임과 역방향 보간 프레임을 생성하는 단계;
    (c)상기 정방향 보간 프레임과 상기 역방향 보간 프레임을 조합하는 단계; 및
    (d)조합된 하나의 보간 프레임에 대한 홀 보간을 수행하는 단계;
    를 포함하는 동영상 신호의 프레임율을 증가 변환하기 위한 방법.
KR1020110094876A 2011-09-20 2011-09-20 동영상 신호의 프레임율을 증가 변환하기 위한 장치 및 그 방법 KR101299196B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110094876A KR101299196B1 (ko) 2011-09-20 2011-09-20 동영상 신호의 프레임율을 증가 변환하기 위한 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110094876A KR101299196B1 (ko) 2011-09-20 2011-09-20 동영상 신호의 프레임율을 증가 변환하기 위한 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20130031132A KR20130031132A (ko) 2013-03-28
KR101299196B1 true KR101299196B1 (ko) 2013-08-27

Family

ID=48180492

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110094876A KR101299196B1 (ko) 2011-09-20 2011-09-20 동영상 신호의 프레임율을 증가 변환하기 위한 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101299196B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101834952B1 (ko) * 2016-12-13 2018-03-06 한국항공대학교산학협력단 프레임율 변환 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210040739A (ko) 2019-10-05 2021-04-14 서인호 높이 조절이 가능한 온실재배용 벤치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070063369A (ko) * 2005-12-14 2007-06-19 삼성전자주식회사 움직임 추정 기반 프레임 보간을 위한 장치 및 방법
KR20100044984A (ko) * 2008-10-23 2010-05-03 삼성전자주식회사 움직임 궤적을 이용한 프레임률 향상 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070063369A (ko) * 2005-12-14 2007-06-19 삼성전자주식회사 움직임 추정 기반 프레임 보간을 위한 장치 및 방법
KR20100044984A (ko) * 2008-10-23 2010-05-03 삼성전자주식회사 움직임 궤적을 이용한 프레임률 향상 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101834952B1 (ko) * 2016-12-13 2018-03-06 한국항공대학교산학협력단 프레임율 변환 장치 및 방법

Also Published As

Publication number Publication date
KR20130031132A (ko) 2013-03-28

Similar Documents

Publication Publication Date Title
KR101536794B1 (ko) 후광현상이 줄어든 영상보간 장치 및 방법
JP4448173B2 (ja) 動きベクトル割当のための方法および装置
JP4997281B2 (ja) イメージ中の推定動きベクトルの決定方法、コンピュータプログラムおよびディスプレイ装置
TWI455588B (zh) 以雙向、局部及全域移動評估為基礎之框率轉換
Yu et al. Multi-level video frame interpolation: Exploiting the interaction among different levels
US10805627B2 (en) Low-complexity method for generating synthetic reference frames in video coding
JP3644874B2 (ja) 画像補間装置
US20070047651A1 (en) Video prediction apparatus and method for multi-format codec and video encoding/decoding apparatus and method using the video prediction apparatus and method
US8406305B2 (en) Method and system for creating an interpolated image using up-conversion vector with uncovering-covering detection
US8411751B2 (en) Reducing and correcting motion estimation artifacts during video frame rate conversion
JP2014171097A (ja) 符号化装置、符号化方法、復号装置、および、復号方法
CN108574844B (zh) 一种时空显著感知的多策略视频帧率提升方法
KR20090041562A (ko) 프레임 보간 장치 및 그를 포함한 프레임 속도 상향 변환장치
KR101544158B1 (ko) 다중 프레임을 이용한 양방향 움직임 탐색 방법 및 이러한 양방향 움직임 탐색 기능이 탑재된 영상 장치
CN110418081B (zh) 高动态范围图像全分辨率重建方法、装置及电子设备
KR101299196B1 (ko) 동영상 신호의 프레임율을 증가 변환하기 위한 장치 및 그 방법
Guo et al. Frame rate up-conversion using linear quadratic motion estimation and trilateral filtering motion smoothing
Li et al. Multi-channel mixed-pattern based frame rate up-conversion using spatio-temporal motion vector refinement and dual-weighted overlapped block motion compensation
CN111294545B (zh) 图像数据插值方法及装置、存储介质、终端
WO2022077490A1 (zh) 一种帧内预测方法、编码器、解码器及存储介质
JP5552078B2 (ja) 符号化装置
Xu et al. Frame rate up-conversion with true motion estimation and adaptive motion vector refinement
CN108366265B (zh) 一种基于时空相关性的分布式视频边信息生成方法
Zhao et al. Frame rate up-conversion based on edge information
JP5102810B2 (ja) 画像補正装置及びそのプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160719

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170717

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180704

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190702

Year of fee payment: 7