KR101498124B1 - 움직임 궤적을 이용한 프레임률 향상 장치 및 방법 - Google Patents

움직임 궤적을 이용한 프레임률 향상 장치 및 방법 Download PDF

Info

Publication number
KR101498124B1
KR101498124B1 KR1020080103994A KR20080103994A KR101498124B1 KR 101498124 B1 KR101498124 B1 KR 101498124B1 KR 1020080103994 A KR1020080103994 A KR 1020080103994A KR 20080103994 A KR20080103994 A KR 20080103994A KR 101498124 B1 KR101498124 B1 KR 101498124B1
Authority
KR
South Korea
Prior art keywords
frame
feature point
block
current
feature points
Prior art date
Application number
KR1020080103994A
Other languages
English (en)
Other versions
KR20100044984A (ko
Inventor
조양호
이호영
박두식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080103994A priority Critical patent/KR101498124B1/ko
Priority to US12/407,942 priority patent/US8311351B2/en
Priority to EP09173385.7A priority patent/EP2180695B1/en
Priority to JP2009243583A priority patent/JP5725702B2/ja
Publication of KR20100044984A publication Critical patent/KR20100044984A/ko
Priority to JP2014173744A priority patent/JP6014089B2/ja
Application granted granted Critical
Publication of KR101498124B1 publication Critical patent/KR101498124B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

움직임 궤적을 이용한 프레임률 향상 장치 및 방법이 개시된다. 프레임률 향상 장치는 프레임의 특징점을 통해 정방향의 특징점 궤적 정보를 결정하고, 특징점 궤적 정보를 통해 역방향의 움직임 추정을 수행하여 새로운 중간 프레임을 생성함으로써 정확한 움직임 추정을 수행하여 고화질의 보간된 영상을 생성할 수 있다.
영상, 프레임, 움직임 궤적, 프레임률, 보간, 움직임 추정, 특징점

Description

움직임 궤적을 이용한 프레임률 향상 장치 및 방법{APPARATUS AND METHOD FOR IMPROVING FRAME RATE USING MOTION TRAJECTORY}
본 발명의 일실시예들은 영상의 프레임률을 향상시키기 위한 기법에 관한 것으로서, 특히 프레임 상의 특징점에 따른 움직임 궤적을 이용하여 정확하고 효율적으로 중간 프레임을 생성하는 영상의 프레임률을 향상시키는 기법에 관한 것이다.
프레임률이 낮은 영상을 프레임률이 높은 기기에 재생하는 경우, 프레임 간 물체의 움직임이 부자연스럽게 인지되는 문제점이다. 또한 LCD를 이용한 영상 기기의 경우, LCD 구조에 따른 응답 속도의 제약으로 인해 고속으로 움직임이 발생하는 동영상에서 경계 부분의 모션 블러(motion blur) 와 같은 화질 열화의 문제가 발생하였다.
이러한 문제점을 해결하기 위해 움직임 추정을 통해 결정한 움직임 벡터를 이용하여 프레임 간 새로운 중간 프레임을 생성함으로써 프레임률을 향상시키는 기법이 요구되고 있다. 다만, 기존의 프레임 단위로 추정된 움직임 벡터는 움직임 추정 알고리즘의 한계, 사용된 프레임 정보의 부족, 정확한 움직임 벡터에 대한 판단 정보의 부족으로 인해 프레임의 모든 영역에서 정확한 움직임 벡터를 추정할 가 능성이 낮아 화질 열화의 문제가 발생할 수 있다.
결국, 영상의 화질 열화를 방지하고, 움직임 정보에 대한 신뢰성을 높일 수 있는 프레임률 향상 기법이 필요하다.
본 발명의 일실시예에 따른 프레임률 향상 장치는 프레임의 특징점을 추적하여 정방향의 특징점 궤적 정보를 결정하는 특징점 궤적 정보 결정부, 현재 프레임의 각 블록 별로 추적된 특징점이 존재하는 지 여부에 기초하여 상기 현재 프레임에 대해 역방향의 블록 기반의 움직임 추정을 수행하는 움직임 추정부 및 상기 움직임 추정에 따라 결정된 움직임 벡터를 이용하여 상기 현재 프레임과 이전 프레임 사이의 새로운 중간 프레임을 생성하는 프레임 생성부를 포함할 수 있다.
이 때, 상기 특징점 궤적 정보 결정부는 (1) 프레임 간 장면 변환이 발생하는 경우, (2) 궤적이 추적된 특징점의 개수가 미리 설정된 특징점의 기준 개수보다 작은 경우 또는 (3) 프레임을 구성하는 분할 영역에서 특징점 궤적 정보가 미리 설정된 특징점 궤적 정보의 기준 개수보다 작은 경우 중 어느 하나가 발생하면 특징점을 추가적으로 추출할 수 있다.
또한, 프레임률 향상 장치는 상기 복수의 프레임에 대해 정방향으로 특징점을 추적하는 경우, 블록의 SAD와 정방향의 특징점 궤적 정보를 이용하여 프레임 간 폐색 영역(occlusion area)을 검출하는 폐색 영역 결정부를 더 포함할 수 있다.
그리고, 상기 움직임 추정부는 현재 프레임에서 움직임 추정을 수행하고자 하는 현재 블록에 추적된 특징점이 존재하는 경우, 상기 특징점의 특징점 궤적 정보를 이용하여 상기 현재 블록에 대해 역방향의 움직임 추정을 수행할 수 있다.
또한, 상기 움직임 추정부는 현재 프레임에서 움직임 추정을 수행하고자 하 는 현재 블록에 추적된 특징점이 존재하지 않는 경우, 상기 현재 블록의 인접 블록의 움직임 벡터를 이용하여 상기 현재 블록에 대해 역방향의 움직임 추정을 수행할 수 있다.
본 발명의 일실시예에 따른 프레임률 향상 방법은 프레임의 특징점을 추적하여 정방향의 특징점 궤적 정보를 결정하는 단계, 현재 프레임의 각 블록 별로 추적된 특징점이 존재하는 지 여부에 기초하여 상기 현재 프레임에 대해 역방향의 블록 기반의 움직임 추정을 수행하는 단계 및 상기 움직임 추정에 따라 결정된 움직임 벡터를 이용하여 상기 현재 프레임과 이전 프레임 사이의 새로운 중간 프레임을 생성하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따르면, 프레임의 특징점을 정방향에 따라 연속적으로 궤적을 추적하고, 특징점 궤적 정보를 통해 역방향의 움직임 추정을 수행함으로써 움직임 추정의 정확도를 높일 수 있는 프레임률 향상 장치 및 방법이 제공된다.
본 발명의 일실시예에 따르면, 움직임 추정을 수행하고자 하는 현재 블록에 특징점이 존재하지 않는 경우, 현재 블록과 상관도가 높은 인접 블록의 움직임 벡터를 통해 역방향의 움직임 추정을 수행함으로써 움직임 추정의 정확도를 높일 수 있는 프레임률 향상 장치 및 방법이 제공된다.
본 발명의 일실시예에 따르면, 프레임 전체 영역에 대해 고른 특징점을 이용하기 위해 특징점을 추가적으로 추출함으로써 움직임 추정의 정확도를 높일 수 있는 프레임률 향상 장치 및 방법이 제공된다.
본 발명의 일실시예에 따르면, 프레임간 특징점의 궤적을 추적할 수 없는 폐색 영역을 검출하고, 폐색 영역의 종류에 따라 프레임 생성 방법을 달리함으로써 생성될 프레임의 화질 열화를 방지하는 프레임률 향상 장치 및 방법이 제공된다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 본 발명의 일실시예에 따른 프레임률 향상 방법은 프레임률 향상 장치에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 움직임 궤적을 이용한 프레임률 향상 장치를 도시한 블록 다이어그램이다.
도 1을 참고하면, 프레임률 향상 장치(100)는 특징점 궤적 정보 결정부(101), 움직임 추정부(102), 프레임 생성부(103) 및 폐색 영역 검출부(104)를 포함한다.
특징점 궤적 정보 결정부(101)는 프레임의 특징점을 추적하여 정방향의 특징점 궤적 정보를 결정할 수 있다. 일례로, 특징점 궤적 정보 결정부(101)는 초기 프레임에서 추출한 특징점을 정방향으로 나타나는 복수의 프레임에 대해서 연속적으로 추적하여 해당 특징점의 특징점 궤적 정보를 결정할 수 있다. 초기 프레임은 영상을 구성하는 첫번째 프레임을 의미하는 것이 아니라, 특징점이 처음 나타나는 프레임을 의미할 수 있다.
예를 들어, 특징점 궤적 정보 결정부(101)는 초기 프레임인 프레임 0에서 특징점을 추출하고, 시간적으로 이후에 나타나는 프레임 1, 프레임 2, 프레임 3 각각에 대해 연속적으로 특징점의 위치를 확인할 수 있다. 그러면, 특징점 궤적 정보 결정부(101)는 확인한 특징점을 프레임 간에 서로 연결하여 특징점 궤적 정보를 결정할 수 있다. 다시 말해서, 특징점 궤적 정보는 특징점을 포함하는 특정 영역이 프레임마다 어떤 방향으로 움직였는 지 여부를 나타내는 움직임 궤적에 관한 것이다.
이 때, 특징점은 영상의 균일한 영역보다는 영상의 국부적인 영역 내에서 고주파 특성이 나타나는 경계(boundary), 모서리(corner) 또는 텍스쳐(texture)인 지점을 포함할 수 있다. 그리고, 특징점은 프레임 내에서 적어도 하나 이상 존재할 수 있다.
특징점 궤적 정보 결정부(101)는 특징점 궤적 정보에 대한 신뢰도를 유지하기 위해 기설정된 상황이 발생하는 경우 특징점을 추가적으로 추출할 수 있다. 그러면, 특징점 궤적 정보 결정부(101)는 추가적으로 추출된 특징점에 대해 특징점 궤적 정보를 결정할 수 있다.
일례로, 프레임 간 장면 변환이 발생하는 경우, 특징점 궤적 정보 결정부(101)는 장면 변환이 발생된 프레임에 대해 특징점을 추가적으로 추출할 수 있다. 그리고, 궤적이 추적된 특징점의 개수가 기설정된 특징점의 기준 개수보다 작은 경우, 특징점 궤적 정보 결정부(101)는 특징점을 추가적으로 추출할 수 있다. 또한, 프레임을 구성하는 분할 영역 중 기설정된 영역에서 추출된 특징점 개수가 기설정된 특징점 개수보다 작은 경우, 특징점 궤적 정보 결정부(101)는 특징점을 추가적으로 추출할 수 있다.
특징점 궤적을 추가적으로 추출하는 구체적인 예는 도 3 및 도 9에서 설명된다.
움직임 추정부(102)는 현재 프레임의 각 블록 별로 추적된 특징점이 존재하는 지 여부에 기초하여 상기 현재 프레임에 대해 역방향의 블록 기반의 움직임 추정을 수행할 수 있다. 이 때, 현재 프레임은 영상을 구성하는 복수의 프레임 중 움직임 추정을 수행하고자 하는 프레임을 의미한다. 움직임 추정부(102)는 연산량 및 알고리즘의 성능을 고려하여 프레임을 구성하는 모든 화소가 아닌 분할된 블록에 기초하여 움직임 추정을 수행할 수 있다.
일례로, 움직임 추정부(102)는 현재 프레임의 현재 블록에 추적된 특징점이 존재하는 경우, 상기 특징점의 특징점 궤적 정보를 이용하여 현재 블록에 대해 역방향의 움직임 추정을 수행할 수 있다. 즉, 특징점 궤적 정보는 움직임 추정을 수행할 때 신뢰도가 높은 자료로 사용될 수 있다.
그리고, 움직임 추정부(102)는 현재 프레임에서 현재 블록에 추적된 특징점이 존재하지 않는 경우, 현재 블록의 인접 블록의 움직임 벡터를 이용하여 현재 블록에 대해 역방향의 움직임 추정을 수행할 수 있다. 움직임 추정부(102)는 현재 블록과 상관도가 높은 인접 블록의 움직임 벡터를 이용함으로써 움직임 추정의 정확도가 보장될 수 있다.
현재 블록에 대해 움직임 추정을 수행하는 과정은 도 4에서 구체적으로 설명 된다.
프레임 생성부(103)는 움직임 추정에 따라 결정된 움직임 벡터를 이용하여 현재 프레임과 이전 프레임 사이의 새로운 중간 프레임을 생성할 수 있다. 중간 프레임의 개수가 증가할수록 프레임률도 증가할 수 있다. 일례로, 프레임 생성부(103)는 움직임 벡터의 방향에 따라 이전 프레임 및 현재 프레임에 위치한 블록을 평균하여 중간 프레임을 생성할 수 있다.
폐색 영역 검출부(104)는 복수의 프레임에 대해 정방향으로 특징점을 추적하는 경우, 블록의 SAD와 정방향의 특징점 궤적 정보를 이용하여 프레임 간 폐색 영역(occlusion area)을 검출할 수 있다. 이 때, SAD(Sum of Absolute Differences)는 블록 정합 오류를 의미하고, SAD가 작을수록 블록의 움직임의 변화가 적은 것을 의미한다.
일례로, 폐색 영역 검출부(104)는 블록의 SAD가 미리 설정한 SAD 이상이고, 이전 프레임에서 추출된 특징점이 현재 프레임에서 추출되지 않는 영역을 폐색 영역 중 커버 영역(covered area)으로 결정할 수 있다. 또한, 폐색 영역 검출부(104)는 블록의 SAD가 미리 설정한 SAD 이상이고, 이전 프레임에서 추출되지 않은 특징점이 현재 프레임에서 추출된 영역을 폐색 영역 중 언커버 영역(uncovered area)으로 결정할 수 있다.
결론적으로, 폐색 영역 검출부(104)는 프레임 간 대응하는 특징점이 존재하지 않아 특징점 궤적 정보를 결정할 수 없는 영역을 폐색 영역으로 결정할 수 있다. 폐색 영역을 결정하는 구체적인 과정은 도 6 및 도 7에서 설명된다.
도 2는 본 발명의 일실시예에 따라 다수의 프레임에 대해 정방향의 특징점을 추적하는 일례를 설명하기 위한 도면이다.
도 2를 참고하면, 4개의 프레임이 도시되어 있다. 그리고, 영상은 프레임 0(201), 프레임 1(202), 프레임 2(203) 및 프레임 3(204)의 순서로 구성된다.
도 2에서 볼 수 있듯이, 특징점 궤적 정보 결정부(101)는 프레임 0(201)에서 특징점을 추출할 수 있다. 프레임 0(201)은 초기 프레임을 의미한다. 이 때, 추출되는 특징점은 적어도 하나일 수 있다. 즉, 특징점에 대한 특징점 궤적 정보도 적어도 하나일 수 있다. 일례로, 특징점은 프레임 앞에서 이미 언급했듯이, 특징점은 영상의 국부적인 영역 내에서 고주파 특성이 나타나는 경계(boundary), 모서리(corner) 또는 텍스쳐(texture)인 지점을 포함할 수 있다.
특징점 궤적 정보 결정부(101)는 프레임 0(201)에서 추출한 특징점과 매칭하는 특징점을 시간적인 면에서 정방향으로 다음 프레임인 프레임 1(202)에서 추출하여 특징점의 특징점 궤적 정보를 결정할 수 있다. 동일한 방법으로, 특징점 궤적 정보 결정부(101)는 동일한 특징점을 프레임 2(203) 및 프레임 3(204)에서 추출하고, 추출한 특징점을 연속적으로 연결하여 특징점 궤적 정보를 결정할 수 있다.
이 때, 특징점 궤적 정보의 신뢰성을 보장하도록 특징점 궤적 정보 결정부(101)는 최소 3개의 프레임 이상 연속적으로 추적된 특징점에 대해 특징점 궤적 정보를 결정할 수 있다. 프레임의 개수는 제한이 없다.
결국, 본 발명의 일실시예에 따르면, 특징점 궤적 정보 결정부(101)는 양 프레임에 대해 블록의 움직임 궤적을 추적하기 보다는 다수의 프레임에 걸쳐 블록의 움직임 궤적을 추적함으로써 보다 정확한 움직임 벡터를 추정할 수 있는 기반이 확보될 수 있다.
도 3은 본 발명의 일실시예에 따라 특징점을 추가적으로 추출하는 일례를 설명하기 위한 도면이다.
도 2에 도시된 초기 프레임인 프레임 0(201)에서 특징점이 추출된 후, 다수의 프레임이 지나면 화소 밝기값의 변화, 급격한 움직임 발생, 폐색 영역으로 인해 프레임에 대해 대응하는 특징점을 추출하지 못하여 특징점 궤적 정보가 감소할 수 있다. 또한, 프레임간 장면 전환이나 새로운 오브젝트의 출현으로 인해 초기 프레임에서 추출된 특징점도 궤적 추적 과정에서 업데이트될 필요가 있다. 그리고, 특징점의 특징점 궤적 정보가 다양하게 존재하여야 정확한 중간 프레임이 생성될 수 있다.
일례로, 특징점 궤적 정보 결정부(101)는 다음과 같은 경우 특징점을 추가적으로 추출할 수 있다.
(1) 프레임 간 장면 변환이 발생하는 경우
이 때, 장면 전환은 영상의 밝기 분포도(히스토그램)의 변화 또는 블록의 SAD가 크게 증가하는 경우 파악될 수 있다. 장면 전환이 발생하는 경우, 프레임간 대응하는 특징점이 존재하지 않을 수 있기 때문에 특징점 궤적 정보 결정부(101)는 특징점을 추가적으로 추출할 수 있다.
(2) 궤적이 추적된 특징점의 개수가 기설정된 특징점의 기준 개수보다 작은 경우
초기 프레임에서 추출된 특징점이 다음 프레임에서 궤적이 추정된다. 만약, 추적된 특징점의 개수가 기설정된 특징점의 기준 개수(TH1)보다 작으면 특징점 궤적 정보 결정부(101)는 신뢰성이 높은 특징점 궤적 정보를 사용하도록 특징점을 추가적으로 추출할 수 있다.
도 3에 도시된 그래프에서, X축은 영상의 시간축(프레임 번호)을 의미하고, Y축은 해당 프레임 내 공간상의 좌표를 의미한다. 프레임 0에서 5개의 특징점이 추출되면, 특징점 궤적 정보 결정부(101)는 각 프레임에 대해 5개의 특징점의 궤적을 추적할 수 있다. 도 3에서 볼 수 있듯이, 기설정된 특징점의 기준 개수(TH1)가 5일 때, 프레임 2에서 추적되는 특징점의 개수가 4개이면 프레임 2에서 특징점이 추가적으로 추출될 필요가 있다.
(3) 프레임을 구성하는 분할 영역 중 기설정된 영역에서 추출된 특징점 개수가 기설정된 특징점 개수보다 작은 경우
프레임이 복수의 분할 영역으로 구성된 경우, 분할 영역 중 기설정된 영역에서 추출된 특징점 개수가 기설정된 특징점 개수(TH2)보다 작으면, 특징점 궤적 정보 결정부(101)는 신뢰성이 높은 특징점 궤적 정보를 사용하도록 특징점을 추가적으로 추출할 수 있다. 즉, 보다 정확한 움직임 예측을 수행하고 새로운 오브젝트의 출현에 대응하기 위해 프레임의 전체 영역에서 균일하게 특징점 궤적 정보가 존재할 필요가 있다.
도 3에서 볼 수 있듯이, 기설정된 특징점 궤적 정보의 기준 개수(TH2)가 2개 일 때, 프레임 3의 하부 영역에서 특징점 궤적 정보가 1개이므로 특징점 궤적 정보 결정부(101)는 프레임 3에서 특징점을 추가적으로 추출할 수 있다.
도 4는 본 발명의 일실시예에 따라 역방향의 움직임 추정을 통해 현재 블록의 움직임 벡터를 결정하는 과정을 설명하기 위한 도면이다.
움직임 추정부(102)는 현재 프레임의 각 블록 별로 추적된 특징점이 존재하는 지 여부에 기초하여 현재 프레임에 대해 역방향의 블록 기반의 움직임 추정을 수행할 수 있다. 이 때, 현재 블록은 현재 프레임에 포함된 블록들 중 움직임 추정을 통해 움직임 벡터를 결정하고자 하는 블록을 의미한다. 그리고, 인접 블록은 현재 블록에 위치적으로 인접한 블록으로, 움직임 추정이 수행되어 움직임 벡터가 이미 결정된 블록을 의미한다.
일례로, 움직임 추정부(102)는 현재 프레임의 현재 블록에 추적된 특징점이 존재하는 경우, 특징점의 특징점 궤적 정보를 이용하여 현재 블록에 대해 역방향의 움직임 추정을 수행할 수 있다.
참조부호(401)는 특징점 궤적 정보를 이용하여 현재 블록에 대해 역방향의 움직임 추정을 수행하는 과정을 나타낸다.
도 4를 참고하면, 현재 프레임인 프레임 3(404)의 현재 블록(406)에 특징점이 존재하는 것을 알 수 있다. 그러면, 움직임 추정부(102)는 현재 블록(406)에 존재하는 특징점의 특징점 궤적 정보를 고려하여 역방향의 움직임 추정을 수행할 수 있다. 즉, 움직임 추정부(102)는 프레임 3(404)의 특징점에서 이전 프레임인 프레임 2(403)에 대응하는 특징점으로의 특징점 궤적 정보를 통해 현재 블록(406) 의 움직임 벡터(MV)를 결정할 수 있다. 다시 말해서, 움직임 추정부(102)는 특징점 궤적 정보에 대응되도록 프레임 2(403)의 현재 블록(405)에서 점선 블록으로 움직임 벡터를 결정할 수 있다.
움직임 추정부(102)는 현재 프레임의 현재 블록에 추적된 특징점이 존재하는 경우, 현재 블록의 인접 블록의 움직임 벡터를 이용하여 현재 블록에 대해 역방향의 움직임 추정을 수행할 수 있다.
참조부호(402)는 인접 블록의 움직임 벡터를 이용하여 현재 블록에 대해 역방향의 움직임 추정을 수행하는 과정을 나타낸다. 움직임 추정부(102)는 이미 움직임 추정이 수행된 인접 블록(408, 409, 410)의 움직임 벡터(MV1, MV2, MV3)를 이용하여 현재 프레임인 프레임 3(402)의 현재 블록(407)에 대해 움직임 벡터를 결정할 수 있다. 이 때, 움직임 추정부(102)는 인접 블록(408, 409, 410)의 움직임 벡터 중 현재 블록과의 상관도가 높은 인접 블록의 움직임 벡터가 현재 블록(407)의 움직임 벡터로 결정할 수 있다.
즉, 움직임 벡터를 결정하고자 하는 현재 블록에 특징점이 존재하는 경우, 움직임 추정부(102)는 신뢰성이 높은 특징점의 특징점 궤적 정보를 이용하여 현재 블록의 움직임 벡터를 결정함으로써 움직임 추정의 정확도를 향상시킬 수 있다. 그리고, 현재 블록에 특징점이 존재하지 않더라도 움직임 추정부(102)는 현재 블록과 상관도가 높은 인접 블록의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 결정함으로써 움직임 추정의 정확도를 향상시킬 수 있다.
도 5는 본 발명의 일실시예에 따라 현재 블록의 움직임 벡터를 이용하여 중간 프레임을 생성하는 과정을 설명하기 위한 도면이다.
이 때, 프레임 생성부(103)는 이전 프레임(501)과 현재 프레임(503)을 보간하여 새로운 중간 프레임(502)를 생성할 수 있다. 도 5를 참고하면, 움직임 추정을 통해 현재 프레임(503)의 현재 블록(505)에 대해 움직임 벡터(MV)가 결정되면, 프레임 생성부(103)는 움직임 벡터의 방향을 고려하여 이전 프레임(501) 및 현재 프레임(503)에 위치한 블록을 평균함으로써 중간 프레임(502)을 생성할 수 있다. 중간 프레임(502)을 생성하는 과정은 현재 프레임(503)에 포함된 모든 블록에 대해 이루어진다.
일례로, 이전 프레임(501)과 현재 프레임(503) 간의 관계에서 폐색 영역이 존재하는 경우, 프레임 생성부(103)는 폐색 영역의 종류에 따라 이전 프레임(501) 또는 현재 프레임(503) 중 어느 하나를 이용하여 중간 프레임(502)을 생성할 수 있다. 구체적으로, 폐색 영역이 커버 영역인 경우, 프레임 생성부(103)는 이전 프레임(501)을 이용하여 중간 프레임(502)을 생성할 수 있다. 그리고, 폐색 영역이 언커버 영역인 경우, 프레임 생성부(103)는 현재 프레임(503)을 이용하여 중간 프레임(502)을 생성할 수 있다.
폐색 영역을 검출하는 과정과 폐색 영역에 대해 중간 프레임을 생성하는 과정은 도 6 및 도 7에서 설명된다.
도 6은 본 발명의 일실시예에 따라 프레임간 발생하는 폐색 영역 중 커버 영역을 검출하는 과정을 설명하기 위한 도면이다.
폐색 영역 검출부(104)는 복수의 프레임에 대해 정방향으로 특징점을 추적하는 경우, 블록의 SAD와 정방향의 특징점 궤적 정보를 이용하여 프레임 간 폐색 영역(occlusion area)을 검출할 수 있다. 폐색 영역 검출부(104)는 블록의 SAD가 미리 설정한 SAD 이상이고, 이전 프레임에서 추출된 특징점이 현재 프레임에서 추출되지 않는 영역을 폐색 영역 중 커버 영역(covered area)으로 결정할 수 있다. 일반적으로 폐색 영역의 경우, 프레임 간 대응 지점이 없기 때문에 SAD 값이 크게 나타날 수 있다.
도 6을 참고하면, 이전 프레임(601)에 존재하는 "원"의 중심부인 특징점의 궤적이 추적되다가 현재 프레임(602)에서 "원"의 중심부가 "사각형" 뒤로 이동하여 특징점이 더 이상 추적되지 않는 것을 알 수 있다. 즉, 이전 프레임(601)과 현재 프레임(602) 간에 폐색 영역이 존재하고, 이 때, 폐색 영역 검출부(104)는 "원"을 폐색 영역 중 커버 영역(covered area)으로 결정할 수 있다. 참고로, "사각형"은 언커버 영역으로 결정될 수 있다.
이 때, 커버 영역으로 결정된 지점에 대해 이전 프레임과 현재 프레임을 이용하여 프레임을 생성하는 경우 화질 열화가 발생할 수 있기 때문에, 프레임 생성부(103)는 커버 영역으로 결정된 지점에 대해 이전 프레임만 참고하여 프레임을 생성할 수 있다.
즉, 참조부호(603)을 참고하면, t 프레임인 이전 프레임에 나타났던 축구공이 집으로 인해 가려져 t+1 프레임인 현재 프레임에서 축구공의 궤적을 추적할 수 없는 경우, 폐색 영역 검출부(104)는 축구공을 커버 영역으로 결정할 수 있다. 그 러면, 프레임 생성부(103)는 t 프레임인 이전 프레임에 나타났던 축구공에 대한 움직임 벡터만 참조하여 t+0.5 프레임인 중간 프레임에서의 축구공을 생성할 수 있다.
도 7은 본 발명의 일실시예에 따라 프레임간 발생하는 폐색 영역 중 언커버 영역을 검출하는 과정을 설명하기 위한 도면이다.
폐색 영역 검출부(104)는 블록의 SAD가 미리 설정한 SAD 이상이고, 이전 프레임에서 추출되지 않은 특징점이 현재 프레임에서 추출된 영역을 폐색 영역 중 언커버 영역(uncovered area)으로 결정할 수 있다.
도 7을 참고하면, 이전 프레임(701)에서 "사각형"이 존재하지 않다가 현재 프레임(702)에서 "사각형"이 나타나 새로운 특징점이 추출되는 것을 알 수 있다. 즉, "사각형"이 나타난 현재 프레임(702)이 특징점이 추출된 초기 프레임일 수 있다. 즉, 이전 프레임(701)과 현재 프레임(702) 간에 폐색 영역이 존재하고, 이 때, 폐색 영역 검출부(104)는 "사각형"을 폐색 영역 중 언커버 영역(uncovered)으로 결정할 수 있다.
이 때, 언커버 영역으로 결정된 지점에 대해 이전 프레임과 현재 프레임을 이용하여 프레임을 생성하는 경우 화질 열화가 발생할 수 있기 때문에, 프레임 생성부(103)는 언커버 영역으로 결정된 지점에 대해 현재 프레임만 참고하여 프레임을 생성할 수 있다.
즉, 참조부호(703)을 참고하면, t 프레임인 이전 프레임에 나타나지 않았던 축구공이 t+1 프레임인 현재 프레임에서 갑자기 나타나 축구공에 대한 특징점을 추 출한 경우, 폐색 영역 검출부(104)는 축구공을 언커버 영역으로 결정할 수 있다. 그러면, 프레임 생성부(103)는 t+1프레임인 현재 프레임에 나타났던 축구공의 움직임 벡터만 참조하여 t+0.5 프레임인 중간 프레임에서의 축구공을 생성할 수 있다.
도 8은 본 발명의 일실시예에 따라 움직임 궤적을 이용한 프레임률 향상 방법을 도시한 플로우차트이다.
단계(S801)에서, 프레임률 향상 장치는 초기 프레임에서 특징점을 추출할 수 있다. 이 때, 특징점은 영상의 국부적인 영역 내에서 고주파 특성이 나타나는 경계(boundary), 모서리(corner) 또는 텍스쳐(texture)인 지점을 포함할 수 있다.
단계(S802)에서, 프레임률 향상 장치는 초기 프레임에서 추출한 특징점을 정방향으로 나타나는 복수의 프레임에 대해서 연속적으로 추적하여 특징점의 특징점 궤적 정보를 결정할 수 있다. 즉, 프레임률 향상 장치는 프레임의 특징점을 추적하여 정방향의 특징점 궤적 정보를 결정할 수 있다.
일례로, 프레임률 향상 장치는 연속적으로 추적된 특징점의 궤적이 특정 프레임에서 중단되는 경우, 해당 영역을 폐색 영역 중 커버 영역으로 검출할 수 있다. 그리고, 프레임률 향상 장치는 특정 프레임에서 새로운 오브젝트가 갑자기 출현하여 새로운 특징점이 결정되는 경우, 결정된 특징점이 포함된 영역을 폐색 영역 중 언커버 영역으로 검출할 수 있다.
단계(S803)에서, 프레임률 향상 장치는 현재 블록에 추적된 특징점이 존재하는 지 여부를 판단하여 판단 결과에 따라 움직임 추정을 수행할 수 있다. 이 때, 현재 블록은 움직임 추정을 수행하는 현재 프레임에 포함된 블록을 의미할 수 있 다.
만약, 현재 블록에 추적된 특징점이 존재하지 않는 경우, 단계(S804)에서, 프레임률 향상 장치는 현재 블록과 인접한 인접 블록의 움직임 벡터를 이용하여 현재 블록에 대해 역방향의 움직임 추정을 수행할 수 있다. 이 때, 인접 블록은 이미 움직임 추정이 수행되어 움직임 벡터가 결정된 블록을 의미할 수 있다. 그리고, 역방향의 움직임 추정은 현재 프레임에서 이전 프레임으로의 현재 블록에 대한 움직임 벡터를 의미할 수 있다.
만약, 현재 블록에 추적된 특징점이 존재하는 경우, 단계(S805)에서, 프레임률 향상 장치는 특징점의 특징점 궤적 정보를 이용하여 현재 블록에 대해 역방향의 움직임 추정을 수행할 수 있다. 즉, 다수의 프레임에 걸쳐 결정된 특징점 궤적 정보는 현재 블록의 움직임 벡터를 결정할 수 있는 신뢰성이 높은 정보를 의미하기 때문에, 움직임 추정의 정확도가 향상될 수 있다.
현재 블록에 대해 움직임 벡터가 결정되면, 단계(S806)에서 프레임률 향상 장치는 움직임 추정에 따라 결정된 움직임 벡터를 이용하여 현재 프레임과 이전 프레임 사이의 새로운 중간 프레임을 생성할 수 있다.
이 때, 프레임률 향상 장치는 폐쇄 영역 중 커버 영역에 대해 이전 프레임의 움직임 벡터를 이용하여 중간 프레임을 생성할 수 있다. 그리고, 프레임률 향상 장치는 폐쇄 영역 중 언커버 영역에 대해 현재 프레임의 움직임 벡터를 이용하여 중간 프레임을 생성할 수 있다.
도 8에서 설명되지 않은 부분은 도 1 내지 도 7의 설명을 참고할 수 있다.
도 9는 본 발명의 일실시예에 따라 특징점을 추가적으로 추출하는 과정을 설명하기 위한 플로우차트이다.
프레임률 향상 장치는 프레임에서 특징점을 추출하고, 특징점을 정방향으로 나타나는 복수의 프레임에 대해서 연속적으로 추적하여 특징점 궤적 정보를 결정할 수 있다. 이 때, 프레임률 향상 장치는 도 9의 과정을 통해 특징점을 추가적으로 추출할 수 있다. 프레임률 향상 장치는 추가적으로 추출된 특징점도 복수의 프레임에 대해서 연속적으로 추적하여 특징점 궤적 정보를 결정할 수 있다.
단계(S901)에서, 프레임률 향상 장치는 특징점을 추출하려는 프레임이 초기 프레임(프레임 0)인지 판단할 수 있다. 만약, 특징점을 추출하려는 프레임이 초기 프레임인 경우, 단계(S903)에서, 프레임률 향상 장치는 특징점을 추출하고, 다음 프레임으로 진행할 수 있다.
만약, 특징점을 추출하려는 프레임이 초기 프레임이 아닌 경우, 단계(S902)에서 프레임률 향상 장치는 프레임 간 장면 변화가 감지되었는 지 여부를 판단할 수 있다. 장면 변화가 감지되면, 단계(S903)에서 프레임률 향상 장치는 특징점을 추출하고 다음 프레임으로 진행할 수 있다.
그리고, 특징점을 추출하려는 프레임이 초기 프레임이 아니고, 장면 변화가 감지되지 않은 경우, 단계(S904)에서 프레임률 향상 장치는 추출한 특징점을 통해 특징점 궤적 정보를 결정하고, 다음 프레임으로 진행할 수 있다.
단계(S905)에서, 프레임률 향상 장치는 특정 프레임에서 추출된 특징점의 개 수가 기설정된 특징점의 개수(TH1)보다 작은 지 여부를 판단할 수 있다. 만약, 추출된 특징점의 개수가 기설정된 특징점의 개수(TH1)보다 작은 경우, 단계(S907)에서 프레임률 향상 장치는 추가적으로 특징점을 추출할 수 있다.
만약, 추출된 특징점의 개수가 기설정된 특징점의 개수(TH1)보다 큰 경우, 단계(S906)에서 기절성된 영역에서 추출된 특징점의 개수가 기설정된 특징점의 개수(TH2)보다 작은 지 여부를 판단할 수 있다. 만약, 기절성된 영역에서 추출된 특징점의 개수가 기설정된 특징점의 개수(TH2)보다 작은 경우, 단계(S907)에서 프레임률 향상 장치는 추가적으로 특징점을 추출할 수 있다.
그리고, 만약, 기절성된 영역에서 추출된 특징점의 개수가 기설정된 특징점의 개수(TH2)보다 큰 경우, 단계(S908)에서, 프레임률 향상 장치는 특징점을 추출하려는 프레임이 마지막 프레임인지 판단할 수 있다. 마지막 프레임인 경우, 프레임률 향상 장치는 특징점 궤적 정보를 결정하는 과정을 종료할 수 있다. 그리고, 마지막 프레임이 아닌 경우, 프레임률 향상 장치는 단계(S901)부터 프레임에 대해 특징점을 추출하여 특징점 궤적 정보를 결정할 수 있다.
또한 본 발명의 일실시예에 따른 움직임 궤적을 이용한 프레임률 향상 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상 기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 본 발명의 일실시예에 따른 움직임 궤적을 이용한 프레임률 향상 장치를 도시한 블록 다이어그램이다.
도 2는 본 발명의 일실시예에 따라 다수의 프레임에 대해 정방향의 특징점을 추적하는 일례를 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따라 특징점을 추가적으로 추출하는 일례를 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따라 역방향의 움직임 추정을 통해 현재 블록의 움직임 벡터를 결정하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따라 현재 블록의 움직임 벡터를 이용하여 중간 프레임을 생성하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따라 프레임간 발생하는 폐색 영역 중 커버 영역을 검출하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따라 프레임간 발생하는 폐색 영역 중 언커버 영역을 검출하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일실시예에 따라 움직임 궤적을 이용한 프레임률 향상 방법을 도시한 플로우차트이다.
도 9는 본 발명의 일실시예에 따라 특징점을 추가적으로 추출하는 과정을 설명하기 위한 플로우차트이다.
<도면의 주요 부분에 대한 부호의 설명>
100: 프레임률 향상 장치
101: 특징점 궤적 정보 결정부
102: 움직임 추정부
103: 프레임 생성부
104: 폐색 영역 검출부

Claims (20)

  1. 프레임의 특징점을 추적하여 정방향의 특징점 궤적 정보를 결정하는 특징점 궤적 정보 결정부;
    현재 프레임의 각 블록 별로 추적된 특징점이 존재하는 지 여부에 기초하여 상기 현재 프레임에 대해 역방향의 블록 기반의 움직임 추정을 수행하는 움직임 추정부; 및
    상기 움직임 추정에 따라 결정된 움직임 벡터를 이용하여 상기 현재 프레임과 이전 프레임 사이의 새로운 중간 프레임을 생성하는 프레임 생성부
    를 포함하는 움직임 궤적을 이용한 프레임률 향상 장치.
  2. 제1항에 있어서,
    상기 특징점 궤적 정보 결정부는,
    초기 프레임에서 추출한 특징점을 정방향으로 나타나는 복수의 프레임에 대해서 연속적으로 추적하여 상기 특징점의 특징점 궤적 정보를 결정하는, 움직임 궤적을 이용한 프레임률 향상 장치.
  3. 제1항에 있어서,
    상기 특징점은,
    영상의 국부적인 영역 내에서 고주파 특성이 나타나는 경계(boundary), 모서 리(corner) 또는 텍스쳐(texture)인 지점을 포함하는, 움직임 궤적을 이용한 프레임률 향상 장치.
  4. 제1항에 있어서,
    상기 특징점 궤적 정보 결정부는,
    (1) 프레임 간 장면 변환이 발생하는 경우, (2) 궤적이 추적된 특징점의 개수가 기설정된 특징점의 기준 개수보다 작은 경우 또는 (3) 프레임을 구성하는 분할 영역 중 기설정된 영역에서 추출된 특징점 개수가 기설정된 특징점 개수보다 작은 경우 중 어느 하나가 발생하면 특징점을 추가적으로 추출하는, 움직임 궤적을 이용한 프레임률 향상 장치.
  5. 제1항에 있어서,
    복수의 프레임들에 대해 정방향으로 특징점을 추적하는 경우, 블록의 SAD와 정방향의 특징점 궤적 정보를 이용하여 프레임 간 폐색 영역(occlusion area)을 검출하는 폐색 영역 검출부
    를 더 포함하는 움직임 궤적을 이용한 프레임률 향상 장치.
  6. 제5항에 있어서,
    상기 폐색 영역 검출부는,
    블록의 SAD가 미리 설정한 SAD 이상이고, 이전 프레임에서 추출된 특징점이 현재 프레임에서 추출되지 않는 영역을 폐색 영역 중 커버 영역(covered area)으로 결정하고,
    블록의 SAD가 미리 설정한 SAD 이상이고, 이전 프레임에서 추출되지 않은 특징점이 현재 프레임에서 추출된 영역을 폐색 영역 중 언커버 영역(uncovered area)으로 결정하는, 움직임 궤적을 이용한 프레임률 향상 장치.
  7. 제1항에 있어서,
    상기 움직임 추정부는,
    현재 프레임에서 움직임 추정을 수행하고자 하는 현재 블록에 추적된 특징점이 존재하는 경우, 상기 특징점의 특징점 궤적 정보를 이용하여 상기 현재 블록에 대해 역방향의 움직임 추정을 수행하는, 움직임 궤적을 이용한 프레임률 향상 장치.
  8. 제1항에 있어서,
    상기 움직임 추정부는,
    현재 프레임에서 움직임 추정을 수행하고자 하는 현재 블록에 추적된 특징점이 존재하지 않는 경우, 상기 현재 블록의 인접 블록의 움직임 벡터를 이용하여 상기 현재 블록에 대해 역방향의 움직임 추정을 수행하는, 움직임 궤적을 이용한 프레임률 향상 장치.
  9. 제1항에 있어서,
    상기 프레임 생성부는,
    상기 움직임 벡터의 방향에 따라 이전 프레임 및 현재 프레임에 위치한 블록을 평균하여 중간 프레임을 생성하는, 움직임 궤적을 이용한 프레임률 향상 장치.
  10. 제6항에 있어서,
    상기 프레임 생성부는,
    상기 커버 영역에 대해 이전 프레임의 움직임 벡터를 이용하여 중간 프레임을 생성하고,
    상기 언커버 영역에 대해 현재 프레임의 움직임 벡터를 이용하여 중간 프레임을 생성하는, 움직임 궤적을 이용한 프레임률 향상 장치.
  11. 프레임의 특징점을 추적하여 정방향의 특징점 궤적 정보를 결정하는 단계;
    현재 프레임의 각 블록 별로 추적된 특징점이 존재하는 지 여부에 기초하여 상기 현재 프레임에 대해 역방향의 블록 기반의 움직임 추정을 수행하는 단계; 및
    상기 움직임 추정에 따라 결정된 움직임 벡터를 이용하여 상기 현재 프레임과 이전 프레임 사이의 새로운 중간 프레임을 생성하는 단계
    를 포함하는 움직임 궤적을 이용한 프레임률 향상 방법.
  12. 제11항에 있어서,
    상기 정방향의 특징점 궤적 정보를 결정하는 단계는,
    초기 프레임에서 추출한 특징점을 정방향으로 나타나는 복수의 프레임에 대해서 연속적으로 추적하여 상기 특징점의 특징점 궤적 정보를 결정하는, 움직임 궤적을 이용한 프레임률 향상 방법.
  13. 제11항에 있어서,
    상기 정방향의 특징점 궤적 정보를 결정하는 단계는,
    (1) 프레임 간 장면 변환이 발생하는 경우, (2) 궤적이 추적된 특징점의 개수가 기설정된 특징점의 기준 개수보다 작은 경우 또는 (3) 프레임을 구성하는 분할 영역 중 기설정된 영역에서 추출된 특징점 개수가 기설정된 특징점 개수보다 작은 경우 중 어느 하나가 발생하면 특징점을 추가적으로 추출하는, 움직임 궤적을 이용한 프레임률 향상 방법.
  14. 제11항에 있어서,
    복수의 프레임들에 대해 정방향으로 특징점을 추적하는 경우, 블록의 SAD와 정방향의 특징점 궤적 정보를 이용하여 프레임 간 폐색 영역(occlusion area)을 검출하는 단계
    를 더 포함하는 움직임 궤적을 이용한 프레임률 향상 방법.
  15. 제14항에 있어서,
    상기 프레임 간 폐색 영역을 검출하는 단계는,
    블록의 SAD가 미리 설정한 SAD 이상이고, 이전 프레임에서 추출된 특징점이 현재 프레임에서 추출되지 않는 영역을 폐색 영역 중 커버 영역(covered area)으로 결정하는 단계; 및
    블록의 SAD가 미리 설정한 SAD 이상이고, 이전 프레임에서 추출되지 않은 특징점이 현재 프레임에서 추출된 영역을 폐색 영역 중 언커버 영역(uncovered area)으로 결정하는 단계
    를 포함하는, 움직임 궤적을 이용한 프레임률 향상 방법.
  16. 제11항에 있어서,
    상기 역방향의 블록 기반의 움직임 추정을 수행하는 단계는,
    현재 프레임에서 움직임 추정을 수행하고자 하는 현재 블록에 추적된 특징점이 존재하는 경우, 상기 특징점의 특징점 궤적 정보를 이용하여 상기 현재 블록에 대해 역방향의 움직임 추정을 수행하는, 움직임 궤적을 이용한 프레임률 향상 방법.
  17. 제11항에 있어서,
    상기 역방향의 블록 기반의 움직임 추정을 수행하는 단계는,
    현재 프레임에서 움직임 추정을 수행하고자 하는 현재 블록에 추적된 특징점이 존재하지 않는 경우, 상기 현재 블록의 인접 블록의 움직임 벡터를 이용하여 상 기 현재 블록에 대해 역방향의 움직임 추정을 수행하는, 움직임 궤적을 이용한 프레임률 향상 방법.
  18. 제11항에 있어서,
    상기 중간 프레임을 생성하는 단계는,
    상기 움직임 벡터의 방향에 따라 이전 프레임 및 현재 프레임에 위치한 블록을 평균하여 중간 프레임을 생성하는, 움직임 궤적을 이용한 프레임률 향상 방법.
  19. 제15항에 있어서,
    상기 중간 프레임을 생성하는 단계는,
    상기 커버 영역에 대해 이전 프레임의 움직임 벡터를 이용하여 중간 프레임을 생성하고,
    상기 언커버 영역에 대해 현재 프레임의 움직임 벡터를 이용하여 중간 프레임을 생성하는, 움직임 궤적을 이용한 프레임률 향상 방법.
  20. 제11항 내지 제19항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
KR1020080103994A 2008-10-23 2008-10-23 움직임 궤적을 이용한 프레임률 향상 장치 및 방법 KR101498124B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020080103994A KR101498124B1 (ko) 2008-10-23 2008-10-23 움직임 궤적을 이용한 프레임률 향상 장치 및 방법
US12/407,942 US8311351B2 (en) 2008-10-23 2009-03-20 Apparatus and method for improving frame rate using motion trajectory
EP09173385.7A EP2180695B1 (en) 2008-10-23 2009-10-19 Apparatus and method for improving frame rate using motion trajectory
JP2009243583A JP5725702B2 (ja) 2008-10-23 2009-10-22 動き軌跡を用いたフレーム率向上装置および方法
JP2014173744A JP6014089B2 (ja) 2008-10-23 2014-08-28 動き軌跡を用いたフレーム率向上装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080103994A KR101498124B1 (ko) 2008-10-23 2008-10-23 움직임 궤적을 이용한 프레임률 향상 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100044984A KR20100044984A (ko) 2010-05-03
KR101498124B1 true KR101498124B1 (ko) 2015-03-05

Family

ID=41633731

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080103994A KR101498124B1 (ko) 2008-10-23 2008-10-23 움직임 궤적을 이용한 프레임률 향상 장치 및 방법

Country Status (4)

Country Link
US (1) US8311351B2 (ko)
EP (1) EP2180695B1 (ko)
JP (2) JP5725702B2 (ko)
KR (1) KR101498124B1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5149861B2 (ja) * 2009-05-01 2013-02-20 富士フイルム株式会社 中間画像生成装置およびその動作制御方法
JP5574830B2 (ja) * 2010-06-03 2014-08-20 三菱電機株式会社 画像処理装置及び方法、並びに画像表示装置及び方法
KR101138922B1 (ko) * 2010-07-07 2012-05-14 중앙대학교 산학협력단 복원된 비디오 프레임의 프레임율을 향상 시키기 위한 프레임율 향상 장치 및 방법
KR101299196B1 (ko) * 2011-09-20 2013-08-27 아주대학교산학협력단 동영상 신호의 프레임율을 증가 변환하기 위한 장치 및 그 방법
KR101975206B1 (ko) * 2012-11-23 2019-05-07 삼성전자주식회사 시간상 연속하는 물체의 움직임들에 대응하는 이미지 데이터들을 프로세싱하는 방법 및 장치
KR102404389B1 (ko) * 2017-11-17 2022-06-02 엘지디스플레이 주식회사 디스플레이장치 및 그 제어 방법
KR102326163B1 (ko) * 2017-11-21 2021-11-16 엘지디스플레이 주식회사 디스플레이장치 및 그 제어 방법
KR102508757B1 (ko) * 2018-08-03 2023-03-09 엘지디스플레이 주식회사 영상 처리 장치 및 방법, 디스플레이 장치
KR102105766B1 (ko) * 2018-08-28 2020-04-29 한국과학기술원 선형 및 비선형 움직임 모두에 적합한 움직임 보상 프레임 보간 장치 및 방법
CN112956203A (zh) * 2018-08-29 2021-06-11 英特尔公司 用于使用帧间预测的特征点跟踪的设备和方法
JP7004116B2 (ja) * 2019-07-19 2022-01-21 三菱電機株式会社 表示処理装置、表示処理方法及びプログラム
CN111491204B (zh) * 2020-04-17 2022-07-12 Oppo广东移动通信有限公司 视频修复方法、装置、电子设备和计算机可读存储介质
KR102201297B1 (ko) * 2020-05-29 2021-01-08 연세대학교 산학협력단 다중 플로우 기반 프레임 보간 장치 및 방법
CN113393629B (zh) * 2021-05-25 2022-11-15 浙江大华技术股份有限公司 入侵行为检测方法、装置和多路视频监控系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004320279A (ja) * 2003-04-15 2004-11-11 Victor Co Of Japan Ltd 動画像時間軸補間方法及び動画像時間軸補間装置
JP2005318548A (ja) * 2004-03-30 2005-11-10 Masahiko Yanaida 撮像システム、画像データ列作成装置、画像生成装置、画像データ列生成装置、画像データ列生成システム、及び画像伝送システム
JP2007282155A (ja) * 2006-04-12 2007-10-25 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
JP2007334625A (ja) * 2006-06-15 2007-12-27 Sony Corp 画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体及び画像処理装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9214218D0 (en) * 1992-07-03 1992-08-12 Snell & Wilcox Ltd Motion compensated video processing
US5361105A (en) * 1993-03-05 1994-11-01 Matsushita Electric Corporation Of America Noise reduction system using multi-frame motion estimation, outlier rejection and trajectory correction
JPH07336688A (ja) * 1994-06-06 1995-12-22 Nippon Hoso Kyokai <Nhk> アンカバー領域の検出方法
JPH07336650A (ja) * 1994-06-06 1995-12-22 Nippon Hoso Kyokai <Nhk> フィールド内挿方法
KR100209793B1 (ko) 1995-10-28 1999-07-15 전주범 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화 및 복호화하는 장치
US6466624B1 (en) * 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
WO2002067576A1 (en) 2001-02-21 2002-08-29 Koninklijke Philips Electronics N.V. Facilitating motion estimation
KR100396558B1 (ko) 2001-10-25 2003-09-02 삼성전자주식회사 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법
KR100412501B1 (ko) 2001-11-30 2003-12-31 삼성전자주식회사 움직임 보상을 위한 화소값 선택 장치 및 방법
KR100541953B1 (ko) 2003-06-16 2006-01-10 삼성전자주식회사 움직임 보상을 위한 화소값 선택 장치 및 방법
KR20050081730A (ko) 2004-02-16 2005-08-19 엘지전자 주식회사 움직임 보상 기반의 영상 신호 프레임율 변환 방법
JP4482795B2 (ja) * 2004-03-05 2010-06-16 ソニー株式会社 画像処理装置、移動物体追跡方法、移動物体追跡プログラム、監視装置及びゲーム装置
WO2005109899A1 (en) 2004-05-04 2005-11-17 Qualcomm Incorporated Method and apparatus for motion compensated frame rate up conversion
JP4398925B2 (ja) * 2005-03-31 2010-01-13 株式会社東芝 補間フレーム生成方法、補間フレーム生成装置および補間フレーム生成プログラム
JP4793120B2 (ja) * 2006-06-21 2011-10-12 ソニー株式会社 手振れ補正方法、手振れ補正方法のプログラム、手振れ補正方法のプログラムを記録した記録媒体及び手振れ補正装置
JP4412323B2 (ja) * 2006-12-28 2010-02-10 株式会社日立製作所 映像処理装置及び映像表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004320279A (ja) * 2003-04-15 2004-11-11 Victor Co Of Japan Ltd 動画像時間軸補間方法及び動画像時間軸補間装置
JP2005318548A (ja) * 2004-03-30 2005-11-10 Masahiko Yanaida 撮像システム、画像データ列作成装置、画像生成装置、画像データ列生成装置、画像データ列生成システム、及び画像伝送システム
JP2007282155A (ja) * 2006-04-12 2007-10-25 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
JP2007334625A (ja) * 2006-06-15 2007-12-27 Sony Corp 画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体及び画像処理装置

Also Published As

Publication number Publication date
JP6014089B2 (ja) 2016-10-25
US8311351B2 (en) 2012-11-13
EP2180695A3 (en) 2014-07-09
JP5725702B2 (ja) 2015-05-27
KR20100044984A (ko) 2010-05-03
EP2180695B1 (en) 2020-09-09
JP2015005995A (ja) 2015-01-08
US20100104140A1 (en) 2010-04-29
EP2180695A2 (en) 2010-04-28
JP2010103999A (ja) 2010-05-06

Similar Documents

Publication Publication Date Title
KR101498124B1 (ko) 움직임 궤적을 이용한 프레임률 향상 장치 및 방법
KR100846498B1 (ko) 영상 해석 방법 및 장치, 및 동영상 영역 분할 시스템
KR101493325B1 (ko) 정밀 움직임 예측을 기반으로 한 프레임 보간 장치 및 그 방법
JP4612760B2 (ja) 画像処理装置およびその方法
US8773595B2 (en) Image processing
KR101885839B1 (ko) 객체추적을 위한 특징점 선별 장치 및 방법
CN102917220B (zh) 基于六边形搜索及三帧背景对齐的动背景视频对象提取
TW201523517A (zh) 產生超像素之方法及裝置
Chen et al. A novel bottom-up saliency detection method for video with dynamic background
WO2013100791A1 (en) Method of and apparatus for scalable frame rate up-conversion
JP2005528708A (ja) 現動きベクトルを推定するユニット及び方法
Ince et al. Geometry-based estimation of occlusions from video frame pairs
JP4626158B2 (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
CN101247472B (zh) 一种基于运动补偿的去隔行处理方法
US9420306B2 (en) Estimating method of predicted motion vector
KR20060111528A (ko) 비디오 신호에서 국부적인 시각적 공간-시간 상세의 검출
Veit et al. Probabilistic parameter-free motion detection
KR20080066486A (ko) 움직임 벡터 추정 장치 및 방법
KR101589492B1 (ko) 다수의 재귀 규칙을 이용한 디지털 비디오의 움직임 추정 방법 및 시스템
KR100644574B1 (ko) 디지털 영상 분할 방법 및 그 장치
US20170214935A1 (en) Method and device for processing a video sequence
JP2006215655A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
CN102970527B (zh) 基于六边形搜索及五帧背景对齐的动背景视频对象提取
JP2005252360A (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
KR100343780B1 (ko) 압축 비디오의 압축 영역에서의 카메라 움직임 검출 및분할방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180117

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200120

Year of fee payment: 6