KR101574301B1 - 프레임 율 변환 장치 및 그 방법 - Google Patents

Abstract

본 발명의 실시 예에 따른 프레임 율 변환 장치는, 제1 프레임, 제2 프레임 및 제3 프레임을 포함하는 영상 프레임들이 시계열적으로 입력되는 입력부; 상기 제2 프레임을 기준으로 시간적으로 양 방향에 위치한 제1 프레임 및 제3 프레임을 함께 이용하여 양 방향 보간을 수행하고, 제1 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 제1 비교부; 상기 제1 프레임만을 이용하여 보간을 수행하고, 제2 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 제2 비교부; 상기 제3 프레임만을 이용하여 보간을 수행하고, 제3 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 제3 비교부; 상기 제1 비교부, 제2 비교부 및 제3 비교부의 비교 결과에 기초하여, 가장 유사도가 높은 보간 방식을 선택하고, 상기 영상 프레임들과 상기 선택된 보간 방식에 기초하여 보간 대상 블록에 대응하는 움직임 정보를 생성하는 움직임 정보 생성부; 및 상기 생성된 움직임 정보에 기초하여 상기 제1 프레임 및 상기 제2 프레임 사이에 보간된 중간 프레임을 출력하는 보간 처리부를 포함한다.

Description

프레임 율 변환 장치 및 그 방법{AN APPRATUS FOR FRAME RATE CONVERSION AND A METHOD THEREOF}

본 발명은 프레임 율 변환 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 효율적으로 정확한 움직임 정보를 판별하여 프레임 보간을 수행할 수 있는 프레임 율 변환 장치 및 그 방법에 관한 것이다.

일반적으로 사용되는 프레임 율 변환 (Frame rate up-conversion. FRC) 방법은 영상정보와 디스플레이 형식의 폭발적인 증가로 인해 최근 부상하고 있는 중요한 이슈 중 하나이다.

프레임 율 변환은 다른 프레임 율을 가지는 다양한 디스플레이 포맷 간의 변환을 위해 필요하다. 예를 들어 기존의 동영상들은 초당 24, 25, 30 의 프레임 율을 가지지만, HDTV와 멀티미디어 PC시스템은 화면 깜빡임과 같은 화질열화를 줄이고, 보여 지는 영상의 질을 향상시키기 위해 더욱 높은 프레임 율을 지원한다.

그러므로 HDTV나 멀티미디어 환경에서 동영상을 재생 할 경우 지원하는 프레임 율로 상향 변환이 되면 보다 좋은 화질을 기대할 수 있다. 기존의 경우, 프레임 상향 변환을 위해 프레임 반복이나 시간적 필터링을 통한 선형 보간과 같은 단순한 프레임 율 변환 알고리즘이 사용되었다. 하지만 이와 같은 단순한 알고리즘들은 motion judder 와 motion blur 와 같은 화질열화를 유발한다.

이와 같은 화질열화를 방지하기 위해, 움직임 보상 보간 (MCI) 을 이용한 다양한 움직임 보상 프레임 율 변환 (MC-FRC) 알고리즘이 개발되고 있다. 이와 같은 MCI 기법의 경우, 모든 보간 과정이 움직임 정보에 의해 이루어지기 때문에 영상 내 객체들의 실제 움직임 정보 (true motion vector) 를 추정해 내는 것이 매우 중요하다.

하지만, 움직임 추정시 영상의 노이즈, 밝기 변화, 유사한 영상의 존재로 인한 다중 국부 최소값의 존재, 사물 차폐 등의 이유로 정확한 실제 움직임 정보를 추정하지 못하는 경우가 많다. 이와 같이 잘못 추정된 움직임 정보는 보간된 영상에서 block artifact 와 같은 화질열화를 유발하게 된다. 잘못된 움직임 정보 추정으로 인한 화질열화는 그 빈도가 극히 낮다면 움직임보상 보간 기법의 여러 장점으로 인해 무시될 수 있으나, 실제로는 기존의 MC-FRC 기법으로는 영상의 특징에 따라 움직임 정보 추정 실패는 무척 빈번히 발생하며 이는 대량의 block artifact 를 유발하여 시청자의 눈에 심하게 거슬리게 되어 실제 움직임 정보를 정확히 추정하는 방법이 필요하다.

본 발명의 실시 예는 상기와 같은 문제점을 해결하기 위한 것으로, 실제 움직임벡터와 가깝게 정확히 추정할 수 있는 프레임 율 변환 장치 및 그 방법을 제공함에 있다.

또한 본 발명의 실시 예는 움직임 추정 시 영상내의 각 블록간의 차이를 이용하여 영상의 노이즈, 밝기 변화, 유사한 영상의 존재로 인한 다중 국부 최소값의 존재, 사물 차폐 등의 이유로 잘못된 움직임 추정이 되었을 경우에도 실제적인 움직임 정보값을 추정 가능하게 하는 프레임 율 변환 장치 및 그 방법을 제공함에 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시 예에 따른 장치는, 프레임 율 변환 장치에 있어서, 제1 프레임, 제2 프레임 및 제3 프레임을 포함하는 영상 프레임들이 시계열적으로 입력되는 입력부; 상기 제2 프레임을 기준으로 시간적으로 양 방향에 위치한 제1 프레임 및 제3 프레임을 함께 이용하여 양 방향 보간을 수행하고, 제1 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 제1 비교부; 상기 제1 프레임만을 이용하여 보간을 수행하고, 제2 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 제2 비교부; 상기 제3 프레임만을 이용하여 보간을 수행하고, 제3 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 제3 비교부; 상기 제1 비교부, 제2 비교부 및 제3 비교부의 비교 결과에 기초하여, 가장 유사도가 높은 보간 방식을 선택하고, 상기 영상 프레임들과 상기 선택된 보간 방식에 기초하여 보간 대상 블록에 대응하는 움직임 정보를 생성하는 움직임 정보 생성부; 및 상기 생성된 움직임 정보에 기초하여 상기 제1 프레임 및 상기 제2 프레임 사이에 보간된 중간 프레임을 출력하는 보간 처리부를 포함한다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시 예에 따른 방법은, 프레임 율 변환 방법에 있어서, 제1 프레임, 제2 프레임 및 제3 프레임을 포함하는 영상 프레임들이 시계열적으로 입력되는 단계; 상기 제2 프레임을 기준으로 시간적으로 양 방향에 위치한 제1 프레임 및 제3 프레임을 함께 이용하여 양 방향 보간을 수행하고, 제1 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 단계; 상기 제1 프레임만을 이용하여 보간을 수행하고, 제2 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 단계; 상기 제3 프레임만을 이용하여 보간을 수행하고, 제3 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 단계; 상기 제1 비교부, 제2 비교부 및 제3 비교부의 비교 결과에 기초하여, 가장 유사도가 높은 보간 방식을 선택하고, 상기 영상 프레임들과 상기 선택된 보간 방식에 기초하여 보간 대상 블록에 대응하는 움직임 정보를 생성하는 단계; 및 상기 생성된 움직임 정보에 기초하여 상기 제1 프레임 및 상기 제2 프레임 사이에 보간된 중간 프레임을 출력하는 단계를 포함한다.

상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법들은 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터가 읽을 수 있는 기록 매체로 구현될 수 있다.

본 발명의 실시 예에 따르면, 유사도 비교를 통해 실제 움직임 정보 추정에 따라 원본과 가장 일치하는 움직임 정보를 생성함으로써 프레임 율 보간 효과를 높이고, 자연스럽고 부드러운 영상을 디스플레이 할 수 있다.

특히, 본 발명의 실시예에 따르면, 양 방향 및 각 방향 보간 방식 중 선택적 보간을 수행함으로써, 움직임 정보를 가지지 않는 블록에 대해서도 정확한 움직임벡터를 찾을 수 있는 효과가 있다.

또한, 본 발명의 실시 예에 따르면, 예외적인 경우를 제외한 대부분의 영상들로부터 실제 움직임 정보와 거의 유사한 움직임 정보를 추정할 수 있는 효과가 있다.

도 1은 본 발명의 실시 예에 따른 프레임 율 보간 장치를 개략적으로 설명하기 위한 도면이다.
도 2는 본 발명의 실시 예에 따른 움직임 정보 추정부의 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 실시 예에 따른 움직임 정보 추정 방법을 설명하기 위한 흐름도이다.
도 4 내지 도 6은 본 발명의 실시 예에 따른 움직임 정보 추정 방법을 도식화하여 설명하기 위한 도면들이다.
도 7은 본 발명의 실시 예에 따른 보간 처리부의 구성을 설명하기 위한 도면들이다.
도 8은 본 발명의 실시 예에 따른 보간 처리부의 보간 방법을 설명하기 위한 흐름도이다.
도 9 내지 도 11은 본 발명의 실시 예에 따른 각 보간 처리부의 보간 방법을 설명하기 위한 도면들이다.
도 12 및 도 13은 본 발명의 실시 예에 따른 움직임 정보 추정부로부터 출력되는 움직임 정보에 의해 보간된 영상의 화질을 종래 기술과 비교 설명하기 위한 도면들이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.

본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 실시 예에 따른 프레임 율 보간 장치(1000)의 구성을 개략적으로 설명하기 위한 도면이다.

도 1을 참조하면, 본 발명의 실시 예에 따른 프레임 율 보간 장치(1000)는 움직임 정보 추정부(100) 및 보간 처리부(200)를 포함하여 구성될 수 있다.

움직임 정보 추정부(100)는 프레임 율 변환을 위한 움직임 정보를 추정 하고, 상기 움직임 정보에 따라 최적의 보간 방식을 결정하며, 상기 결정된 보간 방식에 따라 움직임 정보를 생성하여 보간 처리부(200)로 출력한다. 움직임 정보는 예를 들어, 순차적인 영상 프레임간의 화소 이동을 나타내기 위한 움직임 벡터 정보를 포함할 수 있다. 따라서, 움직임 정보 추정부(100)는 움직임 벡터 정보를 생성하여 출력할 수 있다.

또한, 움직임 정보 추정부(100)는 각각의 보간 방식에 따른 움직임 정보를 획득하여, 보간된 프레임들과 원본 프레임간의 블록별 유사도를 연산하여 그 비교 결과에 따라 적절한 보간 방식을 블록별로 선택할 수 있다. 그리고, 움직임 정보 추정부(100)는 선택된 보간 방식을 각 블록에 대응시켜 저장할 수 있다. 또한, 움직임 정보 추정부(100)는 보간 방식 및 보간 위치 정보를 포함하는 보간 정보를 생성하여, 보간 처리부(200)로 출력할 수 있다.

한편, 보간 처리부(200)는 보간 정보로부터 보간 방식 및 보간 위치 정보를 식별하고, 식별된 보간 방식 및 보간 위치 정보에 기초하여 각 보간 대상 블록에 대응되는 영상 블록을 입력 영상으로부터 보간하여 중간 블록을 생성하며, 생성된 중간 블록들을 이용하여 중간 프레임을 출력함으로써 영상 보간을 완료하는 역할을 수행한다.

이하에서는, 본 발명의 실시 예에 따른 움직임 정보 추정부(100)의 구성 및 동작을 보다 상세하게 설명하도록 한다.

도 2는 본 발명의 실시 예에 따른 움직임 정보 추정부(100)의 구성을 설명하기 위한 블록도이다.

도 2를 참조하면, 본 발명의 실시 예에 따른 움직임 정보 추정부(100)는 영상 프레임들이 시계열적으로 입력되는 입력부(105), 제1 비교부(110), 제2 비교부(120), 제3 비교부(130), 움직임 정보 생성부(140) 및 저장부(150)를 포함하고, 움직임 정보 생성부(140)는 보간 방식 선택부(141) 및 움직임 정보 결정부(143)를 포함한다.

입력부(105)는 시계열적으로 입력되는 영상 프레임들을 수신한다. 영상 프레임들은 제1 프레임, 제2 프레임 및 제3 프레임을 포함할 수 있다. 제1 프레임, 제2 프레임 및 제3 프레임은 시간 순서에 따라 순서적으로 배열되는 복수의 영상 프레임들일 수 있다. 프레임 율 보간이 수행되면, 제1 프레임 및 제2 프레임 사이에 보간된 중간 프레임이 생성될 수 있고, 제2 프레임 및 제3 프레임 사이에 보간된 중간 프레임이 다시 생성될 수 있다. 이와 같이 시계열적으로 입력되는 영상 프레임들에서 프레임 율이 보간되면, 시간적으로 중간에 위치하는 중간 프레임들이 더 생성되어 삽입되어야 한다.

한편, 제1 비교부(110)는 상기 제2 프레임을 기준으로 시간적으로 양 방향에 위치한 제1 프레임 및 제3 프레임을 함께 이용하여 양 방향 보간을 수행하고, 제1 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교한다.

제1 비교부(110)는 상기 제2 프레임을 기준으로 시간적으로 앞에 위치한 상기 제1 프레임으로부터 특정 블록에 대응되는 제1 움직임 정보를 획득하고, 상기 제2 프레임을 기준으로 시간적으로 뒤에 위치한 상기 제3 프레임으로부터 상기 특정 블록에 대응되는 제3 움직임 정보를 획득하며, 상기 제1 움직임 정보 및 상기 제3 움직임 정보의 평균값에 기초하여 상기 제1 보간 블록을 생성할 수 있다.

따라서, 제1 비교부(110)는 제1 프레임 및 제3 프레임으로부터 양 방향으로 추정되는 움직임 정보의 평균값을 이용하여 보간을 수행함으로써, 제1 보간 블록을 획득할 수 있다. 제1 비교부(110)는 제1 보간 블록과 동일한 위치의 원본 블록을 상술한 제2 프레임으로부터 추출하고, 제1 보간 블록과 비교하여 유사도 정보를 획득할 수 있다. 유사도 정보는 예를 들어, 각 블록에 포함된 화소들간의 SAD(SUM OF ABSOLUTE DIFFERENCE) 또는 PSNR(PEEK TO NOISE RATIO) 연산에 의해 획득될 수 있다. 이와 같이, 제1 비교부(110)는 양 방향 보간을 통해 획득되는 제1 보간 블록과 원본 블록과의 비교 결과를 출력할 수 있다.

그리고, 제2 비교부(120)는 상기 제1 프레임만을 이용하여 보간을 수행하고, 제2 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교한다.

여기서, 제2 비교부(120)는 상기 제2 프레임을 기준으로 시간적으로 앞에 위치한 상기 제1 프레임으로부터 특정 블록에 대응되는 제1 움직임 정보에 기초하여 상기 제1 보간 블록을 생성함으로써, 제1 프레임으로부터 일 방향으로 추정되는 움직임 정보만을 이용하여 보간을 수행함으로써, 제2 보간 블록을 획득할 수 있다.

예를 들어, 제2 비교부(120)는 제2 보간 블록과 동일한 위치의 원본 블록을 상술한 제2 프레임으로부터 추출하고, 상기 원본 블록을 제2 보간 블록과 비교하여 유사도 정보를 획득할 수 있다. 전술한 바와 같이, 유사도 정보는 예를 들어, 각 블록에 포함된 화소들간의 SAD(SUM OF ABSOLUTE DIFFERENCE) 또는 PSNR(PEEK TO NOISE RATIO) 연산에 의해 획득될 수 있다. 이와 같이, 제2 비교부(110)는 제1 프레임으로부터의 일 방향 보간을 통해 획득되는 제2 보간 블록과 원본 블록과의 비교 결과를 출력할 수 있다.

또한, 제3 비교부(130)는 상기 제3 프레임만을 이용하여 보간을 수행하고, 제3 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교한다.

여기서, 제3 비교부(130)는 상기 제2 프레임을 기준으로 시간적으로 뒤에 위치한 상기 제3 프레임으로부터 특정 블록에 대응되는 제3 움직임 정보에 기초하여 상기 제3 보간 블록을 생성할 수 있다.

예를 들어, 제3 비교부(130)는 제2 보간 블록과 동일한 위치의 원본 블록을 상술한 제2 프레임으로부터 추출하고, 상기 원본 블록을 제3 보간 블록과 비교하여 유사도 정보를 획득할 수 있다. 마찬가지로, 유사도 정보는 예를 들어, 각 블록에 포함된 화소들간의 SAD(SUM OF ABSOLUTE DIFFERENCE) 또는 PSNR(PEEK TO NOISE RATIO) 연산에 의해 획득될 수 있다. 이와 같이, 제3 비교부(130)는 제3 프레임으로부터의 다른 일 방향 보간을 통해 획득되는 제3 보간 블록과 원본 블록과의 비교 결과를 출력할 수 있다.

한편, 움직임 정보 생성부(140)는 상기 제1 비교부(110), 제2 비교부(120) 및 제3 비교부(130)의 비교 결과에 기초하여, 가장 유사도가 높은 보간 방식을 선택하고, 상기 영상 프레임들과 상기 선택된 보간 방식에 기초하여 보간 대상 블록에 대응하는 움직임 정보를 생성한다. 여기서, 상기 보간 대상 블록은 시간적으로 상기 제1 프레임 및 상기 제2 프레임 사이에 위치한 적어도 하나의 중간 프레임에 포함된 블록일 수 있다.

이를 위해, 움직임 정보 생성부(140)는 보간 방식을 선택하는 보간 방식 선택부(141) 및 최종적인 움직임 정보를 결정하여 출력하는 움직임 정보 결정부(143)을 포함할 수 있다.

따라서, 움직임 정보 생성부(140)는 상기 제1 보간 블록, 상기 제2 보간 블록 및 상기 제3 보간 블록과 원본 블록과의 유사도 비교 결과에 따라 적어도 하나의 보간 기준 프레임 위치를 선택할 수 있다.

예를 들어, 제1 비교부(110)로부터 출력되는 유사도가 가장 높다고 판단되는 경우, 그 블록에 대응되는 보간 기준 프레임은 보간 대상 프레임인 중간 프레임으로부터 시계열적으로 양 방향에 위치한 두 프레임일 수 있다.

또한, 제2 비교부(120)로부터 출력되는 유사도가 가장 높다고 판단되는 경우, 그 블록에 대응되는 보간 기준 프레임은 보간 대상 프레임인 중간 프레임으로부터 시계열적으로 앞 방향에 위치한 하나의 프레임일 수 있다.

그리고, 제3 비교부(130)로부터 출력되는 유사도가 가장 높다고 판단되는 경우, 그 블록에 대응되는 보간 기준 프레임은 보간 대상 프레임인 중간 프레임으로부터 시계열적으로 뒤 방향에 위치한 하나의 프레임일 수 있다.

한편, 움직임 정보 생성부(140)는 상기 움직임 정보가 전부 블록에 대해 생성되고, 특정 블록의 움직임 정보의 방향이 주변 블록들보다 일정 크기 이상 차이나면, 상기 주변 블록들의 움직임 정보에 기초하여 상기 특정 블록의 움직임 정보를 보정할 수 있다.

예를 들어, 움직임 정보 생성부(140)는 블록 단위 움직임 추정이 끝나면 움직임 벡터들의 방향을 계산하여 잘못된 방향을 가지는 블록을 주위의 움직임 벡터들의 가장 높은 빈도수를 가지는 방향과 그 방향을 가지는 움직임 벡터의 평균 움직임 벡터로 교정할 수 있다.

또한, 움직임 정보 생성부(140)는, 보간 대상 블록의 움직임 정보를 결정함에 있어, 미리 연산된 유사도 값과 블록간 거리를 이용한 가중치 적용 연산을 더 수행할 수 있다. 이 경우, 반복 패턴이나 단색으로만 이루어진 영역에서 의도한 바와 다른 움직임 정보가 출력되는 문제 등을 해결할 수 있다.

그리고, 저장부(150)는 상기 보간 대상 블록의 위치 정보에 대응하여, 상기 선택된 보간 방식 정보를 보간 정보로서 저장한다. 저장된 보간 정보는 보간 대상 블록의 위치 정보와 함께 보간 처리부(200)로 전달될 수 있다.

저장부(150)는 프레임 율 보간 장치(1000)의 동작을 위한 프로그램 또는 정보를 저장할 수 있고, 입/출력되는 데이터들을 임시 저장할 수도 있다. 저장부(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

이와 같은 움직임 정보 추정부(100)의 구성에 따라, 입력된 영상의 블록별로 가장 유사도가 높은 보간 방식을 선택할 수 있으며, 그 보간 방식에 따라 양 방향, 일 방향 또는 다른 일 방향으로의 보간을 적응적으로 수행함으로써, 실제와 가까운 움직임 정보를 추정할 수 있고, 프레임 율 변환을 위한 영상의 중간 프레임 보간의 성능을 향상시킬 수 있다.

도 3은 본 발명의 실시 예에 따른 움직임 정보 추정 방법을 설명하기 위한 흐름도이다.

도 3을 참조하면, 본 발명의 실시 예에 따른 움직임 정보 추정부(100)는 입력되는 영상 프레임들을 시계열적으로 수신한다(S101).

그리고, 움직임 정보 추정부(100)는 보간 대상 블록 및 위치 정보에 대한 인덱싱을 수행한다(S103).

움직임 정보 추정부(100)는 원본 영상의 프레임들로부터 각각의 보간 대상 프레임들을 식별하고, 각 보간 대상 프레임에 포함된 블록들에 대응되는 위치 정보를 인덱싱할 수 있다. 인덱싱을 통해 보간 대상 프레임에 포함되는 보간 대상 블록들의 위치별로 보간이 수행될 수 있다.

다음으로, 움직임 정보 추정부(100)는 제1 프레임 및 제3 프레임을 이용하여 양 방향 보간을 수행하고, 제1 보간 블록을 획득한다(S105).

전술한 바와 같이, 제1 비교부(110)는 상기 제2 프레임을 기준으로 시간적으로 양 방향에 위치한 제1 프레임 및 제3 프레임을 함께 이용하여 양 방향 보간을 수행하고, 제1 보간 블록을 생성할 수 있다.

예를 들어, 제1 비교부(110)는 제1 프레임 및 제3 프레임으로부터 양 방향으로 추정되는 움직임 정보의 평균값을 이용하여 보간을 수행함으로써, 제1 보간 블록을 획득할 수 있다. 보다 구체적으로, 제1 비교부(110)는 상기 제1 프레임으로부터 특정 블록에 대응되는 제1 움직임 정보를 획득하고, 상기 제2 프레임을 기준으로 시간적으로 뒤에 위치한 상기 제3 프레임으로부터 상기 특정 블록에 대응되는 제3 움직임 정보를 획득하며, 상기 제1 움직임 정보 및 상기 제3 움직임 정보의 평균값에 기초하여 상기 제1 보간 블록을 생성할 수 있다.

그리고, 움직임 정보 추정부(100)는 제2 프레임의 원본 블록과 상기 제1 보간 블록을 비교하여 유사도를 산출한다(S107).

제1 비교부(110)는 제1 보간 블록과 동일한 위치의 원본 블록을 상술한 제2 프레임으로부터 추출하고, 제1 보간 블록과 비교하여 유사도 정보를 획득할 수 있다.

따라서, 제1 비교부(110)는 원본 프레임의 원본 블록과 상술한 제1 보간 블록을 비교하여 유사도를 산출할 수 있다. 유사도는, 예를 들어 전술한 SAD 또는 PSNR 중 적어도 하나를 이용하여 산출될 수 있다.

다음으로, 움직임 정보 추정부(100)는 제1 프레임을 이용하여 일 방향 보간을 수행하고, 제2 보간 블록을 획득한다(S105).

전술한 바와 같이, 제2 비교부(120)는 상기 제2 프레임을 기준으로 시간적으로 앞 방향에 위치한 제1 프레임을 함께 이용하여 양 방향 보간을 수행하고, 제2 보간 블록을 생성할 수 있다.

예를 들어, 제2 비교부(110)는 제1 프레임으로부터 일 방향으로 추정되는 움직임 정보만을 이용하여 보간을 수행함으로써, 제2 보간 블록을 획득할 수 있다.

보다 구체적으로, 제2 비교부(120)는 상기 제1 프레임으로부터 특정 블록에 대응되는 제1 움직임 정보를 획득하고, 상기 제1 움직임 정보에만 기초하여 상기 제2 보간 블록을 생성할 수 있다.

그리고, 움직임 정보 추정부(100)는 제2 프레임의 원본 블록과 상기 제2 보간 블록을 비교하여 유사도를 산출한다(S109).

마찬가지로, 제2 비교부(120)는 제2 보간 블록과 동일한 위치의 원본 블록을 상술한 제2 프레임으로부터 추출하고, 제2 보간 블록과 비교하여 유사도 정보를 획득할 수 있다.

따라서, 제2 비교부(120)는 원본 프레임의 원본 블록과 상술한 제2 보간 블록을 비교하여 유사도를 산출할 수 있다. 유사도는, 예를 들어 전술한 SAD 또는 PSNR 중 적어도 하나를 이용하여 산출될 수 있다.

이후, 움직임 정보 추정부(100)는 제3 프레임을 이용하여 다른 일 방향 보간을 수행하고, 제3 보간 블록을 획득한다(S111).

전술한 바와 같이, 제3 비교부(130)는 상기 제2 프레임을 기준으로 시간적으로 뒤 방향에 위치한 제3 프레임을 함께 이용하여 다른 일 방향 보간을 수행하고, 제3 보간 블록을 생성할 수 있다.

예를 들어, 제3 비교부(130)는 제3 프레임으로부터 다른 일 방향으로 추정되는 움직임 정보만을 이용하여 보간을 수행함으로써, 제3 보간 블록을 획득할 수 있다.

보다 구체적으로, 제3 비교부(130)는 상기 제3 프레임으로부터 특정 블록에 대응되는 제3 움직임 정보를 획득하고, 상기 제3 움직임 정보에만 기초하여 상기 제3 보간 블록을 생성할 수 있다.

그리고, 움직임 정보 추정부(100)는 제2 프레임의 원본 블록과 상기 제3 보간 블록을 비교하여 유사도를 산출한다(S115).

마찬가지로, 제3 비교부(130)는 제3 보간 블록과 동일한 위치의 원본 블록을 상술한 제2 프레임으로부터 추출하고, 제3 보간 블록과 비교하여 유사도 정보를 획득할 수 있다.

따라서, 제3 비교부(130)는 원본 프레임의 원본 블록과 상술한 제3 보간 블록을 비교하여 유사도를 산출할 수 있다. 유사도는, 예를 들어 전술한 SAD 또는 PSNR 중 적어도 하나를 이용하여 산출될 수 있다.

이후, 움직임 정보 추정부(100)는 산출된 유사도에 따라 보간 방식을 선택한다(S117).

보간 방식 선택부(141)는 유사도가 가장 높게 나타나는 비교부를 선택함으로써 보간 방식을 선택할 수 있다.

예를 들어, 보간 방식 선택부(141)는 제1 비교부(110)의 유사도가 가장 높은 경우, 보간 방식을 양 방향 보간 방식으로 선택할 수 있다.

또한, 보간 방식 선택부(141)는 제2 비교부(120)의 유사도가 가장 높은 경우, 보간 방식을 전 프레임으로부터 보간 대상 중간 프레임으로의 일 방향 보간 방식으로 선택할 수 있다.

또한, 보간 방식 선택부(141)는 제3 비교부(130)의 유사도가 가장 높은 경우, 보간 방식을 뒤 프레임으로부터 보간 대상 중간 프레임으로의 다른 일 방향 보간 방식으로 선택할 수 있다.

보간 방식이 선택되면, 움직임 정보 추정부(100)는 보간 방식에 따라 보간 대상 블록에 대응되는 움직임 정보를 추출한다(S119).

이와 같이, 유사도에 따라 선택된 보간 방식으로 추출된 움직임 정보는 실제 움직임 정보와 동일성 있는 정보일 수 있다.

그리고, 추출된 움직임 정보 및 유사도 정보는 저장부(150)에 저장되어 활용되거나, 보간 처리부(200)로 전달되어, 실제 중간 프레임 보간에 이용될 수 있다.

이후, 움직임 정보 추정부(100)는 보간 대상 블록이 프레임 내 마지막 블록의 마지막 위치인지를 판단한다(S121). 마지막 블록의 마지막 위치인 경우, 움직임 정보 추정을 종료하고, 그렇지 않은 경우 다시 보간 대상 블록 및 위치 정보 인덱싱을 수행하여 그 다음 보간 대상 블록 또는 다음 위치에 대한 S105 내지 S119 단계를 수행하도록 제어한다.

도 4 내지 도 6은 본 발명의 실시 예에 따른 움직임 정보 추정 방법을 도식화하여 설명하기 위한 도면들이다.

도 4는 본 발명의 실시 예에 따른 제1 비교부(110)에서 생성되는 양 방향 보간 방식에 의한 제1 보간 블록을 설명하기 위한 도면이다. 도 4에 도시된 바와 같이, 제1 비교부(110)는 시계열적으로 배열되는 제1 프레임, 제2 프레임 및 제3 프레임 중, 중간에 위치한 제2 프레임에 대해 원본 블록을 지정할 수 있다.

그리고, 제1 비교부(110)는 제2 프레임의 전, 후에 위치한 제1 프레임과 제3 프레임으로부터 각각 보간을 수행한 값의 평균값을 연산하여 얻어지는 제1 움직임 정보에 기초하여, 제1 보간 블록을 생성할 수 있다.

이후, 제1 비교부(110)는 도 4에 도시된 바와 같이, 앞서 지정된 원본 블록과의 유사도 비교를 통해 비교 결과로서 제1 유사도를 획득할 수 있다.

도 5는 본 발명의 실시 예에 따른 제2 비교부(120)에서 생성되는 일 방향 보간 방식에 의한 제2 보간 블록을 설명하기 위한 도면이다. 도 5에 도시된 바와 같이, 제2 비교부(120)는 제2 프레임에 대해 원본 블록을 지정할 수 있다.

그리고, 제2 비교부(120)는 제2 프레임의 전에 위치한 제1 프레임으로부터 일 방향으로 보간을 수행한 결과로 얻어지는 제2 움직임 정보에 기초하여, 제2 보간 블록을 생성할 수 있다.

이후, 제2 비교부(120)는 도 5에 도시된 바와 같이, 앞서 지정된 원본 블록과의 유사도 비교를 통해 비교 결과로서 제2 유사도를 획득할 수 있다.

도 6은 본 발명의 실시 예에 따른 제3 비교부(130)에서 생성되는 양 방향 보간 방식에 의한 제3 보간 블록을 설명하기 위한 도면이다. 도 6에 도시된 바와 같이, 제3 비교부(130)는 시계열적으로 배열되는 제1 프레임, 제2 프레임 및 제3 프레임 중, 중간에 위치한 제2 프레임에 대해 원본 블록을 지정할 수 있다.

그리고, 제3 비교부(130)는 제2 프레임의 후에 위치한 제3 프레임으로부터 다른 일 방향으로 보간을 수행한 결과로 얻어지는 제3 움직임 정보에 기초하여 제3 보간 블록을 생성할 수 있다.

이후, 제3 비교부(130)는 도 6에 도시된 바와 같이, 앞서 지정된 원본 블록과의 유사도 비교를 통해 비교 결과로서 제3 유사도를 획득할 수 있다.

그리고, 보간 방식 선택부(141)는 이와 같이 획득되는 제1 유사도, 제2 유사도 및 제3 유사도를 비교하여, 특정 블록에 대해 가장 높은 유사도를 갖는 보간 방식을 선택할 수 있으며, 해당 블록에 대응되는 위치 정보와 보간 방식을 포함하는 보간 정보를 생성하여 저장하거나, 움직임 정보 결정부(143)로 전달할 수 있다. 움직임 정보 결정부(143)는 보간 정보에 기초하여 각각의 프레임 사이에 생성되는 중간 프레임들의 움직임 정보를 추정할 수 있다.

이 때, 도 4 내지 도 6 각각에 도시된 바와 같이, 제1 프레임 및 제2 프레임 사이에 위치한 중간 프레임의 움직임 정보 추정에 있어서, 앞서 판단된 보간 방식이 동일하게 이용될 수 있다. 따라서, 움직임 정보 추정부(100)에서 출력되는 움직임 정보는 실제 중간 프레임의 보간에 그대로 이용될 수 있으며, 실제에 가까운 움직임 벡터 복원 및 이를 이용한 원본 영상 복원을 가능하게 한다.

도 7은 본 발명의 실시 예에 따른 보간 처리부(200)의 구성을 설명하기 위한 도면들이다.

도 7을 참조하면, 본 발명의 실시 예에 따른 보간 처리부(200)는 보간 정보 식별부(210), 제1 보간 처리부(210), 제2 보간 처리부(220), 제3 보간 처리부(230) 및 중간 프레임 생성부(240)를 포함한다.

보간 정보 식별부(210)는 보간 정보를 식별하고, 보간 정보로부터 보간 대상 블록에 대응되는 위치 정보 및 보간 방식 정보를 추출한다.

보간 정보 식별부(210)는, 보간 방식 정보가 추출되면, 보간 방식 정보에 대응하여 제1 보간 처리부(210), 제2 보간 처리부(220) 또는 제3 보간 처리부(230)로 보간 대상 블록의 위치 정보를 전달한다.

그리고, 제1 보간 처리부(210), 제2 보간 처리부(220) 및 제3 보간 처리부(230)는 각각 수신된 보간 대상 블록의 위치 정보에 따라 기 수신된 제1 프레임 및 제2 프레임간 보간을 수행하고, 중간 블록을 생성하여 중간 프레임 생성부(240)로 전달한다.

여기서, 제1 보간 처리부(210), 제2 보간 처리부(220) 및 제3 보간 처리부(230)는 미리 결정된 보간 방식에 따라 보간 처리를 수행할 수 있다. 보간 방식은 전술한 바와 같이, 양 방향 보간, 전 프레임으로부터의 일 방향 보간 및 뒤 프레임으로부터의 다른 일 방향 보간 방식 중 어느 하나일 수 있다. 이와 같이 움직임 정보 추출을 위해 미리 결정된 보간 방식은 제1 프레임 및 제2 프레임 사이에 위치하는 중간 프레임을 보간하는 데 있어서, 동일하게 이용될 수 있다. 이에 대하여는 도 9 내지 도 11을 참조하여 보다 자세하게 설명한다.

그리고, 중간 프레임 생성부(240)는 생성된 중간 블록들을 취합하여 중간 프레임을 생성한다. 결과적으로, 중간 프레임, 제1 프레임 및 제2 프레임은 프레임 율이 상승된 영상 프레임 셋을 구성할 수 있다. 영상 프레임 셋은 프레임 버퍼 또는 프레임 보간 장치(1000)와 직, 간접적으로 연결되는 영상 처리 회로 등으로 출력될 수 있다. 따라서, 중간 프레임이 제1 프레임 및 제2 프레임 사이에 보간되어 프레임 율이 상승된 영상이 출력될 수 있다.

도 8은 본 발명의 실시 예에 따른 보간 처리부(200)의 보간 방법을 설명하기 위한 흐름도이다.

도 8을 참조하면, 보간 처리부(200)는 보간 대상 블록에 대응되는 보간 정보를 식별하고(S201), 보간 정보로부터 보간 위치 및 보간 방식 정보를 추출한다(S203).

보간 정보 식별부(210)는 보간 정보를 식별하고, 보간 정보로부터 보간 대상 블록에 대응되는 위치 정보 및 보간 방식 정보를 추출할 수 잇다.

그리고 보간 처리부(200)는 보간 방식 정보에 따라, 움직임 정보를 제1 보간 처리부(210), 제2 보간 처리부(220) 또는 제3 보간 처리부(230)로 전달한다(S205).

보간 정보 식별부(210)는, 보간 방식 정보가 추출되면, 보간 방식 정보에 대응하여 제1 보간 처리부(210), 제2 보간 처리부(220) 또는 제3 보간 처리부(230)로 보간 대상 블록의 위치 정보를 전달할 수 있다.

이후, 보간 처리부(200)는 각 보간 처리부(210, 220, 230)에 의해 생성되는 중간 블록을 획득한다(209).

전술한 바와 같이, 제1 보간 처리부(210), 제2 보간 처리부(220) 및 제3 보간 처리부(230)는 각각 수신된 보간 대상 블록의 위치 정보에 따라 기 수신된 제1 프레임 및 제2 프레임간 보간을 수행하고, 중간 블록을 생성하여 중간 프레임 생성부(240)로 전달할 수 있다.

다음으로, 보간 처리부(200)는 생성된 중간 블록들을 수집하여 중간 프레임을 생성하고(S209), 생성된 중간 프레임을 출력한다(S211).

전술한 바와 같이, 중간 프레임 생성부(240)는 생성된 중간 블록들을 취합하여 중간 프레임을 생성한다. 중간 프레임, 제1 프레임 및 제2 프레임은 프레임 율이 상승된 영상 프레임 셋을 구성할 수 있다. 영상 프레임 셋은 프레임 버퍼 또는 프레임 보간 장치(1000)와 직, 간접적으로 연결되는 영상 처리 회로 등으로 출력될 수 있다. 따라서, 중간 프레임이 제1 프레임 및 제2 프레임 사이에 보간되어 프레임 율이 상승된 영상이 출력될 수 있다.

도 9 내지 도 11은 본 발명의 실시 예에 따른 각 보간 처리부의 보간 방법을 설명하기 위한 도면들이다.

도 9는 제1 보간 처리부(210)의 보간 방식을 나타낸다. 도 9를 참조하면, 제1 보간 처리부(210)에 보간 위치 정보가 전달된 경우, 제1 보간 처리부(210)는 양 방향 보간을 수행할 수 있다. 제1 보간 처리부(210)는 수신된 위치 정보에 기초하여, 제1 프레임 및 제2 프레임간 양 방향 보간을 수행함으로써, 중간 블록을 획득할 수 있다.

도 10은 제2 보간 처리부(210)의 보간 방식을 나타낸다. 도 10를 참조하면, 제2 보간 처리부(220)에 보간 위치 정보가 전달된 경우, 제2 보간 처리부(220)는 전 프레임으로부터 중간 프레임으로의 일 방향 보간을 수행할 수 있다. 제2 보간 처리부(220)는 수신된 위치 정보에 기초하여, 제1 프레임으로부터의 일 방향 보간을 수행함으로써, 중간 블록을 획득할 수 있다.

도 11은 제3 보간 처리부(230)의 보간 방식을 나타낸다. 도 11를 참조하면, 제3 보간 처리부(230)에 보간 위치 정보가 전달된 경우, 제3 보간 처리부(230)는 전 프레임으로부터 중간 프레임으로의 일 방향 보간을 수행할 수 있다. 제3 보간 처리부(230)는 수신된 위치 정보에 기초하여, 제3 프레임으로부터의 다른 일 방향 보간을 수행함으로써, 중간 블록을 획득할 수 있다.

이와 같이, 각 보간 처리부(210, 220, 230)은 미리 결정된 보간 방식에 따라, 각 블록 위치별로 적응적인 보간을 수행함으로써, 화질이 개선된 중간 블록들을 획득할 수 있으며, 중간 블록들은 중간 프레임을 형성함으로써 프레임 율 변환에 이용될 수 있다.

도 12 및 도 13은 본 발명의 실시 예에 따른 프레임 율 보간 장치에 의해 보간된 영상의 화질을 종래 기술과 비교 설명하기 위한 도면들이다.

도 12(A)는 기존의 움직임 정보 추정 방식을 이용하여 프레임 율 보간된 영상의 중간 프레임을 나타내며, 도 12(B)는 본 발명의 실시 예에 따른 프레임 율 보간된 영상의 중간 프레임을 나타낸다.

도 12에 도시된 바와 같이, 본 발명의 실시 예에 따른 프레임 율 보간 장치(1000)는 실제와 동일성 있는 움직임 정보를 추정할 수 있기 때문에 기존의 방식보다 화질 열화를 줄일 수 있음을 확인할 수 있다.

또한, 도 13은 도 12의 영상 일부(300, 400)를 각각 확대한 것으로, 도 12에 도시된 바와 같이, 본 발명의 실시 예에 따른 프레임 율 보간 장치(1000)에서는 기존에 존재하던 화질 열화 부분이 사라짐을 확인할 수 있다.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.

100: 움직임 벡터 추정 장치
105: 입력부
110: 제1 비교부
120: 제2 비교부
130: 제3 비교부
141: 보간 방식 선택부
143: 움직임 정보 결정부
150: 저장부
200: 보간 처리부

Claims (17)

1. 프레임 율 변환 장치에 있어서,
   제1 프레임, 제2 프레임 및 제3 프레임을 포함하는 영상 프레임들이 시계열적으로 입력되는 입력부;
   상기 제2 프레임을 기준으로 시간적으로 양 방향에 위치한 제1 프레임 및 제3 프레임을 함께 이용하여 양 방향 보간을 수행하고, 제1 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 제1 비교부;
   상기 제1 프레임만을 이용하여 보간을 수행하고, 제2 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 제2 비교부;
   상기 제3 프레임만을 이용하여 보간을 수행하고, 제3 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 제3 비교부;
   상기 제1 비교부, 제2 비교부 및 제3 비교부의 비교 결과에 기초하여, 유사도에 따른 보간 방식을 선택하고, 상기 영상 프레임들과 상기 선택된 보간 방식에 기초하여 보간 대상 블록에 대응하는 움직임 정보를 생성하는 움직임 정보 생성부; 및
   상기 생성된 움직임 정보에 기초하여 상기 제1 프레임 및 상기 제2 프레임 사이에 보간된 중간 프레임을 출력하는 보간 처리부를 포함하는 프레임 율 변환 장치.
2. 제1항에 있어서,
   상기 보간 대상 블록의 위치 정보에 대응하여, 상기 선택된 보간 방식 정보를 저장하는 저장부를 더 포함하는 프레임 율 변환 장치.
3. 제1항에 있어서,
   상기 보간 대상 블록은 시간적으로 상기 제1 프레임 및 상기 제2 프레임 사이에 위치한 적어도 하나의 중간 프레임에 포함된 블록인 것을 특징으로 하는 프레임 율 변환 장치.
4. 제1항에 있어서,
   상기 제1 비교부는,
   상기 제2 프레임을 기준으로 시간적으로 앞에 위치한 상기 제1 프레임으로부터 특정 블록에 대응되는 제1 움직임 정보를 획득하고,
   상기 제2 프레임을 기준으로 시간적으로 뒤에 위치한 상기 제3 프레임으로부터 상기 특정 블록에 대응되는 제3 움직임 정보를 획득하며,
   상기 제1 움직임 정보 및 상기 제3 움직임 정보의 평균값에 기초하여 상기 제1 보간 블록을 생성하는
   프레임 율 변환 장치.
5. 제1항에 있어서,
   상기 제2 비교부는,
   상기 제2 프레임을 기준으로 시간적으로 앞에 위치한 상기 제1 프레임으로부터 특정 블록에 대응되는 제1 움직임 정보에 기초하여 상기 제2 보간 블록을 생성하는
   프레임 율 변환 장치.
6. 제1항에 있어서,
   상기 제3 비교부는,
   상기 제2 프레임을 기준으로 시간적으로 뒤에 위치한 상기 제3 프레임으로부터 특정 블록에 대응되는 제3 움직임 정보에 기초하여 상기 제3 보간 블록을 생성하는
   프레임 율 변환 장치.
7. 제1항에 있어서,
   상기 보간 처리부는
   보간 방식을 식별하는 보간 정보 식별부; 및
   상기 보간 방식에 따라, 상기 중간 프레임을 생성하기 위한 제1 보간 처리부, 제2 보간 처리부 및 제3 보간 처리부 중 적어도 하나의 보간 처리부를 포함하는
   프레임 율 변환 장치.
8. 제1항에 있어서,
   상기 움직임 정보 생성부는
   상기 움직임 정보가 전부 블록에 대해 생성되고, 특정 블록의 움직임 정보의 방향이 주변 블록들보다 일정 크기 이상 차이나면, 상기 주변 블록들의 움직임 정보에 기초하여 상기 특정 블록의 움직임 정보를 보정하는
   프레임 율 변환 장치.
9. 프레임 율 변환 방법에 있어서,
   제1 프레임, 제2 프레임 및 제3 프레임을 포함하는 영상 프레임들이 시계열적으로 입력되는 단계;
   상기 제2 프레임을 기준으로 시간적으로 양 방향에 위치한 제1 프레임 및 제3 프레임을 함께 이용하여 양 방향 보간을 수행하고, 제1 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 단계;
   상기 제1 프레임만을 이용하여 보간을 수행하고, 제2 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 단계;
   상기 제3 프레임만을 이용하여 보간을 수행하고, 제3 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 단계;
   상기 제1 비교부, 제2 비교부 및 제3 비교부의 비교 결과에 기초하여, 유사도에 따른 보간 방식을 선택하고, 상기 영상 프레임들과 상기 선택된 보간 방식에 기초하여 보간 대상 블록에 대응하는 움직임 정보를 생성하는 단계; 및
   상기 생성된 움직임 정보에 기초하여 상기 제1 프레임 및 상기 제2 프레임 사이에 보간된 중간 프레임을 출력하는 단계를 포함하는 프레임 율 변환 방법.
10. 제9항에 있어서,
    상기 보간 대상 블록의 위치 정보에 대응하여, 상기 선택된 보간 방식 정보를 저장하는 단계를 더 포함하는 프레임 율 변환 방법.
11. 제9항에 있어서,
    상기 보간 대상 블록은 시간적으로 상기 중간 프레임에 포함된 블록인 것을 특징으로 하는 프레임 율 변환 방법.
12. 제9항에 있어서,
    상기 제1 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 단계는,
    상기 제2 프레임을 기준으로 시간적으로 앞에 위치한 상기 제1 프레임으로부터 특정 블록에 대응되는 제1 움직임 정보를 획득하는 단계;
    상기 제2 프레임을 기준으로 시간적으로 뒤에 위치한 상기 제3 프레임으로부터 상기 특정 블록에 대응되는 제3 움직임 정보를 획득하는 단계; 및
    상기 제1 움직임 정보 및 상기 제3 움직임 정보의 평균값에 기초하여 상기 제1 보간 블록을 생성하는 단계를 포함하는
    프레임 율 변환 방법.
13. 제9항에 있어서,
    상기 제2 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 단계는,
    상기 제2 프레임을 기준으로 시간적으로 앞에 위치한 상기 제1 프레임으로부터 특정 블록에 대응되는 제1 움직임 정보에 기초하여 상기 제2 보간 블록을 생성하는 단계를 포함하는
    프레임 율 변환 방법.
14. 제9항에 있어서,
    상기 제3 보간 블록을 생성하여 상기 제2 프레임의 원본 블록과 비교하는 단계는,
    상기 제2 프레임을 기준으로 시간적으로 뒤에 위치한 상기 제3 프레임으로부터 특정 블록에 대응되는 제3 움직임 정보에 기초하여 상기 제3 보간 블록을 생성하는 단계를 포함하는
    프레임 율 변환 방법.
15. 제9항에 있어서,
    상기 중간 프레임을 출력하는 단계는,
    보간 방식을 식별하는 단계; 및
    상기 보간 방식에 따라, 상기 중간 프레임을 생성하기 위한 제1 보간 처리부, 제2 보간 처리부 및 제3 보간 처리부 중 적어도 하나의 보간 처리부를 동작시켜 상기 중간 프레임을 생성하는 단계를 포함하는
    프레임 율 변환 방법.
16. 제9항에 있어서,
    상기 움직임 정보를 생성하는 단계는,
    상기 움직임 정보가 전부 블록에 대해 생성되고, 특정 블록의 움직임 정보의 방향이 주변 블록들보다 일정 크기 이상 차이나면, 상기 주변 블록들의 움직임 정보에 기초하여 상기 특정 블록의 움직임 정보를 보정하는 단계를 포함하는
    프레임 율 변환 방법.
17. 제9항 내지 제16항에 기재된 방법 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터가 읽을 수 있는 기록 매체.

Images