KR101740124B1 - 프레임 율 변환 장치 및 그 방법 - Google Patents

프레임 율 변환 장치 및 그 방법 Download PDF

Info

Publication number
KR101740124B1
KR101740124B1 KR1020150070517A KR20150070517A KR101740124B1 KR 101740124 B1 KR101740124 B1 KR 101740124B1 KR 1020150070517 A KR1020150070517 A KR 1020150070517A KR 20150070517 A KR20150070517 A KR 20150070517A KR 101740124 B1 KR101740124 B1 KR 101740124B1
Authority
KR
South Korea
Prior art keywords
hole
frame
interpolation
motion information
motion
Prior art date
Application number
KR1020150070517A
Other languages
English (en)
Other versions
KR20160136665A (ko
Inventor
김진태
한동일
김재광
Original Assignee
주식회사 칩스앤미디어
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 칩스앤미디어, 세종대학교산학협력단 filed Critical 주식회사 칩스앤미디어
Priority to KR1020150070517A priority Critical patent/KR101740124B1/ko
Publication of KR20160136665A publication Critical patent/KR20160136665A/ko
Application granted granted Critical
Publication of KR101740124B1 publication Critical patent/KR101740124B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/013—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the incoming video signal comprising different parts having originally different frame rate, e.g. video and graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)

Abstract

본 발명의 실시 예에 따른 장치는, 프레임 율 변환 장치에 있어서, 영상 프레임들이 시계열적으로 입력되면 프레임 간 비교 결과로부터 보간 대상 프레임의 움직임 정보를 추정하는 움직임 정보 추정부; 상기 보간 대상 프레임의 움직임 정보로부터 움직임 보상 보간 처리를 통해 상기 보간 대상 프레임을 생성하는 움직임 보상 보간 처리부; 및 상기 보간 대상 프레임의 홀 영역에 대한 보간을 처리하는 홀 보간 처리부를 포함하고, 상기 홀 보간 처리부는 상기 움직임 보상 보간 처리부로부터 보간 대상 프레임 및 상기 보간 대상 프레임을 기준으로 시계열적으로 전 또는 후에 위치한 프레임들 중 하나 이상의 프레임을 포함하는 참조 프레임을 입력받는 입력부; 상기 보간 대상 프레임으로부터 화소 값이 불특정되는 홀 영역의 위치를 검출하는 홀 검출부; 상기 홀 영역의 위치 및 상기 홀 영역의 위치에 대응하는 홀 경계 영역에 기초하여 상기 참조 프레임으로부터 홀 움직임 정보를 추정하는 홀 움직임 추정부; 및 상기 추정된 홀 움직임 정보 및 상기 참조 프레임의 상기 홀 경계 영역에 대응하는 화소 값에 기초하여 상기 홀 영역의 불특정된 화소 값을 보간하는 홀 보간부를 포함한다.

Description

프레임 율 변환 장치 및 그 방법{AN APPRATUS FOR FRAME RATE CONVERSION AND A METHOD THEREOF}
본 발명은 프레임 율 변환 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 움직임 정보를 판별하여 프레임 율 변환에 의해 생성된 보간 프레임에서 나타나는 홀(hole)의 발생을 방지할 수 있는 프레임 율 변환 장치 및 그 방법에 관한 것이다.
일반적으로 사용되는 프레임 율 변환 (Frame rate up-conversion. FRC) 방법은 영상정보와 디스플레이 형식의 폭발적인 증가로 인해 최근 부상하고 있는 중요한 이슈 중 하나이다.
프레임 율 변환은 다른 프레임 율을 가지는 다양한 디스플레이 포맷 간의 변환을 위해 필요하다. 예를 들어 기존의 동영상들은 초당 24, 25, 30 의 프레임 율을 가지지만, HDTV와 멀티미디어 PC시스템은 화면 깜빡임과 같은 화질열화를 줄이고, 보여 지는 영상의 질을 향상시키기 위해 더욱 높은 프레임 율을 지원한다.
그러므로 HDTV나 멀티미디어 환경에서 동영상을 재생 할 경우 지원하는 프레임 율로 상향 변환이 되면 보다 좋은 화질을 기대할 수 있다. 기존의 경우, 프레임 상향 변환을 위해 프레임 반복이나 시간적 필터링을 통한 선형 보간과 같은 단순한 프레임 율 변환 알고리즘이 사용되었다. 하지만 이와 같은 단순한 알고리즘들은 motion judder 와 motion blur 와 같은 화질열화를 유발한다.
이와 같은 화질열화를 방지하기 위해, 움직임 보상 보간 (MCI) 을 이용한 다양한 움직임 보상 프레임 율 변환 (MC-FRC) 알고리즘이 개발되고 있다. 이와 같은 MCI 기법의 경우, 프레임율 변환 알고리즘을 통해 보간된 영상은 전방향 매핑(Forward Mapping) 또는 역방향 매핑(Backward Mapping) 계산 방식이 이용될 수 있다.
그러나, 이와 같은 움직임 보상 보간 을 이용한 다양한 움직임 보상 프레임 율 변환 알고리즘에 의하면, 특히 전방향 매핑 계산방식에 의해 보간된 프레임에는 홀(hole)이 발생되는 문제점이 있다. 홀은 화소값이 정의 되지 않아 불특정되는 상태로서, 홀이 발생된 영역은 전방향 매핑 계산 방식을 이용한 프레임 율 변환을 통해 생성되는 보간 대상 프레임 중 어떠한 움직임 상각궤도도 통과하지 않아 보간 되지 못한 일부 화소들을 포함할 수 있다.
이와 같이 발생되는 홀 영역은 그 화소값이 불특정되는 화소 영역으로서, 영상에서의 화질열화를 유발하며, 시청자의 눈에 심하게 거슬리게 되어 홀 부분의 화소를 효과적으로 보간 할 방법이 필요하다.
본 발명의 실시 예는 상기와 같은 문제점을 해결하기 위한 것으로, 움직임 정보를 추정하여 보간하는 프레임 율 변환 장치에 있어서, 화소값이 불특정되어 화소가 존재하지 않는 것과 같이 처리되는 홀 영역을 보간하여 실제와 같은 영상으로 재생할 수 있는 프레임 율 변환 장치 및 그 방법을 제공하는데 목적이 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시 예에 따른 장치는, 프레임 율 변환 장치에 있어서, 영상 프레임들이 시계열적으로 입력되면 프레임 간 비교 결과로부터 보간 대상 프레임의 움직임 정보를 추정하는 움직임 정보 추정부; 상기 보간 대상 프레임의 움직임 정보로부터 움직임 보상 보간 처리를 통해 상기 보간 대상 프레임을 생성하는 움직임 보상 보간 처리부; 및 상기 보간 대상 프레임의 홀 영역에 대한 보간을 처리하는 홀 보간 처리부를 포함하고, 상기 홀 보간 처리부는 상기 움직임 보상 보간 처리부로부터 보간 대상 프레임 및 상기 보간 대상 프레임을 기준으로 시계열적으로 전 또는 후에 위치한 프레임들 중 하나 이상의 프레임을 포함하는 참조 프레임을 입력받는 입력부; 상기 보간 대상 프레임으로부터 화소 값이 불특정되는 홀 영역의 위치를 검출하는 홀 검출부; 상기 홀 영역의 위치 및 상기 홀 영역의 위치에 대응하는 홀 경계 영역에 기초하여 상기 참조 프레임으로부터 홀 움직임 정보를 추정하는 홀 움직임 추정부; 및 상기 추정된 홀 움직임 정보 및 상기 참조 프레임의 상기 홀 경계 영역에 대응하는 화소 값에 기초하여 상기 홀 영역의 불특정된 화소 값을 보간하는 홀 보간부를 포함한다.
또한, 상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시 예에 따른 방법은, 프레임 율 변환 방법에 있어서, 영상 프레임들이 시계열적으로 입력되면 프레임 간 비교 결과로부터 보간 대상 프레임의 움직임 정보를 추정하는 단계; 상기 보간 대상 프레임의 움직임 정보로부터 움직임 보상 보간 처리를 통해 상기 보간 대상 프레임을 생성하는 단계; 및 상기 보간 대상 프레임의 홀 영역에 대한 보간을 처리하는 단계를 포함하고, 상기 홀 영역에 대한 보간을 처리하는 단계는, 프레임 율 변환에 의해 생성된 보간 대상 프레임 및 상기 보간 대상 프레임을 기준으로 시계열적으로 전 또는 후에 위치한 프레임들 중 하나 이상을 포함하는 참조 프레임을 입력받는 단계; 상기 보간 대상 프레임으로부터 화소 값이 불특정되는 홀 영역의 위치를 검출하는 단계; 상기 홀의 위치에 기초하여, 상기 하나 이상의 참조프레임상의 상기 홀 영역의 위치에 대응하는 홀 경계 영역으로부터 홀 움직임 정보를 추정하는 단계; 및 상기 홀 움직임 정보 및 상기 홀 경계 영역에 대응하는 상기 참조 프레임의 화소 값에 기초하여 상기 홀 영역을 보간하는 단계를 포함한다.
상기와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 방법들은 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터가 읽을 수 있는 기록 매체로 구현될 수 있다.
본 발명의 실시 예에 따르면, 프레임 율 변환 시 움직임 보상 보간이 처리된 보간 대상 프레임의 홀 영역에 대한 움직임 추정을 통해 홀 영역에 실제로 존재해야 하는 화소들을 찾아냄으로서 홀 영역을 효과적으로 보간할 수 있다. 이에 따라, 본 발명은 프레임 율 변환 장치의 프레임 율 변환 효과를 높일 수 있으며, 자연스럽고 부드러운 영상을 디스플레이 할 수 있게 한다.
또한, 본 발명의 실시 예에 따르면, 홀이 존재하는 보간 대상 프레임의 홀영역을 기준으로 하는 홀 경계 영역을 설정하고, 이에 대응되는 참조 프레임의 의 화소 및 움직임 정보 추정을 이용하여, 홀 영역에 대한 보간을 수행함으로써, 원본 영상의 프레임과 가장 유사한 홀 영역의 화소들로 보간 할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 프레임 율 변환 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 실시 예에 따른 움직임 정보 추정부의 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 실시 예에 따른 움직임 보상 보간부를 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따른 홀 보간 처리부의 구성을 설명하기 위한 블록도이다.
도 5는 본 발명의 실시 예에 따른 프레임 율 변환 장치의 동작을 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시 예에 따른 프레임 율 변환 장치의 홀 보간 처리부를 설명하기 위한 흐름도이다.
도 7은 본 발명의 실시 예에 따른 프레임 율 변환 방법의 홀이 검출되는 예를 설명하기 위한 도면이다.
도 8 및 도 9은 본 발명의 실시 예에 따른 프레임 율 변환 장치의 홀 보간 방법을 도식화하여 설명하기 위한 도면들이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 프레임 율 변환 장치(1000)를 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 프레임 율 변환 장치(1000)는 움직임 정보 추정부(100), 움직임 보상 보간부(200) 및 홀 보간 처리부(300)를 포함하여 구성될 수 있다.
움직임 정보 추정부(100)는 프레임 율 변환을 위한 움직임 정보를 추정 하고, 상기 움직임 정보에 따라 최적의 보간 방식을 결정하며, 상기 결정된 보간 방식에 따라 움직임 정보를 생성하여 움직임 보상 보간부(200)로 출력한다. 움직임 정보는 예를 들어, 순차적인 영상 프레임간의 화소 이동을 나타내기 위한 움직임 벡터 정보를 포함할 수 있다. 따라서, 움직임 정보 추정부(100)는 움직임 벡터 정보를 생성하여 출력할 수 있다.
또한, 움직임 정보 추정부(100)는 각각의 보간 방식에 따른 움직임 정보를 획득하여, 보간된 프레임들과 원본 프레임간의 블록별 유사도를 연산하여 그 비교 결과에 따라 적절한 보간 방식을 블록별로 선택할 수 있다. 그리고, 움직임 정보 추정부(100)는 선택된 보간 방식을 각 블록에 대응시켜 저장할 수 있다. 또한, 움직임 정보 추정부(100)는 움직임 정보를 포함하는 보간 정보를 생성하여, 움직임 보상 보간부(200)로 출력할 수 있다.
한편, 움직임 보상 보간부(200)는 상기 움직임 정보 추정부(100)에서 추정된 움직임 정보에 기초하여 각 보간 대상 블록에 대응되는 영상 블록을 입력 영상으로부터 보간 하여 중간 블록을 생성하며, 생성된 중간 블록들을 이용하여 중간 프레임을 보간 대상 프레임으로써 출력함으로써 영상의 프레임 율 변환을 완료할 수 있다.
그리고, 홀 보간 처리부(300)는 움직임 보상 보간부(200)로부터 프레임 율 변환된 영상을 입력받고, 프레임 율 변환에 의해 생성된 보간 대상 프레임 및 상기 보간 대상 프레임을 기준으로 시계열적으로 전 또는 후에 위치한 프레임들 중 하나 이상을 포함하는 참조 프레임을 식별하며, 상기 보간 대상 프레임으로부터 화소 값이 불특정되는 홀 영역의 위치를 검출하고, 상기 홀의 위치에 기초하여, 상기 하나 이상의 참조프레임상의 상기 홀 영역의 위치에 대응하는 홀 경계 영역으로부터 홀 움직임 정보를 추정하며, 상기 홀 움직임 정보 및 상기 홀 경계 영역에 대응하는 상기 참조 프레임의 화소 값에 기초하여 상기 홀 영역을 보간한다.
이와 같은 홀 보간 처리부(300)는 움직임 정보 추정에 따라 움직임 보상 보간이 수행된 프레임 율 변환에 의해 생성된 보간 프레임에서 발생하는 홀을 검출할 수 있으며, 그 홀에 대응하는 영역을 보간 대상 프레임을 기준으로 하는 참조 프레임의 화소 값에 기초하여 보간함으로써, 프레임 율 변환에 의해 생성되는 보간 대상 프레임의 화질열화를 개선할 수 있다.
도 2는 본 발명의 실시 예에 따른 움직임 정보 추정 장치(100)의 구성을 설명하기 위한 블록도이다.
도 2를 참조하면, 본 발명의 실시 예에 따른 움직임 정보 추정 장치(100)는 영상 프레임들이 시계열적으로 입력되는 입력부(105), 제1 비교부(110), 제2 비교부(120), 제3 비교부(130), 움직임 정보 추출부(140) 및 저장부(150)를 포함하고, 움직임 정보 추출부(140)는 보간 방식 선택부(141) 및 움직임 정보 결정부(143)를 포함한다.
입력부(105)는 시계열적으로 입력되는 영상 프레임들을 수신한다. 영상 프레임들은 제n-1 프레임, 제n+1 프레임 및 제n+3 프레임을 포함할 수 있다. 제n-1 프레임, 제n+1 프레임 및 제n+3 프레임은 시간 순서에 따라 순서적으로 배열되는 복수의 영상 프레임들일 수 있다. 프레임 율 변환이 수행되면, 제n-1 프레임 및 제n+1 프레임 사이에 보간된 중간 프레임(n 프레임)이 생성될 수 있고, 제n+1 프레임 및 제n+3 프레임 사이에 보간된 중간 프레임(n+2 프레임)이 다시 생성될 수 있다. 이와 같이 시계열적으로 입력되는 영상 프레임들에서 프레임 율이 보간되면, 시간적으로 중간에 위치하는 중간 프레임들이 더 생성되어 삽입되어야 한다.
한편, 제1 비교부(110)는 상기 제n+1 프레임을 기준으로 시간적으로 양 방향에 위치한 제n-1 프레임 및 제n+3 프레임을 함께 이용하여 양 방향 보간을 수행하고, 제1 보간 블록을 생성하여 상기 제n+1 프레임의 원본 블록과 비교한다.
제1 비교부(110)는 상기 제n+1 프레임을 기준으로 시간적으로 앞에 위치한 상기 제n-1 프레임으로부터 특정 블록에 대응되는 제1 움직임 정보를 획득하고, 상기 제n+1 프레임을 기준으로 시간적으로 뒤에 위치한 상기 제n+3 프레임으로부터 상기 특정 블록에 대응되는 제3 움직임 정보를 획득하며, 상기 제1 움직임 정보 및 상기 제3 움직임 정보의 평균값에 기초하여 상기 제1 보간 블록을 생성할 수 있다.
따라서, 제1 비교부(110)는 제n-1 프레임 및 제n+3 프레임으로부터 양 방향으로 추정되는 움직임 정보의 평균값을 이용하여 보간을 수행함으로써, 제1 보간 블록을 획득할 수 있다. 제1 비교부(110)는 제1 보간 블록과 동일한 위치의 원본 블록을 상술한 제n+1 프레임으로부터 추출하고, 제1 보간 블록과 비교하여 유사도 정보를 획득할 수 있다. 이와 같이, 제1 비교부(110)는 양 방향 보간을 통해 획득되는 제1 보간 블록과 원본 블록과의 비교 결과를 출력할 수 있다.
그리고, 제2 비교부(120)는 상기 제n-1 프레임만을 이용하여 보간을 수행하고, 제2 보간 블록을 생성하여 상기 제n+1 프레임의 원본 블록과 비교한다.
여기서, 제2 비교부(120)는 상기 제n+1 프레임을 기준으로 시간적으로 앞에 위치한 상기 제n-1 프레임으로부터 특정 블록에 대응되는 제1 움직임 정보에 기초하여 상기 제1 보간 블록을 생성함으로써, 제n-1 프레임으로부터 일 방향으로 추정되는 움직임 정보만을 이용하여 보간을 수행함으로써, 제2 보간 블록을 획득할 수 있다.
예를 들어, 제2 비교부(120)는 제2 보간 블록과 동일한 위치의 원본 블록을 상술한 제n+1 프레임으로부터 추출하고, 상기 원본 블록을 제2 보간 블록과 비교하여 유사도 정보를 획득할 수 있다. 이와 같이, 제2 비교부(110)는 제1 프레임으로부터의 일 방향 보간을 통해 획득되는 제2 보간 블록과 원본 블록과의 비교 결과를 출력할 수 있다.
또한, 제3 비교부(130)는 상기 제n+3 프레임만을 이용하여 보간을 수행하고, 제3 보간 블록을 생성하여 상기 제n+1 프레임의 원본 블록과 비교한다.
여기서, 제3 비교부(130)는 상기 제n+1 프레임을 기준으로 시간적으로 뒤에 위치한 상기 제n+3 프레임으로부터 특정 블록에 대응되는 제3 움직임 정보에 기초하여 상기 제3 보간 블록을 생성할 수 있다.
예를 들어, 제3 비교부(130)는 제2 보간 블록과 동일한 위치의 원본 블록을 상술한 제2 프레임으로부터 추출하고, 상기 원본 블록을 제3 보간 블록과 비교하여 유사도 정보를 획득할 수 있다. 이와 같이, 제3 비교부(130)는 제n+3 프레임으로부터의 다른 일 방향 보간을 통해 획득되는 제3 보간 블록과 원본 블록과의 비교 결과를 출력할 수 있다.
한편, 움직임 정보 추출부(140)는 상기 제1 비교부(110), 제2 비교부(120) 및 제3 비교부(130)의 비교 결과에 기초하여, 가장 유사도가 높은 보간 방식을 선택하고, 상기 영상 프레임들과 상기 선택된 보간 방식에 기초하여 보간 대상 블록에 대응하는 움직임 정보를 생성한다. 여기서, 상기 보간 대상 블록은 시간적으로 상기 제n-1 프레임 및 상기 제n+1 프레임 사이에 위치한 적어도 하나의 중간 프레임(n 프레임)에 포함된 블록일 수 있다.
따라서, 움직임 정보 추출부(140)는 상기 제1 보간 블록, 상기 제2 보간 블록 및 상기 제3 보간 블록과 원본 블록과의 유사도 비교 결과에 따라 적어도 하나의 보간 기준 프레임 위치를 선택할 수 있다.
예를 들어, 제1 비교부(110)로부터 출력되는 유사도가 가장 높다고 판단되는 경우, 그 블록에 대응되는 보간 기준 프레임은 보간 대상 프레임인 중간 프레임으로부터 시계열적으로 양 방향에 위치한 두 프레임일 수 있다.
또한, 제2 비교부(120)로부터 출력되는 유사도가 가장 높다고 판단되는 경우, 그 블록에 대응되는 보간 기준 프레임은 보간 대상 프레임인 중간 프레임으로부터 시계열적으로 앞 방향에 위치한 하나의 프레임일 수 있다.
그리고, 제3 비교부(130)로부터 출력되는 유사도가 가장 높다고 판단되는 경우, 그 블록에 대응되는 보간 기준 프레임은 보간 대상 프레임인 중간 프레임으로부터 시계열적으로 뒤 방향에 위치한 하나의 프레임일 수 있다.
그리고, 저장부(150)는 상기 보간 대상 블록의 위치 정보에 대응하여, 상기 선택된 보간 방식 정보를 보간 정보로서 저장한다. 저장된 보간 정보는 보간 대상 블록의 위치 정보와 함께 움직임 보상 보간 장치(200)로 전달될 수 있다.
저장부(150)는 움직임 정보 추정 장치(100)의 동작을 위한 프로그램 또는 정보를 저장할 수 있고, 입/출력되는 데이터들을 임시 저장할 수도 있다.
이와 같은 움직임 정보 추정 장치(100)의 구성에 따라, 입력된 영상의 블록별로 가장 유사도가 높은 보간 방식을 선택할 수 있으며, 그 보간 방식에 따라 양 방향, 일 방향 또는 다른 일 방향으로의 보간을 적응적으로 수행함으로써, 실제와 가까운 움직임 정보를 추정할 수 있고, 프레임 율 변환을 위한 영상의 보간 대상 프레임인 중간 프레임 보간의 성능을 향상시킬 수 있다.
도 3은 본 발명의 실시 예에 따른 움직임 보상 보간 장치(200)의 구성을 설명하기 위한 도면들이다.
도 3을 참조하면, 본 발명의 실시 예에 따른 움직임 보상 보간 장치(200)는 보간 정보 식별부(210), 제1 보간 처리부(210), 제2 보간 처리부(220), 제3 보간 처리부(230) 및 중간 프레임 생성부(240)를 포함한다.
보간 정보 식별부(210)는 보간 정보를 식별하고, 보간 정보로부터 보간 대상 블록에 대응되는 위치 정보 및 보간 방식 정보를 추출한다.
보간 정보 식별부(210)는, 보간 방식 정보가 추출되면, 보간 방식 정보에 대응하여 제1 보간 처리부(210), 제2 보간 처리부(220) 또는 제3 보간 처리부(230)로 보간 대상 블록의 위치 정보를 전달한다.
그리고, 제1 보간 처리부(210), 제2 보간 처리부(220) 및 제3 보간 처리부(230)는 각각 수신된 보간 대상 블록의 위치 정보에 따라 기 수신된 제n-1 프레임 및 제n+1 프레임간 보간을 수행하고, 중간 블록을 생성하여 중간 프레임 생성부(240)로 전달한다.
여기서, 제1 보간 처리부(210), 제2 보간 처리부(220) 및 제3 보간 처리부(230)는 미리 결정된 보간 방식에 따라 보간 처리를 수행할 수 있다. 보간 방식은 전술한 바와 같이, 양 방향 보간, 전 프레임으로부터의 일 방향 보간 및 뒤 프레임으로부터의 다른 일 방향 보간 방식 중 어느 하나일 수 있다. 이와 같이 움직임 정보 추출을 위해 미리 결정된 보간 방식은 제n-1 프레임 및 제n+1 프레임 사이에 위치하는 중간 n 프레임을 보간하는 데 있어서, 동일하게 이용될 수 있다.
이와 같이 구성되는 움직임 정보 추정 장치(100) 및 움직임 보상 보간 장치(200)의 동작에 따라, 프레임 보간된 영상이 출력될 수 있으며, 홀 보간 장치(300)는 프레임 보간된 영상에서 보간된 프레임에 홀이 발생하는지 여부에 따라 홀 보간을 수행하여 홀 보간된 최종 영상을 출력할 수 있다.
이하에서는, 본 발명의 실시 예에 따른 홀 보간 처리부(300)의 구성 및 동작을 보다 상세하게 설명하도록 한다.
도 4는 본 발명의 실시 예에 따른 홀 보간 장치(300)의 구성을 설명하기 위한 블록도이다.
도 4를 참조하면, 본 발명의 실시 예에 따른 홀 보간 장치(300)는 영상 프레임들이 입력되는 입력부(310), 홀 검출부(320), 홀 경계 선택부(330), 제1 홀 움직임 추정부(340), 제2 홀 움직임 추정부(350), 홀 움직임 선택부(360) 및 홀 보간부(370)을 포함하고, 홀 움직임 선택부(360)는 프레임 선택부(361) 및 홀 움직임 정보 추출부(362)를 포함한다.
입력부(310)는 움직임 보상 보간된 영상 프레임들을 수신한다. 움직임 보상 보간된 영상 프레임들은 원본 영상 프레임에 포함된 프레임과, 보간에 의해 생성된 보간 대상 프레임을 포함할 수 있다. 원본 영상 프레임에 포함된 프레임은 참조 프레임으로 이용될 수 있다.
여기서, 홀 영역은 원본 영상에서 시계열적으로 연속되는 제n-1 프레임 및 제n+1 프레임으로부터 적어도 하나의 움직임 보상 보간되어 생성된 보간 대상 프레임(n 프레임)에 포함되어 있을 수 있다.
특히, 본 발명의 실시 예에서 입력부(310)는 보간된 프레임 n프레임을 기준으로 상기 n 프레임과 n-1 프레임 및 n+3 프레임을 수신하여 홀 보간을 처리할 수 있다. 움직임 보상 보간시에는 n-1, n+1 또는 n+3을 이용하여 상기 n 프레임이 생성될 수 있으나, n 프레임에서 홀이 발생된 경우 움직임 보간 방향에 따라 n+1프레임과의 움직임 차이는 미미할 수 있기 때문에 n+1보다 n+3 프레임이 참조 프레임으로서 바람직할 수 있다.
다만, 이와 같은 입력 프레임 조합 및 개수는 움직임 보간 방향 또는 사용자 설정에 의해 조정될 수 있다. 예를 들어, 입력부(310)는 n-3, n-1, n+1, n+3 프레임들을 모두 수신하여 홀 보간을 위한 움직임 정보 추정 및 홀 보간을 수행할 수도 있다.
그리고, 홀 검출부(320)는 상기 입력부(310)에서 입력 받은 보간 대상 프레임(보간에 의해 생성된 n 프레임)에서 화소가 특정되지 않은 홀 영역을 검출할 수 있다. 화소가 특정되지 않는 경우, 각 화소에 대응하는 데이터는 존재하지 않는 값(null)으로 표현되거나 미리 결정된 특정 값(#FF등)을 포함하는 상태일 수 있다. 홀 검출부(320)는 보간 대상 프레임에서 보간에 의해 생성된 블록 영역을 제외한 나머지 영역을 화소가 존재하지 않는 홀 영역으로 검출할 수 있다.
홀 경계 선택부(330)는 상기 홀 검출부(320)에서 검출된 홀 영역에 기초하여 홀 영역으로부터 기준 거리 이내 인접한 주변 화소들을 포함하는 홀 경계 영역을 선택할 수 있다. 홀 경계 영역에 포함된 주변 화소들은 홀 영역의 경계를 나타낼 수 있다. 그리고, 상기 기준 거리는 홀 영역으로부터 인접한 주변 화소의 선택 범위를 의미할 수 있으며, 사용자 설정에 의해 변동될 수 있다. 예로 들어, 홀 경계 영역의 기준 거리는 사용자가 초기에 설정하거나 입력함으로써 지정될 수 있다.
그리고, 각 홀 움직임 추정부(340, 350)은 상기 보간 대상 프레임의 홀 경계 영역 화소들에 대응하는 참조 프레임의 화소들을 식별하고, 상기 참조 프레임의 화소들로부터 상기 보간 대상 프레임의 홀 경계 영역 화소들에 각각 대응하는 방향으로 상기 움직임 정보를 추정하며, 상기 움직임 정보에 기초하여 각 참조 프레임별 에러 값을 산출할 수 있다.
이를 위해, 제1 홀 움직임 추정부(340)는 상기 입력부(310)에서 입력받은 원본 영상 프레임 중 참조 프레임인 제1 프레임 및 보간 대상 프레임에 기초하여, 상기 보간 대상 프레임에 포함된 상기 홀 경계 영역에 대응하는 화소들을 이용하여 상기 제1 프레임의 특정 영역에 대응하는 제1 움직임 정보 및 제1 에러 값을 산출한다.
보다 구체적으로, 상기 제1 프레임은 참조 프레임으로서, 상기 보간 된 프레임을 기준으로 시간적으로 앞 방향에 위치한 n-1 프레임일 수 있다. 제1 홀 움직임 추정부(340)는 제1 움직임 정보를 위해, 제 1 프레임과 상기 홀 경계 선택부(330)에서 선택된 홀 경계 영역에 포함된 화소들을 이용할 수 있다.
제1 홀 움직임 추정부(340)는 상기 보간된 프레임의 홀 경계 영역에 대응하는 화소들과, 상기 제1 프레임에 포함된 상기 홀 경계 영역의 위치에 대응하는 화소들을 비교하여, 제1 프레임에서 가장 유사도가 높은 후보 영역을 식별할 수 있다. 그리고, 제1 홀 움직임 추정부(340)는 상기 후보 영역의 각 화소들로부터 보간 대상 프레임의 홀 경계 영역 방향으로 움직임 정보를 추정하여 제1 움직임 정보를 획득하고, 상기 제1 움직임 정보에 대응하는 화소의 차이값을 산출함으로써, 제1 에러 값을 획득할 수 있다. 제1 에러 값은 예로 들어, 상기 후보 영역과 상기 홀 경계 영역에 대한 SAD(SUM OF ABSOLUTE DIFFERENCE) 또는 SSD(SUM OF SQUARE DIFFERENCE) 또는 PSNR(PEAK SIGNAL-TO-NOISE RATIO)연산에 의해 획득될 수 있다.
그리고, 제2 홀 움직임 추정부(350)는 상기 입력부(310)에서 입력받은 원본 영상 프레임 중 참조 프레임으로서 제2 프레임 및 보간 대상 프레임에 기초하여, 상기 보간 대상 프레임에 포함된 상기 홀 경계 영역에 대응하는 화소들을 이용하여 상기 제2 프레임의 특정 영역에 대응하는 제2 움직임 정보 및 제2 에러 값을 산출한다.
보다 구체적으로, 상기 제2 프레임은 참조 프레임으로서 상기 보간 된 프레임을 기준으로 시간적으로 뒷 방향에 위치한 n+3 프레임일 수 있다. 제2 홀 움직임 추정부(350)는 제2 움직임 정보를 위해, 제2 프레임과 상기 홀 경계 선택부(330)에서 선택된 홀 경계 영역에 포함된 화소들을 이용할 수 있다.
제2 홀 움직임 추정부(350)는 상기 보간된 프레임의 홀 경계 영역에 대응하는 화소들과, 상기 제2 프레임에 포함된 상기 홀 경계 영역의 위치에 대응하는 화소들을 비교하여, 제2 프레임에서 가장 유사도가 높은 후보 영역을 식별할 수 있다. 그리고, 제2 홀 움직임 추정부(350)는 보간 대상 프레임의 홀 경계 영역 으로부터 상기 후보 영역의 각 화소들 방향으로 움직임 정보를 추정하여 제2 움직임 정보를 획득하고, 상기 제2 움직임 정보에 대응하는 화소의 차이값을 산출함으로써, 제2 에러 값을 획득할 수 있다. 제2 에러 값은 예로 들어, 상기 후보 영역과 상기 홀 경계 영역에 대한 SAD(SUM OF ABSOLUTE DIFFERENCE) 또는 SSD(SUM OF SQUARE DIFFERENCE) 또는 PSNR(PEAK SIGNAL-TO-NOISE RATIO)연산에 의해 획득될 수 있다.
한편, 홀 움직임 선택부(360)는 상기 제1 홀 움직임 추정부(340), 제2 홀 움직임 추정부(350)의 정보에 기초하여, 에러 값이 가장 낮은 프레임을 선택하고, 상기 선택된 프레임으로부터 홀 움직임 정보를 추출한다.
이를 위해, 홀 움직임 선택부(360)는 프레임 선택부(361) 및 홀 움직임 정보 추출부(362)를 포함한다.
프레임 선택부(361)는 각 움직임 추정부에서 출력되는 에러 값을 비교하여 에러 값이 가장 낮은 프레임을 선택할 수 있다. 선택된 프레임의 식별 정보는 홀 보간부(370)로 출력될 수 있다.
그리고, 홀 움직임 정보 추출부(362)는 선택된 프레임으로부터 홀 움직임 정보에 대응하는 움직임 정보를 추출하여 홀 보간부(370)로 출력할 수 있다.
예를 들어, 홀 움직임 선택부(360)는 상기 제1 홀 움직임 추정부(340)로부터 출력되는 제1 에러 값이 제2 홀 움직임 추정부(350)로부터 출력되는 제2 에러 값보다 낮은 경우, 프레임 선택부(361)를 통해 상기 제1 프레임을 선택하고, 홀 움직임 정보 추출부(362)를 통해 상기 제1 프레임으로부터 상기 제1 에러 값을 갖는 후보 영역의 위치로부터 상기 홀 영역으로의 움직임 정보를 홀 움직임 정보로서 추출할 수 있다.
반대로, 홀 움직임 선택부(360)는 상기 제2 홀 움직임 추정부(350)으로부터 출력되는 제2 에러 값이 제1 홀 움직임 추정부(350)으로부터 출력되는 제1 에러 값보다 낮은 경우, 프레임 선택부(361)를 통해 상기 제2 프레임을 선택하고, 홀 움직임 정보 추출부(362)를 통해 상기 제2 프레임으로부터 상기 제2 에러 값을 갖는 후보 영역의 위치로부터 상기 홀 영역으로의 움직임 정보를 홀 움직임 정보로서 추출할 수 있다.
그리고, 홀 보간부(370)는 상기 홀 움직임 선택부(360)에서 출력되는 움직임 정보 및 프레임 식별 정보에 기초하여, 홀 영역의 화소를 보간한다.
예를 들어, 프레임 선택부(361)에서 선택된 프레임이 제1 프레임인 경우, 홀 보간부(370)는 홀 영역에 대응하는 제1 프레임 내 위치로부터 상기 제1 움직임 정보만큼 이동한 위치에 있는 제1 프레임의 화소를 식별하고, 보간 대상 프레임의 홀 영역의 화소에 대입하여 보간할 수 있다. 또한, 선택된 프레임이 제2 프레임인 경우, 홀 보간부(370)는 제2 프레임의 홀 영역 대응 위치로부터 상기 제2 움직임 정보만큼 이동한 위치에 있는 제2 프레임의 화소를 식별하고, 이를 이용하여 보간 대상 프레임의 홀 영역의 화소에 대입하여 보간할 수 있다.
이와 같은 구성에 따라, 홀 보간부(370)로부터 출력되는 영상은 모든 화소 값이 특정되어 존재하는 완벽히 보간 된 프레임만을 포함하므로, 화질 및 자연스러움이 개선된 프레임 율 변환이 이루어지게 된다.
도 5는 본 발명의 실시 예에 따른 프레임 율 변환 장치의 동작을 설명하기 위한 흐름도이다.
도 5를 참조하면, 먼저 움직임 정보 추정부(100)는 시계열적으로 입력되는 프레임으로부터 보간을 위한 움직임 정보를 추정하고, 이를 이용하여 보간 정보를 생성한다(S200).
이후, 보간 처리부(200)는 보간 대상 블록에 대응되는 보간 정보를 식별하고(S201), 보간 정보로부터 보간 위치 및 보간 방식 정보를 추출한다(S203).
보간 정보 식별부(210)는 보간 정보를 식별하고, 보간 정보로부터 보간 대상 블록에 대응되는 위치 정보 및 보간 방식 정보를 추출할 수 잇다.
그리고 보간 처리부(200)는 보간 방식 정보에 따라, 움직임 정보를 제1 보간 처리부(210), 제2 보간 처리부(220) 또는 제3 보간 처리부(230)로 전달한다(S205).
보간 정보 식별부(210)는, 보간 방식 정보가 추출되면, 보간 방식 정보에 대응하여 제1 보간 처리부(210), 제2 보간 처리부(220) 또는 제3 보간 처리부(230)로 보간 대상 블록의 위치 정보를 전달할 수 있다.
이후, 보간 처리부(200)는 각 보간 처리부(210, 220, 230)에 의해 생성되는 중간 블록을 획득한다(209).
전술한 바와 같이, 제1 보간 처리부(210), 제2 보간 처리부(220) 및 제3 보간 처리부(230)는 각각 수신된 보간 대상 블록의 위치 정보에 따라 기 수신된 제1 프레임 및 제2 프레임간 보간을 수행하고, 중간 블록을 생성하여 중간 프레임 생성부(240)로 전달할 수 있다.
다음으로, 보간 처리부(200)는 생성된 중간 블록들을 수집하여 중간 프레임을 생성하고(S209), 생성된 중간 프레임을 출력한다(S211).
전술한 바와 같이, 중간 프레임 생성부(240)는 생성된 중간 블록들을 취합하여 중간 프레임을 생성한다.
이후, 홀 보간 처리부(300)는 중간 프레임에서 발생되는 홀 보간을 수행하고(S213), 홀 보간된 프레임을 포함하는 프레임 율 변환된 영상을 출력한다(S215).
보간 대상 프레임인 중간 프레임, 제1 프레임 및 제2 프레임은 프레임 율이 상승된 영상 프레임 셋을 구성할 수 있다. 영상 프레임 셋은 프레임 버퍼 또는 프레임 보간 장치(1000)와 직, 간접적으로 연결되는 영상 처리 회로 등으로 출력될 수 있다. 따라서, 홀 보간 된 중간 프레임이 제1 프레임 및 제2 프레임 사이에 보간 대상 프레임으로서 출력되므로, 프레임 율이 상승된 영상이 출력될 수 있다.
도 6은 본 발명의 실시 예에 따른 프레임 율 변환 장치의 홀 보간 처리부를 설명하기 위한 흐름도이다.
도 6을 참조하면, 본 발명의 실시 예에 따른 홀 보간 처리부(300)는 입력부(310)를 통해 입력되는 영상 프레임들을 시계열적으로 수신한다(S301).
입력되는 영상 프레임들은 보간 대상 프레임 n 프레임을 기준으로 앞에 위치한 n-1 프레임인 제1 프레임 및 보간 대상 프레임을 기준으로 뒤에 위치한 n+3 프레임인 제2 프레임을 포함할 수 있다.
그리고, 홀 보간 처리부(300)는 홀 검출부(320)을 통해 보간 대상 프레임으로부터 홀 영역을 검출한다(S302).
보간 대상 프레임으로부터 홀 영역이 검출되지 않는 경우, 현재 보간 대상 프레임에 대응하는 홀 보간은 종료될 수 있다.
한편, 홀 검출부(320)를 통해 보간 대상 프레임으로부터 홀 영역이 검출될 경우, 홀 보간 처리부(300)는 홀 경계 선택부(330)를 통해, 홀 영역으로부터 기준 거리 이내 인접한 주변 화소들을 홀 경계 영역으로 선택한다(S303).
다음으로, 홀 보간 처리부(300)는 제1 홀 움직임 추정부(340)을 통해, 상기 선택된 홀 경계 영역의 보간 대상 프레임 화소들을 이용하여, 제1 프레임과의 유사도 비교에 따라 후보 영역을 결정하고, 후보 영역에 대응하는 제1 에러 값을 연산한다(S304).
전술한 바와 같이, 제1 홀 움직임 추정부(340)는 상기 입력부(310)에서 입력받은 제1 프레임, 제2 프레임 및 보간된 프레임 중 제1 프레임과 상기 홀 경계 선택부(330)에서 선택된 홀 경계 화소들을 매칭하여 각 블록 영역별 유사도를 비교하고, 가장 유사도가 높은 영역을 후보 영역으로 결정하며, 후보 영역과 홀 경계 영역의 화소들의 차이 값인 제1 에러 값을 계산할 수 있다.
또한, 홀 보간 처리부(300)는 제2 홀 움직임 추정부(350)을 통해, 상기 선택된 홀 경계 영역의 보간 대상 프레임 화소들을 이용하여, 제2 프레임과의 유사도 비교에 따라 후보 영역을 결정하고, 후보 영역에 대응하는 제2 에러 값을 연산한다(S305).
전술한 바와 같이, 제2 홀 움직임 추정부(340)는 상기 입력부(310)에서 입력받은 제1 프레임, 제2 프레임 및 보간된 프레임 중 제2 프레임과 상기 홀 경계 선택부(330)에서 선택된 홀 경계 화소들을 매칭하여 각 블록 영역별 유사도를 비교하고, 가장 유사도가 높은 영역을 후보 영역으로 결정하며, 후보 영역과 홀 경계 영역의 화소들의 차이 값인 제2 에러 값을 계산할 수 있다.
이후, 홀 보간 처리부(300)는 계산된 제1 에러 값 및 제2 에러 값에 따라 움직임 정보를 추출할 프레임을 선택한다(S306).
여기서, 프레임 선택부(361)는 제1 에러 값과 제2 에러 값을 비교하고 가장 낮게 나온 에러 값을 갖는 프레임을 선택하여 홀 영역의 화소를 할당하기 위한 움직임 정보 추정 프레임으로 이용할 수 있다.
예를 들어, 프레임 선택부(361)는 제1 홀 움직임 추정부(340)의 제1 에러 값이 제2 홀 움직임 추정부(340)의 제2 에러 값보다 낮을 경우, 제1 프레임을 선택할 수 있다.
또한, 프레임 선택부(361)는 제2 홀 움직임 추정부(350)의 제2 에러 값이 제1 홀 움직임 추정부(340)의 제1 에러 값보다 낮을 경우, 제2 프레임을 선택할 수 있다.
그리고 홀 보간 처리부(300)는 선택된 프레임에 따라 움직임 정보를 추출한다(S307).
홀 움직임 정보 추출부(362)는 선택된 프레임에 대응하는 에러 값을 확인하고, 에러 값에 대응하는 후보 영역의 위치로부터 상기 홀 경계 영역으로의 움직임 정보를 추출한다.
예를 들어, 홀 움직임 정보 추출부(362)는 상기 프레임 선택부(361)에서 선택된 프레임이 제1 프레임일 경우, 제1 에러 값을 확인하여, 제1 에러 값에 대응하는 후보 영역으로부터 상기 홀 경계 영역으로의 움직임 정보를 홀 움직임 정보로서 추출할 수 있다.
또한, 홀 움직임 정보 추출부(362)는 상기 프레임 선택부(361)에서 선택된 프레임이 제2 프레임일 경우, 제2 에러 값을 확인하며, 제2 에러 값에 대응하는 후보 영역으로부터 상기 홀 경계 영역으로의 움직임 정보를 홀 움직임 정보로서 추출할 수 있다.
이후, 프레임이 선택되고 홀 움직임 정보가 추출되면, 홀 보간 처리부(300)는 선택된 프레임의 식별 정보와 홀 움직임 정보에 따라 상기 보간 대상 프레임의 홀 영역의 화소를 보간한다(S308).
전술한 바와 같이, 홀 보간부(370)는 상기 홀 움직임 선택부(360)의 출력정보에 기초하여 적어도 하나의 프레임과 그 프레임에서 추출되는 홀 영역으로의 움직임 정보를 이용하여 홀 영역의 화소를 보간할 수 있다.
한편, 홀 보간 처리부(300)는 보간 대상 프레임 내 홀 영역이 존재하지 않을 때까지 S302 내지 S308 단계를 반복 수행할 수 있다.
도 7은 본 발명의 실시 예에 따른 프레임 율 변환 방법의 홀이 검출되는 예를 설명하기 위한 도면이다.
도 7을 참조하면, 본 발명의 실시 예에 따른 홀 보간 처리부의 홀 검출부(320)에서 홀이 검출되는 예를 확인할 수 있다.
예를 들어, 움직임 보상 보간부(200)에서 전방향 매핑 연산 방식을 이용한 움직임 보상 보간이 수행된 경우, 시계열적으로 입력된 영상 프레임들 중 제n-1 프레임과 제n+1 프레임 중간에 보간 된 제n 프레임 내에는 홀이 존재할 수 있다.
보다 구체적으로, 제n 프레임의 움직임을 갖는 객체(400)가 제n-1 프레임과 제n+1 프레임의 중간 프레임으로 보간되는 보간 대상 프레임의 객체인 경우, 보간 대상 프레임에서는 상기 제n+1 프레임의 움직임을 갖는 객체(400)의 위치와 같은 위치에서 보간 된 객체영역을 제외한 일부 홀 영역(500)이 홀 검출부(320)에 의해 검출될 수 있다.
그리고, 검출된 홀 영역은, 본 발명의 실시 예에 따른 홀 보간 처리부를 사용함으로써 제n-1 프레임과 제n+3 프레임을 이용하여 홀 영역에 해당하는 최적의 화소를 보간할 수 있게 된다.
도 8 및 도 9는 본 발명의 실시 예에 따른 프레임 율 변환 장치의 홀 보간 방법을 도식화하여 설명하기 위한 도면들이다.
도 8은 본 발명의 실시 예에 따른 제1 홀 움직임 추정부(340)에서 획득되는 제1 에러 값을 계산하는 과정을 설명하기 위한 도면이다.
보간 대상 프레임 내에 화소가 존재하지 않는 홀 영역(500)은 홀 검출부(320)에 의해 검출될 수 있다. 그리고, 검출된 홀 영역(500)을 미리 결졍된 기준 거리 이내 둘러싸고 있는 주변 화소는 홀 경계 선택부(330)에 의해 홀 경계 영역(510)으로 선택될 수 있다.
그리고, 제1 홀 움직임 추정부(340)는 상기 홀 경계 선택부(330)에 의해 선택된 홀 경계 영역 화소(510)의 위치를 기준으로 하는 제1 프레임의 탐색영역(520)을 지정할 수 있다. 이에 따라, 제1 홀 움직임 추정부(340)는 탐색영역(520)의 범위 내에서 전체적인 유사도를 비교하여 상기 제1 프레임으로부터 후보 영역을 결정하고, 후보 영역으로부터 일 방향으로 각 블록 또는 화소 위치에 대응되는 제1 움직임 정보를 획득할 수 있고, 제1 움직임 정보에 기초하여 후보 영역과 홀 경계 영역과의 화소간 차이를 계산함으로써, 제1 에러 값을 획득할 수 있다.
도 9는 본 발명의 실시 예에 따른 제2 홀 움직임 추정부(350)에서 획득되는 제2 에러 값을 계산하는 과정을 설명하기 위한 도면이다. 보간 된 프레임 내에 화소가 존재하지 않는 홀 영역(510)은 홀 검출부(320)에 의해 검출될 수 있다.
검출된 홀 영역(500)을 미리 결졍된 기준 거리 이내 둘러싸고 있는 주변 화소는 홀 경계 선택부(330)에 의해 홀 경계 영역(510)으로 선택될 수 있다.
그리고, 제2 홀 움직임 추정부(340)는 상기 홀 경계 선택부(330)에 의해 선택된 홀 경계 영역 화소(510)의 위치를 기준으로 하는 제2 프레임의 탐색영역(530)을 지정할 수 있다. 이에 따라, 제2 홀 움직임 추정부(340)는 탐색영역(530)의 범위 내에서 전체적인 유사도를 비교하여 상기 제2 프레임으로부터 후보 영역을 결정하고, 후보 영역으로부터 일 방향으로 각 블록 또는 화소 위치에 대응되는 제1 움직임 정보를 획득할 수 있고, 제2 움직임 정보에 기초하여 후보 영역과 홀 경계 영역과의 화소간 차이를 계산함으로써, 제2 에러 값을 획득할 수 있다.
이후, 프레임 선택부(361)는 이와 같이 획득되는 제1 에러 값, 제2 에러 값을 비교하고, 가장 낮게 나온 에러 값을 갖는 프레임을 선택하여 홀 영역의 화소를 결정하기 위해 사용하게 된다.
상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.
1000: 프레임 율 변환 장치
100: 움직임 정보 추정부
200: 움직임 보상 보간 처리부
300: 홀 보간 처리부
310: 입력부
320: 홀 검출부
330: 홀 경계 선택부
340: 제1 홀 움직임 추정부
350: 제2 홀 움직임 추정부
360: 홀 움직임 선택부
361: 프레임 선택부
362: 홀 움직임 정보 추출부
370: 홀 보간부

Claims (13)

  1. 프레임 율 변환 장치에 있어서,
    영상 프레임들이 시계열적으로 입력되면 프레임 간 비교 결과로부터 보간 대상 프레임의 움직임 정보를 추정하는 움직임 정보 추정부;
    상기 보간 대상 프레임의 움직임 정보로부터 움직임 보상 보간 처리를 통해 상기 보간 대상 프레임을 생성하는 움직임 보상 보간 처리부; 및
    상기 보간 대상 프레임의 홀 영역에 대한 보간을 처리하는 홀 보간 처리부를 포함하고,
    상기 홀 보간 처리부는
    상기 움직임 보상 보간 처리부로부터 보간 대상 프레임 및 상기 보간 대상 프레임을 기준으로 시계열적으로 전 또는 후에 위치한 프레임들 중 하나 이상의 프레임을 포함하는 참조 프레임을 입력받는 입력부;
    상기 보간 대상 프레임으로부터 화소 값이 불특정되는 홀 영역의 위치를 검출하는 홀 검출부;
    상기 홀 영역의 위치 및 상기 홀 영역의 위치에 대응하는 홀 경계 영역에 기초하여 상기 참조 프레임으로부터 홀 움직임 정보를 추정하는 홀 움직임 추정부; 및
    상기 추정된 홀 움직임 정보 및 상기 참조 프레임의 상기 홀 경계 영역에 대응하는 화소 값에 기초하여 상기 홀 영역의 불특정된 화소 값을 보간하는 홀 보간부를 포함하고,
    상기 홀 보간 처리부는
    상기 홀 검출부에서 검출된 홀 영역의 위치로부터 기준 거리 이내 둘러싸고 있는 영역을 상기 홀 경계 영역으로 선택하는 홀 경계 선택부를 더 포함하는
    프레임 율 변환 장치.
  2. 삭제
  3. 제1항에 있어서, 상기 홀 경계 선택부는,
    사용자의 설정이나 입력 값에 의해 지정된 선택 범위에 따라, 상기 검출된 홀 영역을 둘러싸는 인접한 주변 화소들을 상기 홀 경계 영역으로 지정하는
    프레임 율 변환 장치.
  4. 제1항에 있어서, 상기 홀 움직임 추정부는
    상기 참조 프레임 중 제1 프레임을 선택하고, 상기 제1 프레임의 상기 홀 경계 영역에 대응하는 화소 값과 상기 보간 대상 프레임의 상기 홀 경계 영역에 대응하는 화소 값을 이용하여 제1 에러 값 및 제1 홀 움직임 정보를 추정하는 제1 홀 움직임 추정부; 및
    상기 참조 프레임 중 제2 프레임을 선택하고, 상기 제2 프레임의 상기 홀 경계 영역에 대응하는 화소 값과 상기 보간 대상 프레임의 상기 홀 경계 영역에 대응하는 화소 값을 이용하여 제2 에러 값 및 제2 홀 움직임 정보를 추정하는 제2 홀 움직임 추정부를 포함하는
    프레임 율 변환 장치.
  5. 제4항에 있어서, 상기 홀 보간 처리부는
    상기 제1 홀 움직임 추정부와 제2 홀 움직임 추정부에서 추정되는 각 에러 값 및 각 움직임 정보에 기초하여, 에러 값이 가장 낮은 참조 프레임으로부터 상기 홀 움직임 정보를 생성하는 홀 움직임 정보 추출부를 더 포함하는
    프레임 율 변환 장치.
  6. 제4항에 있어서,
    상기 제1 홀 움직임 추정부는,
    상기 제1 프레임이 상기 보간 대상 프레임을 기준으로 시간적으로 전방에 위치한 경우, 상기 보간 대상 프레임의 홀 경계 영역 화소들에 대응하는 상기 제1 프레임의 화소들을 식별하고, 상기 제1 프레임의 화소들로부터 상기 보간 대상 프레임의 홀 경계 영역 화소들에 각각 대응하는 방향으로 상기 제1 홀 움직임 정보를 추정하며, 상기 제1 홀 움직임 정보에 기초하여 상기 제1 에러 값을 산출하는
    프레임 율 변환 장치.
  7. 프레임 율 변환 방법에 있어서,
    영상 프레임들이 시계열적으로 입력되면 프레임 간 비교 결과로부터 보간 대상 프레임의 움직임 정보를 추정하는 단계;
    상기 보간 대상 프레임의 움직임 정보로부터 움직임 보상 보간 처리를 통해 상기 보간 대상 프레임을 생성하는 단계; 및
    상기 보간 대상 프레임의 홀 영역에 대한 보간을 처리하는 단계를 포함하고,
    상기 홀 영역에 대한 보간을 처리하는 단계는,
    프레임 율 변환에 의해 생성된 보간 대상 프레임 및 상기 보간 대상 프레임을 기준으로 시계열적으로 전 또는 후에 위치한 프레임들 중 하나 이상을 포함하는 참조 프레임을 입력받는 단계;
    상기 보간 대상 프레임으로부터 화소 값이 불특정되는 홀 영역의 위치를 검출하는 단계;
    상기 홀의 위치에 기초하여, 상기 하나 이상의 참조프레임상의 상기 홀 영역의 위치에 대응하는 홀 경계 영역으로부터 홀 움직임 정보를 추정하는 단계; 및
    상기 홀 움직임 정보 및 상기 홀 경계 영역에 대응하는 상기 참조 프레임의 화소 값에 기초하여 상기 홀 영역을 보간하는 단계를 포함하고,
    상기 홀 영역에 대한 보간을 처리하는 단계는,
    상기 검출된 홀 영역의 위치를 둘러싸고 있는 상기 홀 경계 영역의 화소를 식별하는 단계를 더 포함하는
    프레임 율 변환 방법.
  8. 삭제
  9. 제7항에 있어서,
    상기 홀 경계 영역의 화소를 식별하는 단계는,
    사용자의 설정이나 입력 값에 의해 지정된 선택 범위에 따라, 상기 검출된 홀 영역을 둘러싸는 인접한 화소들을 상기 홀 경계 영역으로 지정하는 단계를 포함하는
    프레임 율 변환 방법.
  10. 제9항에 있어서,
    상기 홀 움직임 정보를 추정하는 단계는,
    상기 참조프레임 중 제1 프레임을 선택하고, 상기 제1 프레임의 상기 홀 경계 영역에 대응하는 화소 값과 상기 보간 대상 프레임의 상기 홀 경계 영역에 대응하는 화소 값을 이용하여 제1 에러 값 및 제1 홀 움직임 정보를 추정하는 단계; 및
    상기 참조 프레임 중 제2 프레임을 선택하고, 상기 제2 프레임의 상기 홀 경계 영역에 대응하는 화소 값과 상기 보간 대상 프레임의 상기 홀 경계 영역에 대응하는 화소 값을 이용하여 제2 에러 값 및 제2 홀 움직임 정보를 추정하는 단계를 포함하는
    프레임 율 변환 방법.
  11. 제10항에 있어서, 홀 영역에 대한 보간을 처리하는 단계는,
    상기 제1 및 제2 에러 값과, 상기 제1 및 제2 홀 움직임 정보에 기초하여, 에러 값이 가장 낮은 참조 프레임에 대응하여 상기 홀 움직임 정보를 생성하는 단계를 더 포함하는
    프레임 율 변환 방법.
  12. 제11항에 있어서
    상기 추정하는 단계는,
    상기 제1 프레임이 상기 보간 대상 프레임을 기준으로 시간적으로 전방에 위치한 경우, 상기 보간 대상 프레임의 홀 경계 영역 화소들에 대응하는 상기 제1 프레임의 화소들을 식별하고, 상기 제1 프레임의 화소들로부터 상기 보간 대상 프레임의 홀 경계 영역 화소들에 각각 대응하는 방향으로 상기 제1 홀 움직임 정보를 추정하며, 상기 제1 홀 움직임 정보에 기초하여 상기 제1 에러 값을 산출하는 단계를 포함하는
    프레임 율 변환 방법.
  13. 제9항 내지 제12항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터가 읽을 수 있는 기록 매체.
KR1020150070517A 2015-05-20 2015-05-20 프레임 율 변환 장치 및 그 방법 KR101740124B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150070517A KR101740124B1 (ko) 2015-05-20 2015-05-20 프레임 율 변환 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150070517A KR101740124B1 (ko) 2015-05-20 2015-05-20 프레임 율 변환 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20160136665A KR20160136665A (ko) 2016-11-30
KR101740124B1 true KR101740124B1 (ko) 2017-06-08

Family

ID=57707080

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150070517A KR101740124B1 (ko) 2015-05-20 2015-05-20 프레임 율 변환 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101740124B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11109033B2 (en) 2018-11-21 2021-08-31 Samsung Electronics Co., Ltd. System-on-chip having a merged frame rate converter and video codec and frame rate converting method thereof

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11074700B2 (en) * 2018-04-23 2021-07-27 Cognex Corporation Systems, methods, and computer-readable storage media for determining saturation data for a temporal pixel
KR20210066619A (ko) * 2019-11-28 2021-06-07 삼성전자주식회사 전자 장치 및 그 제어 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11109033B2 (en) 2018-11-21 2021-08-31 Samsung Electronics Co., Ltd. System-on-chip having a merged frame rate converter and video codec and frame rate converting method thereof
US11825094B2 (en) 2018-11-21 2023-11-21 Samsung Electronics Co., Ltd. System-on-chip having a merged frame rate converter and video codec and frame rate converting method thereof

Also Published As

Publication number Publication date
KR20160136665A (ko) 2016-11-30

Similar Documents

Publication Publication Date Title
US8064522B2 (en) Motion-vector detecting device, motion-vector detecting method, and computer program
KR101092287B1 (ko) 화상 처리 장치 및 화상 처리 방법
EP2389007B1 (en) Method and apparatus for temporally interpolating three-dimensional depth image
US10412462B2 (en) Video frame rate conversion using streamed metadata
JP4997281B2 (ja) イメージ中の推定動きベクトルの決定方法、コンピュータプログラムおよびディスプレイ装置
US8929451B2 (en) External vectors in a motion estimation system
EP1665808B1 (en) Temporal interpolation of a pixel on basis of occlusion detection
TWI435608B (zh) 圖框速率轉換裝置及方法
US7936950B2 (en) Apparatus for creating interpolation frame
US8004528B2 (en) Method, systems and computer product for deriving three-dimensional information progressively from a streaming video sequence
US8861603B2 (en) System and method for motion vector collection based on K-means clustering for motion compensated interpolation of digital video
JP2000261828A (ja) 立体映像生成方法
GB2476143A (en) Frame rate conversion using bi-directional, local and global motion estimation
KR20060083978A (ko) 움직임 벡터 필드 리－타이밍
US20120093231A1 (en) Image processing apparatus and image processing method
KR101740124B1 (ko) 프레임 율 변환 장치 및 그 방법
KR20130023644A (ko) 영상 프레임의 보간 방법 및 장치
KR100855976B1 (ko) 배경과 이동 객체를 분리하여 움직임을 추정하는 프레임보간 장치 및 프레임 보간 방법
US20170085912A1 (en) Video sequence processing
JP4873765B2 (ja) 映像信号処理装置及び映像信号処理方法
US9106926B1 (en) Using double confirmation of motion vectors to determine occluded regions in images
US8244055B2 (en) Image processing apparatus and method, and program
KR101740125B1 (ko) 프레임 율 변환 영상의 홀 보간 장치 및 그 방법
KR101574205B1 (ko) 프레임 율 변환을 위한 움직임 정보 추정 방법 및 그 장치
US20110013853A1 (en) Approach for determining motion vector in frame rate up conversion

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant