KR101590083B1 - 정지자막 영역의 움직임 보상 프레임 보간 장치 및 그 방법 - Google Patents

Abstract

본 발명의 실시 예에 따른 움직임 보상을 이용한 프레임 보간 장치는 연속적인 영상 시퀀스로부터 에지영상을 생성하는 에지 생성부; 상기 에지 생성부에서 생성된 에지영상으로부터 정지자막에 대응되는 자막 특징 정보를 출력하는 자막 특징 추출부; 상기 자막 특징 정보에 기초하여, 상기 에지영상으로부터 자막 영역 후보 블록을 검출하는 자막 특징 검증부; 및 상기 자막 영역 후보 블록으로부터 자막 영역을 검출하는 자막 영역 검증부를 포함한다.

Description

정지자막 영역의 움직임 보상 프레임 보간 장치 및 그 방법{An apparatus for motion compensated frame interpolation of non-moving caption region and a method thereof}

본 발명은 프레임 보간 장치 및 방법에 관한 것으로, 더욱 상세하게는 프레임율 변환(Frame Rate Conversion)의 영상 처리(Image Processing)에 있어서, 디스플레이 화질 개선(Display Quality Enhancement)을 위한 프레임 보간 장치 및 방법에 관한 것이다.

프레임 율 변환(Frame Rate Conversion)기법은 영상정보와 디스플레이 형식의 폭발적인 증가로 인해 최근 부상하고 있는 중요한 이슈 중 하나이다. 프레임 율 변환 기법은 다른 프레임 율을 가지는 다양한 디스플레이 포맷 간의 변환을 위해 필요하다. 예를 들어 기존의 동영상들은 초당 24, 25, 30 의 프레임 율을 가지지만, HDTV와 멀티미디어 PC시스템은 화면 깜빡임과 같은 화질열화를 줄이고, 출력되는 화질을 향상시키기 위해 더욱 높은 프레임 율을 지원한다.

그러므로 HDTV나 멀티미디어 환경에서 동영상을 재생할 경우 지원하는 프레임 율로 상향 변환이 되면 보다 좋은 화질을 기대할 수 있다. 특히 LCD 디스플레이 장치의 경우, 느린 응답속도로 인한 동영상 화질 저하가 발생되는데 디스플레이되는 프레임율을 증가시킴으로써 화질 열화를 방지할 수도 있다.

과거에는, 프레임 상향 변환을 위해 프레임 반복이나 시간적 필터링을 통한 선형 보간과 같은 단순한 알고리즘이 사용되었다. 하지만 이와 같은 단순한 알고리즘들은 motion judder 와 motion blur 와 같은 화질열화를 유발한다. 이와 같은 화질열화를 방지하기 위해, 최근에는 블록단위 움직임 보상 보간 기법을 이용한 다양한 움직임 보상 프레임 율 변환 알고리즘이 개발되고 있다. 이와 같은 움직임 보상 기법의 경우, 모든 보간 과정이 움직임 벡터에 의해 이루어지기 때문에 영상 내 객체들의 실제 움직임 벡터를 추정해 내는 것이 매우 중요하다.

하지만, 블록단위 움직임 추정 시 영상의 노이즈, 밝기 변화, 유사한 영상의 존재로 인한 다중 국부 최소값의 존재, 사물 차폐, 사물 형태의 변화 등의 이유로 정확한 실제 움직임 벡터를 추정하지 못하는 경우가 많다. 특히 정지자막이 존재하는 영상의 경우 한 블록 내에 정지 자막과 움직이는 사물이 동시에 존재하여 정확한 움직임 추정이 무척 어렵다. 이와 같은 이유로 인해 잘못 추정된 움직임 벡터는 보간된 영상에서 block artifact 와 같은 화질열화를 유발하게 된다.

잘못된 움직임 벡터 추정으로 인한 화질열화는 그 빈도가 극히 낮다면 움직임 보상 보간 기법의 여러 장점으로 인해 무시될 수 있으나, 기존의 블록단위 움직임 보상 프레임 율 변환 기법으로는 영상의 특징에 따라 움직임 벡터 추정 실패는 무척 빈번히 발생하며 이는 대량의 block artifact 를 유발하여 시청자의 눈에 심하게 거슬리게 된다.

특히 자막 부위에 block artifact 가 발생할 경우, 다른 경우보다 더욱 시청자가 인지하기 쉽다. 이 경우 잘못 보간된 자막 부분의 artifact로 인해서 PSNR의 감소폭은 그다지 크지 않으나 주관적 화질 평가 시에는 매우 큰 비중을 차지하게 되며 별도의 처리 기법이 요구된다.

본 발명의 실시 예는 상술한 바와 같은 블록단위 움직임 보상 프레임 율 변환 시 한 블록 내 정지자막과 움직이는 사물이 동시에 존재할 때 정지자막 영역의 움직임 추정이 정상적으로 되지 않는 문제점을 효과적으로 해결할 수 있는 장치 및 그 방법을 제공하는데 그 목적이 있다.

특히, 본 발명에서는 블록단위 움직임 보상 프레임 율 변환 기법을 위한 움직임 추정장치로부터 정지자막 영역의 움직임 추정 시 한 블록 내에 정지자막과 움직이는 사물이 동시에 존재할 경우 정확한 움직임 추정이 되지 않아 발생하는 움직임 추정 실패로 인한 block artifact 를 방지하기 위해 정지 자막영역을 검출하여 사물의 움직임과 무관한 정지자막 영역의 움직임 보상 보간을 수행하게 하는데 그 목적이 있다.

다만, 본 발명의 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시 예에 따른 장치는, 움직임 보상을 이용한 프레임 보간 장치에 있어서, 연속적인 영상 시퀀스로부터 에지영상을 생성하는 에지 생성부; 상기 에지 생성부에서 생성된 에지영상으로부터 정지자막에 대응되는 자막 특징 정보를 출력하는 자막 특징 추출부; 상기 자막 특징 정보에 기초하여, 상기 에지영상으로 부터 자막 영역 후보 블록을 검출하는 자막 특징 검증부; 및 상기 자막 영역 후보 블록으로부터 자막 영역을 검출하는 자막 영역 검증부를 포함한다.

또한, 상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시 예에 따른 방법은, 움직임 보상 프레임 보간 방법에 있어서, 입력으로 들어오는 연속적인 영상 시퀀스에서 에지영상을 생성하는 단계; 상기 생성된 에지영상으로 부터 정지자막의 특징들을 누적시켜 자막특징 누적 마스크를 출력하는 단계; 상기 에지영상과 상기 자막 특징 마스크를 이용하여 상기 영상 시퀀스에 자막이 존재하는지를 나타내는 자막 영역 후보 블록을 검출하는 단계; 및 상기 자막영역 후보블록으로부터 자막 영역을 검출하는 단계를 포함한다.

본 발명의 실시 예에 따르면, 영상으로부터 정지 자막 영역을 효과적으로 검출할 수 있다. 또한, 검출된 정지 자막 영역에 대응하여, 프레임 보간의 움직임 벡터를 정지벡터로 적용함으로써 화질 열화를 방지할 수 있다.

이에 따라, 정지 자막과 움직이는 사물이 동시에 존재할 경우 움직임 벡터가 잘못 추정됨으로 인해 발생하는 blocking artifact를 최소화 할 수 있는 효과가 있다. 특히, 정지자막 부위에 block artifact 가 발생할 경우, 다른 경우보다 시청자가 쉽게 인지하기 때문에 프레임 교정을 통한 정지자막 영역의 block artifact 최소화 할 경우 그 효과가 극대화 될 수 있다.

도 1은 발명의 일실시예에 따른 정지자막이 포함된 영상에서 정지자막 영역 검출 방법을 나타낸 순서도이다.
도 2는 발명에 따른 자막 특징 추출부를 상세하게 설명하기 위한 도면이다.
도 3a 내지 도 3b는 본 발명의 일실시예에 따른 에지 생성부를 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 자막 특징 누적부를 상세하게 설명하기 위한 도면이다.
도 5a 내지 도 5b는 자막 특징마스크 누적과정을 나타내는 도면들이다.
도 6a는 본 발명이 적용되지 않은 움직임 보상 프레임 보간 영상을 나타낸 도면이다.
도 6b는 본 발명이 적용된 움직임 보상 프레임 보간 영상을 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따른 움직임 보상 프레임 장치를 설명하기 위한 도면이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.

본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일실시예에 따른 움직임 보상 프레임 보간 장치를 나타낸 블록도 이다.

도 1을 참조하면, 본 발명에 따른 움직임 보상 보간 장치는 에지 생성부(100), 자막 특징 추출부(200), 자막 특징 검증부(300), 자막 영역 검증부(400)를 포함한다.

먼저, 에지 생성부(100)는 입력 영상 시퀀스가 입력되면, 입력된 영상 시퀀스로부터 에지영상을 생성하고, 자막 특징 추출부(200)와 자막 특징 검증부(300)로 출력한다.

예를 들어, 에지 생성부(100)는 계속 입력되는 영상 시퀀스에서 Sobel Edge Map을 생성함으로써 에지(Edge) 영상을 생성할 수 있다. 이와 같은 에지 영상은 본 발명의 실시 예에 따라 정지 자막 영역을 검출하는데 활용될 수 있다.

그리고, 자막 특징 추출부(200)는 에지 생성부(100)에서 생성된 에지영상에기초하여 특정 세기 이상의 에지 정보를 검출하여 정지자막 후보 영역을 추출한다. 연속적으로 입력되는 에지 영상으로부터 검출되는 정지자막 후보영역을 누적시켜 자막 특징 마스크를 생성하며, 자막 특징 검증부(300)로 출력한다.

특히, 정지자막의 경우 일정 시간 동안에 계속 같은 위치에 존재할 수 있다. 따라서, 자막 특징 추출부(200)는 일정 시간동안 계속 출력되는 정지자막의 시간적 특성과 출력되는 위치가 변하지 않는 정지자막의 위치적 특성을 고려하여, 매 프레임마다 검출된 자막구성 요소 후보들에 대하여 정지자막 영역 검출을 위한 정지자막 마스크를 생성할 수 있다. 그리고, 정지자막 마스크는 자막 특징 검증부(300)로 출력될 수 있다.

이를 위해, 자막 특징 추출부(200)는 자막 특징 검출부(220) 및 자막 특징 누적부(240)를 포함할 수 있으며, 이에 대하여는 후술하도록 한다.

한편, 자막 특징 검증부(300)는 에지 생성부(100)로부터 입력 받은 에지영상과 자막 특징 추출부(200)로부터 입력받은 자막 특징 마스크에 기초하여 자막 영역 후보를 자막 영역 검증부(400)로 출력한다. 자막 특징 검증부(300)는 입력되는 에지 영상과 자막 특징 마스크에 대해 AND 연산을 적용하고, 그 결과 검출되는 자막영역 후보가 자막 특징 마스크에 존재하는 자막 특징점 개수에 비해 임계값 이상일 경우 자막 특징 마스크에 반영된 정지자막이 입력영상에 존재하는 것으로 판단하여 자막영역 후보를 출력할 수 있다.

한편, 임계값 이하일 경우 자막 특징 검증부(300)는 자막이 변경되거나 사라진 것으로 판단하여 마스크 초기화 정보를 출력하는 역할을 수행할 수 있다.

그리고, 자막 영역 검증부(400)는 자막 특징 검증부(300)로부터 입력받은 자막 영역 후보들에 대해 실제 자막의 구성 특성을 고려하여 일정 크기 이하의 자막 영역 후보를 제외한 자막 영역을 출력한다. 검출된 자막 영역은 추후 움직임 보상 보간 시 정지벡터로 적용되어 프레임 보간에 사용될 수 있다.

따라서, 본 발명의 실시 예에 따른 움직임 보상 프레임 보간 장치는 출력된 자막 영역에 기초하여 움직임 보상 프레임 보간을 수행할 수 있다. 예를 들어, 움직임 보상 프레임 보간 장치는 정지자막 영역 검출 후, 정지자막영역이 포함된 블록에 대해서 움직임 보상 시 해당 블록에서의 움직임 벡터를 0으로 교정할 수 있다. 이에 따라 움직인 보상 프레임 보간에 있어서, 정지자막에 대한 배경부분의 왜곡을 감소시킬 수 있게 된다.

한편, 도 2는 자막 특징 추출부(200)를 이루는 자막 특징 검출부(220), 자막 특징 누적부(240)의 구성을 나타낸 도면이다.

도 2를 참조하면, 자막 특징 검출부(220)에서는 에지 생성부(100)에서 생성된 에지 영상을 수신하고, 에지 영상으로부터 에지의 크기가 특정 임계값 이상을 가지는 화소들을 자막 특징 정보로 검출하여 자막 특징 누적부(240)로 출력한다.

도 3a 및 도 3b는 입력 영상에 대한 에지 영상을 설명하기 위한 도면들이다. 도 3a는 입력 영상을 나타내며, 도 3b는 에지 영상을 나타내고 있다.

앞서 설명한 바와 같이, 정지자막의 경우 일정시간 동안 계속 같은 위치에 존재할 수 있다. 또한 정지 자막이 처음 생성될 경우에 시청자들이 이를 인지하는 데에는 다소 시간 지연이 발생하나 정지 자막이 없어지는 경우에는 즉시 이를 인지하는 특성이 있다.

따라서, 이러한 정지 자막의 시간적 특성과 위치적 특성을 이용하여 자막 특징 누적부(240)에서는 자막 특징 검출부로부터 출력되는 자막 특징 정보에 기초하여 일정 프레임 동안 계속 누적시킬 수 있다.

도 4는 이와 같이, 자막 특징 마스크를 생성하는 과정을 나타내고 있다. 도 4에 도시된 바와 같이, 일정 프레임간 누적되는 자막 특징 정보에 따라 자막 특징 마스크가 생성될 수 있다.

보다 구체적으로, 본 발명의 실시 예에 따른 프레임 보간 장치의 자막 특징누적부(240)는, 동일한 위치에 존재하면서, 변화량이 일정 값보다 적은 특징들을 AND 연산을 이용하여 누적시킬 수 있다. 그리고, 임계값과 비교함으로써 자막 특징 마스크를 생성하는 역할을 수행할 수 있다.

그리고, 자막 특징 누적부(240)는 특징들을 누적시킬 때 바이트 단위의 처리를 하지 않고 비트 단위의 AND 연산을 수행함으로써 사용되는 메모리의 양을 최소화시키면서 자막 특징 마스크를 생성할 수 있다. 이에 따라, 사용되는 메모리의 양을 최소화하고 하드웨어 구현도 용이하게 할 수 있다.

한편, 자막 특징 추출부(200)는 자막 특징 검증부(300)에서 자막의 내용이 바뀌거나 자막의 존재여부가 바뀔 경우 마스크 초기화 정보를 수신할 수 있다. 이에 따라, 자막 특징 추출부(200)는 생성된 자막 특징 마스크를 초기화 하는 역할도 수행할 수 있다. 최초 자막 생성 시 자막 특징 마스크의 생성을 위해서는 적어도 수 프레임의 영상이 필요하여 대략 0.1초 이상의 시간이 소요된다. 그러나 마스크 초기화를 위해서는 한 프레임의 정보만 있어도 충분하며 자막이 없어지는 순간에는 즉시 자막 특징 마스크가 초기화되고 이를 통해 자막 영역의 보간 동작은 즉시 멈추게 된다.

도 5a는 자막 특징 마스크 누적과정의 중간 단계를 나타내고 있으며, 도 5b는 자막 특징 마스크를 나타내고 있다.

도 5a 및 도 5b를 참조하면, 자막 특징 누적부(240)도 5a에 도시된 자막 특징 마스크에 대한 노이즈 필터링을 수행함으로써, 도 5b와 같은 자막 특징마스크로 출력할 수 있다. 도 5b에 도시된 바와 같이, 화면 좌측 하단에 정지자막이 있는 영상이 연속적으로 입력될 때 자막 특징 누적부(240)는 자막 특징 마스크를 생성할 수 있다.

도 6a 및 도 6b는 본 발명의 실시 예가 적용된 프레임 보간 장치의 출력과 일반적인 프레임 보간 장치의 출력을 비교하기 위한 도면이다.

도 6a에 도시된 화면은 본 발명의 실시 예가 적용되지 않은 프레임 보간 기법의 결과 영상을 보여주고 있다.

한편, 도 6b는 본 발명의 실시 에에 따른 프레임 보간 방법의 결과 영상을 보여주고 있다.

도 6a와 도 6b에서 볼 수 있는 바와 같이, 본 발명의 일 실시 예에 따른 정지자막 영역의 움직임 보상 프레임 보간 방법이 사용될 경우 보간된 영상의 화질이 향상된 것을 알 수 있다.

이와 같이, 블록단위 움직임 보상 프레임 율 변환 기법에서 한 블록 내에 정지 자막과 움직이는 사물이 동시에 존재할 경우 움직임 벡터가 잘못 추정되고 이로 인해서 눈에 매우 거슬리는 blocking artifact 가 발생하게 된다.

따라서, 본 발명의 실시 예에 따른 프레임 보간 장치는 이러한 blocking artifact를 방지하기 위해 프레임 율 변환 시 자막 영역을 효과적으로 검출하고, 검출된 자막 영역에 대응하여, 프레임 보간을 위한 움직임 벡터를 정지벡터로 할당할 수 있다. 이에 따라, 프레임 율 변환을 위한 프레임 보간 과정에서 자막 영역에 대한 잘못 추정된 움직임 벡터들이 보정될 수 있다. 특히, 자막 부위에 block artifact 가 발생할 경우, 다른 경우보다 더욱 시청자가 인지하기 쉬우므로. 주관적 화질열화를 최소화 시킬 수 있게 되는 장점이 있다.

도 7은 본 발명의 실시 예에 따른 프레임 보간 장치의 구성을 나타낸다.

도 7에 도시된 바와 같이, 프레임 보간 장치는 정지 자막 영역 검출 모듈, 움직임 예측 모듈, 움직임 벡터 교정 모듈 및 움직임 보상부를 포함할 수 있다.

앞서 설명한 바와 같이, 정지 자막 영역 검출 모듈은 순차적인 입력영상을 받아 이의 에지정보를 이용하여 마스크를 생성 후 정지자막영역을 검출하며, 검출된 정지자막 영역에 대한 정보를 움직임 벡터 교정 모듈로 출력할 수 있다.

그리고, 움직임 예측 모듈은 프레임 율 변환에 따른 보간을 수행하기 위해 프레임 간 움직임 정보에 기초하여, 보간될 프레임을 위한 움직임 벡터를 예측한다.

그리고, 움직임 벡터 교정 모듈은 정지자막 영역 검출 모듈로부터 정지자막 영역 정보를 수신하고, 움직임 예측 모듈에서 예측된 움직임 벡터 중 정지 자막에 포함된 블록에 대해서는 움직임 벡터를 0으로 교정한다.

그리고, 움직임 보상부는 움직임 벡터 교정 모듈로부터 출력되는 움직임 벡터에 기초하여 움직임 보상을 통해 프레임간 보간을 수행한다. 특히, 움직임 보상부는 움직임 벡터가 0으로 교정된 블록에 대해서는 이전 프레임과의 평균값으로 보간할 수 있다.

이와 같이, 정지 자막 영역의 에지 정보의 항상성을 이용하여 영상 시퀀스에서 정지자막 영역을 먼저 검출하고 정지자막 영역에 대해서는 정지벡터로 프레임 교정함으로써 정지자막 영역의 block artifact를 최소화 할 수 있다.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.

100: 에지 생성부 200: 자막 특징 추출부
220: 자막 특징 검출부 240: 자막 특징 누적부
300: 자막 특징 검증부 400: 자막 영역 검증부

Claims (11)

1. 움직임 보상을 이용한 프레임 보간 장치에 있어서,
   순차적인 입력 영상 시퀀스에 대해 에지 맵을 생성함으로써 에지영상을 생성하는 에지 생성부;
   상기 에지 생성부에서 생성된 에지영상을 연속적으로 입력받아, 정지자막에 대응되는 자막 특징 정보를 출력하는 자막 특징 추출부;
   상기 자막 특징 정보에 기초하여, 상기 에지영상으로부터 자막 영역 후보 블록을 검출하는 자막 특징 검증부; 및
   상기 자막 영역 후보 블록으로부터 자막 영역을 검출하는 자막 영역 검증부를 포함하는 움직임 보상 프레임 보간 장치.
2. 제1항에 있어서, 상기 에지 생성부는
   상기 영상 시퀀스로부터 정지자막의 윤곽선 특성에 기초하여 상기 에지영상을 생성하는 움직임 보상 프레임 보간 장치.
3. 제1항에 있어서,
   상기 자막 특징 정보는 자막 특징 마스크를 포함하고,
   상기 자막 특징 추출부는 상기 에지영상에서 정지자막의 에지 영역의 크기 특성을 이용하여 자막 영역 후보 픽셀을 추출하고, 프레임 단위로 연속적으로 누적시켜 상기 자막 특징 마스크를 생성하는 움직임 보상 프레임 보간 장치.
4. 제 1 항에 있어서, 상기 자막 특징 추출부는
   상기 에지영상으로부터 특정 값 이상의 에지를 이용하여 자막 특징을 검출하는 자막 특징 검출부; 및
   상기 자막 특징을 일정 프레임 동안 누적시켜 상기 자막영역 후보 블록들에 대응되는 자막 특징 마스크를 생성하는 자막 특징 누적부를 포함하는 움직임 보상 프레임 보간 장치.
5. 제 4 항에 있어서, 상기 자막 특징 검출부는
   상기 에지영상으로 부터 자막의 특징을 고려한 특정 임계값 이상의 에지 정도를 가지는 화소들을 검출하는 것을 특징으로 하는 움직임 보상 프레임 보간 장치.
6. 제 4 항에 있어서, 상기 자막 특징 누적부는
   상기 자막 특징 검출부에서 프레임 단위로 출력되는 자막 특징들을 같은 위치별로 누적시켜 상기 자막영역 후보 블록들에 대한 자막 특징 마스크를 생성하고, 상기 자막 특징 검증부로부터 입력되는 마스크 초기화 정보에 따라 생성된 자막 특징 마스크를 초기화 하는 것을 특징으로 하는 움직임 보상 프레임 보간 장치.
7. 제 1 항에 있어서, 상기 자막 특징 검증부는
   상기 에지영상과 상기 자막 특징 마스크에 대한 AND 연산에 따라 추출되는 특징점 개수의 비율이 특정 임계값 이상이면 자막영역 후보를 출력하고, 특정 임계값 이하이면 마스크 초기화 정보를 출력하는 것을 특징으로 하는 움직임 보상 프레임 보간 장치.
8. 제 1 항에 있어서, 상기 자막 영역 검증부는
   상기 자막 영역 후보 블록에 대해 일정 크기 이하의 자막 영역 후보를 제외한 영역을 자막 영역으로 출력하는 움직임 보상 프레임 보간 장치.
9. 제 1 항에 있어서,
   상기 영상 시퀀스로부터 프레임 보간을 위한 움직임 벡터 셋을 생성하는 움직임 예측부;
   상기 생성된 움직임 벡터 셋에 대해 상기 자막 영역에 대한 움직임 벡터를 제로벡터로 교정하는 움직임 벡터 교정부; 및
   상기 교정된 움직임 벡터 셋에 기초하여 움직임 보상을 수행하는 움직임 보상부를 더 포함하는 움직임 보상 프레임 보간 장치.
10. 움직임 보상 프레임 보간 방법에 있어서,
    입력으로 들어오는 순차적인 입력 영상 시퀀스에 대해 에지 맵을 생성함으로써 에지영상을 생성하는 단계;
    상기 생성된 에지영상을 연속적으로 입력받아, 정지자막의 특징들을 누적시켜 자막특징 누적 마스크를 출력하는 단계;
    상기 에지영상과 상기 자막 특징 마스크를 이용하여 상기 영상 시퀀스에 자막이 존재하는지를 나타내는 자막 영역 후보 블록을 검출하는 단계; 및
    상기 자막영역 후보블록으로부터 자막 영역을 검출하는 단계를 포함하는 움직임 보상 프레임 보간 방법.
11. 제 10 항에 있어서,
    상기 영상 시퀀스로부터 프레임 보간을 위한 움직임 벡터 셋을 생성하는 단계;
    상기 생성된 움직임 벡터 셋에 대해 상기 자막 영역에 대한 움직임 벡터를 제로벡터로 교정하는 단계; 및
    상기 교정된 움직임 벡터 셋에 기초하여 움직임 보상을 수행하는 단계를 더 포함하는 움직임 보상 프레임 보간 방법.
    

Images