KR101581433B1 - 이동자막 영역의 움직임 보상 프레임 보간 장치 및 방법 - Google Patents

Abstract

본 발명의 실시 예에 따른 움직임 보상을 이용한 프레임 보간 방법은 이동자막 영역의 움직임 보상 프레임 보간 방법에 있어서, 입력으로 들어오는 연속적인 영상 시퀀스에서 시간적 특징과 위치적 특징을 이용하여 1차 자막 후보영역 영상 정보를 추출하는 단계; 상기 1차 자막 후보영역 영상 정보에 기초하여 에지 영상을 생성하고, 상기 에지 영상에 기초하여 2차 자막 후보영역을 추출하는 단계; 및 상기 2차 자막 후보영역과 상기 영상 시퀀스를 비교하여 자막 영역을 검증하는 단계를 포함한다.

Description

이동자막 영역의 움직임 보상 프레임 보간 장치 및 방법{Apparatus and method for Motion Compensated Interpolation of moving caption region}

본 발명은 프레임 보간 장치 및 방법에 관한 것으로, 더욱 상세하게는 프레임율 변환(Frame Rate Conversion)의 영상 처리(Image Processing)에 있어서, 디스플레이 화질 개선(Display Quality Enhancement)을 위한 프레임 보간 장치 및 방법에 관한 것이다.

프레임 율 변환(Frame Rate Conversion)기법은 영상정보와 디스플레이 형식의 폭발적인 증가로 인해 최근 부상하고 있는 중요한 이슈 중 하나이다. 프레임 율 변환 기법은 다른 프레임 율을 가지는 다양한 디스플레이 포맷 간의 변환을 위해 필요하다. 예를 들어 기존의 동영상들은 초당 24, 25, 30 의 프레임 율을 가지지만, HDTV와 멀티미디어 PC시스템은 화면 깜빡임과 같은 화질열화를 줄이고, 출력되는 화질을 향상시키기 위해 더욱 높은 프레임 율을 지원한다.

그러므로 HDTV나 멀티미디어 환경에서 동영상을 재생할 경우 지원하는 프레임 율로 상향 변환이 되면 보다 좋은 화질을 기대할 수 있다. 특히 LCD 디스플레이 장치의 경우, 느린 응답속도로 인한 동영상 화질 저하가 발생되는데 디스플레이되는 프레임율을 증가시킴으로써 화질 열화를 방지할 수도 있다.

과거에는, 프레임 상향 변환을 위해 프레임 반복이나 시간적 필터링을 통한 선형 보간과 같은 단순한 알고리즘이 사용되었다. 하지만 이와 같은 단순한 알고리즘들은 motion judder 와 motion blur 와 같은 화질열화를 유발한다. 이와 같은 화질열화를 방지하기 위해, 최근에는 블록단위 움직임 보상 보간 기법을 이용한 다양한 움직임 보상 프레임 율 변환 알고리즘이 개발되고 있다. 이와 같은 움직임 보상 기법의 경우, 모든 보간 과정이 움직임 벡터에 의해 이루어지기 때문에 영상 내 객체들의 실제 움직임 벡터를 추정해 내는 것이 매우 중요하다.

하지만, 블록단위 움직임 추정 시 영상의 노이즈, 밝기 변화, 유사한 영상의 존재로 인한 다중 국부 최소값의 존재, 사물 차폐, 사물 형태의 변화 등의 이유로 정확한 실제 움직임 벡터를 추정하지 못하는 경우가 많다.

특히 이동자막이 존재하는 영상의 경우 한 블록 내에 서로 다른 방향으로 움직이는 이동자막과 사물이 동시에 존재하여 정확한 움직임 추정이 어려운 문제점이 있다. 이와 같은 이유로 인해 잘못 추정된 움직임 벡터는 보간된 영상에서 block artifact 와 같은 화질열화를 유발하게 된다.

잘못된 움직임 벡터 추정으로 인한 화질열화는 그 빈도가 극히 낮다면 움직임 보상 보간 기법의 여러 장점으로 인해 무시될 수 있으나, 기존의 블록단위 움직임 보상 프레임 율 변환 기법으로는 영상의 특징에 따라 움직임 벡터 추정 실패가 무척 빈번히 발생하며 이는 대량의 block artifact 를 유발하여 시청자의 눈에 심하게 거슬리게 된다. 특히 자막 부위에 block artifact 가 발생할 경우, 다른 경우보다 더욱 시청자가 인지하기 쉽다는 문제가 있다. 이 경우 잘못 보간된 자막 부분의 artifact로 인한 PSNR의 감소폭은 그다지 크지 않으나 주관적 화질 평가 시에는 매우 큰 비중을 차지하게 되며 별도의 처리 기법이 요구된다.

본 발명의 실시 예는 상술한 바와 같이 이동자막 영역의 움직임 추정 시 한 블록 내에 이동자막과 움직이는 사물이 동시에 존재할 경우 정확한 움직임 추정이 되지 않아 발생하는 움직임 추정 실패로 인한 block artifact 를 방지하기 위해 이동자막 영역을 검출하여 사물의 움직임과 무관한 이동자막 영역의 움직임 보상 보간방법을 제공하는데 그 목적이 있다.

다만, 본 발명의 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시 예에 따른 장치는, 움직임 보상 프레임 보간 장치에 있어서, 연속적으로 입력되는 영상으로부터 시간적 특징 및 위치적 특징에 따른 1차 자막 후보영역영상을 추출하는 이동자막 후보영역 추출부; 상기 추출된 1차 후보영역 영상으로부터 글자의 윤곽선 특성에 따른 에지정보를 이용하여 2차 자막 후보영역을 생성하는 이동자막 특징 검출부; 및 상기 입력되는 영상으로부터 상기 이동자막 특징 검출부에서 생성되는 2차 자막 후보영역을 검증하는 이동자막 영역 검증부를 포함한다.

또한, 상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시 예에 따른 방법은, 이동자막 영역의 움직임 보상 프레임 보간 방법에 있어서, 입력으로 들어오는 연속적인 영상 시퀀스에서 시간적 특징과 위치적 특징을 이용하여 1차 자막 후보영역 영상 정보를 추출하는 단계; 상기 1차 자막 후보영역 영상 정보에 기초하여 에지 영상을 생성하고, 상기 에지 영상에 기초하여 2차 자막 후보영역을 추출하는 단계; 및 상기 2차 자막 후보영역과 상기 영상 시퀀스를 비교하여 자막 영역을 검증하는 단계를 포함한다.

본 발명의 실시 예에 따르면, 블록단위 움직임 보상 프레임 율 변환 기법을 위한 움직임 추정장치로부터 추정된 움직임 벡터가 한 블록 내에 이동자막과 움직이는 사물이 동시에 존재하여 잘못 추정되어 blocking artifact 가 발생하는 것을 방지하기 위해 자막 영역을 검출하여 추후 보간 시 주변과는 다른 벡터로 적용하는 기법을 제안하였다.

이에 따라, 이동 자막과 움직이는 사물이 동시에 존재할 경우 움직임 벡터가 잘못 추정됨으로 인해 발생하는 blocking artifact를 최소화 할 수 있는 효과가 있다. 특히, 자막 부위에 block artifact 가 발생할 경우, 다른 경우보다 더욱 시청자가 인지하기 쉽기 때문에 프레임 교정을 통한 정지자막 영역의 block artifact 최소화 효과가 극대화 될 수 있다.

도 1은 발명의 일실시예에 따른 이동자막이 포함된 영상에서 이동자막 영역 검출 방법을 나타낸 순서도이다.
도 2는 본 발명에 따른 이동자막 후보영역 추출부를 상세하게 설명하기 위한 도면이다.
도 3은 본 발명에 따른 이동자막 특징 추출부를 상세하게 설명하기 위한 도면이다.
도 4a 내지 도 4i는 본 발명의 일실시예에 따른 이동자막 후보영역 추출부를 상세하게 설명하기 위한 도면이다.
도 5a 내지 5e는 본 발명의 일실시예에 따른 이동자막 특징 추출부를 상세하게 설명하기 위한 도면이다.
도 6a는 본 발명이 적용되지 않은 프레임 보간 영상 예이며, 도 6b는 본 발명이 적용된 프레임 보간 영상 예이다.
도 7은 본 발명의 실시 예에 따른 움직임 보상 프레임 장치를 설명하기 위한 도면이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.

본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일실시예에 따른 움직임 보상 보간 장치를 나타낸 블록도 이다.

도 1을 참조하면, 본 발명에 따른 움직임 보상 보간 장치는 이동자막 후보영역 추출부(100), 이동자막 특징 추출부(200), 이동자막 영역 검증부(300)를 구비한다.

먼저 이동자막 후보영역 추출부(100)는 영상 시퀀스를 입력받고, 입력된 영상 시퀀스로부터 1차 이동자막 후보영역 영상을 생성한다. 이동자막 후보영역 추출부(100)는 입력된 영상 시퀀스를 이동 자막의 시간적 특징 및 위치적 특징에 따라 분석하고, 분석 결과에 따라 1차 이동자막 후보영역 영상을 생성할 수 있다.

이를 위해, 이동자막 후보영역 추출부(100)는 영상 밝기 차이값 계산부(120), 영상 밝기 차이 최소값 계산부(140), 가로방향 자막영역 검출부(160), 세로방향 자막영역 검출부(180)를 포함할 수 있다.

그리고, 이동자막 특징 추출부(200)는 이동자막 후보영역 추출부(100)에서 생성된 1차 이동자막 후보영역 영상 에서 글자의 윤곽선 특성을 이용하여 1차 이동자막 후보영역 보다 정밀한 2차 이동자막 후보영역을 생성한다.

그리고, 이동자막 영역 검증부(300)는 입력된 영상 시퀀스를 이용하여 이동자막 특징 추출부(200)에서 생성한 2차 이동자막 후보영역을 사용해 기준프레임에서의 이동자막 후보영역을 자막의 이동 속도만큼 이동시킨 후 참조프레임과 비교하여 해당 자막영역이 올바른 영역인지를 검증하고 검증된 영역을 최종 이동자막 영역으로 결정하여 출력한다.

그리고, 최종 이동자막 영역이 결정되면, 움직임 보상 보간 장치는 움직임 보상을 통한 보간과정에서, 최종 이동자막 영역에 대한 움직임 벡터를 이동자막에 해당하는 특정 방향 및 속도로 교정할 수 있다. 예를 들어, 프레임 보간 장치는 교정된 블록에 대해서 이전 프레임과의 평균값으로 보간할 수 있다. 이에 따라 이동 자막영역에 대해서는 다른 사물과 달리 특정 움지임 벡터로 교정됨으로서 이동자막 영역의 block artifact를 최소화할 수 있다.

도 2는 이동자막 후보영역 추출부(100)를 보다 상세하게 설명하기 위한 블록도이며, 도 3은 이동자막 특징 추출부(200)를 보다 상세하게 설명하기 위한 블록도이다.

먼저, 도 2를 참조하면, 이동자막 후보영역 추출부(100)는 영상 밝기 차이값 계산부(120), 영상 밝기 차이 최소값 계산부(140), 가로방향 자막영역 검출부(160) 및 세로방향 자막영역 검출부(180)를 포함할 수 있다.

영상 밝기 차이값 계산부(120)에서는 기준 프레임과 참조 프레임으로 기준 프레임의 다음 프레임을 입력 영상으로 받아 참조 프레임을 픽셀단위로 이동시킨 후 두 영상의 차이의 절대값을 생성한다.

그리고, 영상 밝기 최소값 계산부(140)에서는 각각의 픽셀마다 참조 프레임을 몇 픽셀 이동시켰을 때 두 영상의 픽셀 밝기의 차이의 절대값이 가장 작은지를 계산한 최소의 차이를 가지는 픽셀간의 거리를 생성한 후 평균적으로 자막이 이동하는 속도에 적합한 거리 정보만을 추출하고 자막으로 보기에는 지나치게 작은 영역들을 제거한다.

도 4a 내지 도 4i는 영상 밝기 최소값과 관련한 본 발명의 일 실시 예에 따라 처리되는 영상을 나타낸다.

먼저 도 4a, 4b는 입력 영상 시퀀스의 일 예를 나타낸다. 이에 대해 도 4c는 영상 밝기 차이값 계산부(120)로부터 출력되는 차이값에 따라 영상 밝기 최소값 계산부(140)에서 생성되는 최소의 차이를 갖는 픽셀간의 거리 정보를 나타내는 도면이다. 도 4c에 도시된 바와 같이, 자막 영역에 대해서는 픽셀 간 차이가 유사한 값을 가지는 것을 알 수 있다

한편, 도 4d는 자막이 이동하는 속도에 적합한 거리정보만을 나타낸 그림이고, 도 4e는 도 4d에서 미리 설정된 자막 영역 크기보다 작은 영역들을 제거하여 필터링된 영상을 나타낸다. 영상 밝기 최소값 계산부(140)에서 생성될 수 있다.

다시 도 2를 참조하면, 가로방향 자막영역 검출부(160)에서는 영상밝기 최소값 계산부(140)에서 생성된 자막으로 적합한 거리 정보를 사용하여 가로방향으로 일정 비율 이상인 정보들만을 검출한다.

그리고, 세로방향 자막영역 검출부(180)는 가로방향 자막영역 검출부(160)에서 생성된 가로방향 거리정보들 중에서 세로방향으로 일정 비율 이상인 정보들만을 검출한다.

도 4f는 도 4e에서와 같이 생성된 유효간 거리정보들의 가로방향 빈도수를 나타낸 그림이다. 도 4g는 가로방향 자막영역 검출부(160)에서 생성된 결과로서 도 4e에서 가로방향으로 일정한 비율 이상의 빈도수를 가지는 영역만을 나타낸 그림이다.

도 4h는 세로방향 자막영역 검출부(180)에서 생성된 결과로서 도 4g에서 세로방향으로 유효한 거리정보들의 빈도수를 나타낸 그림이다.

도 4i는 입력된 기준 프레임에서 세로방향 자막영역 검출부(180)에서 생성된 정보들을 이용하여 직사각형 영역을 표시한 그림으로서 이동자막 후보영역 추출부(100)에서 생성하는 1차 이동자막 후보영역 영상이다.

도 4f 내지 도 4i에 도시된 바와 같이, 본 발명의 실시 예에 따른 움직임 보상 보간 장치는 자막의 이동속도에 적합한 영역을 이용해 가로방향으로 projection을 수행하여 일정 빈도수 이하인 영역은 버리고 일정 빈도 이상인 영역만을 획득할 수 있다. 그리고, 가로방향 projection 결과를 이용해 동일한 방식으로 세로방향으로 projection 계산하여 유효한 자막 후보영역을 찾을 수 있다. 일반적으로 자막 영역은 직사각형 영역이므로 세로방향으로 projection한 결과를 포함한 가장 작은 직사각형 영역이 이동자막 후보 영역이 될 수 있다. 본 발명의 실시 예에서, 자막의 경계 부분에서는 픽셀 최소값이 정확히 검출되지 않을 수 있으므로 직사각형 영역을 일정 비율로 확대하여 1차 후보 영역을 결정할 수 있다.

그리고, 앞서 설명한 바와 같이 이동자막 후보영역 추출부(100)에서 생성된 1차 이동자막 후보영역 영상 에서 글자의 윤곽선 특성을 이용하여 1차 이동자막 후보영역 보다 정밀한 2차 이동자막 후보영역을 생성한다.

보다 구체적으로, 도 3을 참조하면, 이동자막 특징 추출부(200)는 자막 윤곽선 검출부(220), 가로방향 자막 윤곽선 영역 검출부(240), 세로방향 자막 윤곽선 영역 검출부(260)를 포함할 수 있다.

자막 윤곽선 검출부(220)는 이동자막 후보영역 추출부(100)에서 생성하는 1차 이동자막 후보영역 영상에서 글자의 윤곽선 특성을 고려하여 윤곽선 정보영상 생성한다.

도 5a는 도 4a영상이 이동자막 후보영역 추출부(100)를 수행 후 생성된 영상을 나타낸 그림이며 도 5b는 도 5a가 자막 윤곽선 검출부(220)를 수행 후 생성된 에지 영상을 보여준다.

가로방향 자막 윤곽선 영역 검출부(240)는 자막 윤곽선 검출부(220)수행 후 생성되는 윤곽선 정보를 사용하여 가로방향으로 윤곽선의 개수가 처음으로 일정 비율 이상인 라인을 첫 라인으로, 마지막으로 일정 비율 이상인 라인을 마지막 라인으로 하는 영역의 정보들만을 검출한다.

세로방향 자막 윤곽선 영역 검출부(260)은 가로방향 자막 윤곽선 영역 검출부(240)에서 생성된 윤곽선 정보들 중에서 세로방향으로 윤곽선의 개수가 처음으로 일정 비율 이상인 라인을 첫 라인으로, 마지막으로 일정 비율 이상인 라인을 마지막 라인으로 하는 영역의 정보들만을 검출한다.

도 5c는 도 5b의 윤곽선 정보 중에서 가로방향으로 일정한 비율 이상의 빈도수를 가지는 라인만을 나타낸 도면이다.

도 5d는 도 5c의 가로방향 윤곽선 정보 중에서 가로방향으로 일정한 비율 이상의 빈도수를 가지는 라인만을 나타낸 도면이다.

도 5e는 세로방향 자막 윤곽선 영역 검출부(260)에서 생성된 정보들을 포함하는 직사각형 영역을 표시한 그림으로서 이동자막 특징 추출부(200)에서 생성하는 2차 이동자막 후보영역을 나타낸다.

도 5a 내지 도 5e에 도시된 바와 같이, 이동자막 특징 추출부(200)는 1차 자막 후보영역으로부터 정확한 자막의 경계 부분을 찾기 위해 에지 맵을 생성할 수 있다. 그리고, 에지 맵으로부터 앞서 설명한 가로 방향, 세로방향으로 에지 분포를 계산한 후 상하좌우 방향에서 일정 비율 이상의 에지가 처음으로 검출되는 라인을 찾을 수 있으며, 이 라인들이 포함되는 영역을 2차 자막 후보 영역으로 결정할 수 있다.

그리고, 앞서 설명한 바와 같이 이동자막 영역 검증부(300)는 입력된 영상 시퀀스를 이용하여 이동자막 특징 추출부(200)에서 생성한 2차 이동자막 후보영역을 사용해 기준프레임에서의 이동자막 후보영역을 자막의 이동 속도만큼 이동시킨 후 참조프레임과 비교하여 해당 자막영역이 올바른 영역인지를 검증하고 검증된 영역을 최종 이동자막 영역으로 결정하는 역할을 수행할 수 있다. 검출된 자막 영역은 추후 움직임 보상 보간 시 주변 블록들과는 다른 벡터로 적용되어 프레임이 보간에 이용될 수 있다.

도 6a의 경우 본 발명의 프레임 보간 기법이 적용되지 않은 경우의 프레임 보간 결과 영상이고 도 6b의 경우는 본 발명의 프레임 보간 기법이 적용된 경우의 프레임 보간 결과 영상이다. 도 6a와 도 6b를 비교해보면 쉽게 알 수 있는 바와 같이, 본 발명에 따른 이동자막 영역의 움직임 보상 프레임 보간 기법이 사용될 경우 보간된 영상의 화질이 향상된 것을 알 수 있다.

이상 설명한 바와 같이, 블록단위 움직임 보상 프레임 율 변환 기법을 위한 움직임 추정장치로부터 추정된 움직임 벡터가 한 블록 내에 이동자막과 움직이는 사물이 동시에 존재하여 잘못 추정되어 blocking artifact 가 발생하는 것을 방지하기 위해 자막 영역을 검출하여 추후 보간 시 주변과는 다른 벡터로 적용하는 기법을 제안할 수 있다.

현재 영상정보와 디스플레이 형식의 폭발적인 증가로 인해 프레임 율 변환 기법이 중요한 이슈로 떠오르고 있으나, 과거 프레임 반복이나 시간적 필터링을 통한 선형 보간과 같은 단순한 알고리즘은 motion judder 와 motion blur 와 같은 화질열화를 유발하게 된다.

따라서, 본 발명의 이동자막이 포함된 영상에서 이동자막 영역을 검출하는 기법을 적용하면, 현재 이동자막이 포함된 블록의 움직임 벡터가 잘못 추정되었다 하더라도 자막영역으로 검출된 블록의 움직임 벡터를 다시 설정해 교정함으로써 이동자막 영역의 block artifact를 최소화 할 수 있게 된다.

도 7은 본 발명의 실시 예에 따른 프레임 보간 장치의 구성을 나타낸다.

도 7에 도시된 바와 같이, 프레임 보간 장치는 이동 자막 영역 검출 모듈, 움직임 예측 모듈, 움직임 벡터 교정 모듈 및 움직임 보상부를 포함할 수 있다.

앞서 설명한 바와 같이, 이동 자막 영역 검출 모듈은 순차적인 2개의 입력 영상을 받아 두 픽셀간의 거리 정보를 계산한 후 두 픽셀간의 거리가 통계적인 자막의 이동속도에 적합한 영역을 찾고, 가로, 세로 방향으로 검사하여 일정한 크기를 가지는 영역을 1차 후보 영역을 생성할 수 있다. 그리고, 이 1차 후보영역을 Edge영상으로 변환시킨 후 다시 가로 세로 방향으로 일정 비율 이상의 Edge가 검출되는 영역을 2차 후보 영역으로 생성한다. 이 2차 후보영역을 실제 입력 영상에 비교하여 일정 값 이하의 차이를 보일 경우 실제 이동자막으로 검출하고, 검출된 이동자막 영역에 대한 정보를 움직임 벡터 교정 모듈로 출력할 수 있다.

그리고, 움직임 예측 모듈은 프레임 율 변환에 따른 보간을 수행하기 위해 프레임 간 움직임 정보에 기초하여, 보간될 프레임을 위한 움직임 벡터를 예측한다.

그리고, 움직임 벡터 교정 모듈은 정지자막 영역 검출 모듈로부터 이동자막 영역 정보를 수신하고, 움직임 예측 모듈에서 예측된 움직임 벡터 중 이동 자막에 포함된 블록에 대해서는 움직임 벡터를 특정 값으로 교정할 수 있다. 예를 들어, 프움직임 벡터 교정 모듈은 이동 자막 영역의 모션 벡터값을 해당 영역의 모션 벡터 중 최빈값으로 교정할 수 있다.

그리고, 움직임 보상부는 움직임 벡터 교정 모듈로부터 출력되는 움직임 벡터에 기초하여 움직임 보상을 통해 프레임간 보간을 수행한다. 특히, 움직임 보상부는 움직임 벡터가 교정된 블록에 대해서는 교정된 움직임 벡터를 이용하여 보간할 수 있다.

이와 같이, 이동 자막 영역의 이동 거리 정보의 항상성을 이용하여 영상 시퀀스에서 이동자막 영역을 먼저 검출하고 이동자막 영역에 대해서는 특정 벡터로 교정함으로써 이동자막 영역의 block artifact를 최소화 할 수 있다.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.

100: 이동자막 후보영역 추출부 120: 영상 밝기 차이값 계산부
140: 영상 밝기 차이 최소값 계산부 160: 가로방향 자막영역 검출부
180: 세로방향 자막영역 검출부 200: 이동자막 특징 검출부
220: 자막 윤곽선 검출부 240: 가로방향 자막 윤곽선 영역 검출부
260: 세로방향 자막 윤곽선 영역 검출부 300: 이동자막 영역 검증부

Claims (13)

1. 움직임 보상 프레임 보간 장치에 있어서,
   연속적으로 입력되는 영상으로부터 시간적 특징 및 위치적 특징에 따른 1차 자막 후보영역영상을 추출하는 이동자막 후보영역 추출부;
   상기 추출된 1차 후보영역 영상으로부터 글자의 윤곽선 특성에 따른 에지정보를 이용하여 2차 자막 후보영역을 생성하는 이동자막 특징 검출부; 및
   상기 입력되는 영상으로부터 상기 이동자막 특징 검출부에서 생성되는 2차 자막 후보영역을 검증하는 이동자막 영역 검증부를 포함하고,
   상기 이동자막 후보영역 추출부는
   상기 입력되는 영상 중 두 개의 영상을 픽셀 단위로 이동시켜 차이값을 출력하는 영상 밝기 차이값 계산부;
   상기 영상 밝기 차이값 계산부로부터 출력되는 밝기 차이값 중 최소의 차이값에 대응되는 위치에서의 픽셀간 이동 거리를 계산하고, 이동 자막과 관련한 거리에 따른 위치 정보를 출력하는 영상 밝기 차이 최소값 계산부;
   상기 영상 밝기 차이 최소값 계산부로부터 출력되는 위치 정보로부터 가로 방향으로의 에지가 일정 비율 이상인 영역 정보를 검출하는 가로방향 자막영역 검출부; 및
   상기 가로방향 자막영역 검출부로부터 검출된 영역 정보로부터 세로 방향으로의 에지가 일정 비율 이상인 영역 정보를 검출하는 세로방향 자막영역 검출부를 포함하는 움직임 보상 프레임 보간 장치.
2. 삭제
3. 삭제
4. 제 1 항에 있어서, 상기 영상 밝기 차이값 계산부는
   상기 입력되는 영상에 포함된 기준 프레임의 다음 프레임을 참조 프레임으로 하여, 상기 참조 프레임을 픽셀단위로 이동시켜 차이값을 계산함으로서 상기 기준 프레임과 상기 참조 프레임간 차이의 절대값을 생성하는 것을 특징으로 하는 움직임 보상 프레임 보간 장치.
5. 제 1 항에 있어서, 상기 영상 밝기 차이 최소값 계산부는
   상기 영상 밝기 차이값 계산부로부터 출력되는 차이값 중 가장 작은 차이값을 가지는 픽셀의 이동 거리를 획득하고, 자막 이동 속도에 대응되는 이동 거리를 갖는 영역 정보만을 추출한 후, 자막으로 설정된 크기보다 작은 영역들은 제거하는 것을 특징으로 하는 움직임 보상 프레임 보간 장치.
6. 제 1 항에 있어서, 상기 가로방향 자막영역 검출부는
   상기 영상 밝기 차이 최소값 계산부로부터 출력된 픽셀의 이동 거리 정보로부터 가로 방향으로의 에지가 일정 비율 이상 검출되는 가로 방향 영역 정보를 생성하는 것을 특징으로 하는 움직임 보상 프레임 보간 장치.
7. 제 1 항에 있어서, 상기 세로방향 자막영역 검출부는
   상기 가로방향 자막영역 검출부로부터 출력되는 가로 방향 영역 정보로부터 세로 방향으로의 에지가 일정 비율 이상 검출되는 세로 방향 영역 정보를 추출하고, 상기 검출된 가로 방향 영역 정보 및 세로 방향 영역 정보에 따른 직사각형 영역을 생성한 후 상기 입력되는 영상의 기준 프레임으로부터 상기 직사각형 영역에 대한 영역 정보를 생성하는 것을 특징으로 하는 움직임 보상 프레임 보간 장치.
8. 제 1 항에 있어서, 상기 이동자막 특징 추출부는
   상기 이동자막 후보영역 추출부로부터 출력되는 상기 1차 자막 후보영역 정보로부터 에지 영상 정보를 생성하는 자막 윤곽선 검출부;
   상기 자막 윤곽선 검출부로부터 출력되는 에지 영상 정보에 기초하여 가로 방향 영역 정보를 출력하는 가로방향 자막 윤곽선 검출부; 및
   상기 가로방향 자막 윤곽선 검출부로부터 출력되는 가로 방향 영역 정보로부터 세로 방향으로의 에지가 일정 비율 이상인 영역을 추출하여 2차 자막 후보영역을 생성하는 세로방향 자막 윤곽선 검출부를 포함하여 구성되는 것을 특징으로 하는 움직임 보상 프레임 보간 장치.
9. 제 8 항에 있어서, 상기 자막 윤곽선 검출부는
   상기 이동자막 후보영역 추출부로부터 출력되는 상기 1차 자막 후보영역 정보로부터 글자의 윤곽선 특성을 이용하여 에지 영상 정보를 생성하는 것을 특징으로 하는 움직임 보상 프레임 보간 장치.
10. 제 8 항에 있어서, 상기 가로 방향 자막 윤곽선 검출부는
    성가 자막 윤곽선 검출부로부터 출력되는 에지 영상 정보로부터 가로 방향으로 일정 비율 이상 에지 영상 정보가 최초로 검출되는 라인의 정보와 마지막으로 검출되는 라인의 정보를 상기 가로 방향 영역 정보로 출력하는 것을 특징으로 하는 움직임 보상 프레임 보간 장치.
11. 제 8 항에 있어서, 상기 세로 방향 자막 윤곽선 검출부는
    상기 가로 방향 자막 윤곽선 검출부로부터 출력되는 가로 방향 영역 정보에 기초하여 세로 방향으로 일정 비율 이상 에지 영상 정보가 최초로 검출되는 라인의 정보와 마지막으로 검출되는 라인의 정보를 이용하여 계산되어 지는 직사각형 형태의 영역을 2차 자막 후보영역으로 출력하는 것을 특징으로 하는 움직임 보상 프레임 보간 장치.
12. 제 1 항에 있어서, 상기 이동자막 영역 검증부는
    상기 이동자막 특징 추출부로부터 출력되는 상기 2차 자막 후보영역 정보와 상기 입력되는 영상의 영상 시퀀스로부터 검출되는 자막 영역이 정확한 자막 영역인지를 검증하여 최종 자막 영역을 출력하는 것을 특징으로 하는 움직임 보상 프레임 보간 장치.
13. 이동자막 영역의 움직임 보상 프레임 보간 방법에 있어서,
    입력으로 들어오는 연속적인 영상 시퀀스에서 시간적 특징과 위치적 특징을 이용하여 1차 자막 후보영역 영상 정보를 추출하는 단계;
    상기 1차 자막 후보영역 영상 정보에 기초하여 에지 영상을 생성하고, 상기 에지 영상에 기초하여 2차 자막 후보영역을 추출하는 단계; 및
    상기 2차 자막 후보영역과 상기 영상 시퀀스를 비교하여 자막 영역을 검증하는 단계를 포함하고,
    상기 1차 자막 후보영역을 추출하는 단계는,
    영상 밝기 차이값 계산부에서 상기 영상 시퀀스 중 두 개의 영상을 픽셀 단위로 이동시켜 밝기 차이값을 출력하는 단계;
    영상 밝기 차이 최소값 계산부에서 상기 밝기 차이값 중 최소의 차이값에 대응되는 위치에서의 픽셀간 이동 거리를 계산하고, 이동 자막과 관련한 거리에 따른 위치 정보를 출력하는 단계;
    가로방향 자막영역 검출부에서 상기 위치 정보로부터 가로 방향으로의 에지가 일정 비율 이상인 영역 정보를 검출하는 단계; 및
    세로방향 자막영역 검출부에서 상기 검출된 영역 정보로부터 세로 방향으로의 에지가 일정 비율 이상인 영역 정보를 상기 1차 자막 후보영역으로 검출하는 단계를 포함하는 움직임 보상 프레임 보간 방법.

Images