KR101057999B1 - 움직임 보상에 기반한 프레임 율 변환 장치, 및 그 방법과이를 구현하기 위한 프로그램이 기록된 기록 매체 - Google Patents

Abstract

본 발명은 동영상 재생 장치에 서로 다른 프레임 율을 갖는 영상 신호가 입력되는 경우, 이를 적절히 변환하기 위한 프레임 율 변환 방법에 관한 것으로서, 본 발명에 따른 프레임 율 변환 방법은 입력된 동영상의 n+1 번째 프레임과 n 번째 프레임 간에 움직임 추정을 수행하고, 움직임 추정 결과에 기초하여, 양방향 움직임 보상을 수행하여, 상기 n+1 번째 프레임과 n 번째 프레임 사이에 신규 프레임을 생성하고, 생성된 신규 프레임에 대해 위상 정정을 수행함으로써, 움직임 추정 및 보상의 정확도를 향상시킨다.

움직임 보상 프레임 율 변환 위상 정정

Description

움직임 보상에 기반한 프레임 율 변환 장치, 및 그 방법과 이를 구현하기 위한 프로그램이 기록된 기록 매체 {Apparatus for converting frame rate based on motion compensation, and method thereof, and recording medium storing a program to implement the method}

도 1은 50 Hz의 영상을 60 Hz의 영상으로 변환하는 하나의 실시예를 도시하는 도면이다.

도 2(a)(b)는 일반적인 움직임 보상 기반의 프레임 율 변환 방식을 도시하는 도면이다.

도 3은 종래의 움직임 보상 기반의 프레임 율 변환 장치를 도시하는 블록도이다.

도 4(a)(b)는 본 발명의 일 실시예에 따른 움직임 보상 기반의 프레임 율 변환 방법을 도시하는 도면이다.

도 5는 본 발명의 일 실시예에 따른 움직임 보상 기반의 프레임 율 변환 장치를 도시하는 도면이다.

도 6은 본 발명의 일 실시예에 따름 움직임 보상 기반의 프레임 율 변환 방법을 설명하기 위한 흐름도이다.

본 발명은 프레임 율 변환 방법에 관한 것으로서, 보다 구체적으로는 움직임 보상에 기반한 프레임 율 변환 방법에 관한 것이다.

일반적으로, 프레임 율(frame rate)은 초당 전송하는 프레임의 개수이다. 텔레비전 신호 등의 영상 신호를 전송할 때 인간의 시각 특성을 이용하여 1초에 적당한 개수의 화면, 즉 프레임을 전송하는데, 기존의 TV 수신기에서 수신되는 비월 주사 방식의 동영상의 프레임 율은 유럽 방식인 PAL 방식의 경우에는 50Hz이고, 미국 방식인 NTSC 방식의 경우에는 60Hz이다.

한편, 영상 재생 장치에 서로 다른 프레임 율의 영상 신호가 입력되는 경우 프레임 율을 변환하는 프레임 율 변환 장치가 필요하다. 예를 들어, NTSC 방식의 DTV 수신기에 50 Hz의 동영상 비트스트림이 입력되는 경우, 디코더는 이를 복호하여, 프레임 율 변환 장치로 보내고, 프레임 율 변환 장치는 50 Hz의 영상을 60 Hz로 변환하여 디스플레이부로 전송한다. 이에 따라, 50 Hz의 비트스트림을 60 Hz의 디스플레이에서 디스플레이하는 것이 가능하다.

도 1은 50 Hz의 영상을 60 Hz의 영상으로 변환하는 하나의 실시예를 도시하는 도면이다. 도 1을 참조하면, 5 필드 단위로 한 필드씩 추가 생성을 하여, 60 Hz의 영상을 생성한다. 일반적으로, 바텀 필드(bottom field)와 탑 필드(top field)를 번갈아가면서 생성한다.

도 2(a)(b)는 일반적인 움직임 보상 기반의 프레임 레이트 변환 방식을 도시 한다. 여기에서 F(n)은 n 번째 탑 필드이고, F(n+1)은 n+1 번째 바텀 필드이다.

도 2(a)를 참조하면, 종래의 움직임 보상 기반의 프레임 레이트 변환 방식은 F(n)에 대해 위상 정정(phase correction)을 수행하여, F(n+1)과 동일한 패리티(parity), 즉 바텀 필드인 F'(n)을 생성한다.

또한, 도 2(b)를 참조하면, 동일한 패리티, 즉 바텀 필드들인 F'(n) 및 F(n+1) 사이에 새로운 바텀 필드를 생성하기 위해, 움직임 추정을 수행하여 F'(n) 및 F(n+1) 간에 가장 잘 정합되는 움직임 벡터를 결정하고, 결정된 움직임 벡터에 기초하여 양방향 움직임 보상을 수행하여, 양방향 보간을 수행한다. 그 결과, 바텀 필드인 F'(n+1)을 생성한다. 도 2(b)에서 F'(n+2)는 도 2(a)의 F(n+1)과 동일한 필드이다.

도 3은 종래의 움직임 보상 기반의 프레임 율 변환 장치를 도시하는 블록도이다. 도 3을 참조하면, 프레임 율 변환 장치는 위상 정정부(320) 및 움직임 보상 기반의 프레임 율 변환부(340)을 포함한다.

위상 정정부(320)는 입력된 50 Hz의 영상에 대해 도 2(a)에서의 위상 정정 과정을 수행한다.

프레임 율 변환부(340)는 위상 정정된 50 Hz의 영상에 대해, 도 2(b)에 도시된 양방향 움직임 보상을 수행하여, 60 Hz의 영상을 출력한다.

하지만, 이러한 종래의 움직임 보상 기반의 프레임 율 변환 방법은 위상 정정을 수행 한 후 움직임 보상을 수행한다. 이와 같이, 위상 정정을 하게 되면, 영상은 화질이 저하된다. 따라서, 기준 프레임이 되는 위상 정정된 F'(n)은 저하된 화질을 갖고, F(n+1)은 원 영상인 상황에서 두 프레임간 움직임 추정 및 보상을 수행하기 때문에, 잘못된 움직임을 찾을 가능성이 있고, 또한 반화소 단위 움직임 추정도 불가능하다는 문제점이 있었다.

본 발명이 이루고자 하는 기술적 과제는, 이러한 문제점을 해소한, 개선된 움직임 보상 기반의 프레임 율 변환 장치 및 그 방법과 이를 수행하기 위한 프로그램이 기록된 기록 매체를 제공하는 데 있다.

상기의 과제를 이루기 위하여, 본 발명에 따른 프레임 율 변환 장치는 n+1 번째 프레임과 n 번째 프레임 간에 움직임 추정을 수행하는 움직임 추정부와, 움직임 추정 결과에 기초하여, 양방향 움직임 보상을 수행하여, n+1 번째 프레임과 n 번째 프레임 사이에 신규 프레임을 생성하는 프레임 율 변환부와, 상기 생성된 신규 프레임에 대해 위상 정정을 수행하는 위상 정정부를 포함한다.

또한, 상기 과제는 본 발명에 따른 n+1 번째 프레임과 n 번째 프레임 간에 움직임 추정을 수행하는 단계와, 움직임 추정 결과에 기초하여, 양방향 움직임 보상을 수행하여, 상기 n+1 번째 프레임과 n 번째 프레임 사이에 신규 프레임을 생성하는 단계와, 상기 생성된 신규 프레임에 대해 위상 정정을 수행하는 단계를 포함하는 프레임 율 변환 방법에 의해서도 달성된다.

또한, 상기 과제는 본 발명에 따른 n+1 번째 프레임과 n 번째 프레임 간에 움직임 추정을 수행하는 단계와, 움직임 추정 결과에 기초하여, 양방향 움직임 보 상을 수행하여, 상기 n+1 번째 프레임과 n 번째 프레임 사이에 신규 프레임을 생성하는 단계와, 상기 생성된 신규 프레임에 대해 위상 정정을 수행하는 단계를 포함하는 프레임 율 변환 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체에 의해서도 달성된다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.

도 4(a)(b)는 본 발명에 따른 움직임 보상 기반의 프레임 율 변환 방법을 도시한다.

도 4(a)에서는 F(n+1)과 F(n) 간에 한 화소 단위 움직임 추정을 수행하고, 최적의 움직임 벡터를 결정한 다음, 결정된 움직임 벡터에 대해 양방향 움직임 보상을 수행한다. 양방향 움직임 보상을 수행함으로써, F(n+1)과 F(n) 사이에 새로운 프레임 F'(n+1)을 생성한다. 이때, 움직임 보상이 수행된 후의 프레임 F'(n+2)는 움직임 보상이 수행되기 전의 프레임 F(n+1)과 동일하다.

도 4(a)의 움직임 보상 및 새로운 프레임 생성은 이하 과정에 의해 수행된다.

본 실시예에서는 움직임 추정은 정수 화소 단위로 이루어진다.

우선, F(n+1)로부터 F(n)으로의 움직임 추정이 수행된다. 이때, 본 실시예에서는 움직임 추정을 위해 블록 정합 방법을 사용하며, 움직임 보상도 블록 단위로 수행한다. 선택적으로, 움직임 추정 방법으로 전역 탐색 방법이나, 기타 고성능의 고속 움직임 추정 기법을 사용하는 것도 가능하다. 또한, 선택적으로 움직임 벡터의 상관성을 고려한 움직임 추정 방법을 사용함으로써 실제 움직임에 가까운 움직임 추정 및 보상을 실시하는 것도 가능하다.

움직임 추정 과정을 통해, 움직임 벡터가 결정되면, 도 4(a)에 도시된 바와 같이, 양방향 움직임 보상을 수행하여, F'(n+1)을 생성한다. 본 실시예에서는 F'(n+1)은 결정된 움직임 벡터에 의해 정합되는 F'(n+2)의 화소들과 F(n)의 화소들 간의 보간(interpolation)에 의해 얻어진다.

이와 같이, 생성된 새로운 프레임 F'(n+1)은 서로 다른 패리티(parity)에 속하는 필드 끼리의 양방향 움직임 보상이므로, 프레임 F'(n+1)의 화소들은 탑 필드나 바텀 필드의 샘플링 위치에 위치하지 않는다. 바꿔 말하면, 생성된 새로운 프레임 F'(n+1)의 화소들은 F'(n+2)의 화소들과 동일한 샘플링 위치를 갖고 있지 않다.

따라서, 도 4(b)는 생성된 새로운 프레임 F'(n+1)의 화소들의 샘플링 위치를 F(n+1)의 화소들의 샘플링 위치와 동일하도록 하기 위해 위상 정정을 수행한다. 본 실시예에서는, 위상 변환 필터의 일종인 폴리페이스 필터(polyphase filter)를 사용하여 재 보간(interpolation)을 수행하여, 새로운 프레임 F'(n+1)의 화소들의 샘플링 위치를 원하는 샘플링 위치로 정정한다.

도 5는 본 발명에 따른 움직임 보상 기반의 프레임 율 변환 장치를 도시하는 블록도이다. 도 5의 프레임 율 변환 장치는 움직임 보상 기반의 프레임 율 변환부(520) 및 위상 정정부(540)를 포함한다.

프레임 율 변환부(520)는 입력된 50 Hz의 영상에 대해, 도 4(a)에 도시된 양 방향 움직임 보상을 수행하여 양방향 보간을 수행하여, 60 Hz의 영상을 출력한다.

위상 정정부(540)는 입력된 60 Hz의 영상에 대해 도 4(b)에서의 위상 정정 과정을 수행한다.

도 6은 도 5에 도시된 본 발명에 따른 움직임 보상 기반의 프레임 율 변환 장치에서 수행되는 프레임 율 변환 방법을 설명하기 위한 흐름도이다.

단계 620에서는 n+1 번째 프레임과 n 번째 프레임 간에 움직임 추정을 수행한다. 본 실시예에서는 움직임 추정 과정은 화소 단위로 이루어진다.

단계 640에서는 단계 620에서 수행된 움직임 추정 결과에 기초하여, 양방향 움직임 보상을 수행하여, 상기 n+1 번째 프레임과 n 번째 프레임 사이에 도 4(a)에 도시된 새로운 프레임 F'(n+1)을 생성한다.

단계 660에서는 생성된 신규 프레임에 대해 위상 정정을 수행하여, 도 4(b)에 도시된 위상 정정된 신규 프레임 F''(n+1)를 생성한다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

상술한 바와 같이 본 발명에 따른 프레임 율 변환 장치를 사용하는 경우, 입력된 영상에 대해 움직임 보상 방식의 프레임 변환 단계를 먼저 수행 한 후, 위상 정정 과정을 수행하기 때문에, 원 영상 간의 움직임 추정 및 보상이 가능하기 때문에, 움직임 추정 및 보상의 정확도가 향상되고, 이에 따라 새로운 프레임 생성 시 반화소 단위의 움직임 보상이 가능하다는 효과가 있다.

Claims (7)

1. 프레임 율 변환 장치에 있어서,

   n+1 번째 프레임과 n 번째 프레임 간에 움직임 추정을 수행하는 움직임 추정부와,

   움직임 추정 결과에 기초하여, 양방향 움직임 보상을 수행하여, 상기 n+1 번째 프레임과 n 번째 프레임 사이에 신규 프레임을 생성하는 프레임 율 변환부와,

   상기 생성된 신규 프레임에 대해 위상 정정을 수행하는 위상 정정부를 포함하는 것을 특징으로 하는 장치.
2. 제1항에 있어서, 상기 움직임 추정은 화소 단위로 이루어지며, 상기 양방향 움직임 보상은 서로 다른 패리티(parity)에 속하는 필드끼리의 양방향 움직임 보상인 것을 특징으로 하는 장치.
3. 제1항에 있어서, 상기 위상 정정부는 상기 신규 프레임의 위상을 n+1 번째 프레임과 동일하도록 정정하는 것을 특징으로 하는 장치.
4. 프레임 율 변환 방법에 있어서,

   n+1 번째 프레임과 n 번째 프레임 간에 움직임 추정을 수행하는 단계와,

   움직임 추정 결과에 기초하여, 양방향 움직임 보상을 수행하여, 상기 n+1 번째 프레임과 n 번째 프레임 사이에 신규 프레임을 생성하는 단계와,

   상기 생성된 신규 프레임에 대해 위상 정정을 수행하는 단계를 포함하는 것을 특징으로 하는 방법.
5. 제4항에 있어서, 상기 움직임 추정은 화소 단위로 이루어지며, 상기 양방향 움직임 보상은 서로 다른 패리티(parity)에 속하는 필드끼리의 양방향 움직임 보상인 것을 특징으로 하는 방법.
6. 제4항에 있어서, 상기 위상 정정 단계는 상기 신규 프레임의 위상을 n+1 번째 프레임과 동일하도록 정정하는 것을 특징으로 하는 방법.
7. 제4항 내지 제6항 중 어느 한 항의 프레임 율 변환 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.

Images