KR100565791B1

KR100565791B1 - 모션백터 추정장치 및 모션백터 추정방법

Info

Publication number: KR100565791B1
Application number: KR1020030053912A
Authority: KR
Inventors: 이상수
Original assignee: 삼성전자주식회사
Priority date: 2003-08-04
Filing date: 2003-08-04
Publication date: 2006-03-29
Also published as: KR20050015203A

Abstract

모션백터 추정장치가 개시된다. 본 모션백터 추정장치는, 제1프레임을 기준으로 제2프레임에 대한 모션백터를 구하는 모션벡터 추정장치에 관한 것으로, 제1프레임의 소정영역을 기준블록으로 하여, 기준블록과 제2프레임을 구성하는 다수개의 비교블록과의 SAD값을 제2프레임을 구성하는 각 라인별로 산출하는 SAD값 산출부, 산출된 SAD값을 각 라인별로 임시 저장하는 SAD값 저장부, 각 라인별로 구비되는 비교블록과, 비교블록에 종속되는 블록의 SAD값중 가장 작은 것을 비교블록의 대표값으로 선택하는 대표값 산출부, 각 라인별 대표값들중 최소값에 대응되는 블록과 기준블록에 대한 임시 모션백터를 산출하며, 산출된 임시 모션백터는 각 라인별로 인가되는 최소 대표값에 대응되는 임시 모션백터에 의해 갱신되는 모션백터 산출부를 구비한다. 이러한 모션백터 검출장치에 의하면 실시간으로 모션백터를 구해야 하는 영상디스플레이장치에 소요되는 라인메모리를 최소화 할 수 있다.

라인메모리, 모션백터, SAD(Sum of Absolute Differnce)

Description

모션백터 추정장치 및 모션백터 추정방법{Apparatus and Method for presumption motion vector}

도 1은 종래의 영상디스플레이장치가 모션백터를 구하는 방법을 개략적으로 나타내는 도면,

도 2는 본 발명에 따른 모션백터 추정방법을 개념적으로 설명하기 위한 도면,

도 3은 도 2에 도시된 SAD값 산출부에 저장되는 모션백터의 형태를 나타내는 도면,

도 4는 본 발명에 따른 모션백터 추정장치의 바람직한 일실시예에 따른 블록개념도, 그리고

도 5는 본 발명에 따른 모션백터 추정방법의 바람직한 일 실시예에 따른 흐름도를 나타낸다.

*도면의 주요 부분에 대한 부호의 설명*

100 : SAD값 산출부 101 : 제1메모리

102 : 제2메모리 103 : SAD값 연산부

110 : SAD값 저장부 120 : 대표값 산출부

130 : 모션백터 산출부 131 : 모션백터 연산부

132 : 버퍼 133 : 비교부

본 발명은 모션백터를 추정하는 장치 및 방법에 관한 것으로, 특히 최소의 라인메모리만을 필요로 하는 모션백터 추정장치 및 모션백터 추정방법에 관한 것이다.

영상신호를 디지털 신호로 변환하여 전송 및 수신함에 따라, 아날로그 신호에 비해 데이터 크기가 큰 디지털 신호를 압축하는 방법 및 장치가 많이 개시되고 있다. 영상신호의 압축은 통상 시간영역에서 이전 영상과 다음 영상을 참조하여 중간단계의 영상을 재구성함으로서 이루어진다. 재구성된 영상은 이전 영상의 변화량, 즉 모션벡터를 통해 표현되며, 다음번 영상은 이전 영상에 모션벡터를 첨부한 형태로 이루어진다. 한편, 이와 같은 모션백터를 텔레비전과 같은 영상디스플레이장치에 적용시, 영상디스플레이장치가 갖는 해상도에 따라 다량의 라인메모리를 필요로 한다. 라인메모리는 영상디스플레이장치가 화면을 재생시, 화면의 수평라인에 대응되는 영상신호를 저장하는 메모리이다. 현재, 아날로그 방송에서 대용량, 고화질의 디지털 방송으로 전환되고 있는 바, 각 수평라인이 갖는 영상신호의 양은 아날로그 방송신호에 비해 매우 크며, 라인메모리도 대용량이 요구된다.

도 1은 종래의 영상디스플레이장치가 모션백터를 구하는 방법을 개략적으로 나타낸다.

도시된 바와 같이, 종래에는 n번째 프레임(20)과 n-1번째 프레임(20)을 토대로 모션백터를 구하고자 할때, n번째 프레임(20)과 n-1번째 프레임(10)의 각 수평라인(예컨데 line 1, line 2)단위로 라인메모리에 영상신호를 저장하고, 저장된 영상신호를 소정 블록으로 나누어 SAD(Sum of Absolute Differnce)값을 구한 후, 구해진 값들 중 가장 작은 SAD값에 대응되는 블록을 토대로 모션백터를 산출하였다. 이에 따라, 라인메모리는 영상디스플레이장치가 갖는 수직 해상도에 따라 용량이 큰 메모리장치를 필요로 하였으며, 실시간 처리가 중요시되는 고화질 텔레비전(HDTV : High Definition TeleVision) )과 같은 영상디스플레이장치는 고속으로 동작 가능한 SRAM(Static Random Access Memory)과 같은 메모리장치를 필요로 하는 경우도 있었다. 따라서, 영상디스플레이장치를 생산시, 라인메모리가 차지하는 비용이 큰 문제점이 있다.

본 발명은 상기한 종래의 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 영상디스플레이장치에서 소요되는 라인메모리의 용량을 최소화 할 수 있는 모션백터 추정장치 및 모션백터 추정방법을 제공함에 있다.

상기한 목적은 본 발명에 따라, 제1프레임을 기준으로 제2프레임에 대한 모션백터를 구하는 모션벡터 추정장치에 있어서, 상기 제1프레임의 소정영역을 기준블록으로 하여, 상기 기준블록과 상기 제2프레임을 구성하는 다수개의 비교블록과의 SAD값을 상기 제2프레임을 구성하는 각 라인별로 산출하는 SAD값 산출부, 상기 산출된 SAD값을 상기 각 라인별로 임시 저장하는 SAD값 저장부, 상기 각 라인별로 구비되는 비교블록과, 상기 비교블록에 종속되는 블록의 SAD값중 가장 작은 것을 상기 비교블록의 대표값으로 선택하는 대표값 산출부, 및 상기 각 라인별 대표값들중 최소값에 대응되는 블록과 상기 기준블록에 대한 임시 모션백터를 산출하며, 상기 산출된 임시 모션백터는 각 라인별로 인가되는 최소 대표값에 대응되는 임시 모션백터에 의해 갱신되는 모션백터 산출부에 의해 달성된다.

상기 SAD값 산출부는, 상기 기준블록에 대응되는 영상신호를 저장하기 위한 제1메모리, 상기 제2프레임을 구성하는 상기 각 블록에 대한 영상신호를 수평라인 단위로 저장하는 제2메모리, 및 상기 제1메모리와 상기 제2메모리에 저장된 영상신호에 대한 SAD값을 연산하는 SAD값 연산부를 포함하는 것이 바람직하다.

상기 대표값 산출부는, 상기 SAD값 저장부에 각 블록 및 각 블록에 종속된 SAD값들에 대해 비교하며, 상기 비교결과 상기 SAD값 저장부에 각 블록별로 연관되어 저장된 SAD값들 중, 최소값을 갖는 SAD값을 상기 각 블록에 대한 SAD값으로 저장하는 것이 바람직하다.

상기 모션백터 산출부는, 상기 대표값 산출부로 부터 인가되는 다수의 SAD값들 중, 상기 각 수평라인에서 최소 SAD값을 갖는 블록과 상기 기준블록에 대한 모션백터를 구하는 모션백터 연산부, 상기 모션백터 연산부에서 구해진 모션백터를 임시 저장하는 버퍼, 및 상기 각 수평라인 별로 인가되는 최소 SAD값을 비교하며, 비교결과 상기 인가되는 최소 SAD값이 이전 단계의 최소 SAD값 보다 클 경우, 상기 버퍼에 저장된 모션백터를 갱신하는 비교부를 포함하는 것이 바람직하다.

상기한 목적은 본 발명에 따라, 제1프레임을 기준으로 제2프레임의 모션벡터를 구하는 모션벡터 추정방법에 있어서, 상기 제1프레임의 소정 영역을 기준블록으로 설정하는 단계, 상기 기준블록과 상기 제2프레임을 구성하는 각 블록에 대한 SAD값을 산출하는 단계, 상기 산출된 SAD값들 중, 동일 수평라인에 구비되는 각 블록의 SAD값에 대한 대표값을 산출하는 단계, 및 상기 각 라인의 대표값들 중 최소 SAD값을 갖는 블록과 상기 기준블록을 토대로 모션벡터를 산출하는 단계에 의해 달성된다.

상기 대표값을 산출하는 단계는, 상기 각 블록 및 각 블록에 종속된 SAD값들에 대해 비교하여, 최소의 SAD값을 상기 블록의 대표값으로 선택하는 것이 바람직하다.

상기 모션백터를 산출하는 단계는, 상기 각 수평라인 단위로 산출된 대표값 중, 동일 수평라인에서 최소인 SAD값에 대응되는 블록과 상기 기준블록에 대한 모션백터를 산출하는 단계, 및 상기 각 수평라인별로 산출된 모션백터 중, 최소의 SAD값에 대응되는 모션백터를 선택하는 단계를 포함하는 것이 바람직하다.

이하, 도면을 참조하여 본 발명을 상세히 설명한다.

도 2는 본 발명에 따른 모션백터 추정방법을 개념적으로 설명하기 위한 도면을 나타낸다.

도시된 바와 같이, 제2프레임(60)에서는 모션백터를 구하고자 하는 영역(61)을 설정하고 설정된 영역(61)에 대한 영상신호를 SAD값 산출부(70)로 전송한다. 제1프레임(50)은 화면에 재생된 전 영역에 걸쳐 각 수평라인(예컨데 line 1, line 2) 단위로 영상신호를 SAD값 산출부(70)로 전송한다. 이때, 제1프레임(50)에서 SAD값 산출부(70)로 인가되는 영상신호는 제2프레임(60)의 영역(61)과 동일한 크기의 블록으로 나누어 전송된다. SAD값 산출부(70)는 제1프레임(50)을 구성하는 각각의 블록(미도시)과 제2프레임(60)의 영역(61)으로부터 인가되는 영상신호의 휘도값에 대한 SAD값을 산출한다. SAD값은 제1프레임(50)을 구성하는 다수개의 블록 중 어느 하나가 갖는 화소의 휘도값의 합과 제2프레임(60)의 영역(61)이 갖는 각 화소의 휘도값의 합에 대한 차의 절대값을 의미한다. 즉, 영역(61)내의 화소들이 갖는 총 휘도값을 더하고, 영역(61)과 비교되는 제2프레임을 구성하는 각 블록의 휘도값의 합과 각 블록 단위로 그 차이를 구하여 절대값을 취한 것이다.

SAD값 산출부(70)에서 산출된 SAD값은 임시메모리(80)에 각 라인(예컨데 line 1, line 2)별로 저장되며, 각 라인별(예컨데 line 1, line 2)로 최소의 SAD값을 갖는 블록과 영역(61)에 대해 임시 모션백터를 구한다. 구해진 임시 모션백터는 각 라인에서 최소의 SAD값에 대응되는 모션백터가 나타날때마다 갱신되며, 화면을 구성하는 모든 수평라인에 대한 임시 모션백터의 산출과정이 종료시, 최종적으로 남아있는 임시 모션백터값이 구하고자 하는 모션백터가 된다.

도 3은 도 2에 도시된 SAD값 산출부(70)에 의해 SAD값이 구해지는 과정을 개넘적으로 나타낸다.

도시된 바와 같이, 수평라인(예컨데 line 1)에는 영역(61)과 동일한 크기의 블록이 S2 블록의 방향으로 한 픽셀(pixel)씩 이동하면서 SAD값을 산출한다. 이에 따라, 블록(예컨데 S1) 하나에 대한 SAD값들은 블록(S1)에 대해 다수개(S11, S12, S13, S14)가 산출된다. 이들 SAD값은 블록(S1)과 연관된 SAD값으로, 종래에는 이들 모두가 라인메모리에 저장되었다. 본 발명은 임시메모리(80)에 저장되는 SAD값들중 단일 블록에 대해서는 단일 SAD값만이 저장되도록 하며, 제1프레임(50)에 대응되는 영상신호는 라인메모리에 모두 저장하는 대신, 제2프레임(60)은 소정 블록에 대한 영상신호만을 저장하도록 하여 영상디스플레이장치에서 소요되는 라인메모리의 용량을 최소화 한다.

도 4는 본 발명에 따른 모션백터 추정장치의 바람직한 일실시예에 따른 블록개념도를 나타낸다.

도시된 모션백터 추정장치는, SAD값 산출부(100), SAD값 저장부(110), 대표값 산출부(120), 및 모션백터 산출부(130)를 갖는다.

SAD값 산출부(100)는 제1메모리(101)와 제2메모리(102)로부터 인가되는 영상신호로부터 SAD(Sum of Absolute Difference)값을 산출한다. 여기서, SAD값 산출부(100)는 제1프레임(50)에서 소정 블록 단위로 인가되는 영상신호와 제2프레임(60)의 영역(61)에 대해 각각 휘도값에 대한 합을 구하고, 구해진 각각의 휘도값의 합에 대해 차를 구한 후, 절대값을 취하여 SAD값을 구한다. 구해진 SAD값들중 가장 작은 SAD값이 영역(61)과 일치하는 영상으로 판단한다.

SAD값 저장부(110)는 SAD값 산출부(100)에서 구해진 SAD값을 각 라인에 따라 각 블록단위로 임시 저장한다. 대표값 산출부(120)는 각 라인에 구비되는 각각의 블록(미도시)과, 블록에 종속되는 블록이 갖는 SAD값을 비교하여 최소값을 선택하고 이를 저장한다. 대표값은 앞서 도 3을 통해 설명한 바와 같이 각 블록에 대해 하나의 대표값(각 블록에 대한 SAD값과 각 블록에 종속되는 SAD값들 중 최소값)만을 저장한다.

모션백터 산출부(130)는 대표값 산출부(120)로부터 각 라인별로 산출되는 대표값을 토대로 각 라인마다 산출된 대표값 중 가장작은 대표값에 대해 임시 모션백터를 산출한다. 산출된 n번째 임시 모션백터는 소정의 메모리에 저장되며, n번째 모션백터에 대응되는 대표값이 n+1번째 라인에 대한 대표값보다 큰 경우, n+1번째 대표값에 대한 임시 모션백터가 n번째 임시 모션백터로 갱신된다. 이와 같은 과정에 의해 영상디스플레이장치에 의해 디스플레이되는 화면의 총 수평라인에 대한 임시 모션백터 산출이 종료시, 최종적으로 남아있는 임시 모션백터가 모션백터로서 출력된다. 즉 거의 실시간으로 모션백터가 산출된다.

바람직하게는, SAD값 산출부(100)는 제1메모리(101), 제2메모리(102), 및 SAD값 연산부(103)를 갖는다.

제1메모리(101)는 제1프레임(50)의 각 라인 단위로 인가되는 영상신호를 인가받아 저장한다. 제2메모리(102)는 제1프레임(50)과 대비하여 제1프레임(50)으로부터 모션백터를 추정하고자 하는 영역(61)에 대한 영상신호를 인가받아 저장한다. 이때, 제1메모리(101)에 저장되는 영상신호는 제2프레임(60)의 영역(61)과 동일한 블록 크기로 SAD값 연산부(103)로 인가된다.

SAD값 연산부(103)는 제1메모리(101)와 제2메모리(102)에서 인가되는 블록 단위의 영상신호 각각에 대한 휘도값의 합을 구하고, 각각의 합간의 차에 대한 절대값를 구한다.

바람직하게는, 모션백터 산출부(130)는 모션백터 연산부(131), 버퍼(132), 및 비교부(133)를 갖는다.

모션백터 연산부(131)는 대표값 산출부(120)에서 각 라인에 구비되는 각각의 블록에 대한 대표값중, 가장 작은 값을 갖는 대표값에 대응되는 블록과 영역(61)에 대한 임시 모션백터를 구한다. 버퍼(132)는 모션백터 연산부(131)에서 각 라인별로 구해지는 임시 모션백터를 저장한다. 비교부(133)는 대표값 산출부(120)로부터 각 라인별로 구해지는 최소 대표값을 각 라인별로 비교한다. n번째 라인과 n-1번째 라인의 최소 대표값의 비교결과, n번째 라인에 대응되는 최소 대표값이 n-1번째 것보다 작을 경우 n번째 라인의 최소 대표값에 대응되는 블록과 영역(61)에 대한 모션백터가 버퍼(132)에 기록되도록 버퍼(132)를 제어한다. 이에 따라, 버퍼(132)에는 제1프레임(50)에 구비되는 모든 수평라인에 대한 영상신호와 영역(61)과의 임시 모션백터 산출 과정이 완료되는 순간, 최종적으로 남아있는 임시 모션백터를 모션백터로서 출력하게 된다. 이와 같은 과정에 따라, 본 모션백터 추정장치는 라인메모리(예컨데 102)의 용량이 라인메모리(예컨데 101)에 비해 매우 작아도 되며, 거의 실시간으로 모션백터의 연산이 가능하다.

먼저, 제2프레임(60)에서 모션백터를 추정하고자 하는 영역(61)을 설정한다(S200). 다음으로, 제1프레임(50)을 영역(61)이 갖는 크기와 동일한 크기의 블록으로 분할한다(S210). 다음으로, 영역(61)의 영상신호가 갖는 휘도값의 합 과, 분할된 각 블록의 영상신호가 갖는 휘도값들에 대해 각각 SAD값을 산출한다(S220). SAD값은 제1프레임(50)에서 소정 블록 단위로 인가되는 영상신호로와 제2프레임(60)의 영역(61)으로부터 각각의 휘도값에 대한 합을 구하고, 구해진 각각의 휘도값의 합에 대한 차를 구한 후, 절대값을 취하여 SAD값을 산출한다. 구해진 SAD값들중 가장 작은 SAD값을 영역(61)과 일치하는 영상으로 판단한다. 다음으로, 상기한 과정에 의해 각 라인에 구비되는 각각의 블록(미도시)과, 블록에 종속되는 블록이 갖는 SAD값을 비교하여 최소값을 선택하고 이를 저장한다(S230). 대표값은 앞서 도 3을 통해 설명한 바와 같이 각 블록에 대한 대표값(각 블록에 대한 SAD값과 각 블록에 종속되는 SAD값들 중 최소값)만을 SAD값 저장부(110)에 저장한다(S240).

마지막으로, 각 라인별로 구해진 SAD값들 중 가장 작은 SAD값에 대응되는 블록과 영역(61)에 대한 임시 모션백터를 산출한다. 산출된 n번째 임시 모션백터는 소정의 메모리에 저장되며, n번째 모션백터에 대응되는 대표값이 n+1번째 라인에 대한 대표값보다 큰 경우, n+1번째 대표값에 대한 임시 모션백터가 n번째 임시 모션백터로 대체된다. 이와 같은 과정에 의해 영상디스플레이장치에 의해 디스플레이되는 화면의 총 수평라인에 대한 임시 모션백터 산출이 종료시, 최종적으로 남아있는 임시 모션백터가 모션백터로서 출력된다.

상기한 바와 같이, 본 발명은 실시간으로 모션백터를 구해야 하는 영상디스플레이장치에 소요되는 라인메모리를 최소화 할 수 있다.

Claims

제1프레임을 기준으로 제2프레임에 대한 모션백터를 구하는 모션벡터 추정장치에 있어서,

상기 제1프레임의 소정영역을 기준블록으로 하여, 상기 기준블록과 상기 제2프레임을 구성하는 다수개의 비교블록과의 SAD값을 상기 제2프레임을 구성하는 각 라인별로 산출하는 SAD값 산출부;

상기 산출된 SAD값을 상기 각 라인별로 임시 저장하는 SAD값 저장부;

상기 각 라인별로 구비되는 비교블록과, 상기 비교블록에 종속되는 블록의 SAD값 중 최소값을 상기 비교블록의 대표값으로 선택하여 저장하는 대표값 산출부; 및

상기 각 라인에 구비되는 각각의 블록에 대한 대표값 중 최소 대표값에 대응되는 임시 모션 백터를 구하며, 상기 각 라인 별로 구해지는 최소 대표값 중 최소값에 대응되는 임시 모션 백터를 모션 백터로 갱신하는 모션 백터 산출부;를 포함하는 것을 특징으로 하는 모션백터 추정장치.
제1항에 있어서,

상기 SAD값 산출부는,

상기 기준블록에 대응되는 영상신호를 저장하기 위한 제1메모리;

상기 제2프레임을 구성하는 상기 각 블록에 대한 영상신호를 수평라인 단위로 저장하는 제2메모리; 및

상기 제1메모리와 상기 제2메모리에 저장된 영상신호에 대한 SAD값을 연산하는 SAD값 연산부;를 포함하는 것을 특징으로 하는 모션벡터 추정장치.
제1항에 있어서,

상기 대표값 산출부는,

상기 SAD값 저장부에 각 블록 및 각 블록에 종속된 SAD값들에 대해 비교하며, 상기 비교결과 상기 SAD값 저장부에 각 블록별로 연관되어 저장된 SAD값들 중, 최소값을 갖는 SAD값을 상기 각 블록에 대한 SAD값으로 저장하는 모션벡터 추정장치.
제3항에 있어서,

상기 모션백터 산출부는,

상기 대표값 산출부로 부터 인가되는 다수의 SAD값들 중, 상기 각 수평라인에서 최소 SAD값을 갖는 블록과 상기 기준블록에 대한 모션백터를 구하는 모션백터 연산부;

상기 모션백터 연산부에서 구해진 모션백터를 임시 저장하는 버퍼; 및

상기 각 수평라인 별로 인가되는 최소 SAD값을 비교하며, 비교결과 상기 인가되는 최소 SAD값이 이전 단계의 최소 SAD값 보다 클 경우, 상기 버퍼에 저장된 모션백터를 갱신하는 비교부;를 포함하는 것을 특징으로 하는 모션백터 추정장치.
제1프레임을 기준으로 제2프레임의 모션벡터를 구하는 모션벡터 추정방법에 있어서,

상기 제1프레임의 소정 영역을 기준블록으로 설정하는 단계;

상기 기준블록과 상기 제2프레임을 구성하는 각 블록에 대한 SAD값을 산출하는 단계;

상기 산출된 SAD값들 중, 동일 수평라인에 구비되는 각 블록의 SAD값에 대한 대표값을 산출하는 단계; 및

상기 각 라인에 구비되는 각각의 블록에 대한 대표값 중 최소 대표값에 대응되는 임시 모션 백터를 구하며, 상기 각 라인 별로 구해지는 최소 대표값 중 최소값에 대응되는 임시 모션 백터를 모션 백터로 갱신하여 모션벡터를 산출하는 단계;를 포함하는 것을 특징으로 하는 모션백터 추정방법.
제5항에 있어서,

상기 대표값을 산출하는 단계는,

상기 각 블록 및 각 블록에 종속된 SAD값들에 대해 비교하여, 최소의 SAD값을 상기 블록의 대표값으로 선택하는 것을 특징으로 하는 모션백터 추정방법.
제5항에 있어서,

상기 모션백터를 산출하는 단계는,

상기 각 수평라인 단위로 산출된 대표값 중, 동일 수평라인에서 최소인 SAD값에 대응되는 블록과 상기 기준블록에 대한 모션백터를 산출하는 단계; 및

상기 각 수평라인별로 산출된 모션백터 중, 최소의 SAD값에 대응되는 모션백터를 선택하는 단계;를 포함하는 것을 특징으로 하는 모션백터 추정방법.