KR100870115B1

KR100870115B1 - 블록정합 및 움직임 보상 보간을 이용한 영상 형성 방법

Info

Publication number: KR100870115B1
Application number: KR20050126746A
Authority: KR
Inventors: 문주희; 송재은; 김혜정; 송영석
Original assignee: 주식회사 메디슨
Priority date: 2005-12-21
Filing date: 2005-12-21
Publication date: 2008-12-10
Also published as: EP1814329A2; JP2007181674A; US20070140347A1; EP1814329A3; KR20070066047A

Abstract

블록정합기법에 따른 블록불일치현상의 발생을 방지할 수 있으며, 상대적으로 적은 양의 데이터를 계산하여 보다 신속하게 동영상을 형성할 수 있는, 블록정합기법과 움직임 보상 보간을 이용한 영상 형성 방법을 제공한다. 이 방법은, 이웃하는 제1 및 제2 프레임의 상관도를 구하여 보간 프레임 형성 여부를 결정하고, 보간 프레임의 내의 모든 블록을 차례로 기준블록으로서 선택하면서, 선택된 기준블록에 대응하는 제1 블록을 제1 프레임에서 선택하고 기준블록과 제1 블록 사이의 제1 움직임 벡터를 결정하고, 제1 블록에 정합되는 제2 블록을 제2 프레임에서 결정하고, 기준블록과 제2 블록 사이의 제2 움직임 벡터를 결정하고, 제1 및 제2 움직임 벡터에 기초하여 보간 프레임 내 각 블록의 움직임 벡터를 결정하고, 보간 프레임 내 각 블록의 움직임 벡터를 적용하여, 제1 프레임 및 제2 프레임으로부터 보간 프레임의 화소값을 결정하여 보간 프레임을 형성하고, 보간 프레임의 손상도를 검사하여 손상도가 임계값 이하일 경우 보간 프레임을 채택하여 형성을 형성하는 것을 포함한다.

블록정합, 움직임, 보상, 보간, 초음파 영상

Description

블록정합 및 움직임 보상 보간을 이용한 영상 형성 방법{METHOD FOR FORMING IMAGE USING BLOCK MATCHING AND MOTION COMPENSATED INTERPOLATION}

도 1a 및 도 1b는 종래의 블록정합기법을 이용하여 움직임 벡터를 결정하는 예를 보이는 개략도.

도 2는 본 발명의 실시예로서 양방향 추정에 따라 연속하는 두 프레임 F1, F2 사이에 삽입된 프레임을 구성하는 방법을 보이는 개략도.

도 3a 및 도 3b는 양방향 움직임 추정을 위해 연속하는 프레임 내에 설정된 탐색 영역을 보이는 개략도.

도 4는 2단계 정합 탐색 방법으로 보이는 예시도.

도 5 내지 도 7은 움직임 추정 벡터를 기초로 형성한 보간 프레임 내의 블록을 SAD 임계값에 따라 분류하고 손상도를 검사하여 보인 예시도.

도 8은 블록경계감소 필터링을 설명하기 위한 예시도.

본 발명은 영상 형성 방법에 관한 것으로, 특히 블록정합기법(block matching algorithm, BMA)과 움직임 보상 보간(motion compensated interpolation, MCI)을 이용한 영상 형성 방법에 관한 것이다.

초음파 진단법은 비교적 높은 안정성과 실용성을 갖고 있어 의료영상 분야에서 많은 각광을 받고 있으며, 특히 산부인과 진단에서 필수적인 수단으로 이용되고 있다. 또한, 초음파 동영상을 이용한 진단 및 응용이 발전해가고 있으며, 향후 인터넷과 이동통신망을 통한 초음파 동영상의 이용 역시 활발이 진행될 것으로 예상된다. 이를 위해, 신뢰성 있는 초음파 동영상을 획득하는 것이 중요하다.

동영상을 구현하기 위해 짧은 시간 동안 순차적으로 얻어진 정지 화면들, 즉 프레임(frame)들을 연속적으로 디스플레이한다. 일반적으로 프레임간에는 대상체 또는 카메라의 움직임 등에 의하여 밝기의 변화가 발생한다. 이러한 밝기 등의 변화를 이용하여 이웃하는 프레임 사이에서 대상체의 움직임을 추정한다. 동영상 및 정지영상의 부호화를 위해 널리 사용되고 있는 움직임 추정(motion estimation)은 각 화소 단위로 움직임 정보를 찾는 방법으로서 예측오차를 줄일 수 있는 장점이 있지만, 계산 과정이 복잡한 단점이 있다. 특히 실시간 처리가 요구되는 저비트율 전송 시스템에 응용되기 어렵다.

움직임 추정을 위한 계산량을 줄이기 위해, 블록정합기법이 이용된다. BMA는 움직임 추정을 위해 프레임을 일정한 크기의 블록들로 분할하고, 한 블록 내의 모든 화소들을 하나의 움직임벡터로 표현한다. 도 1a 및 도 1b에 보이는 바와 같이 블록정합기법을 이용하여 현재 프레임(Fc)에서 선택된 블록(Bc)과 가장 유사한 블록을 이전 프레임Fp의 탐색 영역(search window, SW) 내에서 검색하고 공통의 움직임 정보인 움직임 벡터(motion vector, MV)를 추정한다. 도 1a 및 도 1b에서 블록 의 크기가 M x N, 수평 방향 또는 수직 방향으로 최대 p 화소만큼 움직일 때, 상하좌우로 p 화소만큼의 움직임을 고려하면 탐색 영역(SW)의 크기는 (2p+M)x(2p+N) 이 된다. 현재 블록(Bc)과 탐색 영역(SW) 내의 임의 블록 간의 정합 기준으로는 수학식 1과 같이 정의되는 SAD(Sum of Absolute Difference)를 사용한다.

수학식 1을 이용하여 구한 SAD 값 중 최소 SAD를 갖는 화소의 좌표 이동을 계산하여, 현재 프레임(Fc)에서 선택된 블록(Bc)과 가장 정합도가 높은 이전 프레임 Fp 내의 블록(Bb) 사이의 움직임 벡터를 결정한다.

종래 블록정합기법을 이용하여 움직임 벡터가 잘못 결정되면 빈 영역(hole region)과 중첩 영역(overlapped region) 등과 같은 블록불일치현상(blocking artifacts)이 발생하여 재구성된 블록 전체가 원래의 영상 신호와 전혀 달라지는 심각한 주관적(subjective) 화질 저하 현상이 발생한다. 한편, 보다 정확하게 움직임 정보를 얻기 위해 탐색영역 내의 모든 후보 블록들 사이의 정합(matching)을 비교하는 전역 탐색법(full search method)이 많이 사용되고 있다. 그러나, 전역 탐색법을 이용할 경우, 블록의 크기나 탐색 영역의 크기가 커짐에 따라 계산량도 급격히 증가하여 실시간으로 동영상을 형성하기 어려운 단점이 있다.

전술한 문제점을 해결하기 위한 본 발명은, 블록정합기법에 따른 블록불일치 현상의 발생을 방지할 수 있으며, 상대적으로 적은 양의 데이터를 계산하여 보다 신속하게 동영상을 형성할 수 있는, 블록정합기법과 움직임 보상 보간을 이용한 영상 형성 방법을 제공한다.

본 발명의 일 양태에 따른 영상 형성 방법은 a) 각각 다수의 블록으로 분류되는 화소들을 포함하는, 이웃하는 제1 및 제2 프레임을 입력받는 단계; b) 상기 제1 및 제2 프레임의 상관도를 구하여 상기 제1 및 제2 프레임 사이에, 다수의 블록으로 분류되는 화소들을 포함하는 보간 프레임 형성 여부를 결정하는 단계; c) 상기 보간 프레임의 내의 모든 블록을 차례로 기준블록으로서 선택하면서, 상기 선택된 기준블록에 대응하는 제1 블록을 상기 제1 프레임에서 선택하고 상기 기준블록과 상기 제1 블록 사이의 제1 움직임 벡터를 결정하고, 상기 제1 블록에 정합되는 제2 블록을 상기 제2 프레임에서 결정하고, 상기 기준블록과 상기 제2 블록 사이의 제2 움직임 벡터를 결정하는 단계; d) 상기 제1 및 제2 움직임 벡터에 기초하여 상기 보간 프레임 내 각 블록의 움직임 벡터를 결정하는 단계; e) 상기 보간 프레임 내 각 블록의 움직임 벡터를 적용하여, 상기 제1 프레임 및 상기 제2 프레임으로부터 상기 보간 프레임의 화소값을 결정하여 상기 보간 프레임을 형성하는 단계; 및 f) 상기 보간 프레임의 손상도를 검사하여 상기 손상도가 임계값 이하일 경우 상기 보간 프레임을 채택하여 영상을 형성하는 단계를 포함한다.

본 발명은 전역 탐색법처럼 정확한 예측 효율을 가지면서 계산될 데이터 양을 줄일 수 있는 블록정합기법 및 움직임 보상 보간을 이용한 영상 형성 방법에 관 한 것이다. 이 영상은 동영상, 초음파 영상, 초음파 동영상을 포함한다.

영상신호의 프레임 보간(frame interpolation)은 연속되는 영상의 프레임 레이트(frame rate)를 변경시키기 위해서 사용된다. 프레임 레이트는 프레임 반복법(frame repetition)이나 선형 보간법(linear interpolation) 등의 간단한 방식으로도 조절할 수 있지만, 화질의 저하를 막기 위하여 운동체(moving object)의 이동정보를 이용해서 프레임 레이트를 조절한다. 본 발명에서는 운동체의 이동 정보를 적절히 활용하기 위해 양방향 추정을 통하여 움직임을 보상 보간한다.

움직임 보상 보간(MCI)에 사용될 이웃한 프레임들의 상관도가 현저히 낮아지거나, 장면 전환(scene change) 같은 구성의 영상이라면 자연스럽고 부드러운 영상을 구현하기 위해 보간 프레임을 형성할 필요가 없다. 보간된 프레임 자체가 갑작스런 돌출 영역(abrupt area)을 구성하여 화질 저하를 초래할 수 있기 때문이다.

본 발명에서는 이웃하는 두 프레임의 상관도를 구하고, 상관도가 임계값 이상일 경우에만 보간 프레임을 형성한다. 이를 위해, 움직임 벡터를 생성하기 전, 이웃하는 두 프레임의 상관도를 구하고, 상관도가 임계값 이하일 경우, 장면전환으로 판단하여 움직임 벡터를 생성하지 않고 보간 프레임 형성을 종료할 수 있다. 이와 같이 본 발명에서는 이웃한 원본 프레임들의 상관도가 임계값 보다 낮을 경우 보간 프레임을 형성하지 않는다. 물론 보간 프레임을 형성하지 않을 경우, 갑작스런 움직임 변화 현상(motion jerkiness)은 피할 수 없지만, 화질 저하는 방지할 수 있다. 한편, 보간된 프레임 일지라도 돌출 영역이 발생할 수 있으므로 영역 처리 기법(region processing)을 통해 이런 문제를 해결한다.

이웃하는 두 프레임의 상관도를 구하여 장면 전환이 아니라고 판단된 경우, 움직임 벡터를 결정하고 그에 기초하여 보간 프레임을 형성한다. 특히, 본 발명에서는 블록정합기법에 따라 움직임 벡터가 잘못 결정될 경우 발생하는 블록불일치현상을 방지하기 위하여 양방향 추정을 하여 움직임 벡터를 결정한다.

도 2는 본 발명의 실시예로써 양방향 추정에 따라 연속하는 두 프레임 F₁, F₂ 사이에 삽입된 프레임을 구성하는 방법, 즉 양방향 보간(bilinear interpolation) 방법을 보이는 개략도이다. 시간

,

일 때 각각 얻어진 프레임 F₁ 및 F₂를 이용하여

시간에 대응하는 보간 프레임 F₁₂를 재구성한다. 도 2에 보이는 바와 같이, 보간 프레임 F₁₂ 내 (x₁, y₁) 좌표를 갖는 기준화소의 영상신호

는 프레임 F₁에서 (x₁-d_x, y₁-d_y) 좌표를 갖는 화소의 영상신호

와 프레임 F₂에서 (x₁+d_x, y₁+d_y) 좌표를 갖는 화소의 영상신호

를 이용하여 생성한다. 즉,

영상신호를 생성하기 위해

위치를 중심으로 양방향 움직임 추정을 하여 움직임 벡터를 결정한다.

도 3a 및 도 3b에 보이는 바와 같이 양방향 움직임 추정을 위해 프레임 F₁과 F₂에서 동일한 크기의 탐색 영역을 설정한다. 탐색영역은 보간될 프레임 F₁₂ 내의 기준블록(Br)의 위치를 중심으로 설정될 수 있다. 이어서, 프레임 F₁내에서 선택 블록(Bs)를 정하고, 기준블록(Br)과 선택 블록(Bs)의 중심 좌표 값에 기초하여 제1 움직임 벡터(MV1)를 결정한다. 프레임 F₂에서 선택 블록(Bs)에 정합되는 정합 블록(Bm)을 결정하고, 기준블록(Br)과 정합 블록(Bm)의 중심 좌표 값에 기초하여 제2 움직임 벡터(MV2)를 결정한다.

예를 들어, 도 3a에 보이는 바와 같이 프레임 F₁의 선택 블록(Bs), 프레임 F₂에서 선택 블록(Bs)와 가장 매칭도가 높은 정합 블록(Bm), 보간 프레임 F₁₂의 기준블록(Br)이 프레임 F₁의탐색영역(SW₁) 내에 모두 위치하고, 기준블록(Br)의 중심이 원점이라고 가정하면, 블록 Bs의 화소들과 블록 Bm의 화소들은 원점 대칭을 이룬다. 즉, 프레임 F₁내의 선택 블록(Bs)에 정합되는 프레임 F₂내의 정합 블록(Bm)은 보간될 프레임 F₁₂을 기준으로 원점 대칭을 이룬다. 따라서, 프레임 F₂에서

에 위치하는 화소는 프레임 F₁의

에 위치하는 화소에 대응하며, 보간될 프레임 F₁₂의 기준블록(Br) 내 한점 (x₁, y₁)에서 프레임 F₁ 방향으로는

의 움직임 벡터(MV₁)를 적용하고 프레임 F₂방향으로는

의 움직임 벡터(MV₂)를 적용하여 보간 프레임 내 각 블록의 움직임 벡터를 결정하고, 결정된 각 블록의 움직임 벡터에 기초하여 보간 프레임을 형성한다.

한편, 보다 효율적으로 움직임을 추정하기 위해 프레임 F₂ 내에서 도 4에 보이는 바와 같이 나선형으로 정합블록을 탐색하면서, 제1 움직임 벡터(MV1) 의 크기에 따라 탐색 간격을 변화시킨다. 예로서 제1 움직임 벡터(MV1)가 (0,0) 인 블록의 주위는 1화소씩 움직이며 정합블록을 탐색하고, 제1 움직임 벡터(MV1)가 (0,0)이 아닌 영역은 2화소씩 움직이며 정합블록을 탐색한다. 2 화소 간격으로 탐색하여 정합블록을 찾았다면 찾아진 정합블록을 중심으로 1화소씩 나선형으로 움직이며 한 번 더 탐색한다. 이런 기법은 전역 탐색 기법과 비슷한 성능 효율을 보이면서 탐색 속도를 상당부분 줄일 수 있다.

전술한 과정에 따라 결정된 움직임 벡터를 벡터 미디언 필터링 (vector median filtering) 기법을 이용하여 평활화시킨다(smoothing). 일반적인 미디언 필터링 기법은, 움직임 벡터를 수평방향 콤포넌트, 수직방향 콤포넌트 별로 구분하여 스칼라(scalar) 필터링한다. 이처럼 분류된 콤포넌트를 필터링하여 얻은 움직임 벡터는 주변 움직임 벡터의 원소와 다르게 나타날 수 있다. 본 발명의 실시예에서는 이러한 문제점을 해결하기 위해, 움직임 벡터 전체 콤포넌트에 대해 필터링을 수행한다. 이러한 벡터 미디언 필터링은 다음의 수학식 2와 같이 정의된다.

한편, 본 발명에서는 화질 저하를 방지하기 위하여 형성된 보간 프레임의 채택 여부를 다음과 같은 과정에 따라 결정한다. 움직임 벡터로부터 얻어진 보간 프레임F₁₂과 프레임 F₁ 또는 프레임 F₂를 비교하여 보간 프레임내 각 블록의 SAD를 구한 뒤, 기준 SAD 값을 기준으로 전체 프레임에 걸쳐 블록들을 분류한다. 블록간의 SAD가 매우 작다는 것은 현재 블록에서 움직임이 거의 없다는 것으로 해석할 수 있다. 따라서, SAD가 임계값 이상이면 블록은 잘못 추정된 움직임 벡터로부터 얻어진 블록이거나, 프레임간의 상관관계가 거의 없는 경우이다. 한 프레임 내에서 SAD가 임계값 이상으로 분류되는 블록의 개수가 일정 수치 이상이면 시간적으로 이웃한 두 프레임은 전체적으로 혹은 일정부분이 상관관계가 없는 영상이라고 판단할 수 있다. 이러한 경우 다수영상구성에 따른 이득보다 주관적 화질저하에 따른 손실의 폭이 더 크다고 할 수 있다. 따라서 이런 경우는 형성된 보간 프레임을 채택하지 않음으로써 보다 자연스러운 영상을 획득할 수 있다.

도 5 내지 도 7은 움직임 추정 벡터를 기초로 형성한 보간 프레임 내의 블록을 SAD 값에 따라 분류하고 손상도를 검사하여 보인 예시도이다. 보간 프레임의 정확도를 향상시키기 위해서는 블록 분류의 기준이되는 임계값의 크기가 중요하다. 한편, 도 5 내지 도 7에서 보이는 바와 같이 레벨1과 레벨2로 분류되는 블록의 손상도 정보와 각 블록의 SAD정보를 이용해 프레임 전체 블록대비 손상 정도를 파악하여, 보간 프레임의 채택 여부를 결정할 수도 있다. 도 6에 보이는 바와 같이 손상된 블록이 집중된 손상 영역(Broken region)이 있을 수 있다. 특정 블록을 기준으로 상, 하, 좌, 우의 블록을 검사하여, 검사된 모든 블록이 손상된 것으로 판단될 경우 그 영역을 손상영역으로 지정할 수 있다. 손상 영역은 이미지의 화질을 저하시키므로, 손상영역의 크기 및 수에 따라 보간 프레임 채택 여부를 결정할 수도 있다. 또한, 손상영역을 이후 보다 강력하게 디블러킹 필터링(deblocking filtering)을 가하여 복구할 수도 있다. 도 7은 손상된 블록(broken block)을 정도에 따라 레벨 1과 레벨 2로 분류하여 보이고 있다. 즉, 상대적으로 손상도가 크다고 판단된 블록은 이웃하는 블록들과 상관관계가 거의 없다고 판단한다. 이에 따라, 상대적으로 손상이 심하게 나타난 블록은 단순 선형 보간(linear interpolation)으로 형성할 수도 있다.

한편, 하나의 보간 프레임을 생성해야 할 경우, 전술한 과정에 따라 양방향 보간(bilinear interpolation) 기법만을 이용하여 보간 프레임을 구성하면 된다. 그러나, 다수의 보간 프레임을 생성해야 할 경우, 다음의 수학식 3과 같이 정의되는 가중치 정보를 이용한 보간 (weighted interpolation) 기법을 사용하여 다수의 프레임을 생성한다.

다음으로, 전술한 과정에 따라 보간 프레임의 채택 여부를 결정한 다음, 블록간의 불일치를 완화시키기 위한 블록경계감소 필터링(deblocking filtering)을 실시한다.

움직임 벡터를 평활화시킴으로써 블록불일치 현상(blocking artifacts)을 어느 정도 완화시킬 수는 있으나, 블록 단위로 구성된 보간 프레임은 블록간 움직임 벡터의 차이 때문에 블록의 경계가 뚜렷해지는 블록경계현상이 발생한다. 특히 움직임 추정시 탐색 영역 내 블록들의 상관관계가 적을수록 블록경계현상은 두드러지게 나타난다. 블록경계 현상을 감소시키기 위해, 블록 경계 화소 간 필터링을 통해 경계와 경계 사이를 자연스럽게 구성한다. 그러나 모든 블록 경계를 검사하여 필터링을 수행할 경우, 처리 시간이 증가하며 전체적으로 영상의 블러링(blurring)이 발생할 수 있다.

본 발명의 실시예에서는 영상의 블러링이 나타나는 것을 방지하기 위해 보간 프레임 내 각 블록의 움직임 벡터 정보와 SAD 정보 중 적어도 어느 하나를 이용하여 필터링을 수행할 블록을 결정하고, 결정된 블록만을 필터링한다.

도 8에서는 매크로 블록(MB) 간의 수평, 수직 방향 경계에서 각각 2 화소를 선택해 필터링한 경우를 보이고 있다. 보간 프레임 내 이웃하는 블록들의 움직임 벡터를 비교하여 두 벡터의 차이가 정해진 기준치 이상일 경우 블록의 모든 경계를 필터링하고 그렇지 않으면 다음 블록으로 넘어 간다. 즉, 이웃하는 블록들의 움직임 벡터의 놈(norm) 벡터를 계산해서 일정한 임계치를 넘어가면 필터링 처리를 수행할 수도 있다. 이를 다음의 수학식 4와 같이 표현할 수 있다.

수학식 4에서 VA, VB는 수평 방향으로 인접한 블록들의 움직임 벡터이고 VA, VC 는 수직으로 인접한 블록들의 움직임 벡터이다. 그리고 T1은 임계값이다.

한편, 전술한 과정에 따라 산출된 보상 프레임 내 각 블록의 SAD를 이용하여 필터링을 수행할 블록을 결정한다. 또는, 보간 프레임 내 이웃하는 블록들의 움직임 벡터 차이가 정해진 기준치 이상이고, SAD 값이 기준치 이상일 경우에 필터링을 수행할 블록으로 결정한다.

필터링이 적용될 이웃한 두 블록이 수평방향으로 인접해 있으면 각각의 화소들에 수평방향으로 필터링 마스크를 씌우고, 이웃한 두 블록이 수직 방향으로 인접해 있으면 수직방향으로 마스크를 씌운다. 필터링하여 얻은 화소값들과 필터링 전의 화소값들을 교체함으로써 필터링 결과를 적용한다.

상술한 실시예는 본 발명의 원리를 이용한 다양한 실시예의 일부를 나타난 것이 지나지 않음을 이해하여야 한다. 본 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질로부터 벗어남이 없이 여러 가지 변형이 가능함을 명백히 알 수 있을 것이다.

전술한 바와 같이 이루어지는 본 발명은 블록 정합 기법(BMA)을 사용하는 움직임 추정에 과정에서 나타나는 홀(hole) 과 오버랩(overlap) 영역 문제를 해결 하기 위해 보간될 프레임을 기준으로 하는 양방향 움직임 추정 기법을 이용하여 움직임 벡터를 결정함으로써, 보다 간단하게 움직임 보상 보간하여 보간 프레임을 형성할 수 있다. 또한, 2단계 탐색 기법으로 전역 탐색과 비슷한 효율을 보이면서 수행속도를 크게 개선할 수 있다. 아울러, 블록간 움직임 벡터 차이나는 값의 임계치(threshold)를 두어 모든 블록 경계가 필터링되어 이미지가 전반적으로 블러링(blurring)되는 것을 제한하였다.

나아가, 이웃한 원본 프레임의 상관도를 고려하여 보간 프레임의 형성 여부를 결정함으로써 효율성을 향상시켰다. 또한 프레임간 상관도가 낮을 경우 보간 기 준(interpolation criteria)에 따라 보간 프레임 형성 여부를 결정하며, 영역 처리(region processing) 기법을 통해 이미지 품질을 향상시킬 수 있다.

Claims

a) 각각 다수의 블록으로 분류되는 화소들을 포함하는, 이웃하는 제1 및 제2 프레임을 입력받는 단계;

b) 상기 제1 및 제2 프레임의 상관도를 구하여 상기 제1 및 제2 프레임 사이에, 다수의 블록으로 분류되는 화소들을 포함하는 보간 프레임 형성 여부를 결정하는 단계;

c) 상기 보간 프레임의 내의 모든 블록을 차례로 기준블록으로서 선택하면서, 상기 선택된 기준블록에 대응하는 제1 블록을 상기 제1 프레임에서 선택하고 상기 기준블록과 상기 제1 블록 사이의 제1 움직임 벡터를 결정하고, 상기 제1 블록에 정합되는 제2 블록을 상기 제2 프레임에서 결정하고, 상기 기준블록과 상기 제2 블록 사이의 제2 움직임 벡터를 결정하는 단계;

d) 상기 제1 및 제2 움직임 벡터에 기초하여 상기 보간 프레임 내 각 블록의 움직임 벡터를 결정하는 단계;

e) 상기 보간 프레임 내 각 블록의 움직임 벡터를 적용하여, 상기 제1 프레임 및 상기 제2 프레임으로부터 상기 보간 프레임의 화소값을 결정하여 상기 보간 프레임을 형성하는 단계; 및

f) 상기 보간 프레임의 손상도를 검사하여 상기 손상도가 임계값 이하일 경우 상기 보간 프레임을 채택하여 영상을 형성하는 단계를 포함하는, 영상 형성 방법.
제 1 항에 있어서,

상기 b) 단계는,

b1) 상기 상관도와 임계값을 비교하는 단계;

b2) 상기 상관도가 임계값 이하일 경우, 상기 단계 a)로 되돌아 가는 단계; 및

b3) 상기 상관도가 임계값 이상일 경우, 상기 보간 프레임을 형성하기로 결정하는 단계를 포함하는, 영상 형성 방법.
제 1 항에 있어서,

상기 단계 c)는,

c1) 상기 보간 프레임에서 선택된 상기 기준블록의 위치를 중심으로 상기 제1 프레임 및 상기 제2 프레임에서 동일한 크기의 탐색영역을 각각 설정하는 단계;

c2) 상기 제1 프레임에서 상기 선택된 기준블록에 대응하는 상기 제1 블록을 선택하는 단계;

c3) 상기 기준블록 중심의 좌표와 상기 제1 블록 중심의 좌표로부터 상기 제1 움직임 벡터를 결정하는 단계;

c4) 상기 제2 프레임 내에서 상기 제1 블록에 정합되는 상기 제2 블록을 결정하는 단계; 및

c5) 상기 기준블록의 중심 좌표와 상기 제2 블록 중심의 좌표로부터 상기 제2 움직임 벡터를 결정하는 단계를 포함하는, 영상 형성 방법.
제 3 항에 있어서,

상기 단계 c4)에서,

상기 제1 움직임 벡터의 크기에 따라 화소 간격을 변화시키면서 정합을 검색하여 상기 제2 블록을 결정하는, 영상 형성 방법.
제 3 항에 있어서,

상기 단계 c4)는,

c41) 상기 제1 움직임 벡터의 크기가 임계값과 같을 경우 상기 탐색영역의 중심에서 나선형으로 제1 화소 간격만큼 이동하면서 상기 제1 블록에 정합되는 블록을 탐색하는 단계;

c42) 상기 제1 움직임 벡터의 크기가 임계값 보다 클 경우 상기 탐색영역의 중심에서 나선형으로 상기 제1 화소 간격 보다 큰 제2 화소 간격만큼 이동하면서 상기 제1 블록에 정합되는 블록을 탐색하는 단계; 및

c43) 상기 c42) 단계에서 상기 정합 블록이 탐색된 경우, 상기 탐색된 정합 블록을 중심으로 상기 제2 화소 간격 보다 작은 제3 화소 간격만큼 이동하면서 상기 제1 블록에 정합되는 블록을 탐색하여 상기 제2 블록을 결정하는 단계를 포함하는, 영상 형성 방법.
제 1 항에 있어서,

상기 단계 c) 후,

상기 제1 및 제2 움직임 벡터를 벡터 미디언 필터링(vector median filtering)을 이용하여 평활화시키는 단계를 더 포함하는, 영상 형성 방법.
제 1 항에 있어서,

상기 단계 e)에서,

가중치 정보를 이용한 보간 기법으로 다수의 보간 프레임을 형성하는, 영상 형성 방법.
제 1 항에 있어서,

상기 단계 f)는,

f1) 상기 보간 프레임과 상기 제1 프레임 또는 상기 제2 프레임을 비교하여 상기 보간 프레임내 각 블록의 SAD(Sum of Absolute Difference)를 산출하는 하는 단계; 및

f2) 상기 SAD가 임계값 이상인 블록의 수가 기준 갯수 이하일 경우, 상기 형성된 보간 프레임을 채택하는 단계를 포함하는, 영상 형성 방법.
제 8 항에 있어서,

상기 단계 f) 후,

g) 상기 SAD에 기초하여, 상기 채택된 상기 보간 프레임 내의 각 블록의 손상 여부를 파악하는 단계; 및

h) 선형보간을 실시하여 상기 손상된 블록을 복구하는 단계를 더 포함하는, 영상 형성 방법.
제 9 항에 있어서,

상기 단계 h) 후,

g1) 경계를 필터링할 블록을 결정하는 단계;

g2) 결정된 블록의 경계를 필터링하는 단계를 더 포함하는, 영상 형성 방법.
제 10 항에 있어서,

상기 단계 g1)은,

g11) 상기 단계 h) 후, 상기 보간 프레임 내 이웃하는 블록들의 움직임 벡터의 차를 산출하는 단계; 및

g12) 상기 산출된 움직임 벡터의 차에 기초하여 경계를 필터링할 블록을 결정하는 단계를 포함하는, 영상 형성 방법.
제 10 항에 있어서,

상기 단계 g1)에서 상기 보간 프레임 내 블록들의 SAD에 기초하여 경계를 필터링할 블록을 결정하는, 영상 형성 방법.
제 11 항에 있어서,

상기 단계 g2)에서 상기 산출된 움직임 벡터의 차와 상기 SAD에 기초하여 경계를 필터링할 블록을 결정하는, 영상 형성 방법.